Testverbetering met TMM bij Philips Medical Systems Cardio/Vascular Jurian van de Laar Improve Quality Services Wim van Rooij Philips Medical Systems
Philips Medical Systems C/V Imaging Systems X-Ray Cardio/Vascular System Integration & Test Contact: Wim van Rooij (System Test Manager) Wim.l.m.van.Rooij@philips.com 040-2764127 Günther van de Rijt (Competence Area Manager) Gunther.van.de.Rijt@philips.com 040-2769126
Improve Quality Services BV Dienstverlener Testen & Kwaliteitsmanagement Advisering, Detachering en Opleidingen Gespecialiseerd en gekwalificeerd (CISA, ISTQB) Onafhankelijk, trendsettend (EU-projecten, TU/e) Opgericht januari 1998, 30 medewerkers Contact: Jurian van de Laar (Quality consultant) Erik van Veenendaal (Oprichter, DGA) info@improveqs.nl 040-2021803 WWW.IMPROVEQS.NL
Agenda Systeemtesten bij PMS C/V Teststrategie TMM als kapstok Toepassing in de projecten Resultaten
PMS Cardio/Vascular Visualisatie van bloedvaten
PMS Cardio/Vascular Karakteristieken: - wereldwijde markt - kapitaalgoederen - weinig concurrenten - multi-site ontwikkeling - multi-disciplinair - innovatief
PMS C/V System I&T Productomgeving - patiënt: veiligheid, minimale dosis - dokter: gebruiksvriendelijk, klinische relevantie - business: betrouwbaarheid, kostprijs, time-to-market Systeemtesten - integratie - verificatie - validatie - vrijgave Professionele testorganisatie
PMS C/V System I&T 5 jr geleden 3 jr geleden Nu Risico Matrix Proj. Mgr I&T Mgr Develop. Integrat. No 1 I&T Design Sys. V&V Master Test Plan 2 Author. No Yes 4 Author. Dev. I&V Yes 3 5 Sys. Integr. Sys. V&V 6 Test Levels 9 Author. 8 Release Advice Rel. Test 7 gefragmenteerd strategie uniformiteit
Veranderende business en testen Doelen Business Inrichting Testen Testen & Vrijgave Meer releases, minder tijd Kwaliteitsborging Inzichtelijk / beheersbaar
Agenda Systeemtesten bij PMS C/V Teststrategie TMM als kapstok Toepassing in de projecten Resultaten
Strategie van systeemtesten Doelen Business Inrichting Testen Testen & Vrijgave Balans TTM Q Risico Matrix Test Levels Kwaliteitskarakteristieken Performance Indicatoren
Risico Matrix PRISMA Balans doorlooptijd kwaliteit Communicatie / Inzicht Test diepgang Regressietesten Technical stakeholder Business stakeholder Business Risk 100 50 0 II IV 3 1 6 4 0 50 100 Technical Risk 8 9 2 7 5 I III Test designs Effort & Time
Strategie van systeemtesten Doelen Business Inrichting Testen Testen & Vrijgave Risico Matrix Test Levels Q-karakteristieken Test Strategie Planning & Uitvoering KPI s
Waarom TMM? Borgen werkwijze Stapsgewijze verbetering Focus (motiverend!) Past op ingeslagen weg Level 5: Optimizing Level 4 Management & Measurement Level 3: Integration Level 2: Phase Definition -Test policy and goals -Test techniques and methods -Test planning -Test environment Level 1: Initial
TMM Level 2 process areas Doelen Business Inrichting Testen Testen & Vrijgave Test techniques & methods Planning Uitvoering Policy & Goals Test Planning Test Environment
TMM aanpak Quick Scan 2005 Verbeterteams Documenten, opleiding, toepassing Test Policy Werk instructies, bijv. risk based testing Best Practices: Test technieken Testomgeving
Agenda Systeemtesten bij PMS C/V Teststrategie TMM als kapstok Toepassing in de projecten Resultaten
Test en vrijgave in projecten Doelen Business Inrichting Testen Testen & Vrijgave Schattingen Master Testplan KPI s Test Life Cycle Vrijgave
Effort schattingen Work Breakdown Structure Wide Band Delphi 10% nauwkeurigheid Urenregistratie Post Mortem Analyse Overrated Underrated
Master Testplan Belangrijkste doelen: Implementeren teststrategie Afspraken toeleveranciers Decompositie van testen Kwaliteitskarakteristieken Test- en vrijgave-aanpak
Test Life Cycle Planning en beheer Voorbereiding en specificatie Uitvoering Afronding Preparation and specification Test planning and control Execution Completion
Key Performance Indicators Business doelen Meer releases, minder tijd Kwaliteitsborging Inzichtelijk / beheersbaar Performance indicator Duration slip, Effort slip, Effort distribution, Automation level Maturity grid, Defect trend Test prep./exec. progress, Test system uptime 15% 3% 6% 1% 41% 34%
Product vrijgave Vrijgave bepaalt testaanpak Multidisciplinair vrijgaveproces Soorten vrijgaven: Familie vrijgave Applicatie systeem Upgrades Field Change Order Special
Resultaten Meer doen in minder tijd meer releases meer functionaliteit meer configuraties Number of releases 2002+2003 2004 2005 fcst 2006
Resultaten Kwaliteitsborging Kwaliteitsbouwwerk KPI s productkwaliteit Inzichtelijk / beheersbaar KPI s test voortgang Betere communicatie Stem in de organisatie
Kritische Succes Factoren Professionele testorganisatie (ISTQB) TMM (geeft richting en borging) Commitment (Top Down) Enthousiast verbeterteam (Bottom Up) Focus (leiderschap)
Nog veel uitdagingen Andere disciplines (CMMI) Scope verbreding (Integrated CathLab) Meer parallelle ontwikkeling Groeiend aantal configuraties Met TMM hebben we een basis voor de toekomstige veranderingen gelegd.
http://www.tmmifoundation.org Management van TMM Proces voor accreditatie en certificering