Testmetrieken en criteria. Kees Blokland Polteq International Testing Services B.V.

Maat: px

Weergave met pagina beginnen:

Download "Testmetrieken en criteria. Kees Blokland Polteq International Testing Services B.V."

Christiaan René Kuiper
7 jaren geleden
Aantal bezoeken:

1 Testmetrieken en criteria Kees Blokland Polteq International Testing Services B.V. Doelen voor testmetrics Meten testvoortgang * en kwaliteit van het testobject * Basisgegevens bijhouden: Testgevallen Bevindingen Uren

2 Mogelijke doelen voor testmetrics Meten testvoortgang * en kwaliteit van het testobject * Testvoortgang * 25 2 test execution progress passed aut passed man failed blocked plan target Einddoel gemist 3 weken slip haal ik het? p/(p+f) > 8% p/(p+f) > 95% (p+f)/plan > 98% # scripts Herplanning na valse start Startfase met slechte kwaliteit Kwaliteit weer op peil

3 Testvoortgang test specification progress reused scripts new scripts plan revised plan target haal ik het? % hergebruik (meer is goed) # scripts # bevindingen Kwaliteit van het testobject * openstaande bevindingen per ernstcategorie Eerste levering met fixes 1&2 3&4 doel Testintensiteit loopt op trend 1&2 = 3&4 < 4 Doel gehaald Doel niet gehaald

4 Mogelijke doelen voor testmetrics Meten testvoortgang en kwaliteit van het testobject Basis voor verbeterde testbegroting 45 gebruikte test uren planning&beheer voorbereiding specificatie uitvoering afronding plan doel Haal ik het met mijn budget? uren Een budgetprobleem kondigt zich aan Vergelijk industrie: Plann&Bhr: 15 % Voorbereiding: 8% Specificatie: 32% Uitvoering: 4% Afronding: 5% Weinig voorbereiding Plan&Beheer 27% Voorbereiding 1% Specificatie 12% Uitvoering 57% Afronding 3%

5 Basis voor verbeterde testbegroting Percentage testuren als onderdeel van de totale projectkosten ( industrienorm 65/35) Verbruikte uren per gespecificeerd testscript Verbruikte uren per uitgevoerde test - uren niet succesvolle test > uren succesvolle test 947 uur / 624 succesvol = 1.5 uur/test 188 uur / 78 niet succesvol = 2.4 uur/test Mogelijke doelen voor testmetrics Meten testvoortgang en kwaliteit van het testobject

6 Procescontrole bevindingen # bevindingen bevindingen nieuw studie bouw rest hertest klaar doel Testintensiteit loopt op Grote hertest achterstand Opschonen procestoezicht - doorstroom - # hertest trend hertest < 1 5 Doel niet gehaald Procescontrole bevindingen 7 6 doorlooptijd bevindingen <4 - Cosmetic> <3 - Survivable> <2 - Unacceptable> <1 - Show Stopper> cummulatief 8% doorlooptijd in relatie tot projectduur -let op <1> # defects Showstoppers zeer laat opgelost % binnen 1 maand -alle <1> binnen 2 weken 1 5 D 1D 2D 3D 4D 5D 6D 1W 2W 3W 1M 2M 3M 4M 5M

7 Procescontrole bevindingen bevindingen bevindingen per testsoort ernstcat 4 ernstcat 3 ernstcat 2 ernstcat 1 Balans tussen testsoorten niet goed # uur / defect is hier het laagst -vgl Boehm: fouten zo vroeg mogelijk vinden - aantal bevindingen per uur ST: 3.4 uur /bev IAT 2.21 uur /bev GST 2.28 uur / bev UAT 4.7 uur / bev ST (84) IAT (1587) GST (131) UAT (315) testsoort Mogelijke doelen voor testmetrics Meten testvoortgang en kwaliteit van het testobject

8 Zwakke plekken ontwikkelproces foutcategorieën Data; 95 User; 25 Dup; 18 Def; 16 Req; 5 Doc; 17 Bus Des; 25 Sys Des; 4 Moet uitgedetailleerd worden - consistent met test strategie? - veel problemen in onverwachte hoek? JCL; 2 Env; 11 Testfouten niet zichtbaar Code; 5 Eind - ondersteunend bij go/nogo beslissing - basis voor procesverbetering Bedankt! kees.blokland@polteq.com

Vergelijkbare documenten

Test(out)sourcing met TOGA

Test(out)sourcing met TOGA Scope-bepaling Operationele regievoering Slide 1 Wie bent u? Uitbestedende klant (demand organisatie)? - Testpersoneel / -management? - Inkoop Leverancier? Anders? Slide 2 Definitie