Titel, samenvatting en biografie Samenvatting Betrouwbaar begroten Voorjaarsevent Testnet: juni 009 Een van de gste uitdagingen voor testers is het opstellen van een betrouwbare begroting. Sinds ik in 99 betrokken raakte bij mijn eerste fixedprice testproject, heb ik mij verdiept in methoden, technieken, om het begroten van testen betrouwbaarder te maken. et eerste resultaat was Test Punt Analyse (zie Tap). Deze presentatie laat zien hoe het model zich verder heeft ontwikkeld en toont aan dat het wel degelijk kan goed en betrouwbaar begroten! De aanpak volgt dezelfde principes als begrotingen uit andere industrieën en sluit nauw aan op methodes die succesvol worden toegepast in de bouwsector en de financiële sector. Ik heb de kans gehad deze methode bij diverse organisaties te toetsen en te implementeren. Deze organisaties maken nog steeds succesvol gebruik van de maatwerk-aanpak, die recht toe recht aan is, transparant is en zelfs is uit te leggen aan niet-testers. Alle essentiële delen van een betrouwbare aanpak zijn opgenomen: Strategie Wat moet getest worden en hoe grondig moet getest worden; Omvang ja die is wel degelijk van belang; Verwachte kwaliteit niet alleen van het te testen product, maar ook de testbasis; Omgevingen en tools hoe snel kun je testen; Productiviteit ervaring en efficiëntie van je team. et meest succesvolle van de aanpak is de mogelijkheid het daadwerkelijk aan te passen aan de organisatie en het project. et meest aansprekende resultaat tot nu toe is de reactie van een van de cursisten: begroten is nu wel leuk, zeker als je er beter in bent dan de andere disciplines; lopen we als testen weer voorop. Biografie is sinds 99 actief in de test wereld en hij heeft vrijwel alle functies doorlopen in het testscala: tester, testspecialist, testconsultant, testmanager, etcetera. Ruud is co-auteur van Tap en is een veelgevraagd
spreker op (inter)nationale conferenties en workshops. Ruud is momenteel International Test Consultant bij POTEQ IT Services BV.
oe beg je de testinspanning, als je niet weet wat je moet doen als je niet weet hoe het moet als je niet weet wie het doet als je niet weet waar als je niet weet waarmee als je niet weet wanneer als je niet waarmee te beginnen, 00 Polteq IT Services B.V. slide nr. 00 Polteq IT Services B.V. slide nr. Industrie Standaard emiddeld wordt 35% van het totale ontwikkel project besteed aan testen 5-7% -0% 0% ontwikkeltesten systeem test acceptatie test ontwikkeltes ten et gemiddelde of vergelijkbare project Is een fabeltje Er zijn altijd verschillen, hoe klein ook, die van invloed zijn op de benodigde testinspanning systeem test Ontwikkeling = Functional Design + Technical Design + Coding ontwikkeling acceptatie test 00 Polteq IT Services B.V. slide nr. 3 00 Polteq IT Services B.V. slide nr. Noodzakelijk inzicht in Software Development ife Cycle - Volwassenheid, Ervaring, Quality Assurance - Reviews & Inspections, Quality Control, Testproces - Volwassenheid, Ervaring, Technische Omgeving - Infrastructuur, Tools, Business / Domein Kennis Systeem / Applicatie Kennis Verwachte kwaliteit per test level - Bevindingen, Testcycli en het moment waarop je gevraagd wordt Project initiation initiatie - globaleestimate inschatting (± 30%!!!!!) Systeem level en tests acceptatie tests - insight inzicht into de Functional Functionele solution oplossing (± 0%!!!!!) Ontwikkeltests level tests - insight inzicht into de Technical Technische solution oplossing (± 0%!!!!!) anagement Expectation in a PRINCE environment Project anagement Approach: Projects in Controlled Environments 00 Polteq IT Services B.V. slide nr. 5 00 Polteq IT Services B.V. slide nr. 6
It s better to be honest, than to have to admit you did not tell the whole truth at the start Stem de industrie standaard af op uw situatie of ontwerpen Ontwikkelaars - er zijn geen zwakke plekken in de software zijn verbaasd over het aantal bevindingen en bevechten iedere bevinding Test Industry Standards Identify Significant Productivity Factors Company Standards Identify Company Specific Productivity Factors Test Testers - stellen mooie testplannen en strategien op, maar zijn niet in staat de plannen efficient uit te voeren door gebruik aan resources, kennis, ervaring, Develop eneral Effort Estimation odels Develop Company Specific Effort Estimation odels 00 Polteq IT Services B.V. slide nr. 7 00 Polteq IT Services B.V. slide nr. De filosofie Omvang oe veel? Scope? Verwachte Kwaliteit Testobject? Testbasis? Strategie Wat? oe grondig? Test Effort Estimate Infra&Tools oe snel kunnen we testen? Productiviteit oe goed is mijn team? Omvang je moet ergens mee beginnen % van het project budget Omvang van de testbasis - (ontwerp, requirements, use cases, ) Data model - b.v. aantal tabellen, attributen, Aantal schermen en velden Omvang van het testobject - b.v. KOC Verwacht aantal testdesigns, testprocedures, testscripts, testcases, Intuitie (is it magic after all?) 00 Polteq IT Services B.V. slide nr. 9 00 Polteq IT Services B.V. slide nr. 0 Zoek de juiste vragen voor uw project! Business risico: - Wat is de prioriteit van uw project? Wat is de impact op de business (processen)? Technologie: - proven technology of iets nieuws (experimenteel)? Complexiteit: - De mate van complexitiet binnen de applicatie zelf alsmede de samenhang/interfacing met andere applicaties Ontwikkelteam: - oe ervaren is het team? Kennen ze de methodes, technieken, omgeving? Testteam: - En uw eigenteam? Definieer de mogelijke antwoorden oog toename van de benodigde inspanning edium geen impact aag afname van de benodigde inspanning A nt w o o rd Omschrijving p i k w d i i k i s b i u w s a K i i t E x p m P i o et roj ect geb ru t ni eu e technologi e, e nog ni et geb ru t nnen orga ni ti e. nderz ek es! eri ent eel! ni er! R eed s eerd er geb ru i k te technologi e. N i et ex p eri m ent eel, m a a r no g g een p ro v en t ec h no l o g y. Proven technology. Iedereen ent de ev ng en eef er (p ev e) erv ri ng en ee. 00 Polteq IT Services B.V. slide nr. 00 Polteq IT Services B.V. slide nr.
V V V A Q Bepaal de impact Start met twee categorieën (relatief) - rote impact - Beperkte impact ra a g. B u s i nes s ri s i co. T echnologi e 3. C om p lex i tei t. O ntw i k k eltea m 5. T es ttea m C a t e go rie Berekeningsmodel proven technology - Kijk maar eens hoe uw verzekeringspremie wordt berekend (als je ze moet geloven ) - hoog : medium : laag = : : - Beperkt hoog : medium : laag = : : 00 Polteq IT Services B.V. slide nr. 3 00 Polteq IT Services B.V. slide nr. ra a g. B u s i nes s ri s i co. T echnologi e 3. C om p lex i tei t. O ntw i k k eltea m 5. T es ttea m I mp a ct A nt w. F a ct o r u e st io n. BB uu ss ii nes s s ri ss ki co. T echnology medium = 6 33. CC om pp lex ii ty. D evelop m ent T ea m 55. TT es t TT ea mm I mp a ct aa jj or i nor aa jj or i nor aa jj or A nsw e r ii gh ow i gh ow ii gh ow i gh ow ii gh ow F a ct o r 00 Polteq IT Services B.V. slide nr. 5 00 Polteq IT Services B.V. slide nr. 6 Berekeningsmodel Test Begroting Industrie Standaard 35% ra a g. B u s i nes s ri s i co. T echnologi e nt w F a ct o r Risico Indicator = vermenigvuldigingsfactor - inimum budget = 7,5% - aximum budget = 70% - Test Budget = 35% *, = 50 % 3. C om p lex i tei t. O ntw i k k eltea m Risico indicator ranges R isico I nd ica t o r % T e st B u d ge t 5. T es ttea m < 0, 7 5 % F a ctoren R i s i c o Indi c a t o r ( F a c t o ren / 6 ) 3, 0, 7-0, 9 0, 9 -,, -, 3 3 0 % 3 5 % 0 % >, 3 5 % 00 Polteq IT Services B.V. slide nr. 7 00 Polteq IT Services B.V. slide nr.
Context istorische Data Beschikbaar 00 Polteq IT Services B.V. slide nr. 9 Systeem Test - Functionele and Niet-Functionele Tests Ervaringen uit voorgaande projecten - Functioneel Ontwerp - Ontwikkeling = Technisch ontwerp + Code + UT + UIT - Systeem Test - = 5% Test + 5% Testmanagement Kwaliteitsattributen emiddeld Functionaliteit 75% Performance 0% Beveiliging 0% Continuïteit 5% 00 Polteq IT Services B.V. slide nr. 0 Strategie avg * 3/ Verwachte kwaliteit. Functionality. Performance 3. Security. Continuity Strategy =. +. + 3. +. avg * /3,3 0,75 0,50 0,5 0,0 0,07 0,5 0,0 0,07 0,0 0,05 0,03 5. Complexity 6. Quality Functional Design 7. Quality Previous Tests. Experience Development Team Expected Quality = ( 5. + 6. + 7. +. ) / 0 6 3 3 6 00 Polteq IT Services B.V. slide nr. 00 Polteq IT Services B.V. slide nr. Infra & Tools + Productiviteit 9. Test Environment 0. Tool Support. Productivity 00 Polteq IT Services B.V. slide nr. 3 Test Friendly Usable Test Unfriendly Defect and Time anagement Defect or Time anagement Sorry Available and Described. Test data Available Sorry Infra & Tools = ( 9. + 0. +. ) / Experienced (Test and System) Experienced (Test or System) Inexperienced 3 6 0,7,0,5 Test Effort Estimate experience from previous projects Functional Design Realization System Test Test Effort Estimate - Calculated Strategy Functionality, Performance Out of Scope, Security, Continuity Out of Scope Expected Quality Complexity, Quality Previous FD and Test, Experience Infra & Tools Test Environment Usable, Test Tools Defect anagement, Test Data Sorry Productivity Experienced (Test and atter) System Test = Strategy * Expected Quality * Infra & Tools * Productivity 00 Polteq IT Services B.V. slide nr. 00 hrs 00 hrs 00 hrs,3 0,65,33 0,70 9 hrs
ruud.teunissen@polteq.com http://www.polteq.com 00 Polteq IT Services B.V. slide nr. 5 00 Polteq IT Services B.V. slide nr. 6