Methodisch Begroten van Projecten. Harold van Heeringen. Amersfoort, 11 mei 2010

Transcriptie

1 Methodisch Begroten van Projecten Harold van Heeringen Amersfoort, 11 mei 2010

2 Harold van Heeringen Consultant Software Metrics Afdeling Sizing, Estimating & Control Sogeti Nederland B.V. Nesma -Voorzitter wg COSMIC -Wg Benchmarking -Wg Begroten COSMIC -Benchmarking initiative ISBSG -Executive advisor DACE/ISPA -SIG Parametrische Analyse Computable -Expert panel ICT branche Even voorstellen

3 Wat wil ik jullie laten zien? Methodisch begroten van Projecten is een cruciale factor voor het succesvol realiseren van projecten.

4 Outline De IT industrie heeft een enorm probleem met het begroten van projecten. Waarom? Wat kunnen we doen om realistisch te begroten? Enkele tips

5 Waarom heeft de IT industrie een begrotingsprobleem?

6 Veel projecten falen Standish Chaos report (2009) [1] 32% van de projecten is succesvol Op tijd Binnen budget Bevat alle benodigde functionaliteit 44% van de projecten is niet succesvol 24% is voortijdig gestopt of is opgeleverd maar nooit gebruikt Een duidelijke afname van het succes percentage (35%) ten opzichte van de vorige studie (2007).

7 Maar waarom?? Instabiele user requirements Te vroeg starten met realisatie Gebruikers te weinig/ te laat betrokken Onrealistische begroting en planning Expertbegrotingen niet gebaseerd op ervaringscijfers Gewenste doorlooptijd ipv. Realistische doorlooptijd Onrealistische verwachtingen!!

8 Hoe worden projecten begroot? Vrijwel altijd: expertbegroting Kennis/ervaring experts Hulpmiddelen (vaak excel) bottom-up: uren per activiteit Resultaat: gemiddeld 30% te optimistisch Moeilijk te onderbouwen, Uren optimistisch ingeschat Experts gaan niet zelf al het werk doen Vergeten activiteiten

9 Te optimistisch schatten [3] Bv: taak Codeer en Unittest Programma X realistische begroting 100% Waarschijnlijkheid expertbegroting 90% uur 75% uur 50% uur 10% uur 0% uur uur uur uur uur uur uur uur 0% Inspanning Expert Schatting: 1 e mogelijkheid 50/50 mediaan resultaat

10 Gevaar van expertbegrotingen Industrie leunt zwaar op experts Matige onderbouwing Niet gebaseerd op kwantitatieve data Vergeten activiteiten Ongefundeerd optimisme Geen mogelijkheid om ervaringscijfers op te bouwen Gemiddeld 30% te optimistisch

11 Onderschatten of overschatten [3] >100% Extra Kosten Non- Lineaire extra kosten -Planningsfouten -Vergroten team veel duurder maar nauwelijks sneller -Extra management attentie / overhead -Stress: Meer defects, lagere onderhoudbaarheid!! Lineaire extra kosten Extra uren worden besteed Onderschatten Overschatten 0% Te lage schattingen Realistische schattingen Te hoge schattingen

12 Effect in de praktijk Begroting A: Optimistisch uur 5 maanden B: Realistisch uur 7 maanden Resultaat Faalt! uur 12 maanden Slaagt! Efficiënt! uur 7 maanden Realisatie (uur) C: Pessimistisch uur 11 maanden Slaagt! Inefficiënt! uur 11 maanden uur uur uur A B Realisatie is zeer sterk afhankelijk van de begroting!!! C

13 Voordelen van realistische begrotingen Projectstatus beter controleerbaar Realistisch plan actuals Minder stress hogere kwaliteit Oorzaak 40% software defects is stress Extreme druk leidt tot 4x zoveel defects Onderhoudbaarheid van de code!! Verhoogde geloofwaardigheid

14 Druk van de klant! De IT heeft een probleem! Klant: Het moet goedkoper Klant: Het moet sneller Klant: Weet exacte requirements (nog) niet Klant: Wil een vaste prijs aanbieding (te) vroeg in de project levenscyclus Klant pusht richting optimisme ipv realisme!

15 De IT heeft een probleem! IT begroot (te) optimistisch! IT - Weet niet precies hoe groot het is Onvolwassen begrotingsmethodieken IT - kent haar eigen performance niet Kan begroting niet goed onderbouwen Weet niet goed wat realistisch is Leert slecht van verleden IT gaat relatief eenvoudig mee met optimisme

16 Wat kunnen we doen om realistisch te begroten?

17 Realistisch begroten Optimisme leidt tot falende projecten Maar hoe kunnen we een realistische begroting maken? Naast expertbegroting ook een methodische begroting!!

18 Methodische Begroting Meten van Functionele Omvang Omvang in Functiepunten Gebruik ervaringscijfers Productiviteit: Uren per functiepunt Gebruik Tools Scenario-analyse (doorlooptijd, teamsize, etc.)

19 Analogie begroten van verven muur Meten omvang met ISO maat (centimeters) en instrument (meetlat) oppervlakte in m 2 Ervaringscijfers (benchmark data??) Roller: 15 m 2 per uur Blokwitter: 8 m 2 per uur Kwast: 4 m 2 per uur Scenario analyse 1 of 2 schilders? Moet in 1 dag af! Voorbewerken? Onregelmatig oppervlak? ETC!

20 Meten van functionele omvang Functiepunt analyse (FPA) of COSMIC Omvang is samen met productiviteit de belangrijkste factor die de benodigde inspanning bepaald Objectieve, herhaalbare, verifieerbare methodes (beiden ISO normen) Kwantificeren de door de gebruiker gewenste functionaliteit in een eenheid (functiepunt (FP) of COSMIC functiepunt (CFP)) Ook toepasbaar vroeg in PLC!

21 Functiepuntanalyse Gebruikers Transacties Gegevensverzamelingen IF ILGV UF KGV OF

22 COSMIC Gebruikers Transacties Gegevens E W X R

23 Cone of uncertainty Variability (%) 200 Feasibility study Requirements specification De kegel wordt niet vanzelf nauwer. Men neemt beslissingen om hem nauwer te maken. Het later wijzigen van deze beslissingen leidt ertoe dat de kegel weer wijder wordt. Software development Project closure 50 Slecht begroot of slecht beheerst project 0-50 Time

24 Meten van functionele omvang Functiepunt analyse (FPA) of COSMIC Objectief, herhaalbaar, verifieerbaar Technologie onafhankelijk Eenheid product maakt verzamelen ervaringscijfers mogelijk Productiviteit: uur per functiepunt Kwaliteit: defects per functiepunt Benchmarking!!

25 Ervaringscijfers Eigen ervaringscijfers Per omgeving (Java, Oracle,.Net, etc.) Per ontwikkelfase (ontwerp, bouw, test) Per locatie (onshore, offshore) Benchmarkcijfers Databases van de tools ISBSG repository (R projecten) [4]

26 Voorbeeld QSM Datamanager [6]

27 ISBSG Primary Programming Language = Cobol ISBSG R11 MEASUREMENT VALUES in INTERVAL 435 AVERAGE (P50) 25,3 PERCENTILE10% (P10) 4,1 PERCENTILE 25% (P25) 7,6 MEDIAN 15,7 PERCENTILE 75% (P75) 28,1 PERCENTILE 90% (P90) 51,6

28 Omvang Generiek begrotingsmodel Behoefte Inspanning Energie Productiviteit Software ontwikkel proces Factor: Productiviteit Tijd Samenstelling en Doorlooptijd ervaring team Factor: OmvangOntwikkelomgeving Afval Functiepunten Complexiteit Kwaliteitssysteem Externe beinvloedingsfactoren Fouten Factor: Inspanning Aantal uur Instroomsnelheid Piekbezetting Omvang Software Fouten Factor: Kwaliteit Factor: Aantal Omvang fouten Factor: Lines Doorlooptijd of Code Aantal weken

29 Doorlooptijd is extreem belangrijk [4] Constante Inspanning (uur) = Doorlooptijd 4 Inspanning Onmogelijk Voorbeeld: Kiezen voor een doorlooptijd van 8 maanden in plaats van 7 maanden (14 % langere doorlooptijd) resulteert in een afname van het aantal benodigde uren met 40 %!! (bij dezelfde productiviteit en omvang) Plan A: uur, 7 maanden Plan B: uur, 8 maanden Onpraktisch Doorlooptijd

30 Voorbeeld Scenario 1: 2: 3: 4: 5: 6: 7: Doorlooptijd: 5,5 5,2 4,8 4,5 5,8 6,1 6,3 maanden Inspanning: uur Teamsize: 6,7 7,5 8,3 9,4 6,2 5,8 5,5 fte Kosten: Estimate / Business Case Kosten afhankelijk van Time-to-market

31 Tools: Galorath SEER [7] Galorath - SEER for Software [6]

32 Tools: QSM SLIM [6] QSM SLIM toolsuite [5]

33 QSM SLIM Estimate [6]

34 Historische data [6]

35 Tuning van de PI

36 FO B&T 2 Avg Staff (people) <Single Goal - Life Duration 9,9> Milestones 2 - FOG 3 - TOG 4 - BG 5 - STG 6 - UAG Avg Staff (people) 4 2 okt ' nov dec jan feb mrt apr mei jun jul aug sep '10 0

37 WBS [6]

38 Vergelijken met history Compare Estimates to Historical Data B&T Duration (Months) vs Effective FP B&T Duration (Months) Effective FP B&T Effort (MHR) vs Effective FP B&T Effort (MHR) (thousands) 0, Effective FP Current Solution Logged Solutions Historical Projects QSM 2008 Business FP Avg. Line Style 1 Sigma Line Style Project: Klant X - Project Y

39 Defects Total Defect Estimate 2 Defect Rate Total <Single Goal - Life Duration 9,9> Defects Remaining Total <Single Goal - Life Duration 9,9> Defect Rate Total Defects Remaining Total jan '10 feb mrt apr mei jun jul aug sep jan '10 feb mrt apr mei jun jul aug sep 0 2 MTTD Total (Days) <Single Goal - Life Duration 9,9> ,0 2 Cum Defects Total <Single Goal - Life Duration 9,9> , ,6 0,4 MTTD Total (Days) Cum Defects Total 0, jan '10 feb mrt apr mei jun jul aug sep 0, jan '10 feb mrt apr mei jun jul aug sep 0 Project: Klant X - Project Y

40 Wat levert methodisch begroten op? Voor de organisatie >Inzicht in de performance over projecten heen >Mogelijkheden tot interne en externe benchmarking >Verhoogde grip: voorspelbaarheid en transparantie > Onderbouwing initiatieven voor procesverbetering > Afspraken met leveranciers m. b. t. kostenreductie Welke organisatie wil dit niet?

41 Wat levert methodisch begroten op? Voor het project, de projectleider >Beter onderbouwde en verdedigbare begroting >Aanvullende zekerheid naast de expertbegroting >Uitspraak over de kwaliteit van de documentatie Welke Projectleider wil dit niet?? Maar hoe richt u zoiets in??

42 Hoe kunt u uw organisatie hierop inrichten?

43 Estimating & Performance Measurement Proces Per kwartaal Finetunen begrotingstools: Analyseer metrics, Raporteer trends Tool: QSM Metrics / SEER SEM Resultaat: Management rapportage en Bijgewerkte begrotingstools act Rapporteer plan Begroot Verzoek tot begroting Omvangsmeting: COSMIC/FPA/andere methode Begrotingstools: QSM SLIM Estimate/ SEER SEM/ ISBSG / Eigen tool Resultaat: Methodische Begroting (naast expertbegroting!) Project afgelopen Data collectie: Administreer projectresultaat Omvang: geleverde omvang Tool: QSM Datamanager / SEER SEM / Eigen database Evalueer check Administreer do Project uitvoering Project administratie -Standaard WBS -Zuiver boeken van uren -Registreren issues Tracking tools -QSM SLIM Control -SEER SEM Resultaat: Database met project ervaringscijfers Gecontroleerde uitvoering

44 Estimating Wizard (voorbeeld) Input Functional design parameters Functional Design Yes Overlap Yes, calculated 0 Language Availability key users Location Build and test parameters Development tool English Low On site Java Onshore Offshore Construction 0% 100% Translation FD required No System test approach System test strategy Complexity B&T General parameters Size 100% India TMap Heavy High FP Start date Risk surcharge (%) 10 % Warranty (%) 4 % Organization type Government Quality documentation 4 m14v

45 Resultaten Estimating Wizard Result in hours, euros and Function Points. Number of Function Points: Functional design phase Duration in weeks 27 Design complete Total effort Effort per FP 2,65 Totaal cost Cost per FP 297 Note: Data randomly altered Build and test phase Duration in weeks Start phase Total effort Effort per FP 10,82 9,80 8,98 8,4 8 7,7 7,46 Totaal cost Cost per FP Total Duration in weeks Delivery for acceptance Total effort Effort per FP 13,47 12,45 11,63 11,05 10,65 10,35 10,11 Totaal cost Cost per FP Select an option ONWAAR ONWAAR ONWAAR WAAR ONWAAR ONWAAR ONWAAR Estimate / Business Case Kosten afhankelijk van Time-to-market

46 WBS Standard WBS Every task specified Per task : number of hours (experience) Function level + hourly rate per task Costs per task per function point Management Phase Construction (Onshore) # hrs # Hrs/FP FL Rate /hr Cost Cost /FP Project management Construction Contract management 88 0, , ,00 72,00 Project management 352 0, , ,00 224,00 Quality management 90 0, SC 230, ,00 134,00 Project preparation Construction Preparation workplace/infrastr/developenviron 12 0, , ,00 12,00 Preparation application framework 112 0, , ,00 42,00 Start up/reading 33 0, , ,00 17,00 Kick off 8 0, , ,00 12,00 Data randomly altered

47 Total project Total project # hrs # Hrs/FP FL Rate /hr Cost Cost /FP Total Total onshore 351 1, ,00 745,05 Total offshore , ,00 - Total , ,00 455,32 Cost # hrs # Hrs/FP FL Rate /hr Cost Cost /FP Workplace cost onshore , ,50 6,56 Workplace cost offshore , ,00 3,56 travel cost ,00 28,54 Translation cost 2.145,00 2,45 Licence cost 8.998,00 22,56 Harware/infrastructure cost - Risk surcharge cost (0%) - - Total cost ,50 63,67 Overal total , ,50 518,99 Data randomly altered

48 Vergelijk Begrotingen Methodische Begroting Expert Begroting - Technisch Ontwerper Management Phase Construction (Onshore) # hrs # Hrs/FP FL Rate /hr Cost Cost /FP Project management Construction Contract management 88 0, , ,00 72,00 Project management 352 0, , ,00 224,00 Quality management 90 0, SC 230, ,00 134,00 Project preparation Construction Preparation workplace/infrastr/developenviron 12 0, , ,00 12,00 Preparation application framework 112 0, , ,00 42,00 Start up/reading 33 0, , ,00 17,00 Kick off 8 0, , ,00 12,00 Management Phase Construction (Onshore) # hrs # Hrs/FP FL Rate /hr Cost Cost /FP Project management Construction Contract management 88 0, , ,00 72,00 Project management 352 0, , ,00 224,00 Quality management 90 0, SC 230, ,00 134,00 Project preparation Construction Preparation workplace/infrastr/developenviron 12 0, , ,00 12,00 Preparation application framework 112 0, , ,00 42,00 Start up/reading 33 0, , ,00 17,00 Kick off 8 0, , ,00 12,00 Ontwikkelaar Project Manager Management Phase Construction (Onshore) # hrs # Hrs/FP FL Rate /hr Cost Cost /FP Project management Construction Contract management 88 0, , ,00 72,00 Project management 352 0, , ,00 224,00 Quality management 90 0, SC 230, ,00 134,00 Project preparation Construction Preparation workplace/infrastr/developenviron 12 0, , ,00 12,00 Preparation application framework 112 0, , ,00 42,00 Start up/reading 33 0, , ,00 17,00 Kick off 8 0, , ,00 12,00 Test Manager Management Phase Construction (Onshore) # hrs # Hrs/FP FL Rate /hr Cost Cost /FP Project management Construction Contract management 88 0, , ,00 72,00 Project management 352 0, , ,00 224,00 Quality management 90 0, SC 230, ,00 134,00 Project preparation Construction Preparation workplace/infrastr/developenviron 12 0, , ,00 12,00 Preparation application framework 112 0, , ,00 42,00 Start up/reading 33 0, , ,00 17,00 Kick off 8 0, , ,00 12,00

49 Uitvoering Project Won? Uitvoering Uren boeken in urenadministratie tool standaard WBS Management Phase Construction (Onshore) # hrs # Hrs/FP FL Rate /hr Cost Cost /FP Project management Construction Contract management 88 0, , ,00 72,00 Project management 352 0, , ,00 224,00 Quality management 90 0, SC 230, ,00 134,00 Project preparation Construction Preparation workplace/infrastr/developenviron 12 0, , ,00 12,00 Preparation application framework 112 0, , ,00 42,00 Start up/reading 33 0, , ,00 17,00 Kick off 8 0, , ,00 12,00 Project Control Scope management

50 Project afgerond Data collectie Evaluatie Uren besteed per activiteit en fase # Defects ST, AT en 1 e maand productie Management Phase Construction (Onshore) # hrs # Hrs/FP FL Rate /hr Cost Cost /FP Project management Construction Contract management 88 0, , ,00 72,00 Project management 352 0, , ,00 224,00 Quality management 90 0, SC 230, ,00 134,00 Project preparation Construction Preparation workplace/infrastr/developenviron 12 0, , ,00 12,00 Preparation application framework 112 0, , ,00 42,00 Start up/reading 33 0, , ,00 17,00 Kick off 8 0, , ,00 12,00 Nieuwe FPA geleverde omvang

51 Analyse Analyse en Rapportage Vaststellen metrieken Productiviteit (uur/fp), kwaliteit (defects/fp), etc. Eventueel aanpassen tools obv de gerealiseerde data Rapportage [6] Uren / FP vs Effective FP Trendlines uren/fp 3GL enkel fp Uren / FP vs Effective FP Uren / FP 10 Uren / FP Effective FP Effective FP Uren / FP vs Effective FP Uren / FP Effective FP 3GL Cobol Java QSM 2008 Business FP Avg. Line Style 1 Sigma Line Style

52 Inrichten is niet eenvoudig. Een paar tips! Tip 1: Stel een E&PM proces in met een proces eigenaar in MT. Tip 2: Zorg voor standaardisatie en templates! Tip 3: Gebruik indien mogelijk COSMIC. Tip 4: Kies een goede toolsuite. Tip 5: Implementeer een standaard WBS. Tip 6: Laat je niet afschrikken door gebrek aan CFPA s. FPA/COSMIC kan eenvoudig worden uitbesteed.

53 Wat kun je nu al doen als PM?? Maak gebruik van standaarden Laat een omvangmeting maken Reality check van de expertbegroting Achteraf vastleggen van data Benchmark je project bij ISBSG

54 Tijdelijke Tip t/m 15 mei 2010 gratis

55 ISBSG Not-for-profit organisatie 3 Belangrijke Questionnaires en repositories Software New Developments & Enhancements Software Maintenance & Support COSMIC Industry Data Download questionnaire: ISBSG anonimiseert de data Je ontvangt gratis een benchmark rapport!

56 Conclusies Veel projecten mislukken omdat wordt uitgegaan van onrealistische verwachtingen. Realistische begrotingen zijn te maken door naast de expertbegroting ook een methodische begroting te maken. Om dit te doen is het nodig om een Estimating & Performance Measurement proces in te richten

57 Wat heb ik u laten zien? Methodisch begroten van projecten is een cruciale factor voor het succesvol realiseren van projecten.

58 Software Measurement European Forum 2010 Rome, juni 2010 RFP management ask the right questions and choose wisely Mocht je interesse hebben in deze paper, stuur me dan een mail. ublicaties.jsp [2]

59 Hoofdsponsors Sponsors IPMA-NL Jaarsponsors

60 Bronnen [1] Standish Group Chaos report 2009, [2] Sogeti Nederland B.V., [3] McConnell Software Estimation, demystifying the black art, 2006 [4] Putnam & Myers - Five core metrics, The Intelligence Behind Successful Software Management, Dorset House Publishing 2003 [5] ISBSG [6] QSM of [7] Galorath SEER