Voorspellen van projectduur en -kost aan de hand van referentieklassen

Transcriptie

1 Voorspellen van projectduur en -kost aan de hand van referentieklassen Masterproef voorgedragen tot het bekomen van de graad van Master of Science in de Toegepaste Economische Wetenschappen : Handelsingenieur - Operationeel Management door William Casaert en Jef Descheemaecker onder leiding van Prof. dr. Mario Vanhoucke - Promotor dhr. Jordy Batselier - Begeleider Vakgroep Beleidsinformatica en Operationeel Beheer Faculteit Economie en Bedrijfskunde, Universiteit Gent Tweekerkenstraat 2, B-9000 Gent

2

3

4

5 Voorspellen van projectduur en -kost aan de hand van referentieklassen Masterproef voorgedragen tot het bekomen van de graad van Master of Science in de Toegepaste Economische Wetenschappen : Handelsingenieur - Operationeel Management door William Casaert en Jef Descheemaecker onder leiding van Prof. dr. Mario Vanhoucke - Promotor dhr. Jordy Batselier - Begeleider Vakgroep Beleidsinformatica en Operationeel Beheer Faculteit Economie en Bedrijfskunde, Universiteit Gent Tweekerkenstraat 2, B-9000 Gent

6

7 The goal of forecasting is not to predict the future, but to tell you what you need to know to take meaningful action in the present. Paul Saffo, Six Rules for Effective Forecasting (2007) iii

8

9 Auteursrecht De auteurs geven de toestemming deze scriptie voor consultatie beschikbaar te stellen en delen ervan te kopiëren voor persoonlijk gebruik. Elk ander gebruik valt onder de beperkingen van het auteursrecht, in het bijzonder met betrekking tot de verplichting de bron te vermelden bij het aanhalen van resultaten uit deze scriptie. The authors give the permission to use this thesis for consultation and to copy parts of it for personal use. Every other use is subject to the copyright laws, more specifically the source must be extensively specified when using results from this thesis. William Casaert Jef Descheemaecker Handtekening : Handtekening : Datum : Datum : v

10

11 Samenvatting Een van de belangrijkste oorzaken van risico in projectmanagement is afkomstig van de inaccurate voorspelling van projectduur en -kost. Het accuraat voorspellen hiervan vormt dan ook een van de belangrijkste taken van de projectmanager. Reference class forecasting of het voorspellen aan de hand van referentieklassen is een veelbelovende nieuwe voorspellingsmethode die ontwikkeld werd met als doel het beperken van deze onzekerheden, waarbij men projecten gaat voorspellen door te kijken naar gelijkaardige projecten uit het verleden. De methode belooft meer accurate voorspellingen door het hanteren van de zogenaamde outside view, terwijl conventionele methoden een inside view hanteren (Flyvbjerg, 2006). Voor de eenvoud zullen we in het vervolg de term reference class forecasting of de afkorting RCF gebruiken. Bij een outside view worden de voorspellingen gemaakt door te kijken naar gelijkaardige projecten die reeds in het verleden werden uitgevoerd. Aan de hand van de uitkomsten van die historische projecten kan een waarschijnlijkheidsverdeling worden opgesteld die vervolgens kan worden gebruikt voor het maken van voorspellingen voor nieuwe projecten. In ons onderzoek zullen we de voorspellingsmethode gebaseerd op referentieklassen testen in de praktijk. Hiervoor zullen we reference class forecasting toepassen op een aantal (gelijkaardige) reële projecten en vergelijken met conventionele methodologieën. In zijn paper From Nobel Prize to Project Management : Getting Risks Right beschrijft B. Flyvbjerg (2006) hoe de methode wordt toegepast op een uitbreidingsproject van Edinburgh Trams in het Verenigd Koninkrijk. Het is nu aan ons om deze methode net zoals B. Flyvbjerg te gaan toepassen op een door ons aangelegde database van reële projecten en daarnaast een aanvulling te bieden op de tekortkomingen die in zijn werk werden vastgesteld. vii

12

13 Voorwoord Deze masterproef vormt het sluitstuk van onze opleiding Handelsingenieur aan de Universiteit van Gent. Het was een eer om te studeren aan een universiteit die zorgt voor een goede academische ontwikkeling. We kunnen terugblikken op een intense, maar zeer leerrijke periode. Wij zouden graag iedereen willen bedanken voor de hulp en steun die we kregen tijdens de finale van onze opleiding: onze thesis. In de eerste plaats zouden we graag een dankwoord richten aan Prof. dr. Mario Vanhoucke voor het aanreiken van dit onderwerp. Zijn enthousiasme en inspirerende manier van lesgeven zorgden er mede voor dat we een onderzoek kozen binnen zijn vakgroep. Ten tweede willen we graag onze begeleider, dhr. Jordy Batselier bedanken voor de nodige feedback, suggesties en opmerkingen. Zijn tips en advies hielden ons op het juiste pad. Verder zouden we graag alle bedrijven willen bedanken voor de projectdata die we van hen in vertrouwen kregen. Enkel dankzij hun bereidwillige medewerking waren wij in staat ons onderzoek te voeren. We bedanken ook allen die dit werkstuk hebben nagelezen en de nodige suggesties en correcties hebben aangebracht. Daarnaast zouden wij graag onze ouders bedanken voor de mogelijkheden die ze ons gaven om deze studies te kunnen volgen. In het bijzonder bedanken we hen voor de steun en het nodige doorzettingsvermogen die ze ons doorheen onze opleiding gaven. Tot slot nog een woord van dank aan onze vrienden en vriendinnen die ons een fantastische studententijd bezorgden. Met trots leggen we u dit werkstuk voor. William & Jef ix

14

15 Inhoudsopgave Auteursrecht Samenvatting Voorwoord Lijst van figuren Lijst van tabellen v vii ix xvii xxi I Inleiding 1 1 Algemene inleiding Onderwerp & doel Omvang & beperkingen Methode Structuur Earned Value Management Introductie Basisparameters van EVM Prestatiemaatstaven van EVM Cost Variance (CV) en Cost Performance Index (CPI) Schedule Variance (SV) en Schedule Performance Index (SPI) Tekortkomingen Earned Schedule Voorspellingen aan de hand van EVM Estimated duration at Completion (EAC(t)) Estimated cost at Completion (EAC) Warburton s model: tijdsafhankelijke EVM Introductie Oorsprong en doel van Warburton s model Oorsprong van het idee voor de ontwikkeling van het model xi

16 3.2.2 Doel van Warburton s model Parameters en opbouw van Warburton s model Sleutelcomponenten van Warburton s model Opbouw van Warburton s model Voorspellingen aan de hand van Warburton s model Voorspellen van de finale projectkost Voorspellen van de finale projectduur Verschillen met traditionele EVM Functionele tijdsafhankelijkheid Vroege projectdata Tekortkomingen Acceleratiefasen tijdens het project Kritieke pad Voorspellen van de finale projectduur Cumulatieve waarden Monte-Carlo simulaties Introductie Puntschatting versus intervalschatting Driehoekige risicodistributies Voorspellingen aan de hand van Monte-Carlo simulaties II Reference Class Forecasting 37 5 Introductie Verklaringen voor inaccurate voorspellingen Verklaringen voor onnauwkeurige voorspellingen met betrekking tot de finale projectkost Verklaringen voor onnauwkeurige voorspellingen met betrekking tot de finale projectduur Inside versus outside view Inside view Outside view Overzicht van de reference class forecasting methode Introductie Reference class forecasting methodes doorheen de tijd De methode van Mott MacDonald (2002) De methode van Flyvbjerg (2006) De methode van Salling (2009) Conclusie xii

17 6.3 Beperkingen Methodologie Introductie Stapsgewijze procedure Optimism bias uplifts Aanvaardbaar risico RCF in de praktijk 61 III Specifieke uitdagingen 69 9 Tekortkomingen vroeger onderzoek Onderzoeksvragen Algemene toepasbaarheid Keuze referentieklassen Prestaties van de RCF methode Vergelijking met traditionele voorspellingsmethoden IV Onderzoeksmethodiek Fase 1: Voorbereiding Noodzakelijke gegevens Baseline schedule Risicoanalyse Projectcontrole Aanpak rondvraag bedrijven ProTrack Aanleggen database Fase 2: Voorspellingen Baseline schedule schatting Monte-Carlo simulaties Voorspelling finale projectduur Voorspelling finale projectkost Earned value management Voorspelling finale projectduur Voorspelling finale projectkost Methode van Warburton Parameters van het model Voorspelling finale projectkost xiii

18 Voorspelling finale projectduur Reference class forecasting Keuze referentieklassen Voorspellingen Fase 3: Evaluatie Kwantitatieve analyse Nauwkeurigheid Stabiliteit Timeliness Kwalitatieve analyse Voorbeeldproject Beschrijving van het project Fase 2: Voorspellingen Baseline schedule Monte-Carlo simulaties EVM Warburton s model RCF Fase 3: Evaluatie Kwantitatieve evaluatie V Overzicht projecten Projecten uit eigen rondvraag Bedrijf X Bedrijf Y Bedrijf Z: overzicht projectgegevens Projecten uit de OR-AS database Appartementen Kantoren IT projecten Woningbouw Industrie VI Resultaten Kwantitatieve evaluatie Nauwkeurigheid Bedrijf X xiv

19 Bedrijf Y Bedrijf Z Appartementen Kantoren IT projecten Woningbouw Industrie Stabiliteit Timeliness Kwalitatieve evaluatie Baseline schedule Monte-Carlo simulaties Warburton s model Earned value management Reference class forecasting VII Finale reflecties Conclusies Conclusie prestaties en toegevoegde waarde RCF Conclusies traditionele voorspellingsmethodes Beperkingen en toekomstig onderzoek Bibliografie 173 A Onderzoeksmethode volgens B. Flyvbjerg 177 A.1 Introductie A.2 Stapsgewijze procedure A.2.1 Fase 1: Verzameling historische projecten A.3 Fase 2: Reference class forecasting A.3.1 Stap 1: Identificatie van een relevante referentieklasse van projecten uit het verleden A.3.2 Stap 2: Oprichting van een kansverdeling voor deze referentieklasse A.3.3 Stap 3: Het vinden van de optimism bias uplifts A.4 Conclusie B Resultaten bijlage A 185 C Resultaten nauwkeurigheid 193 D Resultaten timeliness 215 xv

20

21 Lijst van figuren 1.1 Overzicht structuur thesis EVM: basisparameters, prestatiemaatstaven en voorspellingsindicatoren (Vanhoucke, 2011) EVM: basisparameters voor vroeg- en laattijdig afgewerkte projecten met kosten onder- en overschrijding, waarbij het aantal weken wordt weergegeven op de x-as en het budget op de y-as (Vanhoucke, 2011) De Earned Schedule op tijdstip W7 (Vanhoucke, 2011) Ogenblikkelijke Planned Value, Earned Value en Actual Cost voor de PNR labor profile (Warburton, 2010) Cumulatieve Planned Value, Earned Value en Actual Cost voor de PNR labor profile (Warburton, 2010) Een vaste en variabele projectduurtijd als gevolg van het gebruik van enerzijds puntschattingen en anderzijds intervalschattingen voor de duurtijd (Vanhoucke, 2011) Een vaste en variabele projectduurtijd als gevolg van het gebruik van enerzijds puntschattingen en anderzijds intervalschattingen voor de duurtijd (Vanhoucke, 2011) De Monte-Carlo simulatie-aanpak in projectplanning (Vanhoucke, 2011) Verklarende kracht van strategic misrepresentation en optimism bias ten opzichte van politieke en organisatorische druk (Flyvbjerg, 2006) Oorzaak-gevolg relaties van vertraging in de bouw (Shi, Cheung & Arditi, 2001) Inside view versus outside view gebaseerd op een technical report van B. Flyvbjerg, Glenting & Rönnest (2004) Statistische weergave van de RCF methode (Flyvbjerg, 2011) Overzicht concept van de methode volgens Mott MacDonald Overzicht concept van de methode volgens B. Flyvbjerg Overzicht concept van de methode volgens Salling xvii

22 7.1 Noodzakelijke uplift die vereist is om ervoor te zorgen dat de kans op een kostenoverschrijding lager is dan X% (Flyvbjerg, Glenting & Rönnest, 2004) Kostoverschrijding van wegenprojecten in het VK (N=128) en een benchmark (N=44) (Flyvbjerg, Glenting & Rönnest, 2004) Kostoverschrijding van vaste verbindingsprojecten in het VK (N=4) en een benchmark (N=30) (Flyvbjerg, Glenting & Rönnest, 2004) Kansverdeling van de kostoverschrijding voor wegen, N = 1772 (Flyvbjerg, 2006) Kansverdeling van de kostoverschrijding voor vaste verbindingen, N = 34 (Flyvbjerg, 2006) Vereiste uplift in functie van het maximaal aanvaardbare risico op kostenoverschrijding voor wegen (Flyvbjerg, 2006) Vereiste uplift in functie van het maximaal aanvaardbare risico op kostenoverschrijding voor vaste verbindingen (Flyvbjerg, 2006) Overzicht onderzoeksmethodiek Gantt chart van het voorbeeldproject MC simulatie voor de finale projectkost MC simulatie voor de finale projectduur Overzicht kostvoorspellingen op verschillende de TP s Overzicht duurtijdvoorspellingen op verschillende de TP s Bedrijf X: Staafdiagram van de gemiddelde MAPE s van de finale projectduurvoorspellingen Bedrijf X: Overzicht gemiddelde MPE s van de finale projectduurvoorspellingen [%] Bedrijf X: Staafdiagram van de gemiddelde MAPE s van de finale projectkostvoorspellingen Bedrijf X: Overzicht gemiddelde MPE s van de finale projectkostvoorspellingen [%] Bedrijf Y: Staafdiagram van de gemiddelde MAPE s van de finale projectkostvoorspellingen Bedrijf Y: Overzicht gemiddelde MPE s van de finale projectkostvoorspellingen [%] Bedrijf Z: Staafdiagram van de gemiddelde MAPE s van de finale projectduurvoorspellingen Bedrijf Z: Overzicht gemiddelde MPE s van de finale projectduurvoorspellingen [%] Bedrijf Z: Staafdiagram van de gemiddelde MAPE s van de finale projectkostvoorspellingen Bedrijf Z: Overzicht gemiddelde MPE s van de finale projectkostvoorspellingen [%] Appartementen: Staafdiagram van de gemiddelde MAPE s van de finale projectduurvoorspellingen Appartementen: Overzicht gemiddelde MPE s van de finale projectduurvoorspellingen [%] xviii

23 17.13Appartementen: Staafdiagram van de gemiddelde MAPE s van de finale projectkostvoorspellingen Appartementen: Overzicht gemiddelde MPE s van de finale projectkostvoorspellingen [%] Kantoren: Staafdiagram van de gemiddelde MAPE s van de finale projectduurvoorspellingen Kantoren: Overzicht gemiddelde MPE s van de finale projectduurvoorspellingen [%] Kantoren: Staafdiagram van de gemiddelde MAPE s van de finale projectkostvoorspellingen Kantoren: Overzicht gemiddelde MPE s van de finale projectkostvoorspellingen [%] IT projecten: Staafdiagram van de gemiddelde MAPE s van de finale projectduurvoorspellingen IT projecten: Overzicht gemiddelde MPE s van de finale projectduurvoorspellingen [%] IT projecten: Staafdiagram van de gemiddelde MAPE s van de finale projectkostvoorspellingen IT projecten: Overzicht gemiddelde MPE s van de finale projectkostvoorspellingen [%] Woningbouw: Staafdiagram van de gemiddelde MAPE s van de finale projectduurvoorspellingen Woningbouw: Overzicht gemiddelde MPE s van de finale projectduurvoorspellingen [%] Woningbouw: Staafdiagram van de gemiddelde MAPE s van de finale projectkostvoorspellingen Woningbouw: Overzicht gemiddelde MPE s van de finale projectkostvoorspellingen [%] Industrie: Staafdiagram van de gemiddelde MAPE s van de finale projectduurvoorspellingen Industrie: Overzicht gemiddelde MPE s van de finale projectduurvoorspellingen [%] Industrie: Staafdiagram van de gemiddelde MAPE s van de finale projectkostvoorspellingen Industrie: Overzicht gemiddelde MPE s van de finale projectkostvoorspellingen [%] EVM (EAC(t)1): nauwkeurigheid van de finale kostvoorspellingen in de verschillende projectfasen A.1 Histogram van de kostoverschrijdingen A.2 Output distribution fitting in Matlab A.3 Kansverdeling van de kostoverschrijding voor de referentieklasse. (Rode curve op basis van de gefitte distributie; Grijze curve op basis van data referentieprojecten.)183 xix

24 A.4 Vereiste Uplifts als functie van de aanvaardbare kans op kostoverschrijding. (Rode curve op basis van de gefitte distributie; Grijze curve op basis van data referentieprojecten.) D.1 EVM (EAC(t)1): nauwkeurigheid van de finale duurtijdvoorspellingen in de verschillende projectfasen D.2 EVM (EAC(t)2): nauwkeurigheid van de finale duurtijdvoorspellingen in de verschillende projectfasen D.3 EVM (EAC1): nauwkeurigheid van de finale kostvoorspellingen in de verschillende projectfasen D.4 EVM (EAC2): nauwkeurigheid van de finale kostvoorspellingen in de verschillende projectfasen xx

25 Lijst van tabellen 2.1 EAC(t) voorspellingsmethodes EAC voorspellingsmethodes Parameters van Warburton s Model Overzicht verschillen tussen punt- en intervalschattingen Overzicht van de verklaringen voor onnauwkeurige voorspellingen Overzicht van de RCF methodes volgens MacDonald, Flyvbjerg en Salling Categorieën en projecttypes die als basis voor RCF werden gebruikt (Flyvbjerg, 2006) Vereiste uplifts voor voorspellingen aan de hand van referentieklassen volgens een studie uit het VK (Salling, Leleur & Skougaard, 2010) Overzicht opdeling in referentieklassen voor de verschillende projecten Overzicht verschillende fasen in de project life cycle Overzicht kwalitatieve beoordelingscriteria Overzicht activiteiten van het voorbeeldproject EVM voorspellingen van de finale projectduur volgens de verschillende methodes [d] Voorspellingen finale projectkost volgens de verschillende methodes [e] Overzicht paramaters van Warburton s model voor het voorbeeldproject Voorspellingen van de finale projectduur en -kost volgens de methode van Warburton Overzicht activiteiten gebruikt voor het bepalen van Warburton s parameters (i.e. vroege projectdata) RCF voorspellingen van de finale projectduur en -kost voor de verschillende referentieklassen Overzicht keuze referentieklassen en bijhorende afwijking tussen voorspelling en realisatie (1/2) Nauwkeurigheid van de voorspellingen op basis van de BS schatting Nauwkeurigheid van de voorspellingen op basis van Monte-Carlo simulaties Nauwkeurigheid van de EVM voorspellingen voor de finale duurtijd xxi

26 14.12Nauwkeurigheid van de EVM voorspellingen voor de finale duurtijd Nauwkeurigheid van de voorspellingen volgens Warburton s methode Nauwkeurigheid van de voorspellingen volgens RCF Overzicht nauwkeurigheid van de verschillende methodes in verschillende projectfases (kostvoorspellingen) [%] Overzicht nauwkeurigheid van de verschillende methodes in verschillende projectfases (duurtijdvoorspellingen) [%] Overzicht alle projecten Bedrijf X: overzicht projectgegevens Bedrijf Y: overzicht projectgegevens Bedrijf Z: overzicht projectgegevens Appartementen: overzicht projectgegevens Kantoren: overzicht projectgegevens IT projecten: overzicht projectgegevens Woningbouw: overzicht projectgegevens Industrie: overzicht projectgegevens Bedrijf X: Overzicht MAPE s van de finale projectduurvoorspellingen [%] Bedrijf X: Overzicht gemiddelde MPE s van de finale projectduurvoorspellingen [%] Bedrijf X: Overzicht MAPE s van de finale projectkostvoorspellingen [%] Bedrijf X: Overzicht gemiddelde MPE s van de finale projectkostvoorspellingen [%] Bedrijf Y: Overzicht MAPE s van de finale projectkostvoorspellingen [%] Bedrijf Y: Overzicht gemiddelde MPE s van de finale projectkostvoorspellingen [%] Bedrijf Z: Overzicht MAPE s van de finale projectduurvoorspellingen [%] Bedrijf Z: Overzicht gemiddelde MPE s van de finale projectduurvoorspellingen [%] Bedrijf Z: Overzicht MAPE s van de finale projectkostvoorspellingen [%] Bedrijf Z: Overzicht gemiddelde MPE s van de finale projectkostvoorspellingen [%] Appartementen: Overzicht MAPE s van de finale projectduurvoorspellingen [%] Appartementen: Overzicht gemiddelde MPE s van de finale projectduurvoorspellingen [%] Appartementen: Overzicht MAPE s van de finale projectkostvoorspellingen [%] Appartementen: Overzicht gemiddelde MPE s van de finale projectkostvoorspellingen [%] Kantoren: Overzicht MAPE s van de finale projectduurvoorspellingen [%] Kantoren: Overzicht gemiddelde MPE s van de finale projectduurvoorspellingen [%] Kantoren: Overzicht MAPE s van de finale projectkostvoorspellingen [%] Kantoren: Overzicht gemiddelde MPE s van de finale projectkostvoorspellingen [%] IT projecten: Overzicht MAPE s van de finale projectduurvoorspellingen [%] IT projecten: Overzicht gemiddelde MPE s van de finale projectduurvoorspellingen [%] xxii

27 17.21IT projecten: Overzicht MAPE s van de finale projectkostvoorspellingen [%] IT projecten: Overzicht gemiddelde MPE s van de finale projectkostvoorspellingen [%] Woningbouw: Overzicht MAPE s van de finale projectduurvoorspellingen [%] Woningbouw: Overzicht gemiddelde MPE s van de finale projectduurvoorspellingen [%] Woningbouw: Overzicht MAPE s van de finale projectkostvoorspellingen [%] Woningbouw: Overzicht gemiddelde MPE s van de finale projectkostvoorspellingen [%] Industrie: Overzicht MAPE s van de finale projectduurvoorspellingen [%] Industrie: Overzicht gemiddelde MPE s van de finale projectduurvoorspellingen [%] Industrie: Overzicht MAPE s van de finale projectkostvoorspellingen [%] Industrie: Overzicht gemiddelde MPE s van de finale projectkostvoorspellingen [%] EVM (EAC1): Vergelijking van de nauwkeurigheid van de finale kostvoorspellingen met de traditionele voorspellingsmethodes in de vroege projectfase EVM (EAC1): Vergelijking van de nauwkeurigheid van de finale kostvoorspellingen met de traditionele voorspellingsmethodes in de midden projectfase EVM (EAC1): Vergelijking van de nauwkeurigheid van de finale kostvoorspellingen met de traditionele voorspellingsmethodes in de late projectfase Overzicht kwalitatieve beoordelingscriteria Kwaliteitsmatrix A.1 Overzicht projecten van de referentieklasse A.2 Statistische waarden voor de kostoverschrijding van de referentieprojecten A.3 Frequentietabel van de kostoverschrijdingen A.4 Log-Likelihood waarden voor de gefitte distributies A.5 Overzicht parameters t Location-scale distributie A.6 Parameterwaarden van de gefitte t Location-scale distributie A.7 Voorspellingen van het project voor verschillende niveau s van aanvaardbaar risico.184 B.1 Overzicht voorspellingen en realisaties van de referentieprojecten B.2 Verdeling van de kostoverschrijdingen B.3 Vereiste uplifts in functie van het aanvaardbaar risico C.1 Overzicht van de finale projectduurvoorspellingen [d] C.2 Overzicht MAPE s van de finale projectduurvoorspellingen [%] C.3 Overzicht MPE s van de finale projectduurvoorspellingen [%] C.4 Overzicht van de finale projectkostvoorspellingen [e] C.5 Overzicht MAPE s van de finale projectkostvoorspellingen [%] C.6 Overzicht MPE s van de finale projectkostvoorspellingen [%] C.7 Voorspellingen duurtijd [d] voor de verschillende fases xxiii

28 C.8 MAPE s duurtijd [%] voor de verschillende fases C.9 Voorspellingen projectkost [e] voor de verschillende fases C.10 MAPE s projectkost [%] voor de verschillende fases D.1 EVM (EAC(t)1): overzicht MAPE s van de finale duurtijdvoorspellingen in de verschillende projectfasen. [%] D.2 EVM (EAC(t)2): overzicht MAPE s van de finale duurtijdvoorspellingen in de verschillende projectfasen. [%] D.3 EVM (EAC1): overzicht MAPE s van de finale kostvoorspellingen in de verschillende projectfasen. [%] D.4 EVM (EAC2): overzicht MAPE s van de finale kostvoorspellingen in de verschillende projectfasen. [%] D.5 EVM (EAC(t)1): Vergelijking van de nauwkeurigheid van de finale duurtijdvoorspellingen met de traditionele voorspellingsmethodes in de vroege projectfase D.6 EVM (EAC(t)1): Vergelijking van de nauwkeurigheid van de finale duurtijdvoorspellingen met de traditionele voorspellingsmethodes in de midden projectfase D.7 EVM (EAC(t)1): Vergelijking van de nauwkeurigheid van de finale duurtijdvoorspellingen met de traditionele voorspellingsmethodes in de late projectfase D.8 EVM (EAC(t)2): Vergelijking van de nauwkeurigheid van de finale duurtijdvoorspellingen met de traditionele voorspellingsmethodes in de vroege projectfase D.9 EVM (EAC(t)2): Vergelijking van de nauwkeurigheid van de finale duurtijdvoorspellingen met de traditionele voorspellingsmethodes in de midden projectfase D.10 EVM (EAC(t)2): Vergelijking van de nauwkeurigheid van de finale duurtijdvoorspellingen met de traditionele voorspellingsmethodes in de late projectfase D.11 EVM (EAC1): Vergelijking van de nauwkeurigheid van de finale kostvoorspellingen met de traditionele voorspellingsmethodes in de vroege projectfase D.12 EVM (EAC1): Vergelijking van de nauwkeurigheid van de finale kostvoorspellingen met de traditionele voorspellingsmethodes in de midden projectfase D.13 EVM (EAC1): Vergelijking van de nauwkeurigheid van de finale kostvoorspellingen met de traditionele voorspellingsmethodes in de late projectfase D.14 EVM (EAC2): Vergelijking van de nauwkeurigheid van de finale kostvoorspellingen met de traditionele voorspellingsmethodes in de vroege projectfase D.15 EVM (EAC2): Vergelijking van de nauwkeurigheid van de finale kostvoorspellingen met de traditionele voorspellingsmethodes in de midden projectfase D.16 EVM (EAC2): Vergelijking van de nauwkeurigheid van de finale kostvoorspellingen met de traditionele voorspellingsmethodes in de late projectfase xxiv

29 Lijst met afkortingen A AC AD APA AS AT Actual Cost Actual Duration American Planning Association Actual Start Actual Time B BAC BCRW BIS BS Budget at Completion Budgeted Cost of Remaining Work Bouw- en Immobiliën Salon Baseline Schedule C CP CPI CV Critical Path Cost Performance Index Cost Variance E EAC EAC(t) ED ES EV EVM Estimated Cost at Completion Estimated Duration at Completion Earned Duration Earned Schedule Earned Value Earned Value Management F FF FS Finish-finish Finish-start K KBA KS Kosten-batenanalyse Kolmogorov-Smirnov xxv

30 L LL Log-Likelihood M MAPE MC MLE MPE Mean Absolute Percentage Error Monte-Carlo Maximum Likelihood Estimation Mean Percentage Error P PC PD PDWR PERT PF PM PNR PS PV PVR Percentage Completed Planned Duration Planned Duration of Work Remaining Program Evaluation and Review Technique Performance Factor Project Manager Putnam-Norden-Rayleigh Planned Start Planned Value Planned Value Rate R RCF Reference Class Forecsating S SD SF SPI SS SV Scheduled Duration Start-finish Schedule Performance Index Start-start Schedule Variance T TP TV Tracking Periode Time Variance U UD Unearned Duration W WBS Work Breakdown Structure xxvi

31 Deel I Inleiding 1

32

33 1 HOOFDSTUK 1 Algemene inleiding 1.1 Onderwerp & doel Het is de taak van projectmanagers om de projectduur en kost zo nauwkeurig mogelijk te gaan voorspellen. Voor het maken van deze voorspellingen zijn er verschillende methodes voorhanden. Ten eerste wordt er voor de start van een project door de projectmanager (PM) een planning opgemaakt die wordt vastgelegd in de zogenaamde baseline schedule (BS). Hierbij wordt de kost en duurtijd voor elke activiteit apart voorspeld. Daarna worden de onderlinge relaties tussen deze activiteiten in rekening gebracht om voorspellingen voor het ganse project te maken. Daarnaast vormt het gebruik van Monte-Carlo simulaties een tweede manier om pre-project voorspellingen te maken. Deze methode maakt gebruik van risicodistributies die door de 3

34 1 Algemene inleiding PM voor iedere activiteit dienen te worden bepaald, en op basis waarvan de uitkomst van het project een groot aantal keer wordt gesimuleerd. Ten derde kan men aan de hand van de earned value management methode (EVM) de fysieke vooruitgang van een project meten en evalueren. Deze methode werd ontwikkeld om projectmanagers te voorzien van essentiële informatie omtrent de prestaties van projecten, en dit door de kritieke elementen van projectmanagement te integreren, nl. tijd, kost en omvang. Daarnaast laat de EVM methode het ook toe om de finale projectduur en -kost te voorspellen. In zijn paper A time-dependent earned value model for software projects stelde Roger D. H. Warburton (2010) een methode voor om tijdsafhankelijkheid op te nemen in Earned Value Management. De methode van Warburton vormt dan ook een vierde manier om projecten te voorspellen. De voorspellingen op basis van bovenstaande methodes leiden echter vaak tot een onnauwkeurige weergave van de realiteit. Een studie uitgevoerd door Flyvbjerg, Holm en Buhl (2002), analyseerde 258 projecten en toonde onder andere aan dat 9 op 10 projecten te maken hebben met kostoverschrijding. De ondermaatse prestaties van deze traditionele voorspelllingsmethodes kunnen niet worden verklaard op basis van technische oorzaken, waarbij gekeken wordt naar projectonzekerheid, de betrouwbaarheid van de gegevens of het gebruik van ongeschikte voorspellingsmethodes. Indien technische redenen aan de basis lagen van de inaccurate voorspellingen, dan zou men verwachten dat de PM s na verloop van tijd lessen zouden getrokken hebben uit hun ervaringen. Echter, aangezien er na verloop van tijd geen echte verbetering werd waargenomen, wordt de oorzaak voor de onnauwkeurige voorspellingen toegewezen aan menselijke fouten; ofwel hebben planners de neiging om zeer optimistisch te zijn, ofwel gaan zij bewust de winsten overschatten en de kosten onderschatten om zo projectgoedkeuring en -financiering veilig te stellen (Flyvbjerg, 2011). Om een denkfout te compenseren die Kahneman en Tversky (1979) ontdekt hadden in hun werk over planning en besluitvorming onder onderzekerheid, werd een nieuwe methode ontwikkeld voor het maken van voorspellingen. Het onderzoek van D. Kahneman leverde hem in 2002 de Nobelprijs op voor de Economie. In tegenstelling tot de traditionele methodes, die een zogenaamde inside view hanteren (cf. infra), maakt deze nieuwe methode, die voorspellingen maakt aan de hand van referentieklassen, gebruik van een outside view. Bij deze reference class forecasting methode (RCF) worden voorspellingen gebaseerd op ervaringen van vergelijkbare projecten uit het verleden, hetgeen zou moeten leiden tot meer accurate voorspellingen. In 2004 werd deze methode voor het eerst in de praktijk gebruikt door Flyvbjerg en COWI, en toegepast op een groot project uit de transportsector (Flyvbjerg, Glenting & Rönnest, 2004). Het doel van deze thesis is om de RCF methode te gaan toepassen, teneinde nieuwe inzichten te ontwikkelen, waarbij de beperkingen uit vorig onderzoek (cf. infra) zullen worden ondervangen. 4

35 Algemene inleiding Omvang & beperkingen Diverse experimentele studies (Kahneman, 1994; Kahneman & Tversky, 1977: 1979; Lovallo & Kahneman, 2003) hebben reeds aangetoond dat RCF nauwkeuriger is dan traditionele voorspellingsmethodes, maar het dient opgemerkt te worden dat deze studies niet kaderden in het gebied van projectmanagement. B. Flyvbjerg was de eerste om RCF binnen het domein van projectmanagement toe te passen zoals hierboven reeds aangehaald. Een eerste cruciaal punt dat ontbreekt in zijn werk, betreft het feit dat de RCF methode enkel werd toegepast voor bij de voorspelling van de finale projectkost. Daarnaast werd de methode niet kwantitatief geëvalueerd, en evenmin werden de prestaties ervan vergeleken met traditionele voorspellingsmethodes (cf. BS, Monte-Carlo simulaties, EVM & Warburton). In dit onderzoek werd aan de hand van reële data van 64 projecten de RCF methode getest en vergeleken met traditionele voorspellingsmethodes. Hierbij werd zoals vermeld in vorige sectie getracht om tegemoet te komen aan de beperkingen uit vorig onderzoek en aldus de inzichten omtrent de RCF methode uit te breiden. Net als in de paper door J. Batselier (Batselier & Vanhoucke, 2016), ligt de focus in dit onderzoek op het tijds- en kostaspect van projectmanagement. Hoewel dit hoogstwaarschijnlijk de twee belangrijkste objectieven zijn van een PM, zijn andere factoren als veiligheid, duurzaamheid en kwaliteit eveneens van belang. Een analyse van deze factoren valt echter buiten het bestek van dit onderzoek. 1.3 Methode Ten einde op de geformuleerde doelstelling uit vorige sectie een antwoord te kunnen bieden, geven we een duidelijk overzicht van de traditionele voorspellingsmethodes, alsook een uitgebreide bespreking van de reference class forecasting methode. Daarnaast zal de praktische toepassing van de voorspellingsmethodes aan de hand van een voorbeeldproject worden geïllustreerd, om op die manier de lezer vertrouwd te maken met de technieken voor het voorspellen van de finale projectduur en -kost. Voor de eigenlijke evaluatie en vergelijking van de verschillende voorspellingsmethodes, werd gebruik gemaakt van een database met reële projectdata. De projecten aanwezig in deze database zijn enerzijds afkomstig uit een eigen rondvraag en anderzijds werden ook projecten uit de database van OR-AS 1 opgenomen. In dit onderzoek werd gebruik gemaakt van de projectmanagement software tool Protrack, ten einde alle projecten - afkomstig van verschillende bedrijven - op een gelijkaardige manier weer te geven. Daarnaast werd ProTrack ook gebruikt voor het uitvoeren van bepaalde voorspellingsmethodes

36 1 Algemene inleiding 1.4 Structuur Deze thesis omvat 19 hoofdstukken, verdeeld over 7 delen, waarvan in figuur 1.1 en die als volgt kunnen worden samengevat: Hoofdstuk 2, 3 en 4 vormen samen met deze algemene inleiding Deel I van deze thesis. In deze hoofdstukken wordt respectievelijk een overzicht gegeven van de theorie rond earned value management (hoofdstuk 2), Warburton s methode (hoofdstuk 3) en Monte-Carlo simulaties (hoofdstuk 4). Hierbij worden de traditionele voorspellingsmethodes geïntroduceerd en worden de elementen uit de literatuur besproken die van belang zijn voor deze thesis. Deel II van deze thesis omvat een uitgebreide beschrijving van de RCF methode zoals voorgesteld door B. Flyvbjerg. Hierbij wordt in hoofdstuk 5 enerzijds een overzicht gegeven van de verklaringen voor inaccurate voorspellingen van de traditionele methodes, en anderzijds wordt het verschil tussen een inside en outside view toegelicht. Een bespreking van de RCF methode wordt gegeven in hoofdstuk 6, waarbij een overzicht wordt gegeven van de methode doorheen de tijd, alsook van de beperkingen ervan. In hoofdstuk 7 wordt dieper ingegaan op de methodologie van RCF en wordt de stapsgewijze procedure besproken. Tot slot wordt in hoofdstuk 8 een toepassing van RCF in de praktijk besproken. In deel III zullen eerst en vooral de tekortkomingen van vroeger onderzoek worden besproken (hoofdstuk 9). Daarnaast worden in hoofdstuk 10, op basis van deze tekortkomingen, de onderzoeksvragen geformuleerd. Deel IV omvat de toelichting van de gevolgde onderzoeksmethodiek, die kan opgedeeld worden in 3 fasen. De eerste fase betrof het voorbereidend werk alvorens kon overgegaan worden tot het eigenlijke onderzoek, en wordt behandeld in hoofdstuk 11. Hierbij wordt een overzicht gegeven van de noodzakelijk projectgegevens alsook een beschrijving van de aanpak van de rondvraag bij bedrijven, het gebruik van de software tool ProTrack en het aanleggen van de database, die als uitgangspunt voor de volgende fase dient. In fase 2 (hoofdstuk 12) van ons onderzoek konden de verschillende voorspellingsmethodes worden toegepast op de reële projecten uit de in fase 1 aangelegde database. De evaluatie van de verschillende methodes (fase 3) komt aan bod in hoofdstuk 13, waarbij zowel een kwalitatieve en kwantitatieve analyse en vergelijking werd uitgevoerd. Tot slot wordt de gevolgde onderzoeksmethodiek geïllustreerd aan de hand van een voorbeeldproject in hoofdstuk 14. 6

37 Algemene inleiding 1 In deel V wordt een gedetailleerd overzicht gegeven van alle projecten die aan de basis lagen van dit onderzoek. Hierbij worden de projecten afkomstig uit de eigen rondvraag toegelicht in hoofdstuk 15. De projecten die uit de database van de OR-AS werden geselecteerd en opgenomen in onze eigen database worden besproken in hoofdstuk 16. De resultaten van het uitgevoerde onderzoek worden gepresenteerd in Deel VI. Hierbij worden in respectievelijk hoofdstukken 17 en 18 de voorspellingsmethodes kwantitatief en kwalitatief geëvalueerd. In deel VII worden de conclusies van dit onderzoek geformuleerd. Daarnaast worden de beperkingen besproken en suggesties voor toekomstig onderzoek gegeven. 7

38 1 Algemene inleiding Figuur 1.1: Overzicht structuur thesis 8

39 2 HOOFDSTUK 2 Earned Value Management In dit hoofdstuk zal een overzicht gegeven worden van de elementen uit de earned value management (EVM) theorie die van belang zijn voor deze thesis. 2.1 Introductie Earned value management is een welbekende methode die gebruikt wordt voor het meten en controleren van de fysieke vooruitgang van een project en die van belang is om de drie kritieke elementen van projectmanagement zijnde tijd, kost en omvang te integreren. De theorie rond EVM werd in 1969 geïntroduceerd en maakt het mogelijk om de prestaties van een project te controleren met betrekking tot tijd en kost. Daarnaast voorziet EVM de projectmanager van vroegtijdige waarschuwingssystemen bij slechte prestaties van een project, die aangeven dat het misschien nuttig kan zijn om corrigerende maatregelen te nemen. EVM systemen steunen op een set van eenvoudige parameters voor het meten en evalueren van de algemene prestaties van een project. De methodologie houdt rekening met het reeds voltooide werk, de in beslag genomen tijd alsook de gemaakte kosten om het project te voltooien. Deze set van parameters en formules kunnen worden onderverdeeld in 3 categorieën. Drie basisparameters zullen worden gebruikt om de progressie van het project te bepalen, om vervolgens prestatiemaatstaven af te leiden die finaal zullen worden vertaald in voorspellingsindicatoren omtrent de verwachte finale duurtijd en kost van het project. In de volgende sectie wordt een overzicht gegeven van de componenten uit de EVM theorie, zoals beschreven door vele auteurs waaronder Henderson (2007), Anbari (2003) en Vanhoucke (2013). Deze componenten zijn samengevat in figuur

40 2 Earned Value Management Figuur 2.1: EVM: basisparameters, prestatiemaatstaven en voorspellingsindicatoren (Vanhoucke, 2011). 2.2 Basisparameters van EVM De EVM techniek maakt gebruik van volgende parameters voor het evalueren van de prestaties van een project : Planned Value, Earned Value en Actual Cost. De Planned Value (PV) stelt de gebudgetteerde kost van het geplande werk voor en geeft dus het toegestane budget weer voor de voltooiing van een activiteit of project. De Planned Value voor een volledig project, dat berekend wordt als de som van de PVs van alle projectactiviteiten, wordt het Budget at Completion (BAC) genoemd ( BAC = PV). Dit is het budget nodig voor het voltooien van het project indien elke activiteit uitgevoerd wordt zoals vooropgesteld op basis van de planning. Omwille van onvoorziene gebeurtenissen zal dit echter niet altijd het geval zijn en kunnen activiteiten meer tijd in beslag nemen en/of hogere kosten meebrengen dan gepland. Daarnaast kan het ook zijn dat bepaalde activiteiten niet volgens plan kunnen starten omwille van voorafgaande activiteiten die niet op tijd beëindigd zijn. Het is net om die redenen dat de Actual Cost (AC), zijnde de werkelijke kost van het voltooide werk op een bepaald moment in de tijd, kan afwijken van de Planned Value. Het is hier dat de derde sleutelcomponent van EVM, zijnde Earned Value (EV) zijn intrede doet. Gedurende de uitvoering van een project, wordt er waarde verworven of verdiend. Deze waarde wordt uitgedrukt als een deel van het BAC. Om de EV te berekenen dienen we dus te weten welk percentage van het werk reeds voltooid is. Dit deel van het reeds voltooide werk wordt het Percentage Completed (PC) genoemd. Dit geeft aanleiding tot de volgende formule voor de EV: EV = P C BAC (2.1) 10

41 Earned Value Management Prestatiemaatstaven van EVM Aan de hand van de basisparameters uit vorige sectie kan men de actuele en voorgaande prestaties van een project in uitvoering nagaan. De prestatie van een project met betrekking tot kost (Cost Performance) wordt bepaald door de EV te vergelijken met de AC van een activiteit of het project. Daarnaast is ook de prestatie met betrekking tot het al dan niet op schema zijn van het project (Schedule Performance) van belang. Deze wordt bepaald door de EV te vergelijken met de PV. In beide gevallen kan men voor de afwijkingen in termen van tijd en kost, enerzijds gebruik maken van varianties en anderzijds van eenheidsloze prestatie-indexen. In de volgende 2 secties worden beide maatstaven besproken en toegelicht voor de prestaties van een project met betrekking tot respectievelijk de kostprijs en de duurtijd Cost Variance (CV) en Cost Performance Index (CPI) De Cost Variance en Cost Performance Index zijn maatstaven om de prestaties met betrekking tot de kost van een project te evalueren. Indien op een gegeven moment de EV groter is dan de AC, dan werd er meer waarde verdiend dan dat er kosten werden gemaakt. In dat geval zit het project onder het geplande budget, is de CV positief en zal de CPI groter zijn dan 1. Wanneer de EV echter kleiner is dan de AC, dan is er sprake van een budgetoverschrijding, is de CV negatief en zal de CPI kleiner zijn dan 1. CV = EV AC (2.2) CP I = EV/AC (2.3) Schedule Variance (SV) en Schedule Performance Index (SPI) De Schedule Variance en Schedule Performance Index daarentegen zijn maatstaven om de prestaties met betrekking tot het al dan niet op schema zijn van het project te evalueren. Indien, op een gegeven moment de EV groter is dan de PV, werd er meer waarde verdiend dan er gepland was op dat moment. In dat geval loopt het project voor op schema, is de SV positief en zal de SPI groter zijn dan 1. Wanneer de EV echter kleiner is dan de PV, loopt het project achter op schema, is de SV negatief en zal de SPI kleiner zijn dan 1. SV = EV P V (2.4) SP I = EV/P V (2.5) 11

42 2 Earned Value Management Wanneer we beide maatstaven voor prestaties met betrekking tot de kost en het al dan niet op schema zijn van het project combineren, verkrijgen we vier mogelijke scenario s, weergegeven in figuur 2.2. Op deze figuur stellen de blauwe, de groene en de oranje curve respectievelijk de PV, de AC en de EV voor. In figuur 2.2 worden volgende 4 scenario s weergegeven: Links bovenaan: Project heeft vertraging en het budget werd overschreden. Rechts bovenaan: Project heeft vertraging en het budget werd niet overschreden. Links onderaan: Project loopt voor op schema en het budget werd overschreden. Rechts onderaan: Project loopt voor op schema en het budget werd niet overschreden. Figuur 2.2: EVM: basisparameters voor vroeg- en laattijdig afgewerkte projecten met kosten onder- en overschrijding, waarbij het aantal weken wordt weergegeven op de x-as en het budget op de y-as (Vanhoucke, 2011). 2.4 Tekortkomingen In de literatuur hebben diverse auteurs (Henderson, 2001; Lipke, 2003) de tekortkomingen van de traditionele EVM techniek besproken. Een eerste punt van kritiek betreft het feit dat de SV uitgedrukt wordt in monetaire termen en niet in tijdseenheden. Ten tweede, wanneer een project vroeger start dan gepland, zal de PV gelijk zijn aan nul, wat impliceert dat de SPI niet kan berekend worden. Daarnaast zal naar het einde van het project toe, het PC altijd convergeren naar 100% en de EV gelijk zijn aan de PV. Als direct gevolg daarvan zal de SPI eveneens convergeren naar 1 naar het einde van het project toe. Tot slot kan men zich afvragen 12

43 Earned Value Management 2 wanneer men voor de SV en de SPI respectievelijk de waarden 0 en 1 waarneemt, of het project voltooid is, dan wel perfect verloopt volgens plan. 2.5 Earned Schedule Om voor de problemen uit de voorgaande sectie een oplossing te bieden, werd de Earned Schedule (ES) methode geïntroduceerd door W. Lipke (2003). Deze indicatoren worden uitgedrukt in tijdseenheden in plaats van in monetaire termen, wat de interpretatie ervan vergemakkelijkt bij het bestuderen van prestaties met betrekking tot het al dan niet op schema zijn van een project. Daarenboven zijn de ES indicatoren betrouwbaar gedurende de hele tijdshorizon van het project aangezien de aangepaste formule voor de Schedule Performance niet noodzakelijk convergeert naar 1 naar het einde van het project toe. De ES indicator wordt als volgt berekend : Zoek tijdstip t zodat EV P V t en EV < P V t+1 ES = t + EV P V t P V t+1 P V t (2.6) De ES is dus een vertaling van de EV in tijdseenheden door te bepalen wanneer deze EV zou moeten verdiend zijn op basis van de planning. De berekening van de ES wordt weergegeven aan de hand van figuur 2.3, waarin men kan zien dat de EV op tijdstip 7 (AT) zou moeten verdiend geweest zijn op tijdstip 5.14 (ES) voor het project om op schema te zitten. De Actual Time (AT) geeft de tijd weer die reeds verstreken is vanaf de aanvang van het project tot aan het huidige moment van de berekening. Figuur 2.3: De Earned Schedule op tijdstip W7 (Vanhoucke, 2011). 13

44 2 Earned Value Management Omdat de waarde van de ES uitgedrukt is in tijdseenheden, kan het vergeleken worden met de AT, hetgeen resulteert in 2 nieuwe prestatiemaatstaven : SV (t) = ES AT (2.7) SP I(t) = ES AT De Schedule Variance (SV(t)) zal positief zijn en de Schedule Performance Index (SPI(t)) groter dan 1 wanneer het project voor zit op schema. Wanneer het project achter loopt op schema, zal SV(t) negatief zijn en SPI(t) kleiner dan 1. (2.8) 2.6 Voorspellingen aan de hand van EVM De EVM methode laat toe om de finale duurtijd en kost van het project te voorspellen. In de volgende sectie geven we een overzicht van de belangrijkste voorspellingsparameters. In deel IV van deze thesis zullen we de nauwkeurigheid van de voorspellingen aan de hand van referentieklassen evalueren, en onder andere vergelijken met de voorspellingen aan de hand van de EVM methode Estimated duration at Completion (EAC(t)) Aangezien EAC(t) een voorspelling is van de finale projectduur, moeten de prestatiemaatstaven omgezet worden van monetaire naar tijdseenheden. In de literatuur werden 3 methodes voorgesteld die uitvoerig geëvalueerd zijn door M. Vanhoucke & S. Vandevoorde (2007). In deze sectie vatten we de methodes samen die het meest relevant zijn voor deze thesis. De algemene formule voor EAC(t) is gebaseerd op de som van de Actual Duration (AD) van het project op het tijdstip van berekening en de Planned Duration of Work Remaining (PDWR). Merk op dat de Actual Duration hetzelfde is als de Actual Time die gebruikt werd in de berekening van de Earned Schedule (cf. supra). EAC(t) = AD + P DW R (2.9) Planned Value methode van Anbari De PV methode voorgesteld door Anbari (2003), is gebaseerd op de traditionele EVM parameters zoals beschreven in sectie 2.2 en stelt nog een aantal additionele parameters voor. De Planned Value Rate (PVR) wordt als volgt berekend: P V R = BAC P D (2.10) De PD is gelijk aan de Scheduled Duration (SD) van het project dat kan afgeleid worden op basis van de planning. De PVR geeft aan welke waarde men verwacht verdiend te hebben per 14

45 Earned Value Management 2 geplande tijdsinterval van het project. Met het Time Variance (TV) concept, voorgesteld door Anbari (2003), wordt de PVR gebruikt om de SV te vertalen in tijdseenheden. De PV methode geeft echter geen directe schatting voor de PDWR. In plaats daarvan is de EAC(t) gebaseerd op de TV. Afhankelijk van het feit of de PDWR verloopt volgens plan, de huidige SPI trend of de huidige SCI trend (CPI CPI) volgt, worden drie verschillende formules voorgesteld, die weergegeven worden in tabel 2.1. De Time Variance wordt als volgt berekend: T V = SV P V R (2.11) Earned Duration methode van Jacob en Kane Jacob & Kane (2004) stellen een tweede methode voor. Deze maakt gebruik van het Earned Duration (ED) concept en wordt als volgt berekend: ED = AD SP I (2.12) In deze methode worden de SV en SPI ook omgezet naar tijdseenheden. Voor de berekening van de EAC(t) wordt de Unearned Duration (UD) gecorrigeerd door de Performance Factor (PF), waarna het wordt toegevoegd aan de AD. De resulterende formules afgeleid op basis van deze methode worden eveneens voorgesteld in tabel 2.1. Earned Schedule method van Lipke In sectie 2.4 werd de kritiek van W. Lipke (2003) beschreven op het gebruik van de SV en SPI als Schedule Performance maatstaf omwille van de onbetrouwbaarheid naar het einde van het project toe. Twee nieuwe Schedule Performance maatstaven, SV(t) en SPI(t) werden ontwikkeld om met deze problematiek om te gaan en worden eveneens uitgedrukt in tijdseenheden. Lipke berekent EAC(t) als de som van de AD en de resterende UD, gecorrigeerd door de PF. Tabel 2.1 geeft de resulterende formules van deze methode weer Estimated cost at Completion (EAC) In het algemeen wordt de EAC uitgedrukt als de som van de AC op het beschouwde tijdstip en de Budgeted Cost of Remaining Work (BCRW). Om accurater voorspellingen te maken van de finale projectkost, dienen assumpties te worden gemaakt omtrent het werk dat nog moet gedaan worden. Bijvoorbeeld, wanneer een project boven het budget zit, zou men kunnen aannemen dat het resterende werk nog binnen het budget zal worden uitgevoerd of dat het waarschijnlijk is dat het resterende werk de trend volgt en het budget zal overschrijden. Om deze assumpties op te nemen in het EAC, wordt eveneens een PF gebruikt om de BCRW aan te passen: EAC = AC + BCRW P F (2.13) 15

46 2 Earned Value Management Indien het aangenomen kan worden dat de rest van het project uitgevoerd zal worden volgens plan, dan is de PF gelijk aan 1. Indien er redenen zijn om aan te nemen dat de uitvoering van het project de Cost Performance van het reeds voltooide werk zal volgen, dan kan de CPI gebruikt worden als PF. Eenzelfde redenering kan gevolgd worden voor Schedule Performance door de SPI te gebruiken als PF. Indien het wenselijk is om niet alleen de huidige Cost Performance in rekening te brengen, maar ook de huidige Schedule Performance, dan kan de PF uitgedrukt worden als de Schedule Cost Index, die gelijk is aan CPI SPI. Tot slot kan men ook de SPI(t) gebruiken als correctiefactor, of de SCI(t) die gelijk is aan CPI SPI(t). Op de website van PM Knowledge Center (Vanhoucke, 2011), worden nog twee opties gegeven waarin de PF een gewogen gemiddelde is van de SPI of SPI(t) en CPI. Een overzicht kan gevonden worden in tabel

47 Earned Value Management 2 Tabel 2.1: EAC(t) voorspellingsmethodes Performance Planned Value Earned Duration a Earned Schedule According to plan EAC(t)PV1 EAC(t)ED1 EAC(t)ES1 = PD - TV = PD + AD * (1 - SPI) = AD+(PD -ES) According to current EAC(t)PV2 EAC(t)ED2 EAC(t)ES2 cost performance = PD/SPI = PD/SPI = AD + (PD - ES)/(SPI(t)) According to current EAC(t)PV3 EAC(t)ED3 EAC(t)ES3 time performance = PD/SCI = AD + (PD - ED)/(CPI * = AD + (PD - ES)/(CPI * SPI) b SPI(t) c a In gevallen waar het project nog niet afgewerkt is (i.e. wanneer AD > PD en SPI 1), zal de PD vervangen worden door de AD b Deze voorspellingsformule komt niet voor in het werk van Jacob (2003) maar werd toegevoegd door S. Vandevoorde en M. Vanhoucke (2013) c Deze voorspellingsformule komt niet voor in het werk van Lipke (2003) maar werd toegevoegd door Vandevoorde en Vanhoucke (2007) Tabel 2.2: EAC voorspellingsmethodes Performance SPI SPI(t) According to plan EAC1 EAC1 = AC + BCRW = AC + BCRW According to current EAC2 EAC2 cost performance = AC + BCRW/CPI = AC + BCRW/CPI According to current EAC3 EAC4 time performance = BCRW/SPI = AC + BCRW/SPI(t) According to current EAC5 EAC6 time/cost performance = AC + BCRW/SCI a = AC + BCRW/SCI(t) b According to weighted EAC7 EAC8 time/cost performance = AC + BCRW/(0.8*CPI + 0.2*SPI) = AC + BCRW/(0.8*CPI + 0.2*SPI(t)) a met SCI = SPI*CPI b met SCI = SPI*CPI 17

48

49 3 HOOFDSTUK 3 Warburton s model: tijdsafhankelijke EVM 3.1 Introductie In de paper A time-dependent earned value model for software projects (Warburton, 2010) wordt een formele methode voorgesteld voor het incorporeren van tijdsafhankelijkheid in earned value management door R.D.H. Warburton. Dit model is gebaseerd op 3 essentiële parameters die direct gerelateerd zijn aan de fundamentele begrenzingen van een project, zijnde tijd, kost en omvang. Deze parameters zijn respectievelijk het uitvalpercentage van afgekeurde activiteiten, de kostenoverschrijdingsparameter en de hersteltijd van de afgekeurde projecten. Dit model is gebaseerd op de erkende Putnam-Norden-Rayleigh (PNR) labor rate profiles (Parr, 1980) en vereist daarom nog twee andere parameters, zijnde de totaal te verrichten arbeid en het tijdstip van de arbeidspiek. Tijdsafhankelijke formules werden afgeleid voor de PV, EV en de AC samen met de CPI en SPI. In wat volgt zal een overzicht gegeven worden van de parameters en de tijdsafhankelijke uitdrukkingen voor de PV, EV en AC zoals voorgesteld door R.D.H. Warburton. In sectie 3.2 wordt verder ingegaan op de oorsprong en het beoogde gebruik van het model. Vervolgens worden de parameters en de opbouw van het model besproken in sectie 3.3, alsook een beschrijving van hoe het model kan gebruikt worden om voorspellingen te maken. Finaal worden de voornaamste verschillen met de klassieke EVM methode en de beperkingen van het model behandeld in respectievelijk de secties 3.5 en

50 3 Warburton s model: tijdsafhankelijke EVM De integratie van tijdsafhankelijkheid in EVM zal expliciet worden aangeduid door (t) toe te voegen aan alle grootheden, en om verwarring te vermijden, zal eveneens het onderschrift w - verwijzend naar Warburton - worden toegevoegd. Zo zal bijvoorbeeld ev(t) w verwijzen naar de ogenblikkelijke EV op het moment t van Warburton s model, terwijl ev refereert naar de traditionele ogenblikkelijke EV. 3.2 Oorsprong en doel van Warburton s model Oorsprong van het idee voor de ontwikkeling van het model Het uitgangspunt voor het model van Roger D.H. Warburton is de erkende EVM theorie, die project managers voorziet van vroegtijdige waarschuwingssystemen bij slechte prestaties van een project, zoals besproken in hoofdstuk 2. Zoals beschreven door R.D.H. Warburton (2010), wordt in de EVM theorie tijdsafhankelijkheid over het hoofd gezien, omwille van het gebruik van ogenblikkelijke waarden voor de CPI. Minder dan 10% van de projecten hebben stabiele CPI waarden over 3 maanden, hetgeen betekent dat bijna alle gemeten CPI waarden bleken te veranderen, en dus onstabiel waren wanneer ze continu herberekend werden gedurende korte intervallen van 3 maanden. Minder dan een derde van de projecten heeft stabiele CPI waarden over 6 maanden. Christensen (1992) heeft aangetoond dat de voortdurend bijgewerkte gemiddelden over 3 maanden de meest betrouwbare schatting gaven van de finale kost, ondanks de variabiliteit. Volgens R.D.H. Warburton, suggereren deze ideeën dat de ogenblikkelijke CPI verandert in de loop der tijd en zoals Christensen & Payne (1991) constateerden, enkel stabiliseert omwille van het cumulatieve karakter ervan. R.D.H. Warburton (2010) merkt op dat men zorgvuldig een onderscheid dient te maken tussen twee vormen van variatie in de CPI. Ten eerste zijn er statistische fluctuaties, zijnde de inherente onzekerheid en variatie in de projectdata. Ten tweede is er de aanwezigheid van een functionele tijdsafhankelijkheid, en het is deze vorm van variatie die nauwelijks wordt beschreven en wordt opgenomen in Warburton s model. Functionele tijdsafhankelijkheid is belangrijk omdat de CPI en zijn bepalende factoren AC en EV gebruikt worden voor het bepalen van de EAC, en een veranderende CPI impliceert een veranderende EAC. R.H.D. Warburton suggereert echter dat de EAC niet mag veranderen in de loop der tijd om als waardevol concept te kunnen worden beschouwd. Hij merkt op dat project managers de finale kost wensen te weten, en het is begrijpelijk dat ze niet opgezet zouden zijn met een continu veranderende EAC. Het model van Warburton wil aantonen dat er verschillende plausibele tijdsafhankelijke vormen voor de CPI en de onderliggende AC en EV-curves bestaan, maar dat de resulterende EAC eigenlijk een constante is Doel van Warburton s model Het vaak over het hoofd geziene probleem van tijdsafhankelijkheid in de EVM theorie was de basis voor Warburton s model. Hoewel de vorige paragraaf voornamelijk de CPI behandelt, 20

51 Warburton s model: tijdsafhankelijke EVM 3 werd het model van Warburton ontwikkeld met als doel het verbeteren van de EVM theorie door het incorporeren van tijdsafhankelijkheid in de definities van alle grootheden. Door dit te doen, beoogt het model nauwkeurige schattingen van de finale projectduur en -kost te leveren. De discussie rond de CPI is slechts een manier om weer te geven waar de mogelijkheid voor verbetering zich situeert. Daarenboven tracht het model van Warburton deze nauwkeurige schattingen van de finale projectduur en -kost te maken in een vroeg stadium van het project, en is het niet bedoeld om continu te worden bijgewerkt, zoals dat wel het geval is in de traditionele EVM methode. Het model wil gebruik maken van data die beschikbaar zijn in een vroeg stadium van het project, de zogenaamde vroege projectdata, om de parameterwaarden te bepalen, de curves op te stellen en nauwkeurige voorspellingen te maken. De reden hiervoor is dat de waarschuwingssystemen met betrekking tot de prestaties van het project het meest waardevol zijn in een vroeg stadium van het project. R.D.H. Warburton denkt dat het model een waardevolle bijdrage kan leveren voor project managers door hen in een vroeg stadium van meer betrouwbare schattingen omtrent de finale projectduur en -kost te voorzien. De parameters N en T kunnen reeds bepaald worden bij aanvang van het project, terwijl parameters r, c en τ bepaald zullen worden aan de hand van de vroege projectdata, zijnde gegevens die beschikbaar zijn nadat een deel van het project reeds werd voltooid. Alle parameters hebben een waarde groter dan of gelijk aan nul en worden verondersteld constant te zijn over de duurtijd van het project bij het maken van voorspellingen. 3.3 Parameters en opbouw van Warburton s model In deze sectie zal een overzicht worden gegeven van de parameters van Warburton s model en daarnaast zal tevens de opbouw van het model van Warburton besproken worden. Voor een gedetailleerd overzicht en afleiding van de formules en onderliggende Putnam-Norden-Rayleigh labor rate profiles, wordt de geïnteresseerde lezer doorverwezen naar de originele paper van R.D.H. Warburton (2010) Sleutelcomponenten van Warburton s model Aangezien de PNR-curve, die verder besproken wordt in sectie 3.3.2, aan de basis ligt van het model, vormt de totale hoeveelheid arbeid die nodig is voor het afwerken van een project - weergegeven door de letter N - een eerste parameter die eigen is aan het model. Met andere woorden, N stelt de totaal te verdienen waarde tijdens een project voor en is dus gelijk aan het BAC. Een tweede parameter die rechtstreeks verband houdt met de PNR-curve is T, die het tijdsinterval van de arbeidspiek voorstelt. Dit is het moment waarop de hoeveelheid afgewerkte arbeid op zijn hoogste niveau is, of met andere woorden wanneer de meeste waarde werd verdiend. 21

52 3 Warburton s model: tijdsafhankelijke EVM Tabel 3.1: Parameters van Warburton s Model Symbool Parameter Betekenis N Totale hoeveelheid arbeid De totale hoeveelheid aan te verdienen waarde (BAC). T Tijdstip van arbeidspiek Tijdstip van het project waarop de meeste waarde wordt verdiend. r Uitvalpercentage van activiteiten Fractie van de activiteiten die afgekeurd werden, omdat ze langer duurden dan gepland. c Kostenoverschrijding Gemiddelde additionele kost nodig om een afgekeurde activiteit af te werken, uitgedrukt als fractie van de geplande kost τ Hersteltijd van afgekeurde activiteiten Gemiddelde additionele tijd nodig om een afgekeurde activiteit af te werken. Naast deze twee parameters, die eigen zijn aan het model omwille van de PNR-curve, zijn er nog 3 andere parameters die kenmerkend zijn voor het model van Warburton. Eerst en vooral het uitvalpercentage van afgekeurde activiteiten, weergegeven door de letter r. Dit is de fractie van de activiteiten die afgewerkt zijn op het tijdstip van de berekening, maar meer tijd in beslag namen dan initieel gepland. Met andere woorden, dit is de fractie van activiteiten die niet afgewerkt zijn binnen de geplande duurtijd. Ten tweede, de kostenoverschrijdingsparameter, voorgesteld door de letter c, is gelijk aan de gemiddelde additionele kost nodig voor het afwerken van een afgekeurde activiteit. Deze parameter wordt voorgesteld als fractie van de geplande kost. De derde en laatste parameter is de hersteltijd van de afgekeurde activiteiten, voorgesteld door τ, en stelt de additionele tijd bovenop de geplande duurtijd voor, die nodig is voor het afwerken van een afgekeurde activiteit. Merk op dat deze laatste parameter - in tegenstelling tot de parameters r en c - uitgedrukt wordt in absolute eenheden en dus geen fractiewaarde (%) is. Een overzicht wordt gegeven in tabel Opbouw van Warburton s model Zoals besproken in sectie 3.2.1, is het model van Warburton gebaseerd op de PNR labor rate profiles, die gebruik maken van de parameters N en T. De formule kan teruggevonden worden in vergelijking 3.1. In deze sectie wordt beschreven hoe de curves van de tijdsafhankelijke PV, EV en AC worden gevormd. 22

53 Warburton s model: tijdsafhankelijke EVM 3 Planned Value Zoals aangegeven door R.D.H. Warburton (2010), wordt de PV-curve gevormd bij aanvang van een project. Wanneer de projectplanning is opgemaakt, worden tijdsgebonden budgetten opgesteld door het optellen van de tijdsgebonden arbeidsbijdragen van de geplande activiteiten, hetgeen tevens wordt weergegeven door de PNR-curve. Wanneer men zich in de planningsfase bevindt, is de snelheid waaraan activiteiten worden afgewerkt gelijk aan de geplande arbeid over de tijd, pv(t) w. Voor Warburton s model betekent dit dat de ogenblikkelijke pv(t) w gelijk is aan de arbeidsgraad, of de PNR-curve, terwijl de cumulatieve P V (t) w gelijk is aan de cumulatieve som van de ogenblikkelijke pv(t) w -waarden: pv(t) w = P NR(t) = N t ) ( T 2 exp t2 2T 2 P V (t) w = t 0 pv(s) w ds = N [ )] 1 exp ( t2 2T 2 Om deze curves te plotten zijn de waarden voor N en T vereist. Aangezien we ons in de planningsfase van het project bevinden, dienen deze twee parameters te worden bepaald bij aanvang van het project. Zoals besproken in sectie 3.3.1, is N gelijk aan het vastgestelde BAC. Het tijdstip van de arbeidspiek is minder vanzelfsprekend om te bepalen. Twee werkwijzen, die allebei gebruik maken van traditionele EVM technieken kunnen worden gevolgd. De eerste mogelijkheid om T te bepalen is door te kijken op welk tijdstip t 40% van het BAC, of N, volgens de projectplanning afgewerkt dient te zijn op basis van de traditionele PV-curve. De tweede mogelijkheid bestaat erin te bepalen welk tijdstip t de gekwadrateerde afwijking tussen Warburton s pv(t) w -curve en de traditionele pv-curve minimaliseert. (3.1) (3.2) Earned Value De ev(t) w -curve wordt opgesteld nadat een deel van het project reeds is afgewerkt, in tegenstelling tot de pv(t) w -curve die wordt opgesteld bij aanvang van het project. Warburton s model beoogt deze curve op te stellen voor het complete project door gebruik te maken van vroege projectdata, in tegenstelling tot de traditionele EV-curve die continu wordt bijgewerkt op ieder trackingstijdstip, en dit tot het einde van het project. R.D.H. Warburton (2010) verklaarde dat in ieder interval een fractie r van de activiteiten niet werd voltooid zoals verwacht, hierdoor werden afgekeurd en waardoor er geen waarde werd verdiend. De andere activiteiten, zijnde een fractie 1-r, werden wel voltooid zoals verwacht en waardoor er daarvoor wel waarde werd verdiend. Warburton s model stelt dat in het begin van het project, in het interval t τ, de EV gelijk is aan de PV van de fractie van activiteiten die succesvol werden voltooid. Voor t > τ, bestaat de EV uit twee delen. Enerzijds is er de fractie aan activiteiten die succesvol werden voltooid op tijdstip t, en anderzijds de activiteiten die op tijdstip t-τ vertraging hebben opgelopen en nu voltooid zijn. Op deze manier wordt de 23

54 3 Warburton s model: tijdsafhankelijke EVM ev(t) w -cuve opgesteld en volgt de EV (t) w -curve uit het integreren van de ogenblikkelijke waarden: ev(t) w = { EV (t) w = N N(1 r)exp (1 r)pv(t) w, t τ (1 r)pv(t) w + r.pv(t τ) w, t > τ [ N(1 r) ( t2 1 exp ( ) t2 2T r.n.exp 2 2T 2 )], ) t τ ( (t τ)2 2T, 2 t > τ (3.3) (3.4) Voor een grote waarde van t is het duidelijk dat EV (t ) w = N = BAC, hetgeen simpelweg betekent dat aan het einde van het project alle activiteiten voltooid zijn. Om deze curves te plotten, zijn vier parameterwaarden vereist. N en T werden reeds bepaald bij aanvang van het project, zoals hierboven vermeld. De parameters r en τ zullen echter bepaald worden aan de hand van vroege projectdata, zijnde gegevens die beschikbaar zijn nadat een deel van het project werd voltooid. Dit kan bijvoorbeeld het geval zijn wanneer 25% van N werd verdiend. Om r te bepalen, dient men te kijken naar de vroege projectdata en het aantal afgewerkte activiteiten te bepalen. Vervolgens dient men te bepalen welke fractie van deze afgewerkte activiteiten vertraging heeft opgelopen en dus niet werd afgewerkt binnen hun PD. De waarde voor τ is dan gelijk aan de gemiddelde vertraging van deze afgekeurde activiteiten. r = # afgewerkte activiteiten met AD > P D #aantal afgewerkte activiteiten (3.5) τ = (AD - PD )van elke afgekeurde activiteit # afgekeurde activiteiten (3.6) Actual Cost Zoals R.D.H. Warburton (2010) beschreef, is de AC-curve, gelijkaardig aan de ev(t) w -curve en dient deze te worden opgesteld aan de hand van vroege projectdata. Warburton s model veronderstelt dat het werk initieel werd verricht volgens plan, maar dat een fractie r van de activiteiten niet voltooid werd omdat de voorziene hoeveelheid aan arbeidskrachten onvoldoende was. Daarom wordt de AC verondersteld gelijk te zijn aan de PV voor t < τ. De extra kost nodig voor het afwerken van de afgekeurde projecten zal in de toekomst worden gemaakt. Dit is de reden waarom in het geval dat t > τ, de ogenblikkelijke ac(t) w -waarden zowel de kost omvatten van het reeds gedane werk aan activiteiten die succesvol werden voltooid op tijdstip t, als de kost voor het voltooien van de afgekeurde activiteiten op tijdstip t τ die nu voltooid zijn. Zoals hierboven beschreven, wordt de fractionele extra kost voorgesteld aan de hand van parameter c. 24

55 Warburton s model: tijdsafhankelijke EVM 3 Dit geeft aanleiding tot volgende formules voor zowel de ac(t) w - en de AC(t) w -curve: { pv(t) w, t τ ac(t) w = pv(t) w + r.c.pv(t τ) w, t > τ (3.7) AC(t) w = N [ ( 1 exp N [ ( )] 1 exp t2 2T r.c.n 2 )] t2 2T 2 [ 1 exp, t τ )] ( (t τ)2 2T, t > τ 2 (3.8) In de bovenstaande formules, stelt r.pv(t τ) w de fractie van de eerder verworpen activiteiten voor, terwijl c de extra kost vertegenwoordigt om deze activiteiten af te werken. Om de curves te plotten, zijn de reeds beschreven parameters N,T, r en τ opnieuw vereist, waarbij de eerste twee bepaald worden bij aanvang van het project en de laatste twee aan de hand van vroege projectdata. Gelijkaardig als bij r en τ, wordt de waarde van c bepaald door te kijken naar beschikbare vroege projectdata op het moment waarop de ac(t) w -curve wordt opgesteld. De waarde voor c wordt als volgt berekend : c = ( AC P C P C ) van elke afgekeurde activiteit # afgekeurde activiteiten Een voorbeeld van hoe de ogenblikkelijke en cumulative PC, EV en AC-curves eruit zien wordt gegeven in respectievelijk figuur 3.1 en 3.2. (3.9) 25

56 3 Warburton s model: tijdsafhankelijke EVM Figuur 3.1: Ogenblikkelijke Planned Value, Earned Value en Actual Cost voor de PNR labor profile (Warburton, 2010) Figuur 3.2: Cumulatieve Planned Value, Earned Value en Actual Cost voor de PNR labor profile (Warburton, 2010) 26

57 Warburton s model: tijdsafhankelijke EVM Voorspellingen aan de hand van Warburton s model In de volgende secties zal beschreven worden hoe het model uit sectie gebruikt kan worden om schattingen te maken van de finale projectkost EAC w (sectie 3.4.1) en -duur EAC(t) w (3.4.2.) op basis van vroege projectdata Voorspellen van de finale projectkost Het model van Warburton is in staat om de finale projectkost te voorspellen aan de hand van vroege projectdata door de finale waarde van de cumulatieve AC(t) w -curve te bepalen : EAC w = AC(t ) W = N(1 + r c) (3.10) Dit impliceert dat, van zodra de parameters N, r en c bepaald zijn, de finale projectkost geschat kan worden. Zoals reeds vermeld, is N gekend bij aanvang van het project, terwijl r en c geschat worden aan de hand van vroege projectdata. Een belangrijk gegeven in verband met deze voorspelling is dat het een constante betreft, aangezien ze enkel afhangt van de sleutelcomponenten van Warburton s model, die als constanten worden beschouwd over de duur van het project. Net daarom is het mogelijk om voorspellingen met betrekking tot de finale projectkost te maken waarbij de bepaling van r en c reeds in een vroeg stadium van het project gebeurt, wat een voordeel is voor project managers Voorspellen van de finale projectduur Hoewel R.D.H. Warburton in zijn paper (2010) suggereert dat zijn model gebruikt kan worden om de finale projectduur te voorspellen, wordt er geen concrete methode naar voor geschoven om dit te doen. Men zou er kunnen van uitgaan dat de finale projectduur gevonden kan worden door te kijken op welk tijdstip de totale waarde N of het BAC verdiend is: EAC(t) w = Tijdstip t waarop EV (t) w gelijk is aan BAC (3.11) 3.5 Verschillen met traditionele EVM Functionele tijdsafhankelijkheid In het model van Warburton werd de tijdsafhankelijkheid, die besproken werd in sectie 3.2, geïntegreerd. Dit zorgt ervoor dat constante voorspellingen kunnen gemaakt worden van de finale projectduur (EAC(t)) en -kost (EAC w ) op basis van vroege projectdata, in tegenstelling tot continu wijzigende EAC en EAC(t) waarden zoals dat bij de traditionele EVM methode het geval is. 27

58 3 Warburton s model: tijdsafhankelijke EVM Vroege projectdata Belangrijk in het model van Warburton is dat de tijdsafhankelijke curves zullen worden opgesteld op basis van de zogenoemde vroege projectdata. Dit betekent dat de noodzakelijke parameterwaarden pas zullen worden bepaald nadat het project reeds gestart is en er een bepaald percentage, bv. 30%, van het BAC verdiend is. Alle data met betrekking tot de uitvoering van het project die dan beschikbaar zijn, bv. de data beschikbaar van zodra 30% van het project is voltooid, zijn de zogenoemde vroege projectdata. Eens de waarden voor de parameters bepaald zijn, kunnen alle nodige curves, die nodig zijn voor het maken van voorspellingen omtrent de finale projectduur en -kost, worden opgesteld. Dus, in tegenstelling tot de traditionele methode, die continu de EV- en AC-curves aanpast tijdens het verloop van het project, beoogt Warburton s model om betrouwbare EV- en AC-curves op te stellen voor het hele project door enkel gebruik te maken van vroege projectdata, aangezien de waarschuwingssystemen net in dit vroege stadium van een project het nuttigst zijn voor project managers. 3.6 Tekortkomingen Acceleratiefasen tijdens het project Wanneer men kijkt naar de formules van de parameters, wordt het al snel duidelijk dat het model geen rekening houdt met acceleratiefases van het project of, in andere woorden, met de impact van activiteiten die vroeger afgewerkt zijn dan gepland. De definitie van de parameter r, het uitvalpercentage van activiteiten, geeft het percentage van activiteiten weer dat niet afgewerkt wordt binnen de geplande duurtijd en daarom wordt afgekeurd. Warburton s model voorziet echter geen aanpassing van activiteiten die vroeger dan gepland worden afgewerkt of, met andere woorden, versneld zijn en voorlopen op schema. Dit is een cruciale tekortkoming van het model omdat de andere sleutelparameters c en τ evenmin zullen worden aangepast. De parameters r en τ, respectievelijk de kostenoverschrijding en de hersteltijd van de afgekeurde activiteiten, worden beide berekend op basis van het percentage van activiteiten, bepaald door parameter r. In zijn aanwijzingen voor toekomstig onderzoek verwijst R.D.H. Warburton (2010) zelf ook expliciet naar de tekortkomingen van het model dat niet in staat is om te gaan met negatieve waarden voor τ, omwille van termen met betrekking tot de tijdsvertraging in de formules, bv. pv(t τ) w Kritieke pad Omwille van de wiskundige formules die de pc(t) w -, ev(t) w - en ac(t) w -curves bepalen, maakt het model geen onderscheid tussen kritieke en niet-kritieke activiteiten. Een vertraging van een kritieke activiteit, heeft een directe impact op de finale duurtijd van het project, terwijl dit niet noodzakelijk het geval is bij een niet-kritieke activiteit. Het model van Warburton is niet in 28

59 Warburton s model: tijdsafhankelijke EVM 3 staat om hiermee rekening te houden bij het bepalen van de parameters r, c en τ Voorspellen van de finale projectduur Zoals besproken in sectie 3.4.2, suggereert R.D.H. Warburton dat het model gebruikt kan worden om de finale projectduur te voorspellen, maar wordt hiervoor geen specifieke methode naar voren geschoven Cumulatieve waarden Tot slot kan nog gewezen worden op de tekortkoming van Warburton s model met betrekking tot de relatie tussen de ogenblikkelijke en cumulatieve waarden. Omwille van de mathematische formulering van het model, zijn de cumulatieve waarden op een bepaald tijdstip niet gelijk aan de som van alle ogenblikkelijke waarden. Dit is een direct gevolg van de wiskundige formulering van het model. 29

60

61 4 HOOFDSTUK 4 Monte-Carlo simulaties 4.1 Introductie Een derde methode voor het verkrijgen van schattingen omtrent de finale projectduur en -kost betreft het uitvoeren van Monte-Carlo simulaties dewelke gebaseerd zijn op intervalschattingen voor de specifieke projectdata, dit in tegenstelling tot de puntschattingen zoals vastgelegd door de project manager in de baseline schedule. Zoals door J. Mun (2006) beschreven, is een Monte-Carlo simulatie in zijn eenvoudigste vorm een random number generator die gebruikt kan worden voor voorspellingen, schattingen en risicoanalyse. Een simulatie berekent verschillende scenario s van een model door herhaaldelijk waarden te kiezen uit een voorgedefinieerde kansverdeling voor de onzekere variabelen en deze te gebruiken in het model. In deze thesis worden Monte-Carlo simulaties gebruikt om de kost en duurtijd van projecten te voorspellen. Zoals hierboven werd beschreven, vormen Monte-Carlo simulaties een herhalend proces, bestaande uit meerdere runs. Op basis hiervan wordt de fysieke voortgang van het project gesimuleerd, rekening houdend met vooraf gedefinieerde risicodistributies voor elke activiteit. In de volgende sectie zal een overzicht gegeven worden van het gebruik van intervalschattingen in de vorm van statistische distributies, die de project manager in staat stellen meer realistische inschatting te maken van de projectuitkomst aan de hand van Monte-Carlo simulaties. Vervolgens wordt in sectie 4.3 dieper op in gegaan op het gebruik van driehoekige risicodistributies. In sectie 4.4 wordt ten slotte beschreven hoe voorspellingen op basis van Monte-Carlo simulatie kunnen worden gemaakt. 31

62 4 Monte-Carlo simulaties 4.2 Puntschatting versus intervalschatting Zoals beschreven door M. Vanhoucke (2011), leidt het gebruik van puntschattingen voor projectdata, zoals duurtijd en kost van de verschillende activiteiten van een project, vaak tot een onrealistische voorstelling en schatting van het project, dit omwille van de onzekerheid die eigen is aan projecten. Risicomanagement vereist echter de nodige analytische vaardigheden en basiskennis van statistiek, dewelke vaak als zeer complex en theoretisch beschouwd wordt, en waarbij de aanknoping met de praktijk soms veraf is. Een basiskennis van en inzicht in het gebruik van waarschijnlijkheids- en distributiefuncties, kunnen de project manager echter in staat stellen om het effect van onverwachte gebeurtenissen op het project beter in te schatten. Volgens M. Vanhoucke (2011), is het gebruik van intervalschattingen onder de vorm van statistische distributies dan ook cruciaal voor een grondige en realistische analyse van een project en het toekomstig verloop ervan, dat gekenmerkt wordt door wijzigingen ten opzichte van de originele puntschattingen uit de baseline schedule. Het gebruik van statistische distributies in plaats van puntschattingen, vervangt het deterministische karakter van de projectparameters door intervalschattingen die leiden tot een meer accurate en realistische schatting van het finale resultaat van het project. Onderstaande tabel geeft een beknopt overzicht weer van de voornaamste verschillen tussen punt- en intervalschattingen. Tabel 4.1: Overzicht verschillen tussen punt- en intervalschattingen Type Op basis van Aard Risico-integratie Complexiteit Puntschatting Baseline schedule Deterministisch Neen Laag Intervalschatting Statistische Stochastisch Ja Hoog distributiefuncties Driehoekige Stochastisch Ja Laag risicodistributies Ten einde een betere schatting van het finale resultaat te verkrijgen, kunnen intervalschattingen volgens M. Vanhoucke enerzijds gebeuren aan de hand van statistische distributiefuncties en anderzijds door gebruik te maken van driehoekige risicodistributies. In sectie 4.3 wordt verder ingegaan op de laatstgenoemde methode. Het gebruik van statistische distributiefuncties voor intervalschatting valt helaas buiten het bestek van deze thesis. Aan de hand van een voorbeeld (Vanhoucke, 2011) geeft onderstaande figuur het verschil in resultaat weer tussen het gebruik van intervalschattingen aan de hand van statistische distributies, en puntschattingen voor duurtijd van de individuele activiteiten. De critical path methode bepaalt het langste pad in het netwerk op basis van de puntschattingen voor de individuele activiteiten, hetgeen resulteert in n enkele waarde voor de totale projectduur (bovenste luik van figuur 4.1). Wanneer de puntschattingen echter vervangen worden door intervalschattingen 32

63 Monte-Carlo simulaties 4 aan de hand van statistische distributies, ligt de totale duurtijd van het project tussen twee extreme waarden en bijgevolg kan de waarschijnlijkheid berekend worden waarmee een project zal eindigen voor of na een specifiek tijdstip uit dat interval (onderste luik van figuur 4.1). Figuur 4.1: Een vaste en variabele projectduurtijd als gevolg van het gebruik van enerzijds puntschattingen en anderzijds intervalschattingen voor de duurtijd (Vanhoucke, 2011). 4.3 Driehoekige risicodistributies Zoals vermeld door M. Vanhoucke (2011), gebeurt de formulering van risico in de praktijk erg vaak op een subjectieve en vage manier, waardoor het risico kan worden weergegeven aan de hand van de mate van scheefheid als maatstaf voor de graad van asymmetrie in de waarschijnlijkheidsverdeling van de reële waarde van een willekeurige variabele. De skewness benadering kan gemakkelijk toegepast worden door gebruik te maken van 3-puntsschattingen (a, m, b). Hierbij stelt m het meest waarschijnlijke scenario voor en is gelijk aan de puntschatting op basis van de baseline schedule. Daarnaast wordt eveneens een worst case en best case scenario gedefinieerd door respectievelijk de puntschattingen a en b, waarbij a < m < b. In projectmanagement worden 3-punts-schattingen vaak gebruikt gebruikt voor het modelleren van de duurtijd van activiteiten zoals in de Program evaluation and review technique (PERT) (Vanhoucke, 2011). Aan de hand van driehoekige risicodistributies, zoals weergegeven in figuur 4.2, kunnen 3-punts-schattingen worden toegepast voor de integratie van risico in een projectplanning. Hierbij kan men 3 gevallen onderscheiden: Linksscheef: de activiteit is onderhevig aan een zeker risico binnen een bepaald bereik dat begrensd wordt door een worst case scenario a en best case scenario b, waarbij (m - a) > (m - b). 33

64 4 Monte-Carlo simulaties Symmetrisch: de activiteit is onderhevig aan een zeker risico binnen een bepaald bereik, waarbij het worst case scenario a en het best case scenario b symmetrisch boven en onder de waarde m liggen, i.e. (m - a) = (m - b). Rechtsscheef: de activiteit is onderhevig aan een zeker risico binnen een bepaald bereik dat begrensd wordt door een worst case scenario a en best case scenario b, waarbij (m - a) < (m - b). Figuur 4.2: Een vaste en variabele projectduurtijd als gevolg van het gebruik van enerzijds puntschattingen en anderzijds intervalschattingen voor de duurtijd (Vanhoucke, 2011). 4.4 Voorspellingen aan de hand van Monte-Carlo simulaties In deze sectie zal de stapsgewijze procedure voor het maken van voorspellingen aan de hand Monte-Carlo simulaties besproken worden. Zoals beschreven door M. Vanhoucke (2011), wordt voor het verkrijgen van pre-project voorspellingen, de fysieke vooruitgang van een project een groot aantal keer gesimuleerd. Hierbij genereert een Monte-Carlo simulatierun een duurtijd voor iedere activiteit van het project, aan de hand van het vooraf bepaalde risicoprofiel. Hieronder wordt de stapsgewijze procedure - samengevat in figuur beschreven voor het uitvoeren van Monte-Carlo simulaties (Vanhoucke, 2011). Stap 1: generatie van willekeurige getallen Zoals beschreven door M. Vanhoucke (2011), is een random number generator een computergestuurd hulpmiddel dat ontworpen werd om een reeks van getallen te produceren, die geen enkel patroon vertonen (i.e. willekeurig lijken te zijn). Deze eerste stap wordt voorgesteld (Figuur 4.3) door een Monte-Carlo wiel dat gelabeld is met een nummer tussen 0 (inclusief) en 1 (exclusief), hetgeen de gebruiker in staat stelt willekeurige getallen met een even grote waarschijnlijkheid te genereren op basis van dit wiel. 34

65 Monte-Carlo simulaties 4 Stap 2: cumulatieve distributiefunctie In de tweede stap, zoals beschreven door M. Vanhoucke, wordt dit willekeurig getal vervolgens gebruikt om het getal van een vooraf bepaalde distributie te bepalen. Het linkerdeel in de tweede stap van figuur 4.1 (Vanhoucke, 2011) geeft een discrete distributiefunctie weer met 4 mogelijke waarden (4, 5, 6 of 7) en hun overeenkomstige waarschijnlijkheden. De cumulatieve distributiefunctie aan de rechterkant van figuur 3.1, kan gebruikt worden voor het genereren van willekeurige nummers van die distributiefunctieop basis van een reeks willekeurig gegenereerde nummers tussen 0 en 1.Veronderstel dat het nummer gelijk is aan 0.73, dan zal dit resulteren in een gegenereerd nummer 6 van de waarschijnlijkheidsdistributie. Stap 3: voeg het nieuwe nummer toe aan de BS In de laatste stap zullen zoals beschreven door M. Vanhoucke (2011), de gegenereerde nummers worden gebruikt om de PD uit de BS te vervangen door de nieuwe gegenereerde waarde om het fictieve projectverloop te simuleren. Dit wordt weergegeven in het onderste luik van figuur

66 4 Monte-Carlo simulaties Figuur 4.3: De Monte-Carlo simulatie-aanpak in projectplanning (Vanhoucke, 2011). 36

67 Deel II Reference Class Forecasting 37

68

69 5 HOOFDSTUK 5 Introductie In de paper From Nobel Prize to Project Management: Getting Risks Right (Flyvbjerg, 2006) schuift B. Flyvbjerg verklaringen naar voren als antwoord op de problematiek van onnauwkeurige voorspellingen. Daarnaast presenteert B. Flyvbjerg een nieuwe methode, zijnde reference class forecasting, die meer accurate voorspellingen belooft door het hanteren van een zogenaamde outside view, in tegenstelling tot traditionele voorspellingsmethodes die gebruik maken van een inside view. De theoretische en methodologische basis voor deze methode werd voor het eerst beschreven door Kahneman & Tversky (1979), en later door Lovallo & Kahneman (2003). De RCF methode werd aanvankelijk ontwikkeld om een denkfout te compenseren die D. Kahneman en A. Tversky in hun werk rond besluitvorming onder onzekerheid ontdekt hadden. Het was echter B. Flyvbjerg die, in samenwerking met COWI, voor het eerst een praktische benadering van de RCF methode publiceerde in 2004 (Flyvbjerg, Glenting & Rönnest, 2004). De eerste praktische toepassing van de RCF methode werd door B. Flyvbjerg uitgevoerd op een uitbreidingsproject van de Edinburgh Trams in 2004 en 2 jaar later gepubliceerd (Flyvbjerg, 2006). 39

70 5 Introductie In dit hoofdstuk worden de verklaringen voor de inaccurate voorspellingen met betrekking tot de finale projectduur en -kost besproken in sectie 5.1. Het verschil tussen een inside en eenoutside view wordt toegelicht in sectie Verklaringen voor inaccurate voorspellingen Verklaringen voor onnauwkeurige voorspellingen met betrekking tot de finale projectkost De planning en het beheer van grote infrastructuurprojecten gaat gepaard met uitdagingen waardoor de projectkost moeilijk te controleren valt. Deze projecten hebben volgens B. Flyvbjerg over het algemeen de volgende kenmerken: Aan infrastructuurprojecten zijn inherent risico s verbonden, vanwege de lange planningshorizon en de complexiteit van de projecten. De technologie is vaak uniek en dus atypisch. Tijdens het besluitvormings- en planningsproces zijn er meerdere partijen met tegenstrijdige belangen betrokken. Tijdens het project doen er zich allerlei onvoorziene gebeurtenissen voor. Uit statistische gegevens blijkt dat ongeplande gebeurtenissen vaak niet administratief verwerkt worden. Dit zorgt ervoor dat reserves voor onvoorziene uitgaven zeer onnauwkeurig worden aangelegd. Op die manier wordt er ook verkeerde informatie over het project bijgehouden met betrekking tot kosten, tijd en risico s. Dit resulteert in kostenoverschrijdingen en/of overschatting van de winsten voor het merendeel van de projecten. Om te begrijpen hoe deze kenmerken gelinkt zijn aan kostenoverschrijdingen, is het belangrijk om te bepalen welke elementen ertoe leiden dat projecten financieel uit de hand lopen. De redenen voor onnauwkeurige voorspellingen met betrekking tot de projectkost bij traditionele voorspellingsmethodes kunnen worden onderverdeeld in drie categorieën (Flyvbjerg, 2006: 2011). 1. Technische verklaringen 2. Psychologische verklaringen 3. Politieke verklaringen 40

71 Introductie 5 Technische verklaringen Volgens Flyvbjerg (Flyvbjerg, 2006), leggen de technische verklaringen de onnauwkeurigheid uit als een gevolg van projectonzekerheid, onbetrouwbare of verouderde data, het gebruik van ongeschikte voorspellingsmethodes en onervaren voorspellers. Het zijn vaak redenen die door het management gebruikt worden om ondermaatse voorspellingen te verklaren. In het verleden (meer dan 10 jaar geleden) waren zulke verklaringen wel meer van toepassing omdat de data toen een lagere kwaliteit hadden, maar de dag van vandaag worden zulke verklaringen echter niet meer aanvaard door de aanwezigheid van een grote hoeveelheid kwalitatieve data en geavanceerde technologieën. Hoewel de kwaliteit van data en mathematische modellen in het algemeen evolueert, is gebleken dat dit niet heeft geleid tot betere voorspellingsprestaties. Dit toont aan dat er nog andere verklaringen moeten bestaan behalve slechte gegevens en modellen. De psychologische en politieke redenen bieden een betere verklaring voor het gebrek aan verbetering op dit vlak. Psychologische verklaringen Psychologische verklaringen beschrijven de onnauwkeurigheid als gevolg van optimism bias. Optimism bias kan worden gedefinieerd als de systematische tendens van voorspellers om te optimistisch te worden over de belangrijkste projectparameters (The green book - Appraisal and evaluation in central government: Treasury guidance, 2003). Met andere woorden, optimism bias doet zich voor wanneer planners zich laten vangen door de zogenaamde planning fallacy. Dit laatste komt voor wanneer managers beslissingen nemen op basis van misleidend optimisme, in plaats van een rationele afweging te maken van winst, verlies en waarschijnlijkheden. Winsten worden hierbij overschat en kosten onderschat. Enkel de succes-scenario s worden bekeken, terwijl er met het risico op fouten en miscalculaties geen rekening gehouden wordt. Dit zorgt ervoor dat managers initiatieven voortzetten, waarbij het zeer onwaarschijnlijk is dat ze binnen het budget en op tijd gerealiseerd zullen worden (Lovallo & Kahneman, 2003). Er werd reeds aangetoond dat mensen in het algemeen te optimistisch zijn. Uit onderzoek bleek dat het zeer gebruikelijk is dat - wanneer aan mensen gevraagd wordt hun eigen talenten te evalueren - ze denken dat ze zich boven het gemiddelde bevinden. Bijvoorbeeld, in een onderzoek met een miljoen deelnemende studenten gaf 70% aan dat ze meer leiderskwaliteiten hadden dan het gemiddelde, terwijl slechts 2% zich onder het gemiddelde klasseerde. Daarnaast beoordeelde 60% zichzelf boven het gemiddelde toen ze werden gevraagd naar hun atletisch vermogen, maar slechts 6% beoordeelde zichzelf onder het gemiddelde. Een significante 60% antwoordde zichzelf boven het gemiddelde te klasseren met betrekking tot hun vermogen om met anderen om te gaan, terwijl 25% dacht tot de top 1% te behoren. Statistisch gezien is dat onmogelijk (Lovallo & Kahneman, 2003). 41

72 5 Introductie Een andere, veel voorkomende tendens bij mensen is om negatieve resultaten toe te schrijven aan externe factoren, maar krediet te nemen voor de positieve. Een studie toont bijvoorbeeld aan dat managers de neiging hebben om externe factoren, zoals het weer of de inflatie, de schuld te geven als het resultaat ongunstig is. Daartegenover schrijven ze een gunstige uitkomst toe aan factoren die onder hun controle vallen, zoals bv. de bedrijfsstrategie (Lovallo & Kahneman, 2003). Daarnaast zijn er twee andere redenen die het optimisme nog verder vergroten: enerzijds anchoring en anderzijds het verwaarlozen van de concurrentie. Anchoring Dit fenomeen komt voor wanneer een voorspelling wordt gebaseerd op een plan dat werd opgesteld door de persoon of het team dat het project initieel voorstelde. Dit kan tot een over-optimistische voorspelling leiden omdat het plan juist werd opgesteld om de positieve punten van het project te belichten. Een voorspelling op basis van dit plan zal daarom automatisch te optimistisch worden (Lovallo & Kahneman, 2003). Het verwaarlozen van de concurrentie Dit komt voor wanneer planners zich uitsluitend richten op hun eigen bedrijfsmogelijkheden bij het maken van voorspellingen, maar de mogelijkheden van hun concurrenten hierbij volledig negeren. Dit leidt tot het onderschatten van de kans op negatieve gebeurtenissen (Lovallo & Kahneman, 2003). Het is echter niet zo dat enthousiasme altijd nefast is, en bijgevolg door planners en organisaties getemperd moet worden. Vaak brengt enthousiasme ook optimisme mee en motiveert het medewerkers om het doel van het bedrijf te bereiken. Maar, de financiële belichting maakt het belangrijk om te zorgen voor een realistische voorspelling. De sleutel hierbij is om bewust te zijn van de optimism bias en dit zo veel mogelijk te elimineren door middel van een geschikte methodologie. Daarom is het bij de eerste beslissing omtrent het al dan niet voortzetten van het project sterk aan te raden om een outside view te hanteren in plaats van een inside view (cf. infra), omdat het eerste een betere kans biedt op een nauwkeurige voorspelling (Lovallo & Kahneman, 2003). Als optimism bias de enige verklaring was voor de onnauwkeurigheid in de voorspellingen, dan zou verwacht moeten worden dat planners geleerd zouden hebben om het patroon te herkennen om zo de voorspellingen te verbeteren doorheen de tijd. In sommige gevallen is de optimism bias de belangrijkste reden voor de onnauwkeurigheden, bijvoorbeeld wanneer de voorspelling wordt gemaakt door een nieuwe, onervaren forecaster, maar het lijkt onwaarschijnlijk dat een hele beroepsgroep van voorspellingsexperts dezelfde fouten keer op keer zou maken. Zij zouden immers leren uit hun voorgaande fouten waardoor hun voorspellingen zouden verbeteren. Optimism bias kan een deel van de verklaring zijn voor de onnauwkeurigheid in de voorspellingen, maar kan niet alles verklaren (Flyvbjerg, 2011). 42

73 Introductie 5 Politieke verklaringen De politieke verklaringen verklaren de onnauwkeurigheid van voorspellingen als gevolg van een strategische, verkeerde voorstelling van zaken. Dit doet zich voor wanneer voorspellers en managers bewust de winst overschatten en de kosten onderschatten om de kans op goedkeuring van het project te verhogen, en meer geldmiddelen voor het project binnen te halen (Flyvbjerg, 2006). Er wordt gezegd dat een strategisch verkeerde voorstelling van zaken het resultaat is van enerzijds het feit dat beslissingen ondersteund moeten worden met feiten en cijfers om overtuigend te zijn, en anderzijds van te veel politieke en organisatorische druk. Groepen en individuen zijn voortdurend in concurrentie met elkaar omdat het onmogelijk is om alle projecten te financieren. Dus, om de kans te verhogen dat een project geselecteerd wordt, stellen mensen de verwachte resultaten zo gunstig mogelijk voor, alhoewel gegevens gewijzigd werden en/of belangrijke informatie verzwegen werd die nochtans belangrijk zijn voor het welslagen van het project (Flyvbjerg, 2011). Studies van Flyvbjerg, Glentling & Rönnest (2004) en Wachs (1986) ondersteunen de opvatting dat in situaties waar sprake is van een hoge politieke en organisatorische druk, voorspellers opzettelijk gebruik maken van de volgende formule om de goedkeuring en de financiering van hun projecten veilig te stellen: Onderschatte kosten + Overschatte winsten = Goedkeuring van het project (5.1) Het resultaat hiervan is dat het niet de beste projecten zijn die uitgevoerd worden, maar wel de projecten die kunstmatig en misleidend zijn gemaakt om er het best uit te zien op papier (Flyvbjerg, 2011). Hoewel de laatste twee verklaringen (psychologische en politieke) verschillend zijn, is het resultaat hetzelfde: onnauwkeurige voorspellingen. Zoals getoond in figuur 5.1 kunnen de psychologische verklaringen (optimism bias) het optimisme bij voorspellingen vooral verklaren in situaties waar de politieke en organisatorische druk afwezig of laag is, terwijl politieke verklaringen (een strategische, verkeerde voorstelling van zaken) vooral hun verklarende waarde hebben wanneer de politieke en organisatorische druk hoog is (Flyvbjerg, 2008). De twee verklaringen vullen elkaar aan: de ene is sterk waar de andere zwak is en beide verklaringen zijn noodzakelijk om het fenomeen van onnauwkeurige voorspellingen te begrijpen en te bedwingen (Flyvbjerg, 2006). 43

74 5 Introductie Figuur 5.1: Verklarende kracht van strategic misrepresentation en optimism bias ten opzichte van politieke en organisatorische druk (Flyvbjerg, 2006). Tabel 5.1: Overzicht van de verklaringen voor onnauwkeurige voorspellingen Technische verklaringen Psychologische verklaringen Politieke verklaringen - Foute voorspellingen - Optimism bias - Strategische verkeerde - Ongeschikte voorspellings- - Ondoordachte houding voorstelling van zaken methodes ten opzichte van om het project - Gebrekkige plannen risico s en onzekerheden goedgekeurd te krijgen Verklaringen voor onnauwkeurige voorspellingen met betrekking tot de finale projectduur Naast het voorspellen van de finale projectkost, vormt het voorspellen van de finale duurtijd een tweede belangrijke uitdaging voor project managers. Projecten lopen namelijk vaak vertragingen op omwille van een verscheidenheid aan redenen. In deze sectie zullen we een overzicht geven van de oorzaken van het overschrijden van de voorspelde projectduur in de bouwsector (Shi, Cheung & Arditi, 2001). In het contract wordt namelijk een duurtijd vastgelegd die door de managers gerespecteerd dient te worden. Helaas kunnen er zich onverwachte gebeurtenissen voordoen tijdens de levensduur van het bouwproject die een invloed kunnen hebben op de finale projectduur. Wanneer een aannemer er niet in slaagt om het project binnen de contractperiode te voltooien, is er dus sprake van vertraging voor het project. Een project bestaat meestal uit een collectie van verschillende, opeenvolgende activiteiten. De kans dat een deel van deze activiteiten wordt uitgevoerd op een ander tijdstip dan initieel werd voorspeld is dan ook reëel. Dit kan er voor zorgen dat sommige activiteiten een vertraging oplopen, hetgeen kan leiden tot een toename in de finale projectduur. Het beëindigen van 44

75 Introductie 5 een activiteit kan enerzijds worden vertraagd doordat een activiteit met vertraging start en anderzijds doordat een activiteit langer duurt dan gepland. De redenen waarom activiteiten met vertraging starten, zijn verschillend van de redenen waarom activiteiten meer tijd in beslag nemen dan gepland, zoals weergegeven in figuur 5.2. Vertragingen voor activiteiten kunnen al dan niet zorgen voor vertragingen in daaropvolgende activiteiten en kunnen zo leiden tot een vertraging van de finale projectduur. Ook dit wordt schematisch in figuur 5.2 weergegeven. Figuur 5.2: Oorzaak-gevolg relaties van vertraging in de bouw (Shi, Cheung & Arditi, 2001) 45

76 5 Introductie 5.2 Inside versus outside view Het verschil tussen het nemen van een inside view en een outside view valt het best te omschrijven met een kort voorbeeld (Flyvbjerg, 2006): Tijdens een project om een curriculum te ontwikkelen voor een nieuwe studierichting voor middelbare scholen in Israël, werd aan elk lid van het planningsteam gevraagd om in te schatten hoe lang de projectduur zou zijn. De schattingen varieerden tussen 18 en 30 maanden. Eén lid van het team, een expert in curriculumontwikkeling, werd vervolgens gevraagd om zo veel mogelijk soortgelijke projecten te zoeken en de andere teamleden te vertellen hoe lang deze projecten uit het verleden hadden geduurd. De expert kwam tot de verbinding dat ongeveer 40% van de vergelijkbare projecten nooit werd voltooid en dat de duurtijd van de overige 60% van de projecten varieerde tussen 7 en 10 jaar. Daarnaast achtte de expert het huidige team even bekwaam als de voorgaande teams. Desondanks besloot het team om verder te gaan met de initiële voorspelling. De ontwikkeling van het curriculum werd uiteindelijk 8 jaar later voltooid, maar het werd zelden opgenomen. In dit voorbeeld werden twee voorspellingen gemaakt die zeer verschillende resultaten opleverden. De inside view was enkel gericht op het huidige project. De resulterende prognoses waren zeer optimistisch. De outside view daarentegen, negeerde het huidige project volledig, maar in plaats daarvan onderzocht het vergelijkbare ervaringen uit het verleden. De resulterende prognose was veel nauwkeuriger. Onderzoek heeft aangetoond dat wanneer aan mensen eenvoudige vragen worden gesteld die hen verplichten om een outside view te nemen, hun antwoord meer objectief en betrouwbaar wordt. Uit onderzoek blijkt ook dat mensen van nature de neiging hebben zich te overschatten en te denken dat hun capaciteiten boven het gemiddelde liggen. Dit valt psychologisch te verklaren zoals besproken in sectie Bijvoorbeeld, wanneer aan studenten gevraagd werd naar hun toekomstige resultaten, antwoordde 84% dat zij verwachtten beter te doen dan hun medestudenten. Maar, wanneer aan de leerlingen eerst een vraag werd gesteld over de resultaten van hun ingangsexamen in vergelijking met hun medestudenten en pas daarna over hun toekomstige punten, verwachtte nog 64% het beter dan hun medestudenten te doen. Dit is nog steeds optimistisch, maar al veel realistischer (Flyvbjerg, 2006). De outside view is een methode om de fouten veroorzaakt door psychologische en politieke verklaringen te omzeilen (Lovallo & Kahneman, 2003) Inside view Bij het maken van een voorspelling, zowel op vlak van kosten als op vlak van duurtijd, focust men zich vaak op het betreffende project. Men zal hierbij veel informatie verzamelen, verschillende scenario s in kaart brengen en mits enkele aanpassingen deze informatie extrapoleren om zo tot een voorspelling te komen. Dit is de zogenaamde inside view. 46

77 Introductie 5 Een belangrijk kenmerk van de inside view is dat men de neiging heeft om zich te focussen op het unieke van een bepaald project (Lovallo & Kahneman, 2003). Mensen hebben de neiging te denken dat projecten die ze proberen te voorspellen unieker zijn dan dat ze werkelijk zijn. Daarom leiden inside view-voorspellingen vaak tot té optimistische prognoses. D. Kahneman & A. Tversky (1979) concludeerden dat het menselijk oordeel over het algemeen optimistisch is. Dit zou te wijten zijn aan overmoed en onvoldoende aandacht voor distributionele informatie over eerdere en soortgelijke projecten. Hierdoor hebben mensen de neiging om kosten, doorlooptijden en risico te onderschatten en de winsten te overschatten. De inside view richt zich op delen van het specifieke project, in plaats van op de gerealiseerde resultaten van soortgelijke gebeurtenissen die reeds werden voltooid in het verleden. Beperkingen van de inside view In zijn boek Thinking, Fast and Slow (Kahneman, 2011), illustreert D. Kahneman de belangrijkste beperking van de inside view. Hij illustreert deze beperking aan de hand van een voorbeeld betreffende de planning voor het schrijven van zijn bovengenoemde boek. Hij stelt vast dat mensen spontaan een inside view nemen om de toekomst van een project te beoordelen, hetgeen hij zelf ook deed. Hij concentreerde zich namelijk op de specifieke omstandigheden van het project. Op basis van de twee hoofdstukken die hij reeds afwerkte, maakte hij een schatting van de tijd die hij nodig zou hebben om de resterende hoofdstukken te schrijven. Hij voegde enkele maanden als foutenmarge toe om zijn schatting iets voorzichtiger te maken. Deze extrapolatie was echter een vergissing. Zijn voorspelling was gebaseerd op de informatie die op dat moment aanwezig was, maar D. Kahneman had de zogenaamde unknown unknowns niet in zijn voorspelling opgenomen. Dit vormde volgens hem de belangrijkste beperking van de inside view. Op het moment dat D. Kahneman zijn schatting maakte, was er geen manier om rekening te gaan houden met de opeenvolging van de volgende gebeurtenissen die voor heel wat vertraging zouden zorgen: echtscheidingen, ziektes, coördinatiecrisissen met bureaucratieën. Dit toonde aan dat er veel onvoorziene omstandigheden kunnen zijn, waarmee moeilijk rekening kan gehouden worden en die een voorspelling heel onnauwkeurig kunnen maken. De kans dat er iets fout gaat tijdens een groot project is namelijk reëel Outside view De outside view kijkt bij een specifieke voorspelling naar voltooide projecten uit een grotere referentieklasse. Terwijl de inside view op de verschillen wijst van specifieke projecten, richt de outside view zich juist op de gelijkenissen ervan. Over het algemeen probeert de outside view de volgende vraag te beantwoorden: Wat is er in het verleden gebeurd met soortgelijke projecten in een soortgelijke situatie?. Het nemen van een outside view laat toe zich te distantiëren van de specifieke kenmerken van het project en de voorspelling op een statistische manier te behandelen. 47

78 5 Introductie Figuur 5.3: Inside view versus outside view gebaseerd op een technical report van B. Flyvbjerg, Glenting & Rönnest (2004) 48

79 6 HOOFDSTUK 6 Overzicht van de reference class forecasting methode 6.1 Introductie Reference class forecasting (RCF) is een methode om systematisch een outside view te nemen bij het plannen van projecten. Dit door de voorspellingen te baseren op gerealiseerde prestaties van vergelijkbare projecten uit het verleden, in plaats van alleen te focussen op het project in uitvoering. Oorspronkelijk werd reference class forecasting ontwikkeld om een denkfout te compenseren die D. Kahneman en A. Tversky (1979) ontdekt hadden in hun werk over planning en besluitvorming onder onzekerheid. Het onderzoek van D. Kahneman leverde hem de Nobelprijs voor de Economie op in De American Planning Association (APA) heeft planners aanbevolen om niet enkel te vertrouwen op de inside view technieken, maar om ook gebruik te maken van de reference class forecasting techniek als een aanvulling op de traditionele methodes om de nauwkeurigheid te verhogen. The green book - Appraisal an evaluation in central government: Treasury guidance (2003) beveelt ook aan dat de voorspellingen van kosten, winsten en duurtijd van een project, best worden gebaseerd op gegevens van projecten uit het verleden of van vergelijkbare projecten (Flyvbjerg, 2008). 49

80 6 Overzicht van de reference class forecasting methode Reference class forecasting vereist dat de volgende drie stappen worden doorlopen voor elk afzonderlijk project (Flyvbjerg, 2008): Stap 1: Identificatie van een relevante referentieklasse van projecten uit het verleden De sleutel tot succes is om een klasse te identificeren die ruim genoeg is om statistisch betekenisvol te zijn, maar ook smal genoeg om vergelijkbaar te zijn met het te voorspellen project. Stap 2: Opstellen van een kansverdeling voor de geselecteerde referentieklasse Dit vereist betrouwbare gegevens omtrent de overschrijding van de voorspelde kosten en duurtijd voor een voldoende aantal projecten binnen de referentieklasse om een statistisch zinvolle conclusie te trekken. De gegevens van de projecten uit de referentieklasse zijn gebaseerd op (1) de tijd van de beslissing, (2) de geraamde kosten op het moment van deze beslissing en (3) de werkelijke kosten van het project. Alle gegevens van de geselecteerde referentieklasse worden gebruikt voor het opstellen van een kansverdeling. Figuur 6.1: Statistische weergave van de RCF methode (Flyvbjerg, 2011). Stap 3: Vergelijking van het specifieke project met de distributie van de referentieklasse Bovenstaande figuur geeft een statistische kijk op hoe reference class forecasting werkt. In een eerste stap verschuift reference class forecasting de beste schatting van de conventionele voorspelling - de voorspelling van de planner, hier aangeduid door de grijze lijn - in de richting van het gemiddelde van de referentieklasse. De distributie van de resultaten van de referentieklasse wordt aangegeven door de rode curve (stap 2). Daarna past reference class forecasting de schatting van het interval voor de conventionele prognose aan, aan het interval van de referentieklasse (stap 3). 50

81 Overzicht van de reference class forecasting methode Reference class forecasting methodes doorheen de tijd De methode van Mott MacDonald (2002) De methode van Mott MacDonald (MacDonald, 2002) kan worden beschouwd als de eerste toepassing van RCF voor infrastructuurprojecten. Het consultancy bureau Mott MacDonald adviseerde de Britse regering op welke manier zij een outside view konden nemen voor het voorspellen van hun infrastructuurprojecten. Ze raadpleegden hiervoor een eigen database, die minder uitgebreid en minder gedetailleerd was dan de Flyvbjerg database (cf. infra). De consultants van Mott MacDonald adviseerden om de voorspellingen te verhogen binnen een bepaald interval. Figuur 6.2: Overzicht concept van de methode volgens Mott MacDonald Dit wordt geïllustreerd in figuur 6.2. Als uitgangspunt wordt de maximale waarde van de uplift genomen (stap 2) en deze kan worden verminderd door aan te tonen dat de risico s worden beheerd aan de hand van de 5 risicozones voor bouwprojecten die door hen naar voren werden geschoven (stap 3). In dit opzicht worden specifieke kenmerken van het project verwerkt De methode van Flyvbjerg (2006) De methode van Flyvbjerg (Flyvbjerg, 2006: 2008) is gebaseerd op de database die hij begon aan te leggen vanaf zijn eerste artikel over RCF (2003) en omvat een grote verscheidenheid aan projecten. Het basisidee van deze methode is een optimism bias uplift gebaseerd op het risico dat de initiator bereid is te accepteren. Deze uplift wordt afgeleid uit een gepaste normale distributie uit de database die gebaseerd is op ervaringen uit het verleden. Er wordt ook rekening gehouden met alle vormen van vertekening. Figuur 6.3: Overzicht concept van de methode volgens B. Flyvbjerg Het basisconcept van deze werkwijze wordt geïllustreerd in figuur 6.3. Bijvoorbeeld, wanneer de aanleg van een weg als project wordt beschouwd en de gemiddelde kostoverschrijding van de 51

82 6 Overzicht van de reference class forecasting methode referentieklasse 20% bedraagt, dan wordt aangenomen dat er 50% kans bestaat dat de kosten van het project minder dan 120% van de voorspelde kosten zullen bedragen. Op basis van het aanvaardbare risiconiveau, wordt het startpunt van de uplift geschat (stap 2). De uplift kan worden verminderd door het aanvaardbaar risiconiveau te verlagen (stap 3) De methode van Salling (2009) Deze methode (Salling & Banister, 2009) werd ontwikkeld door Salling, assistent-professor aan de Technische Universiteit van Denemarken, en combineert de deterministische berekening van de kosten-batenanalyse (KBA) met de stochastische berekening van RCF. Figuur 6.4: Overzicht concept van de methode volgens Salling Het basisconcept is geïllustreerd in figuur 6.4. Tijdens de eerste stap wordt de puntschatting van de KBA aangepast met de optimism bias uplift. Dit principe is hetzelfde als in de methode van Flyvbjerg. Vervolgens worden verschillende soorten distributies (Erlang, Beta-PERT, PERT) vergeleken met verdelingen van kostenoverschrijdingen voor de verschillende projecten die werden gevonden in de database van B. Flyvbjerg (stap 3). Dan wordt er een minimum en een maximum waarde bepaald voor de belangrijkste kostenposten die werden voorspeld. Hierna wordt er een toepasselijke verdeling toegewezen aan deze kostenposten en wordt er een Monte-Carlo simulatie uitgevoerd om de meest waarschijnlijke uitkomst van de voorspelling te bepalen Conclusie Hieronder zullen de belangrijkste kenmerken, overeenkomsten en verschillen van de verschillende methodes worden samengevat. Dit wordt geïllustreerd in tabel 6.1. Ook de belangrijkste punten van kritiek worden besproken. 52

83 Overzicht van de reference class forecasting methode 6 Tabel 6.1: Overzicht van de RCF methodes volgens MacDonald, Flyvbjerg en Salling Gegevens Methodologie Toepassing Methode van Mott Macdonald Methode van Flyvbjerg Methode van Salling Gebaseerd op eigen onderzoek Uitgebreide internationale Uitgebreide internationale database database Uplift wordt gecorrigeerd op Uplift wordt gecorrigeerd op Integratie van kansverdeling in basis van het aanvaardbaar risico basis van het aanvaardbaar risico stochastische voorspelling Verenigd Koninkrijk (voorganger Verenigd Koninkrijk en Nog niet officieel gebruikt van de Flyvbjerg-methode) Denemarken Referentieklassen Standaard en non-standaard Wegen/Spoorwegen/Bruggen Wegen/Spoorwegen/Bruggen (vb transportinfrastructuur) bouwwerken Voor- en nadelen + Correctie van de schatting + Uitgebreide databank + Gedetailleerde integratie - Zeer grote referentieklassen - Vergelijkbaarheid 53

84 6 Overzicht van de reference class forecasting methode 6.3 Beperkingen De RCF methode werd officieel in 2004 gepubliceerd (Flyvbjerg, Glenting & Rönnest, 2004), maar echte praktische toepassingen van deze methode zijn schaars. De echte uitdaging bij reference class forecasting ligt in het samenstellen van een geldige dataset die een betrouwbare voorspelling toelaat (Flyvbjerg, 2008). Zulke datasets zijn echter zeldzaam in de realiteit. Voor grote, overheidsgefinancierde projecten is het tijdsverloop tussen de beslissing tot bouwen en de opening van de infrastructuur meestal zeer lang. Dit maakt de reconstructie van de werkelijke totale kosten van een overheidsproject zeer moeilijk en complex. Voor particuliere projecten worden deze gegevens doorgaans enkel binnen de bedrijfsmuren gehouden. Het is ook zo dat voor zowel overheids- als privaat gefinancierde projecten, de bouwheren niet staan te springen om kostenoverschrijdingen van hun projecten openbaar te maken. Het is ook zeer tijdrovend om die gegevens te produceren. Voor B. Flyvbjerg duurde het bijvoorbeeld 4 jaar om 258 projecten te verzamelen met gegevens omtrent zowel de werkelijke bouwkosten en de geraamde kosten (Flyvbjerg, Holm & Buhl, 2002). Kortom, het verzamelen van betrouwbare gegevens over de werkelijke kosten van een project kan vaak zeer tijdrovend of simpelweg onmogelijk zijn. Het potentieel van reference class forecasting is anders in situaties waarin (1) optimism bias de belangrijkste oorzaak voor onnauwkeurigheid is dan in situaties waarin (2) een strategische foutieve voorstelling de belangrijkste reden voor onnauwkeurigheid is. In het eerste geval, zijn de mogelijkheden voor het gebruik van de outside view en reference class forecasting goed. Maar in het tweede geval, zijn de mogelijkheden voor reference class forecasting laag en de barrières voor het gebruik ervan hoog. Dat betekent dat de voorspellers niet geïnteresseerd zijn in andere schattingsmethodes om hun voorspellingen te verbeteren, omdat er bewust voor de onnauwkeurigheid werd gekozen. Om deze barrières te verlagen, zouden er stimulansen moeten worden afgesteld om nauwkeurige voorspellingen te belonen en de onnauwkeurige te bestraffen. 54

85 7 HOOFDSTUK 7 Methodologie 7.1 Introductie Nadat een grondig overzicht werd gegeven van de reference class forecasting methode in hoofdstuk 6, zullen we in dit hoofdstuk dieper ingaan op de methodologie van RCF. De stapsgewijze procedure van het model wordt behandeld in sectie 7.2. Vervolgens wordt beschreven hoe de optimism bias uplift en het aanvaardbaar risiconiveau dienen bepaald te worden in respectievelijk sectie 7.3 en Stapsgewijze procedure Stap 1: Identificatie van een relevante referentieklasse van projecten uit het verleden Het voornaamste probleem bij het identificeren van een relevante referentieklasse van projecten uit het verleden is hoe de indeling gemaakt moet worden. De referentieklassen mogen niet te smal zijn. Dit wil zeggen dat de projecten niet teveel mogen worden opgedeeld omdat het dan moeilijk zou zijn om een geldige optimism bias uplift te bepalen. Daarnaast mogen de referentieklassen ook niet te breed zijn, want dit zou ervoor kunnen zorgen dat projecten binnen eenzelfde referentieklasse dan niet vergelijkbaar zijn (Flyvbjerg, 2004). Het is belangrijk dat er voor de projecten binnen eenzelfde referentieklasse kan worden aangetoond dat het risico voor het overschrijden van voorspellingen (bijvoorbeeld de mate waarin de gerealiseerde kosten hoger zijn dan de voorspelde) als statistisch gelijk kan worden beschouwd. Dit kan door middel van statistische tests, benchmarking of door andere analyses aangetoond worden (Flyvbjerg, 2006). Wat Flyvbjerg omschrijft met uplifts is bijvoorbeeld hoeveel aandeel aanvullende financiering er 55

86 7 Methodologie nodig is om 50% zeker te zijn dat het project de voorspellingen niet overschrijdt. Het artikel Delusions of Success: How Optimism Undermines Executives Decisions (Lovallo & Kahneman, 2003) geeft het voorbeeld van een studio directeur die de verkoop van een nieuwe film probeert te voorspellen, waarbij hij de referentieklasse baseert op de volgende variabelen: genre, acteurs, budgetten, enz. De referentieprojecten voor de voorspelling zijn de recente films uit hetzelfde genre, met soortgelijke budgetten en dezelfde acteurs. Een ander voorbeeld toont hoe Flyvbjerg, Glenting & Rönnest (2004) vervoersprojecten opdeelden in de volgende klassen: wegen, spoor en bruggen. Met behulp van vergelijkbare projecten waren ze in staat om een distributie op te stellen van de kostenoverschrijdingen voor nieuwe projecten die qua omvang en risico s vergelijkbaar zijn met de projecten uit de referentieklasse. Stap 2: Opstellen van een kansverdeling voor de geselecteerde referentieklasse Van zodra de referentieklassen bepaald zijn, moet er voor elke klasse een nauwkeurige distributie voor overschrijding van voorspellingen worden gevonden. De overschrijdingen van de geraamde kostprijs in percentielen worden bepaald volgens de volgende vergelijking: I c = C a C f C f (7.1) met I c = overschrijding van de geraamde kostprijs in %, C a = werkelijke kosten van een project en C f = voorspelde kosten van een project. Werkelijke kosten worden gedefinieerd als gerealiseerde, verantwoorde kosten bepaald op het moment van de voltooiing van een project. De voorspelde kosten worden gedefinieerd als de kosten op het moment dat de beslissing wordt genomen om een project uit te voeren (2005). Voor de duurtijd werden de berekeningen niet expliciet opgenomen, maar kunnen we ervan uitgaan dat de berekening analoog verloopt: I d = D a D f D f (7.2) met I d = overschrijding van de geraamde duurtijd in %, D a = werkelijke duurtijd van een project en D f = voorspelde duurtijd van een project. Om de vergelijkbaarheid te waarborgen, is het ook hierbij van belang dat de definitie van de voorspelde en werkelijke duurtijd voor alle projecten identiek is. De statistische verdeling van elke referentieklasse kan dan worden gebruikt om de optimism bias uplift van stap 3 te ontwikkelen. In deze stap is de steekproef en gegevensverzameling van groot belang. De gegevens moeten een willekeurige steekproef uit een grotere populatie zijn en moeten deze populatie correct weerspiegelen. Het is heel moeilijk om zeker te weten of de steekproef representatief is voor de populatie. Er zijn hiervoor verschillende verklaringen (Flyvbjerg, Glenting & Rönnest, 2004): Er kan aangetoond worden dat wanneer de beschikbare gegevens en andere factoren van projecten goed worden beheerd, dit leidt tot prestaties die beter dan gemiddeld zijn. 56

87 Methodologie 7 De beheerders van projecten met grote overschrijding zijn niet geïnteresseerd om deze gegevens openbaar te maken, terwijl sterke projectmanagers wel geïnteresseerd zijn om deze kostengegevens openbaar te maken. Dit leidt tot een ondervertegenwoordiging van de slechte projecten, maar oververtegenwoordiging van goede projecten in de steekproef. Het is ook zo dat wanneer managers hun kostgegevens beschikbaar maken, zij ervoor kiezen deze gegevens zo gunstig mogelijk te presenteren. Vaak zijn er verschillende voorspellingen van de kosten en ook een aantal nacalculaties van de werkelijke kosten. Managers kunnen er dus voor kiezen om de voorspelde en de werkelijke kosten openbaar te maken die er het beste uitzien op papier. Er kunnen verschillen optreden in de vertegenwoordiging van verschillende deelmonsters in een bepaalde referentieklasse. Bijvoorbeeld, een referentieklasse die vergelijkbaar is voor zowel bruggen als tunnels zou voor 85% bruggen kunnen bevatten en slechts voor 15% tunnels. De resultaten van de gelijkaardige, recente referentieprojecten worden weergegeven aan de hand van een histogram (van de meest tot de minst gunstige), op basis waarvan een kansverdeling wordt opgesteld via interpolatie. De gegevens van deze kansverdeling kunnen gebruikt worden om de verwachte resultaten van het project uit te drukken. Flyvbjerg, Glenting & Rönnest (2004) maakten hiervoor gebruik van statistische lineaire modellen uit SPSS, zijnde variantie- en regressieanalyse met de geschikte F- en T-testen. Ook chi-kwadraattesten werden uitgevoerd om de onafhankelijkheid van de projecten te testen. Bovendien werd voor elke test de p-waarde gerapporteerd. Deze waarde wordt gebruikt om de nulhypothese - die stelt dat de beschouwde projecten in de groep als referentieklasse kunnen worden beschouwd - te testen ten opzichte van de alternatieve hypothese. Een p-waarde lager dan 0,01 wordt beschouwd als zeer significant, lager dan 0,05 significant, terwijl een grotere p-waarde betekent dat de afwijking tussen de projectuitkomsten te groot is en de projecten dus irrelevant zijn om te vergelijken. Stap 3: Vergelijken van het specifieke project met de distributie van de referentieklasse Wanneer er voor de referentieklasse een kansverdeling voor kostenoverschrijding is gevonden, is het mogelijk om de noodzakelijke optimism bias uplift te bepalen. De vereiste uplift wordt bepaald als functie van de hoeveelheid risico die men bereid is te nemen. Hoe lager het aanvaardbaar risico, hoe hoger de vereiste uplift (Flyvbjerg, Glenting & Rönnest, 2004). 57

88 7 Methodologie 7.3 Optimism bias uplifts Indien het project dat voorspeld wordt een gemiddeld project is (risicoanalyse is gemiddeld), dan moet verwacht worden dat de gerealiseerde kosten, gemiddeld gezien, de voorspelde kosten zullen overtreffen met de gemiddelde verhoging van het budget. Bijvoorbeeld, als in een enkele referentieklasse de gemiddelde kostenoverschrijding 10% bedraagt, dan moet er, om 50% kans te hebben om onder de voorspelde kosten te eindigen, 10% uplift worden toegevoegd aan het project dat wordt vergeleken met de referentieklasse. Bij dit voorbeeld is er dan ook 50% kans om boven de verwachte kosten te eindigen. Als het niet aanvaardbaar is dat de kans op overschrijding 50% is, dan moet de uplift hoger zijn dan de gemiddelde kostoverschrijding, want hoe lager het aanvaardbaar risico, hoe hoger de vereiste uplift (cf. supra). Als de kans op overschrijding onder een bepaalde drempel (x%) ligt, dan toont figuur 7.1 de noodzakelijke uplift (Flyvbjerg, Glenting & Rönnest, 2004). Figuur 7.1: Noodzakelijke uplift die vereist is om ervoor te zorgen dat de kans op een kostenoverschrijding lager is dan X% (Flyvbjerg, Glenting & Rönnest, 2004). 7.4 Aanvaardbaar risico Het 50% percentiel kan alleen worden gebruikt in gevallen waar men bereid is om een grote hoeveelheid risico te nemen (het risico is de kans dat de gerealiseerde kosten hoger zullen zijn dan de voorspelde kosten). Dit kan bijvoorbeeld het geval zijn wanneer beleggers een groot aantal projecten financieren en dus waarbij kostenbesparingen van het ene project gebruikt kunnen worden ter dekking van kostenoverschrijdingen in andere projecten. De bovenste percentielen (80% - 90%) worden gebruikt als men een hoge mate van zekerheid wenst dat er geen overschrijding van voorspellingen zal plaatsvinden, bijvoorbeeld in stand-alone projecten met beperkte toegang tot extra middelen. Andere percentielen kunnen worden gebruikt om een nog hogere mate van risico te aanvaarden (Flyvbjerg, Glenting & Rönnest, 2004). 58

89 Methodologie 7 Als een project uit twee of meer verschillende projectsegmenten bestaat, d.w.z. hetzelfde project bevat bijvoorbeeld zowel een weg als een brug, dan kan het worden beschouwd als een gecombineerd project en dan moet het worden verdeeld in twee delen. De juiste uplifts moeten dan onafhankelijk van elkaar worden bepaald voor elk deelproject. Om de totale budgetverhoging voor het volledige project te berekenen, moet men de budgetverhogingen van de twee deelprojecten optellen (Flyvbjerg, Glenting & Rönnest, 2004). 59

90

91 8 HOOFDSTUK 8 RCF in de praktijk Reference class forecasting werd in 2002 een eerste keer in de praktijk toegepast door B. Flyvbjerg en COWI (Flyvbjerg, Glenting & Rönnest, 2004) in samenwerking met HM Treasury en het Britse Ministerie van Transport. De methode werd in het Verenigd Koninkrijk toegepast op grote projecten van transportinfrastructuur. Uit een database van 260 infrastructuurprojecten bleek dat er een groot verschil op vlak van overbesteding bestond tussen de volgende categorieën: wegen, spoorwegen en bruggen. Dit betekent met andere woorden dat statistische tests aantoonden dat de projecten binnen elk van deze drie groepen als gelijkwaardig konden worden beschouwd met betrekking tot het risico op overschrijden van voorspellingen. Voorbeelden van projecten uit elke categorie worden weergegeven in tabel 8.1. Alle beschikbare gegevens van projecten uit het verleden die zich in de databank van Flyvbjerg bevonden, werden beschouwd als een deel van de steekproef. Kostengegevens werden verzameld uit verschillende bronnen; ze werden via jaarlijkse project accounts, vragenlijsten, interviews en andere studies verkregen. De voorspelde kost werd geïdentificeerd op het moment dat de goedkeuring voor het project werd gegeven. Als deze voorspelling niet beschikbaar was, werd een zo goed mogelijke schatting gebruikt.in totaal waren er gegevens van 353 projecten beschikbaar. 85 projecten hiervan moesten worden verworpen omwille van onvoldoende kwaliteit van de gegevens. Flyvbjerg besloot ook alleen projecten uit Europa en Noord-Amerika te gebruiken, in totaal waren dat er 252, waarvan 172 wegprojecten, 46 spoorwegprojecten en 34 projecten met betrekking tot vaste verbindingen (bruggen & tunnels). Informatie over de mate waarin onvoorziene omstandigheden in aanmerking werden genomen tijdens een eerste prognose was niet beschikbaar. 61

92 8 RCF in de praktijk Tabel 8.1: Categorieën en projecttypes die als basis voor RCF werden gebruikt (Flyvbjerg, 2006) Category Roads Rail Fixed links Building Projects IT Projects Standard civil engineering Non standard civil engineering Types of Projects Motorway Trunk Roads Local Roads Bicycle facilities Pedestrian facilities Park and ride Bus lane schemes Guided buses on wheels Metro Light rail Guided buses on tracks Conventional rail High speed rail Bridges Tunnels Stations Terminal buildings IT system development Included for reference purposes only Included for reference purposes only Voor elke categorie van projecten werd een referentieklasse van voltooide, vergelijkbare projecten gebruikt om kansverdelingen op te stellen voor kostenoverschrijdingen voor de nieuwe projecten. Eerst werden histogrammen voor kostenoverschrijdingen opgesteld (zie figuren 8.1 en 8.2) en vervolgens werden de kansverdelingen daaruit afgeleid. 62

93 RCF in de praktijk 8 Figuur 8.1: Kostoverschrijding van wegenprojecten in het VK (N=128) en een benchmark (N=44) (Flyvbjerg, Glenting & Rönnest, 2004) 63

94 8 RCF in de praktijk Figuur 8.2: Kostoverschrijding van vaste verbindingsprojecten in het VK (N=4) en een benchmark (N=30) (Flyvbjerg, Glenting & Rönnest, 2004). 64

95 RCF in de praktijk 8 Als resultaat verkreeg Flyvbjerg de volgende kansverdelingen voor de referentieklasse van wegenbouwprojecten (figuur 8.3) en de referentieklasse van vaste verbindingsprojecten (Figuur 8.4). Figuur 8.3 illustreert het aantal projecten met een bepaalde maximale kostenoverschrijding ten opzichte van de procentuele kostenoverschrijding voor wegenbouw. 40% van de projecten heeft bijvoorbeeld een maximale overschrijding van 10% en 80% van de projecten heeft een maximale overschrijding van 32% etc. Figuur 8.4 geeft hetzelfde weer voor vaste verbindingen. Hierin heeft 40% van de projecten een maximale overschrijding van 16% en 80% van de projecten heeft een maximale overschrijding van 55% etc.(flyvbjerg, Glenting & Rönnest, 2004). Figuur 8.3: Kansverdeling van de kostoverschrijding voor wegen, N = 1772 (Flyvbjerg, 2006). Figuur 8.4: Kansverdeling van de kostoverschrijding voor vaste verbindingen, N = 34 (Flyvbjerg, 2006) 65

96 8 RCF in de praktijk Figuur 8.5: Vereiste uplift in functie van het maximaal aanvaardbare risico op kostenoverschrijding voor wegen (Flyvbjerg, 2006) Figuur 8.6: Vereiste uplift in functie van het maximaal aanvaardbare risico op kostenoverschrijding voor vaste verbindingen (Flyvbjerg, 2006). Op basis van de waarschijnlijkheidsverdeling, zoals getoond in figuren 8.3 en 8.4, worden de noodzakelijke uplifts voor wegen en vaste verbindingen berekend zoals getoond in figuren 8.5 en 8.6. Als men bereid is om 50% kans op kostenoverschrijding te aanvaarden, dan zou de vereiste uplift 15% zijn voor wegen, maar 23% voor bruggen. In beide gevallen geldt: hoe lager het aanvaardbaar risico voor overschrijding, hoe hoger de uplift (cf. supra). 66

97 RCF in de praktijk 8 Tabel 8.2: Vereiste uplifts voor voorspellingen aan de hand van referentieklassen volgens een studie uit het VK (Salling, Leleur & Skougaard, 2010) Category Types of projects Applicable optimism bias uplifts [percentiles] 50% 60% 70% 80% 90% Roads Motorway Rail Fixed links Building Projects Trunk Roads Local Roads Bicycle facilities Pedestrian facilities Park and ride Bus lane schemes 15% 24% 27% 32% 45% Guided buses on wheels Metro Light rail Guided buses on tracks 40% 45% 51% 57% 68% Conventional rail High speed rail Bridges Tunnels 23% 26% 34% 55% 83% Stations 4-51%* Terminal buildings IT Projects IT system development %* Standard civil engineering Included for reference 3-44%* purposes only Non standard civil engineering Included for reference 6-66%* purposes only *Gebaseerd op Mott MacDonald (2002); Geen kansverdeling beschikbaar. 67

98 8 RCF in de praktijk Tabel 8.2 geeft een overzicht van de toepasselijke optimism bias uplifts voor het 50%, 60%, 70% 80% en 90% percentiel voor de projecten uit tabel 8.1. Het 80% percentiel komt overeen met een risico voor kostenoverschrijding van 20% - dit is ook het risiconiveau dat het Britse departement voor transport meestal bereid was te accepteren. Als een groep planners een business case zou voorbereiden voor de aanleg van een nieuwe snelweg en hun cliënt beslist dat het risico van kostenoverschrijding minder dan 20% moet zijn, dan moeten ze een uplift van 32% nemen op hun voorspellingen (zie tabel 8.2). Dus als de aanvankelijke voorspelling 100 miljoen bedraagt, dan moet deze forecast verhoogd worden tot 132 miljoen. Als hun cliënt zou beslissen dat een overschrijdingsrisico van 50% aanvaardbaar is, dan bedraagt de uplift 15% en wordt de voorspelling geraamd op 115 miljoen. 68

99 Deel III Specifieke uitdagingen 69

100

101 9 HOOFDSTUK 9 Tekortkomingen vroeger onderzoek Hoewel verschillende experimentele studies (Kahneman, 1994; Kahneman & Tversky, 1977; 1979; Lovallo & Kahneman, 2003) reeds hebben aangetoond dat RCF nauwkeuriger is dan traditionele voorspellingsmethoden, kaderden deze studies echter niet binnen het gebied van projectmanagement. B. Flyvbjerg was de eerste en enige die de RCF methode binnen het domein van projectmanagement heeft toegepast, met name op een project uit de transportsector (Flyvbjerg, 2006). Een cruciale tekortkoming in het werk van Flyvbjerg betreft het feit dat de RCF methode enkel wordt toegepast bij het voorspellen van de finale projectkost. Het nagaan van de algemene toepasbaarheid van de methode, of met andere woorden onderzoeken of de methode eveneens kan worden gebruikt voor het voorspellen van de finale projectduur, vormt dan ook een eerste uitdaging in dit onderzoek. 71

102 9 Tekortkomingen vroeger onderzoek Ten tweede ontbreekt in het werk van B. Flyvbjerg een kwantitatieve evaluatie van de methode, om de nauwkeurigheid van de voorspellingen op basis van referentieklassen te bepalen. In zijn paper luidt de conclusie dat, door het gebruik van de empirische distributie informatie voor het voorspellen van de finale projectkost, Ove Arup 1 in staat was een outside view te hanteren bij het maken van de voorspelling van de kapitaalkost van de Edinburgh Tram Line 2 en aldus tot een onvertekende voorspelling te komen. Dit in tegenstelling tot de schatting van de kapitaalkost (i.e. BAC) van de promotor, die te optimistisch was. Wat echter ontbreekt is een kwantificering van de nauwkeurigheid van beide voorspellingmethodes aan de hand van statistische maatstaven (e.g. mean average percentage error). Daarnaast wordt evenmin de prestatie van de RCF methode vergeleken met de prestaties van andere, traditionele voorspellingsmethodes (cf. EVM, Warburton, Monte-Carlo simulaties). Een vierde en laatste uitdaging in dit onderzoek betreft het verwerven van nieuwe inzichten in de RCF methode en een verdere ondersteuning te bieden voor de toepassing van RCF in de praktijk. 1 Ove Arup & Partners is een Britse multinational (wereldwijd opererend ingenieursbureau) die consultancy diensten verleent op het vlak van engineering, design, planning, projectmanagement in de bouwsector (vnl. grote openbare bouwprojecten). 72

103 10 HOOFDSTUK 10 Onderzoeksvragen 10.1 Algemene toepasbaarheid Zoals besproken in vorige sectie wordt de RCF methode door B. Flyvbjerg enkel toegepast voor de voorspelling van de finale projectkost, hoewel ze ook zou kunnen worden toegepast voor het voorspellen van de finale projectduur. Een eerste doelstelling is dan ook om de algemene toepasbaarheid van de RCF methode, zoals voorgesteld door B. Flyvbjerg, na te gaan. Onderzoeksvraag 1: Is de RCF methode algemeen toepasbaar voor het voorspellen van zowel de finale projectkost als de finale projectduur? 10.2 Keuze referentieklassen Als eerste stap bij toepassing van de RCF methode dient een relevante referentieklasse met projecten uit het verleden te worden geïdentificeerd. De voornaamste uitdaging hierbij betreft hoe specifiek de indeling dient te worden gemaakt. Aan de ene kant mogen de referentieklassen niet te smal zijn, hetgeen impliceert dat het aantal projecten in een referentieklasse niet te beperkt mag zijn, ten einde een geldige optimism bias uplift te kunnen bepalen. Daarnaast mogen de referentieklassen ook niet te breed zijn, want dit zou ervoor kunnen zorgen dat projecten binnen eenzelfde referentieklasse dan niet vergelijkbaar zijn. We zullen deze stelling kwantitatief benaderen door verschillende referentieklassen op te bouwen en hun voorspellingsprestaties onderling te vergelijken. 73

104 10 Onderzoeksvragen Onderzoeksvraag 2: Onderzoeksvraag 3: Welke invloed heeft de keuze van de specifieke referentieklasse bij het maken van voorspellingen omtrent de finale projectduur en -kost van een project? Hoe breed/smal dient een referentieklasse te zijn voor het verkrijgen van de meest nauwkeurige voorspellingen? 10.3 Prestaties van de RCF methode In tegenstelling tot B. Flyvbjerg, die geen kwantitatieve evaluatie van de kostvoorspelling op basis van de RCF methode heeft uitgevoerd, zullen in dit onderzoek de prestaties van de RCF methode onderzocht worden aan de hand van statistische maatstaven. Het belangrijkste criterium voor het bepalen van de kwaliteit betreft de nauwkeurigheid van de voorspellingen. Onderzoeksvraag 4: Hoe presteert de RCF methode met betrekking tot de nauwkeurigheid van de voorspellingen? Daarnaast zal de kwantitatieve evaluatie van de RCF methode gebaseerd zijn op nog 2 andere criteria, namelijk de stabiliteit van de voorspellingen en de timeliness (i.e. de mogelijkheid van de voorspellingsmethode om accurate voorspellingen te maken tijdens verschillende fasen van het project). Onderzoeksvraag 5: Hoe presteert de RCF methode met betrekking tot de stabiliteit van de voorspellingen? Onderzoeksvraag 6: Hoe presteert de RCF methode met betrekking tot de nauwkeurigheid van de voorspellingen in verschillende fasen (i.e. timeliness) van het project? 10.4 Vergelijking met traditionele voorspellingsmethoden Ten einde op onderzoeksvragen 4, 5 en 6 een antwoord te kunnen geven, zal de RCF methode kwantitatief vergeleken worden met de traditionele voorspellingsmethodes. Een eerste methode voor het verkrijgen van voorspellingen omtrent de finale projectduur en -kost, die met de RCF methode zal worden vergeleken, betreft de schatting van de projectmanager zoals vastgelegd in de baseline schedule. Onderzoeksvraag 7: Hoe presteert de RCF methode in vergelijking met de voorspellingen van de project manager (i.e. baseline schedule schattingen)? 74

105 Onderzoeksvragen 10 Daarnaast zal de RCF methode ook vergeleken worden met de voorspellingen op basis van Monte-Carlo simulaties, EVM en Warburton s methode. Onderzoeksvraag 8: Hoe presteert de RCF methode in vergelijking met voorspellingen op basis op Monte-Carlo simulaties? Onderzoeksvraag 9: Hoe presteert de RCF methode in vergelijking met voorspellingen op basis van EVM? Onderzoeksvraag 10: Hoe presteert de RCF methode in vergelijking met voorspellingen volgens Warburton s methode? Naast de kwantitatieve vergelijking, zal de RCF methode eveneens kwalitatief vergeleken worden met de traditionele voorspellingsmethodes. Hierbij staat het gebruiksgemak van de voorspellingsmethodes centraal en zullen deze aan de hand van verschillende criteria beoordeeld worden. Onderzoeksvraag 11: Welke voorspellingsmethode is kwalitatief gezien het best? Om op al deze onderzoeksvragen een antwoord te vinden, zal een onderzoek worden uitgevoerd op basis van reële projecten die afkomstig zijn uit enerzijds een eigen rondvraag en anderzijds uit de database van OR-AS 1. De voornaamste uitdaging hierbij is om een inzicht te bieden in de praktische toepassing van de verschillende voorspellingstechnieken - in het bijzonder RCF -, en om een betrouwbare indicatie te schetsen omtrent de bruikbaarheid van RCF en de prestaties ten opzichte van de traditionele voorspellingsmethodes. Meer informatie omtrent de database met reële projecten wordt gegeven in deel V

106

107 Deel IV Onderzoeksmethodiek 77

108

109 Overzicht Ten einde de voorspellingsnauwkeurigheid van de reference class forecasting methode te testen en te vergelijken met de traditionele methodes, werden de verschillende technieken voor het voorspellen van de finale projectduur en -kost toegepast op reële projecten uit de door ons aangelegde database. In de volgende hoofdstukken zal de onderzoeksmethodiek, die opgedeeld wordt in 3 fasen, in detail behandeld worden en eveneens worden geïllustreerd aan de hand van een voorbeeldproject. Een schematisch overzicht van de onderzoeksmethodiek wordt gegeven in figuur

110 Figuur 10.1: Overzicht onderzoeksmethodiek 80

111 11 HOOFDSTUK 11 Fase 1: Voorbereiding In dit hoofdstuk beschrijven we de eerste fase van de onderzoeksmethodiek, die het voorbereidende werk omvat. Er wordt een overzicht gegeven van de noodzakelijke gegevens, en de aanpak voor de rondvraag bij bedrijven wordt toegelicht. Daarnaast volgt eveneens een beschrijving van ProTrack, een software tool voor projectmanagement, alsook toelichting bij de aanleg van onze specifieke database, die als uitgangspunt voor de volgende fase heeft gediend Noodzakelijke gegevens In deze sectie zal een overzicht gegeven worden van de specifieke gegevens die noodzakelijk waren voor het opstellen van ons onderzoek. Onderstaande gegevens waren voldoende om op elk project de verschillende voorspellingsmethodes toe te passen. We bespreken achtereenvolgens de noodzakelijk input voor: baseline schedule, risicoanalyse en projectcontrole Baseline schedule De baseline schedule geeft de planning van het project en de relaties tussen de activiteiten weer. Bovendien worden er ook geschatte kosten toegewezen aan de activiteiten. De baseline schedule vormt de basis voor de risicoanalyse en projectcontrole (cf. infra). Algemeen ID: aan elke activiteit wordt er een ID toegewezen. Dit zal later gebruikt worden voor het uitdrukken van de relaties tussen de verschillende activiteiten. De ID s moeten niet noodzakelijk opeenvolgend zijn. Naam: naam de activiteit zo goed mogelijk beschrijft. 81

112 11 Fase 1: Voorbereiding WBS: alle activiteiten worden in een hiërarchische structuur ondergebracht om zo tot een ordening van de noodzakelijke activiteiten te komen. Onderlinge relaties Voorgangers: lijst van activiteiten die de huidige activiteit onmiddellijk voorafgaan met bijhorende relaties. Opvolgers: lijst van activiteiten die de huidige activiteit onmiddellijk opvolgen met bijhorende relaties. Type relaties Finish-start (FS): een activiteit kan enkel starten nadat de voorgaande activiteit werd beëindigd. Finish-finish (FF): een activiteit kan enkel eindigen nadat de voorgaande activiteit werd beëindigd. Start-start (SS): een activiteit kan enkel starten nadat de voorgaande activiteit van start is gegaan. Start-finish (SF): een activiteit kan enkel eindigen nadat de voorgaande activiteit van start is gegaan. Planning Baseline start: geplande startdatum van elke activiteit volgens de baseline schedule. Baseline end: geplande einddatum van elke activiteit volgens de baseline schedule. Duurtijd: geplande duurtijd van elke activiteit volgens de baseline schedule. De duurtijd wordt uitgedrukt in werkdagen (en werkuren). Elke dag telt 8 werkuren en er zijn 5 werkdagen per week (van maandag tot vrijdag). Vaste kosten: de geplande vaste kosten van een activiteit. Dit bedrag is onafhankelijk van de duur van de activiteit. Kost/uur: de verwachte kosten per uur voor een activiteit. Dit zal de variabele kosten van die activiteit bepalen. Variabele kost: een variabel bedrag dat afhankelijk is van de duur van de activiteit. Het wordt berekend door de kost/uur te vermenigvuldigen met de geplande duurtijd. Totale kost: de totale kost is de som van de vaste kosten en de variabele kosten voor elke activiteit. 82

113 Fase 1: Voorbereiding Risicoanalyse Risicoanalyse is gebaseerd op de risicodistributies van de duurtijd voor elke activiteit. Op basis van deze distributies kunnen simulatie-gebaseerde voorspellingen worden gemaakt voor de finale projectduur en -kost. Driehoekige risicodistributies Aan elke activiteit wordt er een van de volgende vier standaarddistributies toegewezen: Geen risico: de activiteit bevat geen risico en de duurtijd wordt voorspeld door een puntschatting. Symmetrisch: de activiteit is onderhevig aan risico s binnen een bepaald gebied, met een worst case en best case scenario die zich symmetrisch boven en onder het gemiddelde bevinden. Rechtsscheef: de activiteit is onderhevig aan risico s binnen een bepaald gebied, maar vertragingen komen meer voor dan een vroegtijdige beëindiging. Linksscheef: de activiteit is onderhevig aan risico s binnen een bepaald gebied, maar vroegtijdige beëindiging komt meer voor dan een vertraging. Alle voorgedefinieerde profielen zijn uitgedrukt in relatieve duurtijd en kunnen worden beschreven aan de hand van drie schattingen: Optimistisch: de kortst mogelijke duurtijd van de activiteit (i.e. best case). Deze schatting komt overeen met het beginpunt (links) van de driehoekige risicodistributie. Meest waarschijnlijke: de meest waarschijnlijke duurtijd van de activiteit. Deze schatting komt overeen met de top van de driehoekige risicodistributie. Pessimistisch: de langst mogelijke duur van de activiteit (i.e. worst case). Deze schatting komt overeen met het eindpunt (rechts) van de driehoekige risicodistributie Projectcontrole Projectcontrole bestaat uit de controle van de fysieke voortgang van een project, met betrekking tot zowel de duurtijd als kost. Hierbij wordt periodiek de vooruitgang van het project en de gemaakte kosten van alle activiteiten bijgehouden. Een tijdstip waarop de fysieke vooruitgang van een project gecontroleerd wordt, wordt een tracking periode (TP) genoemd. Tracking Tracking periodes hoeven niet noodzakelijk dezelfde lengte te hebben. Het is echter wel de meest voorkomende aanpak (bijv. maandelijkse controle van de vooruitgang van het project). 83

114 11 Fase 1: Voorbereiding Voor elke tracking periode worden de volgende gegevens bijgehouden: TP datum: de TP datum is de einddatum van een TP, het is de datum waarop de vooruitgang van het project wordt geëvalueerd. Werkelijke start: de werkelijke begindatum van de activiteit. Deze datum moet voor het einde van de tracking periode vallen. Het is natuurlijk mogelijk dat de werkelijke startdatum verschillend is van de voorspelde startdatum uit de baseline schedule. Werkelijke duurtijd: de werkelijke duurtijd of AD van de activiteit, of de duurtijd van activiteit tot de tracking datum. Voor een activiteit die nog niet begonnen is, is de werkelijke duur uiteraard gelijk aan 0. Werkelijke kost: de werkelijke kosten of de AC die reeds voor de activiteit werden gemaakt. Voor activiteiten die op het moment van tracking reeds klaar zijn, zullen de werkelijke kosten natuurlijk gelijk zijn aan de uiteindelijke werkelijke kosten. Voor activiteiten die op het moment van tracking nog niet volledig zijn voltooid, bedragen de werkelijke kosten een deel van de uiteindelijke werkelijke kosten van de activiteit. Percentage Completed: het PC is het deel (percentage) van een activiteit dat op het moment van de tracking geschat wordt afgewerkt te zijn. De PC heeft dus betrekking op de geschatte fysieke voortgang van een activiteit Aanpak rondvraag bedrijven Een belangrijke onderdeel van de eerste fase van het onderzoek betrof het vergaren van reële projectdata, ten einde een database te kunnen aanleggen die als uitgangspunt voor het eigenlijke onderzoek zou dienen. Op basis van het overzicht van de noodzakelijke projectgegevens (cf. supra) zijn we onze rondvraag gestart in oktober Op de BIS-beurs (Bouw- en Immobiliën Salon) werden de eerste contacten gelegd met bedrijven die potentieel bereid waren ons van de nodige projectdata te voorzien. Gedurende onze rondvraag naar data hebben we onze aanpak vaak bijgestuurd, gezien het feit dat de respons en de bereidheid van bedrijven tot het verschaffen van dergelijke gevoelige informatie enerzijds, en de mogelijkheid tot het voorzien van alle noodzakelijke projectdata anderzijds, zeer laag was. Alvorens bedrijven effectief te contacteren was het belangrijk om het nodige opzoekings-, screenings- en selectiewerk te doen omtrent de te contacteren bedrijven die naar ons inziens over de vereiste projectdata beschikten. Op basis van eigen ervaring die werd opgedaan tijdens dit proces en mede dankzij tips en suggesties van de gecontacteerde bedrijven, kregen we na verloop van tijd een duidelijk beeld van het type bedrijven dat over dergelijke data beschikte en waarop we aldus onze focus dienden te leggen. 84

115 Fase 1: Voorbereiding 11 Een tweede belangrijk aspect voor de aanpak van onze rondvraag, betrof de wijze waarop bedrijven werden gecontacteerd. Aanvankelijk trachtten we telefonisch contact op te nemen met bedrijven, maar al snel werd duidelijk dat de responsgraad via dit kanaal bijzonder laag was. Deze aanpak hebben we dan ook snel laten varen en ingewisseld voor een meer directe manier van contactname. Zo besloten we om naar de bedrijven toe te gaan en daar onze vraag rechtstreeks voor te leggen. Tot onze verbazing bleek deze aanpak veel efficiënter en mochten we in het merendeel van de gevallen ons onderzoek concreet toelichten en onze delicate vraag omtrent de projectverzameling voorleggen aan de bevoegde persoon/personen. Na een jaar actief onze rondvraag te hebben uitgevoerd, slaagden we erin om 24 projecten binnen te halen, afkomstig van 3 verschillende bedrijven. Een overzicht van de specifieke projecten evenals van de bedrijven zelf, wordt gegeven in hoofdstuk ProTrack Teneinde de verschillende projecten op een gelijkaardige manier weer te geven, werd gebruik gemaakt van ProTrack, een software tool voor projectmanagement, die gebaseerd is op wetenschappelijk onderzoek dat gepubliceerd werd in internationale tijdschriften en boeken, en bekroond werd door diverse erkende organisaties. In ProTrack konden we vervolgens alle projecten aan de hand van de in sectie 11.1 besproken noodzakelijke inputgegevens op gelijkaardige wijze modelleren. Daarnaast stelt ProTrack de gebruiker in staat om MC-simulaties en EVM-analyses uit te voeren, waarop dieper wordt ingegaan in respectievelijk secties 12.2 en Aanleggen database Zoals in vorige sectie beschreven, was het aanleggen van een database met projecten noodzakelijk voor ons onderzoek. Naast de 24 projecten afkomstig uit de eigen rondvraag hadden we ook toegang tot de database met reële projecten van OR-AS 1. Een overzicht van de specifieke projecten die werden opgenomen in de voor dit onderzoek aangelegde database, wordt gegeven in hoofdstuk

116

117 12 HOOFDSTUK 12 Fase 2: Voorspellingen Op basis van de in fase 1 aangelegde database werden in de tweede fase van het onderzoek de verschillende voorspellingsmethodes toegepast voor het voorspellen van de finale duurtijd en kost voor alle projecten. In dit hoofdstuk zullen we voor iedere voorspellingsmethode beschrijven hoe de voorspellingen exact werden uitgevoerd Baseline schedule schatting Op basis van de baseline schedule, zoals opgesteld door de PM, kan voor ieder project uit de aangelegde database zowel het BAC als de PD bepaald worden. Hierbij volgt de berekening van het BAC eenvoudigweg door het sommeren van de PV s van alle activiteiten in het project, hetgeen automatisch door de software tool ProTrack gebeurt. Daarnaast berekent ProTrack eveneens de PD van het gehele project aan de hand van de PD s van de individuele activiteiten en de onderlinge relaties tussen de activiteiten. Hierbij is het belangrijk om in te zien dat enkel de activiteiten die op het kritieke pad liggen, de PD van het gehele project bepalen. De onderlinge relaties tussen de activiteiten van een project zijn reeds voor de start van het project gekend. Bovendien zijn zowel de geplande kost (PV) als de geplande duurtijd (PD) van de verschillende activiteiten pre-project verwachtingen van de PM, zodat het BAC en de PD van het gehele project beschouwd kunnen worden als pre-project schattingen omtrent de finale kost en de duurtijd van het project. 87

118 12 Fase 2: Voorspellingen 12.2 Monte-Carlo simulaties Een methode voor het verkrijgen van meer onderbouwde schattingen - door incorporatie van risico - omtrent de finale projectduur en -kost, betreft het gebruik Monte-Carlo simulaties. In dit onderzoek werden de Monte-Carlo simulaties uitgevoerd aan de hand van de in sectie 11.3 besproken software tool ProTrack. Op basis van de driehoekige risicodistributies voor de duurtijd van de verschillende activiteiten die werden ingegeven in ProTrack, werden 100 simulatieruns uitgevoerd waarbij de finale duurtijd van het gehele project wordt gesimuleerd op basis van deze risicodistributies Voorspelling finale projectduur Op basis van de uitkomst van deze simulaties konden we vervolgens een gemiddelde nemen van de finale duurtijd, dat net als de baseline schedule schatting uit vorige sectie als een preproject voorspelling kan worden beschouwd. Aangezien MC-simulaties steunen op de driehoekige risicodistributies, dient de PM assumpties te maken inzake de risico s die verbonden aan iedere activiteit van het project. Dit zorgt ervoor dat de voorspellingen aan de hand van MC-simulaties, zoals beschreven door J. Batselier & M. Vanhoucke (2016), kunnen worden beschouwd als voorspellingen waarbij een semi-outside view wordt gehanteerd. Dit resulteert in onderstaande formule voor de berekening van de voorspelling van de finale projectduur (voorgesteld door MC(t)) aan de hand van Monte-Carlo simulaties: MC(t) = 100 i=1 MC(t) i 100 (12.1) met MC(t) i de gesimuleerde duurtijd van de i-de Monte-Carlo simulatierun Voorspelling finale projectkost De risicodistributies die in sectie werden besproken, hebben enkel betrekking op de duurtijd van activiteiten en niet op de kost ervan. Het uitvoeren van Monte-Carlo simulaties voor het simuleren van de finale projectkost is dan ook weinig zinvol aangezien er geen risicodistributies voor de kosten van de activiteiten worden opgesteld. Zoals eerder besproken, zijn de totale kosten van een project gelijk aan de som van enerzijds vaste en anderzijds variabele kosten. Hierbij zijn de variabele kosten een functie van de duur van de verschillende activiteiten. In ons onderzoek hebben we dan ook de de assumptie gemaakt dat de voorspelling van de finale projectkost indirect gerelateerd is aan de voorspelling van de finale projectduur (MC(t)). Dit resulteert in onderstaande formule voor de berekening van de voorspelling van de finale projectkost (voorgesteld door MC) gebaseerd op Monte-Carlo simulaties: MC = Vaste kosten + Variabele kosten MC(t) P D (12.2) 88

119 Fase 2: Voorspellingen 12 Voor sommige projecten uit de database echter werd er geen opdeling gemaakt tussen vaste en variabele kosten voor iedere activiteit, en werden daarom alle kosten als vast ingegeven in ProTrack. Na raadpleging van verschillende PM s kwamen we tot volgende assumptie omtrent de verdeling van de kosten: gemiddeld genomen is 60% van de totale kost als vast te beschouwen en 40% variabel. Dit geeft aanleiding tot een aanpassing van bovenstaande formule voor de voorspelling van de finale projectkost op basis van Monte-Carlo simulaties: MC = Totale kost (0, 6 + 0, 4 MC(t) P D ) (12.3) 12.3 Earned value management In tegenstelling tot de vorige twee methodes voor het verkrijgen van schattingen van de finale projectduur en -kost, worden op basis van EVM geen pre-project voorspellingen van de duurtijd en kost gemaakt, maar worden ze elke TP bijgewerkt. De berekening van de EAC en EAC(t) volgens de verschillende EVM voorspellingsmethodes die in hoofdstuk 2 werden besproken, wordt voor elke TP automatisch door ProTrack berekend. Voor de evaluatie van de verschillende voorspellingsmethodes (cf. infra) zullen voor de EVM voorspellingen enkel deze methodes in beschouwing worden genomen waarvan reeds werd aangetoond (Batselier & Vanhoucke, 2015) dat ze de meest accurate voorspellingen opleveren Voorspelling finale projectduur Op basis van gemaakte assumpties omtrent het toekomstig verloop van het project, en de keuze tussen de voorspellingsmethode volgens Anbari, Jacob of Lipke, beschikken we over 9 verschillende methodes voor het berekenen van de finale projectkost aan de hand van de EVM techniek. Zoals in vorige sectie reeds vermeld, wordt de EAC(t) voor elke trackingperiode volgens de verschillende methoden door ProTrack automatisch berekend. In het onderzoek van J. Batselier & M. Vanhoucke (2015) werd aangetoond dat de meest accurate voorspelling van de finale projectduur verkregen wordt via de methode van Lipke met P F = 1 (i.e. toekomstige projectprestatie met betrekking tot de duurtijd verloopt volgens plan) en P F = SP I(t) (i.e. toekomstige projectprestatie met betrekking tot de duurtijd verloopt volgens de huidige projectprestatie met betrekking tot de duurtijd). 89

120 12 Fase 2: Voorspellingen Dit levert ons volgende formules op voor de voorspelling van de finale projectduur die van belang zijn in het kader van ons verder onderzoek: EAC(t)1 = EAC(t) ES(P F = 1) = AT + (P D ES) (12.4) EAC(t)2 = EAC(t) ES(P F = SP I(t)) = AT + P D ES SP I(t) (12.5) Voorspelling finale projectkost Net zoals bij de voorspelling van de finale projectduur wordt ook de EAC voor elke trackingperiode volgens de verschillende methodes - zoals beschreven in hoofdstuk 2 - door ProTrack automatisch berekend. In het kader van deze thesis zullen in het nauwkeurigheidsonderzoek in hoofdstuk 17 enkel de methodes beschouwd worden waarvan werd aangetoond dat ze de meest accurate voorspelling opleveren. Volgens J. Batselier en M. Vanhoucke (2015), worden deze verkregen voor P F = 1 (i.e. toekomstige projectprestaties met betrekking tot kost verloopt volgens plan) en P F = CP I (i.e. toekomstige projectprestaties met betrekking tot de kost verloopt volgens de huidige projectprestatie met betrekking tot de kost). Dit levert ons volgende formules op voor de voorspelling van de finale projectkost die van belang zijn in het kader van ons verder onderzoek: EAC1 = EAC(P F = 1) = AC + (BAC EV ) (12.6) EAC2 = EAC(P F = CP I) = AC + BAC EV CP I (12.7) 12.4 Methode van Warburton Parameters van het model N (totale hoeveelheid arbeid) Zoals in hoofdstuk 3 vermeld, is de totale hoeveelheid arbeid (N) gelijk aan de totaal te verdienen waarde en dus gelijk aan het BAC. n N = BAC = P V i (12.8) met n het totaal aantal activiteiten van het specifieke project en P V i de planned value van de i-de activiteit i=1 90

121 Fase 2: Voorspellingen 12 T (tijdstip van de arbeidspiek) R.D.H. Warburton schuift in zijn paper zelf geen specifieke methode naar voren om de parameter T te bepalen, die het tijdstip van de arbeidspiek voorstelt. De parameter T werd hier bepaald aan de hand van de cumulatieve planned value formule van Warburton P V (t) w : P V (t) w = t 0 pv(s) w ds = N Wanneer we vervolgens t=t invullen, krijgen we: waaruit volgt: P V (t) w = N [ )] 1 exp ( t2 2T 2 (12.9) [ 1 exp ( T 2 )] [ ( 2T 2 = N 1 exp 1 )] = N [1 0, 606] (12.10) 2 P V (t) w = N [1 0, 606] 0, 40N (12.11) Dit betekent dat op het tijdstip t=t, 40% van de totale hoeveelheid arbeid reeds werd uitgevoerd, of met andere woorden dat 40% van het BAC werd verdiend. Op basis hiervan weten we dat het tijdstip van de arbeidspiek (T) gelijk is aan het tijdsip t waarop 40% van het project is voltooid. De paramater T kan dus als volgt bepaald worden: T = tijdstip t waarop de PV gelijk is aan 0, 40N (12.12) r (uitvalpercentage van de activiteiten) Zoals in hoofdstuk 3 besproken, wordt de parameter r evenals de parameters c en τ (cf. infra) bepaald aan de hand van vroege projectdata, nl. data die beschikbaar zijn nadat een deel van het project reeds is voltooid. In ons onderzoek werden deze vroege projectdata gedefinieerd als alle projectdata die beschikbaar waren na de TP waarop het PC van het project minimaal 30% bedroeg. Op basis van deze vroege projectdata kon vervolgens het uitvalpercentage van de activiteiten worden bepaald aan de hand van volgende formule: r = # afgewerkte activiteiten met AD > P D #aantal afgewerkte activiteiten (12.13) c (kostenoverschrijding) Op basis van de vroege projectdata kan eveneens de gemiddelde extra kost berekend worden die nodig is voor het afwerken van afgekeurde activiteiten, berekend als fractie van de PV van de activiteiten: c = ( (AC - PV) van elke afgekeurde activiteit P V van elke afgekeurde activiteit ) # afgekeurde activiteiten (12.14) 91

122 12 Fase 2: Voorspellingen τ (hersteltijd van de afgekeurde activiteiten) Tot slot dient ook nog de hersteltijd van de afgekeurde activiteiten te worden bepaald, berekend als de gemiddelde additionele tijd nodig voor het afwerken van afgekeurde activiteiten: τ = (AD - PD)van elke afgekeurde activiteit # afgekeurde activiteiten (12.15) Voorspelling finale projectkost Zoals in hoofdstuk 3 beschreven, is het model van Warburton in staat om aan de hand van de parameters N, r en c de finale projectkost te voorspellen door de finale waarde van de cumulatieve AC(t) w -curve te bepalen: EAC w = AC(t ) W = N(1 + r c) (12.16) Voorspelling finale projectduur In sectie van hoofdstuk 3 werd reeds vermeld dat hoewel R.D.H. Warburton suggereert dat zijn model kan worden gebruikt voor het voorspellen van de finale projectduur, hiervoor geen specifieke methode naar voren werd geschoven in zijn paper (Warburton, 2010). De finale projectduur zou, zoals eveneens in sectie vermeld, kunnen bepaald worden door te kijken op welk ogenblik t het project voltooid is, of met andere woorden wanneer de totale hoeveelheid arbeid (N), dat gelijk is aan het BAC, is verdiend: EAC(t) w = Tijdstip t waarop EV (t) w gelijk is aan BAC (12.17) Omwille van de mathematische formulering van het model, dat gebruik maakt van exponentiële factoren, vertonen de ev(t) w -curves in Warburton s model lange staarten. Hierdoor wordt het probleem echter op een inaccurate manier benaderd en wordt de finale projectduur in grote mate overschat. Naarmate het project zijn einde nadert, zal de waarde van ev(t) w en de toename in EV (t) w zeer klein zijn, en zal er heel wat tijd verstrijken alvorens het project is voltooid, i.e. N is bereikt. Om deze reden zullen we een correctie van formule (3.11) doorvoeren om de problematiek van de lange staarten het hoofd te bieden en wordt in ons onderzoek de finale projectduur bepaald door te kijken op welk ogenblik t 97,5% van het BAC is verdiend, om op die manier meer nauwkeurige voorspellingen met betrekking tot de duurtijd te verkrijgen: EAC(t) w = Tijdstip t waarop EV (t) w gelijk is aan 97,5% BAC (12.18) 92

123 Fase 2: Voorspellingen Reference class forecasting Keuze referentieklassen Om de RCF techniek toe te passen, moeten er referentieklassen van soortgelijke projecten worden geïdentificeerd. Omdat wij ook de invloed van de gekozen referentieklasse willen nagaan ten opzichte van de voorspellingsprestaties van RCF, beschouwen we verschillende referentieklassen. We laten de referentieklassen versmallen van een algemene, allesomvattende referentieklasse naar een bedrijfsspecifieke. Concreet maken we de volgende referentieklassen (van meest algemeen naar meest specifiek): alle projecten, soort, functie, type en bedrijfsspecifiek. Eerst behoren alle projecten tot eenzelfde referentieklasse, daarna nemen we alle projecten van dezelfde soort samen (hier wordt er een onderscheid gemaakt tussen bouwprojecten en IT projecten). Vervolgens verdelen we de projecten verder op per functie (voor bouwprojecten wordt er een onderscheid gemaakt tussen gebouwen voor commerciële of industriële doeleinden enerzijds en gebouwen voor residentiële doeleinden anderzijds). Deze referentieklasse kan dan verder versmald worden door enkel de projecten te nemen van hetzelfde type (residentiële bouwprojecten kunnen worden opgesplitst in huizenbouw en appartementsbouw). Als laatste worden enkel de projecten van hetzelfde bedrijf samengenomen. Tabel 12.1 geeft weer hoe de opdeling in referentieklassen voor elke projectklasse is gebeurd. Hierbij verwijzen we voor een overzicht van de projecten naar deel V. Tabel 12.1: Overzicht opdeling in referentieklassen voor de verschillende projecten Projectklasse Projecten Soort Functie Type Bedrijf Bedrijf X 1-5 Bouw Wonen Woning Ja Bedrijf Y 6-16 Bouw Wonen Woning Ja Bedrijf Z Bouw Wonen Appartement Ja Appartementen Bouw Wonen Appartement Ja Bouw Wonen Appartement Ja Kantoren 34 Bouw Werken Kantoor Bouw Werken Kantoor Nee IT-Projecten IT - - Ja Woningbouw Bouw Wonen Woning Nee Industrie Bouw Werken Industrie Nee Voorspellingen De eerste stap van de drie-stappen-procedure (het identificeren van relevante referentieklassen van vergelijkbare projecten uit het verleden) werd reeds uitgevoerd in de vorige paragraaf. Daarom kunnen we nu overgaan naar de tweede stap. Toch zullen we niet expliciet rekening houden met de kansverdelingen van de geselecteerde referentieklassen, zoals in het werk van Flyvbjerg (2006) wel werd gedaan. De werkwijze die in deze paper werd beschreven, wordt wel 93

124 12 Fase 2: Voorspellingen geïllustreerd in appendix A. In het onderzoek van Flyvbjerg was het doel om de vereiste uplift te bepalen (d.w.z. budgetverhoging ten opzichte van de voorspelling) die overeenkomt met een bepaalde, aanvaardbare kans op overschrijding. Aangezien het in dit onderzoek de bedoeling is om de RCF methode te vergelijken met de traditionele voorspellingstechnieken - die allemaal gericht zijn op het verstrekken van puntschattingen van de meest waarschijnlijke projectduur en -kost - zijn we geïntresseerd in de meest waarschijnlijke uitkomst van het betrokken project (d.w.z. vergelijkbaar met de uplift zodat er 50% kans is op kostenoverschrijding zoals in de studie van Flyvbjerg (2006)). Dit komt overeen met de derde stap van de RCF procedure. Bij de beschrijving van de projecten gebruikt voor ons onderzoek worden voor elk project de afwijkingen van de werkelijke projectkosten (K- kolom) en van de werkelijke duurtijd (D-kolom) ten opzichte van de baseline schedule weergegeven. Een negatief percentage geeft aan dat de werkelijke uitkomst gunstiger bleek te zijn dan verwacht (kortere duurtijd of onder het budget), terwijl een positief getal uiteraard het tegenovergestelde betekent. Deze percentages werden berekend aan de hand van formules 7.1 en 7.2. De meest waarschijnlijke kostprijs of duurtijd van een bepaald project volgens de RCF methode, kan worden berekend op basis van de gemiddelde afwijking van alle projecten uit die referentieklasse. Concreet worden de RCF resultaten verkregen door deze gemiddelde afwijking op te tellen bij de voorspelling van de baseline schedule (dus bij de BAC voor de kost en bij PD voor duurtijd). 94

125 13 HOOFDSTUK 13 Fase 3: Evaluatie 13.1 Kwantitatieve analyse Nauwkeurigheid Om de verschillende technieken onderling met elkaar te vergelijken, hadden we nood aan een methode die de accuraatheid kon meten. Om de nauwkeurigheid van voorspellingen na te gaan bestaan er verschillende metrics. Voor het bepalen van de nauwkeurigheid wordt gekeken hoe goed de voorspelling de werkelijkheid benadert. In de paper van Adhikari and Agrawal (2013) wordt een overzicht gegeven van de belangrijkste methoden. De werkelijke waarden worden voorgesteld door y i, de voorspelde waarden door ŷ i en het aantal projecten door n. Mean Absolute Percentage Error: MAPE De MAPE is een procentuele weergave van de gemiddelde absolute afwijking van de voorspelling: MAP E = 1 n y i ŷ i n y i 100 (13.1) Hierbij geldt het volgende: hoe lager de MAPE, hoe nauwkeuriger de voorspelling. i=1 Mean Percentage Error: MPE MPE is gelijkaardig aan MAPE, echter heffen bij MPE de negatieve en positieve afwijkingen elkaar op: MP E = 1 n n i=1 95 y i ŷ i y i 100 (13.2)

126 13 Fase 3: Evaluatie Stabiliteit Een tweede criterium voor het bepalen van de kwaliteit van de verschillende voorspellingsmethodes betreft de stabiliteit van de voorspellingen over verschillende herzieningsperiodes. In dit onderzoek is er slechts één enkele methode, namelijk EVM, waarbij de voorspellingen periodiek worden herzien (i.e. na iedere TP). Bij zowel de baseline schatting, Monte-Carlo simulaties als de RCF methode worden pre-project voorspellingen gemaakt omtrent de finale projectduur en -kost. Bij de methode van Warburton gebeurt de voorspelling nadat reeds een deel van het project werd voltooid maar betreft het ook een stabiele schatting die niet wordt bijgewerkt op latere herzieningsperiodes. Bovenstaande zal duidelijk worden gemaakt aan de hand van een voorbeeldproject in hoofdstuk 14, waar de voorspellingen volgens de verschillende methodes op verschillende TP s zullen weergegeven worden in een figuur Timeliness Timeliness is het derde criterium van Covach, Haydon & Reither (1981) voor de beoordeling van de kwaliteit van voorspellingen. Hierbij wordt het gedrag van de prognose doorheen het project geanalyseerd en wordt er gemeten of de voorspelde methodes betrouwbare resultaten kunnen produceren in een vroege, midden en late fase van het project life cycle (Vanhoucke, 2009). Tabel 13.1: Overzicht verschillende fasen in de project life cycle Projectfase Vroeg Midden Laat [Project start - TP 30% [ [TP 30% - TP 60% [ [TP 60% - Project einde[ 13.2 Kwalitatieve analyse De kwalitatieve analyse zal worden gebaseerd op de criteria die in tabel 13.2 worden voorgesteld en vervolgens kort worden toegelicht. Tabel 13.2: Overzicht kwalitatieve beoordelingscriteria Criterium A B C D E F Omschrijving In welke fase van het project wordt de voorspelling gemaakt? Is er nood aan statistische risico-informatie? Is de methode in staat rekening te houden met verschillende niveau s van risico? Hanteert de methode een inside of outside view? Is de methode complex? Is de methode objectief of subjectief? 96

127 Fase 3: Evaluatie 13 A. Een eerste criterium waarop de technieken geclassificeerd worden, is de vraag of de voorspelling pre-project wordt gemaakt. Sommige methodes maken een voorspelling vóór aanvang van het project (pre-project), terwijl andere technieken actuele projectdata gebruiken om zo een forecast te formuleren. Voor dit criterium achten we methodes die pre-project voorspellingen maken waardevoller. B. Een tweede criterium betreft de noodzaak aan statistische risico-informatie. Voor sommige methodes moet er aan elke activiteit van het project een risicodistributie worden verbonden. Het gebruik van statistische distributies in plaats van puntschattingen, vervangt het deterministisch karakter van de de projectparameters door intervalschattingen die leiden tot een accuratere en realistischere schatting van het finale resultaat van het project (Vanhoucke, 2011). Dit vergt natuurlijk extra tijd van de projectmanager en opgedane ervaring en inzichten uit het verleden. C. Een volgend criterium waarop we de kwalitatieve classificatie zullen baseren, betreft het al dan niet in staat zijn van de methode om vooraf het aanvaardbaar risico te kiezen. Sommige methodes laten toe om vooraf het aanvaardbaar risico voor duur- en kostoverschrijdingen te bepalen, terwijl dit bij andere methodes niet het geval is. D. Vervolgens worden methodes ook kwalitatief geëvalueerd op basis van het feit of ze een inside of outside view hanteren. E. Een bijkomend criterium waarop we de methodes beoordelen betreft de complexiteit van de voorspellingsmethode en de eenvoud waarmee voorspellingen kunnen worden gemaakt. F. Tot slot maken we nog een onderscheid tussen de objectieve en subjectieve methodes. 97

128

129 14 HOOFDSTUK 14 Voorbeeldproject In deze sectie illustreren we onze methodologie op 1 voorbeeldproject. Eerst zullen we een overzicht geven van het te voorspellen project. Vervolgens lichten we de keuze van de verschillende referentieklassen toe, waarna de RCF methode zal worden toegepast. Vervolgens bekijken we de traditionele voorspellingsmethodes; eerst degenen die pre-project prognoses opleveren, om daarna de technieken te bespreken die voorspellingen tijdens de uitvoering van het project opleveren. Meer concreet zullen we het in de opeenvolgende paragrafen hebben over de baseline schedule, MC simulaties, EVM en de methode van Warburton Beschrijving van het project Het project dat hieronder wordt besproken is een reëel project, waarvan we de data verkregen van bedrijf X. Het betreft de voorbereiding, de funderingen en de ruwbouw van een woning. Deze werken werden uitgevoerd door een Vlaams familiebedrijf met tientallen jaren ervaring in de bouwsector. De volledige lijst van alle activiteiten met bijhorende kosten, duurtijden en risicodistributies wordt weergegeven in tabel

130 14 Voorbeeldproject Tabel 14.1: Overzicht activiteiten van het voorbeeldproject ID Naam Voorgangers Opvolgers Kost [e] Duurtijd [d] Risicodistributie 0 Woning ,00 126d 20 Voorbereiding 6.220,00 19d 1 Transportkosten FS3 750,00 3 standard-symmetric 2 Studiekosten FS ,00 19 standard-symmetric 21 Funderingen , Funderingen 1FS;2FS FS ,00 27 standard-skewed left 22 Ruwbouw , Gewa/Metselwerk 3FS FS5;FS ,00 23 standard-symmetric 5 Gewelven/Structuur 4FS FS ,00 8 standard-symmetric 6 Uitbranden GEWA 4FS FS7 528,00 2 standard-symmetric 7 Isolatie 5FS;6FS FS ,00 8 standard-symmetric 8 Parament 7FS FS ,00 23 standard-symmetric 9 Ytong 8FS FS10;FS11;FS ,00 8 standard-symmetric 10 Dorpels 9FS FS ,00 2 standard-symmetric 11 Voegwerk 9FS FS ,00 8 standard-symmetric 12 Stelling 9FS FS ,00 9 standard-symmetric 13 Karweien 10FS;11FS;12FS 200,00 1 standard-symmetric 100

131 Voorbeeldproject 14 De duurtijden worden uitgedrukt in standaard werkdagen van 8 uur. Daarnaast is het ook van belang te vermelden dat deze kosten en duurtijden de voorspellingen zijn die de projectmanager voor de aanvang van het project maakte. De onderlinge relaties tussen de activiteiten worden eveneens in tabel 14.1 weergegeven. De relaties vertegenwoordigen de technische vereisten van het project. De onderlinge relaties de activiteiten kunnen ook worden geïdentificeerd uit de Gantt chart (figuur 14.1). Figuur 14.1: Gantt chart van het voorbeeldproject 14.2 Fase 2: Voorspellingen Baseline schedule De baseline schedule voorspellingen voor het beschouwde project kunnen al uit tabel 3 worden afgeleid. Het BAC bleek e te zijn en de PD 126 dagen. Het BAC kan vrij gemakkelijk worden berekend als de som van de kosten van alle activiteiten (deze worden weergegeven in tabel 14.1). De berekening van de PD is echter niet zo eenvoudig, omdat de onderlinge relaties tussen de verschillende activiteiten gerespecteerd moeten worden. Alleen de activiteiten die deel uitmaken van het kritieke pad (CP) bepalen de PD. De kritieke activiteiten van het project worden in het rood aangegeven in figuur De kritieke activiteiten van het voorbeeldproject staan vermeld onder de nummers 2, 3, 4, 5, 7, 8, 9, 12 en Monte-Carlo simulaties De Monte-Carlo simulaties werden uitgevoerd met behulp van de software tool ProTrack. Per project werden er 100 simulaties uitgevoerd. De projectkosten en -duurtijden die op basis van deze simulaties werden verkregen, worden overzichtelijk weergegeven in onderstaande histogrammen. Beide grafieken werden opgemaakt door de gegevens te verdelen in 11 gelijke intervallen. Omdat 12 van de 13 activiteiten een symmetrische verdeling hebben en slechts 1 activiteit een links scheve, verwachtten we dat de verdeling van de gesimuleerde projectkosten eerder symmetrisch zal zijn. De polynoom in figuur 14.2 bevestigt deze verwachting, er is namelijk geen 101

132 14 Voorbeeldproject duidelijke scheefheid af te leiden. Het BAC geeft de voorspelde kosten weer en was voor het beschouwde project gelijk aan e De gemiddelde kosten van het project na 100 simulaties komt overeen met e95.722,12. Deze voorspelling zal gebruikt worden om de vergelijking met andere methodes te maken. Merk op dat dit resultaat slechts enkele euro s hoger ligt dan de BAC (minder dan 1% verschil). Dit kan worden verklaard doordat er maar 1 activiteit een links scheve distributie heeft (dat wil zeggen: een grotere kans op een langere duur van de activiteit). Figuur 14.2: MC simulatie voor de finale projectkost Figuur 14.3: MC simulatie voor de finale projectduur 102

133 Voorbeeldproject 14 In tegenstelling tot de projectkosten, bepalen alleen de kritische activiteiten (d.w.z. de activiteiten op het kritieke pad) de totale projectduur. In het beschouwde project zijn dit activiteiten 2, 3, 4, 5, 7, 8, 9, 12 en 13. Enkel activiteit 3 vertoont een linksscheve distributie. Dit verklaart de symmetrische distributie van de gesimuleerde projectduur (figuur 14.3). De gemiddelde projectduur door MC simulatie, die als basis voor verdere evaluatie zal worden gebruikt, bedraagt 125,91 dagen. Deze waarde ligt lager dan de PD (126 dagen) EVM Zoals in de vorige sectie besproken, wordt de voorspelling van de finale projectduur (EAC(t)) en en -kost (EAC) voor iedere TP door ProTrack automatisch berekend volgens de verschillende methodes, zoals besproken in hoofdstuk 12. Een samenvatting van de output voor zowel de voorspelling van de finale projectduur en -kost voor de verschillende TP s kan teruggevonden worden in respectievelijk tabel 14.2 en Tabel 14.2: EVM voorspellingen van de finale projectduur volgens de verschillende methodes [d] TP 1 TP 2 TP 3 TP4 EAC(t)-PV (PF=1) EAC(t)-PV (PF=SPI) EAC(t)-PV (PF=SCI) EAC(t)-ED (PF=1) EAC(t)-ED (PF=SPI) EAC(t)-ED (PF=SPI) EAC(t)-ES (PF=1) EAC(t)-ES (PF=SPI(t)) EAC(t)-ES (PF=SCI(t)) Tabel 14.3: Voorspellingen finale projectkost volgens de verschillende methodes [e] TP 1 TP 2 TP 3 TP4 EAC (PF=1) EAC (PF=CPI) EAC (PF=SPI) EAC (PF=SPI(t)) EAC (PF=SCI) EAC (PF=SCI(t)) EAC (PF=0.8*CPI+0.2*SPI) EAC (PF=0.8*CPI+0.2*SPI(t))

134 14 Voorbeeldproject Warburton s model Voor het maken van een voorspelling omtrent de finale projectduur en -kost volgens het model van Warburton dienen eerst de parameters N, T, c, r & τ bepaald te worden. Hierbij kunnen N en T voor de aanvang van het project bepaald worden, terwijl voor de parameters c, r en τ gebruik gemaakt wordt van vroege projectdata. Onder deze project data verstaan we alle gegevens die beschikbaar zijn na de specifieke TP waarbij minimaal 30% van het project voltooid is. Een overzicht van de early project data voor het beschouwde voorbeeldproject wordt gegeven in tabel Op basis van deze gegevens konden de parameters die eigen zijn aan het model van Warburton bekend worden. Onderstaande tabel geeft een overzicht van de waarden N, T, c, r en τ voor het voorbeeld, samen met de overeenkomstige formule. Tabel 14.4: Overzicht paramaters van Warburton s model voor het voorbeeldproject Parameter Waarde Formule N [e] = BAC T [d] r [%] c [%] τ [d] 60 = t waarvoor EV(t)w gelijk is aan 40% BAC 14,29 = 284,13 = # afgewerkte activiteiten met AD>P D #aantal afgewerkte activiteiten ( (AC - PV) van elke afgekeurde activiteit P V van elke afgekeurde activiteit ) # afgekeurde activiteiten 7 = (AD - PD)van elke afgekeurde activiteit # afgekeurde activiteiten Tabel 14.5: Voorspellingen van de finale projectduur en -kost volgens de methode van Warburton. Waarde Formule EAC(t) w [d] 164 = t waarvoor EV(t)w gelijk is aan 97,5% BAC EAC w [e] = N (1+r c) 104

135 Voorbeeldproject 14 Tabel 14.6: Overzicht activiteiten gebruikt voor het bepalen van Warburton s parameters (i.e. vroege projectdata). Activiteit Baseline schedule Early project data Vertraging Kostoverschrijding ID Naam PS PD [d] PV [e] PC [%] AS AD [d] AC [e] [d] [e] [%] 20 Voorbereiding Transportkosten 07/03/ /03/ ,13 2 Studiekosten 07/03/ /03/ Funderingen Funderingen 01/04/ /03/ Ruwbouw Gewa/Metselwerk 10/05/ /05/ Gewelven/Structuur 10/06/ /06/ Uitbranden Gewa 10/06/ /06/ Isolatie 22/06/ /06/

136 14 Voorbeeldproject RCF Selectie van de referentieklasse Om de RCF techniek toe te passen, moeten er referentieklassen van soortgelijke projecten worden geïdentificeerd. Omdat wij ook de invloed van de gekozen referentieklasse willen nagaan, ten opzichte van de voorspellingsprestaties van RCF, beschouwen we verschillende referentieklassen. We laten de referentieklassen van een algemene, allesomvattende referentieklasse versmallen naar een bedrijfsspecifieke. Hoe breder de referentieklasse, hoe meer projecten deze bevat. Voor het voorbeeldproject maken we de volgende referentieklassen: alle projecten, soort, functie, type en bedrijfsspecifiek. Projecten die aan deze referentieklassen worden toegevoegd, zijn afkomstig uit de eigen rondvraag of uit de database OR-AS 1. Tabel 14.8 geeft een overzicht weer van de projecten binnen de verschillende referentieklassen. Een getal in een kolom toont aan dat het project tot deze referentieklasse behoort. De laatste kolom is de meest specifieke referentieklasse, met enkel projecten van eenzelfde bedrijf. Deze projecten hebben dus de hoogste mate van overeenstemming. De opbouw van deze projecten komt in grote mate overeen met het beschouwde project, hoewel het bij de referentieprojecten niet enkel over de ruwbouw gaat, maar over de bouw van de ganse woning (voorbereiding, fundering, dakwerken, buitenschrijnwerk, binnenafwerking, technieken, omgevingswerken en schilderwerken). Voorspelling finale projectduur en -kost In tabel 14.8, kunnen we de procentuele afwijkingen waarnemen van de werkelijke projectkosten (K- kolom) en duurtijden (D-kolom) van de respectievelijke BS voorspellingen. Een negatieve afwijking geeft aan dat de realisatie lager bleek dan voorspeld (dat wil zeggen gunstiger), terwijl een positief getal het tegenovergestelde betekent. De meest waarschijnlijke afwijking voor een bepaalde referentieklasse wordt dan berekend als de gemiddelde afwijking van alle projecten in die referentieklasse (voorlaatste rij van tabel 14.8). Voorspellingen aan de hand van de RCF methode worden dan verkregen door deze gemiddelde afwijking in aanmerking te nemen bij de baseline schedule voorspellingen (BAC en PD). Tabel 14.7 geeft een overzicht van alle RCF voorspellingen voor het beschouwde project. Tabel 14.7: RCF voorspellingen van de finale projectduur en -kost voor de verschillende referentieklassen. Referentieklasse Duurtijd [d] Alle projecten Soort Functie Type Bedrijf Baseline schatting Gemiddelde afwijking +8,43% +11,90% +18,16% +4,42% +3,23% RCF voorspelling 136,6 141,0 148,9 131,6 130,1 Kost [e] Alle projecten Soort Functie Type Bedrijf Baseline schatting Gemiddelde afwijking -4,64% +2,85% +5,17% +6,19% +1,68% RCF voorspelling

137 Voorbeeldproject 14 Tabel 14.8: Overzicht keuze referentieklassen en bijhorende afwijking tussen voorspelling en realisatie (1/2). Alle projecten Soort Functie Type Bedrijfs Nr Naam D [%] K [%] D [%] K [%] D [%] K [%] D [%] K [%] D [%] K [%] 1 Woning 1 5,39 0,44 5,39 0,44 5,39 0,44 5,39 0,44 5,39 0,44 2 Woning 2 0,00 1,54 0,00 1,54 0,00 1,54 0,00 1,54 0,00 1,54 3 Woning 3 7,84 3,08 7,84 3,08 7,84 3,08 7,84 3,08 7,84 3,08 4 Woning 4-0,31 1,67-0,31 1,67-0,31 1,67-0,31 1,67-0,31 1,67 5 Afwerking - Lot 1-18,23-18,23-18,23-18,23 6 Afwerking - Lot 2-18,06-18,06-18,06-18,06 7 Afwerking - Lot 3-19,00-19,00-19,00-19,00 8 Afwerking - Lot 4-3,99-3,99-3,99-3,99 9 Afwerking - Lot 5-3,39-3,39-3,39-3,39 10 Afwerking - Lot 6-1,24-1,24-1,24-1,24 11 Afwerking - Lot 7-1,50-1,50-1,50-1,50 12 Afwerking - Lot 8-0,82-0,82-0,82-0,82 13 Afwerking - Lot 9-1,75-1,75-1,75-1,75 14 Afwerking - Lot 10-3,97-3,97-3,97-3,97 15 Afwerking - Lot 11-3,96-3,96-3,96-3,96 16 Building a House 4,12 2,18 4,12 2,18 4,12 2,18 4,12 2,18 17 Family Residence 2,35-3,02 2,35-3,02 2,35-3,02 2,35-3,02 18 Family Residence (2) 11,54 29,53 11,54 29,53 11,54 29,53 11,54 29,53 19 Afwerking A1 11,43 1,95 11,43 1,95 11,43 1,95 20 Afwerking A2 8,99 4,11 8,99 4,11 8,99 4,11 21 Afwerking B1 11,21 4,65 11,21 4,65 11,21 4,65 22 Afwerking B2 10,84 5,90 10,84 5,90 10,84 5,90 23 Ruwbouw A 14,73 3,47 14,73 3,47 14,73 3,47 24 Ruwbouw B 12,94 2,55 12,94 2,55 12,94 2,55 25 Ruwbouw Kelder 11,27 2,97 11,27 2,97 11,27 2,97 26 Voorbereiding 12,82 8,12 12,82 8,12 12,82 8,12 27 Apartment Building (1) 20,18 11,08 20,18 11,08 20,18 11,08 28 Apartment Building (2) 11,70 3,23 11,70 3,23 11,70 3,23 29 Apartment Building (3) 14,45 16,98 14,45 16,98 14,45 16,98 30 Apartment Building (4) 18,03 19,48 18,03 19,48 18,03 19,48 31 Apartment Building (5) 28,13-5,82 28,13-5,82 28,13-5,82 32 Apartment Building (6) 8,33 1,54 8,33 1,54 8,33 1,54 107

138 14 Voorbeeldproject Alle projecten Soort Functie Type Bedrijfs Nr Naam D [%] K [%] D [%] K [%] D [%] K [%] D [%] K [%] D [%] K [%] 33 Social Apartments Ypres (1) 204,10-5,47 204,10-5,47 204,10-5,47 33 Social Apartments Ypres (2) 36,16-2,39 36,16-2,39 36,16-2,39 35 Social Apartments Ypres (3) -30,45-2,77-30,45-2,77-30,45-2,77 36 Government Office Building -2,27 10,90-2,27 10,90 37 Office Finishing Works (1) -8,05-14,53-8,05-14,53 38 Office Finishing Works (2) 10,00-12,09 10,00-12,09 39 Office Finishing Works (3) -32,75-9,70-32,75-9,70 40 Office Finishing Works (4) -44,90-20,00-44,90-20,00 41 Office Finishing Works (5) -33,54-16,63-33,54-16,63 42 Railway Station (1) 20,14-13,67 20,14-13,67 43 Industrial Complex (1) 8,17-16,72 8,17-16,72 44 Industrial Complex (2) 5,39-9,75 5,39-9,75 45 Garden Center -2,62-1,15-2,62-1,15 46 Railway Station (2) 60,73 47,22 60,73 47,22 47 Railway Station Antwerp 19,12 11,49 19,12 11,49 48 Fire Station 4,93 0,67 4,93 0,67 49 Tax Return System (1) 0,00-57,82 50 Staff Authorization System -1,82-36,77 51 Premium Payment System -0,54-55,94 52 Broker Conversion System -0,85-21,55 53 Supp. Pensions Database -0,81-46,63 54 FACTA System 0,00-39,87 55 Generic Doc. Output System -0,37-0,77 56 Insurance Bundling System 13,46-0,13 57 Tax Return System (2) -0,78-35,67 58 Receipt Numbering System 0,00-14,32 59 Policy Numbering System -5,85-12,22 60 Investment Product (1) -2,70-19,40 61 Risk Profile Questionnaire 0,00-41,77 62 Investment Product (2) -1,65-30,08 63 CRM System 0,00-16,45 Gemiddelde afwijking 8,43% -4,64% 11,90% 2,85% 18,16% 5,17% 4,42% 6,19% 3,23% 1,68% # Projecten

139 Voorbeeldproject Fase 3: Evaluatie Kwantitatieve evaluatie Nauwkeurigheid Een eerste criterium voor de kwantitatieve evaluatie van de verschillende voorspellingsmethoden betreft de nauwkeurigheid van de gedane voorspelling. De nauwkeurigheid wordt, zoals in hoofdstuk 13 beschreven, bepaald aan de hand van de mean average percentage error (MAPE), dat de (gemiddelde) procentuele afwijking van de voorspelling ten opzichte van de gerealiseerde waarde weergeeft. Hieronder volgt een overzicht van de nauwkeurigheid van iedere voorspellingsmethode. Bij de berekening van de MAPE waarden voor de voorspellingen op basis van de BS, Monte-Carlo simulaties, EVM en Warburton s model onderstaande formule gebruikt: MAP E = y i ŷ i y i 100 (14.1) De aandachtige lezer zal opmerken dat dit een vereenvoudigde versie is van de MAPE formule (13.1) zoals in sectie gepresenteerd. Voor EVM echter, waar de voorspelling van de finale projectduur en -kost na iedere TP wordt bijgewerkt voor de verschillende methodes, dient de gemiddelde MAPE berekend te worden aan de hand van volgende formule: 1) Baseline schedule schatting MAP E = 1 n y i ŷ i n y i 100 (14.2) i=1 met n het aantal beschouwde tracking periodes Tabel 14.9: Nauwkeurigheid van de voorspellingen op basis van de BS schatting. MAPE [%] Formule PD 3,08 = (AD - PD)/AD BAC 5,03 = (AC - BAC)/AC 2) Monte-Carlo simulaties Tabel 14.10: Nauwkeurigheid van de voorspellingen op basis van Monte-Carlo simulaties. MAPE [%] Formule MC(t) 3,15 = (AD - MC(t))/AD MC 5,00 = (AC - MC)/AC 109

140 14 Voorbeeldproject 3) Earned value management Tabel 14.11: Nauwkeurigheid van de EVM voorspellingen voor de finale duurtijd. MAPE [%] TP 1 TP 2 TP 3 TP 4 Gemiddelde EAC (PF=1) 2,82 4,00 0,94 0,00 2,59 EAC (PF=CPI) 6,44 3,33 0,58 0,00 3,45 EAC (PF=SPI) 2,82 4,00 0,29 0,00 2,37 EAC (PF=SPI(t)) 2,82 4,00 0,87 0,00 2,56 EAC (PF=SCI) 6,44 3,33 0,10 0,00 3,29 EAC (PF=SCI(t)) 6,44 3,33 0,51 0,00 3,43 EAC (PF=0.8*CPI+0.2*SPI) 4,41 3,47 0,52 0,00 2,80 EAC (PF=0.8*CPI+0.2*SPI(t)) 4,41 3,47 0,64 0,00 2,84 Tabel 14.12: Nauwkeurigheid van de EVM voorspellingen voor de finale duurtijd. MAPE [%] TP 1 TP 2 TP 3 TP 4 Gemiddelde EAC(t)-PV (PF=1) 2,23 2,23 5,55 2,23 3,34 EAC(t)-PV (PF=SPI) 2,23 2,23 6,09 2,23 3,52 EAC(t)-PV (PF=SCI) 9,87 0,72 10,96 2,72 7,19 EAC(t)-ED (PF=1) 2,23 2,23 5,39 0,00 3,28 EAC(t)-ED (PF=SPI) 2,23 2,23 6,09 0,00 3,52 EAC(t)-ED (PF=SPI) 5,97 1,70 6,62 0,00 4,76 EAC(t)-ES (PF=1) 2,23 2,23 1,67 0,00 2,04 EAC(t)-ES (PF=SPI(t)) 2,23 2,23 1,30 0,00 1,92 EAC(t)-ES (PF=SCI(t)) 5,97 1,70 1,23 0,00 2,97 4) Warburton s model Tabel 14.13: Nauwkeurigheid van de voorspellingen volgens Warburton s methode. MAPE [%] Formule EAC(t)w 26,21 = (AD - EAC(t)w)/AD EACw 33,52 = (AC - EACw)/AC 5) Reference class forecasting Tabel 14.14: Nauwkeurigheid van de voorspellingen volgens RCF. Referentieklasse MAPE [%] Alle Soort Functie Type Bedrijf RCF(t) 5,09 8,45 14,52 1,21 0,06 RCF 9,44 2,32 0,12 0,84 3,43 110

141 Voorbeeldproject 14 Figuur 14.4: Overzicht kostvoorspellingen op verschillende de TP s. 111

142 14 Voorbeeldproject Figuur 14.5: Overzicht duurtijdvoorspellingen op verschillende de TP s. 112

143 Voorbeeldproject 14 Stabiliteit Bij de analyse van de stabiliteit van de verschillende voorspellingsmethodes valt het op dat EVM de enige methode is waarbij de voorspellingen wijzigen doorheen de tijd (i.e. onstabiel zijn). Dit is zichtbaar in figuur 14.4 en figuur 14.5 voor respectievelijk de kost- en duurtijdvoorspellingen. De horizontale dikke lijn geeft respectievelijk de AD en AC weer. Hoe dichter de voorspellingen van de andere methodes bij deze lijn liggen, hoe nauwkeuriger de voorspelling van de corresponderende werkwijze is. Timeliness Het derde criteria voor de kwantitatieve evaluatie van de verschillende voorspellingsmethodes, betreft het al dan niet in staat zijn van de specifieke methode om nauwkeurige schattingen te leveren in verschillende fasen van het project. Aangezien de voorspelling van de finale projectduur en -kost op basis van de BS, Monte-Carlo simulaties en de RCF methode niet worden bijgewerkt, zijn de schattingen constant en gelijk over de verschillende projectfasen. Bij de methode van Warburton wordt de voorspelling van de finale projectduur en -kost pas na de vroege projectfase gemaakt. Onderstaande tabellen geven de nauwkeurigheid weer van de voorspellingen (van het voorbeeldproject) volgens de verschillende methodes voor de verschillende projectfasen weer. Hierbij stellen we vast dat de kostvoorspelling op basis van EVM nauwkeuriger wordt naar het einde van het project toe. Voor de duurtijd in dit geval blijkt de voorspelling in de middenfase het minst accuraat. Tabel 14.15: Overzicht nauwkeurigheid van de verschillende methodes in verschillende projectfases (kostvoorspellingen) [%]. RCF EVM BAC MC EACw A S F T B EAC1 EAC2 Vroeg 5,03 5,00-9,44 2,32 0,12 0,84 3,43 0,85 5,73 Midden 5,03 5,00 33,52 9,44 2,32 0,12 0,84 3,43 0,70 4,37 Laat 5,03 5,00 33,52 9,44 2,32 0,12 0,84 3,43 0,00 0,11 Tabel 14.16: Overzicht nauwkeurigheid van de verschillende methodes in verschillende projectfases (duurtijdvoorspellingen) [%]. RCF EVM PD MC EAC(t)w A S F T B EAC(t)1 EAC(t)2 Vroeg 3,08 3,15-5,09 8,45 14,52 1,21 0,06 0,67 0,67 Midden 3,08 3,15 26,21 5,09 8,45 14,52 1,21 0,06 1,68 3,44 Laat 3,08 3,15 26,21 5,09 8,45 14,52 1,21 0,06 0,67 0,67 113

144

145 Deel V Overzicht projecten 115

146

147 Overzicht In dit deel worden de projecten besproken die aan de basis lagen van dit onderzoek. De projecten uit eigen rondvraag en deze afkomstig uit de database van OR-AS 2 worden voorgesteld in respectievelijk hoofdstukken 15 en 16. De volgende pagina geeft een overzicht weer van alle projecten met hun overeenkomstige ID s, dewelke later zullen worden gebruikt om naar de specifieke projecten te verwijzen

148 Tabel 14.17: Overzicht alle projecten Projecten uit eigen rondvraag Projecten database OR-AS Bedrijf X Appartementen 1 Woning 1 25 Apartment Building (1) 2 Woning 2 26 Apartment Building (2) 3 Woning 3 27 Apartment Building (3) 4 Woning 4 28 Apartment Building (4) 5 Woning 5 29 Apartment Building (5) Bedrijf Y 30 Apartment Building (6) 6 Afwerking - Lot 1 31 Social Apartments Ypres (1) 7 Afwerking - Lot 2 32 Social Apartments Ypres (2) 8 Afwerking - Lot 3 33 Social Apartments Ypres (3) 9 Afwerking - Lot 4 Kantoren 10 Afwerking - Lot 5 34 Government Office Building 11 Afwerking - Lot 6 35 Office Finishing Works (1) 12 Afwerking - Lot 7 36 Office Finishing Works (2) 13 Afwerking - Lot 8 37 Office Finishing Works (3) 14 Afwerking - Lot 9 38 Office Finishing Works (4) 15 Afwerking - Lot Office Finishing Works (5) 16 Afwerking - Lot 11 IT-projecten Bedrijf Z 40 Tax Return System (1) 17 Afwerking A1 41 Staff Authorization System 18 Afwerking A2 42 Premium Payment System 19 Afwerking B1 43 Broker Account Conversion System 20 Afwerking B2 44 Supplementary Pensions Database 21 Ruwbouw A 45 FACTA System 22 Ruwbouw B 46 Generic Document Output System 23 Ruwbouw Kelder 47 Insurance Bundling System 24 Voorbereiding 48 Tax Return System (2) 49 Receipt Numbering System 50 Policy Numbering System 51 Investment Product (1) 52 Risk Profile Questionnaire 53 Investment Product (2) 54 CRM System Woningbouw 55 Building a House 56 Family Residence 57 Family Residence (2) Industrie 58 Railway Station (1) 59 Industrial Complex (1) 60 Industrial Complex (2) 61 Garden Center 62 Railway Station (2) 63 Railway Station Antwerp 64 Fire Station 118

149 15 HOOFDSTUK 15 Projecten uit eigen rondvraag 15.1 Bedrijf X Bedrijf X is een Vlaams familiebedrijf met tientallen jaren ervaring in de bouwsector. Het bedrijf is gespecialiseerd in de bouw van woningen en appartementen en telt tussen medewerkers. Het beschikt over een geconsolideerd eigen vermogen van ruim 100 miljoen euro en draait een jaarlijkse omzet tussen de 100 en 200 miljoen euro. Van bedrijf X kregen we de gegevens van 5 volledige woningbouwprojecten. Tabel 15.1: Bedrijf X: overzicht projectgegevens Algemeen Duurtijd Kost # Act # TPs PD [d] AD [d] D [%] PC [e] AC [e] C [%] , , , , , , , , , , Bedrijf Y Bedrijf Y is actief op het gebied van vastgoedontwikkeling en woningbouw. Het bedrijf telt tussen werknemers. Naast België, is de groep ook actief in het buitenland. Het bedrijf draait een jaarlijkse omzet tussen de 200 en 300 miljoen euro. Van bedrijf Y bekwamen we data met betrekking tot de afwerking van 11 woningbouwprojecten deel uitmakend van een verkavelingsproject. 119

150 15 Projecten uit eigen rondvraag Tabel 15.2: Bedrijf Y: overzicht projectgegevens Algemeen Duurtijd Kost # Act # TPs PD [d] AD [d] D [%] PC [e] AC [e] C [%] , , , , , , , , , , , Bedrijf Z: overzicht projectgegevens Bedrijf Z is door de jaren heen uitgegroeid van familiebedrijf tot een groep van meerdere bedrijven. Het is actief in ontwikkeling, ontwerp, financiering, bouw, onderhoud en exploitatie van projecten en dit in verschillende sectoren. Het bedrijf telt tussen de werknemers. Het bedrijf draait een jaarlijkse omzet tussen de 100 en 300 miljoen euro. Van bedrijf Z bekwamen we data met betrekking tot de bouw van een verzorgingscentrum met 50+ appartementskamers. Het betreft een U-vormig gebouw met vier bouwlagen met een aangrenzend plein. We verkregen de data als afzonderlijke stukken, dus besloten we om het totaalproject op te splitsen in 8 aparte projecten. Tabel 15.3: Bedrijf Z: overzicht projectgegevens Algemeen Duurtijd Kost # Act # TPs PD [d] AD [d] D [%] PC [e] AC [e] C [%] , , , , , , , , , , , , , , , ,12 120

151 16 HOOFDSTUK 16 Projecten uit de OR-AS database In de database van de OR-AS 1 gingen we op zoek naar projecten die geschikt waren voor ons onderzoek. We selecteerden eerst alle projecten waarvoor trackinggegevens beschikbaar waren. Daarna maakten we een verdere opdeling, en werden gelijkaardige projecten aan eenzelfde projectklasse toegewezen. De real-life project database die in deze thesis gebruikt wordt, werd opgesteld door J. Batselier & M. Vanhoucke (2015). Op het moment van dit onderzoek, bevatte de database 88 projecten afkomstig van verschillende bedrijven uit verschillende sectoren (hoofdzakelijk bouw, maar ook event management, IT, productie, onderwijs, enz.). De kwaliteit en authenticiteit van de projectgegevens wordt gegarandeerd door de toevoeging van de zogenaamde projectkaarten, die de belangrijkste eigenschappen van een bepaald project samenvatten en het mogelijk maken om de projecten te categoriseren en te evalueren (Batselier & Vanhoucke, 2015). De projectkaarten van de projecten in de database zijn beschikbaar op net als de projectgegevens zelf. De gegevens werden oorspronkelijk opgemaakt met behulp van de projectmanagement software tool ProTrack

152 16 Projecten uit de OR-AS database 16.1 Appartementen Deze klasse bevat 6 appartementsgebouwen en drie projecten betreffende de bouw van sociale appartementen te Ieper. Tabel 16.1: Appartementen: overzicht projectgegevens Algemeen Duurtijd Kost # Act # TPs PD [d] AD [d] D [%] PC [e] AC [e] C [%] , , , , , , , , , , , , , , , , , , Kantoren Het betreft hier 5 afwerkingsprojecten van kantoorgebouwen, voornamelijk met betrekking de plaatsing van scheidingswanden. De projectgegevens werden rechtstreek van de projecteigenaar verkregen. Daarnaast werd er eveneens een project geselecteerd betreffende de bouw van een kantoorruimte, bestemd voor de overheid. Tabel 16.2: Kantoren: overzicht projectgegevens Algemeen Duurtijd Kost # Act # TPs PD [d] AD [d] D [%] PC [e] AC [e] C [%] , , , , , , , , , , , ,63 122

153 Projecten uit de OR-AS database IT projecten Deze klasse bevat 15 IT projecten die door eenzelfde bedrijf werden uitgevoerd. Tabel 16.3: IT projecten: overzicht projectgegevens Algemeen Duurtijd Kost # Act # TPs PD [d] AD [d] D [%] PC [e] AC [e] C [%] , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , Woningbouw De projectklasse woningbouw is samengesteld uit drie projecten met volgende functies: permanent wonen of tweede verblijf. Tabel 16.4: Woningbouw: overzicht projectgegevens Algemeen Duurtijd Kost # Act # TPs PD [d] AD [d] D [%] PC [e] AC [e] C [%] , , , , , ,53 123

154 16 Projecten uit de OR-AS database 16.5 Industrie In deze klasse zijn alle bouwprojecten opgenomen zonder woonfunctie. Het betreft hier industriële complexen, treininfrastructuur en een brandweerkazerne. Tabel 16.5: Industrie: overzicht projectgegevens Algemeen Duurtijd Kost # Act # TPs PD [d] AD [d] D [%] PC [e] AC [e] C [%] , , , , , , , , , , , , , ,67 124

155 Deel VI Resultaten 125

156

157 Overzicht In dit deel worden de resultaten van de verschillende voorspellingsmethodes gepresenteerd en besproken. Zoals eerder aangegeven, zullen de verschillende voorspellingsmethodes zowel kwantitatief als kwalitatief vergeleken en geëvalueerd worden in respectievelijk de hoofdstukken 17 en 18. We willen er op wijzen dat de bespreking en analyse gebaseerd is op de resultaten van de specifieke projecten uit de aangelegde database. 127

158

159 17 HOOFDSTUK 17 Kwantitatieve evaluatie De werkwijze voor de kwantitatieve evaluatie die aan de hand van het voorbeeldproject (cf. hoofdstuk 14) werd geïllustreerd, werd voor ieder project uit de aangelegde database toegepast. Voor een uitgebreid overzicht van de resultaten verwijzen we naar appendices C en D, waarin respectievelijk de resultaten met betrekking tot de nauwkeurigheid en timeliness werden opgenomen. In de volgende sectie volgt de bespreking en analyse van de resultaten met betrekking tot de nauwkeurigheid, stabiliteit en timeliness. We wensen hier nogmaals te benadrukken dat de analyse en evaluatie van de resultaten per projectklasse gebeurt. Dit om zinvolle conclusies trekken en aanbevelingen te kunnen geven omtrent de meest geschikte voorspellingsmethode voor ieder(e) bedrijf/projectklasse. Wel wordt tijdens de analyse en evaluatie van de resultaten een opdeling gemaakt tussen duurtijd- en kostvoorspellingen. De resultaten met betrekking tot de nauwkeurigheid, stabiliteit en timeliness zullen gepresenteerd worden in respectievelijk de secties 17.1, 17.2 en Hierbij wordt ook telkens een opdeling gemaakt tussen voorspellingen van de finale projectduur en -kost Nauwkeurigheid De resultaten van het nauwkeurigheidsonderzoek voor de verschillende voorspellingsmethodes met betrekking tot de finale duurtijd kunnen teruggevonden worden in appendix C (tabellen C.1 tot en met C.6). Hierbij geven tabellen C.1 en C.4 een overzicht van de voorspellingen van respectievelijk de finale duurtijd en kost van ieder project, volgens de verschillende voorspellingsmethodes. De bijhorende MAPE s en MPE s van de voorspellingen worden weergegeven in respectievelijk tabellen C.2 & C.5 en C.3 & C

160 17 Kwantitatieve evaluatie Aan de hand van deze resultaten zullen de verschillende voorspellingsmethodes met elkaar vergeleken worden. Gezien alle projecten uit de database reeds werden opgedeeld in verschillende klassen, zullen we de methodes zoals reeds aangehaald evalueren voor iedere specifieke projectklasse. Om die reden wordt voor iedere projectklasse de nauwkeurigheid van de voorspellingen besproken aan de hand van de gemiddelde MAPE en MPE waarden. Daarnaast worden deze gegevens overzichtelijk weergegeven door middel van staafgrafieken. Hierbij zal de voorspellingsmethode die - gemiddeld gezien - het nauwkeurigst is, telkens in het donkergrijs worden aangeduid in zowel de MAPE als MPE grafiek. We wijzen er echter op dat deze analyse in de eerste plaats gebaseerd is op de resultaten van de verschillende projecten per projectklasse, en dat een evaluatie louter op basis van deze gemiddelde waarden onvoldoende is. Voor de gemiddelde MPE waarde vermelden we nog dat deze in sommige gevallen een vertekend beeld geven omtrent de gemiddelde over- of onderschatting van bepaalde methodes, omwille van het feit dat positieve en negatieve waarden elkaar opheffen. Dit verduidelijken we nog even aan de hand van een voorbeeld. Wanneer op basis van de MPE waarden blijkt dat binnen een bepaalde projectklasse (met bv. 5 projecten) een voorspellingsmethode 4 maal leidde tot een lichte overschatting van de finale projectkost en een 5e project zwaar werd onderschat, zou dit in sommige gevallen kunnen leiden tot een gemiddelde MPE waarde die positief is. Dit omwille van de grote positieve waarde die in staat is de kleinere negatieve waarden op te heffen. Op basis van dit gemiddelde zou men kunnen concluderen dat de beschouwde voorspellingsmethode binnen een specifieke projectklasse - gemiddeld genomen - leidt tot een onderschatting van de finale projectkost. Het spreekt voor zich dat zowel de gemiddelde MPE waarden met de nodige voorzichtigheid dienen geïnterpreteerd te worden. De reden waarom ze bewust wel werden opgenomen is omdat ze op een eenvoudige en overzichtelijke manier een indicatie geven omtrent de neiging van een methode tot over- of onderschatting. 130

161 Kwantitatieve evaluatie Bedrijf X Voor de projecten afkomstig van Bedrijf X waren alle gegevens beschikbaar, zodat alle verschillende voorspellingsmethodes konden worden uitgevoerd. Duurtijd Voor bedrijf X kunnen we concluderen dat de voorspellingen van de PM, zoals vastgelegd in de BS, reeds erg accuraat waren. Op basis van de MAPE waarden uit tabel 17.1, blijkt dat enkel EVM in staat is nog nauwkeurigere voorspellingen van de finale projectduur dan de PM (i.e. PD) te maken. Hieruit blijkt namelijk dat voor 4 van de 5 projecten zowel EAC(t)1 als EAC(t)2 nauwkeurigere (of even nauwkeurige) voorspellingen opleverden dan de voorspellingen op basis van de BS. Ten tweede zien we ook dat de voorspellingen aan de hand van referentieklassen type en bedrijf erg nauwkeurige schattingen opleveren die in 3 van de 5 gevallen accurater bleken dan deze van inschatting van de PM. Daarnaast valt het ook op dat de nauwkeurigheid van de voorspellingen van de PM minder consistent zijn dan de voorspellingen op basis van EVM en RCF type en RCF bedrijf, hetgeen op basis van de standaardafwijking kan worden afgeleid. Deze weerspiegelt namelijk de spreiding van de individuele MAPE waarden rond het gemiddelde. Op basis van de MPE waarden uit de appendix valt nog op te merken dat de PM van bedrijf X de projectduur systematisch onderschat (4/5) 1. Dit in tegenstelling tot de voorspellingen aan de hand van referentieklassen type en bedrijf die geen uitgesproken patroon tot over- of onderschatting vertonen. Tabel 17.1: Bedrijf X: Overzicht MAPE s van de finale projectduurvoorspellingen [%] RCF EVM ID PD MC EAC(t)w A S F T B EAC(t)1 EAC(t)2 1 5,12 5,21 1,36 2,84 6,11 12,02 1,23 2,58 2,90 1,76 2 0,00 0,48 38,73 8,49 11,98 18,29 4,87 4,03 0,01 0,01 3 7,27 7,47 5,59 0,46 3,64 9,38 3,79 5,36 2,98 4,44 4 0,31 0,21 16,30 8,83 12,34 18,67 5,25 4,43 1,18 2,06 5 3,08 3,15 26,21 5,09 8,45 14,52 1,21 0,06 2,04 1,92 µ 3,16 3,30 17,64 5,14 8,51 14,58 3,27 3,29 1,82 2,04 σ 3,12 3,10 15,25 3,61 3,75 4,00 1,95 2,07 1,25 1,58 Tabel 17.2: Bedrijf X: Overzicht gemiddelde MPE s van de finale projectduurvoorspellingen [%] RCF EVM PD MC EAC(t)w A S F T B EAC(t)1 EAC(t)2 3,03 3,03-17,10-5,14-8,51-14,58-1,26-0,11 1,35-0,74 1 De notatie (x/y) dient te worden gelezen als voor x van de y projecten of in x van de y gevallen 131

162 17 Kwantitatieve evaluatie Figuur 17.1: Bedrijf X: Staafdiagram van de gemiddelde MAPE s van de finale projectduurvoorspellingen. Figuur 17.2: Bedrijf X: Overzicht gemiddelde MPE s van de finale projectduurvoorspellingen [%] 132

163 Kwantitatieve evaluatie 17 Kost Voor de finale projectkostvoorspellingen stellen we vast dat de voorspellingen op basis van EAC(t)1 gemiddeld gezien het accuraatst zijn. Daarnaast blijken de voorspellingen aan de hand van referentieklassen soort en bedrijf eveneens erg accurate schattingen op te leveren die gemiddeld genomen nauwkeuriger zijn dan de voorspellingen van de PM (i.e. BAC). Wanneer we tabel 17.3 analyseren, blijkt inderdaad dat zowel EAC1 als RCF soort & RCF bedrijf voor 4 van de 5 projecten nauwkeuriger voorspellingen van de finale projectkost opleverden dan op basis van de BS door de PM werd vooropgesteld. Bovendien blijken laatstgenoemde methodes ook consistenter te zijn in het maken van nauwkeurigere voorspellingen, aangezien de spreiding van de MAPE waarden rond het gemiddelde lager is bij EAC1, RCF soort en RCF bedrijf dan bij de voorspelling volgens het BAC. Daarnaast blijken Monte-Carlo simulaties in staat om de finale projectkost accurater te voorspellen dan de PM (4/5). De methode van Warburton blijkt echter niet in staat om gemiddeld gezien voor de projecten van bedrijf X accurate voorspellingen te maken van de finale projectkost, hoewel deze voor project 1 een erg nauwkeurige voorspelling van de finale projectkost opleverde (MAPE = 0,08%). Net zoals bij de voorspellingen van de finale projectduur, stellen we vast dat de PM systematisch de finale projectkost gaat onderschatten, zoals op basis van figuur 17.4 kon vermoed worden. Zo blijkt uit tabel C.6 dat in elk van de vijf projecten de inschatting van de PM omtrent de finale projectkost te laag was. Voor de voorspellingen aan de hand van referentieklassen soort en bedrijf is wederom geen systematisch patroon tot over- of onderschatting aanwezig. Tabel 17.3: Bedrijf X: Overzicht MAPE s van de finale projectkostvoorspellingen [%] RCF EVM ID BAC MC EACw A S F T B EAC1 EAC2 1 0,44 0,40 0,08 4,98 2,50 4,85 5,99 2,45 0,61 0,99 2 1,51 1,70 4,13 6,03 1,37 3,68 4,78 1,07 0,89 1,35 3 2,99 2,91 16,69 7,46 0,18 2,08 3,13 0,82 2,69 3,60 4 1,65 1,61 36,04 6,16 1,23 3,54 4,64 0,90 0,56 3,64 5 5,03 5,00 33,52 9,44 2,32 0,12 0,84 3,43 2,59 3,45 µ 2,32 2,32 18,09 6,81 1,52 2,85 3,88 1,73 1,47 2,61 σ 1,76 1,74 16,44 1,71 0,94 1,82 1,98 1,16 1,08 1,32 Tabel 17.4: Bedrijf X: Overzicht gemiddelde MPE s van de finale projectkostvoorspellingen [%] RCF EVM BAC MC EACw A S F T B EAC1 EAC2 2,32 2,32-18,09 6,81-0,52-2,81-3,88-0,03 1,31-0,42 133

164 17 Kwantitatieve evaluatie Figuur 17.3: Bedrijf X: Staafdiagram van de gemiddelde MAPE s van de finale projectkostvoorspellingen. Figuur 17.4: Bedrijf X: Overzicht gemiddelde MPE s van de finale projectkostvoorspellingen [%] 134

165 Kwantitatieve evaluatie Bedrijf Y Voor de projecten afkomstig van bedrijf Y is de PD van iedere activiteit gelijk aan de AD, omwille van de ruime marge (cf. safety buffers) die voor iedere activiteit werden ingepland. Om die reden worden in deze sectie enkel de voorspellingen van de finale projectkost van de projecten beschouwd. Kost Voor de finale kostvoorspellingen van de projecten, blijkt gemiddeld genomen dat zowel EAC1 als EAC2 de meest nauwkeurige schattingen opleveren. Daarnaast blijken de referentieklassen soort, functie en type in staat om gemiddeld gezien nauwkeurigere kostvoorspellingen te leveren dan de PM. Wanneer we nu de resultaten per project beschouwen (tabel 17.5) stellen we vast dat de methode RCF soort voor een merendeel van de projecten (6/11) de nauwkeurigste voorspellingen opleverde. Uit de standaardafwijking van de gemiddelde MAPE waarden blijkt dat EVM consistenter is in het maken van voorspellingen, waarbij de mate van nauwkeurigheid voor ieder project in dezelfde lijn ligt. Dit in tegenstelling tot de methode RCF soort die voor de eerste 3 projecten (relatief) erg onnauwkeurige voorspellingen opleverde, hoewel de methode zeer nauwkeurig bleek voor projecten 4 t.e.m. 11. Net als bij bedrijf X blijkt ook de PM van bedrijf Y de finale projectkost systematisch te onderschatten voor alle projecten. Ook de EVM methode EAC1 blijkt systematisch te leiden tot een onderschatting (11/11) van de werkelijke projectkost. De voorspellingen aan de hand van referentieklassen soort, type en bedrijf daarentegen blijken de finale projectkost te onderschatten. Voor de methode RCF soort is het patroon echter minder uitgesproken (7/11), in tegenstelling tot RCF type (8/11) en RCF bedrijf (8/11). Tabel 17.5: Bedrijf Y: Overzicht MAPE s van de finale projectkostvoorspellingen [%] RCF EVM ID BAC MC EACw A S F T B EAC1 EAC2 6 15,42 15,72 15,42 19,52 13,23 11,36 10,79 10,54 6,96 6, ,29 15,67 15,29 19,40 13,10 11,22 10,65 10,39 6,83 6, ,97 16,12 15,97 20,05 13,81 11,95 11,41 11,19 7,53 5,94 9 3,84 4,10 3,84 8,28 1,07 1,17 2,18 3,08 2,48 2, ,28 3,63 3,28 7,74 0,48 1,78 2,81 3,74 2,15 1, ,22 1,84 1,22 5,74 1,68 4,00 5,11 6,15 1,30 2, ,48 2,18 1,48 5,99 1,41 3,72 4,83 5,86 1,44 2, ,82 1,48 0,82 5,35 2,10 4,44 5,56 6,63 1,06 2, ,72 2,27 1,72 6,23 1,16 3,46 4,55 5,57 1,46 2, ,82 4,36 3,82 8,26 1,05 1,19 2,20 3,10 2,81 6, ,81 4,14 3,81 8,26 1,04 1,20 2,21 3,11 2,75 6,60 µ 6,06 6,50 6,06 10,44 4,56 5,04 5,66 6,30 3,34 4,31 σ 6,20 6,08 6,20 6,02 5,68 4,32 3,62 3,11 2,49 2,22 135

166 17 Kwantitatieve evaluatie Figuur 17.5: Bedrijf Y: Staafdiagram van de gemiddelde MAPE s van de finale projectkostvoorspellingen. Tabel 17.6: Bedrijf Y: Overzicht gemiddelde MPE s van de finale projectkostvoorspellingen [%] RCF EVM BAC MC EACw A S F T B EAC1 EAC2 6,06 6,50 6,06 10,44 3,40 1,24 0,31-0,46 3,33-1,39 Figuur 17.6: Bedrijf Y: Overzicht gemiddelde MPE s van de finale projectkostvoorspellingen [%] 136

167 Kwantitatieve evaluatie Bedrijf Z Voor de projecten afkomstig van bedrijf Z waren alle gegevens beschikbaar, zodat wederom alle voorspellingsmethodes konden worden toegepast. Duurtijd Wat meteen opvalt, is dat de de voorspellingen van de PM omtrent de finale projectduur (i.e. PD) erg onnauwkeurig zijn. Dit in tegenstelling tot de voorspellingen aan de hand van referentieklassen soort en bedrijf, die gemiddeld genomen de nauwkeurigste methodes zijn. Hierbij is RCF soort het accuraatst en leidt deze methode voor 4 van de 8 projecten tot de nauwkeurigste voorspellingen. Daarnaast blijken ook de voorspellingen van RCF soort voor de overige projecten erg nauwkeurig. Wat echter opvalt, is dat de methode van Warburton voor 2 van de 8 projecten de nauwkeurigste voorspelling oplevert. Echter voor 3 van de 8 projecten, leidt methode van Warburton tot de minst nauwkeurige resultaten, hetgeen erop wijst dat deze methode niet erg consistent is voor deze projectklasse. Daarnaast leveren Monte-Carlo simulaties voorspellingen op die iets accurater zijn dan de voorspellingen van de PM (7/8), maar die relatief gezien nog altijd niet erg accuraat zijn in vergelijking met de RCF methode. Op basis van de standaarddeviaties zien we dat de consistentie van de voorspellingen van zowel de PM, RCF als EVM in dezelfde lijn liggen. Dit in tegenstelling tot de voorspellingen op basis van Warburton s model. Op basis van de MPE waarden zien we dat de voorspellingen van zowel de PM, EAC(t)1 als Monte-Carlo simulaties de finale projectduur systematisch onderschatten. Voor de voorspellingen aan de hand van de referentieklassen die het nauwkeurigst blijken, is wederom geen systematisch patroon omtrent over- of onderschatting waarneembaar. Tabel 17.7: Bedrijf Z: Overzicht MAPE s van de finale projectduurvoorspellingen [%] RCF EVM ID PD MC EAC(t)w A S F T B EAC(t)1 EAC(t) ,26 9,83 0,08 2,84 0,22 5,73 11,81 0,36 6,36 7, ,25 8,09 22,98 0,62 2,52 8,19 14,45 2,93 1,74 5, ,08 9,16 4,26 2,64 0,42 5,95 12,05 0,59 5,42 1, ,78 8,98 0,06 2,31 0,76 6,31 12,43 0,96 3,93 4, ,84 10,84 2,67 5,69 2,74 2,57 8,41 2,94 6,82 2, ,46 10,78 17,16 4,16 1,16 4,26 10,23 1,18 5,75 1, ,13 9,48 31,84 2,69 0,37 5,89 11,98 0,52 3,08 3, ,36 12,27 9,99 4,06 1,05 4,37 10,35 1,06 5,36 1,29 µ 10,52 9,93 11,13 3,13 1,16 5,41 11,47 1,32 4,81 3,44 σ 1,37 1,32 11,78 1,51 0,97 1,67 1,80 1,04 1,74 2,34 137

168 17 Kwantitatieve evaluatie Figuur 17.7: Bedrijf Z: Staafdiagram van de gemiddelde MAPE s van de finale projectduurvoorspellingen. Tabel 17.8: Bedrijf Z: Overzicht gemiddelde MPE s van de finale projectduurvoorspellingen [%] RCF EVM PD MC EAC(t)w A S F T B EAC(t)1 EAC(t)2 10,52 9,93 4,31 3,13 0,08-5,41-11,47-0,02 4,81-1,53 Figuur 17.8: Bedrijf Z: Overzicht gemiddelde MPE s van de finale projectduurvoorspellingen [%] Kost Voor de voorspelling van de finale projectkost stellen we vast dat de methode van Warburton gemiddeld gezien de meest nauwkeurige resultaten oplevert. Dit wordt bevestigd wanneer we de MAPE s van de afzonderlijke projecten uit tabel 17.9 analyseren, waaruit we kunnen afleiden dat voor de helft van de projecten Warburton s model de accuraatste voorspellingen opleverde en eveneens voor de andere helft van de projecten erg nauwkeurig bleek te zijn. Daarnaast blijken de voorspellingen aan de hand van de referentieklassen soort, functie, type en bedrijf eveneens erg nauwkeurige schattingen op te leveren. Hierbij is RCF soort nog iets nauwkeuriger dan de 3 138

169 Kwantitatieve evaluatie 17 andere methodes. Dit blijkt namelijk uit de voorspellingen van 3 projecten. Op basis van de standaardafwijkingen uit tabel 17.9 kunnen we eveneens concluderen dat alle voorspellingen op basis van de EAC2 methode erg consistent zijn in het maken van voorspellingen met een gelijkaardige nauwkeurigheid. De PM van bedrijf Z blijkt net zoals bij de duurtijd, de neiging te hebben om de finale projectkost systematisch te onderschatten (8/8). Op basis van de MPE waarden van RCF soort en RCF functie stellen we vast dat deze de neiging hebben om de projectkost respectievelijk te over- (6/8) en onderschatten (6/8). Bovenvermelde resultaten konden op basis van figuur reeds vermoed worden en werden finaal bevestigd na raadpleging van tabel C.6 uit de appendix. Tabel 17.9: Bedrijf Z: Overzicht MAPE s van de finale projectkostvoorspellingen [%] RCF EVM ID BAC MC EACw A S F T B EAC1 EAC2 17 1,91 2,10 1,62 6,41 0,95 3,25 2,23 2,54 6,38 25, ,95 4,01 0,00 8,39 1,18 1,05 0,02 0,12 5,63 31, ,44 4,83 0,15 8,87 1,71 0,51 0,57 0,48 9,05 43, ,57 5,91 2,31 9,97 2,89 0,71 1,82 1,82 8,62 27, ,36 4,22 0,51 7,82 0,56 1,69 0,64 0,82 3,92 18, ,48 2,78 2,47 6,97 0,35 2,63 1,60 1,86 4,34 21, ,89 3,16 0,10 7,36 0,07 2,20 1,16 1,38 4,88 14, ,51 7,13 0,79 11,84 4,92 2,80 3,95 4,12 5,39 19,62 µ 4,01 4,27 1,00 8,45 1,58 1,86 1,50 1,64 6,03 25,16 σ 1,82 1,66 1,01 1,77 1,62 1,02 1,23 1,28 1,89 9,08 Figuur 17.9: Bedrijf Z: Staafdiagram van de gemiddelde MAPE s van de finale projectkostvoorspellingen. 139

170 17 Kwantitatieve evaluatie Tabel 17.10: Bedrijf Z: Overzicht gemiddelde MPE s van de finale projectkostvoorspellingen [%] RCF EVM BAC MC EACw A S F T B EAC1 EAC2 4,01 4,27-0,18 8,45 1,25-0,98 0,09-0,04 2,21-0,23 Figuur 17.10: Bedrijf Z: Overzicht gemiddelde MPE s van de finale projectkostvoorspellingen [%] 140

171 Kwantitatieve evaluatie Appartementen Voor deze projectklasse waren er geen aangepaste statistische risicodistributies beschikbaar voor de verschillende activiteiten van het project. Daarom hebben we voor deze klasse geen voorspellingen gemaakt op basis van Monte-Carlo simulaties. Duurtijd Wat meteen opvalt bij de projectduurvoorspellingen, is dat alle methodes relatief onnauwkeurig zijn in vergelijking met hun mate van accuraatheid binnen andere projectklassen. Wanneer we de resultaten per project bekijken, stellen we vast dat geen enkele voorspellingsmethode zich onderscheidt in het leveren van de nauwkeurigste voorspelling voor het merendeel van de projecten. Op basis van de gemiddelde MAPE waarden en de overeenkomstige standaardafwijking uit tabel besluiten we dat EAC(t)1 gemiddeld gezien de nauwkeurigste en consistentste methode is, ondanks het feit dat EAC(t)1 slechts voor 1 van 9 projecten de accuraatste was van alle methodes. Op basis van de MPE waarden uit tabel zien we dat de PM de duurtijd systematisch gaat onderschatten (8/9). Ook de methodes RCF soort (7/9), RCF type (6/9) en EAC(t)1 (6/9) vertonen de neiging tot systematische onderschatting van de finale projectduur, hetzij bij RCF type en EAC(t)1 echter wel in mindere mate. We wensen nog te wijzen op een mogelijke oorzaak voor de onnauwkeurigheid van de RCF methodes, zijnde het feit dat project social appartements Ypres (1) (ID = 31) buiten proportie is. Er werd echter bewust voor gekozen om alle projecten op te nemen binnen de projectklasse, omdat de RCF methode net ontwikkeld werd om menselijke vertekening door subjectieve beoordeling te vermijden. Indien we echter zouden opteren om het project niet in de klasse op te nemen, omwille van de buitenproportionele afwijking, zouden we dezelfde fout maken. Tabel 17.11: Appartementen: Overzicht MAPE s van de finale projectduurvoorspellingen [%] RCF EVM ID PD MC EAC(t)w A S F T B EAC(t)1 EAC(t) ,79-22,68 10,05 7,27 2,27 3,22 3,37 5,12 11, ,47-44,09 3,08 0,03 5,46 11,52 5,48 1,56 6, ,62-0,81 5,45 2,50 2,83 8,70 2,47 3,69 6, ,27-23,37 8,37 5,53 0,41 5,21 1,25 7,77 4, ,95-59,27 15,75 13,19 8,59 3,57 10,61 13,02 23, ,69-36,36 0,00 3,16 8,87 15,18 9,38 5,12 6, ,12-76,14 65,62 64,99 63,90 62,99 66,18 7,43 22, ,56-14,14 20,83 18,48 14,23 9,64 37,21 19,73 25, ,78-135,25 56,82 62,18 71,90 82,89 216,49 24,39 15,05 µ 24,69-45,79 20,66 19,70 19,83 22,55 39,16 9,76 13,45 σ 19,24-40,71 23,94 25,52 27,64 29,25 69,89 7,75 8,18 141

172 17 Kwantitatieve evaluatie Figuur 17.11: Appartementen: Staafdiagram van de gemiddelde MAPE s van de finale projectduurvoorspellingen. Tabel 17.12: Appartementen: Overzicht gemiddelde MPE s van de finale projectduurvoorspellingen [%] RCF EVM PD MC EAC(t)w A S F T B EAC(t)1 EAC(t)2 14,97-7,22 8,04 5,18 0,04-5,61-21,07 2,28-3,90 Figuur 17.12: Appartementen: Overzicht gemiddelde MPE s van de finale projectduurvoorspellingen [%] Kost De voorspellingen van de finale projectkost volgens de verschillende methodes is heel wat nauwkeuriger dan de voorspellingen van de finale projectduur. Hierbij leveren de methode van Warburton, RCF bedrijf en EAC1 voorspellingen op die in accuraatheid gemiddeld gezien dicht bij elkaar aanleunen, maar waarbij EAC1 nog net iets nauwkeuriger is dan de eerstgenoemde methodes. Daarenboven heeft EAC1 de laagste standaardafwijking, wat erop wijst dat de methode het best in staat is voorspellingen te maken met een nauwkeurigheidsgraad die telkens in dezelfde lijn ligt. 142

173 Kwantitatieve evaluatie 17 Voor de voorspellingen op basis van EAC1 stellen we vast dat deze leiden tot systematische onderschatting (8/9) van de finale projectkost. Dit in tegenstelling tot de methode van Warburton, die een systematisch patroon tot overschatting van de finale projectkost vertoont. Voor de overige voorspellingsmethodes zijn er geen concrete aanwijzingen voor een systematische overof onderschatting van de projectkost. Tabel 17.13: Appartementen: Overzicht MAPE s van de finale projectkostvoorspellingen [%] RCF EVM ID BAC MC EACw A S F T B EAC1 EAC2 25 9,98-16,28 14,24 7,52 5,47 6,69 3,60 3,16 8, ,13-1,04 7,60 0,33 1,93 0,88 5,25 0,53 1, ,51-7,34 18,64 12,28 10,38 11,70 9,47 4,21 3, ,30-0,68 20,38 14,16 12,32 13,68 11,78 8,23 3, ,18-6,18 1,44 9,46 12,01 11,18 17,29 7,93 8, ,52-1,52 6,03 1,37 3,68 2,67 7,34 1,26 1, ,79-5,79 1,06 9,04 11,58 10,75 3,06 9,97 15, ,45-2,45 2,18 5,54 7,97 7,06 1,77 15,13 32, ,85-16,79 1,79 5,96 8,40 7,50 1,19 5,86 10,01 µ 6,97-6,45 8,15 7,30 8,19 8,01 6,75 6,25 9,41 σ 5,44-6,20 7,69 4,59 3,79 4,27 5,31 4,62 9,76 Figuur 17.13: Appartementen: Staafdiagram van de gemiddelde MAPE s van de finale projectkostvoorspellingen. 143

174 17 Kwantitatieve evaluatie Tabel 17.14: Appartementen: Overzicht gemiddelde MPE s van de finale projectkostvoorspellingen [%] RCF EVM BAC MC EACw A S F T B EAC1 EAC2 3, ,23 7,59 0,32-1,93-0,89-0,57 4,41 4,52 Figuur 17.14: Appartementen: Overzicht gemiddelde MPE s van de finale projectkostvoorspellingen [%] 144

175 Kwantitatieve evaluatie Kantoren Voor de projectklasse kantoren waren er eveneens geen aangepaste risicodistributies beschikbaar, waardoor er geen MC simulaties werden uitgevoerd. Daarnaast werd er voor het project government office building geen voorspelling gemaakt aan de hand van de referentieklasse bedrijf, omdat er zich geen andere bedrijfsspecifieke projecten in de OR-AS 2 database bevonden. Duurtijd Wat meteen opvalt voor de projectklasse kantoren zijn enerzijds de onnauwkeurige voorspellingen van de finale projectduur van de PM, en anderzijds dat ook de overige voorspellingsmethodes erg onnauwkeurige schattingen opleveren. De minst onnauwkeurige voorspellingen worden verkregen via EVM (EAC(t)1) die een pak beter presteert dan de voorspellingen volgens de BS, Warburton en RCF. Net als bij de projectklasse appartementen blijkt geen enkele voorspellingsmethode in staat om in het merendeel van de projecten tot de nauwkeurigste schatting te leiden. Bovendien blijken de methodes erg inconsistent in het maken van voorspellingen met een nauwkeurigheidsgraad die in dezelfde lijn ligt. Voor de projectklasse kantoren blijken de voorspellingen op basis van de BS, Warburton s model, RCF soort, RCF functie en EVM de projectduur systematisch te overschatten voor telkens minimaal 4 van de 6 projecten. Op basis van figuur kon dit reeds vermoed worden, aangezien deze reeds een sterke indicatie gaf voor een systematische onderschatting (negatieve MPE waarden) van de finale projectduur. Tabel 17.15: Kantoren: Overzicht MAPE s van de finale projectduurvoorspellingen [%] RCF EVM ID PD MC EAC(t)w A S F T B EAC(t)1 EAC(t)2 34 2,33-62,75 11,06 14,65 2,89 20,03-1,72 3, ,76-16,22 18,16 22,02 9,88 13,75 18,76 6,36 19, ,09-24,17 1,55 1,56 9,52 31,18 36,19 15,36 15, ,70-83,78 62,25 67,83 53,29 25,27 20,26 20,98 24, ,48-42,52 98,45 105,43 88,93 57,30 52,29 43,23 46, ,47-80,75 64,21 69,86 55,22 27,00 21,99 10,95 10,37 µ 33,47-51,70 42,61 46,89 36,62 29,09 29,90 16,43 19,88 σ 31,63-28,62 38,08 40,26 34,49 15,08 14,32 14,75 14,82 Tabel 17.16: Kantoren: Overzicht gemiddelde MPE s van de finale projectduurvoorspellingen [%] RCF EVM PD MC EAC(t)w A S F T B EAC(t)1 EAC(t)2-30, ,29-42,10-46,89-33,45-7,44-7,92-7,17-1,

176 17 Kwantitatieve evaluatie Figuur 17.15: Kantoren: Staafdiagram van de gemiddelde MAPE s van de finale projectduurvoorspellingen. Figuur 17.16: Kantoren: Overzicht gemiddelde MPE s van de finale projectduurvoorspellingen [%] Kost Voor de voorspelling van de finale projectkost blijken de voorspellingsmethodes over het algemeen accurater dan de voorspellingen van de finale projectduur. De accuraatste voorspellingen voor de finale projectkost worden verkregen aan de hand van referentieklasse bedrijf, die voor 3 van de 5 office finishing works projecten de nauwkeurigste schatting opleverde. We merken hier echter op dat een voorspelling aan de hand van RCF bedrijf voor het government office building project niet mogelijk was, aangezien dit project uitgevoerd werd door een ander bedrijf, en er geen additionele projecten beschikbaar waren. Daarnaast blijkt de mate van nauwkeurigheid van de voorspellingen aan de hand van referentieklasse bedrijf erg consistent met betrekking tot de nauwkeurigheid. Op basis van de MPE waarden stellen we vast dat de PM van de office finishing works projecten de finale projectkost systematisch te hoog inschatte (5/5), terwijl de PM van van het government office building project de kost te laag had ingeschat. Daarnaast blijkt eveneens dat EVM voor alle 146

177 Kwantitatieve evaluatie 17 office finishing works projecten systematisch de finale projectkost overschat. Voor de methode RCF bedrijf is er geen systematische neiging tot over- of onderschatting waarneembaar. Voor de volledigheid vermelden we ook nog dat voor het government office building project alle voorspellingsmethodes leiden tot een onderschatting van de finale projectkost. Tabel 17.17: Kantoren: Overzicht MAPE s van de finale projectkostvoorspellingen [%] RCF EVM ID BAC MC EACw A S F T B EAC1 EAC2 34 9,83-7,56 14,09 7,36 13,95 22,98-6,35 4, ,01-16,89 11,94 20,83 14,14 5,89 0,08 7,60 9, ,75-3,07 8,79 17,41 10,73 2,39 3,55 12,67 0, ,74-4,21 5,87 14,25 7,58 0,85 6,77 5,71 9, ,00-24,72 19,70 29,22 22,50 14,48 8,45 14,42 20, ,94-9,08 14,79 23,91 17,21 9,04 3,05 7,18 6,90 µ 16,04-10,92 12,53 18,83 14,35 9,27 4,38 8,99 8,55 σ 5,80-8,33 4,85 7,65 5,17 8,31 3,29 3,63 6,76 Figuur 17.17: Kantoren: Staafdiagram van de gemiddelde MAPE s van de finale projectkostvoorspellingen. 147

178 17 Kwantitatieve evaluatie Tabel 17.18: Kantoren: Overzicht gemiddelde MPE s van de finale projectkostvoorspellingen [%] RCF EVM BAC MC EACw A S F T B EAC1 EAC2-12, ,97-7,83-16,38-9,70-1,33-0,22-5,90-4,67 Figuur 17.18: Kantoren: Overzicht gemiddelde MPE s van de finale projectkostvoorspellingen [%] 148

179 Kwantitatieve evaluatie IT projecten Bij de IT projecten waren er evenmin aangepaste risicodistributies beschikbaar, waardoor er geen voorspellingen werden gemaakt op basis van MC-simulaties. Daarnaast werden de voorspellingen voor deze projecten enkel gemaakt via de referentieklassen alle en bedrijf, omdat er geen projecten beschikbaar waren om de referentieklassen soort, type en functie op te bouwen. Duurtijd Voor de finale projectduurvoorspellingen leverde de schatting van de PM reeds erg nauwkeurige resultaten op. Daarnaast valt het op dat de voorspellingen aan de hand van de referentieklasse bedrijf nagenoeg even nauwkeurige schattingen opleveren. De nauwkeurigheid van de voorspellingen volgens de BS en RCF bedrijf is quasi gelijk, hetgeen eveneens blijkt uit het feit dat beide methodes elk voor 7 van de 15 projecten de nauwkeurigste voorspelling van de finale projectduur opleveren. Daarnaast is de standaardafwijking van de MAPE s nagenoeg gelijk, wat erop wijst dat zowel de PM als de methode RCF bedrijf in staat zijn voorspellingen te maken met eenzelfde mate van nauwkeurigheid (i.e. consistent zijn). Op basis van de MPE waarden zien we dat de finale projectduur zowel door de PM als aan de hand van de methode RCF bedrijf, in 9 van de 14 gevallen werd overschat. Tabel 17.19: IT projecten: Overzicht MAPE s van de finale projectduurvoorspellingen [%] RCF EVM ID PD MC EAC(t)w A S F T B EAC(t)1 EAC(t)2 40 0,00-17,89 8, ,14 2,99 20, ,85-54,38 10, ,84 9,36 109, ,55-72,00 9, ,45 3,94 43, ,86-8,93 9, ,79 15,85 698, ,81-80,66 9, ,73 7,30 15, ,00-57,59 8, ,14 5,99 38, ,37-103,35 8, ,26 6,84 9, ,86-50,41 4, ,83 2,67 2, ,79-51,02 9, ,71 18,16 229, ,00-20,40 8, ,14 28,35 73, ,21-82,17 15, ,51 50, , ,78-75,05 11, ,84 13,07 42, ,00-59,26 8, ,14 11,97 20, ,68-75,31 10, ,66 4,92 7, ,00-41,75 8, ,14 9,73 22,39 µ 1,85-56,68 9, ,95 12,75 156,04 σ 3,21-26,36 2, ,44 12,39 294,76 149

180 17 Kwantitatieve evaluatie Figuur 17.19: IT projecten: Staafdiagram van de gemiddelde MAPE s van de finale projectduurvoorspellingen. Tabel 17.20: IT projecten: Overzicht gemiddelde MPE s van de finale projectduurvoorspellingen [%] RCF EVM PD MC EAC(t)w A S F T B EAC(t)1 EAC(t)2-0, ,00-8, ,15-10,44-150,06 Figuur 17.20: IT projecten: Overzicht gemiddelde MPE s van de finale projectduurvoorspellingen [%] Kost Wat betreft de finale projectkostvoorspellingen, zien we onmiddellijk dat, in tegenstelling tot de voorspelling van de finale projectduur, de inschattingen van de PM een pak minder nauwkeurig zijn. Daarnaast zijn ook de voorspellingen aan de hand van referentieklasse bedrijf - hoewel reeds een pak beter dan de BAC voorspelling - minder accuraat. De meest accurate voorspellingen voor de finale projectkost worden verkregen aan de hand van EAC2 die voor 6 van de 15 IT projecten de nauwkeurigste voorspelling oplevert. Deze methode blijkt eveneens het meest consistent in het maken van voorspellingen. 150

181 Kwantitatieve evaluatie 17 Op basis MPE waarden wordt duidelijk dat alle voorspellingsmethodes, behalve RCF bedrijf, de finale projectkost systematisch gaan overschatten, hetgeen op basis van figuur reeds kon worden vermoed. Tabel 17.21: IT projecten: Overzicht MAPE s van de finale projectkostvoorspellingen [%] RCF EVM ID BAC MC EACw A S F T B EAC1 EAC ,08-92,90 128, ,16 87,06 9, ,15-58,15 51, ,80 18,27 4, ,96-110,89 118, ,42 77,17 15, ,48-16,15 22, ,66 16,34 7, ,37-159,66 80, ,14 65,53 46, ,31-51,39 59, ,04 26,46 19, ,77-0,77 3, ,08 2,13 7, ,13-2,74 4, ,57 1,31 1, ,44-55,44 49, ,72 46,44 27, ,71-15,31 11, ,89 11,62 7, ,92-13,92 8, ,03 0,49 1, ,07-24,07 18, ,26 7,39 3, ,72-69,14 65, ,18 59,36 44, ,03-33,27 37, ,23 14,82 6, ,69-16,84 14, ,61 6,91 12,35 µ 49,92-48,04 44, ,65 29,42 14,38 σ 42,43-44,99 39, ,20 29,63 14,29 Figuur 17.21: IT projecten: Staafdiagram van de gemiddelde MAPE s van de finale projectkostvoorspellingen. 151

182 17 Kwantitatieve evaluatie Tabel 17.22: IT projecten: Overzicht gemiddelde MPE s van de finale projectkostvoorspellingen [%] RCF EVM BAC MC EACw A S F T B EAC1 EAC2-49, ,68-43, ,51-28,60-9,54 Figuur 17.22: IT projecten: Overzicht gemiddelde MPE s van de finale projectkostvoorspellingen [%] 152

183 Kwantitatieve evaluatie Woningbouw Voor de projecten family residence en family residence (2) ontbreken voorspellingen aan de hand van MC-simulaties, eveneens om de eerder vermelde reden. Daarnaast waren er geen bedrijfsspecifieke projecten voorhanden, waardoor ook voorspellingen via de referentieklasse bedrijf ontbreken. Duurtijd De voorspellingen van de finale duurtijd aan de hand van referentieklasse type blijken voor de projectklasse woningbouw het meest accuraat, hetgeen eveneens blijkt uit het feit dat in 2 van de 3 projecten RCF type de nauwkeurigste voorspellingen opleverde. Op basis van de MPE waarden uit tabel blijkt dat de PM de projectduur systematisch heeft onderschat (3/3). Daarnaast vertonen de methodes RCF soort en RCF functie een systematisch patroon om de finale projectduur te overschatten (3/3). Voor de methode van Warburton, RCF bedrijf en EVM is geen systematisch patroon voor over- of onderschatting waar te nemen. Tabel 17.23: Woningbouw: Overzicht MAPE s van de finale projectduurvoorspellingen [%] RCF EVM ID PD MC EAC(t)w A S F T B EAC(t)1 EAC(t)2 55 3,96 9,94 19,13 4,12 7,44 13,44 0,15-2,49 11, ,30-29,44 5,95 9,35 15,47 2,13-9,07 7, ,34-39,93 2,93 0,12 5,62 7,45-6,44 7,64 µ 5,53 9,94 29,50 4,33 5,63 11,51 3,25-6,00 8,92 σ 4,25-10,40 1,52 4,87 5,20 3,77-3,31 2,39 Figuur 17.23: Woningbouw: Staafdiagram van de gemiddelde MAPE s van de finale projectduurvoorspellingen. 153

184 17 Kwantitatieve evaluatie Tabel 17.24: Woningbouw: Overzicht gemiddelde MPE s van de finale projectduurvoorspellingen [%] RCF EVM PD MC EAC(t)w A S F T B EAC(t)1 EAC(t)2 5,53-9,94 16,75-2,38-5,63-11,51 1,72-4,76-2,44 Figuur 17.24: Woningbouw: Overzicht gemiddelde MPE s van de finale projectduurvoorspellingen [%] Kost Voor de finale kostvoorspellingen blijkt EVM de nauwkeurigste schattingen te leveren, zowel volgens EAC1 en EAC2, die bovendien een veel lagere standaardafwijking hebben dan de overige methodes. Dit wijst erop dat EVM consistent is in het leveren van voorspellingen met eenzelfde nauwkeurigheidsgraad voor deze projecten. Noch voor de voorspelling van de PM, noch voor RCF soort en EVM vinden we aanwijzingen voor een systematische over- of onderschatting van de finale projectkost. Dit ook deels omwille van het beperkte aantal projecten binnen de klasse woningbouw. Tabel 17.25: Woningbouw: Overzicht MAPE s van de finale projectkostvoorspellingen [%] RCF EVM ID BAC MC EACw A S F T B EAC1 EAC2 55 2,13 7,08 3,89 6,63 0,72 3,01 4,09-0,63 1, ,11-10,20 1,54 6,23 8,69 9,97-0,26 1, ,80-21,68 26,68 20,99 19,34 19,06-5,16 3,63 µ 9,35 7,08 11,93 11,62 9,31 10,35 11,04-2,02 2,41 σ 11,66-9,02 13,29 10,48 8,29 7,54-2,73 1,07 154

185 Kwantitatieve evaluatie 17 Figuur 17.25: Woningbouw: Staafdiagram van de gemiddelde MAPE s van de finale projectkostvoorspellingen. Tabel 17.26: Woningbouw: Overzicht gemiddelde MPE s van de finale projectkostvoorspellingen [%] RCF EVM BAC MC EACw A S F T B EAC1 EAC2 7,27 7,08 9,33 11,62 4,68 2,55 1,67-1,80-0,61 Figuur 17.26: Woningbouw: Overzicht gemiddelde MPE s van de finale projectkostvoorspellingen [%] 155

186 17 Kwantitatieve evaluatie Industrie Ook voor deze projectklasse waren er geen aangepaste statistische risicodistributies voor de verschillende activiteiten van de projecten voorhanden. Naast voorspellingen aan de hand van MC-simulaties werden er ook geen voorspellingen gemaakt aan de hand van referentieklassen type en bedrijf, gezien de afwezigheid van geschikte projecten. Duurtijd Voor de projectklasse industrie worden - gemiddeld gezien - de nauwkeurigste voorspellingen gemaakt aan de hand van EAC(t). Tevens vermelden we ook nog dat de voorspellingen aan de hand van referentieklasse functie voor 2 van de 7 projecten de accuraatste bleken te zijn. Echter, voor de overige projecten bleken ze een pak minder nauwkeurig en kan de methode RCF functie dus als inconsistent worden beschouwd. Op basis van de MPE waarden stellen we echter vast dat zowel de voorspelling van de PM (6/7) als deze aan de hand van EAC(t)1 (6/7) en RCF soort (6/7) de projectduur systematisch gaan onderschatten. Daarnaast blijkt de methode van Warburton, zij het wel in mindere mate (5/7), de neiging te hebben om de finale projectduur te overschatten. Voor de methode RCF functie is er geen systematisch patroon tot over- of onderschatting waarneembaar. Tabel 17.27: Industrie: Overzicht MAPE s van de finale projectduurvoorspellingen [%] RCF EVM ID PD MC EAC(t)w A S F T B EAC(t)1 EAC(t) ,77-8,21 7,25 17,86 3, ,65 64, ,55-17,42 3,32 7,85 9, ,15 5, ,11-8,67 6,12 5,19 12, ,90 14, ,69-28,55 15,06 3,28 22, ,80 6, ,79-17,89 31,35 40,71 32, ,55 12, ,05-5,43 6,42 17,08 2, ,74 21, ,70-46,86 6,59 4,74 12, ,96 4,04 µ 12,95-19,00 10,87 13,82 13, ,82 18,44 σ 12,28-14,60 9,73 13,25 10, ,56 21,07 Tabel 17.28: Industrie: Overzicht gemiddelde MPE s van de finale projectduurvoorspellingen [%] RCF EVM PD MC EAC(t)w A S F T B EAC(t)1 EAC(t)2 12, ,30 1,99 12,88-2, ,02-11,67 156

187 Kwantitatieve evaluatie 17 Figuur 17.27: Industrie: Staafdiagram van de gemiddelde MAPE s van de finale projectduurvoorspellingen. Figuur 17.28: Industrie: Overzicht gemiddelde MPE s van de finale projectduurvoorspellingen [%] Kost Voor de finale projectkostvoorspellingen blijkt op basis van de gemiddelde MAPE waarde dat EAC1 - gemiddeld gezien - de nauwkeurigste voorspellingen oplevert. Wanneer we tabel nader bekijken, stellen we echter vast dat de methode van Warburton voor 3 van de 7 projecten in staat is om de nauwkeurigste voorspelling te leveren, terwijl deze voor de andere projecten tot minder nauwkeurige voorspellingen en zelfs één extreem onnauwkeurige voorspelling leidt. Dit vertaalt zich dan ook in de erg hoge waarde voor de standaardafwijking die bij Warburton s methode kan worden waargenomen. De consistentie van de overige methodes ligt, op EAC2 na, erg dicht bij mekaar. We besluiten dat het voor deze projectklasse dan ook moeilijk is om één specifieke methode naar voren te schuiven als de meest nauwkeurige. 157

188 17 Kwantitatieve evaluatie Met betrekking tot de MPE waarden kunnen we nog concluderen dat zowel de methode van Warburton (6/7) als EAC1 (5/7) de neiging hebben om de projectkost systematisch te overschatten. Voor de overige methodes is er geen systematisch patroon tot over- of onderschatting waarneembaar. Tabel 17.29: Industrie: Overzicht MAPE s van de finale projectkostvoorspellingen [%] RCF EVM ID BAC MC EACw A S F T B EAC1 EAC ,84-13,97 19,60 12,92 21, ,00 49, ,08-0,96 24,06 17,36 27, ,74 11, ,81-10,81 14,31 7,65 15, ,24 14, ,17-1,17 4,19 2,44 4, ,52 2, ,08-16,41 30,73 37,24 35, ,91 14, ,31-144,73 7,87 14,45 9, ,33 25, ,67-5,05 2,26 4,36 2, ,35 0,20 µ 12,99-27,58 14,72 13,77 16, ,44 16,88 σ 11,00-52,01 10,65 11,68 12, ,02 16,72 Figuur 17.29: Industrie: Staafdiagram van de gemiddelde MAPE s van de finale projectkostvoorspellingen. 158

189 Kwantitatieve evaluatie 17 Tabel 17.30: Industrie: Overzicht gemiddelde MPE s van de finale projectkostvoorspellingen [%] RCF EVM BAC MC EACw A S F T B EAC1 EAC2-0, ,90-3,69 2,94-3, ,69-9,49 Figuur 17.30: Industrie: Overzicht gemiddelde MPE s van de finale projectkostvoorspellingen [%] 159

190 17 Kwantitatieve evaluatie 17.2 Stabiliteit Het tweede criterium voor de kwantitatieve evaluatie van de voorspelling betreft - zoals reeds besproken in hoofdstuk 13 - de stabiliteit van de voorspellingen over verschillende trackingperiodes. Aan de hand van het voorbeeldproject uit hoofdstuk 14 werd reeds aangetoond dat - op EVM na - alle andere methodes stabiele voorspellingen leveren die niet worden bijgewerkt, zoals dit bij EVM wel het geval is. We kunnen hier dan ook concluderen dat de voorspellingen op basis van de BS, Monte-Carlo simulaties, Warburton s methode en RCF onderling even stabiel zijn en omwille van de constante voorspellingen logischerwijs stabieler zijn dan EVM Timeliness Het derde criterium waarop de kwantitatieve evaluatie is gebaseerd, betreft de timeliness, of de accuraatheid van de voorspellingen in de verschillende fasen van het project. Hierbij werd - zoals reeds beschreven in hoofdstuk 13 - een vroege, midden en late projectfase gedefinieerd. Hierbij duiden we nogmaals op het feit dat enkel de voorspellingen volgens EVM wijzigen over de projectfasen heen, terwijl de overige methodes constante voorspellingen opleveren. We merken nog op dat voor de methode van Warburton geen voorspellingen beschikbaar zijn in de vroege projectfase, aangezien de methode zich baseert op deze vroege projectdata (cf infra). Hieronder zullen enkel de resultaten worden besproken van de EAC(t)1 methode, die analoog zijn aan de resultaten voor EAC1, EAC2 en EAC(t)2, teneinde niet in herhaling te vallen. De resultaten van de overige methodes kunnen teruggevonden worden in appendix D. Figuur 17.31: EVM (EAC(t)1): nauwkeurigheid van de finale kostvoorspellingen in de verschillende projectfasen. 160

191 Kwantitatieve evaluatie 17 Figuur geeft de nauwkeurigheid van de kostvoorspellingen aan de hand van EAC1 weer, doorheen de verschillende projectfasen. Hierbij valt het onmiddellijk op dat de EVM voorspellingen beter worden in latere fases van het project. Teneinde een beeld te krijgen van de nauwkeurigheid van de EAC1 methode in de verschillende projectfasen, in relatie tot de overige voorspellingsmethodes, werden onderstaande tabellen opgesteld. Wat betreft de overeenkomstige tabellen voor de EVM voorspellingen EAC2, EAC(t)1 en EAC(t)2 wordt nogmaals verwezen naar de appendix. In tabellen 17.31, en wordt de (gemiddelde) nauwkeurigheid van iedere voorspellingsmethode weergegeven en vergeleken met de nauwkeurigheid van EAC1 voor respectievelijk de vroege, midden en late fase. Hierbij wordt aan de hand van een lichtgrijze achtergrond aangegeven dat een voorspellingsmethode voor een bepaalde projectklasse - gemiddeld gezien - nauwkeuriger is (i.e. een lagere gemiddelde MAPE waarde heeft) dan de voorspelling aan de hand van EAC1 in de respectievelijk vroege, midden en late fase. Deze tabellen worden het meest zinvol geïnterpreteerd als volgt: hoe meer/minder grijze waarden worden waargenomen per voorspellingsmethode, des te nauwkeuriger/onnauwkeuriger deze voorspellingsmethode is in vergelijking met de voorspellingsmethode op basis van EAC(t)2 voor de specifieke projectfase. Op basis van deze resultaten stellen we vast dat EVM (EAC1) in de vroege fase niet altijd in staat is even nauwkeurige voorspellingen te maken. Daarentegen worden de voorspellingen wel nauwkeuriger in respectievelijk de midden en late projectfase, hetgeen ook uit figuur kon worden afgeleid. Op basis van bovenstaande tabellen (cf. de grijsgekleurde cellen) zien we duidelijk dat, naarmate men zich in een latere projectfase bevindt, minder voorspellingsmethodes in staat zijn de finale projectkost accurater te voorspellen dan de EAC1 methode. 161

192 17 Kwantitatieve evaluatie Tabel 17.31: EVM (EAC1): Vergelijking van de nauwkeurigheid van de finale kostvoorspellingen met de traditionele voorspellingsmethodes in de vroege projectfase. RCF EVM BAC MC EACw A S F T B EAC1 Bedrijf X 2,32 2,32 18,09 6,81 1,52 2,85 3,88 1,73 1,52 Bedrijf Y 6,06 6,50 6,06 10,44 4,56 5,04 5,66 6,30 4,19 Bedrijf Z 4,01 4,27 1,00 8,45 1,58 1,86 1,50 1,64 3,37 App en 6,97-6,45 8,15 7,30 8,19 8,01 6,75 6,14 Kantoren 16,04-10,92 12,53 18,83 14,35 9,27 4,38 17,16 IT 49,92-48,04 44, ,65 47,88 Woning 9,35 7,08 11,93 11,62 9,31 10,35 11,04-8,33 Industrie 12,99-27,58 14,72 13,77 16, ,65 Tabel 17.32: EVM (EAC1): Vergelijking van de nauwkeurigheid van de finale kostvoorspellingen met de traditionele voorspellingsmethodes in de midden projectfase. RCF EVM BAC MC EACw A S F T B EAC1 Bedrijf X 2,32 2,32 18,09 6,81 1,52 2,85 3,88 1,73 2,03 Bedrijf Y 6,06 6,50 6,06 10,44 4,56 5,04 5,66 6,30 4,43 Bedrijf Z 4,01 4,27 1,00 8,45 1,58 1,86 1,50 1,64 2,52 App en 6,97-6,45 8,15 7,30 8,19 8,01 6,75 5,40 Kantoren 16,04-10,92 12,53 18,83 14,35 9,27 4,38 14,62 IT 49,92-48,04 44, ,65 43,14 Woning 9,35 7,08 11,93 11,62 9,31 10,35 11,04-2,85 Industrie 12,99-27,58 14,72 13,77 16, ,48 Tabel 17.33: EVM (EAC1): Vergelijking van de nauwkeurigheid van de finale kostvoorspellingen met de traditionele voorspellingsmethodes in de late projectfase. RCF EVM BAC MC EACw A S F T B EAC1 Bedrijf X 2,32 2,32 18,09 6,81 1,52 2,85 3,88 1,73 0,57 Bedrijf Y 6,06 6,50 6,06 10,44 4,56 5,04 5,66 6,30 1,41 Bedrijf Z 4,01 4,27 1,00 8,45 1,58 1,86 1,50 1,64 1,67 App en 6,97-6,45 8,15 7,30 8,19 8,01 6,75 7,04 Kantoren 16,04-10,92 12,53 18,83 14,35 9,27 4,38 5,08 IT 49,92-48,04 44, ,65 19,53 Woning 9,35 7,08 11,93 11,62 9,31 10,35 11,04-0,67 Industrie 12,99-27,58 14,72 13,77 16, ,17 162

193 18 HOOFDSTUK 18 Kwalitatieve evaluatie In dit hoofdstuk zullen aan de hand van onderstaande criteria (tabel 18.1), reeds uitvoerig beschreven in hoofdstuk 13, de verschillende voorspellingsmethodes kwalitatief worden geëvalueerd. Deze analyse wordt samengevat weergegeven aan de hand van een kwaliteitsmatrix (tabel 18.2). Tabel 18.1: Overzicht kwalitatieve beoordelingscriteria Criterium A B C D E F Omschrijving In welke fase van het project wordt de voorspelling gemaakt? Is er nood aan statistische risico-informatie? Is de methode in staat rekening te houden met verschillende niveau s van risico? Hanteert de methode een inside of outside view? Is de methode complex? Is de methode objectief of subjectief? Tabel 18.2: Kwaliteitsmatrix Criterium BS MC Warburton EVM RCF A Pre-project Pre-project Midden fase Tijdens Pre-project B Nee Ja Nee Nee Nee C Nee Nee Nee Nee Ja D Inside Semi-outside Inside Inside Outside E Nee Nee Ja Ja Nee F Subjectief Subjectief Objectief Objectief Objectief 163

194 18 Kwalitatieve evaluatie 18.1 Baseline schedule Een BS maken is een noodzakelijke taak voor elke PM, aangezien dit de planning van een project voorstelt. Het betreft hier aldus niet echt een voorspellingsmethode, maar de PD en het BAC die uit de planning voortvloeien, kunnen als het ware als een eerste manier voor het verkrijgen van pre-project voorspellingen worden beschouwd. Deze weerspiegelen aldus de verwachting of inschatting van de PM omtrent de finale projectduur en -kost. Een nadeel is echter dat de voorspellingen op basis van de BS geen rekening houden met risico s verbonden aan de activiteiten, en dat ze gevormd worden op basis van de ervaring van de PM en aldus subjectief zijn. Bovendien wordt er door de PM een inside view op het project genomen Monte-Carlo simulaties Voor het uitvoeren van Monte-Carlo simulaties is er nood aan statistische risicodistributies, die bepaald worden op basis van de ervaringen van de PM uit het verleden. Zoals beschreven door J. Batselier & M. Vanhoucke (2016), zou men omwille van het feit dat hiervoor gebruik wordt gemaakt van historische data, de Monte-Carlo simulaties kunnen beschouwen als een voorspellingsmethode die een outside view hanteert. In tegenstelling tot de RCF methode, is voor Monte-Carlo simulaties statistische risico-informatie vereist voor iedere activiteit en niet enkel voor het gehele project, waarvoor assumpties van de PM nodig zijn. Daarom kan de voorspellingsmethode op basis van Monte-Carlo simulaties beschouwd worden als een techniek die een semi-outside view hanteert. Daarnaast is het vanzelfsprekend dat omwille van de assumpties van de PM, het een subjectieve methode betreft, die echter wel pre-project voorspellingen maakt Warburton s model De voorspellingen op basis van Warburton s model worden, omwille van de parameters die dienen te worden bepaald op basis van de vroege projectdata, gemaakt bij het begin van de midden projectfase. Het betreft echter wel een objectieve methode die een inside view neemt voor het maken van de voorspellingen. Voor Warburton s methode is er geen nood aan statistische risicoinformatie, aangezien de voorspellingen louter gebaseerd worden op basis van vroege projectdata. Omwille van de mathematische formulering, classificeren we het maken van voorspellingen op basis van de methode als complex. 164

195 Kwalitatieve evaluatie Earned value management Zoals reeds eerder vermeld, worden de voorspellingen aan de hand van EVM na iedere TP bijgewerkt, en wijzigen ze bijgevolg over de hele duurtijd van het project heen. Daarnaast is EVM een objectieve methode, die gebruik maakt van een inside view voor het maken van voorspellingen, waarbij geen nood is aan statistische risico-informatie. Omwille van het feit dat de voorspellingen na iedere TP worden herberekend, kan EVM als een relatief complexe methode worden beschouwd Reference class forecasting Zoals ondertussen duidelijk is, maakt de RCF methode gebruik van een outside view voor het maken van voorspellingen. Daarnaast bleek RCF in dit onderzoek de enige methode die in staat is rekening te houden met verschillende niveau s van risico (indien de werkwijze uit appendix A wordt gevolgd). Het betreft bovendien een objectieve voorspellingsmethode waarbij de voorspellingen pre-project worden gemaakt, zonder de nood aan statistische risico-informatie voor de afzonderlijke activiteiten. 165

196

197 Deel VII Finale reflecties 167

198

199 19 HOOFDSTUK 19 Conclusies Een van de belangrijkste oorzaken van risico in de wereld van projectmanagement schuilt in de inaccurate voorspellingen van projectduur en -kost. Het al dan niet in staat zijn om nauwkeurige voorspellingen te maken vormt dan ook een van de belangrijkste taken van de projectmanager. Hoewel reeds vele methodes werden ontwikkeld om de PM in staat te stellen meer accurate voorspellingen te maken, bleek volgens een studie Flyvbjerg, Holm & Buhl (2002) dat deze voorspellingen vaak geen correcte weergave zijn van de realiteit. In de paper van B. Flyvbjerg (2006) werden enerzijds verklaringen naar voren geschoven als antwoord op de problematiek van de onnauwkeurige voorspellingen. Vervolgens werd een nieuwe aanpak gepresenteerd voor het beperken van de risico s die gepaard gaan met het maken van accurate voorspellingen. Hierbij stelde B. Flyvbjerg dat de reference class forecasting methode meer accurate voorspellingen belooft omwille van de zogenaamde outside view die gehanteerd wordt, in tegenstelling tot de inside view bij traditionele voorspellingsmethodes. Daarnaast werd in de paper eveneens de eerste toepassing van de methode in de praktijk (cf. Edinburgh Trams) gepresenteerd. 169

200 19 Conclusies Het doel van deze thesis was om deze nieuwe methode grondig te analyseren en te vergelijken met traditionele voorspellingsmethodes. Hierbij werden 3 specifieke uitdagingen vooropgesteld. Eerst en vooral werd getracht om op de tekortkomingen uit vroeger onderzoek een aanvulling te bieden. Daarnaast werden de prestaties en de toegevoegde waarde van de RCF methode grondig onderzocht op basis van zowel een kwantitatieve als kwalitatieve evaluatie. Tot slot werden ook de traditionele voorspellingsmethodes geëvalueerd en vergeleken met de RCF methode. In wat volgt, zullen de belangrijkste conclusies van dit onderzoek besproken worden. In het volgende hoofdstuk worden de beperkingen van het onderzoek behandeld en volgen enkele aanbevelingen voor toekomstig onderzoek Conclusie prestaties en toegevoegde waarde RCF In dit onderzoek hebben we kunnen ervaren dat de RCF methode algemeen toepasbaar is voor het voorspellen van zowel de finale projectduur als -kost. Wat bijkomend werd opgemerkt, is dat de keuze van de referentieklassen een grote impact heeft op de nauwkeurigheid van de voorspellingen. De prestaties van de voorspellingen aan de hand van referentieklassen werden in een vorig deel uitvoerig vergeleken met de resultaten van traditionele voorspellingsmethodes. Hieruit kunnen we concluderen dat, zoals B. Flyvbjerg (2006) al aangaf in zijn paper, een te brede referentieklasse (in dit onderzoek RCF alle) niet in staat is om consistent tot nauwkeurige schattingen te leiden. Dit omwille van het feit dat de projecten onderling weinig of niet vergelijkbaar zijn. Daarnaast bleek dat de keuze van de optimale referentieklasse afhankelijk is van de beschouwde projectklasse. Zo bleek in sommige gevallen RCF bedrijf in staat de meest accurate voorspellingen te leveren, terwijl voor andere projectklassen deze via RCF soort, functie of type werden bekomen. Bovendien bleek dat binnen eenzelfde projectklasse, de RCF methodes die de nauwkeurigste voorspellingen voor respectievelijk duur en kost opleverden, vaak verschillend waren. Hieruit concluderen we dat de PM voor de voorspellingen van zowel duurtijd als kost de keuze van de referentieklasse apart dient te bepalen. Algemeen kunnen we dus concluderen dat RCF wel degelijk een toegevoegde waarde heeft, dankzij de gehanteerde outside view, pre-project voorspellingen levert. Bovendien betreft het een eenvoudige methode die vaak in staat blijkt nauwkeurigere voorspellingen te maken dan de PM. Daarnaast zijn de voorspellingen ook stabiel en consistent, hetgeen van groot belang is bij de keuze van de voorspellingsmethode. Op basis van het uitgevoerde onderzoek bleek bovendien dat vaak enkel bedrijfsspecifieke gegevens vereist waren om nauwkeurigere voorspellingen te bekomen. Net om die reden lijkt de RCF methode ons in de praktijk erg interessant omwille van het feit dat de historische projectdata, waarop de voorspellingen worden gebaseerd, door de meeste bedrijven worden bijgehouden. Daarnaast bleek deze methode, in vergelijking met de traditionele methodes, ook vaak beter te presteren. 170

201 Conclusies Conclusies traditionele voorspellingsmethodes In dit onderzoek vormde de inschatting van de PM een eerste manier voor het verkrijgen van voorspellingen omtrent de finale projectduur en -kost. Deze voorspellingen volgen uit de opstelling van de baseline schedule, die beschouwd kan worden als de planning van het project. Op basis van de resultaten uit deel VI kunnen we concluderen dat de ene PM al nauwkeuriger is in het maken van voorspellingen dan de andere, waarbij ook vaak de neiging tot systematische onderschatting van de finale projectduur- en kost werd vastgesteld. Dit kan mogelijks worden verklaard door het feit dat bij het opstellen van de BS, geen rekening gehouden wordt met risico s en toekomstige onzekerheden. Een eerste manier voor incorporatie van risico-informatie in het maken van voorspellingen, gebeurt aan de hand van Monte-Carlo simulaties. Hoewel deze methode in sommige gevallen nauwkeurigere voorspellingen opleverde dan de BS, achten we deze methode, omwille van de assumpties die dienen te worden gemaakt voor iedere activiteit, in de praktijk minder geschikt. De methode van Warburton bleek in dit onderzoek niet in staat om op consistente wijze nauwkeurige voorspellingen te maken voor de verschillende projectklassen. Voor sommige projecten leverde deze methode weliswaar zeer accurate voorspellingen op, maar voor andere projecten veruit de meest onnauwkeurige. Dit deels omwille van de tekortkomingen van het model, die reeds werden beschreven in hoofdstuk 3. Op basis van bovengenoemde redenen en het feit dat de voorspellingen pas gemaakt worden nadat een een deel van het project reeds is voltooid, zijn we niet overtuigd van de meerwaarde van het model in zijn huidige vorm. Uit dit onderzoek is gebleken dat EVM erg vaak nauwkeurige voorspellingen opleverde. Vooral voor projecten met een tamelijk grote afwijking tussen planning en realisatie bleek EVM zich in accuraatheid te onderscheiden van de overige voorspellingsmethodes. Echter dient te worden opgemerkt dat bij de kwantitatieve evaluatie in deel VI, de finale duur- en kostvoorspellingen volgens EVM berekend werden als een gemiddelde van de voorspellingen die gemaakt werden in iedere TP. Dit in tegenstelling tot de overige methodes waarbij pre-project of middenproject schattingen worden gemaakt. We achten de methode dan ook het meest waardevol voor de opvolging van de fysieke vooruitgang van een project, en niet als zijnde een zuivere voorspellingsmethode. Dit mede omwille van het feit dat EVM de PM voorziet van vroege waarschuwingssystemen, die laatstgenoemde in staat stellen correctieve maatregelen te nemen bij slechte prestaties van het project. Met betrekking tot de stabiliteit van de voorspellingen konden we reeds in deel VI vaststellen en concluderen dat enkel de voorspellingen op basis van EVM wijzigen over het project heen. Voor de overige methodes werd daarom - omwille van de constante voorspellingen die worden gemaakt - geconcludeerd dat deze onderling even stabiel zijn. 171

202 19 Conclusies Uit ons onderzoek is tot slot gebleken dat met betrekking tot de timeliness, EVM niet altijd in staat blijkt om in de vroege fase van een project erg nauwkeurige schattingen van de finale projectduur en -kost te maken, in vergelijking met de andere methodes. Hierbij werd echter wel vastgesteld dat de voorspellingen in accuraatheid toenamen naarmate men zich in latere fases van het project bevond Beperkingen en toekomstig onderzoek In dit onderzoek werd de reference class forecasting methode, zoals voorgesteld door B. Flyvbjerg (2006), toegepast op een groot aantal reële projecten teneinde de prestaties en toegevoegde waarde van het model te bepalen. Hiervoor werd de RCF methode zowel kwantitatief als kwalitatief geëvalueerd en vergeleken met traditionele voorspellingsmethodes. Merk op: dit onderzoek beoogde niet om de RCF methode of de traditionele voorspellingsmethodes te verbeteren, hetgeen weliswaar zinvol kan zijn voor toekomstig onderzoek. Ten tweede werd het onderzoek uitgevoerd op basis van historische projecten waarvoor reeds alle gegevens, met betrekking tot enerzijds de planning en anderzijds de realisatie, beschikbaar waren. Het betreft dus als het ware een ex-post analyse, waarbij werd nagegaan welke voorspellingsmethodes de meest nauwkeurige schattingen zouden hebben opgeleverd indien men ze ex-ante had gebruikt. In toekomstig onderzoek kan het aldus interessant zijn om de RCF methode te gaan toepassen voor het maken van ex-ante voorspellingen van zowel de finale projectduur als -kost. Verder werd voor het maken van voorspellingen aan de hand van referentieklassen gebruik gemaakt van een minder complexe techniek zoals deze die origineel door B. Flyvbjerg werd voorgesteld. Dit omwille van het feit dat in het onderzoek van Flyvbjerg het doel was om de vereiste uplift te bepalen die overeenkomt met een bepaalde aanvaardbare kans op overschrijding. Aangezien het in dit onderzoek de bedoeling was om de RCF methode te vergelijken met de traditionele voorspellingstechnieken, die allemaal gericht zijn op het verstrekken van puntschattingen van de meest waarschijnlijke projectkost en -duur, waren we enkel geïntresseerd in de meest waarschijnlijke uitkomst van het betrokken project (d.w.z. vergelijkbaar met de uplift zodat er 50% kans is op kostenoverschrijding zoals in de studie van Flyvbjerg (2006)). Desalniettemin werd laatstgenoemde methode, die gebruikt gemaakt van distribution fitting, wel gepresenteerd in appendix A en geïllustreerd aan de hand van een voorbeeldproject. Het lijkt ons dan ook interessant om in toekomstig onderzoek een vergelijkende studie uit te voeren tussen de vereenvoudigde RCF methode, zoals in dit onderzoek toegepast, en de methode zoals origineel door B. Flyvbjerg voorgesteld. Omwille van het feit dat de verschillende stappen uit de 3-staps-procedure van de originele RCF methode - besproken in vorige paragraaf - handmatig dienden te worden uitgevoerd, vormt de ontwikkeling van een (software) tool voor het maken van voorspellingen aan de hand van referentieklassen, een erg interessant onderwerp voor toekomstig onderzoek. 172

203 Bibliografie [1] Ratnadip Adhikari and RK Agrawal. An introductory study on time series modeling and forecasting [2] Frank T Anbari. Earned value project management method and extensions. Project management journal, 34(4):12 23, [3] Jordy Batselier, José Coelho, and Mario Vanhoucke. An overview of project data for integrated project management and control. The Journal of Modern Project Management, 3(3), [4] Jordy Batselier and Mario Vanhoucke. Construction and evaluation framework for a real-life project database. International Journal of Project Management, 33(3): , [5] Jordy Batselier and Mario Vanhoucke. Empirical evaluation of earned value management forecasting accuracy for time and cost. Journal of Construction Engineering and Management, 141(11), [6] Jordy Batselier and Mario Vanhoucke. Practical application and empirical evaluation of reference class forecasting for project management [7] David Christensen and Kirk Payne. Cost performance index stability: Fact or fiction? Technical report, Defense Systems Management College, Fort Belvoir, June [8] David S Christensen. Determining an accurate estimate at completion. National Contract Management Journal, 25(1):17, [9] John Covach, Joseph J Haydon, and Richard O Reither. A study to determine indicators and methods to compute estimate at completion (eac). Virginia: ManTech international corporation, 30, [10] Bent Flyvbjerg. Measuring inaccuracy in travel demand forecasting: methodological considerations regarding ramp up and sampling. Transportation Research Part A: Policy and Practice, 39(6): , [11] Bent Flyvbjerg. From nobel prize to project management : getting risks right. Project Management Journal, August [12] Bent Flyvbjerg. Curbing optimism bias and strategic misrepresentation in planning: Reference class forecasting in practice. European planning studies, 16(1):3 21, [13] Bent Flyvbjerg. Over budget, over time, over and over again: Managing major projects

204 [14] Bent Flyvbjerg, Carsten Glenting, and Arne Kvist Rönnest. Procedures for dealing with optimism bias in transport planning. London: The British Department for Transport, Guidance Document, [15] Bent Flyvbjerg, Mette Skamris Holm, and Soren Buhl. Underestimating costs in public works projects: Error or lie? Journal of the American planning association, 68(3): , [16] Kym Henderson. Earned schedule a breakthrough, extension to earned value management. In Proceedings of PMI Global Congress Asia Pacific, [17] D Jacob. Forecasting project schedule completion with earned value metrics. The Measurable News, 1(11):7 9, [18] DS Jacob and M Kane. Forecasting schedule completion using earned value metrics revisited. The Measurable News, 1(11):7, [19] Daniel Kahneman. New challenges to the rationality assumption. Journal of Institutional and Theoretical Economics (JITE)/Zeitschrift für die gesamte Staatswissenschaft, pages 18 36, [20] Daniel Kahneman. Thinking, fast and slow. Macmillan, [21] Daniel Kahneman and Amos Tversky. Intuitive prediction : Biases and corrective procedures. Technical report, Defence Advanced Researg Projects Agency, June [22] Daniel Kahneman and Amos Tversky. Prospect theory: An analysis of decision under risk. Econometrica: Journal of the Econometric Society, pages , [23] Walt Lipke. Schedule is different, the measurable news, 10-15, [24] Dan Lovallo and Daniel Kahneman. Delusions of success. Harvard business review, 81(7):56 63, [25] Mott MacDonald. Review of large public procurement in the uk. HM Treasury, London, [26] Johnathan Mun. Modeling risk: Applying monte carlo simulation. Real Options, [27] Francis N Parr. An alternative to the rayleigh curve model for software development effort. Software Engineering, IEEE Transactions on, (3): , [28] Kim Bang Salling and David Banister. Assessment of large transport infrastructure projects: the cba-dk model. Transportation Research Part A: Policy and Practice, 43(9): , [29] Kim Bang Salling, Steen Leleur, and Britt Zoëga Skougaard. Reference scenario forecasting: a new approach to transport project assessment. In Proc. 10th World Conf. on Transport Research (WCTR), Lisbon, [30] Jonathan Jingsheng Shi, SO Cheung, and David Arditi. Construction delay computation method. Journal of Construction Engineering and Management, 127(1):60 65, [31] H.M. Treasury. The green book Appraisal and evaluation in central government: Treasury guidance. Norwich (United Kingdom): TSO, [32] Mario Vanhoucke. Measuring time: Improving project performance using earned value management, volume 136. Springer Science & Business Media, [33] Mario Vanhoucke. PM Knowledge Center. http : // [34] Mario Vanhoucke. Measuring the efficiency of project control using fictitious and empirical project data. International Journal of Project Management, 30(2): , [35] Mario Vanhoucke. Project Management with Dynamic Scheduling. Springer, second edition,

205 [36] Mario Vanhoucke. Integrated Project Management and Control. Springer, [37] Mario Vanhoucke and Stephan Vandevoorde. A simulation and evaluation of earned value metrics to forecast the project duration. Journal of the Operational Research Society, 58(10): , [38] Martin Wachs. Technique vs. advocacy in forecasting: A study of rail rapid transit. Urban Resources, 4(1):23 30, [39] Roger D. H. Warburton. A time-dependent earned value model for software projects. International Journal of Project Management, August

206

207 A BIJLAGE A Onderzoeksmethode volgens B. Flyvbjerg A.1 Introductie In dit hoofdstuk wordt de methodologie van RCF toegepast zoals ze in de literatuur beschreven staat. Wij zullen ons hierbij focussen op de praktische uitvoerbaarheid, maar daarnaast willen we de lezer ook een goed inzicht bieden in de statistiek die aan de basis van deze methode ligt. Dit hoofdstuk dient dan ook te worden beschouwd als een handleiding voor personen die gebruik willen maken van de originele RCF voorspellingsmethode. RCF kan enerzijds voor meer accurate voorspellingen zorgen, maar daarnaast biedt deze methode ook inzicht in de verschillende uplifts voor duurtijd en kost. Er wordt op een stapsgewijze manier getoond hoe de methode moet worden toegepast en dit zal ook aan de hand van een voorbeeld worden geïllustreerd. We zullen ons in deze toepassing wel beperken tot het voorspellen van de projectkost. Het voorspellen van de projectduur verloopt volledig analoog. A.2 Stapsgewijze procedure A.2.1 Fase 1: Verzameling historische projecten Voor het toepassen van de RCF-methode zijn gegevens van projecten uit het verleden vereist. Deze methode houdt namelijk rekening met de resultaten van historische projecten. Concreet zijn de volgende gegevens voor elk project noodzakelijk: 1. Geplande kosten en duurtijden voor alle projecten. Deze geplande kosten en duurtijden komen overeen met de voorspellingen die werden gemaakt op het moment van de initiële beslissing tot bouwen. 177

208 A 2. Werkelijke kosten en duurtijden voor alle projecten. De werkelijke kosten en duurtijden kunnen pas worden bepaald wanneer het overeenkomstige project voltooid is. A.3 Fase 2: Reference class forecasting Eenmaal er projecten uit het verleden gevonden zijn, kunnen we overgaan tot het uitvoeren van de voorspelling op basis van de reference class forecasting methode. Om deze methode op te bouwen, baseren we ons op de drie stappen die werden besproken in hoofdstuk 7: Stap 1: Identificatie van een relevante referentieklasse van projecten uit het verleden. Stap 2: Oprichting van een kansverdeling voor deze referentieklasse. Stap 3: Het vinden van de optimism bias uplifts. A.3.1 Stap 1: Identificatie van een relevante referentieklasse van projecten uit het verleden In deze stap moeten de projecten worden geïdentificeerd die als basis zullen dienen voor het maken van de voorspelling. Deze projecten moeten representatief zijn voor het te voorspellen project. Bedrijfsspecifieke projectdata zijn hiervoor zeker geschikt. Toepassing stap 1 De voorspelling van woning 5 (i.e. het beschouwde voorbeeldproject) zal worden gemaakt op basis van de referentieklasse bouwprojecten. Deze klasse bevat in totaal 49 projecten. Tabel A.1: Overzicht projecten van de referentieklasse Categorie Type projecten Aantal projecten Bouwprojecten Woningbouw 19 Appartementen 17 Kantoren 6 Industriebouw 7 A.3.2 Stap 2: Oprichting van een kansverdeling voor deze referentieklasse Om de kansverdeling voor de referentieklasse te vinden worden de volgende stappen doorlopen: 1. Formule (7.1) werd gebruikt om de kostenoverschrijding voor elk project uit de referentieklasse te berekenen. Wanneer we dit voor elk project uit onze referentieklasse toepassen, bekomen we de volgende statistieken voor deze kostoverschrijdingen: 178

209 A Tabel A.2: Statistische waarden voor de kostoverschrijding van de referentieprojecten. Statistiek Waarde Aantal projecten 49 Gemiddelde kostafwijking 2,85% Standaard deviatie 0,12 Variantie 0,01 Maximum kostafwijking 47,22% Minimum kostafwijking -20,00% 2. Opstelling van een frequentietabel waarbij de kostoverschrijding worden opgedeeld in intervallen. Tabel A.3: Frequentietabel van de kostoverschrijdingen Verzamelbereik Frequentie -21%-18% 1-18%-15% 2-15%-12% 3-12%-9% 2-9%-6% 0-6%-3% 3-3%-0% 3 0%-3% 14 3%-6% 10 6%-9% 1 9%-12% 3 12%-15% 0 15%-18% 1 18%-21% 4 21%-24% 0 24%-27% 0 27%-30% 1 30%-33% 0 33%-36% 0 36%-39% 0 39%-42% 0 42%-45% 0 45%-48% 1 179

210 A 3. Op basis van de frequentietabel uit vorige stap wordt er een histogram opgesteld. Figuur A.1: Histogram van de kostoverschrijdingen 4. Met behulp van een wiskundig programma moet een kansverdeling worden gevonden die het beste aansluit bij het histogram. De distributie die moet worden opgesteld, moet voldoen aan drie voorwaarden: De distributie moet een closed-end verdeling zijn. Dit betekent dat er boven- en ondergrenzen zijn waarvan de waarden relatief zeker niet zullen worden overschreden. De verdeling moet continu zijn. De verdeling moet unimodaal zijn; er is één enkele waarde die het meest waarschijnlijke is. Bij het fitten van een distributie op een steekproef beschrijft de goodness of fit van een statistisch model hoe goed het model bij de waarneming past. De goodness of fit-maatstaven meten de afwijking tussen de geobserveerde waarden en de verwachte waarden van het model. De volgende tests kunnen hiervoor worden gebruikt: de log-likelihood (LL), de Kolmogorov-Smirnov (KS) en de Chi-kwadraat (χ 2 ). In dit voorbeeld zal er een distribution fitting-methode worden toegepast die gebruik maakt van de Maximum Likelihood Estimation (MLE). De distribution fitting tool uit MATLAB (Dfittool) werd gebruikt voor deze analyses. Met deze functie kan men de fit tussen een dataset en verschillende verdelingen nagaan. De functie bevat 21 distributies, zoals de Beta, exponentiële, Gamma, lognormale, Normale en Poisson verdeling. Echter, niet alle distributies zijn beschikbaar 180

211 A voor alle datasets. De functie bepaalt in een keuzelijst zelf de passende verdelingen die van toepassing zijn op de dataset. Voor onze gegevens gaf de functie de volgende distributies weer: extreme value, generalized extreme value, generalized Pareto, logistic, non-parametric, normal and t location-scale distribution. Omwille van de eerder gestelde voorwaarden, werden enkel de volgende distributies getest: extreme value, generalized extreme value, logistic, normal and t location-scale distribution. Hieronder vind u een korte beschrijving van elke distributie: Extreme value distributie (µ,σ) met µ de locatieparameter, en σ de schaalparameter. Generalized Extreme Value (k,σ,µ) met k de vormparameter en σ en µ respectievelijk de schaal en locatieparameter. Logistic distributie (µ,σ), met µ het gemiddelde and σ de schaalparameter. Normale verdeling (µ,σ), met het gemiddelde µ en standaardafwijking σ of respectievelijk de locatie- en schaalparameter. T location scale distributie (µ,σ,ν), met µ, σ en ν respectievelijk locatie-, schaal- en vormparameter. Via Matlab werden de volgende resultaten verkregen voor het histogram (figuur A.2): Figuur A.2: Output distribution fitting in Matlab. 181