English Title: Systematic Comparative Project Evaluation: Learning from the Project Database Systematische Vergelijkende Projectevaluatie: Leren uit de Projectendatabase Stefan Verweij Afdeling Bestuurskunde Erasmus Universiteit Rotterdam Contact: www.stefanverweij.eu Network Meeting Directorate of Production and Project Management Rijkswaterstaat Major Projects and Maintenance Nieuwegein, January 27th, 2015
Pressman & Wildavsky Expectations and good intensions in planning can easily fail in subsequent implementation Bekende voorbeelden, zie: Flyvbjerg, Bruzelius & Rothengatter (2003) Daarom: evaluatie! Learning is the key to both implementation and evaluation. We evaluate to learn, and we learn to implement (1984[1973], xviii)
Infrastructuur-evaluatie literatuur: twee perspectieven Accountability Learning
Infrastructuur-evaluatie literatuur: twee perspectieven Accountability Learning Risico-perspectief Planning als calculatie: er kunnen objectieve waarschijnlijkheden worden toegekend aan implementatie-processen van projecten Er kan dus (strategisch) worden ge-miscalculeerd Focus: partijen worden verantwoordelijk gehouden voor negatieve prestaties in/van projecten Zie Sanderson (2012), Lehtonen (2014)
Infrastructuur-evaluatie literatuur: twee perspectieven Accountability Learning Onzekerheid-perspectief De werkelijkheid is wezenlijk onzeker: er kunnen geen objectieve waarschijnlijkheden worden toegekend aan implementatie-processen van projecten Want de werkelijkheid is complex en dus beperkt stuurbaar/beïnvloedbaar Focus: hoe kunnen partijen leren in/van projecten Zie Sanderson (2012), Lehtonen (2014)
Evalueren en leren Het slechte nieuws Er wordt te weinig geëvalueerd, met name wat betreft project implementatie Mogelijke verklaring: de angst voor accountability Er wordt niet systematisch (consequent) geëvalueerd Mogelijke verklaring: te weinig middelen (geld, tijd, methodologische kennis) Er wordt weinig vergelijkend geëvalueerd (patronen over projecten heen) Problematisch: Hoe kunnen projecten dan van elkaar leren? En hoe worden geleerde lessen geïnstitutionaliseerd? Zeker in een steeds dynamischere context (uitbesteding van management, projectificatie)
Evalueren en leren Het slechte nieuws The implementation of transportation infrastructure projects therefore continues to be based on personal though unsystematically analyzed preferences, experiences and expectations, that are possibly inefficient, ineffective or obstructive to project implementation, without practitioners knowing or acknowledging this Zie Pfeffer & Sutton (2006), Rousseau (2006), Proefschrift Verweij (verwacht 2015) Het goede nieuws: de projectendatabase (PDB) Schat aan informatie: (1) veel projecten, (2) veel variabelen en (3) meerdere meetmomenten per jaar Kansen voor vergelijkende en longitudinale analyses
Onderzoek met de PDB Gastonderzoeker bij de afdeling PM (GPO) van november 2013 t/m juni 2014 Onder de hoede van Freek Wermer Twee analyses tot dusver 1. Meerwerk en contractveranderingen in project implementatie 2. Management en publiek-private samenwerking in project implementatie Analyse in de maak 3. Zwaarte en allocatie van risico s in DBFM-projecten
Meerwerk en contractveranderingen Onderzoeksvragen 1. Is er een relatie tussen lage aanbiedingen van aannemers, en de omvang van contractveranderingen (met meerwerk als gevolg) in de implementatie? 2. Wat zijn de omvang en redenen voor contractveranderingen in de implementatie? Kwantitatieve vergelijkende analyse van 45 projecten Methoden: Shapiro-Wilk toets en Kruskal-Wallis ANOVA toets Auteurs: Stefan Verweij, Ingmar van Meerkerk en Iris Korthagen Status: gepubliceerd in Transport Policy
Meerwerk en contractveranderingen Is er een relatie tussen lage aanbiedingen van aannemers, en de omvang van contractveranderingen in de implementatie? Gemiddelde contractwaarde bij ondertekening is 24% lager dan de verwachte waarde voor de aanbesteding (N=36) Dus: een positief aanbestedingsresultaat van 24% Er is geen relatie tussen het aanbestedingsresultaat en meerwerkkosten door contractveranderingen (N=36) Conclusie: er is geen bewijs voor opportunistisch gedrag van aannemers die aanbestedingskosten willen terugverdienen in de uitvoering Beperking: lage N, ontbrekende data in de PDB
Meerwerk en contractveranderingen Wat zijn de omvang en redenen voor contractveranderingen in de implementatie? Aantal contractveranderingen per project: 62,61 Kosten contractveranderingen per project k 25,452 Kosten contractveranderingen per project, als % contractwaarde: 22,37% Kleine projecten hebben relatief hogere meerwerkkosten dan grote projecten (maar geen significante verschillen) Gemiddelden, N=45
Meerwerk en contractveranderingen Wat zijn de omvang en redenen voor contractveranderingen in de implementatie? Meerwerk door scopewijzingen komt het meest voor en brengt % de meeste kosten met zich mee, gevolgd door technische noodzaak, omissie, en weten regelgeving (dit patroon is niet significant voor alle groepen) Veranderingen door wet- en regelgeving komen weinig voor, maar als ze voorkomen dan zijn er hoge meerwerkkosten Meerwerkkosten door omissies zijn relatief hoog in kleine projecten vergeleken met grotere projecten (significant)
Meerwerk en contractveranderingen Enkele implicaties / voer voor discussie Dominantie van scopewijzigingen en technische noodzaak in meerwerkkosten door onzekerheden die optreden in de uitvoering: op zoek naar flexibelere contractvormen? (Cruz & Marques, 2003) Er moet meer aandacht zijn voor het contractmanagement van kleinere projecten, vooral met betrekking tot meerwerkkosten door omissies in de contracten Maar: omissies in kleine projecten groot % van de contractwaarde, maar lagere absolute waarde ( ) dan in grotere projecten Enkele beperkingen onderzoek: lage N, definitie en meting van de vier meerwerk-categorieën
Management en publiek-private samenwerking Onderzoeksvragen 1. Wat voor een type management en publiek-private samenwerking draagt bij aan satisfactie van managers in de project implementatie? 2. Vragen verschillende typen projecten om ander management en publiekprivate samenwerking? Kwalitatieve vergelijkende analyse van 27 projecten Methode: fuzzy-set Qualitative Comparative Analysis (fsqca) fsqca geschikt voor het combineren van kwal/kwan data Auteurs: Stefan Verweij Status: paper, in-review
Management en publiek-private samenwerking Data Gemiddelde completeness-level van de projecten: 73% (M 74%, SD 17%) Gemiddelde satisfactie van managers: 13,16 op een schaal van 0 tot 16 Contracten: 4 x DBFM, 23 x D&C Gemiddelde projectomvang: k 386,206 Gebruikte gegevens Kwantitatief: PDB-tabbladen budget, financiën, mijlpalen en dashboard Kwalitatief: emailcontacten en PDB management-rapportages (totaal 202 pagina s) over markt, omgeving en algemeen
Vergelijking 27 projecten Stap 1: kwal/kwan data prepareren voor vergelijking (kalibratie) Samenvatting van gekalibreerde condities Lage fuzzy-set waarden (0.00 en 0.33) Hoge fuzzy-set waarden (0.67 en1.00) Management Intern-georiënteerd Extern-georiënteerd Samenwerking Meer contract-georiënteerd Meer coöperatie-georiënteerd Satisfactie Lager Hoger Contract type DBMF D&C Scope Enge scope Brede scope, integrale projecten Project grootte Kleiner Groter
Management en publiek-private samenwerking Stap 2: een data-matrix construeren (gedeeltelijke weergave)
Management en publiek-private samenwerking Stap 3: de 27 projecten groeperen (gedeeltelijke weergave)
Management en publiek-private samenwerking Stap 4: de 27 projecten vergelijken (gedeeltelijke weergave)
Management en publiek-private samenwerking Enkele implicaties / voer voor discussie Extern-georiënteerd management en/of een coöperatieve publiek-private oriëntatie dragen bij aan satisfactie Kleinere projecten kunnen worden gemanaged met een minder coöperatieve oriëntatie, en meer door scheiding van verantwoordlijkheden o.b.v. het contract Grotere projecten met een brede scope hebben extern-georiënteerd management nodig en een meer intensieve coöperatieve publiek-private oriëntatie Geen belangrijke verschillen tussen D&C en DBFM voor wat betreft het type management en publiek-private samenwerking dat nodig is
Evaluatie: meer, systematischer en vergelijkend. Hoe? Evaluatie-partnerschappen tussen wetenschap en praktijk Wetenschap: middelen (tijd, methodologische kennis) maar weinig data Rijkswaterstaat: data maar weinig middelen Evaluatieresultaten zichtbaar en relevanter maken voor de praktijk (i.t.t. academische ivoren toren) Praktijk = Rijkswaterstaat + aannemerij Samen implementeren (PPS) dus samen evalueren 1. Twee weten meer dan één 2. Samen evalueren kan zorgen voor meer vertrouwen, consensus etc. in PPS (Bryson, Crosby & Stone, 2006; Greene, 2001) 3. Co-creatie van kennis kan zorgen voor een directer gebruik van evaluatie uitkomsten (Patton, 2008, 2011)
Recente publicaties (ENG) Verweij & Gerrits (2015). How satisfaction is achieved in the implementation phase of large infrastructure projects: A qualitative comparative analysis into the A2 tunnel project. Public Works Management & Policy. Verweij (2015). Achieving satisfaction when implementing PPP transportation infrastructure projects: A qualitative comparative analysis of the A15 highway DBFM project. International Journal of Project Management. Verweij, Van Meerkerk & Korthagen (2015). Reasons for contract changes in implementing Dutch transportation infrastructure projects: An empirical exploration. Transport Policy.
Recente publicaties (NL) Reynaers & Verweij (2014). Kritisch kijken naar kansen: De schaduwzijden van DBFMO. ROmagazine. Pattyn & Verweij (2014). Beleidsevaluaties tussen methode en praktijk: Naar een meer realistische evaluatiebenadering. Burger, Bestuur & Beleid. Verweij (2013). Ingewikkeld? Kijk goed om je heen! Sociale complexiteit in de uitvoering vraagt om een blik naar buiten. Infra.
Extra slides
Meerwerk en contractveranderingen Tabel 1: operationalisering van de variabelen
Meerwerk en contractveranderingen Tabel 2: beschrijvende statistiek van de variabelen
Vergelijking A2 en A15 Configuratie Condities Satisfactie Events Bron van het event Management oriëntatie Cooperation A Sociaal Intern Laag 9 (A15 MaVa) B Intern Private actor autonoom Laag 6 (A2 Maastricht) 7 (A15 MaVa) C Intern Publieke actor autonoom Hoog 2 (A2 Maastricht) D Fysiek Intern Coöperatie tussen de partners Hoog 1 (A2 Maastricht) E Fysiek Intern Publieke partner intermedieert Hoog 1 (A15 MaVa) F Sociaal Extern Hoog 9 (A2 Maastricht) 7 (A15 MaVa)
Vergelijking A2 en A15 Configuratie Condities Satisfactie Events Bron van het event Management oriëntatie Cooperation A Sociaal Intern Laag 9 (A15 MaVa) B Intern Private actor autonoom Laag 6 (A2 Maastricht) 7 (A15 MaVa) C Intern Publieke actor autonoom Hoog 2 (A2 Maastricht) D Fysiek Intern Coöperatie tussen de partners Hoog 1 (A2 Maastricht) E Fysiek Intern Publieke partner intermedieert Hoog 1 (A15 MaVa) F Sociaal Extern Hoog 9 (A2 Maastricht) 7 (A15 MaVa)
Vergelijking A2 en A15 A2 Maastricht A15 MaVa Events Voornamelijk sociaal (12 van de 18 67%) Voornamelijk fysiek (16 van de 20 80%) Management Intern georiënteerd: 50% of events Extern georiënteerd: 50% of events Intern georiënteerd: 65% of events Extern georiënteerd: 35% of events Coöperatie Meer coöperatie, samenwerken om events te managen Meer autonoom, benadrukken van publiek-private scheidingen Satisfactie Lager Hoger Contract type D&C en alliantie-achtige elementen DBFM Scope Integraal project Transportation infrastructuur Project grootte Kleiner Groter
Vergelijking 27 projecten Kalibratie Events Niet beschikbaar Management Coöperatie Satisfactie Contract type Scope Project grootte 1. Coderen van management rapportages (totaal 202 pagina s) 2. Kwalitatieve cross-project vergelijking, scoren 1. Coderen van management rapportages (totaal 202 pagina s) 2. Kwalitatieve cross-project vergelijking, scoren 1. Kalibratie van dashboard data met de Tosmana Threshold Setter 2. 0.00 (8.67-10.17), 0.33 (10.18-12.34), 0.67 (12.35-13.50) en 1.00 (13.51-16.00) 1. Data uit de database en emailcontacten met managers 2. Directe codering 1. Data uit de database en de MIRT projectenboeken 2. Directe codering 1. Kalibratie meest recente projectkosten met de Tosmana Threshold Setter 2. 0.00 (9.488-75.566), 0.33 (76.567-242.894), 0.67 (242.895-584.061) en 1.00 (584.062-2.268.904)
Vergelijking 27 projecten Voorbeeld van kalibratie: project omvang en satisfactie Gelijke cases worden gegroepeerd, verschillende cases worden gescheiden Cluster analyse met Tosmana Threshold Setter