L Qualitative Comparative Analysis (QCA) Lasse Gerrits (Universiteit van Bamberg) Stefan Verweij (Rijksuniversiteit Groningen) Lunchlezing Kennisinstituut voor Mobiliteitsbeleid, dinsdag 2 oktober, Den Haag
L Qualitative Comparative Analysis Kwalitatieve Methoden Kwantitatieve Methoden
L Kwalitatieve en beschrijvende gevalstudies Foto s: Sweco/Joop van Houdt
L A2 Maastricht en A15 MaVa De contractvorm als mogelijke verklaring voor de performance Maar: Ook veel andere factoren in het spel Net zo veel verschillen als overeenkomsten Veel alternatieve verklaringen mogelijk We begrijpen de details van de projecten goed, maar relatie contractvorm performance is niet robuust te maken Bronnen: KING (2009); Verweij & Gerrits (2015); Verweij (2015); Verweij et al. (2017)
S Statistische analyse Performance van D&C-projecten versus DBFM-projecten Kostenperformance (meerwerkkosten tijdens de uitvoering) Tijdsperformance (uitloop mijlpaal openstelling vanaf start uitvoering) Analyse van 58 infraprojecten uit de Projectendatabase van Rijkswaterstaat Bron: Verweij & Van Meerkerk (2018 in ontwikkeling)
S Resultaten (1/2) Verschillende non-parametrische tests laten zien dat DBFM-projecten significant minder meerwerkkosten, dus een betere kostenperformance, hebben dan D&C-projecten Bron: Verweij & Van Meerkerk (2018 in ontwikkeling)
S Resultaten (2/2) DBFM doet het óók beter wat betreft tijdsperformance, maar niet significant Bron: Verweij & Van Meerkerk (2018 in ontwikkeling)
S Statische analyse Robuuste tests Maar: Er wordt een singulier, netto-effect verondersteld tussen contractvorm performance terwijl de werkelijkheid complexer is dan dat We kunnen een relatie aantonen, maar deze niet verklaren QCA als middenweg tussen kwalitatief en kwantitatief
L Qualitative Comparative Analysis (QCA) Ontwikkeld voor: Small tot medium-n studies Met als doel: Kwalitatieve gevalstudies gestructureerd en consistent vergelijkbaar te maken Daarbij recht doen aan: Complexiteit van individuele gevallen en Patronen die terugkeren in sets van gevallen
L QCA van 27 Nederlandse infraprojecten Onderzoeksvraag: Welke configuraties van factoren verklaren de performance (tevredenheid) in de implementatiefase van infrastructuurprojecten? Vijf mogelijke verklaringen (in QCA: condities ) De managementaanpak De publiek-private samenwerking De projectscope De projectomvang De contractvorm Bronnen: Gerrits & Verweij (2018); Verweij (2015)
S Datamatrix Dataverzameling, coderen, kalibreren (vergelijkbaar maken van ongelijkvormige data) Wat uiteindelijk resulteert in een data matrix Datamatrix: iedere rij is een casus (project) Contractvorm 1 = D&C 0 = DBFM Bron: Gerrits & Verweij (2018) Cases Conditions Outcome Contract Type (CT) Project Scope (PSC) Project Size (PSI) Management Strategy (MS) Public Private Cooperation (PPC) Satisfaction P.0008 1 0.33 0.67 0.67 0.33 0.67 P.0029 1 0.00 0.67 0.33 0.00 1.00 P.0034 1 1.00 1.00 1.00 1.00 1.00 P.0059 1 0.33 0.33 0.67 0.00 1.00 P.0077 1 0.67 0.67 0.67 0.33 1.00 P.0094 1 1.00 0.67 1.00 0.67 0.33 P.0095 1 0.00 0.33 0.67 0.33 1.00
S Waarheidstabel ofwel Truth Table Waarheidstabel: niet langer iedere casus is een rij, maar Iedere mogelijke combinatie van condities (2 k ) is een rij Configurationele causaliteit Combinaties van condities verklaren de uitkomst Equifinaliteit Meerdere combinaties verklaren de uitkomst Bron: Gerrits & Verweij (2018) Row Conditions Outcome Consistency PRI Cases CT PSC PSI MS PPC Satisfaction # 1 0 0 1 1 1 1 1.000 1.000 P.0247, P.0351 # 2 1 1 0 1 1 1 1.000 1.000 P.0196 # 3 1 0 1 0 0 1 0.909 0.875 P.0029 #4 1 1 1 1 1 1 0.898 0.854 P.0034, P.0094 #5 1 0 0 1 0 1 0.884 0.864 P.0059, P.0095, P.0102, P.0179, P.0200, P.0631, P.0641 #6 1 0 1 1 0 1 0.875 0.819 P.0008, P.2365 #7 1 0 1 1 1 1 0.875 0.834 P.0272 #8 1 1 1 1 0 0 0.724 0.568 P.0077, P.0149, P.0227 #9 1 0 0 0 0 0 0.681 0.597 P.0096, P.0165, P.0319, P.0755, P.1106, P.2355 #10 0 1 1 1 0 0 0.493 0.000 P.0218 #11 0 1 1 0 0 0 0.330 0.000 P.0190
S Analyse van de waarheidstabel Paarsgewijze vergelijking van twee rijen (=configuraties) uit de waarheidstabel die: Dezelfde uitkomst hebben Verschillen in precies één van de condities De conditie waarin twee rijen verschillen, kan weg worden geminimaliseerd Zo kunnen noodzakelijke en voldoendecondities worden geïdentificeerd
S Voorbeeld Row Conditions Outcome Consistency PRI Cases CT PSC PSI MS PPC Satisfaction Bron: Gerrits & Verweij (2018) # 1 0 0 1 1 1 1 1.000 1.000 P.0247, P.0351 # 2 1 1 0 1 1 1 1.000 1.000 P.0196 # 3 1 0 1 0 0 1 0.909 0.875 P.0029 #4 1 1 1 1 1 1 0.898 0.854 P.0034, P.0094 #5 1 0 0 1 0 1 0.884 0.864 P.0059, P.0095, P.0102, P.0179, P.0200, P.0631, P.0641 #6 1 0 1 1 0 1 0.875 0.819 P.0008, P.2365 #7 1 0 1 1 1 1 0.875 0.834 P.0272 #8 1 1 1 1 0 0 0.724 0.568 P.0077, P.0149, P.0227 #9 1 0 0 0 0 0 0.681 0.597 P.0096, P.0165, P.0319, P.0755, P.1106, P.2355 #10 0 1 1 1 0 0 0.493 0.000 P.0218 #11 0 1 1 0 0 0 0.330 0.000 P.0190
L Methodes vergeleken Kenmerken Kwalitatieve studies Comparatieve methode Kwantitatieve studies Typische methode Gevalstudie QCA Regressieanalyse Opvatting causaliteit Sterk afhankelijk van situatie Complex (configurationeel, equifinaliteit) Basis Gevalsbeschrijving Casusgebaseerd en vergelijkend Samplegrootte Weinig gevallen, veel variabelen Medium-n gevallen en medium aantal condities Sterktes en zwaktes Sterk op diepte en context, zwak in rigeur en generalisatie Rigeur en generalisatie gecombineerd met gecontextualiseerde, verdiepte verklaring Linear (x y) Variabelgebaseerd en vergelijkend Veel gevallen, weinig variabelen Sterk op rigeur en generalisatie, zwak in diepte en verklaring
L Handboek voor het gebruik van QCA in de evaluatie van infrastructuurprojecten Ook geschikt voor toepassing op infra en mobiliteit in bredere zin Geschreven voor evaluatoren en beleidsmakers Alle procedures stap-voor-stap uitgelegd Veel voorbeelden Aandacht voor het gebruik van QCA in evaluatiesetting Meer informatie: lasse.gerrits@uni-bamberg.de s.verweij@rug.nl; www.stefanverweij.eu
Referenties Gerrits, L.M., & Verweij, S. (2018). Th e evaluation of co mplex infrastru ctu re projects: A guid e to qualitative comparative analysis. Edward Elgar: Cheltenham. KING (2009). Omgaan met cultuur in megaprojecten. Programma Kennis in het Groot: Rotterdam. Verweij, S., & Gerrits, L.M. (2015). How satisfaction is achieved in the implementation phase of large transportation infrastructure projects: A qualitative comparative analysis into the A2 tunnel project. Public Works Management & Policy, 20(1), 5-28. Verweij, S. (2015). Achieving satisfaction when implementing PPP transportation infrastructure projects: A qualitative comparative analysis of the A15 highway DBFM project. In ternational Journal of Project Management, 33(1), 189-200. Verweij, S. (2015). Producing satisfactory outcomes in the implementation phase of PPP infrastructure projects: A fuzzy set qualitative comparative analysis of 27 road constructions in the Netherlands. Interna tional Journal of Project Management, 33(8),1877-1887. Verweij, S., Teisman, G.R., & Gerrits, L.M. (2017). Implementing public-private partnerships: How management responses to events produce (un)satisfactory outcomes. Public Works Management & Policy, 22(2), 119-139. Verweij, S., & Van Meerkerk, I.F. (2018). Publiek-private samenwerking in de transportinfrastructuur resulteert in betere uitkomsten: Wens of waarheid? Paper voor het Colloquium Vervoersplanologisch Speurwerk.