Discussiepaper de maatschappelijke waarde van kortere en betrouwbaardere reistijden

Transcriptie

1 Discussiepaper de maatschappelijke waarde van kortere en betrouwbaardere reistijden Auteur: Niek Mouter Organisatie: Technische Universiteit Delft Mailadres: Bijdrage aan het Colloquium Vervoersplanologisch Speurwerk en 22 november, Rotterdam" 1

2 Discussiepaper de maatschappelijke waarde van kortere en betrouwbaardere reistijden Samenvatting Het rapport de maatschappelijke waarde van kortere en betrouwbaardere reistijden van het Kennisinstituut voor Mobiliteitsbeleid (KiM) levert nieuwe kengetallen op voor de waardering van de verandering in de gemiddelde reistijd en betrouwbaarheid van die reistijd. De studie is gebaseerd op een achtergrondstudie, uitgevoerd door een consortium onder leiding van Significance. Het hoofddoel van dit paper is het voeden en scherpstellen van de discussie over het rapport van het KiM en de achtergrondstudie. Het doel van dit paper is niet om de suggestie te wekken dat de kwaliteit van de studie onder de maat is, want dit is mijn mening ook niet. Waarom is het dan zo nuttig om de mitsen en maren van deze studie te bespreken? De hoofdreden is dat de maatschappelijke waarde van kortere en betrouwbaardere reistijden een zeer belangrijke studie is voor de beoordeling van infrastructuurprojecten in de Maatschappelijke kosten-batenanalyse (MKBA). Het kennen van de beperkingen en de sterke punten van een studie zorgt ervoor dat deze beter in de praktijk kan worden toegepast. Als men de beperkingen van een studie niet kent, bestaat het gevaar dat de studie klakkeloos wordt toegepast in situaties waarin het niet verstandig is om deze toe te passen. Als men de sterke punten niet kent, bestaat het gevaar dat men zich alleen richt op de beperkingen en vervolgens het kind met het badwater weggooit. Aangezien de verschillende rapporten over de studie maatschappelijke waarde van kortere en betrouwbaardere reistijden meer aandacht besteden aan de sterke punten dan aan de beperkingen, denk ik dat het eerste gevaar groter is dan het tweede gevaar. Om deze reden richt dit paper zich vooral op de beperkingen van de studie, met name door claims in twijfel te trekken. In het discussiepaper verdedig ik onder meer de volgende stellingen: De claim van de KiM-studie dat de uitkomsten representatief zijn voor Nederland, is onvoldoende onderbouwd; De claim van de KiM-studie dat de methoden die zijn toegepast state-of-the-art zijn, is incorrect; De claim van de KiM-studie dat de uitkomsten in lijn zijn met internationale waarderingsstudies, is incorrect; Doordat de gevonden kengetallen voor reistijdwaardering en betrouwbaarheidswaardering zijn omgeven met onzekerheden, is het suboptimaal dat de KiM-studie louter puntschattingen communiceert; Betrouwbaarheidseffecten van wegprojecten kunnen in een MKBA veel makkelijker worden meegenomen dan betrouwbaarheidseffecten van OV-projecten. Er is sprake van oneerlijke concurrentie. Men moet deze onevenwichtigheid zo snel mogelijk herstellen. Om dit evenwicht te herstellen moet men investeren in het meenemen van betrouwbaarheidseffecten van OV-projecten in een MKBA; De KiM-studie levert kengetallen op voor reistijdwaardering van pleziervaarders, maar besteedt geen aandacht aan de reistijdwaardering van fietsers. Gezien de bijdrage van de fiets aan de mobiliteit van Nederlanders is dit bevreemdend. 2

3 1. Introductie Dit paper bespreekt de studie de maatschappelijke waarde van kortere en betrouwbaardere reistijden 1 van het Kennisinstituut voor Mobiliteitsbeleid (KiM). Deze studie van het KiM levert nieuwe kengetallen op voor de waardering van de verandering in de gemiddelde reistijd en betrouwbaarheid van die reistijd en is gebaseerd op de studie Values of time and reliability in passenger and freight transport in the Netherlands (vanaf nu: VoRVoR-studie), uitgevoerd door een consortium onder leiding van Significance. 2 Het hoofddoel van dit paper is het voeden en scherpstellen van de discussie over het rapport van het KiM en de achtergrondstudie, omdat het een zeer belangrijke studie is voor de beoordeling van infrastructuurprojecten in de Maatschappelijke kosten-batenanalyse (MKBA). Ook bespreekt het paper een aantal richtingen voor verder onderzoek. In het discussiepaper verdedig ik onder meer de volgende stellingen: De claim van de KiM-studie dat de uitkomsten representatief zijn voor Nederland, is onvoldoende onderbouwd; De claim van de KiM-studie dat de methoden die zijn toegepast state-of-the-art zijn, is incorrect; De claim van de KiM-studie dat de uitkomsten in lijn zijn met internationale waarderingsstudies, is incorrect; Doordat de gevonden kengetallen voor reistijdwaardering en betrouwbaarheidswaardering zijn omgeven met onzekerheden, is het suboptimaal dat de KiM-studie louter puntschattingen communiceert; Betrouwbaarheidseffecten van wegprojecten kunnen in een MKBA veel makkelijker worden meegenomen dan betrouwbaarheidseffecten van OV-projecten. Er is sprake van oneerlijke concurrentie. Men moet deze onevenwichtigheid zo snel mogelijk herstellen. Om dit evenwicht te herstellen moet men investeren in het meenemen van betrouwbaarheidseffecten van OV-projecten in een MKBA; De KiM-studie levert kengetallen op voor reistijdwaardering van pleziervaarders, maar besteedt geen aandacht aan de reistijdwaardering van fietsers. Gezien de bijdrage van de fiets aan de mobiliteit van Nederlanders is dit bevreemdend. Het doel van dit paper is niet om de suggestie te wekken dat de kwaliteit van de studie onder de maat is, want dit is mijn mening ook niet. Waarom dan toch de mitsen en maren bespreken? De hoofdreden is dat het kennen van de beperkingen en de sterke punten van een studie ervoor zorgt dat deze beter in de praktijk kan worden toegepast. Als gebruikers (bijvoorbeeld consultants, beleidsambtenaren, burgers, politici en vertegenwoordigers van belangengroepen) de beperkingen van een studie niet kennen, bestaat het gevaar dat de studie klakkeloos wordt toegepast in situaties waarin het niet verstandig is om deze toe te passen. Als gebruikers de sterke punten niet kennen, bestaat het gevaar dat zij zich alleen richten op de beperkingen en vervolgens het kind met het badwater weggooien. Aangezien de verschillende rapporten over de studie maatschappelijke waarde van kortere en betrouwbaardere reistijden meer aandacht besteden aan de sterke punten 3 dan aan de beperkingen, denk ik dat het eerste gevaar groter is dan het tweede gevaar. Het eerste gevaar (beperkingen zijn onbekend) wordt vergroot, doordat de toekomstige gebruiker van de kengetallen relatief diep moet graven om de beperkingen van de studie zelf te kunnen beoordelen. De kengetallen voor reistijdwaardering en betrouwbaarheidswaardering staan straks op de website van het Steunpunt Economische ort_in_the_netherlands.pdf 3 Voordelen zijn bijvoorbeeld dat een duidelijke stap vooruit is gemaakt ten opzichte van de vorige VoT en VoR studie (Hague Consulting Group, 1998), het rapport is gereviewed door binnenlandse- en buitenlandse experts en voor het eerst zijn nu op praktijkonderzoek gebaseerde kengetallen beschikbaar voor de economische en maatschappelijke waardering van een grotere betrouwbaarheid van reistijden. Voor een geheel overzicht van de voordelen: zie KiM (2013) en Significance et al., (2012). 3

4 Evaluatie, 4 voor meer informatie wordt men doorverwezen naar het rapport van het Kennisinstituut voor Mobiliteitsbeleid (KiM, 2013), waarin men verder wordt doorverwezen naar de achtergrondstudie (Significance et al., 2012, een Engelstalig-rapport met relatief veel jargon) voor meer informatie. Ook deze achtergrondstudie bespreekt niet alle beperkingen van de studie. Om deze reden richt ik mij in dit paper vooral op de beperkingen van het onderzoek. Ter onderbouwing van de kritische beschouwing van de studie maatschappelijke waarde van kortere en betrouwbaardere reistijden zijn de brondocumenten bestudeerd. Alle vragen die bij het lezen van de studies naar boven kwamen werden genoteerd. Deze vragen werden vervolgens met drie onderzoekers die de VoTVoR-studie hebben uitgevoerd of begeleid (Pim Warffemius, Gerard de Jong en Erik Verhoef) besproken. De interviews zorgden ervoor dat een aantal vragen bij de VoTVoR-studie werden weggenomen. 5 De vragen die niet (volledig) werden weggenomen zullen worden besproken in dit paper. Voor aanvang aan het discussiepaper nog drie opmerkingen ter positionering van het paper: 1 Ik stel het erg op prijs dat de drie onderzoekers tijd hebben vrijgemaakt voor een interview, waarin zij louter kritische vragen over hun onderzoek kregen voorgeschoteld; 2 De drie onderzoekers waren het met een aantal stellingen die ik poneerde eens, maar met een aantal juist zeer oneens. De standpunten die dit paper inneemt zijn dus geheel voor rekening van de auteur; 3 De stellingen die ik in dit paper verdedig, zijn vaak net iets scherper dan mijn eigen mening. Waarom? Ik denk dat je als wetenschapper naast het publiceren in topjournals en het dissemineren van onderzoeksresultaten soms de rol van de Advocaat van de Duivel moet aannemen om discussies over beleid of beleidsstudies aan te wakkeren (Huys noemt dit de rol de Middeleeuwse nar, 2011). Zoals een advocaat soms een cliënt verdedigt die hij als rechter zou veroordelen, zo reflecteer ik in dit paper kritisch op een studie, die ik wellicht als beleidsambtenaar zonder vragen zou toepassen. Het CVS is denk ik de ideale plaats voor wetenschappers om de rol van Advocaat van de Duivel ten opzichte van het beleid aan te nemen (zie ook, te Brömmelstroet, et al., 2013). Maar dit geldt ook andersom. Wat heeft het beleid gehad aan alle wetenschappelijke studies die de laatste 40 jaar op het snijvlak van verkeer, vervoer en ruimtelijke ordening zijn uitgevoerd? 2. De VoTVoR-studie in een notendop Het verbeteren van de gemiddelde reistijd en de betrouwbaarheid zijn belangrijke baten van investeringen in transportinfrastructuur (zoals spoorverbreding, nieuwe snelwegen, uitbreiding van een luchthaven of vergroting van een sluis). Deze baten zijn steeds samengesteld uit een financiële waardering per eenheid (P) vermenigvuldigd met een hoeveelheid (Q). Als bijvoorbeeld door de aanleg van een nieuwe weg een fileknelpunt wordt opgelost waardoor reizigers Q uren aan reistijd per jaar besparen, dan zijn de reistijdbaten op jaarbasis P X Q. De VoTVoR-studie gaat over de financiële waardering per eenheid (de P). De kengetallen voor de waardering van de verandering in de gemiddelde reistijd (Value of Time, vanaf nu: VoT) en betrouwbaarheid (Value of Reliability, vanaf nu: VoR) kunnen worden toegepast in Maatschappelijke kosten-batenanalyses (MKBA s) voor de waardering van verandering in de gemiddelde reistijd en betrouwbaarheid als gevolg van nieuwe infrastructuurprojecten Voorbeelden van vragen die tijdens de interviews werden weggenomen zijn: In hoeverre is het verantwoord om mensen met een OV-jaarkaart, mensen met een jaarabonnement en mensen zonder abonnement hetzelfde experiment te laten doen? In hoeverre is er gecorrigeerd voor strategisch antwoordgedrag? In hoeverre kan het verschil in waardering tussen lange en korte reisafstanden worden verklaard door het reference point effect Hjorth en Fosgerau (2012)? 6 Merk op dat er kritiek is op het inschatten van baten en kosten van ruimtelijk-infrastructurele projecten aan de hand van reistijdveranderingen en betrouwbaarheidsverandering. Zie bijvoorbeeld, Accessibility is gold, mobility is not: a proposal for the improvement of Dutch transport-related cost-benefits analysis (Ferreira et al., 2012). 4

5 Vanaf 2005 neemt men betrouwbaarheidswinsten al mee in MKBA s voor investeringen in wegprojecten. Bij wegprojecten waar sprake is van congestie mocht voor het berekenen van de betrouwbaarheidswinsten een opslag op de reistijdwinsten worden gehanteerd. Er geldt: betrouwbaarheidsbaten = reistijdbaten X 0,25. Dit opslagpercentage van 25% is ontleend aan CPB (2004). Deze opslag van 25% wordt door hoofdrolspelers in de Nederlandse beoordelingspraktijk voor ruimtelijk-infrastructurele projecten als problematisch ervaren (Mouter et al., 2013). Omdat de gebruikte opslag van 25% een grof gemiddelde is, kunnen betrouwbaarheidsbaten voor specifieke betrouwbaarheidsprojecten worden over- of onderschat. Daarnaast laat de opslagmethode alleen betrouwbaarheidsbaten zien als er ook reistijdwinsten zijn. Al in 2005 werd de behoefte geformuleerd om waarderingskengetallen voor betrouwbaarheidswinsten te formuleren op basis van empirisch onderzoek. Deze behoefte is nu middels de VoTVoR-studie vervuld. Om de maatschappelijke waardering van reistijd en betrouwbaarheid van reistijd te bepalen, is gebruik gemaakt van zogenoemd stated-preference-onderzoek, waarbij de respondenten situaties krijgen voorgelegd waarin de kosten van de reis, de reistijd en de betrouwbaarheid van de reistijd variëren. Uit de keuzes die respondenten maken, is afgeleid hoe zij reistijd, betrouwbaarheid van de reistijd en geld tegen elkaar afwegen. Het voordeel van stated-preference-onderzoek is dat de onderzoeker controle heeft over de variaties in kosten, reistijd en spreiding van reistijd die aan de respondenten worden voorgelegd. De dataverzameling voor het personenverkeer en -vervoer is in twee stappen verlopen. Bij de eerste steekproef (2009) is gewerkt met een internetenquête (aantal respondenten: 5.760). Initiële modellen die op deze data werden geschat lieten veel kleinere reistijdwaarderingen zien dan eerdere waarden. Om deze reden is in 2011 nieuwe data verzameld. Reizigers op benzinestations, parkeerplaatsen langs de snelweg en in de stad, treinstations en bushaltes werd gevraagd om deel te nemen aan het onderzoek. Respondenten die mee wilden doen, kregen een weblink naar de vragenlijst mee naar huis (aantal respondenten: 1.430). Inmiddels zijn er verschillende rapporten en papers over de resultaten van de VoTVoR-studie verschenen. Het paper dat op het CVS gepresenteerd wordt, trekt onder meer de volgende conclusies: (Warffemius et al., november 2013) Blz. 7: Representatief: In dit hoofdstuk staan de nieuwe waarderingskengetallen voor veranderingen in de gemiddelde reistijd en de betrouwbaarheid van de reistijd. Deze getallen zijn representatief voor Nederland ; Blz. 7: State-of-the-art: in dit onderzoek zijn de laatste relevante nationale en internationale wetenschappelijke ontwikkelingen verwerkt ; Blz. 8: In lijn met internationale waarderingsstudies: Vergelijking met recente internationale waarderingsstudies toont aan dat de nieuwe Nederlandse VoTs en VoRs uit deze studie goed in lijn zijn met de reistijd- en betrouwbaarheidswaarderingen die in vergelijkbare landen worden gebruikt. Op elk van de statements reflecteer ik kritisch verderop in het paper. 3. Kritische beschouwing op de statements die worden gemaakt in de VoTVoR-studie 3.1. De nieuwe VoTs en VoRs zijn representatief voor Nederland. Warffemius et al. (2013) en KiM (2013) stellen dat de gevonden kengetallen in de VoTVoR-studie representatief zijn voor Nederland. Je kunt op basis van het onderzoek uitspraken doen over de VoT en de VoR van de gemiddelde Nederlandse reiziger gerelateerd aan het kenmerk van de reis. Ik beargumenteer dat deze claim onvoldoende is onderbouwd om een aantal redenen. Voordat ik deze redenen bespreek, eerst wat uitleg over het begrip representativiteit in relatie tot deze studie. 5

6 Wanneer is er sprake van representativiteit? Er is pas sprake van een representatieve steekproef als de specifieke persoonskenmerken die bepalend zijn voor waardering van reistijd en betrouwbaarheid in dezelfde verhouding voorkomen in de steekproef en de populatie (zie CBS: Onderzoek Verplaatsingen in Nederland 2010, afgekort OViN, voor informatie over deze populatie). Meer specifiek, als geslacht invloed heeft op de waardering van reistijd dan wil je dat de percentages mannen en vrouwen in de steekproef overeenkomen met de percentages mannen en vrouwen in de populatie. De steekproef moet zoveel mogelijk een miniatuur zijn van de populatie. De VoTVoR-studie onderscheidt vijf specifieke persoonskenmerken die volgens de literatuur bepalend kunnen zijn voor de waardering van reistijd en betrouwbaarheid. Naast geslacht zijn dit leeftijd, educatie, inkomen en type huishouden. Als de steekproef representatief is voor deze kenmerken, dan is de steekproef ook representatief voor de reistijdwaardering van de Nederlandse reiziger. Vreemd genoeg beschrijft de studie van Significance et al. (2012) niet in welke verhouding de verschillende kenmerken in de steekproef en in de populatie vertegenwoordigd zijn. Een tabel die de deelnemers aan het onderzoek uitsplitst naar de vijf relevante persoonskenmerken en een tabel met een uitsnede van Nederlandse reizigers naar deze vijf kenmerken (OViN) zou van nut zijn geweest. Hierdoor zou het mogelijk zijn voor de lezer om de representativiteit van de studie zelf te beoordelen. Hoewel men in de achtergrondstudie (Significance et al., 2012) waarop de conclusies van Warffemius et al. (2013) en KiM (2013) zijn gebaseerd niet expliciet de conclusie trekt dat de steekproef representatief is voor Nederland, 7 stelt men wel dat de studie representatief is gemaakt door weging toe te passen (Significance et al., 2012, blz. 112): In the second step, we make our survey representative for the mobility of the Dutch population. For this, we divided all trips in the OViN (Onderzoek Verplaatsingen in Nederland 2010 by Statistics Netherlands) based on five population variables (gender, age, income, household composition and education) and two trip variables (period of the day combined with travel mode and travel time category combined with travel mode)..the distribution of the trips in our survey over the seven variables is different from the whole Dutch population (e.g. many more commuters are present in the VOTVOR survey than one would expect in a typical sample). An Iterative Proportional Fitting method was used to calculate new weights for our VOTVOR survey such that the weighted distributions for the seven variables match the weighted distributions of the OViN survey. In calculating the final values of time, the value of time for each respondent is weighted with this weight factor as determined by this expansion procedure, and with the travel time. Ik stel dat het onzeker is of de stelling we make our survey representative for the mobility of the Dutch population klopt. Indien een relevante subgroep 8 in de steekproef ondervertegenwoordigd is, kan men via weging ervoor zorgen dat gecorrigeerd wordt voor niet-representativiteit bij het schatten van de VoT en de VoR. Door weging toe te passen, kun je op basis van een niet-representatieve steekproef toch representatieve uitspraken doen. Een noodzakelijke voorwaarde is wel dat alle relevante subgroepen binnen de populatie vertegenwoordigd zijn in de steekproef. Wegen zorgt er niet ineens voor dat je observaties hebt van mensen waarvan je geen observaties hebt. Meer specifiek, als je een populatie hebt van 500 mannen en 500 vrouwen en je trekt een steekproef van 100 mannen en 0 vrouwen, dan helpt weging niet om met deze nietrepresentatieve steekproef een representatieve uitspraak te doen over de populatie, omdat je geen observaties hebt van vrouwen. Een tabel die uitwijst dat alle subgroepen vertegenwoordigd zijn in de steekproef, zou helpen om te kunnen bepalen of aan de voorwaarde van alle relevante subgroepen zijn er observaties voldaan is. Ben je er dan als je van elke relevante subgroep ten minste één observatie hebt? Dit is 7 Het doel van dit project was om de officiële waarden voor tijd in zowel het personenverkeer en- vervoer als het goederenvervoer te actualiseren en niet zozeer om representatieve waarden te genereren. 8 Voorbeeld van een subgroep: hoogopgeleide vrouwen met een hoog inkomen. 6

7 een vraag die niet ondubbelzinnig kan worden beantwoord. Indien in het bovenstaande voorbeeld de steekproef bestaat uit 2 vrouwen en 98 mannen, bestaat er een kans dat de reistijdwaardering van deze 2 vrouwen sterk afwijkt van de andere 498 vrouwen in de populatie. De reistijdwaardering van deze 2 vrouwen geeft dan een sterk vertekend beeld. Een weging van de steekproef van 2 vrouwen 98 mannen zorgt er niet voor dat representatieve uitspraken kunnen worden gedaan voor de populatie. Het risico op een vertekend beeld binnen een subgroep neemt af als het aantal respondenten per subgroep toeneemt. Bij een steekproef van 10 vrouwen en 90 mannen wordt het risico bijvoorbeeld kleiner. Kortom, de uitspraak dat men met wegingen de uitkomsten van de steekproef representatief maakt voor de gemiddelde Nederlandse reiziger kan alleen worden bevestigd als duidelijk is dat men van elke subgroep voldoende observaties heeft. Nu het rapport geen informatie geeft om te kunnen controleren of aan deze voorwaarde is voldaan, is het onzeker of de uitspraak klopt dat de nieuwe waarderingen voor reistijd en reistijdbetrouwbaarheid representatief is gemaakt voor Nederland door wegingen toe te passen. Nogmaals, het is raadzaam om informatie over de steekproef en de populatie in het KiM-rapport of de achtergrondstudie te presenteren, zodat gebruikers van de studie zelf een oordeel kunnen vellen over de representativiteit. Dit geldt met name voor de steekproef 2011, waar de VoTs en de VoRs in belangrijke mate op zijn gebaseerd. Deze informatie is nodig om de claim deze getallen zijn representatief voor Nederland te onderbouwen Representativiteit bus/tram/metro, luchtvaart en pleziervaart moeilijk te verdedigen Ik stel dat voor drie groepen modaliteiten in het bijzonder geldt dat de basis voor de claim dat door het toepassen van wegingen representatieve uitspraken kunnen worden gedaan, dun is. Ten eerste de groep zakelijk verkeer bus/tram/metro. In de steekproef van 2011, waar de VoT en de VoR zakelijk verkeer bus/tram/metro voor een belangrijk deel op zijn gebaseerd, bestond de groep zakelijk verkeer bus/tram/metro uit slechts 11 respondenten (omdat er in de steekproef van 2009 een bias zat naar mensen met een lage reistijdwaardering is deze steekproef slechts gebruikt om de coëfficiënten voor persoonskenmerken en afstand te schatten). Doordat er voor het segment bus/tram/metro slechts 11 mensen in de steekproef 2011 zaten, heeft men er in de VoTVoR-studie voor gekozen om geen apart model te schatten voor dit segment. De VoT zakelijk verkeer bus/tram/metro is ingeschat door een gezamenlijk model te schatten voor alle zakelijke reizigers, waarna de VoT zakelijk verkeer bus/tram/metro is bepaald door te corrigeren voor afstand en persoonskenmerken in het segment zakelijk verkeer en voor de kenmerken van de zakelijke bus/tram/metro trips in het OViN. Ik stel dat dit misschien de juiste keuze is geweest, gezien de data die beschikbaar is. Veel beter zou het echter zijn om meer respondenten in het segment bus/tram/metro zakelijk te rekruteren. Nu schat je een VoT en een VoR voor het segment zakelijk verkeer bus/tram/metro, terwijl er maar 11 respondenten hebben deelgenomen aan het onderzoek, waarvoor aannemelijk is dat zij geen onderdeel zijn van een steekproef die onderhevig is aan bias. Dit is een dunne basis. Het gevaar bestaat dat de VoT en de VoR in dit segment geen goede weergave zijn van de werkelijke VoT en VoR van de Nederlandse reiziger. Dit geldt ook voor de gecombineerde VoT en VoR voor luchtvaart woon-werk + luchtvaart zakelijk. Slechts 30 respondenten uit dit segment hebben deelgenomen aan de steekproef in 2011 (Significance, 2012; tabel 38, blz. 83). De basis van de VoT en de VoR luchtvaart woon-werk + luchtvaart zakelijk is dun, terwijl deze kengetallen wel zullen worden toegepast in een eventuele MKBA van een nieuwe Kaagbaan. Mijn aanbeveling is om meer respondenten in het segment luchtverkeer zakelijk + luchtverkeer woon-werk en het segment zakelijk verkeer bus/tram/metro te rekruteren. De derde groep VoTs waarbij de representativiteit in het bijzonder onvoldoende is onderbouwd, is de VoT voor pleziervaarders. De respondenten zijn gerekruteerd in het Gooi (Naarden en Muiden) en in Bruinesse (Zeeland). Of de gevonden VoT representatief is voor de gemiddelde Nederlandse pleziervaarder is niet zeker. Je kunt een aanname maken dat pleziervaarders van haven naar haven trekken en de mensen die zijn gerekruteerd in het Gooi en in Bruinesse een goede mix zijn van verschillende typen Nederlandse pleziervaarders. Het is echter de vraag hoe houdbaar deze aanname is. Het is niet onaannemelijk dat de deelnemers aan het onderzoek één type pleziervaarders vertegenwoordigen met waarschijnlijk een hoger gemiddeld inkomen (het Gooi is een regio met een hoog gemiddeld inkomen) en waardering voor reistijdwinst dan de gemiddelde pleziervaarder. 7

8 Doordat er in de VoTVoR-studie geen tabel is opgenomen met informatie over de respondenten per rekruteringslocatie (hoeveel respondenten hebben per locatie meegedaan? Wonen respondenten in de buurt van de rekruteringslocatie?) weet je absoluut niet zeker of de gevonden VoT representatief is voor Nederlandse pleziervaarders. Aangezien men niet in Friesland heeft gerekruteerd, is het aannemelijk dat mensen die vaak op de Friese meren varen, niet zijn opgenomen in de steekproef. Mogelijk verschilt het gedrag van deze groep pleziervaarders van de pleziervaarders die in de steekproef zijn opgenomen en heeft deze groep een afwijkende waardering voor verandering in reistijd. Dat men pleziervaarders op de Friese meren niet heeft opgenomen in de steekproef is extra opmerkelijk nu de VoTs voor de pleziervaart juist zullen worden gebruikt voor MKBA s van sluisprojecten en brugprojecten in Friesland. Kortom, hoogstwaarschijnlijk kun je op basis van de VoTVoR-studie een representatieve uitspraak doen over de VoT van pleziervaarders uit het Gooi (of voor pleziervaarders met soortgelijke kenmerken, denk aan Wassenaar), maar niet voor pleziervaarders op de Friese meren. Dit, terwijl de VoT voor de pleziervaart vaak voor Friese projecten zal worden gebruikt Pace of life Uit de voorgaande paragrafen volgt dat representativiteit gewaarborgd is als elke relevante subgroep in de populatie voldoende vertegenwoordigd is in de steekproef. Relevante subgroepen bepaalt men door vast te stellen welke persoonskenmerken de waardering van reistijd en betrouwbaarheid beïnvloeden. De VoTVoRstudie onderscheidt vijf persoonskenmerken te weten: geslacht, leeftijd, educatie, inkomen en type huishouden. Mijns inziens, zijn dit niet de enige vijf persoonskenmerken die de waardering van reistijd en betrouwbaarheid beïnvloeden. Levensstijl is bijvoorbeeld een variabele die invloed heeft op reistijdwaardering. Dit punt illustreer ik met een uitspraak van een Noorse respondent die ik interviewde voor mijn studie MKBA Internationaal (Mouter, forthcoming): dat mensen in Oslo tijd anders waarderen dan in Noord-Noorwegen kun je met het blote oog zien. Mensen in Oslo hebben altijd haast, mensen op het platteland doen het rustig aan. Tuurlijk heeft dit ook te maken met inkomen en educatie, maar het zit ook in de mentaliteit. In The geography of time werkt psycholoog Robert Levine (2006) uit dat cultuur een grote invloed heeft op het perspectief van tijd van mensen, doordat zij een verschillende Pace of Life hebben. Levine vergeleek onder meer het verschil in Pace of Life tussen 60 Amerikaanse steden. Philip Zimbardo (bekend van het Stanford prison experiment) werkt in een korte presentatie ( een aantal resultaten van Levine uit en stelt in een eigen onderzoek vast dat Noord-Italianen een andere Pace of Life hebben dan Sicilianen. In analogie met de resultaten van Levine en Zimbardo kun je in Nederland verwachten dat mensen in de Randstad (en misschien in de regio Arnhem-Nijmegen en Brabantstad) een meer gehaaste Pace of Life hebben dan mensen in de rest van Nederland. Naar mijn idee is het niet onaannemelijk dat Pace of Life (gecorrigeerd voor de vijf andere persoonskenmerken) de waardering voor reistijdwinst beïnvloedt (High Pace of Life, hoge reistijdwaardering). Het is onduidelijk of de VoTVoR-studie 2011 hier expliciet rekening mee houdt. In ieder geval is het duidelijk dat respondenten vooral zijn gerekruteerd op plaatsen waar je veel mensen met een High Pace of Life verwacht (Rotterdam Groothandelsgebouw, Amsterdam Muntplein, Den Haag CS, Eindhoven CS, Leiden CS, Den Bosch CS, Utrecht CS, Rotterdam CS, Arnhem CS etc.). Ook is het zeker dat er niet is gerekruteerd in provincies als Overijssel, Drenthe, Limburg, Groningen, Friesland en Flevoland waar je mensen met een Low Pace of Life verwacht. Indien mensen met een Low Pace of Life ondervertegenwoordigd zijn in de steekproef, heeft dit tot gevolg dat de VoTs en VoRs die voortvloeien uit de VoTVoR-studie overschattingen zijn van de daadwerkelijke VoTs en VoRs van de gemiddelde Nederlandse reiziger. Naar mijn idee kan je een goede balans tussen High Pace of Life en Low Pace of Life op twee manieren zekerstellen: Je voegt Pace of Life toe als persoonskenmerk. Je probeert Pace of Life zo goed mogelijk te operationaliseren. Vervolgens onderzoek je hoe de populatie kan worden onderverdeeld naar Pace of Life (hoeveel Nederlandse reizigers hebben High, Medium en Low Pace of Life?). Je neemt vragen op in de enquête om Pace of Life van de respondenten vast te stellen. Ten slotte controleer je of de 8

9 verschillende Paces of Life voldoende vertegenwoordigd zijn in de steekproef in relatie tot de populatie; Je rekruteert ook in gebieden waar de verwachting is dat mensen een Low Pace of Life hebben. Bijvoorbeeld Overijssel, Drenthe, Limburg, Groningen, Friesland en Flevoland. De eerste optie is wetenschappelijk gezien eleganter. De tweede optie lijkt een realistischer alternatief. Je vergroot de kans dat je voldoende mensen met een High Pace of Life en een Low Pace of Life in je steekproef hebt, door zowel te rekruteren in gebieden waar je veel mensen verwacht met een High Pace of Life als in gebieden waar je veel mensen verwacht met een Low Pace of Life. Aanbevelingen: ik stelt dat het verstandig is om aan de volgende punten aandacht te besteden, indien de studie wordt herhaald of alsnog wordt uitgebreid: Meer rekruteren in niet-stedelijke gebieden (Overijssel, Limburg, Drenthe, Groningen, Friesland en Flevoland); Stel eerst vast wat voor soorten pleziervaarders er allemaal zouden kunnen zijn; bijvoorbeeld: zeilers op Oosterschelde / Westerschelde in Zuid-Holland en Zeeland, mensen die in een sloep varen op de Friese meren etc. Vervolgens is het verstandig om voor elke type pleziervaarders een plek te kiezen waar je dit type pleziervaarders vaak zal aantreffen, waarna je op deze plekken gaat rekruteren; Meer respondenten in het segment luchtverkeer zakelijk + luchtverkeer woon-werk ; Meer respondenten in het segment bus/tram/metro zakelijk ; Neem een tabel op in het rapport die weergeeft hoeveel respondenten er per rekruteringslocatie hebben meegedaan; Neem een tabel op in het rapport waarin zowel de steekproef als de populatie wordt uitgesplitst naar de persoonskenmerken die samenhangen met VoT en VoR; Voer een non-response analyse uit. De laatste aanbeveling voer een non-response analyse uit verdient nadere uitleg. Wat is een non-response analyse en wat is het nut ervan? Non-response analyse In een non-response analyse onderzoek je of er verschillen bestaan tussen mensen die wel deelnemen aan het onderzoek en mensen die niet deelnemen aan het onderzoek, als het gaat om persoonskenmerken die relevant zijn voor de variabelen die onderwerp zijn van onderzoek (in dit geval de VoT en de VoR). Indien een groep mensen met een hoge reistijdwaardering om wat voor reden dan ook ondervertegenwoordigd is in de steekproef dan bestaat de kans dat de VoTs die uit het onderzoek komen, lager zijn dan de VoTs van de gemiddelde Nederlandse reiziger. Uit de achtergrondstudie volgt dat men de onderzoeksresultaten van de PanelClix-studie in 2009 om deze reden niet vertrouwde (Significance et al., Blz. 100): This means that in the 2009 survey there was a bias towards low-vot people that have the time to be a member of an internet panel, and an additional bias towards those internet panel members that were willing to give up the time required to actually participate in this survey. Probably, people who cannot afford much (after correction for income) are more likely to participate in an internet panel and to fill in the web questionnaire for a reward. These people have a relatively low VOT. Om deze reden startte men in 2011 een nieuw onderzoek. De vraag is echter hoe men heeft vastgesteld dat de resultaten van het onderzoek in 2011 wel goed zijn? Was hier geen sprake van bias towards low-vot people, of juist een bias towards high-vot people? 9 Dit is onbekend. Je zou dit alleen kunnen controleren door 9 Een argument voor een bias towards high-vot people, zou kunnen zijn dat mensen die geen toegang hebben tot internet en mensen die weinig gebruik maken van internet, minder kans hebben om deel te nemen aan het onderzoek, omdat 9

10 gegevens in te winnen van mensen die niet hebben deelgenomen aan het onderzoek en deze te vergelijken met de mensen die wel hebben deelgenomen aan het onderzoek. Hoe kun je dit organiseren? Potentiële deelnemers zijn voor de VoTVoR 2011-studie gerekruteerd bij een benzinestation of een parkeergarage. Als de deelnemers toestemden mee te doen, schreef de persoon die hen rekruteerde hun mailadres op. Dit was een goed moment om naast het mailadres ook andere gegevens te noteren (bijvoorbeeld inkomen, maar het is waarschijnlijk verstandiger om één vraag uit het keuze-experiment voor te leggen, waarbij de kans groot is dat iemand met een hoge reistijdwaardering voor optie A kiest en iemand met een lage reistijdwaardering voor optie B). Uiteindelijk zijn 3650 personen gerekruteerd, waarvan 1671 personen de enquête uiteindelijk afmaakten. Men zou een non-response analyse kunnen uitvoeren door de gegevens die men noteerde van de 1979 mensen die niet meededen te vergelijken met de gegevens van de 1671 personen die wel meededen. Zeker bij pleziervaart en luchtvaart is het interessant om te analyseren of de non-respons niet alleen bestond uit mensen met een veel hogere VoT dan de mensen die wel hebben deelgenomen aan het onderzoek. Armstrong en Overton (1977) bespreken een methode waarop je een non-response analyse op een Quick and Dirty manier kunt uitvoeren. Armstrong en Overton nemen aan dat mensen die pas na reminders reageren op een enquête meer lijken op de non-response dan de mensen die direct de enquête hebben ingevuld. Zij stellen voor om apart de gevonden uitkomsten van mensen die direct reageren, mensen die reageren na één reminder en mensen die reageren na twee reminders in te schatten, om vervolgens te extrapoleren naar de mensen die ook na reminders niet hebben deelgenomen aan het onderzoek (bij de VoTVoR-studie is de non-response 45%). Het idee van Armstrong en Overton illustreer ik hieronder met een fictief voorbeeld. Stel dat 54% van de mensen die zijn gerekruteerd, uiteindelijk hebben meegedaan aan het onderzoek. 18% reageerde direct en heeft een VoT van 7 euro; 18% reageerde na de eerste reminder en heeft een VoT van 8 euro; 18% reageerde pas na de tweede reminder en heeft een VoT van 9 euro. Als je gaat rekenen met de mensen die hebben meegedaan aan het onderzoek vind je waarschijnlijk een VoT van rond de 8 euro. Armstrong en Overton stellen dat dit onjuist is. De kans is aanzienlijk dat een groot deel van de mensen die niet hebben meegedaan aan het onderzoek een hogere VoT hebben dan 9 euro (zie figuur 1). In dit fictieve voorbeeld is er urgentie om nieuwe data te verzamelen. De VoT van de respons, verschilt sterk van de VoT van de non-response, waardoor de VoT wordt onderschat als je alleen met de respons rekent. Figuur 1: fictief voorbeeld van toepassing van methode Armstrong en Overton (1977) op een VoT-studie 15 Value of Time 10 5 Value of Time 0 18% 36% 54% 100% Ik beveel aan om in ieder geval een quick and dirty non-response analyse te doen voor de VoTVoR-studie door te extrapoleren vanuit de VoTs van mensen die gelijk de enquête invulden en de mensen die pas na een reminder de enquête invulden. gebruik is gemaakt van een webenquête. Als we aannemen dat dit mensen zijn met een lage Value of Time (na correctie voor inkomen), zijn de VoTs en VoRs die volgen uit de VoTVoR-studie overschattingen. 10

11 3.2 De uitkomsten zijn in lijn met internationale waarderingsstudies KIM (2013, blz. 15) concludeert dat vergelijking met recente internationale waarderingsstudies aantoont dat de nieuwe Nederlandse VoTs en VoRs uit deze studie goed in lijn zijn met de reistijd- en betrouwbaarheidswaarderingen die in vergelijkbare landen worden gebruikt. De Noorse en Zweedse VoTstudies worden aangehaald als meeste moderne studies in vergelijkbare landen. Deze conclusie gebruikt men ook als argument dat de gevonden VoTs en VoRs uit de VoTVoR-studie 2011 correct zijn (in tegenstelling tot de de VoTs en VoRs die voortvloeiden uit de VoTVoR-studie 2009). Even een gedachtenexperiment: in zekere zin is hier sprake van confirmation bias. Als de resultaten overeenkomen met resultaten van vergelijkbare landen (VoTVoR-studie 2011) dan kloppen de uitkomsten waarschijnlijk en studeert men niet door. Wijken de resultaten af (VoTVoR-studie 2009), dan is er vast iets mis en studeert men door, totdat men VoTs en VoRs vindt die lijken op de VoTs en VoRs van vergelijkbare landen. Confirmation bias brengt in deze casus twee potentiële problemen met zich mee. Ten eerste, als de Nederlandse VoTs en VoRs in werkelijkheid afwijken van het gemiddelde, dan komt dit nooit als resultaat uit een studie, omdat men doorstudeert totdat men waarden vindt die in de buurt van het gemiddelde zitten. Ten tweede, als je wilt dat de waarden in de buurt zitten van waarden in vergelijkbare landen, zou je kunnen stellen dat de studie zonde van het geld is. Het is goedkoper om gewoon de gemiddelde waarden van vergelijkbare landen als VoT en VoR te nemen, als op voorhand duidelijk is dat de resultaten van de studie rond het gemiddelde van vergelijkbare landen moet liggen. Ik stel dat deze conclusie de uitkomsten zijn in lijn met internationale waarderingsstudies te stellig is als je de VoT en de VoR als puntschattingen in de MKBA gebruikt. Mijn argument is dat het zeer opmerkelijk is dat de VoT voor treinreizigers in Zweden 7.20 euro is (Significance et al., 2012) en in Zwitserland euro (Axhausen et al., 2006, geciteerd in Wardman et al., 2012), tegenover een VoT van euro in Nederland (zie Significance et al., blz. 122). Daarbij is de VoT voor woon-werk autoverkeer in Nederland 9.25 euro. Dit wijkt af van Noorwegen: euro (Ramjerdi et al., 2010), Denemarken: euro (Fosgerau et al., 2007), Engeland 6.53 euro (Mackie et al., 2003) en Duitsland 5.95 euro (Wardman et al., 2012). De VoT voor zakelijk autoverkeer is in Nederland euro. Dit wijkt af van Noorwegen euro (Ramjerdi et al, 2010). Ik stel dat dit te grote verschillen zijn om te concluderen dat de puntschattingen van de Nederlandse studie in lijn zijn met vergelijkbare landen Doe gevoeligheidsanalyses op de VoT en de VoR De gevonden kengetallen voor reistijdwaardering en betrouwbaarheidswaardering zijn geen kiezelharde getallen. De kengetallen zijn omgeven met onzekerheden, maar onzekerheden rondom kengetallen voor reistijdwaardering worden niet besproken in het KiM-rapport (2013) en Warffemius et al. (2013). Ook de achtergrondstudie besteedt nauwelijks aandacht aan de onzekerheden rondom de gevonden kengetallen. Er worden bijvoorbeeld geen standaarddeviaties gerapporteerd. Uit de interviews met de onderzoekers volgt dat de onzekerheid rondom de kengetallen niet makkelijk vast te stellen is. Er is onzekerheid over de onzekerheid. Ik stel dat het gezien de onzekerheden rondom de VoT en de VoR belangrijk is om gevoeligheidsanalyses op de VoT en de VoR verplicht te stellen in MKBA s, zodat de onzekerheid en de implicaties van de onzekerheid voor de MKBA-uitkomst ook duidelijk te zien zijn voor de lezers van de MKBA. Het gevaar van het hanteren van puntschattingen is dat mensen snel het vertrouwen in studies kunnen verliezen die schijnzekerheden verkopen en niet eerlijk zijn over hun beperkingen (zie onder meer Nicolaisen, 2012). Wat voor gevoeligheidsanalyses moeten er dan worden uitgevoerd? Moet je in een MKBA een VoT voor woon-werk autoverkeer van 7 euro en 11 euro hanteren naast de VoT van 9.25 euro die nu wordt voorgeschreven? Met welke waarden je een gevoeligheidsanalyse zou moeten doen is een beleidsvraag. De VoTs en VoRs die in omringende landen worden gebruikt (12.13 euro, euro, 6.53 euro, 5.95 euro) zouden men als inspiratie kunnen gebruiken. 3.3 De studie is state-of-the-art 11

12 De uitvoerders van de VoTVoR-studie zijn zorgvuldig te werk gegaan als het gaat om het inrichten van het onderzoeksproces rondom data-analysemethoden die zijn gebruikt. De wetenschappelijke kwaliteit is steeds geborgd door nauw samen te werken met nationale en internationale experts en wetenschappers. Het is echter de vraag of het ontwerp van het keuze-experiment en de dataverzameling state-of-the-art is geweest. Eerder behandelde ik de vraag of de manier van rekruteren ervoor heeft gezorgd dat representatieve uitspraken over de VoT en de VoR voor Nederlandse reizigers kunnen worden gedaan. Ik stel dat er pas sprake is van een state-of-the-art onderzoek als er meer aandacht zou zijn besteed aan de representativiteit, door te rekruteren onder meer groepen dan nu het geval is en door het uitvoeren van een goede non-response analyse. Ook beargumenteer ik dat de documentatie niet state-of-the-art is. Men had inzicht moeten geven in de onderverdeling van respondenten naar persoonskenmerk (zoals geslacht, leeftijd en inkomen) en naar rekruteringslocatie (hoeveel pleziervaarders in Bruinesse, Naarden en Muiden?). Dit laatste punt is op zich nog gemakkelijk te herstellen. Hieronder behandel ik twee andere voorwaarden waar zo betoog ik aan voldaan zou moeten worden om de studie state-of-the-art te noemen. Deze voorwaarden richten zich meer op het ontwerp van het keuze-experiment In hoeverre zijn de keuzesituaties realistisch genoeg? Voor het schatten van de VoT en de VoR in een model moet je de attributen (kosten, betrouwbaarheid en reistijd) in het stated-preference-onderzoek variëren. Door deze variatie komt het voor dat keuzesituaties die men voorgelegd krijgt, enigszins afwijken van de keuzesituaties die men in werkelijkheid meemaakt. Het verschil in opties moet duidelijk voelbaar zijn voor de respondent. Het is echter belangrijk dat de keuzesituaties niet te ver zijn losgezongen van de realiteit, omdat het anders de vraag is in hoeverre respondenten nog een serieus antwoord geven. De motivatie van respondenten die deelnemen aan keuze-experimenten waarbij de beloning niet afhangt van de kwaliteit van de antwoorden die worden gegeven mag niet worden overschat. Ik stel dat de keuzesituaties van de VoTVoR-studie veel vraagt van het voorstellingsvermogen van respondenten. Wellicht te veel. De volgende keuzesituatie wordt op blz. 67 van het Significance rapport (2012) gegeven als voorbeeld voor treinreizigers die hebben deelgenomen: Figuur 2: Voorbeeld van een keuzesituatie voor treinreizigers Ik zie twee punten van kritiek op het niveau van realisme van deze keuzesituatie. Opt-out 12

13 Ten eerste heb je in de werkelijkheid bij hooguit 5% van de treinreizen die je maakt meer dan een kwartier vertraging. In dit keuze-experiment, heb je in beide situaties 40% kans op meer dan 20 minuten vertraging en bij keuze A heb je zelfs 20% kans op 80 minuten vertraging. Veel mensen kiezen er in werkelijkheid waarschijnlijk voor om deze reis helemaal niet te maken. Zij blijven thuis of kiezen voor een ander vervoersmiddel. Het gevaar bestaat dat respondenten de bovenstaande keuzesituatie niet serieus genoeg vinden, waardoor zij niet serieus nadenken over hun voorkeur bij het invullen van de keuze. Hoe zou je dit keuze-experiment wel state-of-the-art kunnen maken? Het keuze-experiment zou state-of-theart zijn, als men (een deel van de respondenten, bijvoorbeeld 50%) respondenten een opt-out optie zou bieden. 10 Naast alternatief A en B kan de respondent ervoor kiezen om de reis niet te maken. Als de respondent voor de opt-out kiest, moet hij daarna alsnog zijn voorkeur voor alternatief A of B bepalen. Vervolgens schat je een model inclusief en exclusief de keuzesituaties waarin de respondent eerst voor opt-out heeft gekozen. Het gevolg hiervan is dat de enquête meer tijd kost, waardoor minder respondenten de enquête afmaken. Dit kun je ondervangen door per enquête minder vragen te stellen en tegelijkertijd meer respondenten te rekruteren. Kansenverhouding Ten tweede stel ik dat het lastig is voor treinreizigers om je voor te stellen dat er vijf verschillende aankomsttijden zijn met elk een kans van 20% (zie figuur 1), terwijl de betrouwbaarheid van een treinreis er in werkelijkheid ongeveer als volgt uitziet: op tijd: 90% kans; kleine vertraging: 5% kans; grote vertraging: 5% kans. Het argument om respondenten vijf aankomstmogelijkheden met elk 20% kans voor te schotelen in plaats van de realistische kansenverhouding (90%; 5%; 5%), is dat mensen in keuze-experimenten slecht met kleine kansen en verschillende kansen om kunnen gaan (zie onder meer het werk van Daniel Kahneman). Het is echter de vraag of deze algemene conclusie van Kahneman ook op dit onderzoek van toepassing is. Het is naar mijn idee niet onaannemelijk dat respondenten die dagelijks met de trein reizen, vrij goed uit de voeten kunnen met de kansenverhouding 90%/5%/5%. Zeker als je van tevoren aangeeft dat dit een realistische kansenverhouding is. Het onderzoeksteam heeft in een pilotstudie gekeken welke vorm van presentatie van vijf verschillende aankomsttijden met elk een kans van 20% het best werd begrepen door respondenten (bijvoorbeeld: histogram, verbaal, taartdiagram, percentages). In de pilotstudie legde men verschillende formats aan de respondenten voor (Tseng et al., 2009). Dit was een uitgelezen kans geweest om ook te kijken welke attribuutverhouding door de respondenten het best werd begrepen (5x 20%; 3x 33%; 90%, 5%, 5%). Hoe zou je dit keuze-experiment wel state-of-the-art kunnen maken? Het zou elegant zijn geweest als men het keuze-experiment had uitgevoerd met de realistische kansenverhouding (90%, 5%, 5%) naast de huidige kansenverhouding (5x 20%) om vervolgens voor beide experimenten een model te schatten. Ook dit zal leiden tot extra onderzoekslasten. Hoge onderzoekslasten zijn echter onvermijdelijk als state-of-the-art het doel van het onderzoek is. Kortom: ik betoog dat het de vraag is of het ontwerp van het keuze-experiment en de dataverzameling stateof-the-art is geweest. Had een realistischer ontwerp van het keuze-experiment en een betere dataverzameling tot andere VoTs en VoRs geleid? Deze vraag is alleen te beantwoorden door deze exercitie daadwerkelijk uit te voeren. 4. Overige aanbevelingen reistijdwaardering en betrouwbaarheidswaardering in de MKBA 10 State-of-the-art definieer ik als het hoogste niveau van kwaliteit dat met de huidige kennis bereikt kan worden. 13

14 De VoTVoR-studie levert een aantal kengetallen op voor de waardering van reistijdverandering en betrouwbaarheidsverandering. Welke stappen zouden nog kunnen worden gemaakt in dit onderzoeksgebied? In deze sectie bespreek ik drie belangrijke stappen. 4.1 Betrouwbaarheidswinsten voor OV-projecten Uit de VoTVoR-studie volgt dat betrouwbaarheidswinsten in de status quo voor de modaliteiten weg en binnenvaart wel kunnen worden meegenomen middels een opslag op de reistijdwinsten. Voor andere modaliteiten trein, bus/tram/metro en vliegtuig is een dergelijke tijdelijke rekenregel niet beschikbaar. Daardoor kunnen betrouwbaarheidswinsten die ontstaan door investeringen in deze infrastructuur, alleen in MKBA s worden meegenomen door deze kwalitatief te beschrijven. Uit het KiM rapport (2013) volgt dat voor andere modaliteiten dan weg of binnenvaart (trein, bus/tram/metro en vliegtuig) goede informatie ontbreekt over de effecten van beleidsmaatregelen op de betrouwbaarheid van reistijden. Daarnaast is een tijdelijke rekenregel zoals de 25% opslag die bij het wegverkeer wordt gebruikt en de 15% opslag die bij de binnenvaart wordt gebruikt niet beschikbaar. Daardoor kunnen betrouwbaarheidswinsten die ontstaan door investeringen in deze infrastructuur, niet in de MKBA worden meegenomen. Wat is het probleem? Uit verschillende studies volgt dat effecten die niet in geld zijn uitgedrukt een relatief zwakke positie in MKBA-rapporten hebben ten opzichte van effecten die wel in geld zijn uitgedrukt, wat kan leiden tot een zwakkere positie voor deze effecten in het besluitvormingsproces (zie bijvoorbeeld Mackie & Preston, 1998; Mishan, 1988; Mouter, 2012). Indien betrouwbaarheidswinsten bij wegprojecten wel in het MKBA-saldo worden meegenomen en bij OV-projecten niet, dan is er sprake van oneerlijke concurrentie. Zie in figuur 3 een versimpelde MKBA-tabel voor een wegproject en een OV-project met hetzelfde welvaartseffect: Figuur 3: fictief voorbeeld van een versimpelde MKBA voor een wegproject en een OV-project Wegproject A OV-project B Reistijdwinst euro Reistijdwinsten euro Betrouwbaarheidswinst euro Betrouwbaarheidswinst Bij dit project treden betrouwbaarheidswinsten op Constructiekosten euro Constructiekosten euro Totaal euro Totaal euro + betrouwbaarheidswinst Hoewel het wegproject en het OV-project hetzelfde effect op de welvaart van Nederland hebben, zal de lezer van het rapport snel geneigd zijn om te concluderen dat het wegproject beter scoort dan het OV-project. Er is sprake van oneerlijke concurrentie. Er is één uitzondering op deze regel. In de MKBA Uithoftram (Ecorys, 2011) zijn betrouwbaarheidswinsten gemonetariseerd meegenomen via de standaardafwijking bij wachttijdverdeling bij haltes. Maar dan nog is er sprake van oneerlijke concurrentie. De bewijslast voor OV-projecten blijft onevenredig hoog ten opzichte van wegprojecten. Bij wegprojecten mag je met een gratis vuistregel van 25% rekenen, terwijl je bij een OV-project een model moet draaien met alle onderzoekslast van dien. Deze onevenwichtigheid wordt alleen maar groter nu een onderzoeksproject is opgestart, waarin men een module ontwikkelt voor betrouwbaarheidseffecten bij wegprojecten in het LMS/NRM. In de nabije toekomst kunnen betrouwbaarheidswinsten voor wegprojecten gemonetariseerd in een MKBA worden meegenomen, nadat zij met een standaardmodel worden geschat. Voor OV-projecten kun je de betrouwbaarheidswinsten kwalitatief meenemen of moet een apart model worden opgetuigd. Dat betrouwbaarheid van OV-projecten nog niet fatsoenlijk in een MKBA kan worden meegenomen is vooral problematisch, vanwege het feit dat de NS wordt gestuurd op betrouwbaarheid. Een project met een positief effect op betrouwbaarheid, maar een negatief effect op reistijd scoort slecht in een MKBA (in monetaire zin). 14

15 Aanbeveling: onderzoek naar het inschatten van het effect van maatregelen in het OV op betrouwbaarheid moet direct worden opgestart. Als hier niet voor wordt gekozen, moet er ook een vuistregel komen voor betrouwbaarheidseffecten van OV-projecten om het evenwicht te herstellen. Omdat het verband tussen reistijdwinst en betrouwbaarheid bij OV-maatregelen relatief casus-specifiek is in vergelijking met wegprojecten, is het in dat geval verstandig om verschillende vuistregels per type OV-maatregel te ontwikkelen. 4.2 Wel VoT voor de pleziervaart maar niet voor de fiets? Het is zeer opmerkelijk dat de VoT van pleziervaart is ingeschat in deze studie, terwijl de VoT van fietsers niet is ingeschat. Dit, terwijl we in het buitenland voortdurend goede sier maken met onze fietscultuur. De VoT voor wegverkeer proberen we tot achter de komma uit te rekenen, maar we weten niets over de VoT van deze relatief gezonde en milieuvriendelijke vervoerswijze. Bij MKBA s van het openstaan van bruggen voor pleziervaart, kun je effecten voor de pleziervaart wel in euro s uitdrukken, maar effecten voor fietsers niet. De kengetallen voor de pleziervaart zullen door het ministerie vooral worden gebruikt voor grote sluisprojecten waar er concurrentie is tussen binnenvaart en pleziervaart, maar in de praktijk is het niet onaannemelijk dat er ook MKBA s worden uitgevoerd, waarbij er sprake is van effecten voor pleziervaarders en fietsers. Börjesson en Eliasson (2012) bespreken een eerste aanzet voor het bepalen van de VoT voor fietsers in Zweden. 4.3 Kunnen nationale waarden worden toegepast in alle MKBA s? Naast het opstarten van een onderzoek naar het inschatten van het effect van maatregelen in het OV op betrouwbaarheid en de Value of Time voor fietsers stel ik voor om een derde onderzoek op te starten. Ik stel namelijk dat het belangrijk is om uit te zoeken voor welke infrastructuurprojecten men de nationale waarden 11 zonder verder onderzoek in de MKBA kan toepassen en voor welke infrastructuurprojecten men er goed aan zou doen om (naast de nationale waarden) casus-specifieke VoTs en VoRs in te schatten. Ik stel namelijk dat het bij bijzondere projecten (projecten waarvoor geldt dat mensen waarop het project effect heeft een stuk lagere of hogere VoT en/of VoR hebben dan gemiddeld) belangrijk is om ook de casusspecifieke VoT en VoR in te schatten. De nationale kengetallen kloppen namelijk niet voor dergelijke projecten. Het gevaar van het toepassen van nationale VoTs en VoRs in MKBA s voor dergelijke projecten is dat je de welvaartseffecten van een project sterk over- of onderschat. Door het keuze-experiment voor een aantal potentiële gebruikers van het project te herhalen kan men de VoT en de VoR en dus de welvaartseffecten voor het specifieke project mogelijk substantieel beter inschatten in een MKBA. De kosten van een dergelijk experiment bedragen misschien een paar duizend euro, maar deze kosten verdien je waarschijnlijk terug als het gaat om een project van meerdere miljoenen euro s. Met name als de baten-kosten ratio rond de 1 ligt en de VoT en de VoR die je kiest bepalend zijn voor de uitkomst van de MKBA (positief of negatief). Een nadeel is dat deze oplossing beleidstechnisch mogelijk problemen oplevert. De oplossing leidt namelijk al snel tot strategisch gedrag. Je krijgt waarschijnlijk de volgende situatie: de initiatiefnemer van project A laat een casus-specifieke VoT inschatten. Als deze hoger is dan de nationale VoT, neemt hij deze mee in de MKBA. Is de casus-specifieke VoT lager dan de nationale VoT, dan kiest men voor de nationale VoT. In Zweden heeft men een oplossing verzonnen voor dit probleem. Je moet verplicht een MKBA uitvoeren gebaseerd op nationale waarden, daarnaast mag de initiatiefnemer van het project ook gevoeligheidsanalyses doen met casusspecifieke informatie. Uiteindelijk besluit de minister welke informatie hij of zij gelooft. Mijn idee is dat het idealiter niet alleen mogelijk is voor voorstanders om een gevoeligheidsanalyse op basis van casus-specifieke 11 In deze sectie ga ik ervan uit dat de nationale waarden niet ter discussie staan. Zie de rest van het paper voor discussie over de nationale waarden. 15

16 informatie uit te voeren, maar ook voor tegenstanders, als deze bijvoorbeeld het idee hebben dat de VoT lager is dan het nationale gemiddelde. Mijn voorstel is om onderzoek op te starten waarin twee vragen centraal staan. Ten eerste de vraag: wat zijn voorbeelden van bijzondere projecten waarbij het aannemelijk is dat de VoT en/of VoR (substantieel) hoger of lager ligt dan de nationale waarden? De tweede vraag: hoe kan het beste om worden gegaan met dergelijke bijzondere projecten? Mogelijke opties: 1) Je doet een gevoeligheidsanalyse met een lagere (hogere) VoT en VoR in de MKBA; 2) Je herhaalt het keuze-experiment onder potentiële gebruikers van het project en schat casus-specifieke VoTs en VoRs wanneer het project (bijvoorbeeld) meer dan 10 miljoen euro kost en/of de VoT en de VoR die je kiest bepalend is voor de uitkomst van de MKBA (positief of negatief); 3) de Zweedse oplossing. In de status quo heeft men in het KiM-rapport (2013, blz. 24) al een regel opgesteld, waarmee men aangeeft welke projecten als bijzonder worden aangemerkt als het gaat om het inschatten van betrouwbaarheidseffecten: voor projecten die specifiek tot doel hebben de betrouwbaarheid van reistijden te vergroten, is het dus belangrijk de opslagregel zo veel mogelijk te vermijden. Juist voor dit soort projecten moeten de projecteffecten op de reistijdbetrouwbaarheid nauwkeurig in kaart worden gebracht en worden gewaardeerd met de VoR. Deze regel is echter onscherp. Wat is precies nauwkeurig in kaart brengen? Ook kan de regel zeer strategisch worden gebruikt. Als de casus-specifieke VoR hoger is dan de nationale VoR geeft de initiatiefnemer van het project aan dat het doel van het project is om betrouwbaarheid te vergroten en dus de reistijdbetrouwbaarheid nauwkeurig in kaart moet worden gebracht en andersom. Het onderzoeksvoorstel dat ik hierboven doe, zorgt ervoor dat deze regel concreter kan worden ingevuld. Voor de VoT geldt dat de rapporten over de VoTVoR-studie niet ingaan op de vraag voor welk type projecten je casus-specifieke informatie zou moeten genereren. 5. Conclusie Dit paper bediscussieert een aantal claims van de studie de maatschappelijke waarde van kortere en betrouwbaardere reistijden. Er wordt onder andere kritisch gereflecteerd op de claims dat de studie representatief en state-of-the-art is en dat de resultaten in lijn zijn met internationale waarderingsstudies. Samenvattend stelt dit paper dat de VoTVoR-studie een aantal beperkingen heeft en dat de gevonden kengetallen voor reistijdwaardering en betrouwbaarheidswaardering zijn omgeven met onzekerheden. Is dit nu een reden om te concluderen dat de studie niet bruikbaar is en dus in de prullenbak moet? Het antwoord hierop is: absoluut niet! Het hoofddoel van dit paper is het voeden en scherpstellen van de discussie over het rapport van het KiM en de achtergrondstudie en niet om de suggestie te wekken dat de kwaliteit van de studie onder de maat is, want dit is mijn mening ook niet. Waarom is het dan zo nuttig om de mitsen en maren van deze studie te bespreken? De verschillende rapporten over de studie maatschappelijke waarde van kortere en betrouwbaardere reistijden besteden voldoende aandacht aan de sterke punten van de VoTVoR-studie. Nu is er ook voldoende informatie over de beperkingen beschikbaar. Alle bouwstenen voor een goede discussie (sterke punten, beperkingen) zijn nu voorhanden. Of dit paper uiteindelijk tot discussie zal leiden en wat de uitkomsten van een dergelijke discussie zouden moeten zijn, blijven uiteraard beleidsvragen. Waar moet dit paper verder toe leiden? Het paper geeft drie aanbevelingen voor verder onderzoek: Onderzoek naar het modelleren van betrouwbaarheid van openbaar vervoer in het LMS/NRM moet direct worden opgestart. Zo kunnen betrouwbaarheidseffecten van OV-projecten in de toekomst gemakkelijk worden meegenomen in de MKBA. Hoewel deze lacune al in 2004 werd geadresseerd 16

17 (Aanvulling op de Leidraad OEI Directe effecten, 2004) is er anno 2013 nog steeds geen onderzoek opgestart om dit probleem op te lossen; Opstarten onderzoeksproject naar de VoT en VoR voor fietsverkeer; Opstarten onderzoeksproject gericht op het beantwoorden van twee vragen: 1) Wat zijn voorbeelden van bijzondere projecten waarbij het aannemelijk is dat de VoT en/of VoR (substantieel) hoger of lager ligt dan de nationale waarden? 2) Hoe kan het beste om worden gegaan met dergelijke bijzondere projecten? Daarbij geeft dit paper aanbevelingen die zich richten op de toepassing van de VoTVoR-studie. De aanbevelingen zijn in twee groepen in te delen: a) beperkingen en onzekerheden verkleinen door meer onderzoek te doen; b) beperkingen en onzekerheden beter communiceren. Hieronder bespreek ik een aantal aandachtspunten bij deze aanbevelingen Beperkingen en onzekerheden verkleinen met meer onderzoek Dit paper pleit een aantal keer voor een geavanceerder ontwerp van het keuze-experiment en een uitgebreidere dataverzameling. Een keerzijde van dit pleidooi is dat de onderzoekslast omhoog gaat. Is het vergroten van de onderzoeksbudgetten voor dergelijke belangrijke studies een panacee? Dit valt te betwijfelen. Nicolaisen (2012) stipt in zijn promotieonderzoek aan dat onderzoekers geneigd zijn extra onderzoeksbudget vooral te besteden aan het verbeteren van elementen die zij zelf belangrijk vinden. Nicolaisen vroeg aan een aantal econometristen en ingenieurs of hogere onderzoeksbudgetten hen zouden helpen om transparantere rapporten te schrijven over hun onderzoek. De respondenten gaven aan dat zij het als hun taak zien om ervoor te zorgen dat de kwaliteit van de modelschattingen zo hoog mogelijk is. Het budget van een project werd volgens de respondenten in de praktijk vaak volledig opgemaakt aan het verbeteren van de kwaliteit van de modelschattingen. Documentatie en communicatie hadden nauwelijks prioriteit. Een respondent maakte dit als volgt duidelijk: a traditional model builder is so focused on making sure that things fit together. You check everything again and again and re-estimate the model a million times and this variable here, it needs to be in there. Is it logarithmic or just linear? There s all kinds of that stuff. We ll spend the entire budget, no problem. If I was given triple the budget I would spend that as well and produce just as poor documentation (Nicolaisen, Blz. 197). Uit dit punt in Nicolaisen s thesis valt af te leiden dat een hoger onderzoeksbudget voor de VoTVoR-studie er mogelijk voor had gezorgd dat men op zoek was gegaan naar een nog geavanceerdere manier van modelleren. Aan de beauty-contest van MNL mean dispersion modellen, log WTP modellen en panel-latent class modellen, zouden nog een aantal modellen worden toegevoegd om nog hogere t-waarden, een nog hogere Rho 2 te vinden en nog meer loglikelihood-punten te scoren. Mijn stelling is dat het uitbreiden van het onderzoeksbudget alleen van nut is onder de voorwaarde dat deze uitbreiding zich richt op het versterken van de zwakke plekken in het onderzoek en niet op het nog verder verbeteren van onderdelen in het onderzoek die al zeer goed zijn. Een te grote focus op één kwaliteitsaspect van het onderzoek kan op verschillende manieren worden ondervangen. Bijvoorbeeld door ervoor te zorgen dat de reviewcommissie op de verschillende kwaliteitsaspecten ingaat en door ervoor te zorgen dat in het onderzoeksteam, de reviewcommissie en in het team van opdrachtgevers verschillende soorten onderzoekers vertegenwoordigd zijn. Met name de rol van de opdrachtgever is bepalend. Als deze vraagt om excellente modelschattingen is het waarschijnlijk dat het onderzoeksbudget hier aan wordt besteed Beperkingen en onzekerheden beter communiceren Dit paper stelt dat de beperkingen en onzekerheden rondom de studie veel beter moeten worden gecommuniceerd. Het gevaar van het niet of beperkt communiceren van de beperkingen en onzekerheden is tweeledig. Ten eerste bestaat het gevaar dat de resultaten van de studie als een heilige graal worden gebruikt. Bij MKBA s voor sluisprojecten in Friesland, een nieuwe Kaagbaan, OV-projecten buiten de Randstad en OVlijnen waar vooral studenten gebruik van maken, worden de gevonden VoT en VoR klakkeloos toegepast, zonder dat men zich afvraagt of dit wel verantwoord is. Ten tweede bestaat het gevaar dat het vertrouwen in de studie afneemt. Sceptische tot gemiddeld sceptische mensen verliezen snel het vertrouwen in studies die 17

18 schijnzekerheden verkopen en niet eerlijk zijn over hun beperkingen. Het is dus zaak om de beperkingen te communiceren. Als men ervoor kiest om de beperkingen beter te communiceren is het belangrijk om dit op een subtiele manier te doen. Er moet gezocht worden naar een evenwicht tussen niet communiceren van beperkingen en onzekerheden en overmatig communiceren van beperkingen en onzekerheden. Tegelijkertijd is het belangrijk om de implicaties van de onzekerheden en beperkingen te benoemen. Bijvoorbeeld door zinnen op te nemen als: doe gevoeligheidsanalyses met een VoT voor wegverkeer van 7 euro en 11 euro en overweeg het keuze-experiment onder een aantal Friese pleziervaarders te herhalen, indien u een MKBA wilt maken voor een sluisproject in Friesland. Met name het verplicht stellen van gevoeligheidsanalyses op de VoT en de VoR in MKBA s is een belangrijke aanbeveling die volgt uit dit paper. Het is opmerkelijk dat in de huidige MKBA-praktijk vaak gevoeligheidsanalyses worden uitgevoerd op de discontovoet en de constructiekosten van een project, maar nauwelijks op de Value of Time. Daarbij is het belangrijk om onzekerheid ook als mogelijke verklaring op te nemen bij de discussie van de resultaten. Aan deze zin in Warfemmius et al. (2013, blz. 13): gemiddeld is de nieuwe reistijdwaardering voor het autoverkeer ruim 16 procent lager dan de huidige. Naast de methodebreuk, kan een plausibele verklaring van de lagere waardering bij het autoverkeer het toenemend gebruik van de mobiele telefoon tijdens de reis zijn zou de volgende zin kunnen worden toegevoegd: een andere verklaring voor de lagere reistijdwaardering is de onzekerheid rondom de parameters. Referenties: -Axhausen, K.W., Hess, S., König, A., Agay, G., Bates, J. and Bierlaire, M. (2006) State of the Art Estimates of the Swiss Value of Travel Time Savins. Institute of Transport Planning and Systems (IVT), ETH, Zurich. -Armstrong, J.S., Overton, T., Estimating nonresponse bias in Mail Surveys. Journal of Marketing Research 15. Page Börjesson, M., Eliasson, J Transportation Research Part A. 46. Pages Brömmenstroet, M. C. G., te., Brugge, R. ter., Bertolini, L., jaar spookrijden in de vervoersplanologie: iatrogenese, naïeve interventies en een actieve rol voor het CVS. Bijdrage aan het Colloquium Vervoersplanologisch Speurwerk. 2013, Rotterdam. -CBS, Onderzoek Verplaatsingen in Nederland CPB, Economische toets op de Nota Mobiliteit, Document nr. 65, Den Haag. -Ecorys, MKBA Uithoflijn, rapportage uitkomsten. Opdrachtgever: projectorganisatie Uithoflijn. Rotterdam 9 mei Ferreira, A., Beukers, E., Brömmenstroet, M. C. G., te Accessibility is gold, mobility is not: a proposal for the improvement of Dutch transport-related cost-benefit analysis. Environment and Planning B: Planning and Design 2012, volume 39, pages Fosgerau, M., Hjorth, K. and Lyk-Jensen, S.V. (2007) The Danish Value of Time Study: Final Report. Danish Transport Research Institute, Knuth-Winterfeldt Allé, Bygning 116 Vest, 2800 Kgs. Lyngby. -Hague Consulting Group, The second Netherlands value of time study: final report, in opdracht van de Adviesdienst Verkeer en Vervoer, Den Haag. -Hjorth, K., Fosgerau, M., Using prospect theory to investigate the low marginal value of travel time for small time changes. Transportation Research Part B 46. P Huys, M. (2011) Building Castles in the (Dutch) Air: Understanding the Policy Deadlock of Amsterdam Airport Schiphol Ph.D. Dissertation, TU Delft. -Kennisinstituut voor Mobiliteitsbeleid, De maatschappelijke waarde van kortere en betrouwbaardere reistijden, Den Haag. -Levine, L., A Geography of time. The temporal misadventures of a social psychologist, or how every culture keeps time just a little bit differently. Published by Oneworld Pubblications. -Mackie, P., Preston, J., Twenty-one sources of error and bias in transport project appraisal. Transport Policy 5 (1), Mackie, P.J., M. Wardman, A.S. Fowkes, G. Whelan, J. Nellthorp and J. Bates, Values of travel time savings in the UK, ITS Leeds and John Bates Services report for the UK Department for Transport, Leeds. -Ministerie van Verkeer en Waterstaat, Directe Effecten Infrastructuurprojecten: Aanvulling op de Leidraad OEI, Den Haag. 18

19 Mishan, E.J., Cost-Benefit Analysis, Allen and Unwin, London. -Mouter, N., Voordelen en nadelen van de Maatschappelijke kosten- en batenanalyse nader uitgewerkt. Bijdrage aan het Colloquium Vervoersplanologisch Speurwerk. November 2012; -Mouter, N., Annema, J.A., Van Wee, B., 2013a. Ranking the substantive problems in the Dutch Cost-Benefit Analysis practice. Transportation Research Part A 49, Mouter, N., forthcoming MKBA international, lessen uit een vergelijking van de Nederlandse MKBA-praktijk met vier andere MKBA-praktijken. In opdracht van het Planbureau voor de Leefomgeving. -Nicolaisen, M. S., Forecasts: Fact or Fiction? Uncertainty and Inaccuracy in Transport Project Evaluation. Department of Develpment and Planning, Aalborg University. -Ramjerdi, F., Flügel, S., Samstad, H. and Killi, M., 2010 Value of time, safety and environment in passenger transport Time. TØI report 1053B/2010, Institute of Transport Economics, Oslo -Significance, VU University Amsterdam, John Bates Services, TNO, NEA, TNS NIPO & PanelClix, Values of time and reliability in passenger and freight transport in The Netherlands, A report for the Ministry of Infrastructure and the Environment, Den Haag. -Tseng, Y.Y., E.T. Verhoef, G,.C. de Jong, M. Kouwenhoven and A.I.J.M. van der Hoorn, A pilot study into the perception of unreliability of travel times using in-depth interviews, Journal of Choice Modelling, 2(1), Wardman, M., P. Chintakayala, G.C. de Jong and D. Ferrer, European wide meta-analysis of values of travel time; Paper prepared for EIB, ITS Leeds. -Warffemius, P., Kouwenhoven, M., de Jong, G.C., De maatschappelijke waarde van kortere en betrouwbaardere reistijden. Bijdrage aan het Colloquium Vervoersplanologisch Speurwerk. 2013, Rotterdam. 19