Uniformiteit bij evalueren en monitoren

Transcriptie

1 Uniformiteit bij evalueren en monitoren Henk Taale Rijkswaterstaat Dienst Verkeer en Scheepvaart Postbus GA Delft Ydo de Vries Rijkswaterstaat Dienst Verkeer en Scheepvaart Postbus GA Delft Samenvatting Sinds jaar en dag worden de effecten van verkeersmanagement onderzocht met metingen en modellen. Tot nu toe gebeurde dat niet uniform en consistent. Het is dan ook lastig om beleidsopties goed tegen elkaar af te wegen, omdat de kennis over effecten niet uniform en versnipperd is. Het landelijk evaluatieprogramma gaat kennis over effecten van verkeersmanagement verzamelen en richtlijnen ontwikkelen om (netwerkbreed) verkeersmanagement goed te evalueren. En dat niet alleen voor de doorstroming, maar ook voor verkeersveiligheid, leefbaarheid en gedrag. Daarbij worden monitors gebruikt. Om deze monitors beter te kunnen gebruiken voor deze beleids- en andere evaluaties, worden deze meer gestandaardiseerd. Inleiding De (kosten)effectiviteit van verkeersmanagement maatregelen komt steeds meer in de belangstelling te staan. Zowel vanuit het beleid als de operationele praktijk is de effectiviteit van verkeersmanagement een vaak besproken onderwerp. Uiteindelijk gaat het daarbij om de vraag: Wat leveren al die maatregelen nu op? Zijn de opbrengsten de investeringen waard? Deze vraag kan gesteld worden als het gaat om effecten verkeersmanagement op de doorstroming van het verkeer, maar ook als effecten op de veiligheid en leefbaarheid in overweging worden genomen. Deze groeiende aandacht voor evaluatie komt voort uit de behoefte om de Plan-Do-Check-Act (PDCA) cyclus te sluiten (zie figuur 1). Figuur 1: De PDCA cyclus (bron: Karn G. Bulsuk) De PDCA cyclus beschrijft een continu verbetertraject voor een proces (oorspronkelijk een productieproces), waarbij in de planningsfase duidelijk moet worden wat de doelen van het proces zijn (plan). 8 e symposium Dynamisch Verkeersmanagement, 14 mei 2009, De Doelen, Rotterdam 1

2 Dan wordt het proces uitgevoerd en worden de resultaten gemeten (do). Daarna worden de bereikte resultaten vergeleken met de doelstellingen (check) en tenslotte worden, waar nodig, verbeteringen in het proces doorgevoerd (act). De PDCA cyclus vormt de basis voor kwaliteitsborging en kwaliteitsverbetering. De PDCA cyclus kan eenvoudig worden vertaald naar een beleidsproces. In de ideale situatie wordt beleid geformuleerd (plan), uitgevoerd (do), geëvalueerd (check) en bijgesteld (act). Evaluaties kunnen dan op verschillende niveaus (in de bekende driedeling strategisch tactisch operationeel) en tijdens verschillende fasen in het beleidsproces worden uitgevoerd en kunnen helpen om de volgende fase goed uit te voeren. Indien alle fasen van de Plan-Do-Check-Act cyclus doorlopen worden, is inzichtelijk wat het effect is van verkeersmanagement op de doorstroming, veiligheid, leefbaarheid en het gedrag van weggebruikers. Het gaat hierbij dan niet alleen om de lokale effecten van maatregelen, maar ook om de effecten van netwerkbreed verkeersmanagement (zowel HWN als OWN) en van landelijke programma's zo goed mogelijk te kwantificeren. Daardoor is het beleid beter in staat investeringen in verkeersmanagement te verantwoorden en kunnen in de operationele praktijk maatregelen effectiever worden ingezet. Tenminste, dat is het ideaalbeeld. In de praktijk gaat het tot nu toe anders. In dit paper wordt de huidige stand van zaken ten aanzien van evalueren en monitoren geschetst en wordt ingegaan op de ontwikkelen die moeten leiden tot meer uniformiteit bij het evalueren en monitoren. Daarvoor worden deze twee zaken eerst gedefinieerd en wordt een indeling in typen evaluaties gemaakt. Definities Er is een onderscheid tussen evalueren en monitoren. Deze twee verschillende manieren van data verzamelen en verwerken, worden als volgt omschreven: monitoren: het verzamelen van data en verwerken van deze data tot indicatoren, het bijhouden van reeksen in de tijd en het signaleren van trends; evaluatie: het verzamelen van data (bijvoorbeeld uit monitors of verkeersmodellen), het verwerken van deze data tot indicatoren en het analyseren van de beschikbare gegevens om uitspraken te doen over effecten. Natuurlijk is het verschil in de praktijk vaak minder duidelijk dan deze omschrijving. Zo zal bij het monitoren al vaak iets gezegd worden over effecten en natuurlijk wordt bij het evalueren gebruik gemaakt van de resultaten van het monitoren. Het is dan wel belangrijk dat het verzamelen van data en het verwerken van data tot indicatoren voor beide processen zoveel mogelijk consistent gebeurt. Hierop wordt verderop in dit paper ingegaan. Indelingen van evaluaties Voor het evalueren van verkeersmanagement kan een aantal verschillende typen evaluatie onderscheiden worden [1]: technische evaluatie; effecten evaluatie; sociaal-economische evaluatie; juridische evaluatie; organisatorische evaluatie; gebruikerevaluatie. Bij de technische evaluatie gaat het om de werking van het systeem, bijvoorbeeld het percentage van de tijd dat een systeem functioneert, of de capaciteit van een dataverbinding, de tijd die het systeem nodig heeft om data te verwerken, enz. Een technische evaluatie is bedoeld om te bepalen of en in welke mate een systeem voldoet aan de technische eisen. Een effecten evaluatie is het meest voorkomende type evaluatie. De effecten evaluatie is het meten of schatten van de effecten van een verkeersmanagement maatregel of een pakket maatregelen op de doorstroming, veiligheid en/of leefbaarheid. Het doel van een sociaal economische evaluatie is om de winst en het verlies voor de maatschappij in te schatten, zowel in sociaal als in economisch opzicht. Het gaat dan om een vergelijking van de situatie met maatregelen (of beleid) en de situatie waarin er niets veranderd. Een kosten-batenanalyse (KBA) maakt vaak deel uit van een sociaal-economische evaluatie. 8 e symposium Dynamisch Verkeersmanagement, 14 mei 2009, De Doelen, Rotterdam 2

3 In de juridische evaluatie wordt nagegaan of de genomen maatregelen voldoen aan de wetgeving. Ook de handhavingaspecten van een verkeersmanagement maatregel vallen onder de juridische evaluatie. De organisatorische evaluatie kijkt of de organisatie, die rondom verkeersmanagement is opgezet, voldoet en of afspraken worden nagekomen. De gebruikerevaluatie gaat in de eerste plaats in op het gedrag van weggebruikers naar aanleiding van de maatregel. Met een bepaalde maatregel wordt van de weggebruikers een bepaald gedrag verwacht. De evaluatie onderzoekt of dit gewenste gedrag ook vertoond wordt en als dat niet het geval is, worden daarvan de oorzaken vastgesteld. Ook de beleving van weggebruikers hoort bij deze evaluatie. Door middel van enquêtes wordt dan de weggebruikers gevraagd hoe zij de maatregel beleven en welke mening zij hebben over de maatregel. Een andere gebruikerevaluatie is bijvoorbeeld de acceptatie van operators in verkeerscentrales naar aanleiding van de implementatie van een nieuw systeem. Een tweede manier om evaluaties in te delen betreft het tijdstip van de evaluatie. Evaluaties kunnen vooraf (ex-ante) worden uitgevoerd of achteraf (ex-post). Vooraf evalueren betreft dan vaak een inschatting van de effecten om een beslissing over implementatie te kunnen nemen. Achteraf evalueren betreft de controle of de verwachte effecten daadwerkelijk opgetreden zijn. Ex-ante evaluaties worden vaak uitgevoerd met modellen of het gebruik van expert judgement. Ex-post evaluaties kunnen ook met modellen worden uitgevoerd, maar vaker worden daarvoor metingen gebruikt. Stand van zaken evaluaties In Nederland is er veel ervaring opgedaan met het implementeren en evalueren van verkeersmanagement maatregelen. Sinds 1990 is er in het beleid een verschuiving te constateren van de aanleg van nieuwe infrastructuur naar een betere benutting van de bestaande infrastructuur. De resultaten van dit beleid zijn ook zichtbaar geworden. Van het midden van de jaren zeventig van de vorige eeuw, toen begonnen werd met de ontwikkeling en implementatie van verkeerssignalering, en van 1989 af, toen de eerste toeritdoseerinstallatie werd neergezet, zijn een groot aantal verkeersmanagement maatregelen gerealiseerd op het Nederlandse wegennet. Weggebruikers zijn inmiddels vertrouwd geraakt met Dynamische Routeinformatie Panelen (DRIP s), toeritdoseerinstallaties, spitsstroken, het inhaalverbod voor vrachtverkeer, incident management en de inzet van het KLPD en weginspecteurs bij incidenten en andere knelpunten. Het beleid wil graag beter in staat zijn om investeringen in verkeersmanagement te verantwoorden en ook in de operationele praktijk kunnen maatregelen effectiever worden ingezet. Voor een verantwoorde afweging van investeringsalternatieven (waaronder verkeersmanagement) en een betere inzet van maatregelen, is kennis nodig over de effecten van die alternatieven en maatregelen. Over de verkeerskundige effecten van een aantal verkeersmanagement maatregelen is behoorlijk wat bekend, tenminste als ze lokaal worden toegepast. Echter, de kennis over de effecten van bepaalde maatregelen is behoorlijk verouderd en het blijft lastig om lokale effecten te generaliseren. Over de effecten van pakketten van maatregelen is veel minder bekend. Bepaalde verkeersmanagement programma s zijn wel geëvalueerd, maar daarbij ging het vaak om schattingen. Bovendien is er nog weinig uniformiteit in de uitvoering van evaluaties en dat maakt het vergelijken van de resultaten lastig, zoals hierboven is uitgelegd voor verkeerssignalering en toeritdosering. Een ander punt is dat er wel veel bekend is over verkeerskundige effecten, maar niet veel over de effecten van maatregelen op de verkeersveiligheid of de leefbaarheid. Er is wel onderzoek verricht naar het gedrag van weggebruikers, bijvoorbeeld: wordt het gewenste verdrag getoond als reactie op genomen maatregelen? Maar de relatie met doorstroming en andere aspecten wordt vaak niet gelegd. Ook over de sociaaleconomische effectiviteit van maatregelen is weinig bekend. Kosten-batenanalyses worden zelden uitgevoerd. Al deze kennis is wel nodig om verantwoord die afweging tussen investeringsalternatieven te kunnen maken. Zonder kennis over effecten wordt het lastig iets te zeggen over wat je met verkeersmanagement kunt bereiken. In het verleden is getracht meer uniformiteit in de uitvoering van evaluatiestudies te bewerkstelligen door een leidraad op te stellen voor model- en evaluatiestudies [2] en de bestaande kennis over verkeersmanagement maatregelen te bundelen in een catalogus [3]. In de praktijk is gebleken dat dit niet voldoende is. Daarom het landelijke evaluatieprogramma gestart. 8 e symposium Dynamisch Verkeersmanagement, 14 mei 2009, De Doelen, Rotterdam 3

4 Landelijk evaluatieprogramma In het Beleidskader Benutten [4] wordt de pijler benutten verder uitgewerkt als onderdeel van de ambities van de Nota Mobiliteit [5] om de weggebruiker sneller, schoner en veiliger van deur tot deur te begeleiden. Volgens het beleidskader biedt benutting goede kansen, naast de andere twee pijlers bouwen en beprijzen. Wel worden er problemen geconstateerd: de huidige inzet op benutting is gefragmenteerd en de effectiviteit van maatregelen is niet altijd bewezen en bovendien vaak locatieafhankelijk. Daardoor is een verantwoorde afweging van investeringen moeilijk. Om aan het laatste probleem iets te doen is een actie geformuleerd met als inhoud het ontwikkelen van een evaluatie- en monitoringprogramma. De actie betreft het definiëren van noodzakelijke indicatoren voor effectbepaling (inclusief de aanpassing van de methodiek en integratie in gebiedsgericht benutten), het verder ontwikkelen van instrumenten zoals bijvoorbeeld de Regionale BenuttingsVerkenner [6], het toepassen bij proeven en het integreren van de resultaten in de landelijke aanpak en de netwerkaanpak voor benutten. Ook een regelmatige periodieke toetsing van de werking van instrumenten maakt hiervan onderdeel uit. Het landelijk evaluatieprogramma is een uitwerking van een deel van deze actie. Het doel van het programma is om betere en verantwoorde keuzes ten aanzien van de toepassing van verkeersmanagement mogelijk te maken. Daarbij is kennis van de effecten van verkeersmanagementmaatregelen op doorstroming, gedrag, veiligheid en leefbaarheid èn kennis over de effectiviteit van deze maatregelen in termen van kosten en baten onontbeerlijk. Om dit doel te bereiken, is het in de eerste plaats nodig om kennis over de effecten van verkeersmanagement bijeen te brengen. Om de uniformiteit in de uitvoering van evaluaties te bevorderen en daarmee de kennis over effecten beter te kunnen benutten, is het in de tweede plaats goed om de bestaande leidraad [2] om te werken tot een richtlijn en uit te breiden met zaken die nu nog ontbreken, zoals effecten op veiligheid, leefbaarheid en gedrag, een kosten-batenanalyse en het evalueren van netwerkbreed verkeersmanagement. Daarnaast is het nodig om specifieke evaluatiestudies te begeleiden door kennis in te brengen en vooraf (evaluatieplan) en achteraf (evaluatierapport) evaluaties te toetsen. Ook kan gedacht worden aan de ontwikkeling en toepassing van evaluatiemethoden en hulpmiddelen. Stand van zaken beleidsmonitoring Voor inzicht in de ontwikkeling van bereikbaarheid en congestie op het Rijkswegennet en in de doelmatigheid van verkeersmanagementmaatregelen produceert de Dienst Verkeer en Scheepvaart van Rijkswaterstaat statistische verkeersgegevens. De ruwe data voor deze gegevens is afkomstig van het signaleringssyteem en het monitoringmeetnet, filemeldingen van VCNL en het BI-meetnet (een landelijk netwerk specifiek voor statistische toepassing) en betreft snelheden, intensiteiten en soms voertuigcategorieën. Daarnaast worden brongegevens over verkeersveiligheid, onderzoeken en gegevens van de Nederlandse Spoorwegen en gegevens van het Kennis Platform Verkeer en Vervoer gebruikt. De verkeersgegevens worden gepresenteerd door onder meer de volgende statistische kengetallen / indicatoren: filezwaarte: de (gemiddelde) filelengte vermenigvuldigt met de duur van de file; verkeersprestatie: de door alle motorvoertuigen afgelegde afstand op (een deel van) het hoofdwegennet; reistijd: de tijdsduur voor het afleggen van een traject met een vastgestelde lengte door één of een aantal voertuigen in een bepaalde periode; reistijdfactor: De verhouding van de reistijd in de spits en de reistijd bij 100 km/uur; reistijdverlies in files (voertuigverliesuren): de totaal opgelopen vertraging door voertuigen die langzamer rijden dan 50 km/uur ten opzichte van een normsnelheid van 100 km/uur; betrouwbaarheid van de reistijd in de spits: de mate waarin de werkelijke reistijd in de spits substantieel afwijkt van de verwachte reistijd in de spits. Als voorbeeld is in figuur 2 een kaart weergegeven met de locaties die het meeste bijdragen aan het totale reistijdverlies Nederland in 2008 als gevolg van congestie. Donkerrood gekleurde locaties leveren de meeste bijdrage aan het reistijdverlies. In de kaart staat het aantal voertuigverliesuren per kilometer weglengte over het jaar 2008 als percentage van het maximum waargenomen aantal voertuigverliesuren per kilometer (9875 verliesuren). 8 e symposium Dynamisch Verkeersmanagement, 14 mei 2009, De Doelen, Rotterdam 4

5 Figuur 2: Overzichtskaart van locaties met meeste bijdrage aan het totale reistijdverlies in (bron: RWS Dienst Verkeer en Scheepvaart) Deze gegevens vormen de input voor diverse rapportages, zoals bijvoorbeeld de volgende beleidsmonitors: Bereikbaarheidsmonitor Hoofdwegennet Monitor Groot Onderhoud; Nationale Mobiliteitsmonitor. De ambitie van de rijksoverheid, vastgelegd in de Nota Mobiliteit [5], is het realiseren van een betrouwbare en vlotte reistijd over de gehele reis in Deze verschillende beleidsmonitors brengen in beeld hoe het staat met het bereiken van deze ambitie. Dezelfde statistische kengetallen worden door de Regionale Diensten van Rijkswaterstaat gebruikt bij het evalueren van problemen en knelpunten op wegen die in hun werkgebied liggen. De kengetallen worden gebruikt om de kwaliteit van de dienstverlening aan de weggebruikers te beoordelen en te verbeteren. Zij geven enerzijds een overallbeeld van de bereikbaarheidssituatie in het beheergebied en zijn daarmee het vertrekpunt voor bijvoorbeeld het plannen van wegwerkzaamheden. In het kort: met behulp van statistische kengetallen kunnen antwoorden worden gegeven op vragen als: hoe heeft mijn netwerk gepresteerd, zijn er problemen en welk probleem is het grootst. De kengetallen dragen daarmee bij aan de optimale uitvoering van een aantal primaire taken van de regionale diensten, namelijk: monitoren verkeersmanagement, opstellen en beheren regelscenario s, opstellen en bijstellen verkeersverwachting, mobiliteitsmanagement, en het opstellen van planstudies. Vernieuwingstraject voor het productieproces van statische kengetallen In het huidige productieproces van Rijkswaterstaat zijn grofweg drie productieketens te onderscheiden die verkeersindicatoren opleveren. De ICT-systemen die voor deze drie productieketens in gebruik zijn, kennen inmiddels een lange levensduur: in een aantal gevallen wel vijftien tot twintig jaar. Het gevolg hiervan is dat de productie van eenduidige statistische kengetallen en integrale beleidsrapportages een tijds- en arbeidsintensief proces is. Daarnaast stelt de steeds sneller veranderende omgeving van 8 e symposium Dynamisch Verkeersmanagement, 14 mei 2009, De Doelen, Rotterdam 5

6 monitoring en evaluatie andere eisen aan het proces van statistische verkeersgegevens en kengetallen. De gegevens moeten sneller en in meer detail worden geleverd en een hoge nauwkeurigheid hebben. De huidige beschikbare statistische verkeersgegevens worden intern RWS op verschillende manieren en op verschillende plekken binnen de RWS organisatie toegepast. Rijkswaterstaat Dienst Verkeer en Scheepvaart heeft het project VIA (Verkeerskundige Informatieproducten en Adviezen) gestart om te komen tot een herontwerp en implementatie van een RWS productieproces van statistische verkeersgegevens en kengetallen. Dit traject heeft een belangrijke informatiecomponent, maar het is niet alleen een informatiseringsvraagstuk. Daarnaast heeft het een belangrijke organisatie- en procescomponent, maar hier wordt meer ingegaan op het informatiseringsaspect. In onderstaande lijst zijn de knelpunten, met betrekking tot de informatisering, van het huidige proces genoemd, die binnen de scope van het project vallen. De opschaalbaarheid waarmee in beeld kan worden gebracht hoe de afzonderlijke Regionale Diensten van Rijkswaterstaat scoren ten opzichte van de landelijke streefwaarden, wordt door het huidige proces onvoldoende ondersteund. Regionale diensten hanteren eigen rekenregels en gegevenssets voor de berekening van indicatoren. In het project VIA wordt gewerkt aan één productielijn voor één basis statistische verkeersmonitor voor alle regionale diensten op basis van dezelfde statistische verkeersgegevens en rekenregels. Daarmee wordt de opschaalbaarheid van monitoring van regionaal naar landelijk niveau mogelijk. Momenteel is er onvoldoende beeld van de nauwkeurigheid en betrouwbaarheid van de berekende statistische kengetallen. Er zal worden wordt onderzocht welke algoritmes bruikbaar zijn en toegepast kunnen worden voor het kwantificeren van de nauwkeurigheid en betrouwbaarheid van statistische kengetallen. De flexibiliteit van de huidige systemen om met een relatief korte doorlooptijd in te kunnen spelen op nieuwe ontwikkelingen op het gebied van gegevensinwinning, is onvoldoende. Belangrijk in dit kader is de realisatie van de Nationale Databank Wegverkeersgegevens (NDW). De primaire doelstelling van de NDW is (in het kort) beter verkeersmanagement en betere verkeersinformatie. Voor statistische toepassingen is de NDW met een landelijk dekkende gegevensinwinning op het hoofdwegennet en de belangrijkste delen van het onderliggende wegennet een belangrijke verbetering ten opzichte van de huidige gegevensinwinning. Dit geldt zowel voor de kwaliteit van de ingewonnen data als voor de hoeveelheid ingewonnen data (aantal meetlocaties). Het nieuwe te ontwikkelen systeem zal gebruik moeten kunnen maken van deze nieuwe bronnen zoals de NDW gegevens en floating car data. Er wordt onderzocht welke datafusie technieken hierbij gebruikt kunnen worden om de kwaliteit van de beschikbare gegevens te verbeteren. De vernieuwingsfrequentie van statistische informatie is met de huidige systemen te laag. Het kost relatief veel tijd om alle gegevens te verzamelen, samen te voegen en te verwerken. In het project VIA wordt gewerkt aan vergaande automatisering en controle, tezamen met een on-line ontsluiting. Hiermee kunnen snel nieuwe ad hoc analyses worden gedaan en standaard rapportages worden gemaakt, die vervolgens automatisch worden gegenereerd. Conclusies Effectiviteit van verkeersmanagement blijft een belangrijk onderwerp, met name om beleidsbeslissingen te kunnen ondersteunen. Er is veel kennis over effecten van lokale maatregelen, maar weinig kennis over de effecten van netwerkbreed verkeersmanagement. Er is veel bekend over verkeerskundige effecten, maar er is weinig bekend over effecten van verkeersmanagement op de verkeersveiligheid, de leefbaarheid en het gedrag van weggebruikers. Het landelijk evaluatieprogramma ontwikkelt een richtlijn, verzamelt kennis en ondersteunt evaluatiestudies. Het project VIA draagt bij aan de uniformering van monitoring en evaluaties door: o één historisch consistente gegevenset te genereren; o één set van rekenregels te gebruiken; o inzicht te geven in de betrouwbaarheid en nauwkeurigheid van statistische kengetallen voor bereikbaarheid; o regionale informatie naar landelijke informatie op te schalen; o de vernieuwingsfrequentie van rapportages te verhogen. 8 e symposium Dynamisch Verkeersmanagement, 14 mei 2009, De Doelen, Rotterdam 6

7 Referenties [1] Guidebook for Assessment of Transport Telematics Applications: Updated Version, Deliverable D2.3.1, CONVERGE project TR 1101, September [2] Leidraad model- en evaluatiestudies benuttingsmaatregelen, Grontmij, Adviesdienst Verkeer en Vervoer, september [3] Maatregelencatalogus Benutten, Adviesdienst Verkeer en Vervoer, oktober 2005 (zie ook [4] Beleidskader Benutten Eén van de pijlers voor een betere bereikbaarheid, Ministerie van Verkeer en Waterstaat, januari [5] Nota Mobiliteit - Naar een betrouwbare en voorspelbare bereikbaarheid, Ministerie van Verkeer en Waterstaat, september [6] Regionale BenuttingsVerkenner, Henk Taale en Marcel Westerman, paper voor het 6 e symposium Dynamisch Verkeersmanagement, 27 april 2005, Rotterdam. 8 e symposium Dynamisch Verkeersmanagement, 14 mei 2009, De Doelen, Rotterdam 7