Evaluatie Subisidieregeling Veilig Verkeer. Nederland

Transcriptie

1 Evaluatie Subisidieregeling Veilig Verkeer Nederland

2 Evaluatie Subisidieregeling Veilig Verkeer Nederland Ministerie van Verkeer en Waterstaat Auteurs Jeroen in t Veld Enno Gerdes Maysam Hamdan Robert Schipperhein Datum Status Klant Definitief Ministerie van Verkeer en Waterstaat

3 Inhoud Het kwalitatieve onderzoek (Spoor A) 4 1 Aanleiding en leeswijzer 5 2 Doelstellingen V&W 6 3 Structuur van de subsidierelatie 7 4 Realisatie van de prestatie-indicatoren 11 5 Effectiviteit van de subsidierelatie 18 6 Case studies 23 7 Eisen aan het ontwerp van een subsidierelatie 28 Het kwantitatieve onderzoek (Spoor B) 32 1 Aanleiding en Leeswijzer 33 2 Methodologie 34 3 De Meldpunten 36 4 BROEM-cursussen 44 5 Verkeerseducatie op basisscholen 55 6 Conclusies en Aanbevelingen Spoor B 63 Op weg naar een nieuwe regeling (Spoor C) 64 1 Inleiding 65 2 De subsidierelaties in context: de case studies 69 3 Aanbevelingen: no regret maatregel en/of een nieuw systeem? 73 4 No regret stappen 74 5 Een andere wijze van aansturen 76 Bijlagen 82 Bijlage 1: Geraadpleegde personen 83 Bijlage 2: Verslag raadplegen Deskundigen met betrekking tot Spoor B 84 Bijlage 3: Enquêteformulier 87

4 Evaluatie Subisidieregeling Veilig Verkeer Nederland 4 / 88 Het kwalitatieve onderzoek (Spoor A)

5 Evaluatie Subisidieregeling Veilig Verkeer Nederland 5 / 88 1 Aanleiding en leeswijzer Binnen Spoor A is er sprake van een dubbele vraagstelling. Ten eerste dient onderzocht te worden of en in hoeverre Vereniging Veilig Verkeer Nederland heeft voldaan aan de voorwaarden die zijn vastgelegd in de subsidieregeling. Ten tweede wordt onderzocht of en zo ja, waar mogelijkheden bestaan om de subsidierelatie effectiever in te richten. Het laatste moet als input dienen voor de ontwikkeling van een nieuwe subsidieregeling voor de periode na 2010 (mits de subsidie voor 2010 wordt verstrekt voor 1 januari 2010). De naleving van VVN wordt door het ministerie van Verkeer en Waterstaat impliciet elk jaar onderzocht bij het verlenen van de subsidie voor het volgende boekjaar en expliciet bij de vaststelling van de subsidie over het afgelopen boekjaar. Bij de vaststelling van de subsidie dient de subsidieontvanger onder meer een jaarrekening en een rapportage over de prestatieindicatoren in. Deze stukken worden dan door de subsidieverstrekker getoetst. Als uit deze toets blijkt dat VVN niet heeft voldaan aan de voorwaarden, dan kan de subsidie terug gevorderd worden, desnoods voor 100%. Het is vermeldenswaardig dat het ministerie in de jaren 2006 t/m 2008 geen korting heeft toegepast. Naast de 'controles' van het ministerie hebben wij een volledige controle van de naleving voor ogen. De toets op de naleving dient ertoe, naast de eerste ook de tweede doelstelling van dit Spoor te bereiken. Pas als alle voorwaarden in kaart zijn gebracht en is geanalyseerd of VVN hieraan heeft voldaan (c.q. kunnen voldoen) kan beoordeeld worden of de voorwaarden voor verbetering vatbaar zijn. De opbouw van deze tussenrapportage is vergelijkbaar met het stappenplan dat in de offerte is voorgesteld en dat in het evaluatiekader verder is geconcretiseerd. De onderstaande tabel maakt inzichtelijk waar welke stappen uit het evaluatiekader in deze rapportage te vinden zijn. Stap evaluatiekader Hoofdstuk rapportage Nvt 2 Doelstellingen V&W A1 Opstellen checklist 3 Structuur van de subsidierelatie A2 Naleving door VVN 4 Realisatie van de prestatie-indicatoren A4 Sterkte-zwakten analyse 5 Effectiviteit van de subsidierelatie A3 (Internationale) voorbeelden 6 Case Studies A5 Tussenrapportage Nvt Nvt 7 Nvt Nvt Eisen aan het ontwerp van een subsidierelatie

6 Evaluatie Subisidieregeling Veilig Verkeer Nederland 6 / 88 2 Doelstellingen V&W De doelstelling van het ministerie bij het verstrekken van een subsidie aan VVN wijkt in beginsel niet af van de overkoepelende doelstelling op het gebied van verkeersveiligheid. Dit doel is het terugbrengen van het aantal doden en gewonden in het verkeer. De afgelopen jaren is het aantal verkeersslachtoffers gestaag blijven dalen. Om deze daling voort te kunnen zetten is het nodig dat VVN optimaal bijdraagt aan het verbeteren van verkeersveiligheid. Zoals het ministerie heeft aangegeven, is het laaghangend fruit reeds geplukt. Het voortzetten van de huidige daling van het aantal slachtoffers is dus een behoorlijke uitdaging. Bij het waar maken van de ambities ten aanzien van verkeersveiligheid is een belangrijke rol weg gelegd voor de sturingsinstrumenten die het ministerie tot haar beschikking heeft. Hoewel het al dan niet halen van haar doelstelling afhankelijk is van tal van factoren en ontwikkelingen, trekt een effectief sturingsinstrumentarium voor VVN de belangen tussen VVN en het ministerie parallel, wat borgt dat verkeersonveiligheid optimaal wordt aangepakt. Het blijkt overigens dat VVN, naast het verminderen van het aantal slachtoffers in het verkeer, zelf ook andere doelen na streeft, zoals het bevorderen van milieubewust rijden of het voorkomen van sociaal isolement van ouderen. Vanuit de optiek van V&W is het vervolgen van aanvullende doelen door VVN geen probleem, als voldaan wordt aan twee voorwaarden: De primaire doelstellingen van het verkeersveiligheidsbeleid staat bovenaan. De aanvullende doelen zijn niet tegenstrijdig met het overige beleid van de Rijksoverheid. In het vervolg zullen we daarom de overkoepelende beleidsdoelstelling -het reduceren van het aantal slachtoffers in het verkeer- als vertrekpunt nemen.

7 Evaluatie Subisidieregeling Veilig Verkeer Nederland 7 / 88 3 Structuur van de subsidierelatie 3.1 Welke instrumenten zijn er? Het ministerie van Verkeer en Waterstaat heeft een aantal mogelijkheden om VVN aan te sturen. Hiervoor wordt een gelaagd systeem van sturingsinstrumenten toegepast. Op het meest algemene niveau is de Nederlandse wet- en regelgeving van toepassing voor de verstrekking van de subsidie aan VVN. Hierbij gaat het met name om de Algemene Wet Bestuursrecht, waarin afdeling betrekking heeft op het verstrekken van subsidies. Deze afdeling is in de subsidieregeling van toepassing verklaard. Daardoor zijn de volgende eisen voor VVN van toepassing: De subsidieaanvraag wordt volgens de AWB uiterlijk 13 weken voor aanvang van het boekjaar ingediend; in de subsidieregeling is deze termijn aangepast naar 7 weken voor aanvang van het boekjaar. Praktisch betekent dit in het geval van VVN (boekjaar is gelijk aan kalenderjaar) dat de aanvraag begin november ingediend wordt. De aanvraag bevat een werkplan en een werkbegroting. De begroting bevat inkomsten en uitgaven, een toelichting per begrotingspost en een trendanalyse en noemt de omvang van de egalisatiereserve. Het activiteitenplan behelst een overzicht van activiteiten en doelstellingen en vermeldt per activiteit de benodigde personele en materiële middelen. Verder bevat de aanvraag een financieel verslag en activiteitenverslag. Dit activiteitenverslag beschrijft de aard en de omvang van de activiteiten en bevat een vergelijking tussen nagestreefde en gerealiseerde doelstellingen en een toelichting op de verschillen. Er wordt vermeld of subsidies voor dezelfde uitgaven zijn aangevraagd bij andere bestuursorganen. Uit de administratie kunnen alle rechten en verplichtingen (en betalingen en ontvangsten) worden nagegaan. De AWB is geldig voor alle subsidierelaties. Op het tweede, meer specifieke niveau is er de Subsidieregeling VVN Deze is geldig alleen voor de specifieke subsidierelatie tussen V&W en VVN, maar dan wel voor meerdere jaren (2006 t/m 2010). Volgens deze subsidieregeling dient VVN te voldoen aan de volgende eisen: Er wordt geen subsidie verstrekt als voor een bepaalde activiteit reeds een subsidie is verstrekt door een ander bestuursorgaan dan wel andere inkomsten van derden zonder tegenprestatie zijn verkregen 1. De aanvraag bevat (a) het bedrag van de aangevraagde subsidie, (b) een overzicht van de mate waarin de prestatie-indicatoren zijn gerealiseerd (c) de overige bescheiden die de Minister voor de behandeling van de aanvraag noodzakelijk acht en (d) een schriftelijke verklaring van de accountant over de naleving door Veilig Verkeer Nederland van de aan de subsidieverlening verbonden verplichtingen. 1 Dubbele subsidiëring is niet toegestaan indien dit er toe leidt dat de te subsidiëren activiteit tot meer dan 100% bekostigd wordt.

8 Evaluatie Subisidieregeling Veilig Verkeer Nederland 8 / 88 Er kan een voorschot worden verleend, indien tegelijkertijd met de subsidieaanvraag een voorschotaanvraag wordt ingediend. Er dient een gescheiden administratie te zijn voor de gesubsidieerde activiteiten en de overige activiteiten. Hierbij dient te worden opgemerkt dat er geen fysiek gescheiden administratie hoeft te zijn, maar uit de door VVN gevoerde administratie dienen de ontvangen subsidies van het ministerie van Verkeer en Waterstaat afzonderlijk en controleerbaar per regeling te blijken. Er dient een egalisatiereserve te zijn. Deze mag ook nul bedragen. Het is duidelijk dat de bepalingen uit de AWB en de bepalingen uit de subsidieregeling elkaar aanvullen. In de AWB wordt bijvoorbeeld vastgelegd dat over de hoogte van de egalisatiereserve gerapporteerd dient te worden. Dit bevat echter nog geen eis, dat er ook daadwerkelijk een egalisatiereserve dient te zijn. De subsidieregeling gaat hier verder en eist dat er daadwerkelijk een reserve dient te zijn 2. Ook de eisen aan de aan te leveren documenten gaan in de subsidieregeling verder dan in de AWB. VVN dient te voldoen aan het geheel van de eisen. Als derde sturingsinstrument wordt door V&W de jaarlijkse beschikking gebruikt. Deze is, anders dan de subsidieregeling, maar voor één jaar van toepassing en is in die zin nog specifieker dan de subsidieregeling. In de beschikking worden bijvoorbeeld de concrete prestatie-indicatoren gedefinieerd, wordt de omvang van de egalisatiereserve vastgelegd en wordt een deel van de subsidie geoormerkt voor bepaalde doelen c.q. organisaties (de Stichting Verkeersbrigadiers). Overigens kan V&W in principe jaarlijks nieuwe prestatie-indicatoren definiëren, maar zij maakt in de praktijk geen gebruik van deze mogelijkheid. De prestatieindicatoren voor de jaren 2006 t/m 2009 zijn daarom identiek. Onderstaande figuur maakt de karakteristieken van de sturingsinstrumenten inzichtelijk 3. 2 Deze reserve mag ook nul euro bevatten. 3 Hierbij is op te merken dat de Rijksoverheid wel degelijk over een mogelijkheid beschikt om in te grijpen op meerdere subsidierelaties, geldig voor 1 jaar. Dit is mogelijk door een korting toe te passen op alle Rijkssubsidies. Dit is echter geen sturings-, maar een kostenbesparingsinstrument en is daarom in het kader van dit onderzoek niet relevant.

9 Evaluatie Subisidieregeling Veilig Verkeer Nederland 9 / Welke prestatie-indicatoren zijn er? De volgende tabel bevat de prestatie-indicatoren die in de beschikkingen voor de jaren 2006 t/m 2009 zijn vastgelegd. Zowel VVN als V&W geven aan dat de prestatie-indicatoren nog niet aan onderzoek of optimalisatie onderhavig zijn geweest. Prestatie-indicatoren met betrekking tot de instandhouding van de vrijwilligersorganisatie Aantal leden Vrijwilligers met contract Bestuursleden Verkeersouders Donateurs en overige geregistreerde actiegroepen en/of individuen Kwantitatieve indicatoren met betrekking tot de kwaliteit van vrijwilligers en beroepskrachten Aantal vrijwilligers dat door beroepskrachten verzorgde cursussen / trainingen heeft gevolgd Aantal vrijwilligers dat door derden verzorgde cursussen / trainingen heeft gevolgd Aantal dagdelen dat beroepskrachten aan cursussen / trainingen heeft verzorgd voor vrijwilligers Aantal dagdelen waarop door beroepskrachten cursussen / dagdelen zijn gevolgd Kwalitatieve indicatoren met betrekking tot de kwaliteit van vrijwilligers en beroepskrachten Vrijwilligers bij VVN moeten kunnen rekenen op een adequate vorm van ondersteuning door de beroepsorganisatie VVN maakt ten behoeve van deze ondersteuning een onderscheid in: Vrijwilligers die werkzaam zijn binnen de verenigingsstructuur, vaak te vinden op lokaal niveau, georganiseerd via plaatselijke afdelingen Vrijwilligers die actief zijn vanuit een specifieke functie of taak zoals verkeersouders, verkeerskundige consulenten, educatieadviseurs, voorlichters VVN ontwikkelt in 2007 een ondersteuningsstructuur voor deze te onderscheiden groepen vrijwilligers en maakt daarbij de relatie met scholing en training van vrijwilligers en beroepskrachten inzichtelijk Ten behoeve van deze ondersteuningsstructuur wordt bij de jaarlijkse rapportage over de realisering van de prestatie-indicatoren het onderdeel kwaliteitsborging van de vrijwilligersondersteuning beschreven De beschrijving van de kwaliteitsborging van de vrijwilligersondersteuning is gericht op: Weergave van de materiële ondersteuning

10 Evaluatie Subisidieregeling Veilig Verkeer Nederland 10 / 88 Weergave van de aard van scholing en training van vrijwilligers gerelateerd aan de vraag van vrijwilligers, het meerjarenbeleid van VVN en andere ontwikkelingen op het gebied van verkeersveiligheid Beschrijving van de maatschappelijke opbrengst Indicator met betrekking tot de relatie overheid-burger VVN maakt een trendanalyse per boekjaar, inhoudend een overzicht van de signalen die vanuit verschillende kanalen uit het land binnenkomen over wat er leeft op het gebied van verkeersveiligheid De naleving wordt getoetst voor de boekjaren 2006, 2007 en Voor deze jaren zijn jaarverslagen en andere relevante documenten beschikbaar.

11 Evaluatie Subisidieregeling Veilig Verkeer Nederland 11 / 88 4 Realisatie van de prestatie-indicatoren 4.1 Realisatie indicatorengroep 1 Aantal leden De prestatie-indicator Aantal leden gaat uit van een jaarlijkse daling van het aantal leden met 5%. Dit is terug te voeren op de algemene verwachting dat de participatie in maatschappelijke organisaties met een neerwaartse trend te maken heeft. Echter, de gerealiseerde cijfers voor de periode t/m 2008 geven een (nog) negatiever beeld: van 2006 naar 2007 is er een daling van 8,5%, en van 2007 naar 2008 een verdere daling van 16,1%. De daling van 2006 naar 2008 ligt daarmee op 23,3%. Het is dan ook duidelijk dat VVN de beoogde benchmark voor deze periode niet heeft gehaald. Er zijn twee mogelijke verklaringen voor het niet halen van de benchmark: óf VVN heeft in de periode 2006 t/m 2008 slecht gepresteerd qua ledenbeleid, óf de gekozen benchmark was bij voorbaat onrealistisch. Een derde mogelijkheid, namelijk een opschoonactie in het ledenbestand van VVN, is onwaarschijnlijk, aangezien VVN zelf hier geen melding van heeft gedaan. VVN meldt in de jaarverslag 2007 wel dat er sprake is van een verdergaande vergrijzing onder de leden van de vereniging Veilig Verkeer Nederland en een algemene maatschappelijke tendens van een geringere bereidheid om lid te worden van een vereniging. Dit doet vermoeden dat een natuurlijke daling van het aantal leden onvermijdelijk is. Aantal leden* Indicator Daadwerkelijk nvt nvt * De leden worden ook in de categorie Donateurs en overige geregistreerde actiegroepen en/of individuen meegeteld. Vrijwilligers met contract Uit het jaarverslag van VVN blijkt dat het aantal vrijwilligers in 2007 en 2008 boven de prognose lag (het voor 2006 gerapporteerde aantal lijkt sterk op een rapportagefout en wordt daarom niet meegenomen in de analyse). Ook is er zoals geprognosticeerd een groei bewerkstelligd. Deze groei is met 8,7% zelfs sterker dan verwacht (5%). Er kan dus gesteld worden dat VVN aan de prestatie-eis heeft voldaan. Hierbij hoort wel één kanttekening: de prestatie-indicator heeft betrekking op het aantal vrijwilligers met contract; bij het door VVN gerapporteerde cijfer is het niet duidelijk of deze vrijwilligers met of zonder contract werken. Vrijwilligers met contract Indicator Daadwerkelijk * 2.314* nvt nvt * Door VVN wordt het aantal gerapporteerd, waarbij niet duidelijk is of dit vrijwilligers met of zonder contract zijn. 4 In 2006 had VVN leden.

12 Evaluatie Subisidieregeling Veilig Verkeer Nederland 12 / 88 Bestuursleden Uit het jaarverslag van VVN blijkt dat het aantal bestuursleden in 2006 beneden en in 2007 en 2008 boven de prognose lag. Hoewel de prognose tussen 2006 en 2007 c.q. tussen 2007 en 2008 van een daling tussen de 5,5% en de 6% uitging, groeide het aantal bestuursleden daadwerkelijk met ongeveer 11,2% (2007 vs. 2006) c.q. 5,6% (2008 vs. 2007). Aangezien de prognose geen eenduidige normatieve doelstelling laat zien (dalend aantal van 2006 tot 2009, vervolgens groei in 2010), kan niet gezegd worden of VVN aan de prestatie-eis heeft voldaan of juist niet. Overigens wordt het aantal bestuursleden ook meegenomen bij de prestatie-indicator Vrijwilligers. Sterker nog, de bestuursleden zijn meer dan 80% van de vrijwilligers. De groei van het aantal bestuursleden verklaart dan ook meer dan de helft van de groei van het aantal vrijwilligers. Bestuursleden Indicator Daadwerkelijk * 1.862* nvt nvt * Het door VVN gerapporteerde aantal is inclusief contactpersonen van nieuwe afdelingen. Deze personen worden ook in de categorie Vrijwilligers meegeteld. Verkeersouders Uit het jaarverslag blijkt dat het aantal verkeersouders in 2006, 2007 en 2008 hoger lag dan de prognose. Echter, tussen 2007 en 2008 was er sprake van een daling van het aantal verkeersouders met ongeveer 1,4%. Met andere woorden: VVN heeft meer dan voldaan aan de prestatie-indicator, maar de ontwikkeling gaat niet de goede kant op. Verkeersouders Indicator Daadwerkelijk nvt nvt Donateurs en overige geregistreerde actiegroepen en/of individuen Het aantal Donateurs en overige geregistreerde actiegroepen en/of individuen was in 2006 (ook na een correctie voor een andere wijze van berekenen) hoger en in 2007 en 2008 lager dan verwacht. Ongeveer 40% van deze categorie bestaat uit leden. Zoals hierboven gezegd viel het aantal leden in de twee jaren duidelijk tegen. Het lagere aantal leden verklaart dan ook meer dan 100% van het tegenvallende aantal Donateurs en overige geregistreerde actiegroepen en/of individuen. Met andere woorden: als men corrigeert voor het aantal leden, dan was het aantal donateurs (licht) hoger dan verwacht. VVN heeft dus niet voldaan aan de totaalindicator, maar wel aan een sub-indicator, namelijk het aantal donateurs. Dit past overigens wel binnen het beleid van VVN: de aandacht is nu vooral gericht op het werven van donateurs.

13 Evaluatie Subisidieregeling Veilig Verkeer Nederland 13 / 88 Donateurs en overige geregistreerde actiegroepen en/of individuen Indicator Daadwerkelijk * nvt nvt * Het voor 2006 gerapporteerde aantal is gebaseerd op een andere wijze van berekenen dan de cijfers voor 2006 en In 2006 wordt uitgegaan van de formule Donateurs + AVR-deelnemers + deelnemende groepen Nationale Straatspeeldag, terwijl in 2007 en 2008 wordt uitgegaan van de formule Particuliere en bedrijfsleden + donateurs. 4.2 Realisatie indicatorengroep 2 De mate waarin VVN aan de kwalitatieve indicatoren heeft voldaan, is af te lezen uit onderstaande tabellen. Aantal vrijwilligers dat door beroepskrachten verzorgde cursussen / trainingen heeft gevolgd Indicator Daadwerkelijk Niet gerapporteerd Aantal vrijwilligers dat door derden verzorgde cursussen / trainingen heeft gevolgd Indicator Daadwerkelijk Niet nvt nvt gerapporteerd Aantal dagdelen dat beroepskrachten aan cursussen / trainingen heeft verzorgd voor vrijwilligers Indicator Daadwerkelijk Niet gerapporteerd nvt Aantal dagdelen waarop door beroepskrachten cursussen / dagdelen zijn gevolgd Indicator Daadwerkelijk Niet gerapporteerd Veilig Verkeer Nederland presteert op alle punten in 2006 en 2007 beter dan hetgeen in de prestatie-indicatoren is vastgesteld. Opvallend is wel dat VVN in het jaar 2008 niet duidelijk heeft gerapporteerd over deze prestatie-indicatoren. Er wordt in het jaarverslag wel melding gedaan van het opleidingsaanbod, maar de informatie wordt niet geleverd zoals de lijst prestatie-indicatoren dit voor schrijven. Dit maakt het onmogelijk te controleren of VVN op dit punt daadwerkelijk voldoet aan de prestatie-indicatoren. nvt nvt nvt nvt nvt 4.3 Realisatie indicatorengroep 3 De wijze waarop VVN rapporteert over prestatie-indicatorengroep 3 is met name voor de jaren 2007 en 2008 niet volledig duidelijk. Er wordt in de jaarverslagen wel melding gedaan van de activiteiten omtrent het vrijwilligersbeleid (opleidingen, nieuwe trainingen e.d.). De informatie

14 Evaluatie Subisidieregeling Veilig Verkeer Nederland 14 / 88 is vrij beknopt en volgt niet de expliciete indeling die in de prestatie-indicatoren is voorgeschreven. In het jaarverslag van 2006 wordt nog wel relatief uitgebreid gerapporteerd over het vrijwilligersbeleid en is de voorgeschreven structuur min of meer terug te vinden, namelijk: Welke materiële ondersteuning hebben vrijwilligers ontvangen? Wat is de aard van de scholing geweest? Over de maatschappelijke opbrengst is geen expliciete vermelding gedaan. De informatie in het jaarverslag van 2007 legt vooral de nadruk op nieuwe trainingen die gegeven zijn. Informatie over materiële ondersteuning ontbreekt, evenals een expliciete analyse van de maatschappelijke opbrengst. De informatie in 2008 is vrij beknopt. De omschrijving van de aard van de trainingen blijft vrij beperkt. Ook wordt geen expliciete melding gedaan van de materiële ondersteuning die vrijwilligers ontvangen hebben. Bij de rapportage over de prestatie-indicatoren in de jaarverslagen vermeldt VVN dat vele van de kwalitatieve gegevens tot uitdrukking komen in het inhoudelijk gedeelte van het betreffende jaarverslag. Dit maakt het lastig om te beoordelen of aan de rapportageplicht zoals die is voorgeschreven in de indicatoren is voldaan. In ieder geval maakt het feit dat VVN niet expliciet de punten adresseert die in de indicatoren staan omschreven de kwestie of wel of niet aan de rapportageplicht is voldaan, voor discussie vatbaar. 4.4 Realisatie indicatorengroep 4 Voor deze prestatie-indicator geldt in principe hetzelfde als voor indicatorgroep 3. In het jaarverslag 2006 wordt melding gedaan van de omvang en aard van binnengekomen meldingen bij de meldpunten en het aantal VOS meldingen. Ook in het jaarverslag van 2007 wordt aandacht besteedt aan het aantal meldingen die binnen komen bij de meldpunten en de aard er van. In 2008 wordt verslag gedaan van het aantal meldingen dat binnenkomt bij de meldpunten, maar ontbreekt echter een beschrijving van de aard van de meldingen. In die zin wordt geen informatie verstrekt over hetgeen leeft op verkeersveiligheidgebied zoals dat in de jaren daarvoor is gebeurd. Al met al kunnen we zeggen dat de kwaliteit van de wijze van rapporteren over deze indicatorgroep in 2008 is afgenomen ten opzichte van voorgaande jaren. 4.5 Realisatie overige vereisten in de subsidierelatie In de subsidieregeling worden, naast het realiseren van de prestatie-indicatoren, nadere eisen gesteld aan VVN. Deze noemden we reeds in Hoofdstuk 3:

15 Evaluatie Subisidieregeling Veilig Verkeer Nederland 15 / Er wordt geen subsidie verstrekt als voor een bepaalde activiteit reeds een subsidie is verstrekt door een ander bestuursorgaan dan wel andere inkomsten van derden zonder tegenprestatie zijn verkregen De aanvraag bevat (a) het bedrag van de aangevraagde subsidie, (b) een overzicht van de mate waarin de prestatie-indicatoren zijn gerealiseerd (c) de overige bescheiden die de Minister voor de behandeling van de aanvraag noodzakelijk acht en (d) een schriftelijke verklaring van de accountant over de naleving door Veilig Verkeer Nederland van de aan de subsidieverlening verbonden verplichtingen. 3. Er kan een voorschot worden verleend, indien tegelijkertijd met de subsidieaanvraag een voorschotaanvraag wordt ingediend. 4. Er dient een gescheiden administratie te zijn voor de gesubsidieerde activiteiten en de overige activiteiten. Hierbij gaat het, zoals gezegd, niet om een fysiek gescheiden administratie. 5. Er dient een egalisatiereserve te zijn, die ook nul euro mag bevatten. Het derde punt, de voorschotaanvraag, is in het kader van naleving minder interessant. Ook rapporteert VVN in haar jaarverslagen en werkbegrotingen over de omvang van de egalisatiereserve (of continuïteitsreserve). Daarom gaan we in deze paragraaf alleen in op punten 1, 2 en 4. Realisatie punt 1: geen dubbele subsidies De subsidiering van de activiteiten van VVN loopt zodanig dat het lastig te controleren is of bepaalde activiteiten reeds zijn gesubsidieerd door een ander bestuursorgaan. VVN ontvangt namelijk een instellingsubsidie voor de landelijke organisatie, maar de activiteiten van de regionale takken van VVN worden op hun beurt weer deels bekostigd door andere bestuursorganen, zoals provincies en gemeenten. VVN heeft echter aangegeven dat zij kan traceren centrale middelen precies decentraal worden gebruikt. Al met al is er geen reden om aan te nemen dat VVN subsidie voor bepaalde activiteiten subsidie ontvangt van andere bestuursorganen dan V&W. De beleving van het ministerie is echter dat dubbele subsidiering niet valt uit te sluiten. Het betreft dan met name het via omwegen ontvangen van extra subsidies. Het door VVN indienen van facturen voor activiteiten die ondernomen zijn in opdracht van andere subsidieontvangende organisaties (waarmee VVN samenwerkt) wordt als voorbeeld genoemd. Hoewel dit in letterlijke zin niet in strijd is met de subsidieregeling, is het in dit kader het vermelden waard. Realisatie punt 2: complete aanvraag De subsidieaanvragen van VVN voor de jaren 2006, 2007 en 2008 zijn gepaard gegaan met een werkplan en werkbegroting. We hebben gezien dat de rapportage over de prestatie-indicatoren 5 Dubbele subsidiëring is niet toegestaan indien dit er toe leidt dat de te subsidiëren activiteit tot meer dan 100% bekostigd wordt.

16 Evaluatie Subisidieregeling Veilig Verkeer Nederland 16 / 88 (1) niet geheel volledig is, met name voor de jaren na 2006 en (2) informatie over realisatie niet samen met de subsidieaanvragen wordt verstrekt, maar vooral in de jaarverslagen aan bod komt. Dit laatste punt is puur een kwestie van timing, maar wel vermeldenswaardig. Realisatie punt 4: gescheiden administratie Uit de aan ons ter beschikking gestelde documenten is lastig te controleren of traceerbaar is waar de subsidies van VVN precies terecht komen, aangezien deze documenten de geconsolideerde resultaten bevatten van VVN als organisatie. Op basis hier van kunnen we echter niet aan nemen dat VVN op dit punt niet heeft voldaan aan de prestatie-indicator. 4.6 Samenvatting en conclusies Rapportageplicht Samenvattend kunnen we met betrekking tot de rapportageplicht zeggen dat: Er is in alle jaren (2006 t/m 2008) voldaan aan de rapportageplicht voor indicatorengroep 1. Er is in het jaar 2008 niet voldaan aan de rapportageplicht voor indicatorengroep 2. De informatie wordt niet verstrekt in het format dat de prestatie-indicatoren voorschrijven. De informatie die verstrekt wordt over de realisatie van indicatorengroepen 3 en 4 lijkt door de jaren heen af te nemen. Realisatie van de prestatie-indicatoren De rapportageplicht is één kant van de medaille. Voor die jaren waarin voldaan is aan de rapportageplicht, constateren we dat het beeld van de daadwerkelijke prestaties van VVN gemengd is. Het ledenaantal blijft bijvoorbeeld structureel achter bij het ledenaantal in de prestatie-indicatoren, terwijl het aantal verkeersouders steeds boven dit aantal lag. Opvallend is dat VVN voor de jaren dat gerapporteerd wordt over de kwaliteit van de vrijwilligers (indicatorengroep 2) (ver) boven de voorgeschreven indicatoren presteert. Tenslotte is lastig te controleren of is voldaan aan de indicatorengroep 3 en 4, omdat 1) de hoeveelheid informatie af lijkt te nemen en 2) de indicatoren subjectief van aard zijn. Wij komen hier in het volgende hoofdstuk op terug. Overige eisen Wat betreft de overige eisen die worden gesteld aan VVN blijken er een aantal onzekerheden te bestaan: Het is ons niet duidelijk gebleken dat de subsidies van V&W afzonderlijk traceerbaar zijn.

17 Evaluatie Subisidieregeling Veilig Verkeer Nederland 17 / 88 Er kan niet met 100% zekerheid worden aangetoond dat er geen dubbele subsidiëring plaats vindt. Dit feit vindt deels zijn oorsprong in de wijze waarop de subsidies lopen (landelijk versus regionaal). Wel geeft het ministerie aan het idee te hebben dat dit niet valt uit te sluiten. Het gaat dan met name om subsidies die VVN via andere subsidieontvangende organisaties ontvangt. Op zich is dubbele subsidiering geen probleem zolang het totaal van de subsidies niet boven de 100 procent van de kosten komt.

18 Evaluatie Subisidieregeling Veilig Verkeer Nederland 18 / 88 5 Effectiviteit van de subsidierelatie 5.1 Analysekader In dit hoofdstuk gaan we nader in op de effectiviteit van de huidige subsidierelatie. Deze relatie heeft zowel een harde als een zachte kant. De harde kant gaat met name om het ontwerp van de subsidierelatie en de werking van de prestatie-indicatoren, terwijl de zachte kant met name de relationele/procesmatige kant van de relatie tussen VVN en V&W omvat. In dit hoofdstuk willen we in eerste instantie op de harde kant richten, zonder de procesmatige zijde uit het oog te verliezen. Centraal staat de volgende vraag: Is de huidige set indicatoren een geschikt instrumentarium om VVN te sturen op de doelstellingen van het ministerie om het aantal verkeersdoden te verminderen? Om deze vraag te beantwoorden we per indicatorengroep een aantal vragen: Houden de indicatoren voldoende verband met de doelen die V&W wil bereiken met de verstrekking van een subsidie aan VVN? Kan VVN de uitkomst van de prestatie-indicatoren in voldoende mate beïnvloeden? Is helder welke prestatie VVN moet bereiken, om met betrekking tot de indicator vanuit de optiek van V&W succesvol te zijn? Deze analyse is vrij technisch van aard en bekijkt o.a. of de indicatoren logisch zijn samengesteld. Als duidelijk is wat VVN moet bereiken, wordt de bijkomende vraag gesteld of de definitie van succesvol logisch is gezien de doelstellingen van V&W. Is duidelijk wat de consequenties zijn in het geval dat de prestaties van VVN niet voldoen om uit zicht van V&W succesvol te zijn? Tenslotte formuleren we op basis van onze observaties een aantal conclusies en aanbevelingen. 5.2 Indicatorengroep 1 De eerste indicatorengroep bevat prestatie-indicatoren die vooral verband houden met het karakter van VVN als een vrijwilligersorganisatie. Daarmee sluiten deze indicatoren niet direct aan bij de doelstellingen van V&W (minder ongevallen), maar bij de aanvullende doelstellingen van VVN zelf. Aangezien het in stand houden van de vrijwilligersorganisatie echter een voorwaarde is om de eigenlijke doelen te bereiken, is het gebruik van deze indicatorengroep op deze gronden wellicht verdedigbaar. Overigens sluit de indicator Aantal verkeersouders een stuk beter aan bij de doelstellingen van V&W, omdat het hierbij niet om een organisatorisch kenmerk gaat, maar om een feitelijke activiteit van VVN. VVN heeft doorgaans goede mogelijkheden om de uitkomst van deze indicatoren te beïnvloeden. De organisatie kan bijvoorbeeld een intensief ledenwervingtraject starten om het aantal leden te verhogen. Hetzelfde geldt voor het aantal donateurs, vrijwilligers en verkeersouders.

19 Evaluatie Subisidieregeling Veilig Verkeer Nederland 19 / 88 Eveneens is het duidelijk wat per prestatie-indicator de doelstelling voor VVN is; de desbetreffende aantallen zijn voor de jaren 2006 t/m 2010 vastgelegd. Echter, er is op twee punten sprake van dubbeltellingen: De leden van de organisatie worden zowel geteld voor de indicator Aantal leden als voor de indicator Donateurs en overige geregistreerde actiegroepen en/of individuen. De leden maken ongeveer 40% uit van deze laatste groep. De vrijwilligers worden zowel geteld voor de indicator Vrijwilligers met contract als voor de indicator Bestuursleden. De bestuursleden maken meer dan 80% uit van de eerstgenoemde groep. Deze dubbeltellingen zijn voor optimalisatie vatbaar. Zeker de dubbeltelling van het aantal bestuursleden leidt er feitelijk toe dat dezelfde indicator twee keer gebruikt wordt. Dit geldt in wat mindere mate ook voor het aantal leden. Gezien de dubbeltelling van het aantal leden is de doelstelling voor de indicatoren Aantal leden en Donateurs, etc. niet goed gekozen. Het aantal leden daalt per jaar met 5%, terwijl het aantal Donateurs en overige geregistreerde actiegroepen en/of individuen juist met ongeveer 5% moet stijgen. Hetzelfde geldt voor de andere dubbeltelling: het aantal bestuursleden moet dalen, terwijl het aantal Vrijwilligers met contract moet stijgen. Kortom: VVN kan nooit de doelstelling voor beide indicatoren tegelijkertijd behalen. Overigens is ook de vraag of het zinvol is om een dalend aantal leden als doelstelling te definiëren. Deze doelstelling straalt in ieder geval geen hoog ambitieniveau uit. Samenvattend: binnen de eerste indicatorengroep is alleen de indicator Verkeersouders een eenduidige indicator. De overige indicatoren zijn verbonden met nadelen zoals dubbeltellingen, onlogische doelstellingen en een onduidelijk verband met de beleidsdoelstelling van V&W. 5.3 Indicatorengroep 2 De tweede indicatorengroep bevat een aantal indicatoren met betrekking tot de opleiding van vrijwilligers en beroepskrachten: Aantal vrijwilligers dat door beroepskrachten verzorgde cursussen / trainingen heeft gevolgd Aantal vrijwilligers dat door derden verzorgde cursussen / trainingen heeft gevolgd Aantal dagdelen dat beroepskrachten aan cursussen / trainingen heeft verzorgd voor vrijwilligers Aantal dagdelen waarop door beroepskrachten cursussen / dagdelen zijn gevolgd

20 Evaluatie Subisidieregeling Veilig Verkeer Nederland 20 / 88 Evenals de (meeste) indicatoren in groep 1 houden ook deze indicatoren meer verband met VVN als goed functionerende organisatie dan met de eigenlijke beleidsdoelstelling van V&W. Hierbij kan de kanttekening geplaatst worden dat een goede inhoudelijke kwaliteit van de organisatie een voorwaarde is voor het goed functioneren van VVN, en dus als voorwaarde gezien zou kunnen worden voor het kunnen bijdragen aan de doelstellingen van V&W. De directe link met het aantal verkeersongevallen is echter afwezig. De organisatie heeft goede mogelijkheden om alle prestatie-indicatoren te bereiken. Met betrekking tot de keuze van de doelstellingen valt op dat de eerste en de derde indicator betrekking hebben op dezelfde gebeurtenis : een beroepskracht verzorgt een cursus voor een vrijwilliger. In het eerste geval gaat het om het aantal vrijwilligers, in het tweede geval om het aantal dagdelen dat zij volgen. In 2006 en 2007 is gebleken dat VVN de benchmark voor het aantal dagdelen min of meer precies heeft gehaald, en de benchmark voor het aantal vrijwilligers ruim heeft overtroffen. Dit lijkt in eerste instantie positief, maar wijst wel op een analytische zwakte van de indicator. In de prognose is uitgegaan van 400 vrijwilligers, die in totaal dagdelen volgen (5,75 dagdelen per persoon). De daadwerkelijke realisatie is vrijwilligers en dagdelen (1,6 dagdelen per persoon). Het beeld voor 2007 is vergelijkbaar (prognose: 5,75 dagdelen per persoon; realisatie: 2,3 dagdelen per persoon). Dit is niet per se een probleem, maar het wijst toch op het feit dat de relatie tussen personen en dagdelen bij het vaststellen van de benchmarks enigszins verkeerd is ingeschat. Samenvattend: hoewel de samenstelling van de prestatie-indicatoren nogal complex is, meten de indicatoren in beginsel het functioneren van VVN als organisatie. De link met de beleidsdoelstellingen van V&W is niet direct aanwezig. 5.4 Indicatorengroepen 3 en 4 De indicatorengroepen 3 en 4 wijken af van groepen 1 en 2, omdat het hierbij gaat om kwalitatieve indicatoren. Er zijn geen cijfermatige doelstellingen; veeleer is hier sprake van binaire inputsturing. Óf VVN voldoet aan de eisen, óf niet. Dat betekent dat van VVN een concrete actie vereist wordt (voorbeeld: VVN maakt een trendanalyse per boekjaar ). De keuze van de indicatoren is vooral gericht op VVN als vrijwilligersorganisatie. Het is interessant dat V&W ervoor kiest om op dit gebied inputsturend in te grijpen: het karakter als vrijwilligersorganisatie is vooral een doelstelling van VVN zelf, en sluit niet onmiddellijk aan bij

21 Evaluatie Subisidieregeling Veilig Verkeer Nederland 21 / 88 de beleidsdoelstelling van V&W. In beginsel zouden uit het perspectief van V&W bezien de activiteiten van VVN ook door een uitsluitend uit beroepskrachten bestaande organisatie zonder vrijwilligers verricht kunnen worden. VVN hecht er veel waarde aan een vrijwilligersorganisatie te zijn en kiest daarom voor deze organisatievorm. Het is daarom niet meteen duidelijk waarom V&W op dit gebied inputsturend ingrijpt. Één van de indicatoren uit deze indicatorengroep is niet gericht op VVN als vrijwilligersorganisatie, maar op VVN als decentrale organisatie: VVN maakt een trendanalyse per boekjaar, inhoudend een overzicht van de signalen die vanuit verschillende kanalen uit het land binnenkomen over wat er leeft op het gebied van verkeersveiligheid. Ook dit is meer een input- dan een outputindicator, maar in het geheel van de indicatoren heeft deze een unieke positie. Het ministerie gebruikt VVN hiermee als informatiebron. Dit kan een bijdrage leveren aan een robuuste onderbouwing van het verkeersveiligheidsbeleid van het Rijk. Tegenover deze positieve beoordeling staat echter ook een mogelijke negatieve prikkel: VVN is zelf belanghebbende partij bij het verkeersveiligheidsbeleid en zal daarom niet zo gauw een te positief beeld van de verkeersveiligheid in het land schetsen. 5.5 Conclusies Wanneer we op een hoger niveau naar de indicatoren kijken, zien we dat deze grotendeels het functioneren van VVN als organisatie meten. De indicatoren gaan dan ook niet over de relatie tussen de activiteiten van VVN en de beleidsdoelstellingen van het ministerie, namelijk een reductie van het aantal verkeersslachtoffers. We kunnen daarom stellen dat de huidige indicatoren outputsturing niet goed mogelijk maken. Het is daarom ook niet verwonderlijk dat het ministerie geen consequenties verbindt aan het niet nakomen van de prestatie-indicatoren: als zij VVN niet op transparante wijze kan afrekenen op hetgeen er echt toe doet (namelijk het aantal verkeersdoden), waarom dan consequenties verbinden aan het niet nakomen van die indicatoren? Op dit moment is het zinvol om even stil te staan bij de zachte kant van de subsidierelatie. Het is vermeldenswaardig dat, terwijl de prestatie-indicatoren met name gaan over het functioneren van VVN als organisatie, V&W niet tevreden lijkt te zijn over de huidige samenwerking met VVN. De basis van de stroeve samenwerking lijkt gestoeld te zijn op een gebrek aan duidelijkheid over de mate waarin VVN zich inzet dan wel ingezet kan worden om bij te dragen aan de verkeersveiligheiddoelstellingen. Dit is dus niet gerelateerd aan de mate waarin VVN heeft voldaan aan de op interne zaken gerichte - prestatie-indicatoren. Ook bezien vanuit dit perspectief voegen de indicatoren dus niet veel toe aan de subsidierelatie. Waarom eisen stellen aan de organisatorische inrichting als de basis, namelijk zekerheid in wat de bijdrage van VVN aan de verkeersveiligheid is, niet voldoende aanwezig is? De huidige subsidierelatie valt dus in principe tussen wal en schip omdat de indicatoren enerzijds niets toevoegen aan de gewenste samenwerkingsvorm (de zachte kant) en anderzijds ook niet op output gericht zijn:

22 Evaluatie Subisidieregeling Veilig Verkeer Nederland 22 / 88 Indien outputsturing gewenst is, verdient het dus aanbeveling om prestatie indicatoren te kiezen die rechtstreeks verband houden met de beleidsdoelstellingen van het ministerie. Indien het echter gewoonweg niet mogelijk is om de activiteiten betekenisvol één op één te linken met beleidsdoelen, is het niet zinvol om vast te houden aan de wens om outputsturing (door middel van prestatie indicatoren) te implementeren; in dit geval verdient het aanbeveling om op zoek te gaan naar een andere sturingsrelatie. In het volgende hoofdstuk bespreken we een aantal case studies die als input kunnen dienen.

23 Evaluatie Subisidieregeling Veilig Verkeer Nederland 23 / 88 6 Case studies In dit hoofdstuk wordt een aantal case studies uitgewerkt. Het is daarbij niet de bedoeling dat deze case studies per se als best practices worden beschouwd. Met andere woorden, de opname van een case study in dit rapport betekent niet automatisch dat deze case study zich ervoor leent om direct toegepast te worden als nieuwe subsidieregeling voor VVN. De case studies bieden echter wel interessante aanknopingspunten om de huidige subsidierelatie te beoordelen en te verbeteren. 6.1 Team Alert In het kader van het verkeersveiligheidsbeleid verstrekt V&W niet alleen een subsidie aan VVN, maar ook aan andere organisaties. Met name de subsidieverstrekking aan Stichting Team Alert (TA) is structureel anders georganiseerd dan de subsidieverstrekking aan VVN: TA ontvangt naast een instellingssubsidie een raamsubsidie. TA vraagt een keer per jaar een raamsubsidie aan. De raamsubsidie is bedoeld als projectsubsidie en wordt verstrekt voor een verzameling van tevoren geselecteerde projecten. De aanvraag wordt goedgekeurd, maar leidt nog niet tot een betaling aan TA. De raamsubsidie geeft veeleer aan hoeveel subsidie TA voor het boekjaar maximaal kan ontvangen. Vervolgens dient TA subsidieaanvragen bij het ministerie in voor specifieke projecten. Per boekjaar kan TA aanvragen indienen met als totaal het in de raamsubsidie gedefinieerde maximum. De aanvraag omvat een projectplan inclusief een projectbegroting. Het ministerie voert op de ingediende aanvragen voor projectsubsidies een toets uit. Dit houdt in dat wordt gekeken of de betreffende activiteit in de algehele strategie past op het gebied van verkeersveiligheid past. Daarnaast wordt gekeken of de activiteit niet strijdig is met het Rijksbrede beleid. Het ministerie vertrouwt er echter in beginsel op dat door de door TA gekozen aanpak het beoogde doel bereikt kan worden. Met andere woorden, het ministerie zal geen fundamentele toets op de operationele aanpak uitvoeren. Het ministerie zal wel gebaseerd op de ervaringen en inzichten van het ministerie tips geven hoe projectplan en projectbegroting verder verbeterd kunnen worden. Bovendien zal het ministerie de consistentie van het project met andere projecten toetsen (fictief voorbeeld: het ministerie zou zeker kritisch zijn als voor een bepaald project de personeelskosten 90% van het budget uitmaken, terwijl dit bij vergelijkbare projecten maar 20% is). De subsidierelatie met TA is vooral geschikt voor een (relatief) kleine organisatie, waarbij de kosten voor overhead (vooral personeelskosten op het hoofdkantoor) relatief laag zijn en waarbij het aantal projecten relatief klein is. Omgekeerd zou het werken met een raamsubsidie voor een grote organisatie met veel projecten met problemen gepaard kunnen gaan: Een groot gedeelte van de subsidie wordt gebruikt voor het in stand houden van de organisatie; echter, een grote organisatie is alleen nodig als er ook een groot aantal projecten is.

24 Evaluatie Subisidieregeling Veilig Verkeer Nederland 24 / 88 Er zullen daarom veel projectaanvragen ingediend worden, wat een grote inspanning van het ministerie vereist. Het in stand houden van een grote organisatie leidt ertoe dat het afwijzen van (een deel van) de projectaanvragen pure fictie wordt. Om deze redenen is de voor TA gekozen subsidiestructuur wellicht minder geschikt voor een organisatie zoals VVN. Echter, het feit dat deze subsidiestructuur de twee partijen (V&W en TA) tot een vertrouwensvolle samenwerking dwingt, kan wel als leereffect voor andere subsidieregelingen gezien worden. 6.2 Stichting Consument en Veiligheid Het ministerie van VWS verstrekt een subsidie aan de Stichting Consument en Veiligheid (C&V). Structureel verschilt de subsidie aan C&V niet van de subsidie die door het ministerie van V&W aan VVN wordt verstrekt. Er is een subsidieregeling, die elk jaar nader ingevuld wordt door een beschikking. Echter, in de concrete uitwerking bestaan er wel verschillen: Het ministerie van VWS werkt met een overkoepelende subsidieregeling die van toepassing is voor alle subsidierelaties van het ministerie. Er is voor de instellingssubsidie maar één prestatie-indicator, namelijk het aantal spoedeisende hulpbehandelingen (SEH-indicator). Deze indicator is meetbaar, betrouwbaar en eenduidig. Echter, er wordt niet vanuit gegaan dat C&V een directe, meetbare invloed heeft op de ontwikkeling van de indicator. De indicator wordt daarom meer algemeen gebruikt om het succes van het beleid te toetsen en, zo nodig, sturend in te grijpen. Voor C&V zijn op project- of programmaniveau kwantitatieve en kwalitatieve doelstellingen vastgelegd, maar er worden geen directe consequenties verbonden aan een mee- of tegenvallende ontwikkeling van de indicator. Elk jaar ontwikkelt C&V een werkprogramma en een werkbegroting. Dit gebeurt in nauwe afstemming met het ministerie. Ongeveer drie maanden voor de aanvraag van de subsidie wordt een eerste conceptversie van het programma met de contactpersonen bij het ministerie gedeeld. Vervolgens wordt dit verder uitgewerkt, waarbij rekening wordt gehouden met opmerkingen van het ministerie. Dit leidt ertoe dat op het moment van de aanvraag het werkprogramma al goed bekend is bij het ministerie. In het werkprogramma worden concrete projecten voorgesteld. Per project wordt een indicator vastgelegd in de zin van een doelstelling (bijv.: in het volgende boekjaar zullen x personen deelnemen aan cursus y). Deze doelstelling wordt door het ministerie vervolgens regelmatig gemonitord tijdens 2-maandelijkse voortgangsoverleggen. Doel van deze monitoring is niet om C&V af te rekenen op het wel of niet behalen van de doelstellingen. Het gaat er veeleer om dat het ministerie een gevoel krijgt of het de goede kant op gaat. Naast deze monitoringcriteria stelt het ministerie een aantal kwalitatieve, maar zeer concrete eisen op. Een voorbeeld hiervan kan de eis zijn om een bepaald aantal uren

25 Evaluatie Subisidieregeling Veilig Verkeer Nederland 25 / 88 in het boekjaar bij te dragen aan het werk van een andere organisatie in hetzelfde of een overkoepelend beleidsveld. Meer algemeen kan gesteld worden dat de subsidierelatie met C&V vooral aan de voorkant gestuurd wordt, en dat de indicatoren meer een informatie- dan een sturingsinstrument zijn. Er vindt ongeveer 2-maandelijks een overleg tussen het ministerie en C&V plaats, waarbij de voortgang van het werkprogramma besproken wordt. In de fase van de planvorming vindt vaker (informeel) overleg plaats. Het centrale leereffect van deze case study is dat het mutual belief tussen het ministerie en C&V een cruciale rol speelt. Dit geldt zowel op een algemeen niveau als ook op een specifiek niveau. Algemeen gaat het ministerie ervan uit dat C&V zich inspant om binnen het afgesproken kader goed werk te leveren; tegelijkertijd gaat C&V ervan uit dat de subsidie niet stopt, zolang de organisatie zich inspant om goed werk te leveren. Meer specifiek is er een mutual belief van zowel het ministerie als C&V dat de activiteiten van C&V een positieve bijdrage leveren aan het bereiken van de beleidsdoelstellingen van het ministerie; de omvang van deze bijdrage wordt vervolgens niet concreet onderzocht, en de organisatie wordt niet afgerekend op de omvang van de bijdrage. 6.3 Onderwijs in de VS Een derde en laatste interessante casus is de wijze waarop in sommige districten in de VS het onderwijs binnen arme wijken georganiseerd is. Doel van dit onderwijssysteem is het geven van onderwijs dat kwalitatief gelijkwaardig is aan het onderwijs dat onder de hoogste (rijkste) sociale kringen wordt genoten. Aangezien alle betrokken partijen onderkennen dat het welslagen van dit concept het resultaat zal zijn van een gezamenlijke zoektocht naar de juiste onderwijsmethodiek, is gekozen voor een interactief sturingsmodel. Het gaat hier dus niet zozeer om een subsidierelatie. Eerder dient deze casus als een illustratie van een sturingsrelatie die bruikbaar is wanneer noch sturing op input of outcome, noch volledige decentralisatie wenselijk is. Aan deze interactieve- sturingsrelatie kan vervolgens een subsidieregeling gekoppeld worden. Samengevat is de relatie als volgt vormgegeven: Docenten signaleren op de werkvloer de sterktes en zwakten van leerlingen en passen hun lesprogramma per individu aan; Examenuitslagen geven een beeld van welke docenten goed scoren, zowel op het niveau van de school als het niveau van het district als geheel. De leidinggevende binnen de school is verantwoordelijk voor het creëren van een systeem waarbij de lesmethoden van de meest succesvolle docenten zo breed mogelijk worden toegepast binnen de school. De leidinggevende op district niveau is vervolgens verantwoordelijk voor de verspreiding van kennis van de meest succesvolle scholen binnen het district. Tussentijds vindt regelmatig overleg plaats tussen de betrokken partijen om bijsturing mogelijk te maken. Op district niveau is de leidinggevende

26 Evaluatie Subisidieregeling Veilig Verkeer Nederland 26 / 88 medeverantwoordelijk voor het verbeteren van de prestaties van individuele scholen (in de vorm van het geven van ondersteuning aan minder goed presterende scholen). Als een school na inmenging van leidinggevenden nog steeds slecht presteert, is sluiting van de school de laatste stok achter de deur.. Dit systeem is gestoeld op het idee en de consensus dat noch de individuele school, noch het district eenzijdig haar strategie kan uitzetten, omdat beide partijen niet de alomvattende kennis en kunde bezitten die nodig is om succesvol te zijn. De districten hebben de kennis nodig van de werkvloer voor het uitvinden van de beste lesmethodiek (learning by doing), terwijl de school niet optimaal kan functioneren zonder hulp en inzichten op hoger niveau. Tenslotte versterken beide partijen elkaar in het bereiken van de doelstelling: de school formuleert de best practices, die vervolgens met hulp van bovenaf breder worden uitgerold. De wijze waarop instanties binnen dit systeem worden aangestuurd is niet gekoppeld aan outcome of gekwantificeerde doelstellingen. Werken met prestatie-indicatoren is niet aan de orde. Dit is ook logisch, omdat de afwezigheid van voldoende kennis impliceert dat de relatie tussen activiteit en outcome niet objectief kan worden aangetoond. Ook is vanwege kennisgebrek inputsturing door de overheid niet zinvol. Een manier om de sturingsrelatie vorm te geven is om de ontvangende instantie de door hen de gekozen strategie regelmatig te laten verantwoorden. Zodoende worden zij niet afgerekend op (gekwantificeerde) doelstellingen, maar op een verantwoord gebruik van de aan hen verleende autonomie om beslissingen te maken. 6.4 Lessons learned Al met al kunnen we op basis van deze case studies een aantal lessen trekken voor de vormgeving van de subsidieregeling voor VVN. Projectsubsidies kunnen wellicht tot vertrouwensvolle samenwerking dwingen, maar leveren potentieel veel werk op. Bovendien is het gevaar van een dergelijke regeling dat bij afwezigheid van geloof in de behaalde resultaten op beleidsniveau van de uitvoerende organisatie dubbel werk wordt verricht, waarbij het ministerie zich tot in te groot detail gaat bezig houden met de vormgeving van projecten. De omstandigheden waarin VVN zich bevindt vertonen overeenkomsten met de casus Onderwijs in de VS. Noch het ministerie, noch VVN zelf beschikt over alle kennis en kunde om het aantal verkeersdoden tot nul te reduceren. VVN noch het ministerie kan bewijzen dat de activiteiten van VVN bijdragen (of juist niet) aan het bereiken van de doelstellingen. Zolang dit de situatie is, is outputsturing geen logische optie. Aan de andere kant is inputsturing door het ministerie of volledige decentralisatie ook niet zinvol. Een subsidierelatie die op basis van geloof in de doorwerking van de activiteiten op de beleidsdoelstellingen functioneert is een reële mogelijkheid wanneer consensus bereikt kan worden over de effectiviteit van de activiteiten. Het voordeel van een dergelijke relatie is dat het gebruik van prestatie-indicatoren als basis van de

27 Evaluatie Subisidieregeling Veilig Verkeer Nederland 27 / 88 subsidierelatie in principe overbodig kan maken. Met name voor organisaties die, zoals C&V en VVN gericht zijn op veiligheid, kan dit een groot voordeel zijn gezien de problemen met het vaststellen van een lineair verband tussen activiteit en outcome. Dit probleem zagen we ook in de casus over het onderwijs in de VS. In het volgende hoofdstuk gaan we nader in op de eisen die aan het ontwerp van een dergelijke regeling, die gestoeld is op vertrouwen, gesteld moeten worden.

28 Evaluatie Subisidieregeling Veilig Verkeer Nederland 28 / 88 7 Eisen aan het ontwerp van een subsidierelatie In voorgaande hoofdstukken hebben wij de prestatie-indicatoren van VVN geëvalueerd en gekeken naar een aantal case studies. In dit hoofdstuk willen we nader ingaan op de concrete eisen die gesteld moeten worden aan een subsidieregeling. Deze eisen verschillen per situatie. We bespreken drie mogelijke regelingen: Een subsidierelatie waarbij een eenduidig verband vastgesteld kan worden tussen activiteit en outcome; Een subsidierelatie waarbij dit niet mogelijk is. Met andere woorden: de relatie tussen input en outcome is een black box ; Een subsidierelatie die de middenweg vormt tussen 1 en 2. Hierbij gaat het om een situatie waarin er consensus bestaat over het verband tussen een meetbare (tussenliggende) variabele en outcome, maar waarbij dit verband niet (bijvoorbeeld wetenschappelijk) is aangetoond. 7.1 Eenduidig verband tussen input en outcome In deze situatie is het mogelijk om te werken met prestatie-indicatoren om op outcome te sturen. De indicatoren moeten in dat geval aan de volgende eisen voldoen: Eis 1 Er moeten daadwerkelijk consequenties verbonden zijn aan niet-nakoming van de indicator Dit is een belangrijke voorwaarde waar een subsidieregeling waarbij prestatie-indicatoren een voorname rol spelen aan moet voldoen. Het hanteren van een indicator heeft geen toegevoegde waarde als er geen consequenties verbonden zijn aan het niet behalen van de indicator. De prikkel voor de subsidieontvanger om te voldoen aan de eisen, is dan immers weg. Wanneer de beschikkingen en de prestaties van VVN naast elkaar worden gelegd, lijken er op dit moment geen consequenties te zijn verbonden aan het niet-nakomen van de indicatoren. Eis 2. De prestatie-indicator moet direct verband houden met de activiteiten die de subsidieontvanger uitvoert Indien niet aan deze voorwaarde is voldaan, meet de indicator niet datgene waar de subsidieontvanger daadwerkelijk invloed op heeft. Het gevolg is dat de subsidieontvanger in het ergste geval nooit aan de indicatoren voldoet. Eis 3. Een prestatie-indicator moet objectief meetbaar zijn Meetbaarheid is een belangrijke voorwaarde voor het kunnen hanteren van prestatieindicatoren. Er bestaat vaak een spanningsveld tussen eis 2 en de eis ten aanzien van

29 Evaluatie Subisidieregeling Veilig Verkeer Nederland 29 / 88 meetbaarheid: soms is de meest ideale indicator niet de indicator die het makkelijkst meetbaar is. Een voorbeeld is de perceptie van verkeersveiligheid. 7.2 Relatie tussen input en outcome is een volledige black box In deze situatie is het onmogelijk om een rechtlijnig verband te vinden tussen input en outcome. Dit is met name het geval wanneer er zo veel factoren van invloed kunnen zijn op de outcome (naast de activiteit), dat het onmogelijk is om de bijdrage van de activiteit aan de outcome te koppelen. Een mogelijkheid is dan om de subsidierelatie op basis van mutual belief in te richten. We zagen reeds dat dit op hoofdlijnen de werkwijze van VWS C & V is. In deze situatie kan noch de subsidieontvanger, noch de verstrekker objectief aantonen dat door het uitvoeren van een bepaalde activiteit de gewenste outcome bereikt wordt. Bij een subsidie relatie die gebaseerd is op mutual belief, zijn ook een aantal eisen te formuleren: Eis 1: De subsidieverstrekkende instantie gaat ervan uit dat de ontvangende instantie met haar activiteiten een bijdrage levert aan de beleidsdoelstelling Het onvermogen om de bijdrage van activiteiten aan beleidsdoelstellingen objectief aan te tonen, gekoppeld aan de wens om de subsidieontvanger een plek in de maatschappij te laten vervullen en daarmee een bijdrage aan de verkeersveiligheid te leveren, impliceert dat er mutual belief moet bestaan in de bijdrage van de activiteiten van de ontvanger aan de beleidsdoelstellingen van de subsidieverstrekker. De ontvangende instantie wordt in een dergelijk model vrij gelaten om zelf een strategie en activiteitenplan te ontwerpen. Eis 2: Er vindt regelmatig overleg plaats zodat continue monitoring mogelijk is Het in stand houden van het mutual belief stelt wel nadere eisen aan het samenwerkingsproces. In de case van C & V zagen we bijvoorbeeld dat afstemming plaats vindt omtrent het activiteitenplan van C & V en dat VWS nauw betrokken is bij de voortgang, zonder de regie over te nemen. De subsidieontvanger verantwoordt zich in een dergelijke situatie niet voor de outcome, maar voor de invulling van haar activiteiten. Door meerdere partijen te monitoren kan bovendien een weging plaats vinden van ideeën: waarom kiest een andere partij, die zich in dezelfde situatie bevindt, voor een andere strategie? Deze regeling impliceert overigens niet dat er geen prestatie-indicatoren gebruikt kunnen worden. Het kan zinnig zijn om een indicator te kiezen die gevolgd wordt door beide partijen, zoals bij C&V het geval is met het aantal SEH opnames. Het volgen van een indicator kan een hulpmiddel zijn om te bekijken of beide partijen nog op de goede weg zitten. Eis 3: Flexibiliteit van de subsidieontvanger Flexibiliteit van de subsidieontvanger is een vereiste. De afwezigheid van een starre, eenduidige relatie tussen activiteit en outcome, gekoppeld aan de verantwoordelijkheid voor het

30 Evaluatie Subisidieregeling Veilig Verkeer Nederland 30 / 88 formuleren van haar strategie, vereist dat de subsidieontvanger zich steeds af vraagt of de gevolgde weg nog wel de juiste is. De verantwoordelijkheid van de subsidieontvanger is om de strategie zo vorm te geven dat die steeds het best aan sluit bij het bereiken van de doelstelling. Hier past een grote mate van flexibiliteit van de subsidieontvanger bij. Eis 4: Er moet een correctiemechanisme zijn voor het geval de ontvangende instantie onvoldoende presteert Het feit dat een dergelijke regeling gestoeld is op mutual belief hoeft niet te betekenen dat er geen correctie plaats kan vinden indien de subsidieontvanger niet presteert zoals verwacht. Het onvoldoende presteren is hier lastig te meten. In theorie presteert de subsidieontvanger alleen onvoldoende als de verstrekker geen vertrouwen meer heeft in de bijdrage van de ontvanger. Er wordt immers niet gestuurd op outcome. Het schaden van dit mutual belief kan veroorzaakt worden door het handelen van de ontvanger zelf, of door het feit dat deze beperkte mogelijkheden heeft om iets aan de situatie te veranderen. Wanneer een dergelijke situatie optreedt, zijn er een aantal sturingsmechanismen denkbaar. In de casus over onderwijs in de VS ontvangt de school in eerste instantie assistentie of bijsturing van bovenaf. Wanneer dit niet afdoende blijkt, kan de school uiteindelijk gesloten worden. Vertaald naar een subsidierelatie is korting op subsidiebedragen met als ultieme handeling opheffing van de betreffende instantie, een mogelijk middel. 7.3 Gebruik van een tussenliggende variabele is mogelijk Wanneer het verband tussen activiteit en outcome onduidelijk is maar de relatie tussen activiteit en een tussenliggende variabele wel waarbij er consensus bestaat over het feit dat de tussenliggende variabele verband houdt met outcome is er een model denkbaar waarbij gestuurd wordt op de tussenliggende variabele. Een tussenliggende variabele in de casus VVN zou bijvoorbeeld bewustwording kunnen zijn, bijvoorbeeld van de gevaren van te snel rijden. Als er consensus bestaat over het verband tussen bewustwording en de daadwerkelijke verkeersveiligheid, is er een model mogelijk waarbij wordt gestuurd op bewustwording onder (een steekproef van) de bevolking: De tussenliggende variabele dient in dit geval vertaald te worden in een meetbare prestatieindicator. De ontwerpeisen voor een dergelijke regeling zijn enerzijds dezelfde als de eisen die gesteld worden aan de eerste regeling: Er moeten daadwerkelijk consequenties verbonden zijn aan het niet-nakomen van de indicatoren

31 Evaluatie Subisidieregeling Veilig Verkeer Nederland 31 / 88 De prestatie-indicator moet direct verband houden met de activiteiten die de subsidieontvanger uitvoert Een prestatie-indicator moet objectief meetbaar zijn Daarnaast kunnen we een tweetal aanvullende eisen aan het ontwerp van een dergelijke subsidieregeling stellen: Eis 1: Consensus over verband tussenliggende variabele en outcome Er dient een zekere mate van consensus te bestaan ten aanzien van de mate waarin de tussenliggende variabele verband houdt met de gewenste outcome. Het betreft uitdrukkelijk consensus en geen statistisch aangetoond verband, aangezien het gebrek aan een meetbaar verband exact de reden is om te sturen op de tussenliggende variabele (en niet op outcome). Eis 2: Regelmatige update tussenliggende variabele Het is aannemelijk dat het algemeen heersend beeld ten aanzien van de meest geschikte tussenliggende variabele door de tijd heen wijzigt. Daarom kan het zinvol zijn om de tussenliggende variabele waarop gestuurd wordt, periodiek te heroverwegen en indien nodig aan te passen.

32 Evaluatie Subisidieregeling Veilig Verkeer Nederland 32 / 88 Het kwantitatieve onderzoek (Spoor B)

33 Evaluatie Subisidieregeling Veilig Verkeer Nederland 33 / 88 1 Aanleiding en Leeswijzer Binnen spoor B is de doelstelling het blootleggen van de mate waarin de activiteiten die VVN onderneemt bijdragen aan het behalen van de beleidsdoelstellingen van het ministerie. De beleidsdoelstelling is het reduceren van het aantal verkeersslachtoffers. Het onderzoeken van dit effect kan ten eerste waardevolle input bieden voor VVN voor de optimalisatie van haar activiteiten. Ten tweede vormt de effectmeting input voor de vormgeving van de nieuwe subsidierelatie (Spoor C). Het meten van het effect van de activiteiten van VVN in termen van een verbetering van de verkeersveiligheid is een zeer uitdagende taak. De vele factoren die van invloed kunnen zijn op de verkeersveiligheid maakt het lastig om het effect van de activiteiten te isoleren. Desondanks hebben we door middel van een stapsgewijze methodologie geprobeerd om de effecten in kaart te brengen. Deze methodologie kan als volgt schematisch worden weer gegeven: Causaliteit Raadplegen Deskundigen Activiteit Output Verkeersveiligheid In hoofdstuk 2 van dit tussenrapport wordt onze methodologie geïntroduceerd. Vervolgens worden respectievelijk de Meldpunten, de BROEM- cursussen en de verkeerseducatiepakketten voor basisscholen geanalyseerd. In hoofdstuk 6 volgen de belangrijkste conclusies van de gehele analyse.

34 Evaluatie Subisidieregeling Veilig Verkeer Nederland 34 / 88 2 Methodologie De uitdaging in de effectmeting is het duiden van de relatie tussen de activiteiten van VVN en de verkeersveiligheid, uitgedrukt in het aantal verkeersslachtoffers. VVN heeft een flink aantal projecten die erg van elkaar kunnen verschillen. Zo is de doelgroep verschillend van basisschoolkinderen tot 55 + ers. Projecten verschillen van aard (facilitair, onderwijzend, confronterend). Binnen dit spoor willen we ons een beeld vormen van de effectiviteit van VVN in haar algemeenheid. Om dit doel te bereiken, hebben we een drietal activiteiten geselecteerd die een representatieve selectie van VVN projecten vormen. Deze activiteiten zijn: De Meldpunten De BROEM-cursussen De verkeerseducatie pakketten voor het basisonderwijs Deze activiteiten worden niet (volledig) uit de V&W subsidie bekostigd. De BROEM ritten worden vaak bekostigd door lokale subsidies op gemeente of provincie niveau. ROV s spelen hier ook een belangrijke rol in. De onderwijspakketten zijn vanuit VVN perspectief zelfvoorzienend en worden door de scholen gekocht. Ook de meldpunten worden (gedeeltelijk) lokaal bekostigd. In overleg hebben V&W en VVN besloten niet meer bij te houden waar elke uitgegeven euro vandaan komt. Wel is duidelijk dat de subsidie van V&W met name gebruikt wordt voor overhead bekostiging. Het effect van de overhead op de verkeersveiligheid manifesteert zich via de projecten die gefaciliteerd worden in ontwikkeling, coördinatie et cetera. De impact van deze overhead valt niet los te zien van de uitgevoerde activiteiten zelf. De impact meting richt zich daarom op de activiteiten van Veilig Verkeer Nederland in zijn algemeenheid. Informatie over hoe effectief de huidige activiteiten van VVN zijn (onafhankelijk van de bron van de bekostiging) en welke factoren bepalend zijn voor de impact van de activiteit helpt VVN om de activiteiten te verbeteren en effectiever te worden, en VVN en V&W samen om de subsidierelatie zo in te richten dat succesvolle (typen) activiteiten extra gestimuleerd worden. Voor elk van deze gekozen projecten zijn we het volgende stappenplan ingegaan: Het vaststellen van de causale relatie tussen project en beoogd effect. Het gaat hier om de vraag hoe (met welke stappen) deze activiteiten het beoogde doel bereiken, te weten een betere verkeersveiligheid. Het verzamelen van data door 1) het bezoeken van deze activiteiten en het verzamelen van informatie door middel van vragenlijsten en 2) het verzamelen van bestaande literatuur omtrent de activiteiten. Het analyseren van de causale ketens per stap met behulp van de verzamelde data en het inzetten van specialisten op het gebied van verkeersveiligheid die als klankbord fungeren en additionele informatie geven over de verschillende stappen vanuit de eigen expertise. Het klankbord heeft bestaan uit Dr. Ragnhild Davidse van SWOV en Prof. Dr. Karel Brookhuis van de TU Delft.

35 Evaluatie Subisidieregeling Veilig Verkeer Nederland 35 / 88 Het vertalen van de analyse naar een eindresultaat per activiteit inclusief een summiere analyse van de gemaakte kosten (geld en inzet) door VVN. Vervolgens vertalen we de bevindingen per activiteit naar een algeheel effect van VVN. Hierbij wordt uiteraard de nodige voorzichtigheid betracht gezien de relatief beperkte omvang van het onderzoek.

36 Evaluatie Subisidieregeling Veilig Verkeer Nederland 36 / 88 3 De Meldpunten In de afgelopen jaren heeft VVN in de provincies Friesland, Flevoland, Gelderland, Overijssel en Zeeland meldpunten ingericht waar burgers en bedrijven terecht kunnen met meldingen, klachten of vragen die betrekking hebben op verkeersonveilige situaties. Het initiatief dat is ontstaan in de regio Oost heeft zich in iets andere vorm verspreid naar andere provincies. VVN heeft de ambitie uitgesproken om de meldpunten een landelijke dekking te laten geven. Het is belangrijk om de effectiviteit van meldpunten te beoordelen aan de hand van een realistische uitgangssituatie. In deze uitgangssituatie opereren ook andere meldpunten, zoals die van ANWB (Meldpunt Fietspaden en Meldpunt Verkeersborden) en de Fietsersbond. Het is de vraag wat de meldpunten van VVN bijdragen aan de totale behoefte onder burgers om meldingen te plegen. Deze burgers zullen bij het doen van een melding opereren vanuit hun eigen belevingswereld. Het is denkbaar dat een fietsliefhebber met een specifieke klacht over een fietspad snel terecht komt bij de Fietsersbond. Een automobilist zal misschien eerder heil zoeken bij de ANWB dan bij VVN. Tenslotte zal een moeder die haar kind naar school brengt en een verkeersonveilige situatie (VOS) rondom de school waarneemt, wellicht eerder bij VVN terecht komen. Het is dus niet met zekerheid te zeggen dat er sterke concurrentie bestaat tussen bestaande meldpunten en het meldpunt van VVN. Dit wordt gevoed door de relatief gespecialiseerde aard van de bestaande meldpunten: het meldpunt van de ANWB gaat specifiek over slecht leesbare verkeersborden, terwijl de Fietsersbond gericht is op fietsers. Dit heeft implicaties voor de effectmeting, omdat het de uitgangssituatie schetst waarmee de wereld met meldpunten moet worden vergeleken. Het effect van de meldpunten is immers gedefinieerd als het verschil tussen de situatie met meldpunten en de situatie zonder meldpunten. Omdat we er van uit gaan dat er door het oprichten van een nieuw meldpunt tot uitbreiding van de doelgroep leidt, gaan we er van uit dat men door het meldpunt van VVN meer mensen geholpen worden. Met andere woorden: wij gaan in ons onderzoek ervan uit dat, in een fictieve situatie zonder VVN meldpunten, de melders niet automatisch bij een ander meldpunt terechtkomen, maar dat het totale aantal meldingen in zo n geval omlaag zou gaan. Een VVN meldpunt is in economische termen een product met unieke eigenschappen ten opzichte van andere meldpunten, zodat deze niet zonder meer als substitutiegoederen gezien kunnen worden. Een tweede implicatie voor de effectmeting hangt hiermee samen. VVN biedt een mogelijkheid om VOS te melden; het daadwerkelijke gebruik van deze mogelijkheid ligt echter niet in de verantwoordelijkheid van VVN. Individuele burgers of groepen van burgers kunnen ervoor kiezen om gebruik te maken van de door VVN beschikbaar gestelde mogelijkheid. Het aandeel verkeersonveilige situaties dat gemeld wordt, hangt daarom niet alleen van VVN af maar ook van de potentiële melders. Hetzelfde geldt voor het meldingstraject : van de melder wordt ook na de melding nog enige inspanning verwacht. Niet elke melder is hiertoe bereid of in staat. Ten slotte is er nog een derde implicatie: mensen maken gebruik van de meldpunten als zij subjectief een onveilige situatie waarnemen. Het aantal meldingen is daarom niet alleen een resultaat van de bereikbaarheid van VVN, maar ook van het subjectieve veiligheidsgevoel.

37 Evaluatie Subisidieregeling Veilig Verkeer Nederland 37 / De veronderstelde causale keten Onderstaande figuur geeft schematisch de causale relatie weer tussen de Meldpunten en het uiteindelijke beoogde doel, namelijk een verbeterde verkeersveiligheid zoals VVN deze veronderstelt. Door deze stap voor stap in kaart te brengen ontstaat een causale keten, waarbij het zich voordoen van iedere stap voorwaardelijk is voor het bereiken van het beoogde doel. De causale keten start boven in het schema met het verzamelen van de meldingen binnen de loketten en eindigt onderaan bij het beoogde doel van de meldpunten: minder schade in het verkeer, oftewel een verbeterde verkeersveiligheid. Omdat VVN een regionaal functionerende organisatie heeft, die per geografische eenheid maatwerk levert, is de causale relatie overigens niet voor ieder meldpunt identiek. De keten zoals hier gepresenteerd is opgebouwd met behulp van de initiator van het eerste meldpunt in de regio Oost en is vervolgens gestaafd aan de visie van de medewerker van VVN die verantwoordelijk is voor het meldpunt Friesland. De causale keten is derhalve opgebouwd op een bepaald abstractieniveau; de concrete werkzaamheden per melding kunnen op verschillende manieren ingevuld worden. De causale keten is vervolgens ingevuld met meldingen van de meldpunten Oost, Friesland en Zeeland. Dit wil zeggen dat we de aan ons verstrekte meldingen hebben ingedeeld in de verschillende takken van de causale keten en vervolgens per melding zijn na gegaan wat er met de melding is gebeurd. Op deze wijze kunnen we de causale relatie toetsen: loopt de relatie inderdaad zoals we veronderstellen?

38 Evaluatie Subisidieregeling Veilig Verkeer Nederland 38 / 88 De meest linker verticale tak hebben wij tot overhead gerekend. Het is een informatievoorziening aan de vereniging die tot nieuwe activiteiten, pakketten of services kan leiden. Het heeft echter geen direct effect op de verkeersveiligheid. Ons onderzoek richt zich daarom op de rechter drie takken. Dit betekent overigens niet dat tak 1 minder belangrijk is; een van de opgaven van VVN volgens de bestaande prestatie-indicatoren is het opstellen en communiceren van een trendanalyse. De meest linker verticale tak is een van de invullingen van deze opgave. We zullen de veronderstelde causale relatie voor de overige drie takken hieronder nader toelichten Tak 2: Lichte Meldingen en doe het zelf pakketten Als een melding door het meldpunt wordt ingeschat als een relatief lichte melding van een verkeersonveilige situatie, is dat bijna altijd een melding die te maken heeft met het gedrag van weggebruikers in die situatie. VVN heeft een aantal services die bedoeld zijn om het gedrag van weggebruikers te beïnvloeden in dit soort situaties. Het gaat hier bijvoorbeeld om gedrag rond scholen waar VVN het ontwikkelen van verkeersouders kan stimuleren of toepasselijke spandoeken van een geschikte actie kan verstrekken om de weggebruikers op hun gedrag te attenderen. De melder ontvangt het door VVN verstrekte doe het zelf - pakket en gaat hiermee aan de slag in overleg met andere betrokkenen zoals bijvoorbeeld de school. Deze melder start de organisatie van verkeersouders ter plaatse of plaatst de verstrekte materialen op locatie. Uiteraard is het de bedoeling dat het verstrekte pakket de situatie ten goede verandert en niet meer onveilig is. In Zeeland is het meldpunt opgezet in samenwerking met de lokale wegbeheerders en fungeert het meldpunt dat wordt beheert door VVN als aanspreekpunt voor alle wegbeheerders. Het meldpunt Zeeland verstrekt geen doe het zelf pakketten zoals de andere meldpunten dat doen. Ook in Friesland komt dit minder voor. Dit houdt voor het onderzoek in dat de 2de verticale tak van de keten voor Zeeland niet van toepassing is en voor Friesland in mindere mate Tak 3 en 4: Zware meldingen: het verstrekken van technische rapporten ter ondersteuning van de melder en het doorverwijzen naar de juiste wegbeheerder De takken 3 en 4 zijn erg aan elkaar gerelateerd en gaan over de behandeling van zware meldingen. Het gaat hier met name om meldingen over de infrastructuur en minder over het gedrag van de verkeersdeelnemers in de situatie. Als de melder met de juiste wegbeheerder in contact geweest is maar nul op het rekest gekregen heeft, helpt VVN met het opbouwen van druk op de wegbeheerder door middel van het verstrekken van een technisch rapport dat door een gekwalificeerd professional wordt opgesteld (tak 3). Vervolgens gaat de melder met het rapport terug naar de wegbeheerder om het geconstateerde probleem alsnog op te lossen.

39 Evaluatie Subisidieregeling Veilig Verkeer Nederland 39 / 88 Als de melder nog niet met de juiste instantie in contact is geweest en er niet direct aanleiding is voor het opstellen van een technisch rapport, verwijst VVN de melder door naar de juiste instantie (tak 4). Mocht de melder hier niet voldoende verder geholpen worden (het probleem wordt niet opgelost) wordt de melder alsnog een technisch rapport aangeboden om de melding kracht bij te zetten. Vervolgens gaan we er van uit dat zowel zonder als met technisch rapport de melder bij het juiste loket belandt om de melding te laten behandelen. De wegbeheerder neemt de klacht (zeker met rapport), normaliter serieus en gaat aan de slag om een oplossing te vinden voor het probleem. Vervolgens wordt het probleem opgelost. Hiermee veronderstellen we dat de verkeersonveilige situatie wordt opgelost en het verkeer veiliger wordt. 3.2 Data en werkwijze De hierboven geschetste causale relatie hebben we getoetst door de bekijken wat er met de binnengekomen meldingen precies is gebeurd. VVN heeft ons alle meldingen van januari 2009 verstrekt van de meldpunten Friesland, Oost en Zeeland. Wij hebben gezamenlijk met VVN voor een analyse van de gegevens van januari 2009 gekozen omdat deze maand duidelijk voor het begin van dit onderzoek ligt, zodat wij ervan uit kunnen gaan dat de gegevens random zijn. Tegelijkertijd is het nog recent genoeg om ervan uit te kunnen gaan dat de gegevens representatief zijn. De gegevens zijn als volgt te categoriseren: Meldpunt Tak 2 Tak 3 Tak 4 Onvoldoende gegevens beschikbaar Friesland Zeeland nvt Oost Totaal Totaal In totaal hebben wij de gegevens van 59 meldingen ontvangen. Van deze meldingen vallen 8 meldingen in de tweede tak van de causale keten (verstrekking doe het zelf pakketten), 6 meldingen in de derde tak van de keten (verstrekking van technische rapporten) en 38 meldingen in de vierde tak (het doorverwijzen naar de wegbeheerder). Van de 28 meldingen in Zeeland zijn er 3 in tak 3 geplaatst en 20 in tak 4. Van 5 meldingen zijn er geen gegevens beschikbaar. In de regio Oost zijn er 11 meldingen ontvangen in januari Hiervan zijn er 3 in tak 2 geplaatst (er is een doe het zelf pakket opgestuurd), 2 zijn er in tak 3 geplaatst (er is direct een technisch rapport opgesteld). Daarnaast zijn er nog 6 melders doorverwezen naar de juiste wegbeheerder (tak 4). In de regio Friesland zijn er 20 meldingen binnengekomen waarvan er 5 in tak 2 zijn ingedeeld. 2 zijn er in tak 3 geplaatst en 11 in tak 4. Er zijn geen technische rapporten uitgebracht voor meldingen die initieel in tak vier zijn ingedeeld en het is daarom bij de twee rapporten voor tak 3 gebleven. Tussen de verschillende meldpunten zit een duidelijk verschil in werkwijze:

40 Evaluatie Subisidieregeling Veilig Verkeer Nederland 40 / 88 Het meldpunt Zeeland verwijst de melder altijd door naar de juiste autoriteit, eventueel met een opgesteld technisch rapport. In Zeeland worden meldingen dus altijd in tak 3 of 4 geplaatst en worden er geen doe het zelf pakketten (tak 2) verstrekt. In de regio Oost worden er ook meldingen in tak 2 geplaatst. Ook binnen dit meldpunt vallen de meeste meldingen onder de categorie zwaar : bij 8 van de 11 meldingen is de melder ofwel doorverwezen naar de wegbeheerder, ofwel is er een technisch rapport opgesteld. Het meldpunt in Friesland neemt net als Zeeland ook veel zelf contact op met wegbeheerders en geeft aan in bijna alle gevallen te maken te krijgen met zeer welwillende wegbeheerders. Het komt daar bijna niet voor dat er extra druk moet worden opgebouwd met een technisch rapport en het rapport wordt alleen ingezet om informatie in te winnen. Een ander noemenswaardig element van Friesland is de sterke aanwezigheid van plaatselijke politiek die problemen aanpakt, overneemt en in de gemeenschap bespreekt. We hebben vervolgens per tak gecontroleerd wat er met de meldingen zijn gebeurd. Zijn de meldingen naar tevredenheid van de melder afgehandeld? Wat is er, naar aanleiding van de melding, gebeurd met de onveilige situatie? We hebben hiervoor gebruik gemaakt van de door VVN aan ons verstrekte informatie over het verloop van de meldingen. De resultaten van deze exercitie geven wij in de volgende paragraaf per tak weer. 3.3 Resultaten Tak 2 Onderstaande tabel geeft het verloop van de meldingen die in tak 2 worden ingedeeld, weer. Aantal doe het zelf pakketten aangeboden 5 Aantal doe het zelf pakketten uitgevoerd Aantal doe het zelf pakketten niet uitgevoerd 3 2 Aanpak succesvol volgens melder? Aanpak succesvol volgens melder? Eenmaal succesvol, eenmaal nog in uitvoering en eenmaal niet bekend. nvt Uit de beschikbare data zijn er 8 meldingen in tak 2 terechtgekomen. Hiervan waren 2 meldingen van dezelfde situatie. Er werd onveilig en agressief gereden rond een school bij het ophalen en wegbrengen van de kinderen. Beide melders (ouders) hebben het verkeersouderpakket toegestuurd gekregen, maar hebben daar niets mee gedaan. Een andere melding in tak 2 ging over te hard rijden in een bebouwde kom. Hier zijn vlaggen en ander materiaal van VVN opgehangen van de campagne Rij met je hart. Dit heeft volgens de melder geholpen. Daarnaast is er nog een veilige schoolsituatie pakket aangeboden dat nu in uitvoering is. Ook was er een melding van veel fietsers (scholieren) zonder licht. VVN organiseert ieder jaar bijvoorbeeld de fiets APK. Het is geen doe-het-zelf pakket maar de situatie wordt snel middels de fiets APK aangepakt. Het resultaat hiervan op deze situatie is niet bekend.

41 Evaluatie Subisidieregeling Veilig Verkeer Nederland 41 / 88 Naast deze ondernomen activiteiten van VVN en de melders zijn er ook nog een drietal meldingen die wel als tak 2 meldingen beschouwd kunnen worden, maar waar geen geschikt pakket voor beschikbaar is / was. In 2 van de 3 gevallen heeft de lokale politiek de situatie ter harte genomen en van 1 melding is geen informatie bekend over vervolgstappen Tak 3 en Tak 4 In totaal zijn er 44 meldingen ingedeeld in tak 3 of 4. Zes meldingen zijn direct in tak 3 ingedeeld; daar is een technisch rapport van geschreven. Drie melders zijn, na direct te zijn doorverwezen naar de juiste wegbeheerder (tak 4) om de melding extra kracht bij te zetten teruggekomen voor een technisch rapport. Vervolgens zijn deze meldingen in tak 3 ingestroomd, wat wil zeggen dat de melder met het rapport onder de arm opnieuw de wegbeheerder heeft benaderd: Meldingen door VVN in tak 3 geplaatst 6 Meldingen door VVN in tak 4 geplaatst 38 Aantal rapporten uitgebracht tak 3 6 Aantal rapporten uitgebracht tak 4 (instroom in tak 3 nadat contact met wegbeheerder niet succesvol was) Van de drie meldingen die van tak 4 naar tak 3 gegaan zijn is het resultaat onbekend. Het is daarom op basis van onze data niet mogelijk uitspraken te doen over de effectiviteit van het verstrekken van een technisch rapport na een eerste afwijzing van de wegbeheerder. In totaal zijn er uiteindelijk 31 zware meldingen door wegbeheerders in behandeling genomen. Hieruit kwamen de volgende resultaten: Actie Melder ziet ontevreden af van verdere actie na negatieve terugkoppeling wegbeheerder 4 In de komende jaren wordt de situatie (infrastructuur) aangepakt en zal dit meegenomen 7 worden Markering (borden en tekens op de weg) vervangen / aangebracht zonder wijziging regels 9 (zoals snelheid of voorrangsregels) Begroeiing is gesnoeid om het zicht bij kruising te verbeteren 2 Onderzoek door wegbeheerder gestart, veranderingen onbekend 6 Activiteiten Wegbeheerder onbekend 4 Melding onterecht bevonden, conclusie geaccepteerd door melder 6 Overig succesvol (onveilige verkeerssituatie aangepakt naar zin melder) 4 Melding overgenomen door lokale politiek 2 Totaal 44 3 Aantal De positieve resultaten van meldingen die in januari 2009 bij de meldpunten zijn binnengekomen en als zware meldingen zijn beoordeeld, zijn: In 7 gevallen heeft de wegbeheerder positief gereageerd op de melding en toegezegd de melding mee te nemen bij al geplande opknapbeurten / verbouwingen. Het gaat in deze gevallen om onoverzichtelijke kruisingen en onveilige oversteekplaatsen voor voetgangers en fietsers. In 9 gevallen is de bebording of markering aangepast of vernieuwd om de situatie overzichtelijker te maken. Het gaat bij deze aanpassingen vaak om het verplaatsen

42 Evaluatie Subisidieregeling Veilig Verkeer Nederland 42 / 88 van borden naar een duidelijk zichtbare plek, of het vernieuwen of aanbrengen van haaientanden bij kruispunten. In 2 gevallen is bossage bij een kruispunt gesnoeid ter verbetering van het zicht rondom en op de kruispunten. Vier overige meldingen zijn succesvol verwerkt door verantwoordelijke partijen. De melder is tevreden gesteld. Het gaat hier om relatief kleine zaken ten opzichte van bijvoorbeeld de onveilige / onoverzichtelijke kruisingen. Naast deze succesvolle meldingen waarvan het resultaat bekend is, zijn er nog acht meldingen waarbij de verantwoordelijke wegbeheerder of de plaatselijke politiek een onderzoek is gestart of (buurt-) dialoog is aangegaan. Hiervan is het resultaat bij ons onbekend. In totaal zijn er 30 meldingen uit tak 3 of 4 opgelost (22) of in behandeling door wegbeheerders & lokale politiek (8). De belangrijkste redenen dat meldingen niet tot veranderingen leiden die naar tevredenheid van de melder zijn, zijn 1) het opgeven van de melder door het spaak lopen van het proces (4 x) of 2) het onterecht bevinden van de melding door de wegbeheerder (6 x). 3.4 Conclusies In bovenstaande paragrafen hebben we de output van de activiteit Meldpunten gemeten, wat de eerste stap in de totale effectmeting is. Dit hebben we gedaan door de stappen in de causale keten te doorlopen: wat is er met binnengekomen meldingen gebeurd? Verreweg de meeste meldingen vallen onder de categorie zwaar en betreffen dus situaties waar infrastructurele factoren ten grondslag liggen aan de verkeersonveilige situatie. We hebben gezien dat van de 44 meldingen in tak 3 en 4, er 22 succesvol zijn afgehandeld door of via de meldpunten, en er 6 meldingen nog aan onderzoek onderhavig zijn. Aangezien succesvolle afhandeling van een melding impliciet betekent dat de melder tevreden is met het resultaat, kunnen we zeggen dat de meldpunten een positief effect hebben op de subjectieve verkeersveiligheid de beleving van verkeersveiligheid door de maatschappij. De volgende stap in de effectmeting is het vertalen van de tussenresultaten naar verandering in de objectieve verkeersveiligheid. Door het lage aantal ongelukken in Nederland is er echter weinig data beschikbaar over verkeers(on)veiligheid. Hierdoor is het lastig, zo niet onmogelijk, kwantitatief onderbouwde conclusies te trekken over hoeveel de uitkomsten van deze meldingen het verkeer veiliger of onveiliger gemaakt hebben. Is het wel mogelijk de conclusie te trekken dat de objectieve verkeersveiligheid verbetert door de resultaten van de meldingen? We kunnen concluderen dat de subjectieve verkeersveiligheid verbetert. Onderzoek wijst echter uit dat het verband tussen objectieve en subjectieve verkeersveiligheid hooguit zwak positief is 6. 6 SWOV Factsheet, Subjectieve verkeersonveiligheid, december 2009

43 Evaluatie Subisidieregeling Veilig Verkeer Nederland 43 / Raadpleging deskundigen Het conceptrapport spoor B is voorgelegd aan twee deskundigen op het gebied van verkeersveiligheid. De volgende relevante opmerkingen en suggesties met betrekking tot meldpunten zijn nog niet elders aan bod gekomen: De vraag hoe hoog het succespercentage is van andere meldpunten met betrekking tot verkeersonveiligheid, komt in het onderzoek helaas niet aan bod. Dit had het beeld van het presteren van VVN kunnen aanscherpen. Het oplossen van infrastructuur gerelateerde meldingen door wegbeheerders gebeurt meestal in de volgende ronde, en daar gaat vaak wat tijd overheen. De melding wordt dan wel opgelost maar niet direct. Het betrekken van de omgeving bij de Verkeers-Onveilige Situatie (VOS), wat veel voorkomt, verhoogt de betrokkenheid en subjectieve verkeersveiligheid. VVN faciliteert melders bij het vinden van het juiste loket. Echte doorzettingsmacht om een probleem op te lossen heeft VVN niet. De zichtbaarheid van de meldpunten van VVN zou beter kunnen. Zo zijn de meldpunten niet prominent op de site van VVN geplaatst. 3.5 Kosten meldpunten De kosten die VVN maakt voor de meldpunten bedragen ongeveer euro per jaar. In 2008 zijn meldingen binnengekomen, waarvan zijn afgehandeld. De kosten per afhandeling liggen dus bij ongeveer 90 euro. De totale inzet van VVN voor de meldpunten is ongeveer 2% van de jaarlijkse V&W subsidie.

44 Evaluatie Subisidieregeling Veilig Verkeer Nederland 44 / 88 4 BROEM-cursussen De BROEM-cursussen of BROEM ritten worden door het hele land georganiseerd. Een BROEM-rit richt zich op ers in de auto. Het belangrijkste onderdeel van een BROEM activiteit is dat elke deelnemer een rit maakt in de eigen auto met een professionele rijinstructeur. Hierbij krijgt de deelnemer feedback op het rijgedrag. Naast deze rit met de instructeur, die inclusief feedback ongeveer een uur duurt, is er ook een uur theoriecursus. Hierin worden vernieuwingen in de verkeerswet van de afgelopen jaren behandeld. Veel deelnemers hebben decennia geleden hun rijbewijs gehaald en zijn niet altijd op de hoogte van de nieuwste ontwikkelingen in de relevante regelgeving. Een derde blok van een uur bevat een aantal fysieke testen. Afhankelijk van de beschikbaarheid zijn er gehoortesten, oogtesten, reactietesten en bewegingstesten, eventueel inclusief training gericht op beweging van de nek en schouders. Ook de BROEM-ritten worden meestal georganiseerd door of met behulp van de regionale VVN afdelingen waarbij maatwerk wordt geambieerd. Daarnaast worden de BROEM-ritten zelf vaak door lokale overheden gesubsidieerd onder variërende voorwaarden. Hierdoor kan het zijn dat de doelgroep iets wordt aangepast (leeftijdsgrens) bijvoorbeeld naar aanleiding van verzoeken van de gemeente. Ook kunnen regionale faciliteiten zoals een rijschool (die mede organiseert) en die in het bezit is van een rijsimulator, gebruikt worden. Dit verandert het programma van de dag enigszins. De BROEM-cursus is een initiatief van VVN, de ANWB en BOVAG dat positief ontvangen wordt door gemeenten en deelnemers. Ieder jaar worden er meer ritten georganiseerd. In 2008 zijn er 132 ritten in samenwerking met het hoofdkantoor georganiseerd en naar schatting meer dan 70 door lokale afdelingen. 4.1 De veronderstelde causale keten Onderstaande figuur geeft schematisch de causale relatie weer tussen activiteit (de BROEM cursus) en de beoogde effecten. Deze beoogde effecten zijn, naast een verbetering van de verkeersveiligheid, het stimuleren van milieubewust rijden en het bevorderen van de mobiliteit van ouderen. De causale keten van de BROEM-ritten is opgebouwd in samenwerking met een regiomanager en een organiserende vrijwilliger van VVN 7. Wanneer we bovenin het schema beginnen, zien we dat de BROEM cursus dus uit drie onderdelen bestaat: Een rit/ opfriscursus met een professionele instructeur. Een opfriscursus verkeerstheorie, met een focus op nieuwe regelgeving van de afgelopen jaren. 7 De keten is verder aan een aantal betrokken organisatoren laten zien en is correct bevonden.

45 Evaluatie Subisidieregeling Veilig Verkeer Nederland 45 / 88 Een serie fysieke testen op ogen, oren, reactie en bewegingsvrijheid. Het directe doel van deze blokken is om de deelnemers bewust te maken van hun situatie en capaciteiten in het verkeer. Wat gaat er goed, wat gaat er minder en waar moet echt iets aan gebeuren om nog veilig in de auto aan het verkeer te kunnen deelnemen? De uitkomsten van de rit met de instructeur, het theorieblok en de fysieke testen geven de deelnemers zowel advies tot nazorg als antwoord op twijfels in de omgeving of ze nog voldoende in staat zijn om aan het verkeer deel te nemen. Met nazorg wordt bedoeld dat er een bezoek aan een specialist wordt gedaan zoals een opticien of audicien, of een verkeerscursus theorie en/of praktijk. Het antwoord op sociale twijfels wordt door VVN aangedragen als belangrijke reden voor een aantal ouderen om aan de cursus mee te doen. Een aantal van hen hoort bijvoorbeeld van kinderen dat ze niet veilig meer rijden en willen graag van een onafhankelijk iemand horen of ze inderdaad de auto beter kunnen laten staan, of dat ze tegen de kinderen kunnen zeggen dat ze nog prima in staat zijn om een auto te besturen. Bewustwording van het eigen functioneren is uiteraard een voorwaarde voor het daadwerkelijk ondernemen van stappen op het gebied van nazorg en het kunnen geven van antwoorden op sociale twijfels. Als er geen bewustwording is, loopt de causale relatie dus in een vroeg stadium spaak. Het krijgen van een antwoord op sociale twijfels, het hebben van meer kennis of kunde in het verkeer (bijvoorbeeld door een extra verkeersles) of het aanpassen van hulpmiddelen (bijvoorbeeld door een nieuwe bril) leiden in wisselwerking tot veiliger verkeersgedrag. Bovendien leidt het extra zelfvertrouwen tot het langer mobiel zijn van ouderen waardoor sociaal isolement voorkomen. Ook wordt het nieuwe rijden aan de ouderen geïntroduceerd wat leidt tot minder benzineverbruik en minder milieuvervuiling.

46 Evaluatie Subisidieregeling Veilig Verkeer Nederland 46 / 88 In ons onderzoek richten wij ons alleen op de verkeersveiligheid en beschouwen eventuele effecten van het nieuwe rijden en het voorkomen van sociaal isolement als bijkomende positieve effecten voor de maatschappij. Voor Veilig Verkeer Nederland, en met name de organiserende vrijwilligers zijn dit echter belangrijke drijfveren om een bijdrage te leveren aan de organisatie. 4.2 Data en werkwijze Om de causale relatie te toetsen hebben we gewerkt met een voormeting en een nameting. Voor de voormeting hebben we door middel van vragenlijsten data verzameld. Hiertoe hebben we twee BROEM-ritten bezocht, die plaats vonden in Den Haag en in Gulpen (Zuid-Limburg). Voor de nameting hebben we de deelnemers 1-2 weken na de cursus telefonisch een aantal vragen gesteld. Daarnaast heeft de organisatie van de BROEM cursussen op een aantal vlakken de scores van de deelnemers bijgehouden. In totaal hebben 49 deelnemers beide vragenlijsten ingevuld. Een voorbeeld van de vragenlijsten is in de bijlage terug te vinden. De rit in Den Haag is georganiseerd in samenwerking met een rijschool die de beschikking had over een rijsimulator: deze is ingezet voor de reactietest van de deelnemers. Zowel rijsimulator als opticien waren niet beschikbaar in Gulpen. Hier was echter wel een bewegingscoach aanwezig, die nek en schouderoefeningen deed met de deelnemers om te kijken of deze belangrijke spieren voor het autorijden nog voldoende flexibel waren. Daarnaast werd de deelnemers bewegingsoefeningen geleerd om de spieren soepel te maken/houden. Dit heeft ertoe geleid dat de resultaten voor zicht en reactievermogen allen afkomstig zijn uit Den Haag. De resultaten voor gehoor zijn van beide cursussen opgeteld. Tenslotte zijn alle resultaten voor beweging afkomstig uit Gulpen aangezien er in Den Haag geen bewegingscoach aanwezig was Aanpak voor de eerste stap in de keten: bewustwording Om een inschatting te krijgen van de mate waarin de deelnemers na de cursus bewust zijn geworden van hun eigen functioneren in het verkeer, hebben we de deelnemers zowel voor als na de cursus gevraagd om een inschatting te geven van hun eigen kennis en kunde. We hebben aan de deelnemers gevraagd om zichzelf in te schatten als onvoldoende, voldoende, goed of zeer goed. Specialisten, zoals bijvoorbeeld de opticien, hebben dezelfde deelnemers ingedeeld in dezelfde niveaus. Het gekwadrateerde verschil tussen de inschattingen van de deelnemers en de inschatting van de deskundige is de inschattingsfout: deze variabele gebruiken we als maatstaf voor bewustwording. De redenering is als volgt. Als we het beeld van de specialist als een objectieve maatstaf van het gezichtsvermogen van de deelnemer beschouwen, is de inschattingsfout (het verschil tussen de inschatting van de deelnemers en de inschatting van de specialist) immers een maatstaf voor de mate waarin de deelnemer bewust is van zijn eigen functioneren. Het verschil tussen de inschattingsfout voor en na de cursus zegt vervolgens dus iets over de mate waarin deelnemers

47 Evaluatie Subisidieregeling Veilig Verkeer Nederland 47 / 88 zich bewust zijn geworden van hun eigen kennis of kunde. Zodoende hebben we een beeld van de eerste stap van de causale keten: leidt de BROEM cursus tot meer bewustwording bij de deelnemers? Rekenkundig bepalen we de inschattingsfout als volgt. Als de groep over perfecte zelfkennis beschikt is het percentage dat zichzelf als onvoldoende, voldoende, goed of zeer goed inschat gelijk aan de percentages die de opticien aan de groep heeft toegekend. Als echter bijvoorbeeld 10% van de groep zichzelf onvoldoende inschat in de categorie zicht en de opticien 20% van de groep als onvoldoende beoordeelt, is de inschattingsfout van de deelnemers gelijk aan (0,2 0,1) ^2 = 0,01. De volgende tabel bevat een volledig rekenvoorbeeld: Ingeschat 10% (onvold.) 20% 20% (vold) 20% 40% (goed) 40% 30% (z. goed) 20% Geconstateerd De inschattingsfout is dan: (0.1 0,2) ^ 2 + (0,2 0,2) ^ 2 + (0,4 0,4) ^ 2 + (0,3 0,2) ^ 2 = 0,02 We hebben de inschattingen van de deelnemers voor en na de cursus vergeleken met de expert judgements van de organisatie van de cursus. Met behulp van de geïntroduceerde variabele kunnen we gemakkelijk de inschattingsfout voor en na de cursus met elkaar vergelijken Aanpak voor de tweede laag van de keten: Nazorg en sociale twijfels Het effect op de mate waarin de deelnemers nazorg plegen en antwoord krijgen op sociale twijfels, hebben we getoetst aan de hand van telefonische enquêtes en vragenlijsten. Door middel van telefonische enquêtes hebben we achterhaald of de deelnemers na de cursus bijvoorbeeld een nieuwe bril hebben aangeschaft, extra verkeerslessen hebben gevolgd, een theorieboek hebben aangeschaft, etc. Dit valt onder de noemer nazorg. Door de deelnemers te vragen of het krijgen van antwoorden op sociale twijfels een reden is voor deelname, en (zo ja) wat het effect van deelname is geweest op de twijfels van de omgeving, krijgen we een beeld van het effect op deze sociale twijfels Aanpak voor de derde laag van de keten: meer kennis en kunde en meer zelfvertrouwen Het effect op het zelfvertrouwen van de deelnemers hebben we getoetst door zowel voor als na de training aan de deelnemers te vragen hoe zelfverzekerd zij in het verkeer opereren. Het gaat ook hier dus om een subjectieve inschatting van zelfvertrouwen. Kennis en kunde is op deze wijze erg lastig te meten. Om een uitspraak te kunnen doen over het daadwerkelijke functioneren van de deelnemers (en dus niet het door henzelf ingeschatte functioneren), is immers een objectieve meetmethode nodig. We hebben er daarom voor gekozen om op dit aspect de deskundigen in te schakelen om een benadering te krijgen van het effect van een dergelijke cursus op kennis en kunde in het verkeer.

48 Evaluatie Subisidieregeling Veilig Verkeer Nederland 48 / Resultaten Hieronder geven we eerst een kort overzicht van de data die aan de hand van de twee ritten verzameld is. We geven de resultaten van de vragenlijsten en testen in de categorieën zicht, gehoor, reactie en beweging. Vervolgens zijn de inschattingen van de deelnemers in de categorieën theorie en praktijk en de resultaten van de praktijkritten met instructeurs weer gegeven. Resultaten van theorietesten zijn niet beschikbaar omdat de theorieblokken geen representatieve testen bevatten 8. Daarnaast zijn de inschattingen van het zelfvertrouwen in het verkeer van de deelnemers voor en na de cursus, en het aantal achteraf gerapporteerde bezoeken en gemaakte afspraken met specialisten 9, weergegeven Zicht De volgende tabel bevat de resultaten voor de categorie Zicht. Zicht N = 23 (DH) Inschatting voor de cursus Inschatting de cursus Onvoldoende 0% 13% 30% Voldoende 30% 17% 26% Goed 70% 61% 26% Zeer Goed 0% 9% 17% na Geconstateerd De inschattingsfout voor de cursus lag bij 0,31, de inschattingsfout na de cursus bij 0,17. Na de cursus hebben de deelnemers dus een (duidelijk) meer realistische zelfinschatting dan voor de cursus. Het valt op dat er vooral sprake is van een te positieve inschatting van het eigen gezichtsvermogen. Bovendien valt op dat de foutieve inschatting vooral aan de extreempunten ligt: voor de cursus schat niemand zijn eigen gezichtsvermogen in als onvoldoende of zeer goed, terwijl door de experts maar liefs 47% in een van deze categorieën wordt ingedeeld. De zelfinschatting toont dus een duidelijke lagere spreiding dan de realiteit. Na de cursus neemt de spreiding weliswaar af, maar is nog steeds lager dan de geconstateerde spreiding Resultaten: Gehoor De volgende tabel bevat de resultaten voor de categorie Gehoor. 8 Het theorieblok bestaat uit een college waarbij wordt gediscussieerd over de verkeersregels. Hoewel we geen toets hebben uitgevoerd op theoretische kennis, was ons beeld van de theorieblokken wel dat een aantal deelnemers de theorie onvoldoende beheersten. De blokken waren dus zeker leerzaam te noemen. 9 Zoals opticiens en rijscholen.

49 Evaluatie Subisidieregeling Veilig Verkeer Nederland 49 / 88 Gehoor N = 47 (Beide) Inschatting voor de cursus Inschatting de cursus Onvoldoende 2% 21% 18% Voldoende 46% 26% 56% Goed 44% 32% 12% Zeer Goed 8% 21% 14% na Geconstateerd De inschattingsfout voor de cursus lag bij 0,14, de inschattingsfout na de cursus eveneens bij 0,14. De zelfinschatting verbetert dus niet. Wel is er na de cursus een grotere spreiding, wat dichter bij de realiteit ligt. De cursisten schatten zich over het algemeen te positief in Resultaten Reactie De volgende tabel bevat de resultaten voor de categorie Reactie. Reactie N = 22 (DH) Inschatting voor de cursus Inschatting de cursus Onvoldoende 0% 9% 4% Voldoende 43% 27% 26% Goed 48% 50% 48% Zeer Goed 9% 14% 22% na Geconstateerd De inschattingsfout voor de cursus lag bij 0,05, de inschattingsfout na de cursus bij 0,01. De inschatting is dus al voor de cursus enigszins realistisch, en verbetert na de cursus verder. Overigens schatten zich de cursisten zich met betrekking tot hun reactievermogen niet te positief, maar juist te negatief in Resultaten Beweging De volgende tabel bevat de resultaten voor de categorie Beweging. Beweging N = 27 (Gulpen) Inschatting voor de cursus Inschatting na de cursus Onvoldoende 0% 8% 4% Voldoende 22% 19% 43% Goed 67% 58% 46% Zeer Goed 11% 15% 7% Geconstateerd De inschattingsfout voor de cursus lag bij 0,09, de inschattingsfout na de cursus bij 0,08. De inschatting verbetert nauwelijks, maar bevindt zich wel op een relatief hoog niveau Resultaten Theorie De volgende tabel bevat de resultaten voor de categorie Theorie.

50 Evaluatie Subisidieregeling Veilig Verkeer Nederland 50 / 88 Theorie N = 47 (beide) Inschatting voor de cursus Onvoldoende 15% 2% Voldoende 63% 37% Goed 23% 59% Zeer Goed 0% 2% Inschatting na de cursus Er is geen theorietest uitgevoerd gedurende de beide trainingen, zodat een inschattingfout niet gegeven kan worden. Wat wel opvalt is dat de zelfinschatting na de cursus duidelijk positiever is dan voor de cursus Resultaten Praktijk De volgende tabel bevat de resultaten voor de categorie Praktijk. Praktijk N = 48 (beide) Inschatting voor de cursus Inschatting na de cursus Onvoldoende 2% 2% 4% Voldoende 20% 10% 43% Goed 70% 63% 46% Zeer Goed 8% 24% 7% Geconstateerd De inschattingsfout voor de cursus lag bij 0,11, de inschattingsfout na de cursus bij 0,17. Hierbij valt op dat de inschatting na de cursus sterker van het door de instructeur geconstateerde percentage afwijkt dan voor de cursus. Het praktijkgedeelte had dus een invers effect. Dit is een opvallende bevinding. Een mogelijke verklaring voor dit verschijnsel is dat de instructeurs in hun bewoording naar de deelnemers positiever zijn over de rijvaardigheid dan op schrift. Hoe dan ook is dit een punt waar optimalisatie mogelijk is: door de deelnemers strenger toe te spreken, zou de bewustwording van de deelnemers op het gebied van rijvaardigheid kunnen toenemen. 4.4 Resultaten voor de eerste laag van de keten: bewustwording Uit de resultaten van de inschattingen en de testen blijkt dat de inschattingsfout in alle categorieën van fysieke testen, zicht, gehoor, reactie en beweging (hetzij soms marginaal) verminderd is. Daarnaast blijkt dat het aantal mensen dat zich als onvoldoende beoordeelt in de fysieke categorieën hoger is na de cursus dan voor de cursus. Op het vlak van de fysieke testen kunnen we dus spreken van bewustwording, omdat de inschattingsfout (zij het soms marginaal) verkleint. Vooral het aantal deelnemers dat zichzelf als onvoldoende is gaan beoordelen stijgt voor alle vier de fysieke categorieën na deelname aan de cursus. Bewustwording van eigen beperkingen lijkt dus op te treden. We hebben door het anonieme karakter van de informatie niet kunnen vaststellen dat de juiste mensen aan zichzelf zijn gaan twijfelen. Wel weten we uit de vraaggesprekken over de telefoon achteraf dat de getrokken conclusies vaak overeenkomen met feedback van de BROEM organisatoren. Er is dus geen reden om aan te nemen dat het niet om de juiste mensen gaat.

51 Evaluatie Subisidieregeling Veilig Verkeer Nederland 51 / 88 In het theorieblok blijkt dat mensen zichzelf beter inschatten na de cursus. Hetzelfde geldt voor de praktijk (rijvaardigheid). Het laatste lijkt onterecht te zijn aan de hand van de beoordelingen van de instructeurs, aangezien de inschattingsfout na de cursus toe neemt. Van de beide personen die als onvoldoende worden aangemerkt door de instructeur weten we uit de telefonische enquête dat één deelnemer een extra rit heeft gemaakt met een bevriende instructeur, die heeft aangegeven dat er geen aanleiding is voor zorgen. De ander neemt extra rijlessen bij de rijschool in Den Haag. In alle categorieën, inclusief theoriekennis en rijvaardigheid is de spreiding van de antwoorden na de cursus groter dan voor de cursus. Waar voor de cursus veel (vooral) voldoende en ruim voldoende wordt geantwoord, plaatsten de cursisten zich na de training ook vaak in de categorieën zeer goed en onvoldoende. De zelfkennis / bewustwording lijkt hiermee te stijgen. 4.5 Resultaten voor de tweede laag in de keten: Nazorg en antwoorden op sociale twijfels Gegeven de bewustwording op het gebied van theorie en op het fysieke vlak, kunnen we kijken wat vervolgens de effecten zijn op nazorg en de sociale twijfels van de omgeving. De deelnemers hebben in alle gevallen van een onvoldoende beoordeling, behalve bij reactievermogen, het advies gekregen nog eens naar een specialist te gaan om te kijken wat er gedaan kan worden om de vaardigheid te verbeteren. Het kan bijvoorbeeld gaan om een bezoek aan een opticien, fysiotherapeut of rijschool. De volgende tabel geeft een overzicht van het aantal door de deelnemers afgelegde bezoeken of afspraken die gemaakt zijn naar aanleiding van de cursus. Opvallend is dat van de 49 deelnemers die achteraf zijn ondervraagd, er 8 (16%) een bezoek aan een audicien hebben afgelegd of gepland. Ook zijn er door 6 deelnemers, waarvan de bril niet meer goed bleek, bezoeken aan een opticien gepleegd. Vijf deelnemers nemen extra rijlessen om de rijvaardigheid bij te spijkeren. Specialist Opticien 6 Audicien 8 Theorieboek gekocht en bestudeerd 3 Rijlessen 5 Fysiotherapeut 3 Totaal 25 Afgelegde bezoeken en gemaakte afspraken Al met al heeft ongeveer de helft van de deelnemers na afloop van de cursus stappen ondernomen op het gebied van nazorg. Veilig Verkeer Nederland heeft aangegeven dat twijfels van bijvoorbeeld kinderen voor veel deelnemers een belangrijke reden is om mee te doen aan een BROEM cursus. Deze vraag is in Gulpen opgenomen in het evaluatieformulier van Veilig Verkeer Nederland en aan alle deelnemers over de telefoon voorzichtig gesteld. Slechts twee van de 49 ondervraagden hebben aangegeven dat dit een belangrijke reden is geweest om aan de cursus mee te doen. Het overgrote deel van de deelnemers doet mee om zichzelf een spiegel voor te houden en bij te leren.

52 Evaluatie Subisidieregeling Veilig Verkeer Nederland 52 / Resultaten voor de derde laag van de keten: Zelfvertrouwen en kennis en kunde Aangezien het krijgen van een antwoord op sociale twijfels geen factor blijkt te zijn in het vergroten van zelfvertrouwen, gaan we er van uit dat dit zelfvertrouwen met name komt door de stappen die de deelnemers ondernemen om hun eigen functioneren te verbeteren (nazorg), en door bewustwording in positieve zin (dus als het blijkt mee te vallen ). Uit de voor,-en nameting blijkt dat het zelfvertrouwen van de deelnemers inderdaad is gestegen. Er vindt met name een stap plaats tussen de categorieën voldoende en goed. Er kan dus gesproken worden van een stijging in het zelfvertrouwen in het verkeer van de cursisten. Dit komt overeen met een licht positievere houding naar zichzelf ondanks het feit dat een flink deel van de cursisten tegen slechte resultaten is aangelopen in een deel van de resultaten. Met name de positievere inschattingen in rijvaardigheid en theoriekennis vallen op. Het oordeel van de instructeur weegt veruit het zwaarst in de beleving van de cursisten, zoals veel is gebleken in de telefoongesprekken. De instructeur heeft het een prettige rit gevonden en alleen kleine verbeterpuntjes genoemd is een veel gehoorde openingszin in de telefoongesprekken achteraf met cursisten. Het gecombineerde resultaat van beide cursussen was als volgt: Zelfvertrouwen N = 49 (beide) voor de cursus Onvoldoende 2% 2% Voldoende 26% 8% Goed 62% 78% Zeer Goed 10% 12% na de cursus Kennis en Kunde Het daadwerkelijk bijleren op het gebied van veilig verkeersgedrag op de BROEM cursus zelf kunnen we niet kwantitatief beoordelen omdat we hier geen gegevens over hebben. De deskundigen hebben aangegeven dat een dagdeel eigenlijk te kort is om daadwerkelijk significant bij te leren. De verbetering in kennis en kunde zou daarom vooral voort moeten vloeien uit de stappen die na de cursus ondernomen worden. Aangenomen kan worden dat de deelnemers die naar een opticien of audicien gaan daar worden geholpen te verbeteren. Hetzelfde geldt voor de deelnemers die extra rijlessen nemen of een theoriecursus kopen of bezoeken. 4.7 Conclusies stap 1 Wanneer we de resultaten van de eerste stap van de effectmeting (van activiteit naar output) samen nemen, is ons beeld als volgt:

53 Evaluatie Subisidieregeling Veilig Verkeer Nederland 53 / 88 De BROEM cursussen hebben een positief effect op de bewustwording van de deelnemers, behalve op het gebied van rijvaardigheid. Een mogelijke oorzaak hiervoor is het verschil tussen de mondelinge en schriftelijke communicatie door de instructeurs richting deelnemers. Vervolgens neemt ongeveer de helft van de deelnemers stappen op het gebied van nazorg die tot een verbetering in kennis en kunde leiden. Sociale twijfels lijken, in tegenstelling tot de informatie van VVN, een zeer beperkte rol te spelen bij het besluit tot deelname aan de cursus. Ook het zelfvertrouwen van de deelnemers lijkt toe te nemen. Verreweg de meeste deelnemers beschouwen hun zelfvertrouwen in het verkeer als goed tot zeer goed. Met name dit laatste punt meer zelfvertrouwen- is een belangrijke bevinding binnen deze stap, omdat het iets zegt over de subjectieve verkeersveiligheid. In zekere zin zegt het zelfvertrouwen in het verkeer iets over de mate waarin men het verkeer als veilig ervaart: of dit door eigen toedoen of door externe wijzigingen in de verkeerssituatie komt, maakt niet zo veel uit. Het gaat immers om de beleving van verkeersveiligheid Veiliger gedrag in het verkeer De laatste stap in de causale keten, leiden deze verbeteringen in zelfvertrouwen en kennis en kunde nu tot veiliger gedrag in het verkeer, is niet zo eenvoudig als het lijkt. We hebben deze vraag aan de deskundigen voorgelegd en deze gaven aan dat de volgende punten de stelling van de keten ingewikkeld maken: Meer zelfvertrouwen maakt een bestuurder niet per definitie een betere bestuurder. Een goed voorbeeld hiervan kan gevonden worden bij met name jonge mannen die kort hun rijbewijs hebben. Bij hen is teveel zelfvertrouwen soms juist een bron van onveilig verkeersgedrag. Bij ouderen bestaat soms een tekort aan zelfvertrouwen dat schadelijk kan zijn voor de verkeersveiligheid. Voor deze groep is een stijging van het zelfvertrouwen vaak een positieve ontwikkeling. Belangrijk is echter wel dat het zelfvertrouwen correspondeert met daadwerkelijke vaardigheden. Een stijging van het zelfvertrouwen dat niet gebaseerd is op kunde kan averechts werken. Ouderen hebben vaak compensatiegedrag. Een voorbeeld is dat iemand nachtblind wordt en daarom alleen nog maar in het daglicht rijdt. Dit is een strategie om om te gaan met veranderende vaardigheden. Het is dus niet altijd nodig om een interventie te plegen. Het bestaande probleem wordt geïnternaliseerd en daardoor minder relevant. Dit vormt een belangrijke schakel tussen kennis en kunde in het verkeer en (on)veilig verkeersgedrag. Het feit dat dit compensatiegedrag leidt tot minder verkeer maakt het verkeer veiliger dan het wel deelnemen aan het verkeer. Het hogere zelfvertrouwen dat leidt tot meer deelname in het verkeer kan daarom ook een negatief effect hebben. Mede door deze factoren is het zeer moeilijk tot een conclusie te komen wat betreft het uiteindelijke effect van de BROEM ritten op veilig gedrag in het verkeer. De deskundigen zijn het er wel over eens dat de BROEM ritten het gedrag in het verkeer van de deelnemers positief

54 Evaluatie Subisidieregeling Veilig Verkeer Nederland 54 / 88 beïnvloeden naast de andere positieve resultaten die worden bereikt. Dit laatste heeft met name te maken met het tegengaan van sociaal isolement onder ouderen. Het effect van de BROEM ritten op het subjectieve gevoel van verkeersveiligheid van de deelnemers is wel positief gezien de stijging in zelfvertrouwen in het verkeer Raadpleging deskundigen Naast de opmerkingen en suggesties van de deskundigen die al verwerkt zijn brachten zij de volgende interessante punten op met betrekking tot de BROEM ritten: Ouderen ondergaan in hun rijvaardigheid vaak een neerwaartse spiraal door het compenseergedrag. Men kan iets niet meer zo goed, dus voorkomt dat men dat moet doen, waardoor men het helemaal verleert. Minder mobiliteit bij ouderen heeft ook negatieve gezondheidseffecten, met name depressiviteit. Bij de BROEM - Cursussen is zelfselectie een probleem, hierdoor dienen de resultaten van het onderzoek gerelativeerd te worden. De zelfselectie houdt in dat de deelnemers die er zelf voor kiezen mee te doen geen representatieve afspiegeling zijn van de (ouderen-) bevolking. Ouderen die de Broem Cursussen het best zouden kunnen gebruiken blijven wellicht weg omdat ze (onterecht) bang zijn dat het rijbewijs ter plaatse ingetrokken kan worden. Door het zelfselectieprobleem is het niet correct uitkomsten van het onderzoek te vertalen naar de gehele populatie. 4.8 Kosten BROEM cursussen De door VVN gemaakte kosten voor de BROEM cursussen bedragen ongeveer euro per jaar. Dit is minder dan 1 % van de V&W subsidie. Daarnaast is bekend dat BROEM ritten vaak (soms gedeeltelijk) lokaal bekostigd worden.

55 Evaluatie Subisidieregeling Veilig Verkeer Nederland 55 / 88 5 Verkeerseducatie op basisscholen 5.1 Verkeerseducatie in Nederland Verkeerseducatie kent in Nederland niet één specifieke doelgroep. Veeleer is er sprake van Permanente Verkeerseducatie. Meestal wordt er een onderscheid gemaakt tussen zes doelgroepen: 0-4 jarigen, 4-12 jarigen, jarigen, beginnende bestuurders, rijbewijsbezitters en ouderen. Met andere woorden: bijna iedereen valt onder één van de doelgroepen. Vaak kent verkeerseducatie dan ook het motto van driewieler tot rollator. In het kader van dit onderzoek is alleen de tweede doelgroep belangrijk: het gaat om verkeerseducatie in het basisonderwijs. Er zijn vooral twee redenen voor deze beperking: Ten eerste zou een onderzoek na het effect van verkeerseducatie voor alle doelgroepen veel te omvangrijk zijn. Ten tweede is verkeerseducatie voor kinderen relatief gestructureerd : het is duidelijk aanbodgedreven. Verkeerseducatie is verplicht, en de school beslist welke kinderen op welk moment op basis van welk materiaal verkeersles krijgen. In economische termen is er dus sprake van captured customers. Dit is bij de overige doelgroepen niet het geval. De consumptie van BROEM-cursussen voor ouderen of van de BOB-campagne voor rijbewijsbezitters is vrijwillig en vraagdreven. Dit leidt tot een andere aanpak en tot een andere causale relatie tussen activiteit en effect. De acties die voor de verschillende doelgroepen op het gebied van verkeerseducatie worden ondernomen kunnen daarom niet zonder meer met elkaar vergeleken worden. Wij hebben er dus voor gekozen om nader onderzoek te doen naar de doelgroep kinderen in het basisonderwijs. Hierbij beslissen de basisscholen zelf in welke vorm verkeersles gegeven wordt. Het doel van de regionale overheden in Nederland is echter om op dit gebied te standaardiseren en te professionaliseren. Om dit doel te bereiken zijn Regionale Organen Verkeersveiligheid (ROV s) opgericht. Dit zijn verbanden waarin lokale overheden samenwerken, soms aangevuld door wegbeheerders, politie, justitie of andere partijen. De ROV s stellen lespakken beschikbaar aan de scholen in de desbetreffende regio. Deze lespakketten worden aanbesteed; Veilig Verkeer Nederland is één van de leveranciers van lespakketten. Andere leveranciers zijn bijvoorbeeld de ANWB en meer reguliere uitgeverijen van educatiemateriaal, zoals Noordhoff. 5.2 Het educatiepakket van VVN Als eerste stap in dit onderzoek hebben we ons nader verdiept in het lespakket van VVN. Hoe ziet het programma er uit, wat zijn de onderscheidende kenmerken? Hoe ziet de organisatie rondom de productie van de lespakketten er uit? In deze paragraaf gaan we hier kort op in. Het educatieprogramma van VVN bestaat uit twee onderdelen:

56 Evaluatie Subisidieregeling Veilig Verkeer Nederland 56 / 88 Het Verkeersexamen. VVN opereert als initiator van het verkeersexamen richting scholen. Steeds vaker is VVN niet zelf betrokken bij de daadwerkelijke organisatie van het examen. Gemeenten nemen deze rol van VVN steeds vaker over. Het Verkeersexamen bestaat uit een praktisch en een theoretisch gedeelte. Het theoretisch gedeelte wordt momenteel door ongeveer 90% van de scholen in Nederland gegeven. Het praktijkgedeelte (het fietsexamen) wordt iets minder breed gedaan, namelijk door ongeveer 67% van de scholen. Regulier educatiemateriaal. VVN heeft voor alle klassen van de basisschool een eigen educatieprogramma opgesteld en heeft de doorlopende leerlijn als achterliggende filosofie bij dit programma. In ieder jaar komen 8 modules aan bod. We hebben VVN gevraagd naar de kenmerken die dit pakket onderscheiden van de concurrentie: o VVN noemt als belangrijk onderscheidend kenmerk van het educatiemateriaal het feit dat deze jaarlijks wordt geactualiseerd met bijvoorbeeld nieuwe verkeersregels. Scholen die met het VVN pakket werken krijgen dus automatisch jaarlijks een nieuw educatiepakket. o Er wordt veel gebruik gemaakt van strips en tekeningen om de verkeersles wat leuker en levendiger te maken. o In elk onderdeel van het programma komt een praktijkles aan bod. Momenteel doen echter lang niet alle scholen aan praktijkonderwijs. o Verkeersouders spelen een belangrijke rol bij de verkeerslessen. Verkeersouders ondersteunen bijvoorbeeld bij praktijklessen, daar waar de school zelf wat personeel betreft tekort schiet. o De pakketten bevatten ook ouderinformatie. Doel van de ouderinformatie is om de ouders op de hoogte te houden van wat de kinderen allemaal leren en hen te attenderen op het belang van educatie. o Op internet kunnen de leerlingen door middel van spelletjes op een interactieve manier kennismaken met de theorie. Het verkeerseducatie programma van VVN financiert zichzelf. Met ongeveer 1,5 fte wordt op centraal niveau het educatieprogramma inhoudelijk vorm gegeven. Voor de uitwerking werkt VVN met freelance auteurs en illustratoren. De marge die op de educatiepakketten wordt gemaakt is dus vrij groot. Het geld dat verdiend wordt door verkoop van de lespakketten is voldoende om de lespakketten te ontwikkelen. Dit feit heeft implicaties voor dit onderzoek. Als voor het verkeerseducatie programma geen subsidie nodig is, dan kan VVN ook niet door een subsidieverstrekker op het effect van dit progamma afgerekend worden. Deze afrekening gebeurt door de markt: als het vertrouwen in het effect van het programma ontbreekt (of, beter gezegd, als dit vertrouwen minder is dan het vertrouwen in concurrerende programma s), dan zullen ROV s de voorkeur geven aan andere programma s. VVN doet nog niet op regelmatige basis mee aan aanbestedingen van lespakketten. Dit jaar gebeurt dit voor het eerst in de regio Utrecht. Meestal verloopt de acquisitie direct via de school. De ervaring is, dat scholen die al langer met het VVN pakket werken, dit blijven doen. Dit heeft

57 Evaluatie Subisidieregeling Veilig Verkeer Nederland 57 / 88 ertoe geleid dat het VVN lespakket door ongeveer scholieren per jaar wordt gebruikt. Dit is ongeveer 30% van de totale leerling-populatie in het basisonderwijs De causale relatie tussen educatie en effecten Samen met VVN hebben wij een causale keten voor het verkeerseducatie programma opgesteld. Hierbij kwam naar voren dat het programma vooral uit drie activiteiten bestaat: theorieles, praktijkles, en verkeersouders. In de theorieles wordt de kennis van de kinderen over veilig gedrag in het verkeer verhoogd. De praktijkles doelt op het vergroten van verkeerservaring en op het bijbrengen van de juiste mentaliteit. Deze mentaliteit wordt verder bijgebracht door de ouders van de kinderen, die mogelijk via het verkeersouders programma betrokken raken. Kennis, ervaring en mentaliteit versterken elkaar, en leiden tot veiliger verkeersgedrag zowel direct als indirect via het vervroegen van de zelfstandigheid van de kinderen in het verkeer. Uiteindelijk moet een veiliger verkeersgedrag leiden tot minder verkeersslachtoffers. De onderstaande afbeelding schetst de causale keten voor verkeerseducatie. Bij een normale effectmeting zou de volgende stap na het opstellen van een causale keten uit het kwantificeren van de stappen van deze keten bestaan. In dit onderzoek is gebleken dat het kwantificeren niet op een manier mogelijk was die tot voldoende betrouwbare resultaten zou leiden. Hiervoor waren een aantal redenen. 10 Hierbij gaan we uit van 1.59 mln leerlingen in het basisonderwijs in schooljaar (bron: CBS Statline)

58 Evaluatie Subisidieregeling Veilig Verkeer Nederland 58 / 88 Aangezien verkeerseducatie voor alle scholen verplicht is, is het niet mogelijk om een controlegroep te onderzoeken. Het werken met een controlegroep die geen verkeerseducatie krijgt, stuit overigens mogelijk ook op ethische bezwaren. Daarnaast geldt dat verkeerseducatie sowieso verplicht is. Voor een school is de vraag niet VVN pakket of helemaal geen verkeerseducatie, maar VVN pakket of een andere vorm van verkeerseducatie. Een absoluut effect kan dus niet gemeten worden, hooguit een marginaal effect. Met andere woorden: we meten niet meer het effect van verkeerseducatie an sich, maar van het educatiepakket van VVN ten opzichte van andere educatiepakketten. Het kwantificeren van dit effect zou tot een (te) grote foutmarge leiden. De enige mogelijkheid om het effect te meten zonder een controlegroep is het meten van gedrag voor en na het krijgen van verkeersles. De doorlooptijd van het onderzoek maakt een meting aan het begin en aan het einde van een schooljaar onmogelijk, waardoor er geen logische momenten zijn om een voormeting en nameting te doen. We zijn jammer genoeg ook niet op bestaande informatie gestuit die we als metingen in hadden kunnen zetten. Gestructureerde verkeerseducatie op school is niet de enige relevante invloed op de desbetreffende kinderen. Buiten de schooltijd s avonds, op weekenden, tijdens de vakantie hebben andere personen een grote invloed op het verkeersgedrag van de kinderen. Vooral de voorbeeldfunctie van de ouders is hierbij belangrijk. Dit maakt het isoleren van het effect van verkeerseducatie lastig. 5.4 Onderzoekskader Bij afwezigheid van geschikte omstandigheden om empirisch onderzoek te doen, hebben wij ons, naast de informatie afkomstig van VVN, gewend tot de literatuur omtrent de effecten van verkeerseducatie. Deze literatuur is relatief schaars en onderschrijft de moeilijkheden ten aanzien van de empirische onderzoekbaarheid van verkeerseducatie. Tegelijkertijd wordt de roep om educatieprogramma s aan evaluaties te onderwerpen steeds sterker. In Nederland heeft met name de Stichting Wetenschappelijk Onderzoek Verkeersveiligheid (SWOV) effectmetingen gedaan. Op basis van de literatuur, de causale keten en gesprekken die wij met VVN hebben gevoerd, hebben wij geprobeerd om via een tweetal routes een uitspraak te doen over de effectiviteit van het lespakket van VVN. Ten eerste benoemt zowel de causale keten als de literatuur een aantal voorwaarden waar effectief verkeersonderwijs aan moet voldoen. Op basis van interviews met VVN hebben we geprobeerd ons een beeld te vormen van de mate waarin het pakket aan deze voorwaarden voldoet. Ten tweede geeft de waardering die de markt toe kent aan de lespakketten van VVN een beeld van het vertrouwen dat externe partijen hebben in de effectiviteit van de lessen. Deze externe waardering zegt niet veel over de daadwerkelijke effectiviteit in termen van aantallen verkeersslachtoffers (outcome), maar wel over de mate waarin

59 Evaluatie Subisidieregeling Veilig Verkeer Nederland 59 / 88 scholen vertrouwen hebben in het behalen van de outcome- de gepercipieerde effectiviteit 11. Met andere woorden: het aantal afnemers van pakketten zegt iets over de mate van consensus over het verband tussen de VVN lespakketten en verkeersveiligheid: We kiezen er voor om dit punt mee te laten wegen in onze uitspraak over de effectiviteit van het educatiepakket van VVN. Hierbij gebruiken we het aantal afnemers als indicatie voor de mate van externe waardering van de educatiepakketten. Met name de eerste route kent een aandachtspunt, namelijk dat we er voor moeten waken dat we in sterk didactische theorieën verzanden. Het valt buiten de scope van ons onderzoek om op basis van didactische elementen een harde uitspraak te doen over de effectiviteit van de lespakketten. Wel geeft dit op heel algemeen niveau een beeld van inhoudelijke kwaliteit van het educatiepakket. 5.5 Voorwaarden voor effectief verkeersonderwijs SWOV heeft in 2006 een literatuuronderzoek gedaan naar de effectiviteit van verkeerseducatie. In dit onderzoek wordt de effectiviteit van verschillende educatieprogramma s onder de loep genomen, waarna aan de hand daarvan de voorwaarden voor effectief verkeersonderwijs worden afgeleid. Deze raken deels aan de voorwaarden die VVN noemde bij het in kaart brengen van de causale relatie. Het SWOV onderzoek is mede gebaseerd op een grootschalig effectonderzoek van verschillende educatieprogramma s: Effecten van Verkeerseducatie Onderzoek (EVEO). Dit onderzoek, tevens uitgevoerd door SWOV, brengt de effecten in kaart van elf op zichzelf staande projecten. De voorwaarden die door de SWOV worden genoemd, zijn o.a.: Op te jonge leeftijd beginnen met educatie heeft niet veel zin, educatie is pas rond leeftijd van 5 jaar effectief. Kinderen jonger dan 5 jaar hebben niet de mentale capaciteiten om het geleerde ook in de praktijk te brengen. Het ontwerp van educatieprogramma s dient ook aangepast te zijn aan de doelgroep. Educatie dient een continue karakter te hebben (permanente verkeerseducatie). Het programma dient zich te richten op factoren die ook daadwerkelijk bijdragen aan verkeersveiligheid (zoals oversteekgedrag, dode hoek, drugs, etc.). Een goed educatieprogramma bevat naast theorie ook praktijk. Dit wordt onderstreept door VVN (zie causale relatie). Moderne educatiemethoden (zoals praktijktraining met behulp van computers) dragen tevens bij aan de effectiviteit. Deze vorm van praktijktraining is tot op zekere hoogte uitwisselbaar met echte praktijkoefeningen op de weg. Interactieve settings, waarbij leeftijdsgenoten worden betrokken, zijn erg effectief. 11 Dit met de aanname dat scholen een goed geïnformeerde keuze kunnen maken en dat de scholen zich bekommeren over de verkeersveiligheid van hun leerlingen.

60 Evaluatie Subisidieregeling Veilig Verkeer Nederland 60 / 88 Daarnaast onderstreept VVN het belang van het bijbrengen van de juiste mentaliteit bij kinderen. Als kinderen het geleerde door onwil niet in de praktijk willen brengen is verkeerseducatie immers zinloos. Deze visie wordt gedeeld door SWOV. Vaak spelen slechte gewoontes een rol bij het niet in de praktijk brengen van het geleerde, zoals het niet dragen van een autogordel. Wanneer we terug kijken naar onze eigen causale keten, zien we dat drie elementen in basis aanwezig moeten zijn voor effectief verkeersonderwijs: Er moet zowel praktijk als theorie aanwezig zijn De juiste mentaliteit is cruciaal om een gedragverandering daadwerkelijk te bewerkstelligen. Het betrekken van ouders kan hierbij een belangrijke rol spelen. 5.6 Wat kunnen we dus zeggen over het educatiepakket van VVN? Over het theorie-element in het educatiepakket van VVN kunnen we tamelijk kort zijn. Theorie vormt namelijk de spil van het programma. Het praktijkgedeelte is echter nog niet altijd aanwezig: veel scholen zien het organiseren van praktijklessen niet als een prioriteit. Dit past binnen de generieke tendens dat scholen verkeersonderwijs veel minder belangrijk vinden dan bijvoorbeeld taal en rekenen. Enerzijds is deze tekortkoming niet strikt toe te wijzen aan VVN, omdat zij wel praktijklessen aanbieden en zelf ook aangeven praktijkonderwijs het meest belangrijk te vinden. Anderzijds is het zonder empirisch onderzoek lastig om na te gaan waar het spanningsveld exact zit. Ligt het gebrek aan praktijkonderwijs aan de onwil van de school, of ligt de oorzaak in, bijvoorbeeld, de uitvoerbaarheid van de lessen? Wat het mentaliteitsaspect betreft geldt hetzelfde. Het inpeperen van gedragsregels bij kinderen kan door VVN slechts van een afstand gefaciliteerd worden. De school heeft een belangrijke rol bij het bijbrengen van de juiste mentaliteit bij de leerlingen. VVN geeft aan dit op een afstand te sturen door: De leerlingen met elkaar te laten discussiëren over verkeerssituaties. Leerlingen delen hun ervaringen in het verkeer met elkaar en discussiëren over het gedrag van de betrokken verkeersdeelnemers. Dit gaat vaak over asociaal gedrag. In hun lesmateriaal aandacht te besteden aan het gewenste gedrag. De ouders te betrekken bij de educatieproces van hun kinderen door het ter beschikking stellen van ouderinformatie. Wat de andere voorwaarden (genoemd in de literatuur over de effectiviteit van verkeerseducatie) betreft, zien we in het lespakket de volgende elementen in ieder geval terugkomen: Het lesprogramma begint op de juiste leeftijd (leerlingen zijn in ieder geval niet jonger dan 4/5 jaar). Het pakket heeft een continue karakter (binnen de basisschool). Interactieve settings: tijdens groepsdiscussies zijn de leerlingen interactief met elkaar bezig.

61 Evaluatie Subisidieregeling Veilig Verkeer Nederland 61 / 88 Aangezien dit didactische elementen zijn, is het echter lastig om harde uitspraken te doen over de mate waarin het lespakket hier effectiever van wordt. Wel kunnen we zeggen dat deze elementen in ieder geval aanwezig zijn. Wat betreft de waardering van de pakketten door externen kunnen we tamelijk kort zijn. Het bereik van de lespakketten van VVN is vrij groot. Ruim 90% van de scholen doen mee aan het theoretisch verkeersexamen, terwijl 67% van de scholen het praktijkexamen organiseert Ook de reguliere lesmaterialen worden relatief veel gebruikt, namelijk door ongeveer 30% van de leerlingen in het basisonderwijs. Daarbij geeft VVN aan dat zij relatief veel vaste klanten hebben: scholen die eenmaal voor het VVN pakket kiezen, blijven vaak lang afnemer. De prijzen van de educatiepakketten van VVN zijn overigens vergelijkbaar met die van de meer reguliere uitgevers van lesmateriaal, zoals Noordhoff. We kunnen er dus van uit gaan dat scholen niet puur vanwege de lage prijs kiezen voor het pakket van VVN. Kwaliteitsoverwegingen zullen dus ook een rol spelen. Al met al geeft dit een positief beeld van de gepercipieerde effectiviteit van het educatiepakket. 5.7 Conclusies Onze conclusies ten aanzien van de effectiviteit van verkeerseducatie kunnen we dus als volgt samenvatten: VVN besteedt bij de vormgeving van haar lespakket aandacht aan drie elementen theorie, praktijk en mentaliteit. De doorwerking hiervan is echter sterk afhankelijk van de medewerking en houding van de scholen ten aanzien van verkeerseducatie. Vooral wat betreft praktijklessen en het bijbrengen van mentaliteit is dit het geval. VVN probeert momenteel van een afstand te sturen. Verder lijken sommige elementen die genoemd worden in de voorwaarden voor effectief verkeersonderwijs terug te komen in de lespakketten van VVN. Zonder empirisch onderzoek is het echter onmogelijk om harde uitspraken te doen over de mate waarin educatie hier effectiever van wordt. De gepercipieerde effectiviteit van het educatiepakket is relatief hoog. Dit leiden we af uit het relatief hoge aantal afnemers van de educatiepakketten van VVN. 5.8 Raadpleging deskundigen De deskundigen hadden met betrekking tot de verkeerseducatie de volgende op- en aanmerkingen die niet in de voorgaande tekst verwerkt zijn: Een benchmark had meer inzicht kunnen geven in de kwaliteit van het pakket van VVN. De rol van ouders in verkeerseducatie van kinderen is groot. In het pakket van VVN worden de ouders bij die educatie betrokken. De interactie tussen het VVN pakket en verkeersouders is een pre.

62 Evaluatie Subisidieregeling Veilig Verkeer Nederland 62 / 88 De trend in de afgelopen jaren is dat de verkeersveiligheid in het geheel toeneemt, er vallen minder slachtoffers in het verkeer. Daarentegen gaat de situatie bij ca. 13 jarige fietsers achteruit. Een mogelijke verklaring hiervoor is dat de kinderen tijdens de basisschool teveel beschermd worden en geen eigen routine in verkeersgedrag ontwikkelen. Vroeger fietsten 6 jarige kinderen nog dikwijls alleen naar school, tegenwoordig gebeurt dat minder vaak. Juist dit gebrek aan ervaring breekt de kinderen na de basisschool op als ze alleen grotere afstanden gaan fietsen. Er is een verschil tussen verkeersregels en verkeersgedrag. Bij regels gaat het er puur juridisch om wie de schuld heeft en wat de verzekering (niet) betaalt. Bij gedrag gaat het erom wat echt veilig is. Verkeerseducatie zou daarom vooral op het beïnvloeden van gedrag moeten focussen en niet op het leren van de regels. De argumentatie dat het gebruik van het pakket door scholen iets zegt over de waardering van de effectiviteit van het pakket is een beetje kort door de bocht.

63 Evaluatie Subisidieregeling Veilig Verkeer Nederland 63 / 88 6 Conclusies en Aanbevelingen Spoor B In dit onderzoek hebben we van 3 activiteiten getracht het effect op de verkeersveiligheid te meten. Voor de meldpunten, de BROEM cursussen en verkeerseducatiepakketten hebben we in samenwerking met VVN causale ketens opgesteld om de veronderstelde manier waarop deze activiteiten de verkeersveiligheid positief beinvloeden, duidelijk in kaart te brengen. Vervolgens hebben we zoveel mogelijk de stappen van de keten onder de loep genomen middels kwantitatief onderzoek. Bovendien hebben we literatuur geraadpleegd en het onderzoek aan twee verkeersveiligheidsdeskundigen voorgelegd. De deskundigen vormden een klankbord voor het uitgevoerde onderzoek en een bron van informatie voor de schakels van de ketens die niet middels kwantitatief onderzoek beoordeeld zijn. Door de gebrekkige data in met name de laatste schakels in de ketens richting verbetering van de verkeersveiligheid, is het niet mogelijk gebleken tot harde kwantitatieve uitspraken te komen betreffende de impact van de activiteiten op de objectieve verkeersveiligheid. Met andere woorden: het is op basis van dit onderzoek niet vast te stellen dat de activiteiten van VVN positief danwel negatief bijdragen aan de objectieve verkeersveiligheid. Wel vermoeden de deskundigen enig positief effect op de objectieve verkeersveiligheid van de BROEM cursussen. Het effect op de subjectieve verkeersveiligheid hebben we in de gevallen van de meldpunten en de BROEM cursussen als positief kunnen beoordelen. Een flink deel van de melders wordt naar tevredenheid geholpen door VVN en / of de wegbeheerders. De situatie die zij eerst als onveilig beoordeelden, beoordelen ze na de behandeling van de melding als veilig. In geval van de Broem cursussen zien we een steiging van het zelfvertrouwen in het verkeer van de deelnemers door de cursus. Verkeerseducatie wordt zowel door de politiek als de wetenschap als een belangrijk fundament onder verkeersveiligheid beschouwd. Het is in ons onderzoek echter niet gelukt tot harde conclusies te komen over het effect van het pakket van VVN. Op de eerste schakels van de ketens hebben we vaak kwantitatief onderzoek kunnen doen. Over het algemeen bleken de veronderstelde causale ketens te corresponderen met de onderzoeksresultaten. Twee opvallende bevindingen gaan in tegen de verwachtingen volgens de ketens en hebben beiden te maken met de BROEM - cursussen: Het aantal deelnemers aan de cursussen dat dit doet doordat er druk vanuit de sociale omgeving komt (kinderen die het rijden van hun ouders niet meer zien zitten) blijkt erg laag. Deze drijfveer om aan de cursus mee te doen is minder belangrijk dan verwacht. Het zelfbeeld van de de eigen rijvaardigheid (praktijk) wordt (als groep) te positief beoordeeld ten opzichte van de beoordelingen van de instructeurs. Dit kan komen doordat de feedback van de instructeurs te positief is, of doordat de instructeurs achteraf op de formulieren te negatief zijn. In ieder geval is dit een aandachtspunt voor de organisatie van de ritten. De belangrijkste gevolgtrekking uit het bovenstaande is dat de relatie tussen input, output en outcome zodanig lastig is vast te stellen dat sturing binnen de subsidierelatie, louter op basis van veronderstellingen ten aanzien van die relatie niet aan te raden is.

64 Evaluatie Subisidieregeling Veilig Verkeer Nederland 64 / 88 Op weg naar een nieuwe regeling (Spoor C)

65 Evaluatie Subisidieregeling Veilig Verkeer Nederland 65 / 88 1 Inleiding 1.1 Leeswijzer Spoor C is de fusie van Spoor A en Spoor B waarin de conclusies van de analyse van de oude regeling en het effectiviteitsonderzoek samen komen en vertaald worden naar aanbevelingen voor de vormgeving aan een nieuwe regeling. Hoofdstuk 1 bestaat uit een terugblik op Spoor A en Spoor B. Hoofdstuk 2 gaat in op de case studies uit Spoor A en de lessen die hier uit getrokken zijn. Hoofdstuk 3 leidt onze aanbevelingen in om vervolgens in hoofdstuk 4 een aantal no regret maatregelen voor te stellen die zowel in de huidige subsidierelatie kunnen worden geimplementeerd als aan de voorstellen voor de nieuwe regeling kunnen worden toegevoegd. Het karakter van de no regret maatregelen is dat zij zonder significante kosten tot quick wins leiden. Hoofdstuk 5, een andere wijze van aansturen, zet onze meer ingrijpende aanbevelingen uiteen om tot een nieuwe subsidierelatie te komen. 1.2 Resumé De analyse van de huidige subsidierelatie in Spoor A en Spoor B heeft tot een aantal bevindingen geleid, die vervolgens als input kunnen dienen voor de vormgeving van een toekomstige subsidieregeling. Hieronder worden deze bevindingen kort samengevat. Daarbij wordt ook aandacht besteed aan de indrukken die zijn opgedaan in de interviews met derden. Gedurende het onderzoek is met een aantal partijen gesproken, waaronder de Fietsersbond, Tiem, de ANWB en het ROV Limburg 12. Deze interviews waren erg informatief. Opvallend is, dat het beeld dat de partijen van VVN schetsten erg overeen komt. De hoofdpunten van dit beeld komen in onderstaande paragrafen terug. Het geheel van de bevindingen is ons inziens belangrijk omdat het de context schetst waar VVN als organisatie zich in bevindt. Dit stelt nadere eisen aan de nieuwe subsidierelatie. Outputsturing werkt niet in tevredenstellende mate Ten aanzien van de huidige subsidierelatie is onze belangrijkste bevinding dat deze noch vlees, noch vis is. Enerzijds omdat de indicatoren niets toevoegen aan de gewenste samenwerkingsvorm tussen VVN en het ministerie, en anderzijds omdat deze niet op outcome gericht zijn. We kunnen dus stellen dat het huidige systeem van prestatie-indicatoren niet bijdraagt aan een subsidierelatie waar zowel VVN als het ministerie wel bij vaart. De resultaten van Spoor B laten zien dat een effectmeting van de activiteiten van VVN niet eenvoudig is en met veel onzekerheid gepaard gaat. Dit leidt ertoe dat wij gegeven de huidige situatie een groot vraagteken plaatsen bij de haalbaarheid (en de wenselijkheid) van een subsidieregeling, die louter op outputsturing gebaseerd is. Dezelfde redenatie gaat op voor outcomesturing. Outputsturing mag dan wel aansluiten bij een (tegenwoordig) moderne 12 Zie Bijlage 1 voor een volledig overzicht van geïnterviewde personen.

66 Evaluatie Subisidieregeling Veilig Verkeer Nederland 66 / 88 De termen input, output(sturing), outcome(sturing) worden veelvuldig gebruikt in zowel ons rapport als de wereld van de bestuurskunde. Deze termen leiden vaak tot verwarring. In ons rapport gebruiken we de volgende definities: Input is alles wat gerekend kan worden tot investeringen van VVN zoals inzet van professionals of vrijwilligers of geld. De eenheid bij de grootheid input is daarom euro s of uren. Outcome is het effect van de ondernomen actie of ontplooide activiteit op de verkeersveiligheid. De eenheid die bij outcome hoort in de context van dit rapport is het aantal ongevallen of slachtoffers. Alle tussenliggende grootheden en eenheden noemen we in dit rapport output. Dit loopt uiteen in het geval van de Broem cursussen van het aantal deelnemers per rit, het aantal bezoeken aan opticiens naar aanleiding van de cursussen tot de gemiddelde verandering in zelfvertrouwen in het verkeer van deelnemers. opvatting over de rol van de overheid, maar als dit leidt tot een ineffectieve subsidierelatie, dan kan beter naar andere oplossingen gezocht worden. Het ministerie heeft geen prikkelinstrumenten De huidige subsidieregeling bevat een aantal prestatie-indicatoren die in beginsel als prikkel- en sturingsinstrumenten zouden moeten werken. In de praktijk werkt dit echter maar beperkt, dit komt door de huidige set prestatie-indicatoren en de manier waarop deze worden toepepast. De indicatoren houden bijzonder weinig verband met het functioneren van VVN als doelmatige organisatie of met het bereiken van de beleidsdoelstelling minder slachtoffers in het verkeer. Daardoor heeft het ministerie geen instrument in handen om aan te sturen op een efficiënte en effectieve organisatie VVN. Het ministerie heeft onvoldoende mogelijkheden om VVN te gebruiken als beleidsinstrument Onder de huidige subsidieregeling dient VVN bij de jaarlijkse subsidieaanvraag ook een jaarwerkplan in. De subsidie wordt vervolgens verstrekt mede op basis van dit jaarplan. Met andere woorden, als het ministerie het niet eens is met het jaarplan, kan de subsidie in beginsel geweigerd of gekort worden. Hierdoor moet voor VVN een prikkel ontstaan om het jaarplan vroegtijdig met het ministerie af te stemmen. Het ministerie kan op deze manier invloed uitoefenen op de inhoud van het jaarplan, en kan VVN daarom als beleidsinstrument gebruiken: VVN draagt rechtsstreeks bij aan het bereiken van de beleidsdoelstellingen van het ministerie. In de praktijk werkt dit systeem uitermate gebrekkig. Het jaarplan wordt door VVN inderdaad jaarlijks ingediend, maar niet van tevoren afgestemd. Bovendien wordt het jaarplan formeel overigens volledig correct niet aan de beleidsafdeling Verkeersveiligheid van het ministerie gestuurd, maar aan de formeel voor subsidies verantwoordelijke financiele - afdeling. Dit heeft ertoe geleid dat in de afgelopen jaren de beleidsambtenaren Verkeersveiligheid niet of pas te

67 Evaluatie Subisidieregeling Veilig Verkeer Nederland 67 / 88 laat bekend waren met het jaarplan van VVN. Specifieke wensen van het ministerie aan VVN werden daarom bijna automatisch meerwerk en werden door VVN bovenop de subsidie gedeclareerd. Hierdoor ontstond bij het ministerie de indruk dat VVN voor sommige dingen twee keer betaald werd. Deze indruk is in strikt formele zin onjuist, maar inhoudelijk begrijpelijk. Momenteel is VVN een te veel in zichzelf gekeerde organisatie; VVN is gebaat bij een interne professionaliseringsslag Vrijwel alle geïnterviewde partijen hebben aangegeven dat VVN er bij gebaat zou zijn om zich meer extern te focussen. De intern gerichte blik wordt mede veroorzaakt door turbulentie in de interne organisatie in de afgelopen jaren. Gevolg hiervan is echter wel dat men de beleving heeft dat VVN momenteel niet genoeg met externe partijen communiceert en kansen laat liggen op het gebied van samenwerking met andere verkeersveiligheidorganisaties. De geïnterviewden geven aan dit jammer te vinden omdat er door bundeling van krachten op verkeersveiligheidgebied veel te winnen zou zijn. Ook geven onze gesprekspartners aan dat VVN soms steken laat vallen in de communicatie richting externen en daardoor zelf sterk gebaat zou zijn bij het professioneler inrichten van de organisatie. Men geeft aan dat VVN zich daardoor als een meer geloofwaardige en serieuze partij naar subsidieverstrekkers zou kunnen profileren. Een concreet voorbeeld dat genoemd is, is het laten liggen van subsidies die bij decentrale overheden reeds waren gereserveerd voor VVN. VVN heeft de afgelopen periode hard aan de interne professionalisering en de externe focus gewerkt. Zij verwacht dat de vruchten hiervan geplukt gaan worden en vinden het jammer dat het beeld nog niet positiever bijgesteld is. Vernieuwing en innovatie in de wereld van verkeersveiligheid laat te wensen over Uit de interviews met de verschillende partijen die met verkeersveiligheid bezig zijn kwam naar voren dat de vernieuwing en innovatie te wensen over laten. Dezelfde activiteiten en programma s worden jaar op jaar uitgevoerd, eventueel in een iets ander jasje. Dit geldt overigens niet alleen voor Veilig Verkeer Nederland, maar voor de hele sector. Het vermoeden is dat dit te maken heeft met de organisatie- en projectgerelateerde bekostiging. De prikkel om te innoveren in goed functionerende sectoren komt voort uit de ontoereikendheid van de bestaande producten en diensten waardoor bestaansrecht in het gedrang is (voor de sector als geheel); en onderlinge concurrentie. Om als partij een rol van betekenis te blijven spelen (marktaandeel) is vernieuwing van de producten en diensten een vereiste. Beide prikkels ontbreken voor VVN en voor de meeste andere organisaties die actief zijn op verkeersveiligheidsterrein.

68 Evaluatie Subisidieregeling Veilig Verkeer Nederland 68 / 88 Samenvattend Als deze bevindingen worden vertaald in aan de nieuwe subsidierelatie te stellen eisen, resulteert een vijftal nieuwe eisen waaraan een nieuwe regeling moet voldoen danwel die een nieuwe regeling moet bevorderen. Die eisen komen boven op hetgeen al in deel I van het rapport is geconstateerd. De nieuwe, aanvullende eisen zijn: De nieuwe subsidierelatie dient zich meer dan nu bewust te zijn van de moeilijkheid van het direct sturen op een verbetering van de objectieve verkeersveiligheid. De nieuwe subsidierelatie moet een intelligente balans vinden tussen het almaar verbeteren van het inzicht in en de effectiviteit van de relatie tussen input, output en outcome en het momenteel ook bij VVN afwezige inzicht hierin. Die intelligente balans kan niet betekenen dat net als in de huidige subsidierelatie wordt gestuurd op outputvariabelen waarvan de relatie met de gewenste outcome op voorhand door de betrokken partijen wordt betwijfeld. De nieuwe subsidierelatie dient meer dan nu prikkelinstrumenten te bevatten zodat het ministerie verzekerd kan zijn van een efficiënt en effectief werkende organisatie. De nieuwe subsidierelatie dient het ministerie reeds aan de voorkant meer of effectievere invloedmogelijkheden te geven op de toekomstige activiteiten van VVN, dit overigens op zo n wijze dat VVN zelf verantwoordelijk blijft voor haar functioneren. VVN dient in de volgende subsidieperiode een interne professionaliseringsslag te maken en meer naar buiten gericht te werken. Vernieuwing en innovatie in de sector zou meer dan nu gestimuleerd moeten worden. Zoals gezegd is het, voor het behalen van de beleidsdoelstellingen ten aanzien van verkeersveiligheid, belangrijk dat er continue gezocht wordt naar hetgeen het beste werkt. Een bijkomende eis meer in de zin van een randvoorwaarde is dat de nieuwe subsidieregeling niet tot (te) hoge transactiekosten mag leiden. Dit geldt zowel aan de kant van het ministerie als ook aan de kant van VVN. Niemand is gebaat bij de opbouw van een schaduw-vvn aan de Plesmanweg. En niemand is gebaat bij de opbouw van een megaafdeling subsidiebeheer in Amersfoort.

69 Evaluatie Subisidieregeling Veilig Verkeer Nederland 69 / 88 2 De subsidierelaties in context: de case studies In Spoor A hebben we enkele vormen van subsidierelaties in vorm van case studies de revue laten passeren en hebben we beschreven in welke situatie welke soort subsidierelatie passend is. In dit hoofdstuk willen wij nu toetsen of en in hoeverre de sturingsprincipes uit de case studies aansluiten bij de hierboven genoemde eisen aan een nieuwe subsidieregeling. We kunnen de wereld waar VVN zich in bevindt het best omschrijven als een wereld waarbij het heel lastig is een lineair verband vast te stellen tussen input (activiteit) en outcome. In ieder geval zou een subsidieregeling die betaalt naar rato van de outcome een periodiek onderzoek vereisen waarbij de exacte bijdrage van VVN aan de verkeersveiligheiddoelstellingen wordt vastgesteld. De transactiekosten die gepaard gaan met een dergelijke regeling zullen dus hoe dan ook hoog zijn. Daarnaast zal de hardheid van een dergelijke uitspraak ook naar de verwachting van geraadpleegde deskundigen - niet voldoende zijn om er in redelijkheid een subsidierelatie op te baseren. Gegeven het feit dat VVN in deze context opereert moeten we een subsidierelatie die gebaseerd is op louter outcome-gerelateerde prestatie-indicatoren afschrijven. Dit betekent niet dat outcome niet belangrijk is: echter, de manier waarop het belang van outcome in een subsidierelatie wordt geexpliciteerd, is in een dergelijk systeem niet optimaal. We hebben een aantal alternatieven onderzocht. Wij willen met name ingaan op twee sturingsprincipes: een subsidierelatie gebaseerd op mutual belief en een subsidierelatie met een tussenliggende variabele als prestatie-indicator. 2.1 Sturingsprincipe 1: Een subsidierelatie gebaseerd op mutual belief als belangrijkste sturingsvariabele Een subsidierelatie gebaseerd op mutual belief als belangrijkste sturingsvariabele is gebaseerd op het idee dat de subsidieontvanger, omdat de subsidieverstrekker ervan uit gaat dat deze een bijdrage levert aan het einddoel, vrij is om haar beleid vorm te geven. Uitgangspunt daarbij is dat de subsidieontvanger zich er toe zet om dat mutual belief keer op keer te verdienen door periodiek op overtuigende wijze dus zo goed mogelijk te laten zien wat zij bijdraagt aan het einddoel. In de huidige samenwerking tussen het ministerie en VVN lijken de voorwaarden voor het begaan van deze route vooralsnog niet ingevuld: 1. Het absoluut noodzakelijke uitgangspunt, namelijk het hebben van een duidelijk beeld van de toegevoegde waarde van de subsidieontvanger, is vooralsnog niet in voldoende mate aanwezig. Hoe dan ook kan een dergelijke regeling niet worden geïmplementeerd zonder dat dit beeld aanwezig en helder is. Als duidelijkheid over de toegevoegde waarde ontbreekt, zal deze regeling kunnen leiden tot veel dubbel werk, waarbij het ministerie om grip te houden op de organisatie zich tot in detail gaat bemoeien met de vormgeving van beleid. Dit komt de efficiëntie niet ten goede.

70 Evaluatie Subisidieregeling Veilig Verkeer Nederland 70 / Het is de vraag of een dergelijke regeling de belangen van VVN voldoende parallel trekt met de beleidsmatige belangen van het ministerie. Het ministerie staat immers voor een zeer uitdagende taak, namelijk het fors reduceren van het aantal dodelijke slachtoffers terwijl het laaghangend fruit reeds geplukt is. Tegelijkertijd hebben we gezien dat VVN kampt met interne turbulentie en de noodzaak om intern te professionaliseren. Het is daarom de vraag of een subsidieregeling gebaseerd op mutual belief het beste uit VVN weet te halen én het ministerie het comfort geeft dat de bijdrage aan de verkeersveiligheiddoelstellingen zo groot mogelijk is. Met andere woorden: de effectiviteit van deze subsidierelatie is in de huidige werkelijkheid waarschijnlijk niet optimaal. 3. Ook is het de vraag hoe een op mutual belief gebaseerde relatie een bijdrage zou kunnen leveren bij het versterken van de vernieuwingskracht van de sector. In de voorbeelden die werken met vertrouwen als belangrijkste kenmerk en die ook voldoende innoverend zijn, is sprake van een bepaalde concurrentie tussen subsidieontvangers, die innovatie uitlokt. Samenvattend kan gesteld worden dat een puur op mutual belief gebaseerde subsidierelatie voor VVN op dit moment misschien teveel een sprong in het diepe is voor betrokkenen. Dat neemt niet weg dat elementen uit zo n subsidierelatie juist wel gebruikt kunnen worden. Daarbij gaat het met name om het (verder) versterken van de informele samenwerkingsstructuur tussen het ministerie en VVN en de notie van het self evidencing. Het keer op keer moeten verdienen van het mutual belief door zo goed mogelijk aan te tonen wat zij bijdraagt aan het reduceren van het aantal verkeersslachtoffers. 2.2 Sturingsprincipe 2: Een subsidierelatie met een tussenliggende variabele als prestatieindicator Een tweede mogelijkheid die wellicht beter past bij de black box situatie is om tussenliggende prestatie-indicator(-en) te vinden die, naar het periodiek her te bevestigen oordeel van zowel subsidiegever als ontvanger, de beste schatter is van het succes van VVN in beleidsdoelstellingen. Daarbij is het noodzakelijk dat beide partijen periodiek met elkaar vast stellen dat de tussenliggende doelstelling inderdaad een goede indicator is voor het bereiken van de doelstelling. Kortom, zij moeten het veronderstelde verband periodiek met elkaar onderzoeken en herbevestigen. Een uitdaging bij dit systeem is het vinden van tussenliggende indicatoren die goed meetbaar zijn en waarover consensus bestaat dat die de beste schatter zijn van de ultieme effectiviteit van de subsidieontvanger, zodat er consequenties verbonden kunnen worden aan het niet behalen van de streefniveau s voor de indicator. In feite is dit immers het nabootsen van outputsturing, waarbij de onzekerheid over de laatste stap (het verband tussen outputindicator en effect) wordt gemanaged door de periodiek her te bevestigen consensus. Omdat outputsturing wordt nagebootst, wordt de subsidieontvanger beoordeeld op het directe resultaat van haar activiteiten. Voor VVN kan dit bijvoorbeeld inhouden dat het ministerie cursussen inkoopt en VVN vervolgens afrekent op het aantal

71 Evaluatie Subisidieregeling Veilig Verkeer Nederland 71 / 88 verzorgde cursussen. Is dit minder dan afgesproken, dan ontvangt VVN een lagere subsidie naar rato. Wanneer we deze oplossing toetsen aan de eerder geformuleerde eisen aan een nieuwe subsidieregeling, is ons beeld als volgt: Ook deze regeling vereist een regelmatig onderzoek naar het verband tussen tussenliggende variabele en outcome om nieuw ontwikkelde activiteiten in de regeling op te nemen. In die zin is dit model niet erg efficiënt, omdat de kosten voor instandhouding van de regeling relatief hoog zullen zijn. Daarnaast zullen de tussenliggende variabelen op dit moment nog vastgesteld moeten worden, en zullen die bovendien goed meetbaar moeten zijn. Het onderhavige onderzoek heeft aangetoond dat dit nogal een uitdaging is. Het systeem slaat in zekere mate creativiteit, vernieuwing en innovatie dood. Dit omdat de prikkel tot het opzetten van nieuwe (mogelijk betere) activiteiten die het behalen van de outputindicator in de weg staan, sterk wordt verkleind. Een vierde punt dat hier aan raakt is dat het de vrijheid van de subsidieontvanger beperkt om te allen tijde een optimale bijdrage aan de verkeersveiligheid te leveren. Dit is ook zo als door externe veranderingen de indicator die het best aansluit bij het bereiken van de doelstellingen wisselt, zonder dat de indicator tijdig wordt bijgesteld. Omdat zo de flexibiliteit van de ontvanger wordt beperkt, wordt de kennis die besloten ligt in de organisatie niet optimaal benut. Een dergelijk systeem met prestatie-indicatoren zou echter wel VVN kunnen helpen met het professionaliseren van haar organisatie omdat zij direct wordt afgerekend op haar prestaties. Ook dit sturingsprincipe, dat louter gebaseerd is op tussenliggende outputfacoren, lijkt derhalve niet onverkort geschikt voor de subsidierelatie met VVN. Het kan echter wel een aanvullende informatiebron zijn, zoals dit bij de Stichting Consument en Veiligheid het geval is. Het ministerie en VVN zouden een variabele met name het aantal slachtoffers in het verkeer kunnen gebruiken om regelmatig te kijken op de ontwikkeling op het gebied van verkeersveiligheid in algemene zin op de goede weg is. Zo n variabele kan niet gebruikt worden om de prestaties van VVN te meten hiervoor is, zoals het onderzoek in Spoor A en B duidelijk heeft gemaakt de samenhang tussen activiteit en effect te onduidelijk. Met een lager ambitieniveau kan zo n variabele wel ingezet worden om regelmatig met enige neutraliteit en scherpte de eigen ambities en activiteiten te toetsen. Op deze wijze wordt toch invulling gegeven aan het belang om te monitoren. Overigens maakt het ministerie op dit moment al gebruik van dit type statistieken bij het formuleren en bijsturen van de strategie op het gebied van verkeersveiligheid. 2.3 Concluderend Al met al kennen beide sturingsprincipes dusdanige beperkingen dat zij geen van beide op dit moment als sleutel kunnen dienen voor het ontwerp van een nieuwe subsidierelatie. De huidige samenwerking tussen V&W en VVN - met een beperkt mutual belief en relatief weinig

72 Evaluatie Subisidieregeling Veilig Verkeer Nederland 72 / 88 transparantie staat een subsidierelatie gedomineerd door mutual belief gewoonweg niet toe; tegelijkertijd is het gevaar van het werken met een tussenliggende variabele dat het de creativiteit en innovatie niet voldoende prikkelt. en dat het schijnzekerheid creeert ten aanzien van het verband tussen activiteit en effect. Dit neemt niet weg dat een tussenliggende variabele één stap kan zijn om een constructieve discussie tussen het ministerie en VVN te bevorderen. Een ander punt dat een verrijking van de subsidierelatie zou zijn is het verbeteren van het vertrouwen. VVN kan worden uitgedaagd tot frequente self evidencing. Bij frequente succesvolle self evidencing van VVN groeit niet alleen het mutual belief maar ook het inzicht van beide partijen in de doorwerking van activiteiten naar het doel van de verbeterde verkeersveiligheid, subjectief dan wel objectief. Het verrijken van de subsidierelatie met frequente self evidencing door VVN is daarom een extra voorwaarde die aan de nieuwe subsidierelatie gesteld mag worden. In het volgende hoofdstuk gaan we op zoek naar een subsidierelatie die beter aan het totaal van gestelde voorwaarden voldoet.

73 Evaluatie Subisidieregeling Veilig Verkeer Nederland 73 / 88 3 Aanbevelingen: no regret maatregel en/of een nieuw systeem? De evaluatie heeft duidelijk laten zien dat de aansturing van een subsidierelatie op het gebied van verkeersveiligheid complexer is dan het op het eerste gezicht lijkt. Het over de schutting gooien van een jaarlijks bedrag geeft onvoldoende prikkels, en past niet bij basale eisen van accountability. De huidige prestatie indicatoren houden geen verband met de activiteiten van VVN, noch met de beleidsdoelstellingen van het ministerie. En een definitie van outputcriteria lijdt schipbreuk omdat de samenhang tussen activiteit en output niet hard gemaakt kan worden. Gezien deze uitgangssituatie is het nodig om de subsidierelatie met enig realisme te beschouwen: een perfecte subsidieregeling zal voorlopig niet bestaan. Dat betekent echter niet dat de huidige subsidieregeling onveranderd verlengd moet worden. Integendeel: de huidige regeling is duidelijk voor verbetering vatbaar. In het vervolg van het rapport zullen wij onze aanbevelingen toelichten. Het gaat daarbij om categorieen: Er zijn een aantal no regret stappen die het ministerie bij het opstellen van de nieuwe subsidieregeling zonder meer kan maken. Deze stappen kosten niets, ze zijn relatief gemakkelijk te implementeren en ze hebben een directe baat. Deze stappen zouden daarom direct, ook als een meer fundamentele discussie over een nieuwe subsidieregeling nog niet is afgerond, gezet moeten worden. Daarnaast doen wij aanbevelingen voor een andere wijze van aansturen. De implementatie van deze oplossing zal meer inspanning van alle partijen eisen, in grotere mate tot discussies leiden en vooral een middellange termijn impact hebben. Evenwel denken wij dat het wenselijk is om ook deze oplossing te kiezen. Het moge duidelijk zijn dat de twee aanbevelingen geen óf/óf karakter hebben maar een en/en karakter.

74 Evaluatie Subisidieregeling Veilig Verkeer Nederland 74 / 88 4 No regret stappen Twee knelpunten in de huidige subsidierelatie die uit het onderzoek naar voren zijn gekomen kunnen relatief gemakkelijk worden verholpen: het gebrek aan invloed van het ministerie op de activiteiten van VVN enerzijds en de gebrekkige samenhang tussen de huidige prestatie indicatoren en de VVN activiteiten die met verkeersveiligheid te maken hebben anderzijds. Wij stellen hiervoor drie stappen voor, die zonder enige nieuwe kosten, zonder controversiële discussies en met onmiddelijke impact in de nieuwe subsidieregeling opgenomen kunnen worden. 4.1 Stap 1: Stem het jaarplan aan de voorkant af De huidige subsidieregeling geeft beide partijen een prikkel om van tevoren de inhoud van het jaarwerkplan af te stemmen. In de praktijk werkt dit echter niet. Wij stellen daarom voor om een helder samenwerkingsprotocol op te stellen waarin vast wordt gelegd, hoe het jaarplan wordt opgesteld. Uitgangspunt hierbij zijn de volgende stappen: Het ministerie communiceert haar beleidsprioriteiten aan VVN en communiceert daarbij ook welke, met de prioriteiten samenhangende, concrete thema s V&W graag in het jaarplan bediend wil zien. VVN komt met een concept jaarplan. Het ministerie en VVN bespreken het concept, waarbij het leidende principe is dat het ministerie zich terughoudend opstelt, om zo niet de verantwoordelijkheid bij VVN weg te halen. Er vindt (indien nodig) een tweede discussieronde over het aangepaste concept plaats. VVN dient de subsidieaanvraag inclusief jaarplan in, waarbij als uitgangspunt geldt dat dit jaarplan dan voor het ministerie geen verrassingen meer bevat. Dit proces, hoewel het enige tijd zal duren, leidt niet tot meetbaar hogere transactiekosten: de discussies tussen VVN en het ministerie kunnen ook informeel en telefonisch plaatsvinden. Het is niet zo belangrijk in welke opzet met elkaar gesproken wordt, het is belangrijk, dat met elkaar gesproken wordt. 4.2 Stap 2: Spreek af dat VVN zichzelf per activiteit een prestatieafspraak oplegt De huidige prestatie indicatoren (bijv.: het aantal bestuursleden) kennen geen verband tussen de activiteit en de output. Dit is, zoals het onderzoek heeft aangetoond, ook moeilijk. Er is echter wel een mogelijkheid om de activiteiten van VVN meetbaarder te maken dan het nu het geval is. In het jaarplan wordt nu al een groot aantal activiteiten opgenomen. Om de discussie over de bijdrage aan de objectieve verkeersveiligheid makkelijker te maken, lijkt het logisch dat VVN per activiteit (of categorie van activiteiten) een meetbare prestatie en een gewenst prestatieniveau definieert. Op die wijze wordt het voor V&W en VVN ook makkelijker te

75 Evaluatie Subisidieregeling Veilig Verkeer Nederland 75 / 88 discussieren over de relatie input-output-outcome. Het is van belang om het definieren van deze meetbare prestatie bij VVN te beleggen, omdat het in alle gevallen VVN moet zijn die verantwoordelijk is en blijft voor de effectieve besteding van de subsidiegelden. In de discussie over het Jaarplan, waar de prestaties en prestatieniveaus worden besproken heeft V&W vervolgens de mogelijkheid daarover met VVN van gedachten te wisselen. 4.3 Stap 3: Gebruik een outcomevariabele voor de discussie Naast de harde prestatieafspraken die aan concrete activiteiten gebonden zijn, stellen wij voor om ook een meer beleidsmatige variabele te gebruiken in het Jaarplan. Deze variabele kan gewijzigd worden wanneer de visie omtrent de meest accurate variabele verandert, zonder hierin door te slaan: het te vaak wijzigen van outcomevariabelen zou immers kunnen leiden tot een VVN dat tureluurs wordt. Wij denken hierbij concreet aan het aantal verkeersslachtoffers, gespecificeerd naar de uit beleidsperspectief belangrijke categorieën (bijv. jongeren, ouderen, etc.). Daarnaast kan het aantal alcoholgerelateerde verkeersovertredingen een interessante variabele zijn. Het nut van dit soort variabelen is niet in eerste instantie om te kijken of VVN haar werk goed doet: de directe invloed van VVN op de variabelen is daarvoor nog niet meetbaar genoeg 13. De schijn van het sturen op dergelijke variabelen moet daarbij wel vermeden worden. Beide partijen kunnen met behulp van dit soort variabelen wel de algemene ontwikkeling op het gebied van verkeersveiligheid gezamenlijk analyseren. Hiermee wordt recht gedaan aan de maatschappelijke functie van VVN. Als vrijwilligersorganisatie met een breed landelijk netwerk heeft VVN wellicht meer zicht op redenen voor de (positieve of negatieve) ontwikkeling van de variabelen. Bovendien kan er aanleiding zijn om de focus van de activiteiten van VVN te verschuiven, bijvoorbeeld als het aantal verkeersslachtoffers in een categorie proportioneel minder daalt dan de aantallen in de andere categorieën. 13 Zoals uitgebreid in spoor B is besproken is het niet reëel VVN (danwel V&W) af te rekenen op landelijke verkeersveiligheidstatistieken (outcome)

76 Evaluatie Subisidieregeling Veilig Verkeer Nederland 76 / 88 5 Een andere wijze van aansturen Noch de huidige subsidierelatie, noch echte outputsturing, noch een relatie gebaseerd op alleen mutual belief lijkt de meest efficiente en effectieve subsidierelatie voor VVN te zijn. En ook de no regret stappen lossen de bestaande problemen slechts gedeeltelijk op. Dus moeten we op zoek naar een nieuwe relatie die de problemen wel voldoende adresseert. In het algemeen kunnen we stellen dat het ministerie, om haar beleidsdoelstellingen te halen, steeds die activiteiten wil bekostigen waarvan zij overtuigd is dat zij optimaal bijdragen aan de verkeersveiligheid. Omdat zij niet alle kennis en informatie in huis heeft om het aantal verkeersslachtoffers tot nul te reduceren, is het zaak dat het ministerie er voortdurend van overtuigd raakt dat wat VVN onderneemt, optimaal tegemoet komt aan deze wens. VVN zal dus constant moeten aantonen wat haar bijdrage aan de verkeersveiligheid is, en zij zal steeds stil moeten staan bij haar toegevoegde waarde daar aan. Dragen haar activiteiten optimaal bij aan de verkeersveiligheid? Wat is voor verbetering vatbaar? Dit proces kunnen we als volgt nader concretiseren. Ten eerste vertaalt de wens van het ministerie om steeds haar geld in de beste activiteiten te investeren, zich in een noodzaak tot vernieuwing en innovatie. Beiden dienen er toe om continue verbetering te bewerkstelligen. Gegeven het veranderende speelveld waarin het thema verkeersveiligheid zich bovendien afspeelt, zullen vernieuwing en innovatie onontbeerlijk zijn. Ten tweede is het noodzakelijk dat het ministerie daadwerkelijk overtuigd wordt van de bijdrage van VVN aan de verkeersveiligheid. Dit betekent dat de self-evidencing van VVN richting het ministerie een expliciete rol zal moeten krijgen in de subsidierelatie. Om self-evidencing en vernieuwing een expliciete plek in de subsidierelatie te geven, zal er idealiter een deel van het budget aan gekoppeld moeten worden. Deze twee factoren worden dan voor VVN immers een noodzaak. Bovendien versterken vernieuwing en self-evidencing elkaar in dit geval. De noodzaak om nieuwe, betere ideeën aan de man te brengen, geeft een impuls aan de mate waarin VVN zich dient te verantwoorden over de toegevoegde waarde van haar innovaties. De noodzaak om steeds aan te tonen dat wat zij doet optimaal bijdraagt aan de verkeersveilgheid, geeft op haar beurt een impuls aan vernieuwing en verbetering. In dit hoofdstuk gaan wij op zoek naar aanbevelingen voor een subsidierelatie, die borgt dat de subsidierelatie tussen V&W en VVN in de richting van dit proces kanaliseert. Hierbij geldt steeds, dat de subsidierelatie een middel moet vormen om tot een optimale aanpak van de verkeersveiligheid te komen. Een subsidierelatie is nooit een doel op zich. Op een lager niveau kunnen we nog additionele wensen formuleren. De wijze waarop de subsidierelatie wordt ingericht, zal er idealiter voor moeten zorgen dat ook deze wensen geadresseerd worden. De professionalisering van VVN moet worden gestimuleerd. VVN heeft een periode achter de rug met veel interne turbulentie. Andere partijen geven aan dat de professionaliteit van VVN te wensen over laat. De nieuwe subsidieregeling dient VVN optimaal te prikkelen om in een rap tempo (verder) te professionaliseren.

77 Evaluatie Subisidieregeling Veilig Verkeer Nederland 77 / 88 Bovendien dient de externe focus van VVN flink geprikkeld te worden, zodat VVN een optimale bijdrage levert aan het verbeteren van de verkeersveiligheid én dit ook strookt met de beleving van het ministerie. Dit vertaalt zich in de wens om de relatie zakelijker in te richten. Ook dit is een voorwaarde op te komen tot een systeem waarbij de wereld van verkeersveiligheid convergeert naar een wereld waarin de bijdrage van VVN zo groot mogelijk is. Daarnaast helpt het VVN om de eigen propositie helder te maken en te communiceren aan de gehele buitenwereld. Het nieuwe systeem sluit aan bij de realiteit, en niet bij een modieuze verschijning uit de managementwereld. De realiteit op het gebied van verkeersveiligheid laat zien dat outcomesturing lastig is, en óf tot hoge transactiekosten óf tot grote onzekerheden leidt. Het ministerie dient voldoende inspraak te krijgen in de wijze waarop haar middelen worden besteedt. De no-regret stappen die op dit vlak worden ondernomen kunnen dit probleem al flink aanpakken. Elk eventueel nieuw te implementeren systeem moet echter borgen dat bij het verbeteren van verkeersveiligheid optimaal gebruik wordt gemaakt van de kennis van beide partijen, dus ook die van het ministerie. Daarbij geldt echter wel dat de invloed van het ministerie nooit van dien aard mag zijn dat de verantwoordelijkheid voor de nuttige besteding van de subsidie geheel of ten dele wordt weggenomen bij VVN. De opstelling van het ministerie zou VVN nooit in de situatie moeten plaatsen dat VVN activiteiten onderneemt die zij eigenlijk als minder effectief beschouwt, maar toch doet vanwege de beïnvloeding door het ministerie. Daarnaast is een systeem wenselijk waarbij de transactiekosten zo laag mogelijk blijven. We hebben gezien dat met name outputsturing een behoorlijke impact zal hebben op de instandhoudingskosten van de subsidieregeling. Onderstaande aanbevelingen beogen de contouren van een systeem te schetsen waarin de verkeersveiligheid optimaal wordt aangepakt. Implementatie van onze aanbevelingen vereist vanzelfsprekend de nodige uitwerking, die buiten het kader van dit onderzoek valt. 5.1 Stap 1: Introduceer het principe van self evidencing richt VVN op haar eigen effectiviteit Zoals al eerder genoemd en geconcludeerd is het in de wereld van verkeersveiligheid erg lastig objectief aan te tonen wat de bijdrage van activiteiten aan het reduceren van slachtoffers is. Dat het erg lastig is ontslaat VVN en V&W echter niet van de plicht om zowel de subsidie als de activiteiten steeds in het kader van de objectieve verkeersveilighied te plaatsen. Daar zou meer aandacht aan besteed mogen worden dan nu het geval is. V&W en VVN zouden beiden baat hebben bij het introduceren van het principe van self evidencing, waardoor VVN, meer dan nu het geval is, aannemelijk zal maken dat de subsidie die zij ontvangt, goed besteed wordt. Het aannemelijk maken van haar bijdrage aan de verkeersveiligheid is een behoorlijke uitdaging voor VVN, maar wel noodzakelijk voor het kunnen hebben van een effectieve subsidierelatie. Het dwingt VVN om (i) steeds na te gaan welke activiteiten het meeste impact op de verkeersveiligheid gaan leveren en (ii) om buiten haar huidige werkveld te treden indien zij niet

78 Evaluatie Subisidieregeling Veilig Verkeer Nederland 78 / 88 kan aantonen dat haar activiteiten bijdragen aan het verbeteren van de verkeersveiligheid. Hierbij kan VVN gebruik maken van de meest recente inzichten op het gebied. Als handhaving bijvoorbeeld een zeer effectief middel blijkt te zijn, ligt het voor de hand om vaker de samenwerking met de politie op te zoeken. Concreet betekent dit dat VVN aan de slag gaat om een duidelijker relatie aan te brengen tussen subsidie, inspanningen en effect. Dat zal een intensief proces zijn voor VVN en ook van andere partijen in het veld het nodige vragen. Dat culmineert uiteindelijk in een jaarlijkse rapportage en in het verzoek om voortzetting van de aan VVN bestemde subsidie. Hierbij geeft VVN een duidelijk beeld van de activiteiten die ondernomen zijn om het verkeer veiliger te maken. Waarom zijn deze activiteiten de moeite waard om in te investeren? Welke verdere activiteiten heeft VVN gecreëerd om de beleidsdoelstelling te bevorderen? Hierbij wordt uitgebreider dan op dit moment gebruik gemaakt van bestaande inzichten ten aanzien van de effectiviteit van activiteiten op het vlak van verkeersveiligheid. VVN zal zichzelf daarbij de cultuur eigen moeten maken dat zij steeds op zoek blijft naar het aannemelijk maken van en communiceren over de effectiviteit van haar eigen presteren. Van het ministerie vraagt dit ook het nodige. Weliswaar maakt zij uiteindelijk een afweging tussen wat VVN heeft gedaan en van plan is te gaan doen en de andere opties die zij heeft om in verkeersveiligheid te investeren (zie verderop), maar daaraan vooraf gaat een proces waarin VVN, zich kwetsbaar opstellend, met V&W zal willen onderzoeken wat effectieve manieren van rapporteren en communiceren zijn. 5.2 Stap 2: Introduceer een prikkel voor VVN organiseer concurrentie in de rand Om te borgen dat het ministerie steeds kan rekenen op de best mogelijke oplossingen voor de verkeersveiligheidsproblematiek, moeten haar middelen terecht komen bij de mensen die de creativiteit en kennis in huis hebben om deze oplossingen te kunnen leveren. Het is niet bij voorbaat waar dat de middelen binnen VVN (of iedere andere organisatie) de weg vinden naar de meest geschikte mensen en activiteiten. Noch is het omgekeerde waar. Het totale bedrag dat per jaar door het Ministerie wordt vrijgemaakt voor verkeersveiligheid en VVN is aanzienlijk. VVN ontvangt immers een kwart van het totale verkeersveiligheidsbudget. Echter, er is een automatisme ontstaan, waarbij VVN erop kan vertrouwen dat de organisatie jaarlijks een bepaald bedrag ontvangt. Hierdoor onstaat geen prikkel om een efficiënte en effectieve organisatie in stand te houden. In aanvulling op het self-evidencing zou VVN gebaat zijn bij een externe prikkel tot effectiviteit en efficientie. Wat ons betreft is de meest geeigende weg daartoe om de voortzetting van de volledige subsidie geen automatisme te laten zijn, maar VVN voor een deel van de subsidie te laten aantonen dat zij beter in staat is een bepaald thema te bedienen dan haar collega instanties in verkeersveiligheidsland. Neem als voorbeeld de behoefte om het verkeersgedrag rond scholen te verbeteren. Het ministerie zou kunnen overgaan tot het uitschrijven van een prijsvraag voor een gedeelte van haar budget dat bestemd is voor dit doeleinde. Op deze manier worden drie doelen bereikt:

79 Evaluatie Subisidieregeling Veilig Verkeer Nederland 79 / 88 Er wordt optimaal gebruik gemaakt van de nieuwste ideeën in de sector, zo wordt innovatie en vernieuwing tot stand gebracht. Door concurrentie te introduceren worden organisaties (waaronder VVN) geprikkeld om efficiënter en professioneler te werk te gaan. Er staat immers een deel van het budget op het spel. Het ministerie profiteert optimaal van de creatieve inspanningen van verkeersveiligheidsorganisaties tegen minimale transactiekosten. VVN zal zich in deze structuur automatisch meer naar buiten richten en professionaliseren omdat het een directe vereiste is voor continuïteit. Daarnaast krijgt vernieuwing en innovatie op deze manier expliciet een grotere rol in verkeersveiligheidsland in het algemeen, en in het specifieke beleid van VVN, zonder dat het een doel op zich wordt. Mits de competities breed gedefinieerd worden, krijgen partijen alle mogelijkheid om de eigen creativiteit en kennis zo goed mogelijk in te zetten. Daarnaast is de rol van het ministerie en daarmee de transactiekosten beperkt. Het ministerie zet een aantal grove lijnen uit, en heeft enkele contactmomenten. Het is niet nodig zelf op zoek te gaan naar de juiste mensen, ideeën of projecten: deze komen als het ware naar het ministerie toe. Samenvattend zou het organiseren van concurrentie dus als volgt kunnen worden vormgegeven: Het ministerie definieert op basis van beleidsdoelstellingen een thema waarop zij graag zou willen investeren in nieuwe projecten (bijvoorbeeld de verkeersveiligheid onder jongeren); tevens stelt zij het hiervoor beschikbare budget vast. Dit borgt dat gebruik wordt gemaakt van de kennis en inzichten van het ministerie. Door middel van een competitie (bijv. een prijsvraag) kunnen partijen hun ideeën aandragen, samen met de omvang van het gewenste budget om hun idee ten uitvoering te brengen. De partij die de beste prijs kwaliteit verhouding biedt binnen budget, wint de aanbesteding en begint met de ontwikkeling van het nieuwe project (inclusief pilot). Hierbij gaat het wat betreft kwaliteit om de vraag welke activiteit het meest bijdraagt aan het bereiken van de doelstellingen van het ministerie. Aangezien dit in verkeersveiligheidsland erg lastig objectief is aan te tonen, gaat het er om dat partijen aannemelijk maken dat hun idee de investering waard is. De partij die hier het beste in slaagt tegen de meest gunstige prijs, wint. Om het bovenstaande mogelijk te maken, dient een beperkt deel van het beschikbare budget geoormerkt te worden voor de door competitie tot stand te brengen vernieuwing. Dit houdt in dat de subsidie die aan VVN wordt verstrekt, met dit bedrag gekort wordt.

80 Evaluatie Subisidieregeling Veilig Verkeer Nederland 80 / Stap 3: Houdt de kerntaken van VVN in stand, maar breng een verband aan tussen presteren en hoogte van het budget VVN heeft als organisatie geld nodig om te blijven functioneren. We stellen dus voor om een tweedeling in het huidige budget aan te brengen: reserveer een deel voor het de hierboven beschreven concurrentie in de rand, maar gebruik het grotere gedeelte voor de taken van het hoofdkantoor en de kernactiviteiten van VVN. Om een effectieve prikkel tot professionalisering en vernieuwing te handhaven, stellen we voor om het deel dat gebruikt wordt in competitief verband, periodiek aan te passen aan de hand van het presteren van VVN. Dat presteren kan gemeten worden door: De kwaliteit van het self-evidencing het principe van self-evidencing houdt in dat VVN aangeeft wat er uit de beschikbare middelen betaald wordt en hoe deze activiteiten bijdragen aan het verbeteren van de verkeersveiligheid. VVN overtuigt hiermee het ministerie dat zij haar subsidie waard is. Mocht VVN er onvoldoende in slagen in toenemende mate haar toegevoegde waarde in termen van objectieve verkeersveiligheid inzichtelijk te maken, dan zou de omvang van de subsidie kunnen krimpen. Het verschil wordt dan gevoegd bij de middelen waarvoor competities worden georganiseerd. Het (wetenschappelijk) aantonen van de doorwerking van de activiteit op de verkeersveiligheid is teveel gevraagd. Wel behoort VVN ernaar te streven om steeds beter aannemelijk te (kunnen) maken dat haar activiteiten er toe doen. Het inzicht in de manier waarop VVN de verkeersveiligheid probeert te verbeteren en hoe zij dit tracht te doen helpt het ministerie en VVN om vervolgens inhoudelijk gedreven de toekomstige samenwerking verder in te vullen. De mate waarin VVN competities om vernieuwing wint Als VVN veel competities wint, maakt ze namelijk aannemelijk dat het geld aan haar goed besteed is. Mocht ze de competities (meestal) verliezen, dan ligt het vanuit het perspectief van verkeersveiligheid voor de hand om minder budget aan VVN toe te kennen, en meer aan de winnende partij(en) 14. Dit plaatje lijkt een enigszins vervelend scenario te schetsen voor VVN. Zelfs als zij maximaal scoort op self-evidencing en ook nog alle competities wint, is het maximaal haalbare de huidige situatie. Dit is ook logisch, want een uitbreiding van het budget voor verkeersveiligheid lijkt, gezien de huidige staat van de Rijksbegroting, niet erg waarschijnlijk. En toch bestaan voor VVN zelfs mogelijkheden om in de toekomst meer geld ter beschikking te hebben dan nu: als de teruglopende subsidie VVN dwingt om meer fondsen van derde partijen te verwerven, dan kan dit een netto positief effect opleveren. Een bijkomend voordeel van deze benadering is dat VVN wordt geprikkeld om te gaan samenwerken teneinde de competities te winnen. Deze prikkel tot samenwerking leidt ook weer tot een naar buiten gerichte houding van VVN en een professionalisering van VVN. De manier waarop VVN omgaat met de teruglopende vaste inkomsten is aan haar zelf. Wij verwachten dat VVN (naast het verwerven van nieuwe fondsen) eerst een efficiëntieslag zal moeten maken in de manier waarop de middelen nu worden ingezet. Als VVN vervolgens 14 Het is zeer wel denkbaar date en winnende strategie voor VVN kan betekenen dat zij samenwerking met andere partijen zoekt.

81 Evaluatie Subisidieregeling Veilig Verkeer Nederland 81 / 88 gewend raakt aan het ontwikkelen van nieuwe ideeën - om competities te winnen - en het inzetten op activiteiten die overtuigend zijn vanwege de vereiste self-evidencing richting V&W - krijgt ze ook een beeld van activiteiten die een lagere prioriteit verdienen omdat ze van mindere kwaliteit zijn. Het directe gevolg is daarmee niet alleen dat er nieuwe (betere) activiteiten ontwikkeld worden, maar ook dat er minder middelen worden gestoken in projecten die onvoldoende succesvol zijn.

82 Evaluatie Subisidieregeling Veilig Verkeer Nederland 82 / 88 Bijlagen

83 Evaluatie Subisidieregeling Veilig Verkeer Nederland 83 / 88 Bijlage 1: Geraadpleegde personen Gedurende het onderzoek hebben we de volgende mensen geraadpleegd: VVN Henk Strietman Joop Goos Bart Cras Christel de Heus Alphons Knuppel Kerstin Steinhart Jeroen Kempen Jan de Jong Erica Vis Jenno Kootstra Cyril Crutz Overig Erik Geerdes (TIEM) Loek Hesemans (Ministerie VWS, accountmanager voor Stichting Consument en Veiligheid Bart Pastoor (ROV Limburg) Ferry Smith (ANWB) Hugo van der Steenhoven (Fietsersbond) Karel Brookhuis (Rijksuniversiteit Groningen) Ragnhild Davidse (SWOV) Christian Zuidema (Ministerie van Verkeer en Waterstaat) Elise de Zwart (Ministerie van Verkeer en Waterstaat)

84 Evaluatie Subisidieregeling Veilig Verkeer Nederland 84 / 88 Bijlage 2: Verslag raadplegen Deskundigen met betrekking tot Spoor B Plaats, tijd en deelnemers De expertsessie vond plaats in Utrecht op 19 januari 2010 van 1500 uur tot 1700 uur. De deelnemers waren dr. Ragnhild Davidse van SWOV en prof. dr. Karel Brookhuis van de TU Delft. Vanuit RebelGroup hebben Jeroen in t Veld, Enno Gerdes, Maysam Hamdan en Robert Schipperhein deelgenomen. Agendapunt 1 Voorstelronde en toelichting op het onderzoek De deelnemers stellen zich voor; Jeroen licht toe wat de opdracht aan Rebel is, welke onderzoeksvragen gesteld zijn, welke onderzoeksaanpak gevolgd is en wat de doelstelling is van de expertsessie. Agendapunt 2 Meldpunten Robert stelt het aanpak (met name de causale keten) en de resultaten voor. De experts hebben de volgende op- en aanmerkingen: Het effect van meldpunten op de objectieve verkeersveiligheid is moeilijk te meten, maar ook de subjectieve verkeersveiligheid is belangrijk. Probleem bij het meten van de objectieve veiligheid is dat bij een kruispunt bijvoorbeeld het risico van 1 ongeval per 10 jaar verlaagd naar 1 ongeval per 15 jaar. Dan is het lang wachten. Men kan wel types wegen vergelijken, dus een evaluatie is mogelijk als door een interventie een weg type A veranderd wordt in een weg type B. Men kan dan kijken hoe hoog landelijk de veiligheid van type A en B is. Voor een melder is het soms moeilijk om bij een gemeente het goede loket te vinden; het aanbod van VVN helpt dan echt. Dit geldt nog sterker in grotere steden. De vraag hoe hoog het succespercentage van andere meldpunten met betrekking tot verkeersonveiligheid, komt in het onderzoek helaas niet aan bod. Dit had het beeld van het presteren van VVN kunnen aanscherpen. Het oplossen van infrastructuur gerelateerde meldingen door wegbeheerders gebeurt meestal in de volgende ronde, en daar gaat vaak wat tijd overheen. De melding wordt dan wel opgelost maar niet direct. Het betrekken van de omgeving bij de VOS wat veel voorkomt verhoogt de betrokkenheid en subjectieve verkeersveiligheid. VVN faciliteert melders bij het vinden van het juiste loket. Echte doorzettingsmacht om een probleem op te lossen heeft VVN niet. De zichtbaarheid van de meldpunten van VVN zou beter kunnen. Zo zijn de meldpunten niet prominent op de site van VVN geplaatst.

85 Evaluatie Subisidieregeling Veilig Verkeer Nederland 85 / 88 Agendapunt 3 Broem cursussen Robert stelt het aanpak (met name de causale keten) en de resultaten voor. De experts hebben de volgende op- en aanmerkingen: Maakt meer zelfvertrouwen een betere bestuurder van een persoon? Dat hangt ervan af: bij jongeren (vooral mannen) is dit juist niet het geval, bij ouderen soms wel, bijv. bij de situatie snelweg oprijden. Het zelfvertrouwen moet echter wel onderbouwd zijn door daadwerkelijke vaardigheden. Ouderen hebben vaak compensatiegedrag : men ziet niet meer zo goed in het donker, dus men rijdt alleen nog maar overdag. Dit is een strategie om om te gaan met veranderende vaardigheden. Het is dus niet altijd nodig om een interventie te plegen. Het bestaande probleem wordt geïnternaliseerd en daardoor minder relevant. Het onderzoek gaat nog niet in op dit soort compensatiegedrag. Ouderen ondergaan in hun rijvaardigheid vaak een neerwaartse spiraal door het compenseergedrag. Men kan iets niet meer zo goed, dus voorkomt dat men dat moet doen, waardoor men het helemaal verleert. Broem is, evenals andere activiteiten, een samenwerking van VVN en een derde partij. Al dan niet aanwezige successen zijn dus niet alleen van VVN. Minder mobiliteit bij ouderen heeft ook negatieve gezondheidseffecten, met name depressiviteit. Je leert niet veel van een ritje van 45 minuten; erg belangrijk is de nazorg. Broem is niet hét instrument, maar draagt wel iets bij. Bij de Broem cursussen is zelfselectie een groot probleem, zodat de resultaten van het onderzoek gerelativeerd dienen te worden. Agendapunt 4 Verkeerseducatie Maysam stelt het aanpak (met name de causale keten) en de resultaten voor. De experts hebben de volgende op- en aanmerkingen: Voor- en nameting is wel degelijk mogelijk, maar dit zijn zeer uitgebreide onderzoeken. Bijvoorbeeld kan je bij een aantal klassen meten of de kinderen leren over te steken. Dit zou echter niets zeggen over de effectiviteit van het gehele pakket, maar slechts over de effectiviteit van dit ene (belangrijke) onderdeel. Helaas zijn de pakketen niet (inhoudelijk) met elkaar vergeleken. Een benchmark had meer inzicht kunnen geven in de kwaliteit van het pakket van VVN De rol van ouders in verkeerseducatie van kinderen is erg groot. In het pakket van VVN worden de ouders bij die educatie betrokken. De interactie tussen het VVN pakket en verkeersouders is een pre. De trend in de afgelopen jaren is dat de verkeersveiligheid in het geheel toeneemt, er vallen minder slachtoffers in het verkeer. Daarentegen gaat de situatie bij ca. 13 jarige fietsers achteruit. De waarschijnlijke reden hiervoor is dat de kinderen tijdens de basisschool teveel beschermd worden en geen eigen routine in verkeersgedrag

86 Evaluatie Subisidieregeling Veilig Verkeer Nederland 86 / 88 ontwikkelen. Vroeger fietsten 6 jarige kinderen nog alleen naar school, tegenwoordig gebeurt dat niet meer. Juist dit gebrek aan ervaring breekt de kinderen na de basisschool op als ze alleen grotere afstanden gaan fietsen. Er is een groot verschil tussen verkeersregels en verkeersgedrag. Bij regels gaat het er puur juridisch om wie de schuld heeft en wat de verzekering (niet) betaald. Bij gedrag gaat het erom wat echt veilig is. Verkeerseducatie zou daarom vooral op het beïnvloeden van gedrag moeten focussen en niet op het leren van de regels. De argumentatie dat het gebruik van het pakket door scholen iets zegt over de waardering van de effectiviteit van het pakket is gevaarlijk. Agendapunt 5 Algemene opmerkingen Naast de behandeling van de casussen werden nog de volgende opmerkingen over VVN c.q. het onderzoek gemaakt: VVN laat nog wel kansen liggen omdat ze juist niet in moeilijkere wijken vertegenwoordigd zijn. Er zijn waarschijnlijk nauwelijks allochtone verkeersouders. Bij alle causale ketens moet toegevoegd worden dat dit veronderstelde, ideale ketens zijn. De werkelijkheid kan soms afwijken. Het is op de wegen veel drukker geworden, maar ook veiliger. De drukte leidt er echter toe dat de subjectieve verkeersveiligheid afneemt. Veel van de belangrijke ontwikkelingen bij het veiliger maken van het verkeer zijn te danken aan de automobielindustrie. VVN doet niet genoeg aan opvolging en evaluatie. Er zijn veel activiteiten die niet zouden gebeuren als VVN niet zo veel (getrainde) vrijwilligers had. Meer samenwerking tussen de organisaties zou goed zijn en leiden tot meer synergie en minder georganiseerde autisme. Koppel de subsidie aan concrete projecten, bijv. het aantal Broem ritten Stimuleer innovatie! Openheid, overleg en vertrouwen zijn cruciaal. Spreek liever dingen voor de lange termijn af dan jaarlijks nieuwe eisen te stellen.

87 Evaluatie Subisidieregeling Veilig Verkeer Nederland 87 / 88 Bijlage 3: Enquêteformulier Vragenlijst Broem Deelnemers Vooraf Beste BROEM deelnemer, Wij van RebelGroup voeren een onderzoek uit voor het Ministerie van Verkeer en Waterstaat naar de resultaten die Veilig Verkeer Nederland (VVN) boekt betreffende de verkeersveiligheid. We hebben met VVN afgesproken dat we bij deze BROEM cursus en de volgende cursus een kort onderzoek mogen afnemen. Medewerking is niet verplicht, maar wordt zeer op prijs gesteld. Voor u als deelnemer zijn de volgende zaken van belang: Het onderzoek is volledig anoniem, er wordt geen data bewaard die aan uw naam verbonden is. Vandaag vragen we u om de tabel op de achterzijde in te vullen door per categorie uw eigen niveau aan te kruisen. Graag willen we over ongeveer een week nog een keer contact met u opnemen om opnieuw een aantal (+/- 10) meerkeuze vragen af te nemen. Ook die informatie zal anoniem behandeld worden. Dit neemt niet meer dan 5 minuten in beslag. Wij zullen hiervoor van tevoren een afspraak met u maken om te zorgen dat dit contact op een voor u gunstig moment plaats vindt. Contactgegevens (indien u meedoet aan het onderzoek): Naam: Telefoonnummer: adres:

88 Evaluatie Subisidieregeling Veilig Verkeer Nederland 88 / 88 Vul per categorie het niveau in dat voor u van toepassing is: Categorie Onvoldoende Voldoende Goed Zeer goed Kennis verkeerstheorie (verkeerstekens, verkeersregels, etc.) Gehoor in het verkeer Zicht in het verkeer Reactievermogen bij onverwachte situaties in het verkeer Beweging / motoriek zoals het draaien van de nek Zelfvertrouwen in het verkeer Rijvaardigheid (controle over de auto en overzicht over de situatie)