Toezicht en effect: waarom en hoe

Transcriptie

1 Toezicht en effect: waarom en hoe Heinrich Winter Ko de Ridder Pro Facto JURIDISCH EN BESTUURSKUNDIG ONDERZOEK EN ADVIES Waarom onderzoek naar effectiviteit van toezicht? (Waar hep dat nou voor nodig?) Bijna-rampen: institutionele vanzelfsprekendheid? De ARK en onze belastingcenten: doelmatige aanwending van middelen? Van de secretaris-generaal en de fietsenmaker: draagvlak?

2 Waarom weerstand tegen het meten van de effecten van toezicht? Angst voor de principaal: De opdrachtgever zit niet te wachten op rapportages over ineffectief optreden De opdrachtgever wil dat de incidenten en de grote risico s worden aangepakt Toezicht zou vanzelfsprekend moeten zijn Waarom zou je het als inspectie zelf moeten willen? Kwaliteit van werken: The reflective practioner: een goede inspecteur gaat weloverwogen te werk Evidence based policy: een goede inspecteur werkt op basis van bewezen inzichten

3 en waarom is onderzoek naar effectiviteit van toezicht onvermijdelijk? Is het bestaan van de inspecties zelfevident Hoe lang is de motie-aptroot geleden? Wat verwacht u voor positiefs van het werk van de twintig bezuinigingswerkgroepen? Stelling: er is geen alternatief Wat wordt er gedaan Leidraad Effectmeting bij Inspecties (2005) Monitor Effectmeting (2007): effectmeting is worsteling Pilots komen maar moeizaam van de grond (2009)

4 Wat is er zo moeilijk aan het meten van de effecten van toezicht? Meetproblemen Causaliteit vaststellen Effecten van regels en effecten van toezicht Werkelijkheidswaarde van experimenten Effectmeting is duur en tijdrovend Literatuurreview effectief toezicht Uit de literatuur: onderzoek verzamelen dat op valide wijze effecten van toezicht meet Onderzoek dat kan bijdragen aan kennis over effectief toezicht Doelstelling: wat kunnen we leren van al opgedane ervaringen? Samenwerking onderzoeksbureau Pro Facto en vakgroep Bestuursrecht en Bestuurskunde RuG

5 Onderzoek I Inspectie Verkeer en Waterstaat VEILIG ROLSTOELVERVOER oktober 2008 / mei 2009 Onderzoek veilig rolstoelvervoer: OPZET Onderwerp: rolstoelvervoer in taxibusjes Twee onderzoeksgroepen: t Gooi en Aan Zee - 5 inspecties in 15 weken; - 4 inspecties in 18 weken Twee controlegroepen: In Noord en In Zuid - met controles aan het begin en eind - van 21 resp. 18 weken Gemeten effect: verbetering naleving - van 71% naar 100% in onderzoeksgroepen; - van 72% naar 78% in controlegroepen

6 Onderzoek Veilig rolstoelvervoer: RESULTATEN Verbetering naleving: van 71% naar 100% in onderzoeksgroepen; van 72% naar 78% in controlegroepen Onderzoek veilig rolstoelvervoer: ANDERE BEVINDINGEN Zichtbaarheid is van belang: twee of meer inspecteurs; tijdens de spits; fuikopstelling Goede introductie bij chauffeur; visuele en fysieke inspectie Focus de controle: spits toe op eisen voor rolstoelvervoer, niet op andere eisen aan de taxi Bij overtreding: waarschuwing of p-v Ritme is van belang: 2 tot 3 inspecties in twee maanden; dan drie tot vier maanden niet

7 Onderzoek veilig rolstoelvervoer: METHODISCHE ASPECTEN Welk effect is gemeten? nalevingsgedrag Verband met optreden inspectie aangetoond Verband tussen naleving en veiligheid is plausibel Verband tussen mate van naleving en aantallen slachtoffers is onbekend Onderzoek veilig rolstoelvervoer: BEPERKINGEN EN AANPASSINGEN Integrale toepassing van de onderzochte interventies a-typisch en kostbaar Remedie: (ook) bedrijfsgerichte interventies Maatschappelijk effect (baten) onduidelijk Zware ongevallen in het verleden baten zijn in beginsel wel vast te stellen

8 Onderzoek II Voedsel- en Warenautoriteit HYGIENEVERBETERING CHINESE (AFHAAL)RESTAURANTS quasi-experiment Onderzoek Chinese (afhaal)restaurants: OPZET Aanleiding: structurele problemen met hygiëne in Chinese restaurants; interventies geen blijvend effect; verklaring: deels kennisgebrek bij doelgroep Interventie: bedrijfsspecifieke handhavingscommunicatie en handhaving op de items van hygiënemeting Quasi-experimenteel design: met experimentele groep en controlegroep

9 Onderzoek Chinese (afhaal)restaurants: OPZET VERVOLG Experimentgroep: blootgesteld aan het gehele interventiepakket Controlegroep en experimentgroep beide: blootgesteld aan drie hygiënemetingen - vóór de interventies - na 10 maanden - na 15 maanden monsteronderzoek; enquêtes en deel voorlichting Onderzoek Chinese (afhaal)restaurants: RESULTATEN Bij voormeting geen verschil tussen EG en CG Bij 2 e meting significant verschil tussen EG en CG Bij 3 e meting zelfde verschil tussen EG en CG: effecten op middellange termijn blijven stabiel Monsteronderzoek: - bakolie over hele linie verbeterd; - aantal bacteriën in bami en nasi niet verminderd Combinatie van handhaving, voorlichting en opleiding werkt beter dan handhaving alleen

10 Onderzoek Chinese (afhaal)restaurants RESULTATEN gemiddelde hygiene somscore 4 3,5 3 2,5 2 1e meting 2e meting middellange termijn experimentele groep controle groep Onderzoek Chinese (afhaal)restaurants: METHODISCHE ASPECTEN Welk effect is gemeten? Nalevingsgedrag Verband met totale interventiepakket is aangetoond Conclusie dat het pakket beter werkt dan handhaving alleen is gebaseerd op vergelijking met 'het verleden Verband tussen naleving en gezondheid consument is plausibel

11 Onderzoek III: Road Safety Directorate, Transport Canada/ LONG TERM EFFECTIVENESS OF SELECTIVE TRAFFIC ENFORCEMENT PROGRAMS (STEP) FOR INCREASING SEAT BELT USE Canadees onderzoek naar de handhaving van de verplichting tot het dragen van veiligheidsgordels in auto s (1984/1985) Onderzoek Effectiveness of STEP: OPZET Eén experimenteerregio: STEP combinatie van: - veel publiciteit over het handhavingsprogramma - handhaving met focus - voorlichting meerwaarde van de maatregel - training van handhavers en feedback over het effect van het programma Twee controle regio's: geen interventies, wel meten Veronderstelde causale keten: - toename gordeldragers - daling van het aantal ernstig gewonden door auto-ongelukken

12 Onderzoek Effectiveness of STEP: OPZET VERVOLG Voormeting en nameting gordeldragen 6 surveys: observaties bij stoplichten (totaal ) Gecontroleerd voor persoonskenmerken Ongevallencijfers: - doden en zwaargewonden uit bestaande registraties (gewogen naar inwonertal) Onderzoek Effectiveness of STEP: RESULTATEN Toename gebruik met STEP: 14% daling gebruik in controlegroep: 20% Met STEP gebruik toegenomen, ongeacht leeftijd of geslacht Daling ongevallen in experimentregio: 14% Stijging in één controleregio: 1% Tweede controleregio: licht daling (4%)!

13 Onderzoek Effectiveness of STEP: METHODISCHE ASPECTEN Welk effect is gemeten? Maatschappelijke outcomes: invloed op aantal slachtoffers Effectieve en efficiënte meetmethoden Effectief gebruik bestaande database Onderzoek IV: John E. Volpe National Transportation Systems Center FMCSA EFFECTIVENESS OF ROADSIDE INSPECTION AND TRAFFIC ENFORCEMENT PROGRAMS Toetsing van een effectiviteitsmodel (2004)

14 Onderzoek veiligheidsinspecties vrachtvervoer The Federal Motor Carrier Safety Administration (FMCSA), a modal administration within the U.S. Department of Transportation, regulates and supports the Nation's interstate commercial carrier industry. FMCSA's primary mission is to reduce crashes, injuries, and fatalities involving large trucks and buses. In cooperation with our partners and customers, we strive to reduce the large truck fatality rate by 41% from 1996 to This reduction translates into a rate of 1.65 fatalities in truck crashes per 100 million miles of truck travel. De Inspectie Verkeer en Waterstaat inspireert tot, stimuleert en bewaakt veilige en duurzame water- en transportsystemen. Onderzoek veiligheidsinspecties vrachtvervoer: OPZET Requirements of the Government Performance and Results Act (GPRA, 1993) Doel: vaststellen van effecten van compliance reviews (inspectiebezoeken bij transportbedrijven) op het aantal ongelukken, verkeersdoden en gewonden Meten: inspecteurs voerden compliance reviews uit Controlegroep: niet gecontroleerde bedrijven

15 Onderzoek veiligheidsinspecties op vrachtvervoer: EFFECTIVITEITSMODEL Onderzoek veiligheidsinspecties op vrachtvervoer RESULTATEN Vergelijking crash rate na inspectie met crash rate in het jaar daarvoor Daling van crash rate bij de geïnspecteerde groep in 2004: 21,1% Schattingen van aantal vermeden ongelukken (2.720), voorkomen dodelijke slachtoffers (107) en gewonden (1.899)

16 Onderzoek veiligheidsinspecties op vrachtvervoer METHODISCHE ASPECTEN Gebruik van "Effectiviteitsmodel Directe meting: crash rates Indirecte meting: reductie in ongevallen Enorm veel data nodig Maar vooral: een slim model Leren van effectstudies Voor vormgeving interventies Oplossingen voor meetproblemen Oplossingen voor causaliteitsproblemen Kosten en baten van effectiviteitsonderzoek

17 Vormgeving interventies Voorbeelden van generaliseerbare conclusies Combinatie interventies (voorlichting; training; massamediale publiciteit; handhaving) is effectief; Zichtbaarheid van de inspectie is relevant Maar: door combinatie van interventies is het effect van afzonderlijke interventies lastig vast te stellen Meetproblemen Ex-ante meting moet interventievrij zijn Meting controlegroep moet interventievrij zijn Unobtrusive measures kunnen efficiënt en effectief zijn (observaties bij het stoplicht) Veel data zijn vaak al beschikbaar en kunnen gebruikt worden (verkeersongelukken; verkeersovertredingen; doden/gewonden; CITOscores; beursstatistieken)

18 Causaliteitsproblemen Onderzoeken van nalevingseffecten nog redelijk goed mogelijk; maatschappelijke effecten veel lastiger Aanvullend onderzoek naar verband tussen naleving en maatschappelijke effecten mogelijk Niets zo praktisch als een goede theorie; the need for theory-driven evaluation Opstellen beleidstheorie/veronderstellingen over causaliteit wordt gemist Kosten en baten van effectiviteitsonderzoek Maak gebruik van bestaande databases Verzin slimme waarnemingsmethoden Tevoren geëxpliciteerd causaal model voorkomt missers en kostbare reparatie achteraf (Sparrow, The regulatory craft, 2000) The surprising truth is that when regulators do manage to focus their attention on thorny, persistent and specific problems, and when they devise interventions that work, we often applaud such work as if it were not expected..