Toezicht en effectmeting: het kàn!

Transcriptie

1 Toezicht en effectmeting: het kàn! Heinrich Winter Ko de Ridder

2 Waarom weerstand tegen het meten van de effecten van toezicht? Angst voor de principaal: De opdrachtgever zit niet te wachten op rapportages over ineffec>ef optreden De opdrachtgever wil dat de incidenten en de grote risico s worden aangepakt Toezicht zou vanzelfsprekend moeten zijn

3 Waarom zou je het als inspectie toch moeten willen? Intern: kwaliteit van werken The reflec(ve prac(oner: een goede inspecteur gaat weloverwogen te werk Evidence based policy: een goede inspecteur werkt op basis van bewezen inzichten Extern: verantwoording naar publiek en poli>ek Verhelder beoogde maatschappelijke outcome Maak meerwaarde toezicht inzichtelijk

4 Wat wordt er gedaan Leidraad Effectme>ng bij Inspec>es (2005) Monitor Effectme>ng (2007): effectme>ng is worsteling Pilots komen maar moeizaam van de grond (2009)

5 Wat is er zo moeilijk aan het meten van de effecten van toezicht? Meetproblemen Causaliteit vaststellen Effecten van regels en effecten van toezicht Werkelijkheidswaarde van experimenten Effectme>ng is duur en >jdrovend ( )

6 Literatuurreview effectief toezicht Uit de literatuur: onderzoek verzamelen dat op valide wijze effecten van toezicht meet Onderzoek dat kan bijdragen aan kennis over effec>ef toezicht Doelstelling: wat kunnen we leren van al opgedane ervaringen?

7 Onderzoeksverslag: Toezicht en Effectmeting. Het kán! Literatuurreview levert 70 effectstudies op (bibliotheek) Niet uitpu\end Diverse beleidsterreinen Interna>onaal Vanaf medio jaren negen>g Meeste onderzoek op MSMS 3 niveau Analyse en Handreiking

8 Analyse researchsynthese (1) Onderscheid nalevingseffecten / maatschappelijke effecten Maatschappelijke effecten (outcomes) moeilijker te meten (voorbeeld: transparante aandelenhandel ) Onderzoek van outcomes vaak >jdrovend en/of duurder Beoogde maatschappelijke effecten soms onbekend Regelma>g is bevorderen naleving het enige doel. Voorbeeld : belas>ngbetaling conform de regels Bijna ½ nalevingseffecten; ¼ outcomes; ¼ combina>e

9 Analyse researchsynthese (2) Uitspraken over effec>viteit in termen van succes van het toezicht behoeven scherpe doelstellingen. Die zijn echter veelal kwalita>ef geformuleerd meer schelpdieren (studie nr. 9) betere Cito scores (studie nr. 34) vermindering onveiligheidsgevoelens (studie nr. 3) Uitspraken over succes/falen toezichtsinterven>e vergt scherp geformuleerde doelstelling of hypothese Opera>onalisering vage doelstellingen soms nodig

10 Analyse researchsynthese (3) Hoe zijn effecten van normstelling en effecten van toezicht te scheiden? Is causaliteitsvraag die door toepassing van met/zonder design kan worden beantwoord (voorwaarde voor MSMS 3) Sommige studies gaan over effecten van regelgeving Voorbeeld (1): studies op terrein Economie & Financiën (nrs ) Voorbeeld (2): studie nr. 39 naar nieuwe manier van toezicht voedselveiligheid; geen met/zonder me>ng, mogelijk causale samenhang met gewijzigde regels

11 Analyse researchsynthese (4) Samenstelling onderzoeksgroep en controlegroep At random toewijzing? MSMS 5; voorbeeld: studie nr. 61, handhaving verkoop tabak aan jongeren in NY Idem (studie nr. 70) par>culiere belas>ngbetalers ontvingen at random brieven met uiteenlopend verwoorde boodschap Bij verkeersveiligheidsstudies: verkeersdeelnemers verdelen zich at random; maar probleem is constant houden andere variabelen op controletracé (verkeersintensiteit, fysieke kenmerken wegvak, % overtredingen voorafgaand aan interven>e)

12 Analyse researchsynthese (5) In de studies: veelheid aan toezichtsinterven>es Van communica>e tot handhaving Communica>e komt vaak voor Veelal is sprake van een interven>emix Afzonderlijke effecten dan las>g meetbaar! voorbeeld: VWA onderzoek naleving hygiënevoorschrisen Chinese restaurants Verschillende soorten onderzoek (veelal kwan>ta>ef) Veelal gebruik van bestaande databestanden Soms aanvullend kwalita>ef onderzoek (nrs. 15, 20, 23)

13 Elementen handreiking 1. Hou het eenvoudig 2. Formuleer verwach>ngen (of beter nog) beleidstheorie 3. Belang van inbedding in toezichtstrategie 4. Betekenis van (aanvullend) kwalita>ef onderzoek 5. Tijdreeksme>ng in plaats van ex ante onderzoek 6. Samenstelling controlegroep 7. Let op neveneffecten

14 Handreiking 1: Hou het eenvoudig! (1) Begin met onderzoek naar nalevingseffecten Voorbeeld (1): onderzoek verkeersveiligheid (zitjes voor peuters, nr. 37) Voorbeeld (2): onderzoek voedselveiligheid (hygiëneme>ngen in Chinese restaurants, nr. 38) In veel gevallen alsnog uit te breiden met cijfers over atankelijke variabele (ongevalsslachtoffers; cijfers over voedselvergisigingen)

15 Handreiking 1: Hou het eenvoudig! (2) Maak zoveel mogelijk gebruik van al bestaande databases Voorbeeld (1): vaak al gegevens bij inspec>es (onderzoek Cito scores, nr. 34) Voorbeeld (2): soms zijn gegevens elders (arbeidsongevallen, nrs ) Begin met (rela>ef) eenvoudige verbanden Voorbeeld (1): veiligheid rolstoelvervoer (IVW, nr.29) Voorbeeld (2): voedselveiligheid bij de Chinees, VWA onderzoek, nr. 38

16 Handreiking 2: Formuleer verwachtingen Reconstruc>e beleidstheorie, maar vaak complex Voorbeeld (1): evalua>e Wet onderwijstoezicht ( )

17 A1: Interne kwaliteitszorg -> zelfbeeld A5: Als scholen zich verantwoorden aan inspectie zal zij het toezicht daarop afstemmen Theorie Goed Onderwijsbestuur A2: Ouders gebruiken verantwoording om kwaliteit te beïnvloeden A4: Intern toezicht is professioneel, onafhankelijk en dient het algemeen belang A3: Intern en extern toezicht -> kwaliteitsverbetering

18 Handreiking 2: Formuleer verwachtingen Reconstruc>e beleidstheorie, maar vaak complex Voorbeeld (1): evalua>e Wet onderwijstoezicht ( ) Voorbeeld (2): effec>viteit toezicht vrachtvervoer US, Saved Lives (nr. 28); effec(veness model

19 Onderzoek veiligheidsinspecties op vrachtvervoer: EFFECTIVITEITSMODEL

20 Handreiking 2: Formuleer verwachtingen Reconstruc>e beleidstheorie, maar vaak complex Voorbeeld (1): evalua>e Wet onderwijstoezicht ( ) Voorbeeld (2): soms toch goed mogelijk, studie Saved Lives, nr. 28; effec(veness model Formuleer verwach>ngen over enkelvoudige verbanden Voorbeeld (1): onderzoek Ezelsoor (nr. 9) Voorbeeld (2): onderzoek spaarbanken (nr. 45)

21 Handreiking 3: Inbedding in toezichtstrategie Sluit aan bij dagelijkse werkzaamheden Voorbeeld: IVW onderzoek naar inspec>e rolstoelvervoer; intensiteit inspec>e structureel onmogelijk (nr. 29) Pas op voor onderzoekseffecten Voorbeeld: monitoring tabakverkoop aan jongeren in New York; 319 verkoopadressen onder de loep; winkelketen werd gealarmeerd (nr. 61)

22 Handreiking 4: Doe ook kwalitatief onderzoek Aanvullend gebruik ten opzichte van kwan>ta>eve methoden Interpreteren bepaalde gevonden verbanden door interviews of casestudy s (studies nrs. 15, 20, 23); voorbeeld: handhaving in Israel (nr. 15) op bepaalde wegen wel effec>ef; verkeersdeelnemers misten soms aanslui>ng met publiciteitscampagnes Verklarend casestudy design kan ook waardevolle informa>e opleveren; onderzoek in Groningen naar effec>viteit bestuurs/strafrechtelijke milieuhandhaving

23 Handreiking 5: Tijdreeksmeting kan soms ook Vaak ontbreek ex ante me>ng In veel studies gezocht naar alterna>ef in de vorm van me>ngen in een >jdreeks (nrs. 17, 35, 42, 59, 60 en 65) Voorbeeld volksgezondheidsonderzoek: lopend onderzoek UM (nr. 59) naar lokale aanpak drankgebruik jongeren < 16, 3 gemeenten met/zonder; me>ngen op 3 momenten Uiteraard dan ook aanvullen met onderzoek bij controlegroep!

24 Handreiking 6: Samenstelling onderzoeksgroep en controlegroep At random (MSMS 5) Voorbeeld: onderzoek verkoop tabak minderjarigen; NY (nr. 62): toezichtsinterven>e at random over 152 winkels toegedeeld Gecontroleerd (MSMS 4) Voorbeeld: onderzoek cameratoezicht en criminaliteit; (nr. 1): 13 gebieden; controlegebieden gecontroleerd op fysieke en demografische kenmerken Quasi experimenteel (MSMS 3)

25 Handreiking 7: Let op neveneffecten Moral hazard: door interven>e of rechtstreeks door normstelling nemen onder toezicht gestelden bepaalde maatregelen, maar ze veranderen ook gedrag, waardoor het effect wordt ondermijnd houd hiermee rekening bij het opze\en van het onderzoek, bijvoorbeeld door aanvullende data te verzamelen voorbeeld: bestuurders die autogordels gebruiken, rijden roekelozer; enquête onder bestuurders bij onderzoek naar gebruik autogordels (nr. 23)

26 vakgroep bestuursrecht Datum Bedankt voor uw aandacht