Toezicht en effectmeting. Het kán!

Transcriptie

1 Toezicht en effectmeting. Het kán! Researchsynthese van onderzoek naar de effectiviteit van toezichtsinterventies Januari2010 FaculteitRechtsgeleerdheid VakgroepBestuursrechtenBestuurskunde OudeKijkin tjatstraat EKGroningen ProFactoBV OudeBoteringestraat17a 9712GCGroningen facto.nl

2 2010WODC,ministerievanJustitie.Auteursrechtenvoorbehouden. DitrapportisuitgebrachtinopdrachtvanhetWetenschappelijkOnderzoek endocumentatiecentrum(wodc)tedenhaag.

3 Inhoudsopgave Voorwoord Hoofdstuk 1 Inleiding Aanleidingenprobleemstelling Aanpak Omschrijvingtoezicht Effectiviteitvantoezicht Onderzoeksdesigns Screeningvandestudies 9 Hoofdstuk 2 Analyse Inleiding Nalevingseffectenenmaatschappelijkeeffecten Scherptevandoelstellingen Effectenvannormstellingeneffectenvantoezicht Objectenvantoezicht Samenstellingonderzoeksgroepencontrolegroep Soortentoezichtsinterventies Verschillendemethodenvandataverzameling 22 Hoofdstuk 3 Handreikingen Inleiding Houheteenvoudig Formuleerverwachtingen Inbeddingindetoezichtsstrategie Doeookkwalitatiefonderzoek Tijdreeksmetingkansomsook Controleersamenstellingcontrolegroep Letopneveneffecten 32 Bijlage 1 Samenstelling begeleidingscommissie 33 Bijlage 2 Overzicht effectiviteitsstudies 35

4

5 Voorwoord Deambitiemeertewetenvandeeffectiviteitvantoezichtendemaatschappelijkeeffectendaarvanisin2008doordeInspectieraadvertaaldineenmeerjarenprogramma Evaluatieeffectenvantoezicht.Doelvandatprogrammaisdetoezichtspraktijkteverbeterendoorgebruiktemakenvanderesultatenvanonderzoeknaardeeffectiviteitvantoezicht. HetWetenschappelijkOnderzoeks endocumentatiecentrum(wodc)vanhetministerie vanjustitieheeftindatkadereenonderzoekuitbesteeddatalsdoelheefthetuitvoeren vaneenliteratuurstudiewaarindebeschikbare(wetenschappelijke)kennisinkaartwordt gebrachtoverderelatietussenhandhavingentoezicht,gedragendeeffecten.deliteratuurstudiebeoogtdesignsenbestpracticesteverzamelenenteaggregeren. IneensamenwerkingsverbandtussendeVakgroepBestuursrechtenBestuurskundevan defaculteitrechtsgeleerdheidvanderijksuniversiteitgroningenenbestuurskundigen juridischonderzoeks enadviesbureauprofactoisdezeliteratuurstudieuitgevoerddoor HeinrichWinterenKodeRidder,metmedewerkingvanAnnekedeJonge.Hetonderzoek isbegeleiddooreencommissie,waarvandesamenstellinginbijlage1isopgenomen.wij bedankendebegeleidingscommissievoordeinteressantegedachtewisselingenennuttige suggesties.eentussenresultaatvanhetonderzoekwerdop5november2009gepresenteerdtijdenshetsymposium Handhavingengedrag teutrecht. Groningen,januari2010 Dr.H.B.Winter Prof.dr.J.deRidder

6

7 Hoofdstuk 1 Inleiding 1.1 Aanleiding en probleemstelling Om zich te kunnen verantwoorden naar het parlement en het bredere publiek moeten toezichthoudershunprestatiesinzichtelijkmakenenduidelijkmakenwatdemeerwaarde isvanhunwerk.bijeffectiviteitvantoezichtgaathetnietalleenomhetafleggenvanverantwoording.indeeersteplaatsdientinformatieovereffectiviteitvantoezichtertoedat inspecties van hun toezichthoudende werkzaamheden leren. De Nederlandse inspecties zijnsteedsmeerbezigmethetvergrotenvanhetinzichtindeeffectenvandeeigeninspanningen.tochisnogslechtssprakevaneerstestappen.voorzoverdeinspectieszelf onderzoekdoen,gaatdatonderzoekvooraloverdeeigenprestatiesenveelmindervaak overdegevolgenvandeinterventiesvantoezichthouders.bovendienzijndebevindingen uitdergelijkonderzoeknietopgeaggregeerdniveaubeschikbaar.erzijnmeerderesoorteneffectenteonderscheiden.indeeersteplaatsnalevingseffectenenmaatschappelijke effecten.indetweedeplaatsneveneffecten.deinterventiesvantoezichthoudersdietot die effecten(moeten) leiden zijn ook in verschillende categorieën te onderscheiden van communicatieenvoorlichtingenhetverstrekkenvaninformatietotenmetsanctionering. DeAlgemeneRekenkamerdeedin2005onderzoeknaarde stateoftheart indewereld vanhettoezicht.devraagdaarbijwashoedeinspectiesfunctioneren,hoedoelgerichtde handhavingsactiviteiten zijn, én welke resultaten die inspanningen opleveren(algemene Rekenkamer,Handhavenengedogen,TweedeKamer ,30050nr2,DenHaag 2005). Volgens de Algemene Rekenkamer gaan de instanties tegenwoordig over het algemeenredelijkprofessioneeltewerk.doorgaanshebbenzeweleniginzichtindemate van naleving op het betreffende beleidsterrein. De meeste handhavers doen aan risicoanalyse.zehebbenalleengeeninzichtinderelatietussenhandhaving,nalevingenrisicoreductie,endaardoorisdefunderingvanhunhandhavingsplannenvaakgebrekkig.deinspectiesmakenoverhetalgemeenbewustkeuzenbijzowelhandhavenalsgedogen:men spitstdeactiviteitensteedsvakertoeopkernbepalingenuitderegelgevingenmenoriënteertzichmeerenmeeropdedoeleindenachterdetehandhavenregelgeving.maarde programmeringvandehandhavingblijftstekenalshetgaatomdeuitdrukkelijkevaststel 1

8 ling van het nalevingsniveau dat men wil nastreven. De hoofdconclusie van de ARK was dater,ondanksdeveleverbeteringenindepraktijkvandehandhaving,nogsteedsenkele belangrijkegebrekenbestaan.eénvandieproblemenwasdattoezichthoudersteweinig weten van de effecten van hun inspanningen op de naleving en op de achterliggende maatschappelijke problemen. In de evaluatie uit 2008 stelt de ARK dat nog niet bijster veelisveranderd(algemenerekenkamer,handhavenengedogen.terugblik2008,tweede Kamer , nr 5, Den Haag 2008). Wel stelt de ARK vast dat de nalevingsmetingenindeperiode verfijnderzijngewordenendatermeermetde resultatenwordtgedaan. Maarvooreengoedinzichtinallesectorenendoelgroepen vooralwaarhethele controledomeinnietjaarlijksgecontroleerdkanworden zijndegegevensnogniet altijdvoldoendebetrouwbaar. OvereffectiviteitsonderzoeksteltdeARKdatdeinspectieshetmetenenbeoordelenvan nalevingsniveausnogvaaktenonrechtezienalseenvormvaneffectmeting.tenonrechte, want wil men daadwerkelijk effecten van toezicht vaststellen dan dient ook het verbandtussen(veranderingenin)nalevingsniveausenhetoptredenvandetoezichthouder aangetoondteworden.effectiviteitsonderzoekisvaneennóghogerniveaualskanworden bepaald in welke mate handhaving bijdraagt aan de oplossing van achterliggende maatschappelijkeproblemen,ofhetvoorkómenvanmaatschappelijkerisico s. DeInspectieraadvertaaldedeambitieommeertewetentekomenoverdeeffectiviteit vantoezichtin2008ineenmeerjarenprogramma Evaluatieeffectenvantoezicht.Doel van dat programma is de toezichtspraktijk te verbeteren door gebruik te maken van de resultaten van onderzoek naar de toezichtspraktijk. In dat kader is deze literatuurstudie uitgevoerd waarin binnenlands en buitenlands effectiviteitsonderzoek is verzameld, op basiswaarvandebeschikbare(wetenschappelijke)kennisoverderelatietussentoezicht eneffecteninkaartisgebracht. Probleemstelling Hetbovenstaandeleidttotdevolgendeprobleemstelling: Welke relevante effectonderzoeken zijn uitgevoerd over toezicht en handhaving, hoe zijn die onderzoeken uitgevoerd, welke designs zijn gebruikt, wat zijn de uitkomstenenhoezoudentoezichthoudersdezeonderzoekenkunnenuitvoeren? Hetonderzoekleidttoteenoverzichtvanstudiesnaareffectiviteitvantoezichten handhaving.datoverzichtdientervooraltoelessentetrekkendiedoornederlandse toezichthouderskunnenwordenbenutvoorhetdoenvanonderzoeknaardeeffectiviteit vanhuntoezichtsuitoefening.daaroverwordtinditverslaggerapporteerd.behalvedat komthetoverzichtooktengoedeaande bibliotheek van toezichteneffect : 2

9 1.2 Aanpak De kern van de literatuurstudie bestond uit het raadplegen van tal van bronnen in het NederlandseenhetEngelsetaalgebied;zowelwittealsgrijzeliteratuur.Daarbijisgebruik gemaaktvanverschillendeverzamelwebsites onderanderedievandecampbellcollaboration 1 envanpubmed 2.Vervolgensisopbasisvandealdusgevondenbronnenverder gezochtmetbehulpvandesneeuwbalmethode.dedatabasemetelektronischetijdschriften van de Rijksuniversiteit Groningen bleek daarbij een onmisbaar ontsluitingsmiddel. Voorts zijn enkele sleutelfiguren uit de wereld van het toezicht benaderd en is hen gevraagd naar suggesties. Via de LinkedIn groepen toezicht met effect en toezicht en handhaving (1.000+)isdeelnemersverzochtsuggestiesvanuitgevoerdonderzoekaante leveren. 1.3 Omschrijving toezicht Toezicht omvat een brede verzameling van bestuurlijke arrangementen die gemeenschappelijkhebbendateenactor,detoezichthouder,demogelijkheid(doorgaansdebevoegdheid)heeftomzonodigintegrijpenindebesluitenofhandelingenvanandereactoren, de onder toezicht gestelden, zonder dat sprake is van een hiërarchische verhouding.dezetweeelementen(debevoegdheidtotingrijpenendeafwezigheidvanhiërarchie)zijnbepalendvoordeaardvanderelatietussentoezichthouderenondertoezicht gestelde. Geenhiërarchie betekentdathetgaatomrelatieswaarindeondertoezichtgesteldezelf(primair)verantwoordelijkisenblijftvoordekeuzenenhandelingendieonder toezicht staan. Instructie vooraf bij voorbeeld maakt geen onderdeel uit van een toezichtsrelatie.welkandetoezichthouder(endatisheteersteelement)dekeuzenengedragingenvanondertoezichtgesteldenzonodigbeïnvloeden.datkanopspecifiekewijze, door middel van sancties, maar ook op generieke wijze, onder meer door middel van communicatie en voorlichting. Soms kiest de toezichthouder daarbij nadrukkelijk de rol vanadviseur. In politiek en ambtelijk spraakgebruik wordt vaak de volgende begripsomschrijving gebruikt. Toezichtishetverzamelenvandeinformatieoverdevraagofeenhandelingofzaak voldoet aan de daaraan gestelde eisen, het zich daarna vormen van een oordeel daaroverenheteventueelnaaraanleidingdaarvaninterveniëren. Metdezeomschrijvingwordendemodulesofdeelprocessenaangeduidwaaruiteentoezichtsarrangementofeentoezichtsprocesisopgebouwd.Omdaadwerkelijktekunneningrijpenindekeuzenofhandelingenvanondertoezichtgesteldenheeftdetoezichthouder informatienodigoverdiekeuzenenhandelingen.devraagishoedezeinformatiewordt verworven.eeninvaldoordenmabijdeelnemersaaneenkartelisvanheelandereorde dandevaststellingvaneensnelheidsovertredingmetbehulpvaneensnelheidsradarofde

10 jaarlijkse opgave van de leggers aan de Nederlandse Bank, waartoe verzekeringsbedrijvenverplichtzijn maarhetisallemaalhetverzamelenvaninformatie.omzinvoltekunneninterveniërenzaldetoezichthouderzichvoortseenoordeelmoetenvormenoverde keuzen en handelingen waarover informatie is verzameld. Opnieuw is meteen de vraag hoe zo n oordeel tot stand komt op grond van welke maatstaven en met behulp van welke technieken. In het radarkanon zit de oordeelsvorming al ingebouwd, maar DNB moetingewikkeldebewerkingenverrichtenomopgrondvandeleggerstekunnenvaststellenwatdesolvabiliteitvandeverzekeringsmaatschappijis. Een verwante definitorische kwestie betreft het onderscheid tussen toezicht en handhaving. In het spraakgebruik worden beide termen vaak door elkaar gebruikt, of men hanteert vrij willekeurige onderscheidingen. Een zinvol onderscheid vindt zijn aangrijpingspunt bij de wijze waarop het oordeel tot stand komt. De term handhaving impliceert dat er iets is om te handhaven, i.c. regels. De essentie van handhaving is dan, dat een actor het vermogen (de bevoegdheid) heeft andere actoren uit een gedefinieerde verzameling(denormadressaten)ertoetebewegenzichovereenkomstigbepaalderegels tegedragen.bijdatvermogen(debevoegdheid)hoortdetoepassingvansanctiesdiedezegedragsveranderingbeogenaftedwingen.sanctieskunneninverschillendecategorieenwordenonderscheiden:erzijnbestuursrechtelijke,strafrechtelijkeencivielrechtelijke sancties.destraffenkunnenookdiverszijn,variërendvanfinanciëlesanctiesenvrijheidsstraffentotdetoepassingvaneenherstelsanctiealsbestuursdwang. Uithetvoorgaandeblijktdatdeinbestuurlijkestukkengangbareaanduidingvantoezicht geendefinitieisindezinvanhetafbakenenvan toezicht alsbestuurlijkarrangementten opzichtevananderetypenbestuurlijkearrangementen.zozouookhetoptredenvaneen manager beschreven kunnen worden met behulp van de drie categorieën informatie, oordeelsvorming en interventie.nietteminishetzinvolomjuisttoezichtsarrangementenentoezichtsprocessenuiteenteleggenmetbehulpvandezedriecategorieën.elkvan dedrieroepteeneigensetvanvragenopdiebeantwoordmoetenworden:doordeontwerpervaneentoezichtsarrangementendoordegenendieleidinggevenaanhetuitoefenenvantoezicht,maarookdooronderzoekersdiewillenvaststellenhoetoezichtinde praktijkfunctioneert. Juist ook voor onderzoek naar effecten van toezicht is de genoemde driedeling van belang.hetstrevenvandatonderzoekisimmers,om(veranderingenin)gedragvanonder toezicht gestelden in verband te brengen met het optreden van de toezichthouder. Het ligtvoordehandomgevolgentekoppelenaaninterventiesvandetoezichthouder:deze hebben het doel gedragsverandering te bewerkstelligen. Echter, ook acties in verband metinformatieverwervingenoordeelsvormingkunneneffectenbijdeondertoezichtgesteldenteweegbrengen.bovendienzoudematevaneffectiviteitvaninterventiesinverbandgebrachtkunnenwordenmetdekwaliteitvandeinformatiewaaroverdetoezichthouderbeschiktenmetdeoordelendiedaaraanverbondenwerden. Het belang van een consequente begripsvorming blijkt bijvoorbeeld uit de omschrijving vandoeleindenvantoezichtdietevindenisindethansvigerendekaderstellendevisieop toezicht: 4

11 Hetiseenmiddelomteachterhalenofburgers,bedrijvenenoverhedenzichhoudenaandegestelderegels,ommisstandentesignalerenenhetiseeninstrument omvertrouwenbijburgers,belanghebbendenenondertoezichtstaandeorganisatiestescheppen. Toezichthouderszoudenvolgensdezeaanduidingdusmoetenvolstaanmetteregistreren ofdeondertoezichtgesteldenzichaandenormhouden.daarmeezoudeuitoefeningvan toezichtbeperktblijventotdeeerstetweevandedrieelementenvaneentoezichtsproces. 1.4 Effectiviteit van toezicht Inalgemenezinkan effectiviteitvantoezicht omschrevenwordenalsdematewaarinde uitoefeningvantoezichtleidttotverwezenlijkingvandedoeleindenvandattoezicht.dit roeptnatuurlijkdevraagopwatdan doeleindenvantoezicht zijn. Inhetvoorgaandeisdebetekenisvan effectiviteitvantoezicht implicietalaangeduidals gedragsveranderingbijondertoezichtgesteldenennormadressaten.daarbijdientaangetekend dat toezicht ook en vaak vooral de continuering van gedrag als doel heeft. Bij veel reguleringsregimes zijn de meeste normadressaten geneigd tot normnaleving. Een geringedrukvandetoezichthouderkandanalvolstaanomdenormnalevingvoorttezetten.veelonderzoekbeoogtdewerkingvasttestellenvaneenbepaaldtoezichtsoptreden opeenbepaaldmomentintermenvaneenbepaaldegedragsverandering.deeffectiviteit van toezicht in termen van het onderhouden van bepaalde gedragspatronen onder de normadressatenismindervaakonderzocht.longitudinaalonderzoekisdaarvoornoodzakelijk,maarnietvoldoende.ookbijmetingenineentijdreekskomtimmersnognietonbetwistvasttestaandatdegemetenveranderingaanhettoezichtmoetwordentoegeschreven. Een tweede aantekening betreft de aard van de gedragingen die de toezichthouder beoogttebevorderen.zoalshiervooralaangegevenisdeaardvandatgedragvaakvastgelegdinregelsennormen.detoezichthouderheeftdanalsdoelomnalevingvanderegels ennormentebewerkstelligen.erzijnooksituatieswaarineentoezichthoudergeenregels ofnormentotzijnbeschikkingheeft.hijzaldande(on)aanvaardbaarheidvanwaargenomengedragingenofbeslissingenmoetenafleidenuitdeverderweggelegendoeleinden van het toezicht: de maatschappelijke doeleinden. Daarnaast zijn er situaties waarin de toezichthouderweliswaaroverregelsbeschikt,maarwaarinnalevingvandieregelsniet zijneerstedoelis.detoezichthouderoriënteertzichdanindeeersteplaatsophetbereikenvandemaatschappelijkedoelen.omgekeerdrichtenanderetoezichthouderszichin deeersteplaatsopnalevingvanregelsennormenenisde(vaakplausibele)veronderstellingdatdaarmeeuiteindelijkookdemaatschappelijkedoelstellingengehaaldworden.als hetgaatomeffectenvanhetoptredenvantoezichthouderskanduswordenonderscheidentussennalevingseffectenenmaatschappelijkeeffecten.toezichthouderskunnenzich richten op het versterken van naleving, maar ook op het behalen van maatschappelijke doelen. 5

12 Onderzoekondermilieuhandhaverslietziendatzijervooralopzijngerichtomhet maatschappelijkeprobleem(milieuschade)tevoorkomenofteverminderen.daartoesprekenzijdegenendiemilieuschadeveroorzakenofzoudenkunnenveroorzakenaanophungedrag.dewettelijkeregelsdiedoordatgedragwordengeschondengebruikenzijdaarbijdanalshulpmiddel. 3 De relatie tussen regelgeving enerzijds en toezicht en handhaving anderzijds heeft nog eenandereproblematischekant.regelszijnsomsentotopzekerehoogteself executing: hetgedragvandenormadressatenwordtrechtstreeksbeïnvloeddoornormeringzelf.in hoeverrezulkshetgevalis,iseenonderwerpvanonderzoekendebatinderechtssociologie.maardatdeeffectenvantoezichtvaakwordenversluierddooreffectenvanregelgevinglijktgeenonjuisteveronderstelling.methodischgezienisdewerkingvanderegelgeving niet anders dan de werking van elke andere interveniërende variabele. Het onderzoeksdesignzalerinmoetenvoorzienvoordezevariabeletecontroleren. Eenderdekanttekeningbetreftde maatschappelijkedoelen vantoezicht.hiervoorwerd al het onderscheid tussen verschillende soorten effecten genoemd. We maakte een onderscheidtussennalevingseffectenenmaatschappelijkeeffectenenwezenookopneveneffecten.bijmaatschappelijkeeffectengaathetomdeverwezenlijkingvanmaatschappelijkedoelendiehetverondersteldegevolgzijnvandenalevingvangestelderegels.inde praktijkiservaakeenveelheideneengelaagdheidvandatsoortdoeleindentebespeuren,zodanigdathetgeheelvanmaatschappelijkedoeleindenisaftebeeldenineendoelboom. ZoishettoezichtopovernamebiedingenvandeAFMenzijnEuropesecollega ser opgerichtdatbedrijvenbijovernamesdeindeeuropeserichtlijninzakehetopenbaarbodvervatteregelsnaleven.heteinddoelvandezereguleringishetinstand houdenvaneengoedfunctionerendemarktvooraandelen.tussendoelenzijnondermeer:hetbewerkstellingenvaneen levelplayingfield voorkopersenverkopers en gelijke behandeling van alle aandeelhouders in verhandelde ondernemingen.omdattebereikendienenondermeerpotentiëlekoperstransparanttezijnin hun biedingen en moet de relevante informatie voor alle belanghebbenden tijdig engelijktijdigaanwezigzijn.vanuithetperspectiefvandeeuropeseunieiserdaarenbovennogeenverdergelegendoel,namelijkdatdereguleringinclusiefdehandhaving,indegeheleunieopdezelfdewijzegebeurtomtebewerkstellingendater ééninternemarktzonderhinderpalentotstandkomtofinstandblijft. 4 Eenlaatstekanttekeningbetrefthetverschiltussen effecten en effectiviteit endaarbij komen de eerder genoemde neveneffecten aan de orde. Het optreden van de toezichthouderkanallerleigevolgenhebben,diedaaromalseffectenzijnaantemerken.omdat hetbegrip effectiviteit eenkoppelinglegtmetdedoelstellingenvanhetoptreden,verwijstdatbegripenkelnaardieeffectendiebeoogdzijn.niet beoogdeeffecten,neveneffecten,kunnenzowelnegatiefalspositiefzijnenzelfsdeeffectiviteitvanhettoezichton 3 J.deRidder,N.Struiksma:Dekernvandezaak.Groningen A.Haan Kamminga,Supervisionontakeoverbids,acomparisonofregulatoryarrangements. Deventer,Kluwer:

13 dermijnen.eenvoortoezichttyperendnegatiefneveneffectis moralhazard :indienmen eventuele negatieve consequenties van eigen gedrag kan afwentelen op anderen (bij voorbeeld een verzekeringsmaatschappij) of de samenleving als geheel, zal men grotere risico snemendanindienmeneventueleschadezelfmoetdragen.opgelijksoortigewijze kandeperceptie,datdetoezichthouderwaaktertoeleidendatdesamenleving,althans belanghebbenden, zelf minder goed risico s afwegen en daardoor minder verantwoorde keuzendoen.alsgevolgvanhetoptredenvandetoezichthouder,(ofrechtstreeksalsgevolg van de normering in de wetgeving), nemen onder toezicht gestelden de beoogde maatregelen, maar tegelijkertijd veranderen ze hun gedrag waardoor het effect van die maatregelen wordt ondermijnd. Dat verschijnsel komen we bijvoorbeeld tegen in veel onderzoek naar maatregelen die beogen de verkeersveiligheid te bevorderen. Sommige verkeersdeelnemersgaanveiligheidsgordelsdragen,maarvertonentegelijkertijdroekelozerrijgedrag. Metdezekanttekeningenisdereikwijdtevanwatonder effectenvantoezicht verstaan kanwordenwelaangegeven.eenvraagvoordeanalyseiswelkekeuzendienaangaandein detebestuderenonderzoekenzijngemaakt. 1.5 Onderzoeksdesigns Devaststellingvaneffectenvantoezicht,hoeookverdergespecificeerd,vraagtzoalsgezegdinelkgevalomhetvaststellenvaneenverbandtussengedragingenvanondertoezichtgesteldenenhetoptredenvandetoezichthouder.Wanneereencausalerelatiekan wordengevondentussendehandelingenvandetoezichthouderenhetgedragofdegedragsveranderingen van de onder toezicht gestelden, spreken we van toezichtseffecten. Effectstudieszullenoverhetalgemeennietalleeffecteninkaartwillenbrengenmaarzich vaakrichtenopenkelemogelijkegevolgenvandeuitoefeningvantoezicht. Van die mogelijke gevolgen zullen debeoogde effecten doorgaans het meeste aandacht krijgen.onderzoekgerichtopdevraagofdebeoogdegevolgenwordengerealiseerdheet effectiviteitsonderzoek. Effectiviteitsonderzoek combineert in de meest strikte benaderingviersoortenwaarnemingen.indeeersteplaatswaarnemingenvóórdeinterventieen waarnemingen nà de interventie. De vergelijking van beide kan laten zien of er een gedragsveranderingheeftplaatsgevondennadetoezichtsuitoefening.eenalternatiefwaarvoor bij het ontbreken van een waarneming voorafgaand aan de interventie vaak wordtgekozenishetdoenvanwaarnemingenintijdreeksennàdeinterventie.deveranderinginhetgedragwordtdangerelateerdaanhetoptredenvandetoezichthouder.bij een voor/na design of een design met metingen op verschillende momenten staat nog nietvastdatdewaargenomengedragsveranderinghetgevolgisvanhetbestudeerdetoezichtsoptreden. Er zijn vaak allerlei andere causale relaties die de gedragsverandering veroorzaken.omvasttestellenwelkeveranderingenaanhetoptredenvandetoezichthouder moeten worden toegeschreven en dus aangemerkt moeten worden als toezichtseffecten iseentweedesetwaarnemingennodigbijeengroepondertoezichtgestelden (normadressaten) bij wie het te onderzoeken optreden van de toezichthouder nietplaatsvindt.ookbijdezecontrolegroepmoetdevergelijkingtusseneenvoormeting eneennametingofeenmetingineentijdreeksuitwijzenwelkeveranderingeninhetge 7

14 dragzichhebbenvoorgedaan.kanbijdecontrolegroepgeenveranderingwordenvastgesteld dan is de conclusie dat het toezicht het veronderstelde effect had op zijn minst aannemelijk. Effectiviteitsonderzoek combineert dus een voor/na meting met een met/zonder benadering, waarbij de metingen plaats vinden zowel bij de onderzoeksgroep (of experimentgroep),alsbijdecontrolegroep. Dit soort effectiviteitsonderzoek eist onderzoeksdesigns met een hoge interne validiteit, datwilzeggendesignswaarbijdeconclusieoverdewerkingvanhettoezichtzeeraannemelijkis.indeliteratuurwordtdemarylandscientificmethodsscale(msms)gebruiktom verschillende onderzoeksdesigns te ordenen. Deze vijfpuntsschaal begint op het laagste niveaumetonderzoekdateensamenhangvaststelttusseneeninterventieendegedragsverandering en eindigt bij onderzoek met een voor en een nameting en een controlegroep,waarbijsprakeisvaneenwillekeurigesamenstellingvancontrole enonderzoeksgroep.dewillekeurigesamenstellingvoorkomteenbiasindeselectievanteonderzoeken normadressatenendaarmeedeintroductievannietgemetenfactoren bijvoorbeeldeen grotereontvankelijkheidvoortoezichtsinterventiesindeonderzoeksgroep. Tabel 1: Vijf niveaus van interne validiteit conform de Maryland Scientific Methods Scale Niveau 1 Niveau 2 Niveau 3 Niveau 4 Niveau 5 Samenhang tussen een beleidsinterventie en uitkomstvariabele na invoeringvandebeleidsinterventie Score op de uitkomstvariabele voor en na invoering van de beleidsinterventie,zonder(vergelijkbare)controlegroep Score op de uitkomstvariabele voor en na invoering van de beleidsinterventie, gemeten in een experimentele en vergelijkbare controlegroep(quasi experimenteeldesign) Score op de uitkomstvariabele voor en na invoering van de beleidsinterventie gemeten in een quasi experimentele setting, met controle vooranderevariabelendiedeuitkomstvariabelebeïnvloeden Score op de uitkomstvariabele voor en na invoering van de beleidsinterventie, waarbij de beleidsmaatregel at random is toebedeeld aan eenexperimenteleeneencontrolegroep(experimenteeldesign). Voorditliteratuuronderzoekisgezochtnaarstudiesnaardeeffectiviteitvanhetoptreden vantoezichthoudersdieoptenminstemsms 3niveauzijnuitgevoerd.Meestalgaathet bij die studies om kwantitatief onderzoek, soms gecombineerd met kwalitatieve methoden van gegevensverzameling. De reden hiervoor is uiteraard dat bij een klein aantal waarnemingendesignificantievaneenbepaaldverbandnietkanwordenvastgesteld,dat verbandkanimmersvolgenshettoevaltotstandzijngekomen.daarnaastkunnen kleinere effectenbeterinkwantitatiefonderzoekwordenopgespoord,alshetaantalwaarnemingenmaarvoldoendegrootis.datneemtnietwegdatkwalitatiefeffectiviteitsonderzoek in ieder geval als aanvulling op kwantitatief onderzoek ook meerwaarde kan hebben.eenveelgevolgdebenaderingisdievanhetmultiplecasestudy design.dezebe 8

15 naderingisbijvoorbeeldtoegepastinhetdissertatieonderzoekvanehrennaardeeffecten van(onderwijs)toezicht Screening van de studies De studies zijn volgens een vast stramien geanalyseerd. Beschreven zijn het onderwerp vanhetonderzoek(titelvandepublicatie),degenediehetonderzoekuitvoerde(auteurs, instelling),hetdoelvanhetonderzoek(deprobleemstelling),ofhetonderzoekzichricht op maatschappelijke effecten of nalevingseffecten, de opzet van het onderzoek (welk MSMS niveau, wanneer uitgevoerd, welke onder toezicht gestelden, hoe gemeten, samenstelling experimentgroep en controlegroep), de ingezette interventies en de daarbij gebruiktetoezichtsmiddelenentotslotderesultatenvanhetonderzoek. Inbijlage2bijdezerapportageiseenoverzichtopgenomenvandestudiesdiezijnaangetroffen.Nietallestudiesinhetoverzichtvoldoenhelemaalaandedaarvoorgesteldeeisen.NietalleonderzoeksdesignhalenhetgewensteMSMS 3niveau.Ineenaantalgevallen gaat het om reviews van studies waarbij niet steeds duidelijk was welk design in de bestudeerdeonderzoekenwastoegepast.anderestudieszijn,hoewelzehetmsms 3niveauniethalen,omandereredenenwelinteressant.Enerisookeenaantalstudiesvan toezichtsinterventiesopgenomendatopmsms 4enMSMS 5niveauzit. Het is van belang op te merken dat voortgezet onderzoek naar studies over effectiviteit vantoezichttoteenuitgebreideroverzichtzalleiden.hetoverzichtisdusnietuitputtend. Welisgetrachtdaarininiedergevalonderzoekoptenemendatzietopdebelangrijkste beleidsterreinenentoezichthouders,zodatlessenkunnenwordengeleerdvoordenederlandsetoezichtspraktijk. Intotaalzijn70studiesbeschreven.Diezijnineenaantalbeleidsterreiningedeeld: AO(Arbeidsomstandigheden):5 B(Belastingen):3 EF(Economie&Financiën):10 O(Onderwijs):4 OOV(OpenbareOrdeenVeiligheid):8 M(Milieu):4 V(Verkeer&Vervoer):21 VG(Volksgezondheid):7 VV(Voedselveiligheid):7 In hoofdstuk 2 wordt op geaggregeerd niveau gerapporteerd over de gevonden studies. Deopbasisdaarvanteformuleren handreikingen voordetoezichtspraktijkzijntevinden inhoofdstuk3. 5 M.C.M.Ehren,Toezichtenschoolverbetering.Delft,Eburon:

16 10

17 Hoofdstuk 2 Analyse 2.1 Inleiding In dit hoofdstuk worden de gevonden studies op een geaggregeerd niveau besproken. Weergegevenwordtinwelkemateonderzoekerserinslagenonderzoektedoennaarde effectiviteit van toezicht en welke problemen ze daarbij tegenkomen. Op basis daarvan wordenadviezengeformuleerd,gerichttotnederlandsetoezichthoudersmethetoogop hetuitvoerenvanonderzoeknaardeeffectiviteitvantoezicht(sinterventies). 2.2 Nalevingseffecten en maatschappelijke effecten Zoals hiervoor uiteengezet kan globaal worden onderscheiden tussen onderzoek naar twee soorten effecten van toezicht: nalevingseffecten en maatschappelijke effecten. Behalveop(verbeteringvande)normnalevingishetwerkvantoezichthoudersdikwijlsook gerichtophetrealiserenvandemaatschappelijkeeffectenvandenorminkwestie.inde verzameldestudieskomenbeideeffectenvantoezichtvooralsafhankelijkevariabelevan hetbetreffendeonderzoek. Nalevingstoezicht is het toezicht op handelingen van burgers, bedrijven en instellingen, waarbijhettoezichtrichtzichopdenalevingvanregelgeving.maatschappelijkeeffecten zijneenstukmoeilijkertemetenengaaneenstapverderdandenalevingseffecten.vaak zijneffectiviteitsdesignsbeperkttotonderzoeknaarnormnaleving.vastgesteldwordtniet of door het optreden van de toezichthouder de uiteindelijk gewenste doelen van de regelgeverwordengehaald,maarsimpelwegofdeondertoezichtgesteldenzichconformerenaandegesteldenorm.datlijkteennaïevekeuzetezijn,maardiekeuzeheeftdikwijls temakenmethetfeitdathetnietaltijdgoedmogelijkisdemaatschappelijkeeffectente onderzoeken.wellichtnogvakerisdergelijkonderzoekopzichzelfwelmogelijk,maaris hetzeertijdrovenden/ofkostbaar.ennietuittesluitenisdattoezichthouderssomseigenlijknietprecieswetenwelkemaatschappelijkeeffectenmethuninterventiesworden beoogd. 11

18 Nietonbelangrijkistenslotte,daterinveelgevallengeenanderdoelisdanhetbevorderenvandenaleving.Hetmaatschappelijkeeffectenhetnalevingseffectvallendanalshet waresamen.eenvoorbeelddaarvanishettoezichtopdenalevingvandebelastingwetgeving.hetdoeldaarvanishetbevorderenvannormconformiteit.hetbeoogdemaatschappelijkeeffectdaarvanishetvergrotenvandebelastinginkomsten,datautomatischwordt gerealiseerdbijeengroterenormconformiteit. Eenredelijkgrootaantalvandeonderzochtestudiesgaatoverhettoezichtopdewetgevingoververkeersveiligheid.Deonderzochtemaatregelisineenaantalstudieshethandhavenvandeverplichtingtothetdragenvanveiligheidsgordels.Sommigestudiesbeperken zich daarbij tot onderzoek naar de nalevingseffecten. Gekozen wordt dan voor een designwaarbijdoormiddelvanobservaties(bijvoorbeeldopkruispunten)wordtvastgesteld of verkeersdeelnemers autogordels dragen. In andere studies wordt ook nog getrachteencausalerelatieteleggenmethetbeoogdemaatschappelijkeeffect,hetvoorkomenvanverkeersslachtoffers.ongevallencijfersvandepolitievormendaarvoorveelal debasis. Toezichthoudende instanties hebben in veel gevallen een voorkeur voor het in kaart brengenvandemaatschappelijkeeffectenvanhunwerk.daarmeekandeorganisatietegenover het politieke gezag en tegenover de samenleving als geheel het belang van het toezichtswerklatenzien.maarvaakishetdoenvanonderzoeknaarmaatschappelijkeeffectenonmogelijkofwegendeextrakostenendedaarvoorbenodigdetijdnietoptegen die meeropbrengst. Dat het in effectiviteitsonderzoek vaak gaat om onderzoek naar het behalenvannalevingseffectenblijktuitdedooronsverzameldestudies.indehelftvande onderzoeken (35 studies) worden uitsluitend uitspraken gedaan over de nalevingseffecten.deanderehelft(34studies)worden(ook)demaatschappelijkeeffectenvanhettoezichtinkaartgebracht.indehelftdaarvan(eenvierdevanhettotaal,18studies)gaathet uitsluitend om het meten van een maatschappelijk effect. De andere helft (iets minder daneenvierde,16onderzoeken)combineertbeidebenaderingen.demeesteonderzoekenconcentrerenzichdusopnalevingseffecten. Eenvoorbeeldvaneenstudiewaarinzoweldenalevingseffectenalsdemaatschappelijke effecteninkaartzijngebrachtishetonderzoek,datdeamerikaansefederalmotorcarriersafetyadministration(fmcsa)heeftlatenuitvoerendoorhetvolpecenter( SavedLives, onderzoek 28). Het maatschappelijke doel dat de agency zich gesteld had was het large truck and busfatality rate in2011terugtebrengentot1,6slachtoffersper100miljoen voertuigmijlen. Dit reductiedoel past bij de politieke doelstelling de algemene verkeersveiligheidmet40procentteverhogentenopzichtevanhetbasisjaar1996(zieook dewebsitevanditagencyenhet missionstatement vandeorganisatie).hetaantalserieuzeincidentenmetvervoervangevaarlijkestoffenpervrachtwagendiendemet20procentwordenteruggebracht:van574in2000totcirca460in2010.indezestudieisgekekennaardeeffectiviteitvanhetoptredenvantoezichthoudersopdeverkeersveiligheid, intermenvandegesteldedoelen.uiteindelijkslaagtfmcsaerineenkosten/batenbecijferingtemakenvandeuitgevoerdeinspectiewerkzaamhedenwaarinhetaantal savedlifes en het verminderde aantal verkeersgewonden kan worden afgezet tegen de kosten vanhettoezicht. 12

19 Eenvoorbeeldvaneenstudiewaarinnietheteffectvantoezichtopdeverkeersveiligheid is onderzocht maar het effect op de normnaleving, is een Amerikaanse studie in twee testgemeenten en één controlegemeente naar het gebruik van veiligheidsgordels en zitjesvoorpeuters,beginjarennegentig(studie27).hetbeoogdeenonderzochteeffect in dat onderzoek was de mate van naleving van regels over het gebruik van veiligheidsgordelsen zitjes.ineendergelijkonderzoekwordtveelalaangenomendatbeterenormnalevingleidttotdegewenstemaatschappelijkeeffecten.ombijhetvoorbeeldteblijven: wewetenuitallerleionderzoek(bijvoorbeeldbotsproeven)datwanneerkinderennietop devoorgeschrevenwijzebijvervoerinauto szijnbeveiligd,zeeengroterekanslopenop ingrijpendletselbijeenongeval. Eenanderonderzoekwaaringeenrelatiemetdemaatschappelijkeimpactisgelegd,maar waarindenalevingcentraalstondishetonderzoekvandenederlandsevoedsel enwarenautoriteit naar de naleving van hygiënevoorschriften in Chinese (afhaal)restaurants (onderzoek 38). Het onderzoek toont aan dat de naleving van deze voorschriften in de onderzoeksgroep,waarhandhavingplaatsvond,gecombineerdmeteenuitgebreidcommunicatietraject,significantistoegenomeninvergelijkingmetdenalevingindecontrolegroep. De onderzoekers rapporteren niet over de maatschappelijke effecten. In buitenlandsonderzoeknaarderelatietussenhygiëne inspectiesenvoedselveiligheidinrestaurants is het soms wel gelukt die relatie met maatschappelijke effecten te leggen. In een Amerikaansonderzoekuit1999isgetrachttevoorspellenwelkerestaurantseengrotere kansopvoedselonveiligesituatieshebben(studie42).deontbrekendestaptussendenalevingseffectenendemaatschappelijkeeffectenisdaargezetdoormeldingenovervoedselvergiftigingtegebruiken.ookineenanderamerikaansonderzoek,naarvoedselveiligheidinseatle Kingcounty(studie40),ishetgeluktdatverbandteleggen. Wanneerwedetotaledatasetbezien,valtopdat zoalsteverwachten onderzoeknaar maatschappelijke effecten vooral is gedaan op terreinen waar die maatschappelijke impact relatief eenvoudig meetbaar is. Op het terrein van milieukwaliteit en bescherming vandevisstand(studies10,11,12)ishetnietzoeenvoudigdemaatschappelijkeeffecten vantoezichtsinterventiesinkaarttebrengen.tochiserookeenstudiebeschrevenwaarin welisgetrachteenverbandteleggentusseneenmilieubeschermendemaatregel,incasu eenverbodzichineenbepaaldestrookwatervoordekustoptehouden,endeontwikkelingvanschelpdierenindatgebied.instudie9iszelfseenvergelijkinggemaaktmeteen controlegebied.erisoverigenswelkritiekmogelijkophetdesignvandatonderzoek.inde eersteplaatsishetdevraagofhetdeonderzoekersgeluktiseencontrolegebiedtevindendatgoedvergelijkbaarismetdekenmerkenvanhetexperimentgebied.verderishet insamenhangdaarmeedoorhetontbrekenvaneenvoormetingofmetingenopverschillendetijdstippennadestartvanhetexperimentergonzekerofdegevondenverschillen inaantalenomvangvandeschelpeninhetexperimentgebiedenhetcontrolegebiedaan deinterventietoegeschrevenkunnenworden. Zoalsgezegdtoonthetoverzichtaandatonderzoekersophetterreinvanhettoezichtop verkeersmaatregelen er regelmatig wel in slagen een verband te leggen tussen de toezichtsinterventieendedaarmeebeoogdemaatschappelijkeeffecten.erzijnophetterrein vanverkeersmaatregelenrelatiefveelstudiesgedaannaarheteffectvantoezichtopde 13

20 verkeersveiligheid.destudies13totenmet33gaanoververkeer&vervoer.vandie21 studies zijn er 8 onderzoeken alleen gericht op normnaleving. Onderzoekers van het effectvanverkeersveiligheidstoezichtslagenerdaarmeebeterdanonderzoekersvanandere toezichtssituaties in een relatie te leggen tussen het toezicht en de maatschappelijke impact van de normstelling, het bevorderen van verkeersveiligheid. Dat kan gemakkelijk begrepenworden.indebedoeldestudieswordtalsmaatstafvoorverkeersveiligheidhet aantalverkeersslachtoffersgehanteerd.daarbijgaathetomcijfersdieredelijkgoedwordengeregistreerdendieuitbestaandedatabestandenkunnenwordengehaald. Ook op het terrein van het toezicht op voedselveiligheid is het relatief eenvoudig na te gaanofinspectiesvanrestaurantsenandereinstellingenwaarvoedselwordtbereidleidentotgroterevoedselveiligheid.datkandooralsvariabelevoormaatschappelijkeeffecten het aantal rapportages over incidenten rond voedselvergiftigingen te nemen. In de beideeerdergenoemdeamerikaansestudiesnaardemaatschappelijkeeffectenvantoezichtopvoedselveiligheid(studies40en42)ishetdeonderzoekersgelukteenverbandte leggentusseninspectiesbijrestaurantsenhetaantalgerapporteerdegevallenvanvoedselvergiftiging. Indetiengerapporteerdeonderzoekenoverdeeffectiviteitvantoezichtsinterventiesop hetterreinvaneconomie&financiënlukthet,andersdandehiervoorgenoemdestudies ophetterreinvanverkeer&vervoerenvoedselveiligheid,nietomeenrelatieteleggen met de maatschappelijke effecten. Dat is goed te begrijpen omdat effecten op de doelstellingen zoals transparante aandelenhandel of level playing field veel lastiger meetbaarzijn.deonderzoekendiezichrichttenopdeeffectenvanwetgevingoverhetverbod ophandelmetvoorwetenschaptrachtendoormiddelvaneeneconometrischeanalysebij benadering in kaart te brengen welke gevolgen introductie van dergelijke normen heeft voor de ontwikkeling van handelsvolumes en van aandelenprijzen in relatie tot de bekendmakingvanbeursgevoeligeinformatie.watdanwordtgemetenisdematewaarinde normnalevingverbetertofverandert.ofdetransparantievandeaandelenmarktgroteris gewordenenofersprakeisvan eerlijker prijsvormingisdannognietvastgesteld. 2.3 Scherpte van doelstellingen Omuitsprakentekunnendoenoverdeeffectiviteitvantoezichtsinterventieszijnonderzoekersinprincipegebondenaandewijzewaaropdetoezichthouderdedoelstellingvan hettoezichtformuleert.diedoelformuleringkangelijkzijnaandemaatschappelijkedoelstellingofdenalevingsdoelstellingdiedewetgeveraanzijnnormeringtengrondslaglegt. Detoezichthouderkanookafgeleide,ofgeoperationaliseerdedoelstellingenformuleren. Doelstellingen van toezichthouders worden niet vaak in precieze, kwantitatieve zin geformuleerd. Veelal gebeurt dat in kwalitatieve zin: grotere verkeersveiligheid, minder verkeersdoden, afname van de onveiligheidsgevoelens, betere schoolprestaties of zoals hiervoor besproken transparante aandelenhandel of level playing field. Wanneerdoelstellingenvantoezichtsinterventieswelinmeerprecieze,kwantitatievezinwordengeformuleerd,kaneenmetingookmeerpreciesrapporterenoverdeeffectiviteitvan de interventie in termen van het behaalde succes. Uiteraard is het zo dat wanneer de doelstellingen door de regelgever of de toezichthouder vaag zijn geformuleerd dat niet 14

21 betekent dat over het effect van de interventie geen precieze uitspraken zijn te doen. Wanneer de doelstelling verbetering van de verkeersveiligheid is, kan effectiviteitsonderzoekerdesondanksinslagenexactvasttestellenhoegrootdereductievanhetaantal verkeersslachtoffers is als gevolg van een bepaalde toezichtsinterventie. In die situatie kunnenalleengeenuitsprakenwordengedaanoverdematewaarindedoelstellingisgerealiseerd. Inveelvandegevondentoezichtsonderzoekenissprakevankwalitatievedoelstellingen: meerschelpdierenineengebied(studie9),beterecito scoresvanbasisschoolleerlingen (studie34)enverminderingvandeonveiligheidsgevoelens(studie3).hethiervoorreeds aangehaalde Amerikaanse onderzoek naar het effect van bedrijfscontroles bij vrachtvervoerdersophetaantalverkeersslachtoffers(studie28)daarentegenwerktemeteenzodanig scherpe kwantificering van de vermindering van het aantal verkeersslachtoffers (ooktotuitdrukkingkomendindetitel, savedlives ),dathetbetreffendeagencyinstaat werdgesteldhettoezichtsresultaatuiteindelijkintermenvankostenenbatentepresenteren. Globaal geformuleerde doelstellingen kunnen in evaluatieonderzoek aangescherpt wordentotnauwkeurigermeetbareeffecten.onderzoek1,waarindeeffectiviteitvancameratoezichtinhetverenigdkoninkrijkwerdgemetenin13gebieden,gebruiktdeveranderinginabsoluteaantallengeregistreerdemisdrijvenalsoperationaliseringvanhetbeoogde effect: daling van criminaliteit in door camera s bewaakte openbare ruimten. GelijksoortigeeffectiviteitsmaatstavenwerdengebruiktindeAmsterdamseevaluatiesvancameratoezicht(onderzoeken2en3).HetonderzoeknaardestandvandeEzelsoor(studie 9)gebruiktenietalleenhetaantalschelpdierenmaarookdegroottevandedierenalsindicatorvoorheteffect.Bijdeevaluatievandehandhavingvandemaximumsnelheidop eenaantalwegenindeprovinciefryslân(onderzoek13)isdedoelstelling gedragsverandering geoperationaliseerdin: veranderingenindegemetengemiddeldesnelheidopde onderzochte wegen en veranderingen in aantal bekeuringen wegens snelheidsovertredingen. De doelstelling verbetering veiligheid op de weg werd gemeten in termen van deveranderingvanhetaantal(dodelijke)verkeersslachtoffers. Onderzoekers kunnen dus proberen vaag geformuleerde doelstellingen van de toezichthouder of wetgever te operationaliseren in meetbare doelen om zo in staat te zijn uitsprakentedoenoverdeeffectiviteitvanhettoezicht.dathoudtweleenrisicoin,namelijkdatdetoezichthouderzichnietherkentindieoperationaliseringendeuitsprakenvervolgens naast zich neerlegt. Het heeft daarom de voorkeur dat de toezichthouder zelf scherpe doelstellingen formuleert die aan onderzoek onderworpen kunnen worden. In eenminderoptimalebenaderinglegtdetoezichthouderzichvoordathetonderzoekvan startgaatvastopdeoperationalisatievanzijnvagedoelstellingendoordeonderzoekers. Eenandervoorbeeldvaneenonderzoekwaaringeenrelatieisgelegdmeteeninkwantitatieveenpreciezetermengeformuleerdedoelstellingisstudie45.Datonderzoekheeft als doel uitsluitsel te geven over twee rivaliserende theorieën over de effecten van naming and shaming, in dit geval de bekendmaking van vertrouwelijke bankgegevens. Doordat tevoren twee hypothesen werden geformuleerd die in het onderzoek konden worden getoetst, is het toch mogelijk gebleken een concrete uitspraak te doen aan de 15

22 handvandeonderzoeksgegevensoverdeeffectiviteitvandetoezichtsinterventie.dehypothesenluiddeninvragendevorm,kortgezegd, werkt namingandshaming disciplinerendoprekeninghoudersofheeft namingandshaming juisttotgevolgdatrekeninghouders ongedisciplineerd weglopen ( bank run )? De onderzoeksresultaten lieten zien dat rekeninghoudersinhetgeheelnietreageerdenopdezeactievandetoezichthouder. Uit het voorgaande volgt dat doelstellingen van toezichthouders niet altijd in kwantificeerbare, meetbare termen zijn gesteld. Voor onderzoek naar de effectiviteit van toezichtsinterventiesishetwelnodigdattevoreneenscherpomlijndehypothesewordtgeformuleerd,wilhetonderzoekuitsprakenkunnenopleverenoverhetsuccesoffalenvan debestudeerdetoezichtsinterventie.debestudeerdeeffectiviteitsonderzoekenslagener somsineen vaag geformuleerdedoelstellingvandetoezichthouderinmeetbare,geoperationaliseerde termen te vatten. Bij het opzetten van het design van het onderzoek vraagtditonderwerpveelaandacht. 2.4 Effecten van normstelling en effecten van toezicht Onderzoekersdiedeeffectiviteitvantoezichtsinterventieswillenvaststellenmoeteneen keuzemakentussenhetbestuderenvannalevingseffectenen/ofmaatschappelijkeeffecten.daarnaastmoetenzevoorafgaandaanhetuitvoerenvanhetonderzoekbijhetontwikkelen van het onderzoeksdesign de doelstelling van de toezichtsinterventie (her)formulerenineenmeetbare,liefstkwantitatievemaatstaf.naastdezekwestieskrijgenzetemakenmeteencausaliteitsvraag.bijempirischonderzoeknaarhetgedragvan ondertoezichtgesteldenishetdevraagofhungedragsveranderingbewerkstelligdwordt door de toezichtsinterventies of door de normstelling zelf dan wel door een combinatie vanbeide. Alsineenonderzoekeengedragsveranderingwordtgevondenmoetvervolgensworden achterhaald waardoor die gedragsverandering is veroorzaakt. De vraag is dus of de gevondeneffectenzijntoeteschrijvenaanreguleringofaandeactiviteitenvandetoezichthouder.deonderzoekendieinhetkadervandezestudiezijngeanalyseerdliggenmeestal tenminsteopmsms 3niveau.Datdesignvoorzietineencontrolegroependusinwaarnemingenvansituatiesmetenzonderdeinterventiesvantoezichthouders.Aangenomen kanwordendatgecontroleerdisvoorderechtstreeksewerkingvandenormstelling.dat betekentdatditdesigninstaatisdecausalerelatieteleggentussenhetoptredendoorde toezichthouderendegevondengedragsverandering. Indeverzamelinggevondenstudiesisookeenaantalstudiesopgenomendiestriktgenomen niet gaan over de effectiviteit van toezichtsinterventies, maar die de effecten van normstellinginkaartbrengen.datgeldtvoordemeesteonderzoekenophetterreinvan Economie & Financiën. Deze studies gaan overwegend over regelgeving over handel in aandelen.instudies48totenmet52staatdeintroductievan insidertrading centraal. Hetgaatindienormstellingoverhandelmetvoorkennisenhetbevorderenvan market cleanliness.hoeweldezestudiesnietgaanoverhetwerkvantoezichthouders,leverenze welinteressanteinformatieopdievaninvloedzoukunnenzijnopdekeuzesdie marktmeesters makenbijhetstellenvanprioriteiten.dezeonderzoekenhebbengemeendat 16

23 zeeenverbandleggenmetdepublicatievankoersgevoeligeinformatiedoorbeursgenoteerdebedrijvenenerzijdsendehandelinhetbetreffendeaandeelanderzijds.hetgaater indatonderzoekomteachterhalenofervoorafgaandaandepublicatievandiebeursgevoelige informatie(zoals bij voorbeeld kwartaalcijfers, maar het kan ook om andere bedrijfsberichten gaan) afwijkingen te zien zijn in de handel in het aandeel waarop die informatiebetrekkinghad.somsisookeenrelatiegelegdmetveranderingenindeprijsvan het aandeel. Bij dat onderzoek is niet gekeken naar acties van toezichthouders, maar is een vergelijking gemaakt tussen de koersbewegingen rond dergelijke publicaties voorafgaandennadeintroductievanbeperkendewetgeving.dergelijkonderzoekisvanbelang voortoezichthoudersomdathetaanwijzingenoplevertoverdekenmerkenvanbedrijven (groot/klein, hoog/laagtechnologisch etc) die zich meer of minder aan de normen conformeren. AmerikaansonderzoeknaarderesultatenvaneennieuwemaniervantoezichtophetterreinvanvoedselveiligheidinLosAngelesCounty(studie39)wordtgepresenteerdalseen effectiviteitsstudie.inhetonderzoekisechterslechtseenvoor/navergelijkinguitgevoerd; hetisdusgeenmsms 3onderzoek.Hoeweldegemetenveranderingwordttoegeschrevenaandegewijzigdemaniervaninspecteren,isdatgeenszinszeker.Denkbaarisdatin datgevalgewijzigderegelgevingenhetveranderdebewustzijnovervoedselveiligheidook totdewaargenomenresultatenkunnenhebbengeleid.dergelijkerivaliserendeverklaringen kunnen alleen worden uitgesloten als deze verandering in een controlegroep niet wordenwaargenomen. 2.5 Objecten van toezicht Ineendeelvandeonderzochtestudieszijnanonieme,individueleburgersdeondertoezichtgestelden(studiescameratoezicht,1,2en3;verkeersstudies,13 33;drugsoverlast, 5).Ineenaantalstudieszijndenormadressatenbedrijveneninstellingen(scholen,34 37;milieutoezicht,9 12;restaurants,38 44). Hetisdevraagofditonderscheidvanbelangisvoordewijzewaaropgedragsveranderingenvandeondertoezichtgesteldenmoetenwordengemeten.Datlijktnietvanzelfsprekend te zijn. De effectiviteitsonderzoekers die er in slagen een causale relatie te leggen met de maatschappelijke effecten, richten zich vaak op statistisch materiaal veelal uit bestaandedatabestanden.datiszowelhetgevalbijtoezichtsinterventiesdieindividuele burgersalsondertoezichtgesteldehebben,alsbijinterventiesdiezichrichtenopbedrijveneninstellingen. Illustratiefishetalaangehaaldeonderzoeknaardeeffectenvannamingandshamingop hetgedragvandeondertoezichtgesteldespaarbanken.hetonderzoekbetreftdereactie vanrekeninghoudersopdebekendmakingvannegatieveinformatieoverbanken(studie 45).Hetdoelvannamingandshamingisdatdebankenderegelsbetergaannaleven.Dat doel wordt, volgens de beleidstheorie, echter bereikt over de band van klantengedrag. Namingandshamingisdanalleeneffectiefterbevorderingvannalevingindiendeklanten de beoogde reactie vertonen. De meting van klantreacties wijst dan uit of de onder toezicht gestelde banken de gewenste gedragsreactie vertonen. Een dergelijke indirecte 17

24 meting van effectiviteit komt vaker voor. Zo is bij de onderzoeken naar het effect van voedselinspectiesinrestaurantsalseffectvariabeleeenaantalkerenhetvóórkomenvan gevallenvanvoedselvergiftiginggemeten(studies40en42).enhetonderzoeknaardeeffectiviteit van schoolinspecties vindt plaats door een causaal verband te leggen met de prestatiesvanleerlingen(onderzoeken34 37). Deze studies hebben gemeenschappelijk dat nagegaan wordt of er een causaal verband aanwezig is tussen de interventie en de verandering van het gedrag door een indirecte metingvanveranderingenvankenmerkenvanrekeninghouders(bijbanken),consumenten(bijrestaurants)enleerlingen(bijscholen).datonderzoekersdiekeuzemakenisgoed tebegrijpen.opdiemanierkanimmersookwanneerzichslechtsbeperkteeffectenvoordoen een causaal verband worden aangetoond; bij een groot aantal waarnemingen kan danalsprakezijnvansignificantie. 2.6 Samenstelling onderzoeksgroep en controlegroep Vooreenhogeinternevaliditeitvereisteeneffectiviteitsmetingeenexperimentelegroep eneencontrolegroep.maarhoewordendergelijkegroepensamengesteld?onderzoekis vanhoogniveauwanneerbeidegroepenopaselectewijzewordensamengesteld.opdie manierwordensystematischeverschillenimmersuitgesloten.indepraktijkishetaselect samenstellenvandeonderzoeksgroep,maarookvandecontrolegroep,vaakonmogelijk. Maarsomsisdatanders. Indestudiesoverdeeffectenvanverkeersveiligheidsmaatregelenwordtveelalaannemelijkgemaaktdatverkeersdeelnemerszichatrandomverdelenoverhetonderzoeksgebied enhetcontrolegebied.indiestudiesiservaakweleenanderprobleemendatisdatook andere omstandigheden rond de toezichtsinterventie in de vergelijking tussen experimentgroepencontrolegroepconstantmoetenzijn.alshetalluktdecontrolegroepende experimentgroepopidentiekewijzesamentestellen,danmoetenookdeomstandighedenwaaronderdewaarnemingenplaatsvindengelijkzijn.datisvaakéénvandelastige punten bij onderzoek naar het effect van verkeersveiligheidsmaatregelen. Wanneer het effect van handhaving van de maximumsnelheid met camera s op een bepaald traject wordtgemeten,moetalscontroleonderzoekwordengedaanopeenvergelijkbaartraject. Wilsprakekunnenzijnvaneenvergelijkbaartraject,danmoetenfysiekekenmerkenvergelijkbaar zijn (hoogteverschillen, bochten etc.), maar ook de verkeersintensiteit moet overeenkomen. Een ander punt is dat controlegebied en experimentgebied als het gaat omverkeersmaatregeleneenvergelijkbarematevannormschendingenmoetenlatenzien voorafgaandaandeinterventie.inhetonderzoek Evaluationofahighvisibilityenforcementprojectfocusedonpassengervehiclesinteractingwithcommercialvehicles (studie 20) werden om die reden wegen geselecteerd met een relatief hoge mate van nietnaleving.bovendienwerdrekeninggehoudenmethetaantalvoertuigendatdagelijksde weg gebruikte. Slagen onderzoekers er in op dergelijke kenmerken te controleren, dan nog kunnen zich vertekeningen voordoen, bijvoorbeeld omdat gedurende de meting de verkeersintensiteitophetenetrajectsterkergroeitdanophetanderetraject. 18