Handleiding Nalevingsmonitor

Transcriptie

1 Handleiding Nalevingsmonitor

2 Colofon Dit is een uitgave van het Expertisecentrum Rechtspleging en Rechtshandhaving, ministerie van Justitie. Eindredactie: Patricia Kat (Tekstbureau Patricia Kat) Expertisecentrum Rechtspleging en Rechtshandhaving Postbus EH Den Haag telefoon Ministerie van Justitie, januari 2007 De auteursrechten van deze publicatie berusten bij de Staat. Uit dit werk mag geciteerd worden binnen de daarvoor geldende wettelijke regels, waarbij bronvermelding vereist is. Het gebruik van de instrumenten die onderdeel vormen van deze publicatie is vrij voor instanties van de Nederlandse overheid. 2

3 Inhoudsopgave Inleiding 5 1. De opbouw van het onderzoeksinstrument 7 2. Organisatie en fasering van het onderzoek Het vooronderzoek: een kwalitatieve oriëntatie De bureaustudie De survey Het controleonderzoek Het expertonderzoek De rapportage 35 Bijlagen: 1. Bestanddelen voor brief steekproef De planning Vragenlijst handhavingsgegevens bureaustudie Vragenlijst voor survey (voorbeeld Wvo) Controleformulier (voorbeeld Wvo) Inschattingsformulier (voorbeeld Wvo) 67 3

4

5 Inleiding De overheid wil veranderingen in de samenleving teweegbrengen door het gedrag van burgers en bedrijven te beïnvloeden. Een van de mogelijkheden die zij hiervoor beschikbaar heeft, is regelgeving. Regelgeving stelt grenzen aan het gedrag van burgers en bedrijven (de doelgroep). Van belang is dat de doelgroep de regels daadwerkelijk naleeft. Immers, het overtreden van de regels (niet-naleving) verkleint de kans dat een beleidsdoel gehaald wordt. Als men de wet niet spontaan naleeft, moet de overheid naleving kunnen afdwingen met handhaving. Naar handhaving is al vrij veel onderzoek gedaan, onder meer in relatie tot het aantal ingezette personen, het aantal controlebezoeken en de output ervan. Maar over de naleving van regelgeving (outcome) is nog maar bitter weinig bekend. Dit terwijl de Algemene Rekenkamer (ARK) al in 1989 voor het eerst vaststelde dat er geen helder beeld bestaat over de vraag in hoeverre een wet wordt nageleefd 1. Onduidelijk is welk effect handhaving heeft op naleving. Aanbevolen werd geregeld te rapporteren over de naleving van wetgeving. Om hieraan tegemoet te komen is in 1998 de nalevingsmonitor ontwikkeld. Deze monitor geeft inzicht in diverse aspecten van naleving: in hoeverre leeft de doelgroep de regels na, welke motieven heeft men om de regels te overtreden, hoe is de handhaving georganiseerd, waaruit bestaan de handhavingsactiviteiten en welk effect hebben ze. De nalevingsmonitor levert informatie op waarmee de overheid de naleving kan verbeteren. In 2002 heeft de ARK nog eens benadrukt dat het belangrijk is om de naleving te meten. In het rapport Handhaven door rijksinspecties 2 concludeerde de ARK dat inspecties en bijzondere opsporingsdiensten hun minister onvoldoende informatie geven over de mate van naleving. Ministers op hun beurt stellen onvoldoende vast naar welk niveau van naleving zij streven. Honderd procent naleving van alle regels in een wet is doorgaans niet haalbaar. Daarom is het zinnig om je af te vragen welke mate van naleving wel haalbaar is en welke mate van naleving vereist is om het beleidsdoel te behalen. Deze handleiding nalevingsmonitor is een handleiding voor projectleiders van evaluatieonderzoek, die willen nagaan in hoeverre de doelgroep een wet naleeft, welke motieven een rol spelen bij het niet-naleven en welke verbeteringen mogelijk zijn. De handleiding is opgesteld door het Expertisecentrum Rechtspleging en Rechtshandhaving van het Ministerie van Justitie en is een weerslag van de wijze waarop het Expertisecentrum de nalevingsmonitor uitvoert. Deze standaardonderzoeksopzet van de nalevingsmonitor is eind jaren negentig tot stand gekomen en sindsdien diverse keren beproefd en verbeterd. De handleiding behandelt achtereenvolgens de opbouw van het instrument, de organisatie en 1) Zie Jaarverslag 1989, Algemene Rekenkamer. 2) Zie ook Handhaving door rijksinspecties, Algemene Rekenkamer, TK 28271, vergaderjaar

6 fasering van het onderzoek, de uitvoering ervan en de rapportage. Het schetst de inhoud en het proces van het opstellen en uitvoeren van de monitor. In gemarkeerde passages vindt u voorbeelden van eerder onderzoek. Algemene principes van projectmanagement en methoden en technieken van onderzoek komen niet aan de orde. Deze zijn te vinden handboeken projectmanagement. Voor meer informatie over de onderzoekstechnische aanpak van de monitor (zoals de dataverzameling en data-analyse bij gebruikmaking van de Randomized Response techniek 3 en de Tafel van Elf 4 ) kunt u terecht bij de de capaciteitsgroep Methodenleer & Statistiek (onderdeel FSW) van de Universiteit Utrecht. Zie 3) Een onderzoekstechniek die het mogelijk maakt om antwoord te krijgen op gevoelige vragen. 4) De Tafel van Elf is ontwikkeld door mr. dr. D. Ruimschotel in opdracht van en in samenwerking met het Ministerie van Justitie. Zie voor meer informatie: De Tafel van Elf, P. van Reenen (red), Ministerie van Justitie,

7 1. De opbouw van het onderzoeksinstrument De nalevingsmonitor is een instrument voor beleidsmakers, wetgevers, toezichthouders en evaluatoren die willen weten hoe het er voor staat met de naleving en handhaving van een bepaalde wet bij een bepaalde doelgroep. De monitor geeft inzicht in de mate van naleving en in de motieven van de doelgroep om de wet na te leven dan wel te overtreden. In zijn uitgebreide vorm geeft de monitor ook een overzicht van de handhavingsactiviteiten van de betrokken handhavingsorganisaties, een indicatie van de effectiviteit van die activiteiten en een aantal verbetermogelijkheden. De monitor is een ex post instrument. Tot op heden is het instrument voornamelijk ingezet voor eenmalig onderzoek. Het streven is echter om de monitor periodiek te gebruiken, zodat kan worden nagegaan in hoeverre de naleving door de doelgroep verandert en in hoeverre de handhaving hieraan bijdraagt. Schattingstechnieken Met de nalevingsmonitor, het woord zegt het al, kan men volgen hoe de naleving van een bepaalde wet zich ontwikkelt. Maar hoe meet je nu naleving? Of, realistischer: hoe maak je een inschatting van de mate van naleving? Schattingstechnieken geïnventariseerd Er zijn diverse meet- en schattingstechnieken. De nalevingsmonitor bestaat uit een selectie van die technieken. Bij de ontwikkeling van de monitor zijn deze geïnventariseerd 5 en op waarde geschat. Daarbij is gekeken hoeveel informatie de schattingstechnieken opleveren: informatie over de mate van naleving, maar ook over de achtergronden en oorzaken van niet-naleving. Verder is gekeken naar de causaliteit tussen motief en gedrag, de generaliseerbaarheid van de onderzoeksresultaten en de validiteit van de schattingen. Conclusie van de inventarisatie was dat er pas een volledig beeld ontstaat van de naleving als de volgende methoden en technieken naast elkaar worden gebruikt: bureauonderzoek (interne registraties van bedrijfsprocesgegevens) survey/vragenlijst voorleggen aan betrokkenen (doelgroep, deskundigen, branche, etc.) veldonderzoek (participerende observatie, controlerende observaties) causaal-statistisch modelleren expertsessies 5) Voor meer informatie zie de bundel De Tafel van Elf, P. van Reenen (red.), Ministerie van Justitie, Hierin is onder meer het volgende artikel opgenomen: D. Ruimschotel, Naleving van wetgeving: waarom zou men het willen weten? Schattingsmethoden in theorie en praktijk. Zie ook D. Ruimschotel, P. van Reenen en B.Klaasen, Tussen norm en feit: methoden ter schatting van naleving van wetgeving, in: Beleidsanalyse, 1995, 2. 7

8 In het ontwerp van de nalevingsmonitor heeft elk van deze schattingstechnieken een plaats gekregen. De nalevingsmonitor omvat dus al deze technieken. Door een combinatie van schattings-technieken kan een redelijk betrouwbare inschatting worden gemaakt van de mate van naleving. Wisselende perspectieven Er worden schattingen gemaakt vanuit wisselende perspectieven: de doelgroep doet uitspraken over het eigen gedrag (self report; survey) de doelgroep maakt een inschatting van het gedrag van collega s uit diezelfde doelgroep (survey) de handhavingsorganisatie inventariseert overtredingen (aselect controleonderzoek) de handhavingsorganisatie maakt een inschatting van de overtredingen (subjectieve inschatting) De keuze voor wisselende invalshoeken leidt ertoe dat de beleidsmaker een brede indruk krijgt van de wijze waarop de doelgroep met de regelgeving omgaat. Onderstaand schema biedt een overzicht van de deelonderzoeken van de nalevingsmonitor en de daarbij gehanteerde schattingstechnieken. Nalevingsmonitor Bureau-onderzoek gegevens aangeleverd door handhavingsorganisatie Veldonderzoek Expertsessie met experst uit hh-organisatie experts uit doelgroep Survey Aselecte controle door marktonderzoekbureau bij 300 bedrijven door handhavingsorganisatie bij 300 bedrijven Inleidende vragen kenmerken bedrijf kenmerken respondent imago hh-organisatie Controleren op overtreding van alle kernovertredingen Overtredings- en nalevingsmotieven a.d.h.v. Tafel van elf Rapporteren van bedrijfskenmerken Mate van naleven m.b.v. - Randomized Responce - Trapschatting Inschatting controleur van feitelijk overtredingsgedrag 8

9 De nalevingsmonitor bestaat in zijn volle omvang uit vier delen: een vooronderzoek, een bureaustudie (literatuuronderzoek en bestudering van handhavingsstatistieken), een veldonderzoek (bestaande uit een survey en een controleonderzoek bij de doelgroep) en een expertonderzoek. De onderdelen kunnen deels parallel, deels na elkaar worden uitgevoerd. In de hoofdstukken 3 tot en met 7 zijn de onderdelen beschreven. Mogelijkheden en beperkingen van het instrument De nalevingsmonitor is er niet om het succes of het falen van beleid te meten. De monitor meet enkel het effect van twee beleidsinstrumenten, namelijk regelgeving en handhaving. Om een beleidsdoel te halen zet de overheid vaak nog andere beleidsinstrumenten in, zoals financiële instrumenten of fysieke voorzieningen. Deze zijn medebepalend voor het succes van beleid. Geschikt voor fraudeonderzoek De nalevingsmonitor is bij uitstek geschikt om meer informatie te krijgen over fraude. Fraude is een bijzondere vorm van niet-naleving. Iemand die fraude pleegt, zet doelbewust dingen op papier die niet waar zijn, met als doel er financieel beter van te worden. Daarmee overtreedt hij of zij opzettelijk de wet. Het is niet eenvoudig om deze overtreding vast te stellen. Administratief onderzoek is tijdrovend en biedt geen inzicht in de motieven van de overtreding. Ondervraging van de betrokkene levert vaak onvoldoende informatie op. De nalevingsmonitor biedt de mogelijkheid om veilig dat wil zeggen zonder consequenties voor de betrokkene te rapporteren over de overtreding en de motieven die daarbij een rol spelen. Combinatie met Werkbaarheidsanalyse Regels moeten werkbaar zijn. Dit betekent dat ze na te leven zijn door de doelgroep én uit te voeren zijn door de uitvoeringsorganisatie én te handhaven zijn door de handhavingsorganisatie. De monitor is een instrument dat vooral toeziet op de naleving van regelgeving. De handhaving en uitvoering ervan komen slechts ten dele aan bod. Het verdient aanbeveling om naast de nalevingsmonitor ook een Werkbaarheidsanalyse 6 te doen. Zo ontstaat een systematische allesomvattende doorlichting van zowel naleving als handhaving en uitvoering. Beperkt domein Een technische beperking van de nalevingsmonitor is gelegen in het be-perk-te domein. De monitor richt zich op één wet, dan wel een verzameling van wettelijke regels die met elkaar samenhangen. Het instrument is niet geschikt voor nalevingsonderzoek in grijze of zwarte circuits. Daar komt bij dat de monitor betrekking heeft op een traceerbare doelgroep. 6) De Werkbaarheidsanalyse is een instrument, ontwikkeld door het Expertisecentrum Rechtshandhaving, waarmee de aannames van de beleidsontwikkelaar over de gehanteerde beleidstheorie en de aannames over de naleefbaarheid, uitvoerbaarheid en handhaafbaarheid worden getoetst. 9

10 Enige homogeniteit in doelgroep is dan ook gewenst. Het instrument althans in zijn huidige vorm is min-der geschikt om een breed palet aan wetgeving voor heel diverse doelgroepen te onderzoeken. In de praktijk hebben inspecties en bijzondere opsporingsdiensten juist vaak te maken met veel verschillende wetgeving en veel verschillende doelgroepen. Het streven is de nalevingsmonitor in de loop van de jaren uit te werken, zodat het kan functioneren als een vast onderdeel van de bedrijfsvoering van handhavingsorganisaties, bijvoorbeeld als evaluatie-instrument. Zijn waarde bewezen Ondanks enkele beperkingen heeft het instrument in het recente verleden al diverse keren zijn waarde bewezen. Zo is de monitor ingezet bij onderzoek naar de Warenwet (2000), de taxiregelgeving (2000), de Algemene Bijstandswet, de WAO en WW (2000 en 2003) de Meststoffenwet (2002), de Wet verontreiniging oppervlaktewateren (2002) en het Arbeidstijden Besluit Vervoer (2002). De waarde van dit type onderzoek is dat de respondenten op een veilige manier eerlijk kunnen rapporteren over zichzelf en anderen, ook als er gevoelige vragen over overtredingen aan de orde komen. Daardoor voorkom je sociaalwenselijke antwoorden en komt waardevolle informatie beschikbaar. Voorts hebben alle onderzoeken gemeen dat er gebruik is gemaakt van de Tafel van Elf. De Tafel van Elf (T11) is een instrument om in te schatten in hoeverre mensen geneigd zijn zich aan de regels te houden. Het is de rode draad waarlangs alle analyses in de nalevingsmonitor worden verricht. De gedachte daarachter is dat kennis van de motieven om te overtreden mogelijkheden biedt om de handhaving te veranderen, waardoor de naleving verbetert. Maar om te weten, zullen we eerst moeten meten. 10

11 2. Organisatie en fasering van het onderzoek In dit hoofdstuk leest u wie bij de organisatie en uitvoering van de nalevingsmonitor betrokken zijn en uit welke fasen het onderzoek bestaat. Betrokken partijen In een monitoronderzoek spelen de volgende actoren een rol: De opdrachtgever Dit is de degene die de opdracht geeft om het onderzoek uit te voeren. Bedenk dat de opdrachtgever ook bij machte moet zijn om iets met de uitkomsten van het onderzoek te doen. Zorg dan ook dat het onderzoek voldoende hoog in de organisatie belegd is. De projectleider De opdrachtgever stelt meestal een van zijn medewerkers aan als projectleider. De projectleider organiseert het onderzoek en is verantwoordelijk voor de feitelijke uitvoering ervan. Hij zorgt voor de aanbesteding, fungeert als uitvoerend opdrachtgever en aanspreekpunt voor het onderzoeksbureau, organiseert de bijeenkomsten van de begeleidings-commissie- en vormt de schakel tussen onderzoek en beleid. De projectleider is de spin in het web. Hij geeft sturing aan het onderzoek en zal worden aangesproken op de onderzoeksresultaten. Meestal voert hij tevens de bureaustudie uit, tenzij ook die is uitbesteed aan een extern onderzoeksbureau. Zijn of haar rol houdt meestal pas op als de uitkomsten van het onderzoek naar behoren zijn overgedragen aan de staande organisatie. Sturing geven aan een nalevingsmonitor is een tijdrovende bezigheid. Er blijft weinig ruimte voor andere bezigheden, zeker als er ook een controleonderzoek wordt uitgevoerd. Het onderzoeksbureau Van het onderzoeksbureau dat de nalevingsmonitor organiseert en uitvoert, mag worden verwacht dat het thuis is in beleidsevaluaties en sociaal-wetenschappelijk onderzoek en dat er enige kennis is van handhaving van regelgeving. Het bureau moet in ieder geval in staat zijn om: verkennend, kwalitatief vooronderzoek te verrichten een survey uit te (laten) voeren en de data hieruit te analyseren de data uit het controleonderzoek te analyseren eventueel een secundaire statistische analyse uit te voeren voor bijvoorbeeld de bepaling van risicogroepen en de samenhang tussen T11-variabelen en de mate van regelovertreding een expertsessie uit te (laten) voeren eventueel een bureaustudie te verrichten 11

12 Als men een landelijk beeld van de naleving wil schetsen, is het van belang dat het onderzoeksbureau in staat is een survey met landelijke dekking te organiseren. Indien de specifieke statistische kennis niet aanwezig is, kan deze worden ingekocht bij gespecialiseerde bureaus of universiteiten. Zie ook de informatie van de Capaciteitsgroep Methodenleer & Statistiek van de Universiteit van Utrecht ( De handhavingsorganisatie Voor zover de leden van de doelgroep de regelgeving niet spontaan naleven, moet naleving worden afgedwongen door handhaving. De nalevingsmonitor meet het succes of falen van de inzet van regelgeving en hand-having als beleidsinstrument. Hiervoor kijken we naar de mate van naleving, maar ook naar de effectiviteit van de inzet van handhaving. Om dit te kunnen beoordelen, moeten we ons een beeld vormen van de organisatie van de handhaving, de gehanteerde handhavingsstrategieën, de behaalde resultaten, de inzet die hiervoor gepleegd moet worden, etc. Hiervoor moet een beroep worden gedaan op de handhavingsorganisatie. De medewerking van de handhavingsorganisatie is noodzakelijk om een steekproefbestand voor de survey te trekken (als de bestanden van de handhavingsdienst hiervoor tenminste gebruikt worden). Ook voor de organisatie en uitvoering van het controleonderzoek, de uitvoering van de bureaustudie en deelname aan de expertsessies is de inzet van de handhavingsorganisatie nodig. De doelgroep De doelgroep is uiteraard onderwerp van onderzoek, maar zeker bij dit type onderzoek is de medewerking van de doelgroep onontbeerlijk, het gaat in de survey immers om een zelfrapportage (self report). Het is van belang om actief op zoek te gaan naar manieren om medewerking te genereren. Een mogelijkheid is publiciteit zoeken in advertenties. Voorbeeld Voor een survey in opdracht van Rijkswaterstaat (RWS) is een steekproef getrokken uit 692 adressen die zijn aangeleverd door RWS. In totaal zijn er 276 face-to-face-gesprekken gevoerd van circa 45 minuten met contactpersonen van bedrijven die een vergunning hebben om te lozen in rijkswateren. De bereidheid om mee te werken aan het onderzoek was hoog, bijna 60 procent. Dit werd grotendeels toegeschreven aan een brief van de staatssecretaris, gericht aan de doelgroep met daarin het verzoek om mee te werken. De brief is opgenomen in bijlage 1. De begeleidingscommissie De begeleidingscommissie heeft tot taak het onderzoeksproces te bewaken, de diverse (tussen)producten te beoordelen en de projectleider zonodig te ondersteunen bij inhoudelijke keuzes. 12

13 Let er bij de samenstelling van de begeleidingscommissie op dat het onderzoek goed verankerd is binnen de te onderzoeken organisatie. Betrek bij de evaluatie dus: verantwoordelijke managers uit de betrokken beleidsdirecties verantwoordelijke managers uit de betrokken handhavingsorganisaties verantwoordelijke managers uit de betrokken uitvoeringsorganisaties zo mogelijk vertegenwoordigers van de belangenorganisaties Geef de begeleidingscommissie een rol in de samenstelling van de expertgroep (handhavers, beleidsmakers, wetgevers, technici, etc.) Laat de begeleidingscommissie zo spoedig mogelijk vaststellen welke wettelijke bepalingen en welke (sub)doelgroepen er precies onderzocht worden (zie hoofdstuk 3). Laat de begeleidingscommissie vooraf een eigen inschatting maken van de mate van naleving door de (sub)doelgroepen. Vraag ze ook naar de gewenste mate van naleving. Fasering Het monitoronderzoek is opgedeeld in de volgende vier fasen: voorbereiding, uitvoering, rapportage en nazorg. Hieronder volgt een beschrijving van de werkzaamheden per fase. Een uitgebreide tijdsplanning van alle onderdelen van de nalevingsmonitor is te vinden in bijlage 2. Voorbereiding De voorbereiding van het onderzoek bestaat voornamelijk uit regelzaken: afspreken wie formeel de opdrachtgever is; benoemen van een projectleider bij de opdrachtgever; benoemen van een aanspreekpunt bij de handhavingsorganisatie; opstellen van een startnotitie en een offerteaanvraag. Op basis van de startnotitie, de offerteaanvraag en deze handleiding kunnen bij externe onderzoeksbureaus offertes worden aangevraagd; opstellen van een projectplan waarin duidelijkheid wordt verschaft over: - het doel van het onderzoek; - de verwachting; - de inrichting van de projectorganisatie; - betrokkenheid en medewerking vanuit de organisatie. Daar horen ook bij de verwachtingen omtrent de medewerking aan de uitvoering van het onderzoek (denk bijvoorbeeld aan het uitvoeren van aselecte controles als onderdeel van de reguliere controlebezoeken); - de begeleidingscommissie. Hieraan leveren in ieder geval het vakdepartement en handhavings- en uitvoeringsorganisaties een aandeel; - publicatie van de resultaten; 13

14 - de financiering van het onderzoek; - de aanbestedingsprocedure; - de tijdsplanning; - het type in te schakelen onderzoeksbureau. starten van een aanbestedingsprocedure voor het onderzoeks- en surveybureau; selecteren van een onderzoeks- en surveybureau. Let erop dat u een surveybureau met een landelijke spreiding van enquêteurs in de arm neemt indien u uitspraken wilt doen op landelijk niveau; instellen van een begeleidingscommissie; opstellen van overeenkomsten; uitvoeren van het vooronderzoek. Uitvoering De uitvoering van het onderzoek bestaat uit vijf onderdelen: vooronderzoek, bureaustudie, survey, controleonderzoek en expertsessies. Deze onderdelen komen aan de orde in de hoofdstukken 3 tot en met 7. De bureaustudie kan worden uitgevoerd tegelijk met de survey en het controleonderzoek. Bovendien kan de bureaustudie input leveren voor de expertsessies die later volgen. De praktijk leert dat het verstandig is om zelfs direct bij het vooronderzoek al met de bureaustudie te starten, al was het maar omdat het achterhalen van historische -gegevens over handhaving nogal wat tijd in beslag kan nemen. De feitelijke onderzoekswerkzaamheden bestaan voornamelijk uit dataverzameling en dataanalyse. Het onderzoeksbureau heeft hierbij doorgaans de hoofdrol. Dit bureau heeft echter ook informatie en medewerking nodig van de handhavingsorganisatie. Nauwe betrokkenheid van de projectleider als schakel tussen het onderzoeksbureau en de handhavingsorganisatie is daarbij noodzakelijk. Er kunnen allerlei zaken aan de orde komen, variërend van ogenschijnlijke futiliteiten zoals het organiseren van een bijeenkomst van de begeleidingscommissie, tot cruciale kwesties zoals de begrenzing van het onderzoek. Rapportage De mogelijkheid bestaat om eenmalig na afloop van het onderzoek te rapporteren. Ook kunt u ervoor kiezen de deelonderzoeken af te sluiten met tussenrapportages. Om het overzicht te houden over de diverse onderzoeksresultaten, is het aan te bevelen te werken met deelrapportages, zeker als een controleonderzoek deel uitmaakt van het geheel, omdat de dooplooptijd daarmee extra lang wordt. Een samenvattend eindrapport heeft in dat geval beslist toegevoegde waarde. In hoofdstuk 8 staan suggesties voor de rapportage. Nazorg Dit type evaluatieonderzoeken is altijd publiciteits- en daarmee vaak ook politiek gevoelig. Tekortkomingen van de overheid, overtredingen, en duiding van risicogroepen zijn gewilde 14

15 onderwerpen bij pers, politiek en burgers. Daar komt bij dat het ingewikkelde onderzoeken zijn, met resultaten die voor velerlei uitleg vatbaar zijn. Het is daarom aan te bevelen de publiciteit rond het onderzoek actief te sturen, bijvoorbeeld door een zorgvuldig geformuleerd persbericht en een leesbare managementsamenvatting te verstrekken. Niet alleen extern, maar ook intern kan de projectleider rekenen op veel belangstelling voor de resultaten van het onderzoek. Men zal u om tekst en uitleg vragen. Zorg er dan ook voor dat u op voldoende commitment kunt rekenen van uw eigen organisatie. Om die reden is het aan te bevelen het onderzoek hoog in de organisatie te beleggen. Immers, ook als de resultaten minder gunstig zijn dan verwacht, zult u uw werk moeten kunnen verkopen. Bedenk ook van tevoren op welke plaats in uw eigen organisatie de onderzoeksresultaten terecht moeten komen om aanpassing van beleid en regelgeving of van handhaving en uitvoering mogelijk te maken. Werk actief en gericht aan het bekendmaken van de onderzoeksresultaten. Denk daarbij aan presentaties binnen diverse geledingen, deelname of zelfs organisatie van congressen, het bekendmaken van websites etc. 15

16

17 3. Het vooronderzoek: een kwalitatieve oriëntatie Het is aan te bevelen om een snelle kwalitatieve oriëntatie te verrichten voordat u met het eigenlijke onderzoek aan de slag gaat. De ervaring heeft geleerd dat de investering in een goede voorbereiding zich nadien dubbel en dwars terugbetaalt. Het is van belang dat u eerst een beeld krijgt van de te onderzoeken doelgroep en de handhavende instanties. Zonder dit beeld van het onderzoeksdomein bent u niet in staat een goede vragenlijst op te stellen. Een mogelijkheid is bijvoorbeeld het beleggen van één of meerdere sessies met ervaringsdeskundigen uit het veld. Het vooronderzoek moet in ieder geval een invulling opleveren van de volgende begrippen: de kernbepalingen en kernovertredingen de doelgroep de achtergrondvariabelen De definities van deze begrippen komen hierna aan bod. Het verdient aanbeveling om de invulling ervan ter vaststelling voor te leggen aan de begeleidingscommissie van het onderzoek. De kernbepalingen en kernovertredingen Niet álle regels uit een wet worden in dit type monitoronderzoek onderzocht. Noodgedwongen is ervoor gekozen alleen de regels te kiezen waarvan de naleving substantieel bijdraagt aan verwezenlijking van het beleidsdoel van de wet. Alleen van die bepalingen worden de overtredingen geïnventariseerd. Kernbepalingen en kernovertredingen zijn de bepalingen en overtredingen die de kern vormen van de te onderzoeken wet. Bij het formuleren ervan kunnen experts zich baseren op het doel van de wet en de aanleiding voor het onderzoek. Voordeel van een dergelijke selectie is dat je discussies voorkomt over de vraag of de ernst van de overtredingen wel vergelijkbaar is. Ook voorkom je hiermee dat de vragenlijst te lang zou worden. Een kernbepaling hoeft niet per se exact overeen te stemmen met een wetsartikel. De bepaling kan algemeen geformuleerd worden (op geclusterd niveau) of juist op detailniveau (in termen van verschijningsvormen). Een kernovertreding hoeft evenmin gelijk te zijn aan de wettelijke overtreding: deze kan ook een deelaspect van de wettelijke overtreding beslaan. Waar het om gaat is dat de kernovertredingen tezamen een beeld geven van het gedrag van de doelgroep ten opzichte van een wettelijke bepaling. De onderliggende wettelijke bepalingen zijn dan de verschijningsvormen die we controlepunten noemen. Door de kernovertredingen te definiëren, geeft u de respondenten meer duidelijkheid over wat u precies wilt weten. 17

18 Voorbeelden Het Besluit gebruik dierlijke meststoffen kan men onderzoeken door de volgende kernovertreding te formuleren: het overtreden van de uitrijregels. Dit is geen juridische kwalificatie, maar wel een definitie die het voor de betrokkenen duidelijk maakt om welke wettelijke regels het gaat. De verschijningsvormen van deze overtredingen kunnen dan allerlei voorschriften van die vergunning zijn. Voor het onderzoek naar de naleving van de regelgeving uit de Wet Verontreiniging Oppervlaktewateren (WVO) is onder meer de volgende kernovertreding gedefinieerd: meer of hogere concentratie lozen dan vergunning toestaat. Deze kernovertreding omvat de volgende mogelijke overtredingen: een hogere concentratie in steekmonster een hogere concentratie in 24-uursmonster het lozen van andere stoffen dan vergund Een kernovertreding moet voldoen aan de volgende eisen: Substantiële relevantie voor het beleidsdoel De overtreding is van groot belang voor de verwezenlijking van het beleidsdoel. Het nietnaleven van de bepaling leidt tot een substantiële ondermijning van het beleidsdoel. Een kernovertreding moet een goed beeld geven van de naleving van de hele wet. De overtreding moeten dus representatief zijn. Ieder lid van de doelgroep moet de kernovertreding kunnen begaan Een ander aspect dat bij de keuze van de kernovertreding van belang is, is dat het een overtreding is die in theorie door alle mensen uit de gekozen doelgroep kan worden begaan. Stel je wilt controleren of iedereen zich aan registratieverplichtingen houdt en de helft is niet verplicht om dat te doen, dan is het een zinloze exercitie om daarover vragen te stellen of controles te verrichten. De uitkomsten leveren dan niets op. Elke kernovertreding moet ook in de survey bevraagd en vooral beantwoord kunnen worden Bij elke vraag naar regelovertreding in de survey moet u uzelf afvragen of de respondent dit ook kan weten. Als u bijvoorbeeld wilt onderzoeken of een bepaalde beschikking wordt nageleefd, moet de respondent kunnen weten of hij de beschikking naleeft. Een afgebakende termijn Het is belangrijk om de termijn te bepalen waarbinnen de overtreding zich moet hebben voorgedaan. Bij het door rood licht rijden bijvoorbeeld, kan worden gevraagd hoe vaak deze overtreding de laatste maand is begaan. De vraag hoe vaak de overtreding de laatste vijf jaar is begaan, levert waarschijnlijk heel andere antwoorden op. De termijn bepaalt mede hoe hoog de nalevingspercentages zijn. Om die reden moet de periode vooraf zorgvuldig worden afgebakend. Speciale aandacht verdienen overtredingen die eenmalig worden gepleegd, maar wel een voortdurende overtreding opleveren. Bouwen zonder bouwvergunning is daar een voorbeeld van. Vooraf moet duidelijk zijn wat als één overtreding wordt gezien. 18

19 Controleerbaar geformuleerd De bepalingen dienen zodanig geformuleerd te zijn dat de handhavingsorganisatie de naleving kan vaststellen tijdens een controle. Alleen dan zijn de schattingen van de doelgroep te vergelijken met die van de controleurs. Voorbeeld De Warenwet stelt dat cafetariahouders verplicht zijn om de bewaartemperatuur van slaatjes en gekoelde snacks te controleren. Voor de Keuringsdienst van Waren is dit niet na te gaan. Daarom is afgesproken om te inventariseren of de doelgroep de bewaartemperatuur heeft geregistreerd. Deze verplichting vloeide ook voort uit wettelijke voorschriften en was wel controleerbaar voor de Keuringsdienst. De doelgroep Dit zijn de bedrijven, branches of personen tot wie de wet zich richt. Wellicht is het ook nodig om subdoelgroepen vast te stellen: categorieën met andere bedrijfsactiviteiten of bepaalde risicogroepen die beleidsmatig relevant zijn, omdat het naleefgedrag wel eens zou kunnen verschillen van de rest van de doelgroep. Soms is het relevant te weten hoe een wet wordt nageleefd door alle betrokkenen (de justitiabelen), maar in andere gevallen is een opdrachtgever alleen geïnteresseerd in een specifieke doelgroep. Met name beleidsinstrumentele wetgeving (ook wel ordeningsregelgeving genoemd) is veelal gericht op specifieke bedrijven of branches. Bij het vaststellen van de te onderzoeken doelgroep behoort ook het vaststellen van subdoelgroepen. Dit zijn bepaalde risicogroepen en beleidsmatig relevante onderliggende categorieën met andere activiteiten waarbij het naleefgedrag wel eens zou kunnen verschillen. Een doelgroep moet voldoen aan de volgende eisen: Homogeen Om de resultaten na afloop van het onderzoek te kunnen interpreteren, is het van belang dat de (sub)doelgroepen enigszins homogeen zijn. Dit is een belangrijke voorwaarde om goede informatie te krijgen over de motieven die men heeft om een overtreding te begaan. Doelgroepen die sterk van elkaar verschillen, leveren geen significante verklaringen op omdat de resultaten door middeling afvlakken. Op de hele subdoelgroep moet één en dezelfde regel van toepassing zijn. Traceerbaar Check of het gaat om een duidelijk traceerbare (sub)doelgroep. Bedenk dat zogeheten darknumber-onderzoeken extra inspanningen vergen bij de dataverzameling. Grijze circuits zijn wel indirect in beeld te brengen, bijvoorbeeld als het om een vastomlijnde bedrijfssector gaat die onder bepaalde voorwaarden aan de norm moet voldoen. Zwarte circuits daarentegen zijn veel moeilijker in beeld te brengen. Zwarte circuits, illegale 19

20 activiteiten, zijn niet terug te vinden in de bedrijfsprocessensystemen van de handhavingsorganisaties. Over deze subdoelgroep zijn slechts beperkte uitspraken mogelijk. Onbekend is immers hoe groot het totale zwarte circuit is en in hoeverre de resultaten uit de steekproef significant kunnen zijn. De wetenschap dat er een zwart circuit is, is beleidsmatig natuurlijk wel erg relevant. Informatie hierover moet zo veel mogelijk worden meegenomen in het onderzoek. Het bestaan van grijze en zwarte circuits zegt immers ook iets over de effectiviteit van de handhaving. De achtergrondvariabelen Dit zijn variabelen die van invloed kunnen zijn op het naleefgedrag van de doelgroep. De nalevingsmonitor richt zich op de vraag in welke mate een bepaalde wet wordt nageleefd. Evenzo belangrijk is natuurlijk om te weten waarom er overtreden wordt, met welke andere variabelen de overtreding samenhangt. Hierover heeft elke handhaver zijn eigen theorieën. Bepaalde typen ondernemingen overtreden nu eenmaal meer dan anderen, omdat men daar eerder een reden voor heeft. Iemand die bijvoorbeeld altijd veel haast heeft omdat snel vervoer zijn handelsmerk is, zal eerder geneigd zijn de snelheidslimieten te overtreden dan een vervoerder bij wie niet snelheid maar kwaliteit van het vervoer centraal staat. Om het gedrag van een overtreder goed te kunnen begrijpen, is het van belang in het veldonderzoek (survey en controleonderzoek) de kenmerken mee te nemen die met het overtredingsgedrag samenhangen en na te gaan in hoeverre de veronderstellingen van de handhaver kloppen. Voorbeeld Aangenomen werd dat bedrijven met een milieuzorgsysteem de Wet Verontreiniging Oppervlaktewateren (WVO) beter zouden naleven dan bedrijven zonder zo n systeem. Het monitoronderzoek naar de WVO kon deze aanname evenwel niet bevestigen. 20

21 4. De bureaustudie Tegelijk met het vooronderzoek, of eventueel direct daarna, wordt de bureaustudie uitgevoerd. De bureaustudie biedt de mogelijkheid uitspraken te doen over de effectiviteit van de handhaving. Onder handhaving verstaan wij alle activiteiten van de overheid om de naleving van regelgeving te bevorderen. Ook activiteiten waarmee we overtredingen trachten te voorkomen, vallen in deze categorie. Denk hierbij aan voorlichting en aan activiteiten die het draagvlak voor bepaalde regelgeving moeten vergroten. Om uitspraken te kunnen doen over de effectiviteit van de handhaving, moeten we weten komen in hoeverre de regelgeving wordt nageleefd en in hoeverre er een relatie is met handhavingsactiviteiten van de overheid. Onderdelen van de bureaustudie De bureaustudie bestaat uit het verzamelen en analyseren van gegevens over handhavingsactiviteiten en onderwerpen die daaraan gerelateerd zijn, zoals de organisatie en inrichting van de handhaving. De bureaustudie kan de volgende onderdelen bevatten: een algemene beschrijving van het systeem van de wet een studie van de organisatie van de handhaving een studie van het staande handhavingsbeleid een inventarisatie van de wijze waarop de handhaving wordt uitgevoerd: - de inzet van mensen en middelen - handhavingproductiecijfers: een inventarisatie van de activiteiten op het gebied van voorlichting, draagvlakbevordering en repressieve handhaving. Veel informatie, onder meer over de organisatie en inrichting van de handhaving, is te vinden in beleidsdocumenten. Voor zover gegevens over de uitvoering van de taken niet in deze documenten beschreven zijn, kunnen ze bij de handhavingsorganisaties worden opgevraagd. Als de handhaving regionaal is georganiseerd, is het vaak ook zinvol om de gegevens per regio te verzamelen. Zie ook bijlage 3. Voorbeeld De gegevens voor het bureauonderzoek van de Wet Verontreiniging Oppervlaktewateren (WVO) zijn verkregen uit gesprekken met handhavers van Rijkswaterstaat (RWS), interviews met hoofden handhaving van de regionale directies van RWS en beschikbaar gestelde documentatie. De interviews zijn gehouden aan de hand van een vragenlijst en uitgewerkt door de projectleider van Rijkswaterstaat. Schattingen vergelijken In de bureaustudie kan de Tafel van Elf worden ingezet om de activiteiten die de overheid gebruikt voor gedragsbeïnvloeding, in kaart te brengen. Voor meer informatie over de Tafel van Elf, zie hoofdstuk 5. 21

22 De objectieve gegevens over handhaving die uit de bureaustudie voortkomen, kunnen worden vergeleken met de subjectieve gegevens uit het veldonderzoek (de survey en het controleonderzoek). Als de doelgroep bijvoorbeeld een schatting heeft gegeven van de kans op controle of de kans op sancties, kunnen deze percepties naast de objectieve cijfers over controles en sancties worden gelegd. 22

23 5. De survey De survey kan worden ingezet om een beeld te krijgen van de wijze waarop leden van de doelgroep hun eigen gedrag beleven. Centraal in de survey staat de zelfrapportage (self report) door leden van de doelgroep over hun naleef- en overtredingsgedrag en over hun motieven om de regelgeving na te leven, dan wel te overtreden. Daarnaast wordt hen gevraagd een inschatting te maken van het naleefgedrag van hun collega s. In de survey wordt gebruikgemaakt van drie verschillende onderzoekstechnieken. Ten eerste de Tafel van Elf. Dit is een methode om nalevings- en overtredingsgedrag in kaart te brengen. Daarnaast wordt de Randomized Response techniek gebruikt om eerlijke antwoorden te krijgen op gevoelige vragen. Ten derde wordt gebruikgemaakt van de nalevingsschatting om een beeld te krijgen van de omvang en samenstelling van eventuele overtreders. De drie technieken worden hieronder kort beschreven. Vervolgens komt in dit hoofdstuk aan de orde aan welke voorwaarden de steekproef moet voldoen en welke onderdelen de vragenlijst moet bevatten. De Tafel van Elf Om de naleving van een wet te bevorderen, is het noodzakelijk inzicht te krijgen in de motivatie die achter overtredingen schuilgaat. Zo kan een norm bijvoorbeeld per ongeluk worden overtreden omdat de doelgroep eenvoudigweg niet op de hoogte is van het bestaan van de norm. Een andere mogelijkheid is dat de doelgroep met opzet in strijd met de wet handelt. In beide gevallen zijn verschillende strategieën nodig om naleving te bevorderen. De Tafel van Elf (T11) bestaat uit elf dimensies die zijn ondergebracht in twee groepen: dimensies van spontane naleving en handhavingsdimensies 7. Zie onderstaande tabel voor een overzicht. Tabel. Dimensies van de Tafel van Elf Dimensies van spontane naleving T1a Kennis van regelgeving Bekendheid: kent de doelgroep de wetgeving T1b Duidelijkheid van regel-geving Duidelijkheid: begrijpt de doelgroep de wetgeving T2a Kosten/baten fin.-economisch Kosten (tijd/geld/moeite) verbonden aan naleving T2b Kosten/baten immaterieel Belang naleven voor imago T3a Acceptatie Redelijkheid van beleidsdoel T3b Acceptatie Redelijkheid van uitwerking T4a Normgetrouwheid Gezag handhavers T4b Normgetrouwheid Concurrerend gezag T5a Informele controle Aanspreekkans door directe omgeving bij bewuste overtreding T5b Informele controle Horizontaal toezicht 7) Zie De Tafel van Elf ; een veelzijdig instrument, Expertisecentrum Rechtspleging en Rechtshandhaving, Ministerie van Justitie,

24 Handhavingsdimensies T6 Meldingskans Kans op melding door anderen T7a Controlekans Kans op administratieve controle T7b Controlekans Kans op fysieke controle T8a Detectiekans Kans op constatering overtreding bij administratieve controle T8b Detectiekans Kans op constatering overtreding bij fysieke controle T9 Selectiviteit Gevoel of men vaker of minder vaak wordt gecontroleerd dan andere bedrijven T10 Sanctiekans Kans op een sanctie als een overtreding is geconstateerd T11a Sanctie-ernst Zwaarte straf bij overtreding T11b Sancie-ernst Reputatieschade De Tafel van Elf is een ordeningsmechanisme waarmee de belangrijkste redenen voor nalevings- en overtredingsgedrag in kaart te brengen zijn. De onderzoeker krijgt daarmee een indruk van de aspecten van naleving die veilig dan wel kwetsbaar zijn. Als een dimensie van de Tafel van Elf veilig is, wil dat zeggen dat deze dimensie geen stimulans vormt om te overtreden of soms zelfs een stimulans is tot naleven. Is een dimensie van de Tafel van Elf kwetsbaar, dan vormt deze dimensie geen stimulans tot naleven of is het zelfs een stimulans om te overtreden. Randomized Response techniek In de nalevingsmonitor komen veel gevoelige vragen aan bod. Bijvoorbeeld: Heeft u het afgelopen jaar een winkeldiefstal gepleegd? Ja of nee? De betrouwbaarheid van antwoorden op dit soort vragen is discutabel. De kans op sociaalwenselijke antwoorden is groot, vooral als de opdrachtgever een overheidsdienst of een opsporingsdienst is. De Randomized Response techniek wordt gebruikt om respondenten de gelegenheid te geven ook op gevoelige vragen eerlijk en zonder gêne te antwoorden. De ervaring leert dat de betrouwbaarheid van de antwoorden aanzienlijk toeneemt met deze techniek. De Randomized Response techniek biedt de respondent de mogelijkheid om een deel van de vragen naar waarheid te beantwoorden zonder dat de interviewer weet bij welke vragen dit het geval is. Bij een ander deel van de vragen is de respondent verplicht te antwoorden met ja dan wel nee, ook weer zonder medeweten van de onderzoeker. Er wordt in feite at random een geforceerd antwoord in de antwoordmogelijkheden geïntroduceerd. Vaak wordt daarbij een dobbelsteen gebruikt. Bijvoorbeeld: de interviewer vraagt de respondent of hij afgelopen week door rood licht heeft gefietst. De respondent gooit buiten het zicht van de interviewer met twee dobbelstenen en baseert vervolgens het antwoord op het gegooide aantal ogen. Bij 2, 3 of 4 is de respondent verplicht ja te antwoorden en bij 11 of 12 is nee het verplichte antwoord. Bij alle overige worpen antwoordt de respondent naar waarheid. Op die manier weet niemand of een waar of een verplicht antwoord is gegeven en is de privacy van de respondent gewaarborgd. Alleen de ondervraagde weet of zijn antwoord een geforceerd of een echt antwoord is. Omdat de onderzoekers weten hoe groot de kans op een geforceerd 24

25 antwoord is, kunnen de geforceerde antwoorden tijdens de analyse uit de resultaten gehaald worden, waardoor (op geaggregeerd niveau) alleen de echte antwoorden overblijven. Nadeel van de Randomized Response techniek is dat deze methode kostbaar is. Immers er zijn extra respondenten nodig omdat een deel van de antwoorden weggegooid wordt. De Capaciteitsgroep Methodenleer & Statistiek van de Universiteit Utrecht kan u nader informeren over de dataverzameling en de diverse varianten van de Randomized Response techniek. De nalevingsschatting Om een meer gefundeerd inzicht te krijgen in de mogelijke omvang en samenstelling van de populatie overtreders en nalevers, is de zogeheten nalevingsschatting ontwikkeld. De nalevingsschatting (ook wel trapschatting) maakt het mogelijk om de doelgroep trapsgewijs onder te verdelen in bepaalde typen nalevers en overtreders. De techniek bestaat uit vier vragen die logisch op elkaar volgen en voortbouwen op het voorgaande antwoord. De vragen van de nalevingsschatting vormen een aanvulling op de self report (zelfrapportage) uit de survey. Ze geven de respondenten de gelegenheid om een schatting te maken van het gedrag en de motieven van collega s uit de doelgroep. Het gaat om de volgende vragen: "Als u aan honderd willekeurige bedrijven zoals het uwe denkt en het gaat om het voldoen aan de regels over? a. Hoeveel van de 100 zijn volgens u niet bekend met deze regels? b. En hoeveel van deze [de enquêteur noemt hier het getal uit antwoord a.] hebben, denkt u de afgelopen twaalf maanden per ongeluk deze regels overtreden? c. En als we nu kijken naar degenen die wel bekend zijn met de regels, hoeveel van de [de enquêteur noemt hier 100 minus het getal uit antwoord a.] hebben, denkt u, de afgelopen twaalf maanden met opzet deze regels overtreden? d. Stel nu dat er geen controles of boetes meer zouden zijn, hoeveel van de 100 willekeurige bedrijven zouden dan volgens u de komende twaalf maanden overtredingen begaan tegen deze regels? De antwoorden leiden tot een onderverdeling van de doelgroep in de volgende categorieën: Onwetende overtreders (kennen de regels niet, overtreden per ongeluk) Opzettelijk overtreders (kennen de regels, overtreden toch ondanks handhaving) Handhavingsafgeschrikten (kennen de regels, willen eigenlijk overtreden, maar doen dat niet vanwege de handhaving) 25

26 Spontane nalevers (kennen de regels, vinden dat ze moeten naleven ongeacht wel of geen handhaving) Onwetende nalevers (kennen de regels niet, leven bij toeval na) De nalevingsschatting geeft een beeld van de factoren die in de ogen van de respondenten doorslaggevend zijn voor het uiteindelijke naleef- of overtredingsgedrag van de doelgroep. Zo kunnen de belangrijkste oorzaken van niet-naleving worden achterhaald. Tevens kunnen oplossingen worden gezocht om deze oorzaken weg te nemen. Er kan geen absolute waarde aan de cijfers worden toegekend. Het gaat hier om een schatting waaruit kan worden afgeleid hoe zwaar de diverse factoren wegen bij het naleven of overtreden van de regelgeving. Voorbeeld In een van de eerdere onderzoeken wordt gevraagd naar de regels rond het vergunningenstelsel. De doelgroep schat dat 32 procent van de bedrijven niet bekend is met de regels. Men schat dat van deze bedrijven iets meer dan de helft (17 procent van het totaal) in het voorgaande jaar in overtreding is geweest: de onwetende overtreders. De resterende 15 procent zijn de onwetende nalevers. Binnen de groep bedrijven die wel bekend zijn met de regels (68 procent) wordt geschat dat 9 procent zich niet aan de regels houdt. Als we deze 9 procent opzettelijke overtreders optellen bij de onwetende overtreders, betekent dit dat 26 procent zich in de afgelopen twaalf maanden niet aan de wet zou hebben gehouden. Dit is een schatting die is gebaseerd op de huidige situatie met controles en boetes. Als die dreiging zou wegvallen, schat men in dat het percentage overtreders zou stijgen naar 47 procent. Dit komt dus neer op een groep van 21 procent die vanwege de dreiging van controles en boetes niet overtreedt: de handhavingsafgeschrikten. Hiernaast blijft een groep van 38 procent over die bekend is met de regels en geen overtreding zal begaan of er nu controles en boetes bestaan of niet: de spontane nalevers. Aselecte steekproef Voor de survey wordt een aselecte steekproef getrokken uit een beschikbaar doelgroepenbestand. Dit kan het bedrijven- of cliëntenbestand zijn van de handhavende instantie, maar ook bijvoorbeeld een bestand van de Kamer van Koophandel of bestanden van de Business Monitor Bedrijven van het NIPO. De steekproef wordt bij voorkeur uitgevoerd door het onderzoeksbureau. De Capaciteitsgroep Methodenleer en Statistiek heeft de mogelijkheden op een rij gezet. Ga er niet van uit dat een aangeleverd bestand direct bruikbaar is. De ervaring heeft geleerd dat bestanden veelal vervuild zijn, incompleet en verouderd en dat ze de nodige opschoning behoeven. Dit kost veel tijd, geld en moeite. 26

27 Extra grote steekproef Het werken met de Randomized Response techniek heeft tot gevolg dat de steekproef groter moet zijn dan normaal. Het aantal enquêtes dat moet worden afgenomen om een representatief beeld te krijgen, moet groter zijn dan gewoonlijk het geval is, omdat een gedeelte van de gegevens geforceerde antwoorden bevat en daarom niet bruikbaar is. De survey wordt daarom uitgevoerd op een populatie van ongeveer 300 subjecten. De Capaciteitsgroep Methodenleer en Statistiek schenkt hieraan aandacht. Voorbeeld Voor het onderzoek naar de Wet Verontreiniging Oppervlaktewateren is een aselecte steekproef getrokken van ongeveer 300 bedrijven die behoren tot de industrie, de afvalverwerking, op- en overslag en havenontvangstinstallaties. Deze bedrijven zijn bezocht door de enquêteurs; een deel ervan ook door de controleurs. Normaalgesproken vinden controlebezoeken alleen plaats bij verdachte bedrijven en is er dus geen sprake van een aselecte steekproef. Als het onderzoek zich ook tot de verdachte bedrijven beperkt, zou volstrekt onduidelijk blijven hoeveel overtreders zich onder de overige bedrijven bevinden. Het trekken van een aselecte steekproef is de enig juiste methode om informatie te verkrijgen over het percentage nalevers en overtreders in de hele populatie van vergunninghouders. In het geval van een face-to-face enquête is het aan te bevelen de handhavingsorganisatie te vragen hoe de doelgroep het beste te benaderen is. Zij weten immers hoe de doelgroep in elkaar zit. Betreft het een onderzoek naar bedrijven in plaats van natuurlijke personen, dan is bijvoorbeeld relevant hoe deze in het algemeen georganiseerd zijn, welke functionaris de meest geschikte gesprekspartner is en hoe deze functionaris te lokaliseren is. Enkele weken voor uitvoering van de survey kan de opdrachtgever (of het onderzoeksbureau) een brief sturen. Een andere mogelijkheid is het plaatsen van een oproep in vakbladen waarin de survey wordt aangekondigd en de doelgroep om medewerking wordt verzocht. In beide gevallen is een zorgvuldige woordkeuze van het grootste belang. Zo zal een onderzoek naar naleving van bepaalde wetgeving minder medewerking opleveren dan een onderzoek naar beleving. Het laatste verdient dan ook de voorkeur. De vragenlijst De vragenlijst bestaat uit de volgende onderdelen (zie ook bijlage 4): achtergrondvariabelen van de leden van de doelgroep (grootte van het bedrijf, ouderdom, etc.) vragen volgens de Tafel van Elf op één van de kernovertredingen. Indien op een tweede kernovertreding totaal andere nalevingsmotieven te verwachten zijn, is het mogelijk de vragen naar de twee kernovertredingen fifty-fifty te verdelen over de steekproef (zie ook onderstaand voorbeeld) 27

28 vragen volgens de Randomized Response techniek op alle kernovertredingen. een nalevingsschatting, bedoeld om de doelgroep onder te verdelen in soorten nalevers en soorten overtreders wat wij altijd al wilden weten -vragen (bijvoorbeeld over het imago van de handhavingsorganisatie) Voorbeeld Bij het eerdere WVO-onderzoek bleek dat een vermoeidheidseffect optrad bij respondenten als men probeerde meer overtredingen te bevragen. Toch werd in overleg met de begeleidingscommissie besloten dat er twee fundamenteel verschillende overtredingen moesten worden bevraagd: overtreding van de regels rond de vergunning overtreding van de regels die betrekking hebben op de heffing Het was noodzakelijk om onderscheid te maken tussen deze twee overtredingen, omdat het vermoeden bestond dat de motivatie bij deze twee overtredingen sterk verschilt. Het is goed mogelijk dat de doelgroep het overtreden van de regels rond de heffing beschouwt als een minder ernstige overtreding (namelijk een vorm van belastingontduiking), dan het overtreden van de regels rond het vergunningenstelsel. Om het risicoprofiel van overtreders zinvol te kunnen interpreteren, moesten beide overtredingen apart worden bevraagd. Besloten werd de steekproef in twee gelijke helften te splitsen waarbij de ene groep de T11- vragen kreeg over het heffingensysteem (N=138) en de andere groep die over het vergunningenstelsel (N=138). Analyse Het onderzoeksbureau is verantwoordelijk voor de analyse van de gegevens die voortkomen uit de survey. Een analyse kan de samenhang aantonen tussen het overtreden van de regels (Randomized Response techniek) en de motieven die men daarbij heeft (Tafel van Elf). De gegevens die voortkomen uit de nalevingsschatting kunnen hier weer mee worden vergeleken. Met behulp van een secundaire analyse op de gegevens kunnen zogeheten daderprofielen worden samengesteld: statistisch valide kenmerken die duiden op een verhoogd overtredingsrisico. 28

29 6. Het controleonderzoek De survey geeft een beeld van naleving, overtreding en de motieven daarvoor, bezien vanuit de doelgroep. Om ook informatie te krijgen vanuit een andere invalshoek voeren we een controleonderzoek uit. In het controleonderzoek wordt een andere schattingstechniek gehanteerd dan bij de survey. Het gaat in dit geval om schattingen van medewerkers (controleurs) van handhavingsorganisaties. De uitkomsten van het controleonderzoek zeggen iets over de mate van naleving en tezamen met de survey iets over de (veronderstelde) effectiviteit van de handhaving. Aselecte controles De handhavingsorganisatie levert een doelgroepbestand aan. Het onderzoeksbureau trekt uit dit bestand een aselecte steekproef. Vervolgens gaan de handhavers controles uitvoeren bij de geselecteerde bedrijven. Op speciale formulieren vullen zij in of er een vermoeden is van een overtreding (inschattingsformulier) of dat er overtredingen zijn geconstateerd (controleformulier). Bijzonder aan het controleonderzoek is dat de controles aselect worden uitgevoerd. Dit is een vereiste. Normaalgesproken werkt een handhaver nu juist select: hij maakt een selectie op basis van kennis, ervaring of meer geavanceerde risicoanalyses. Op die manier weet hij het kaf van het koren te scheiden en zodoende effectief en efficiënt te handhaven. Bij de aselecte controle gaat het er echter niet om zo veel mogelijk boeven te vangen. Dit is bij het controleonderzoek van ondergeschikt belang. De meerwaarde van een aselecte controle is gelegen in het feit dat handhavers hiermee van tijd tot tijd kunnen checken of het beeld dat zij hebben van hun werkterrein, ook het juiste beeld is. Het aselect controleren gaat een beetje tegen de natuur van de handhaver in. Het is daarom zinvol de controleurs vooraf een instructie te geven, waarin het belang van een correcte uitvoering van de controles wordt benadrukt. De projectleider kan deze instructie geven in samenwerking met het management van de handhavingsorganisatie. Integrale controles Een tweede vereiste aan een controleonderzoek is dat het integraal moet zijn. Normaalgesproken is het niet vanzelfsprekend dat alle mogelijke overtredingen van de controlepunten ook daadwerkelijk worden gecontroleerd. Dit is bij het controleonderzoek echter noodzakelijk. Alleen op die manier is het mogelijk de controles te vergelijken: onderling en met de zelfrapportage (self report) uit de survey. Dit maakt het mogelijk om uitspraken te doen over de effectiviteit van controles, met name over de detectiekans. 29

30 Subjectieve schatting De controleur geeft, naast de aselecte controle, een inschatting van de situatie. Dit biedt hem gelegenheid om zijn vermoedens te uiten dat er toch een overtreding is begaan, zelfs wanneer er nog niets is geconstateerd bijvoorbeeld omdat de uitslag van de monstername nog niet beschikbaar is. De bevindingen tijdens de controle vult de handhaver in op het controleformulier (zie bijlage 5). De inschatting wordt ingevuld op het inschattingsformulier (zie bijlage 6). Voorbeeld In een eerder onderzoek gebruikten de controleurs inschattings- en controleformulieren om hun bevindingen over een aantal hoofdzonden (dit zijn de kernovertredingen) weer te geven. De formulieren kwamen tot stand in diverse overlegrondes, waarin ze kritisch werden bekeken door deskundigen van het ministerie, het vakinstituut en experts op het gebied van vragenlijstconstructie. Het eerste formulier was het zogeheten blauwe formulier, ofwel het inschattingsformulier. Hierop vulde de controleur in of hij vermoedde dat het bedrijf afgelopen jaar de wet had overtreden: wat was zijn subjectieve inschatting van het overtreden van een kernbepaling. Daarnaast vulde de controleur het gele formulier in. Dit was het controleformulier waarop werd aangegeven of uit de controle bleek dat het bedrijf tijdens de controleronde een kernovertreding beging. Op deze manier kon de intuïtie van de handhaver worden getoetst aan objectieve gegevens. Naast de subjectieve inschatting en de objectieve controle gaven de controleurs de volgende achtergrondinformatie over de bezochte bedrijven: zelfstandig / instructies van hoofdbedrijf familiebedrijf (wel / niet) aantal werknemers (in klassen) gecertificeerd milieusysteem (ja / nee) milieubeleid bekend op werkvloer (ja / nee) Binnen de reguliere planning De aselecte controles worden doorgaans uitgevoerd binnen de reguliere planning van de handhavingsorganisatie. De controles hoeven niet per se plaats te vinden bij de bedrijven die ook deelnemen aan de survey. Het mogen ook andere bedrijven zijn. Vaak ontbreekt het de handhavingsorganisatie aan capaciteit om voor dit onderzoek apart aselecte controles te laten uitvoeren. Daarom worden ze meestal ingepast in de reguliere planning. Dit vergt organisatie, voorbereidingstijd en uitvoeringstijd. Soms worden de aselecte controles uitgevoerd in plaats van de reguliere selecte controles. Bedenk dat de uitvoering moet worden ingepast in de werkzaamheden van anderen. De ervaring leert dat het controleonderzoek veelal de oorzaak is van vertraging. Is de planning van de nalevingsmonitor strak, dan is het raadzaam strikte afspraken te maken met de 30

31 handhavingsorganisatie die het controleonderzoek uitvoert. Dit vergt grote inspanningen van de projectleider, maar kan wel maanden verschil uitmaken in de doorlooptijd van het totale onderzoek. De ervaring leert dat het controleonderzoek nogal eens een langere doorlooptijd vraagt dan aanvankelijk gepland was. Het is dan ook aan te bevelen om zo spoedig mogelijk te starten met de organisatie van het controle-onderzoek. Geen controleonderzoek? Niet elk monitoronderzoek leent zich voor een controleonderzoek. Het kan op organisatorische problemen stuiten, vooral als het wetgeving betreft waarvan de uitvoering en handhaving gedelegeerd is aan een andere bestuurslaag. In dat geval is immers ook bij die instanties draagvlak en medewerking vereist. Dit vergt veel geruststelling van de betrokken instanties en een goede organisatorische afstemming. Zeker als u representativiteit nastreeft en uitspraken wilt doen over bijvoorbeeld regionale verschillen. Misschien overweegt u het controleonderzoek achterwege te laten. Bedenk wel dat u een invalshoek voor een nalevingsschatting mist als u besluit om af te zien van een controleonderzoek. U krijgt geen beeld van de overtredingen die bij een willekeurige controle worden gedetecteerd. Hiermee wordt het moeilijker om uitspraken te doen over de effectiviteit van de handhaving. Is dit voor u minder van belang, en focust u louter op het meten van de naleving en de nalevingsmotieven, dan is een controleonderzoek wellicht minder relevant. 31

32

33 7. Het expertonderzoek Het expertonderzoek wordt veelal gebruikt om de resultaten uit de deelonderzoeken voor te leggen aan experts uit de doelgroepen uit de handhavings- en uitvoeringsorganisaties. De onderzoekers kunnen met behulp van de experts de resultaten van de deelonderzoeken beter duiden in termen van oorzaken en mogelijke oplossingsrichtingen. Doelstelling Doelstelling van het expertonderzoek is om de meest opmerkelijke resultaten van de bureaustudie en het veldonderzoek, en dan met name de knelpunten in de naleving en handhaving, voor te leggen aan deskundigen uit de praktijk. Denk daarbij aan vergunningverleners, handhavers, vertegenwoordigers van uitvoeringsorganisaties, maar ook leden van de doelgroep. Deze experts kunnen zich uitspreken over de oorzaken van geconstateerde knelpunten en over mogelijke oplossingsrichtingen. Hiervoor wordt meestal een expertsessie georganiseerd. De expertsessie heeft met name een meerwaarde als de nalevingsmonitor wordt ingezet om de inrichting van de handhaving te verbeteren. De Tafel van Elf-analyse levert immers een overzicht van de motieven van de doelgroep om te overtreden. In een secundaire analyse kan dan een verband worden gelegd tussen de T11-variabelen en de mate waarin daadwerkelijk regelovertreding plaatsvindt. Met de expertsessie kan het inzicht in de onderzoeksgegevens verder worden verdiept door de deskundigen te vragen hoe bepaalde T11-scores, bijvoorbeeld een slechte kennis van de wetgeving, te verklaren zijn. Hierdoor ontstaat een beter beeld van de oorzaak van een problematische T11-score. Daarnaast kan de expertsessie worden gebruikt om met de deskundigen mogelijke oplossingen te inventariseren waardoor de naleving van de wetgeving zal verbeteren. In sommige gevallen is het aan te raden om meer expertsessies te beleggen, bijvoorbeeld: als er twee of meer kernovertredingen zijn onderzocht en de te raadplegen experts zijn niet voor alle kernovertredingen dezelfde; als het beleid dusdanig controversieel is dat het niet aan te bevelen is om overheidsfunctionarissen en leden van de doelgroep in één sessie bijeen te brengen. Voorbeeld Bij het WVO-onderzoek werden verschillende kernbepalingen bestudeerd: de naleving van het heffingenstelsel en de naleving van het vergunningenstelsel. Om die reden hebben de onderzoekers twee expertsessies georganiseerd waarvoor ze verschillende experts uitnodigden. De ene expertsessie was gewijd aan de naleving van het heffingenstelsel en de andere sessie aan de naleving van het vergunningenstelsel. 33

34 Group decision room Bij de expertsessies kan gebruik worden gemaakt van een zogeheten Group Decision Room, ook wel Versnellingskamer genoemd. Dit is een klein netwerk van computers waarmee de deelnemers van de expertsessie al brainstormend anoniem informatie kunnen geven over oorzaken van de gevonden knelpunten en over mogelijke oplossingen. Ook kunnen ze (eventueel anoniem) reageren op elkaars suggesties. De informatie die de deelnemers geven, wordt direct zichtbaar op een groot scherm en daarmee bespreekbaar voor de deelnemers. De groep kan de discussie aangaan onder leiding van een gespreksleider. Samen met de gespreksleider kunnen de deelnemers aangeven welke prioriteiten zij willen stellen en welke knelpunten en oplossingen ze meer diepgaand willen behandelen. Een alternatief is het gebruik van kieskastjes. Dit zijn elektronische kastjes waarop de aanwezigen anoniem vragen kunnen beantwoorden, waarbij de uitslagen van de groep direct zichtbaar te maken zijn. Voordeel van het werken met kieskastjes is dat er geen speciale zaal voor nodig is. Iedere vergaderruimte is hiervoor geschikt. 34

35 8. De rapportage De nalevingsmonitor mondt uit in een eindrapport, eventueel voorafgegaan door tussenrapporten. Dit hoofdstuk biedt enkele suggesties voor de rapportage. De bouwstenen Er bestaat nog niet zoiets als een standaardrapportage van een nalevingsmonitor. De deelonderzoeken leveren in ieder geval analyses op van de bevindingen van het bureauonderzoek, de survey, de expertsessie en eventueel het controleonderzoek. Deze gegevens tezamen dienen als bouwstenen voor een goed leesbaar eindrapport 8. Het eindrapport zou de volgende indeling kunnen hebben: de inrichting van de handhaving: - het wettelijk kader - de organisatie van de handhaving (capaciteit en kwaliteit) - de doelgroepen de mate van naleving: - de self report door de doelgroep in de survey - de nalevingsschatting (trapschatting) door doelgroep - historische gegevens van selecte controles - de resultaten van het aselecte controleonderzoek - de subjectieve inschattingen door controleurs nalevings- en overtredingsmotieven (T11-analyses) de samenhang met achtergrondvariabelen. oorzaken en oplossingen van experts Standaardgrafieken Hoewel er nog geen standaardpresentatie bestaat, zien we wel in de Tafel van Elf-analyses naast de resultaatbeschrijvingen steeds dezelfde typen grafieken terugkomen. Hieronder worden drie van deze grafieken getoond. Tafel van Elf-profiel De eerste grafiek is een lijngrafiek waarmee een Tafel van Elf-profiel geproduceerd wordt: een verzameling van de gemiddelde scores van de survey, verbonden door een profiellijn. Zie figuur 1. Naarmate punten meer links in de grafiek uitkomen, zijn ze in wezen kwetsbaar voor de naleving, omdat ze overtredingsgedrag in de hand werken. 8) Zie ook De Tafel van Elf ; een veelzijdig instrument, Expertisecentrum Rechtspleging en Rechtshandhaving, Ministerie van Justitie,

36 Figuur 1. Gemiddelde T11-scores in een T11-profiel Overtredingsbevorderend sterk zwak T1a - Onbekenheid -- Nalevingsbevorderend T1b - Onduidelijkheid -- zwak sterk T2a - Kosten-baten naleving -- T2b - Kosten-baten overtreding -- T2c - Consequenties imago -- T3a - Acceptatie uitwerking -- T3b - Acceptatie uitwerking -- T4a - Overheidsgezag -- T4b - Concurrerend gedrag -- T5a - Sociale controle -- T5b - Horizontaal toezicht -- T6 - Informele meldingskans -- T7a - Controlekans adm. -- T7b - Controlekans fys. -- T8a - Detectiekans adm. -- T8b - Detectiekans fys. -- T9 - Selectiviteit -- T10 - Sanctiekans -- T11 - Sanctie-ernst -- Spreiding van de Tafel van Elf-scores Een andere manier om de scores van de survey te presenteren, is een weergave van de spreiding van de scores in een gekantelde kolomgrafiek. De uitkomsten zijn zichtbaar te maken door de respondenten te categoriseren in drie groepen: een kwetsbare groep (score 1 of 2), een middengroep (score 3) en een veilige groep (score 4 of 5). 36

37 In figuur 2 ziet u op deze wijze de resultaten van het WVO-onderzoek getoond: Figuur 2. Spreiding T11-scores voor vergunningstelsel F1a - kennis regelgeving F1b - duidelijkheid regelgeving F2a1 - nadelen naleven F2a2 - nadelen overtreden F2b1 - belang naleven voor imago F2b2 - belang naleven voor milieu F3a - redelijkheid regelgeving F3b - eigen verantwoordelijkheid bedrijf F3c - redelijkheid bestaan vergunningenstelsel F4a - gezag handhavers Rijkswaterstaat F4b - belang naleven wet F5a - aanspreekkans binnen bedrijf F5b - aanspreekkans van buiten bedrijf F7a - kans op fysieke controle F7b - kans op administratieve controle F8a - detectiekans bij fysieke controle F8b - detectiekans bij administratieve controle F10 sanctiekans F11a - sanctie ernst F11b - sanctie vervelend kwetsbaar middenpositie veilig 37

38 Doelgroep gecategoriseerd De vragen van de nalevingsschatting (trapschatting) leiden tot een onderverdeling van de doelgroep in de volgende categorieën: onwetende overtreders (kennen de regels niet, overtreden per ongeluk) opzettelijk overtreders (kennen de regels, overtreden toch ondanks handhaving) handhavingsafgeschrikten (kennen de regels, willen eigenlijk overtreden, maar doen dat niet vanwege de handhaving) spontane nalevers (kennen de regels, vinden dat ze moeten naleven ongeacht wel of geen handhaving) onwetende nalevers (kennen de regels niet, leven bij toeval na) Deze categorieën kunnen in percentages worden weergegeven in een taartdiagram. Figuur 3 is een voorbeeld van een taartdiagram met de resultaten van een nalevingsschatting. Figuur 3. Nalevingsschatting weergegeven in een taartdiagram Onbewuste overtreders = 25% Onbewuste nalevers = 25% Bewuste overtreders = 15% Spontane nalevers = 20% Handhavingsafgeschrikten = 15% onbewuste nalevers spontane nalevers handhavingsafgeschrikten bewuste overtreders onbewuste overtreders 38

39 Bijlage 1. Bestanddelen voor brief steekproef Doel van de brief is om te bevorderen dat de geselecteerden in de steekproef ook daadwerkelijk medewerking verlenen aan de uitvoering van de survey. De brief wordt niet gebruikt om de doelgroep op de hoogte te stellen van de controlebezoeken in het onderzoek. Deze zullen immers in het kader van reguliere handhavingsactiviteioten worden verricht. Aandachtspunten voor de brief: bij voorkeur een brief namens het desbetreffende vakdepartement aankondiging van een survey / enquete onder ca. 300 bedrijven duiden van de doelgroep / de sector duiden van het domein: veelal zal dit Nederland zijn. survey wordt uitgevoerd door een gerenomeerd marktonderzoeksbureau. de brief moet naar de gehele doelgroep duiden van de onderzoeksperiode duiden van de gesprekduur (ongeveer 1 uur) aangeven welke functionaris men wil spreken verzoeken om medewerking te verlenen aan het onderzoek aangeven dat het onderzoek wordt verricht in opdracht van het { vakdepartement } aangeven dat doel van het onderzoek is een beeld te krijgen van de beleving van de wet; hoe men de regels en de handhaving ervan ervaart aangeven dat de anonimiteit wordt gewaarborgd NB: geen melding maken van het onderzoeksonderdeel controle-bezoeken!!! 39

40 Voorbeeldbrief Rijkswaterstaat 40