Rekenkamer Oost-Nederland start onderzoek naar effectiviteit subsidies van de provincie Overijssel Deventer donderdag 6 september 2012. Subsidies zijn voor provincies een belangrijk instrument om provinciale doelen te realiseren. De Rekenkamer Oost-Nederland gaat onderzoeken of de provincie Overijssel weet wat de effecten zijn van de verstrekte subsidies. Kennis over de effecten van ingezette instrumenten is nodig om als provincie goed te kunnen sturen. Nu de huidige economische situatie ook de provincies dwingt om keuzes te maken, is het nog eens extra van belang om de effecten van subsidies in beeld te hebben. Subsidies worden verstrekt op diverse beleidsterreinen, waaronder natuur, economie en cultuur. In het onderzoek staat de vraag centraal of de provincie de effectiviteit van subsidies in beeld heeft. Weet de provincie of de subsidies tot de gewenste effecten in de samenleving leiden? Daarnaast gaat de Rekenkamer na of de resultaten van evaluaties zijn gebruikt bij de besluitvorming over provinciale subsidies. Kunnen Provinciale Staten goed onderbouwde keuzes maken voor het continueren, aanpassen of opheffen van provinciale subsidies? Op basis van het onderzoek worden aandachtspunten voor de provincie geformuleerd. Het onderzoek wordt naar verwachting in het laatste kwartaal van 2012 gepresenteerd. Over de Rekenkamer Oost-Nederland De Rekenkamer Oost-Nederland (Gelderland en Overijssel) beoogt het bestuurlijk functioneren van de beide provincies te versterken. De Rekenkamer is primair ondersteunend aan Provinciale Staten. Zij geeft hieraan vorm door middel van onderzoek. De onderzoeken leiden tot conclusies en verbetervoorstellen. Deze verbetervoorstellen dragen bij aan het: Versterken van de controlerende en kaderstellende rol van de Provinciale Staten; Verbeteren van het handelen van de provincies; Vergroten van de publieke verantwoording. Noot voor de redactie: Het volledige onderzoeksplan vindt u op de website van de Rekenkamer Oost-Nederland www.rekenkameroost.nl. Voor vragen over dit persbericht of meer informatie kunt u contact opnemen met Claudio Bruggink (secretaris-directeur, 06-51865795) of Karen IJssels (projectleider: 0570-665800). Achter de Muren Zandpoort 6 7411 GE Deventer T (0570) 66 58 00 F (0570) 64 97 02 I www.rekenkameroost.nl E info@rekenkameroost.nl
Onderzoeksplan
Onderzoeksplan Deventer, augustus 2012
Inhoudsopgave 1 Inleiding... 3 1.1 Aanleiding: subsidies ter discussie... 3 1.2 De kwaliteitscyclus... 4 1.3 Onderzoekfocus... 5 2 Onderzoeksopzet... 6 2.1 Doelstelling... 6 2.2 Vraagstelling... 7 2.2.1 Centrale vraag... 7 2.2.1 Onderzoeksvragen en -methodiek... 7 2.2.2 Afbakening... 9 2.2.3 Normenkader... 10 2.3 Planning... 10
1 Inleiding De Rekenkamer Oost-Nederland start een onderzoek naar de effectiviteit van provinciale subsidies. Dit document bevat de onderzoekopzet. Het plan is opgesteld aan de hand van deskresearch en een aantal oriënterende gesprekken. Allereerst komt de aanleiding en achtergrond van het onderzoek aan de orde. Daarna wordt de onderzoekfocus uiteengezet. In het tweede hoofdstuk is de concrete invulling van het onderzoek inzichtelijk gemaakt. 3 1.1 Aanleiding: subsidies ter discussie Subsidies zijn voor provincies een belangrijk financieel beleidsinstrument om provinciale beleidsdoelstellingen te verwezenlijken. Met subsidies worden door de ontvanger activiteiten ondernomen om provinciale doelen te realiseren. Voorbeelden zijn de instandhouding van publieke voorzieningen, het stimuleren van culturele activiteiten en het bevorderen van zuinig energiegebruik. De beide provincies verstrekken jaarlijks tientallen miljoenen euro s aan subsidies. Het financieel belang is dus aanzienlijk. Subsidies zijn om diverse redenen onderwerp van debat. Het huidig economisch tijdsgewricht dwingt provincies keuzes te maken. De heroverwegingen ten aanzien van het profiel van de provincie leiden er toe dat de provincie zich richt op haar kerntaken. Sommige autonome taken worden daardoor niet of veel minder gesubsidieerd. Verder is er politiek en maatschappelijk een toenemende behoefte om meer zicht te krijgen op nut en noodzaak van de verstrekte subsidies. Het thema subsidies kan dan ook op aanhoudende aandacht van de Provinciale Staten rekenen.
1.2 De kwaliteitscyclus Om te weten te komen of de ingezette subsidies hebben bijgedragen aan het bereiken van de doelen en prestaties, zal de provincie de verstrekte subsidies moeten evalueren. Er is dan sprake van een cyclisch proces om de kwaliteit van het beleid te verbeteren. Een veelgebruikte kwaliteitscyclus is de Plan, Do, Check, Act-cyclus van de Amerikaan Deming (in het vervolg: PDCA-cyclus). Plan: provincies formuleren maatschappelijke ambities die uitmonden in programma s en producten. De doelen, instrumenten en prestaties worden in het beleidsontwerp vastgelegd. Zo kan de provincie besluiten een subsidieregeling in te stellen om de aanschaf van energieopwekkende zonnepanelen te stimuleren. Vaak is de subsidie een onderdeel van een programma waarin meerdere instrumenten worden ingezet. Do: aan de hand van de opgestelde plannen worden de activiteiten uitgevoerd. Particulieren en bedrijven kunnen bijvoorbeeld in het kader van de ingestelde subsidieregeling zonnepanelen aanschaffen. 4 Check: om als provincie op de juiste manier te sturen moet nagegaan worden de prestaties zijn bereikt en wat de (neven)effecten zijn. Het is van belang dat het beleid wordt geëvalueerd met als doel te onderzoeken of de ingezette instrumenten het gewenste resultaat hadden. Act: de uitkomsten van de evaluatie kunnen leiden tot het continueren, aanpassen of opheffen van het beleid. Maatschappelijke ambities: programma's en producten Bijstellen van het beleid Uitvoering (extern) Programma evaluaties en monitoring
In het algemeen is er een trend gaande meer onderzoek te verrichten naar de effecten van beleid (Thiel, 2007). Evaluaties waarin aantoonbaar wordt gemaakt welke instrumenten hebben geleid tot welke prestaties en (neven)effecten. Dit ligt in de lijn met de behoefte om meer te sturen op output en outcome dan input. Met de kennis over de effecten van de ingezette instrumenten kan er beter gestuurd worden. In het kader hiervan hebben onder andere de Algemene Rekenkamer en de Randstedelijke Rekenkamer reeds onderzoek gedaan naar de doeltreffendheid van subsidies. 1.3 Onderzoekfocus De Staten hebben behoefte aan meer zicht op de effectiviteit van subsidies zo blijkt uit de fractiegesprekken die we hebben gevoerd eind 2011. In het verlengde van de subsidie effectonderzoeken door andere Rekenkamers brengen we ook voor Overijssel in kaart welke subsidies zijn verstrekt, of deze geëvalueerd zijn en welk inzicht deze evaluaties bieden. Aanvullend op de bestaande onderzoeken bekijken we - met het oog op de PDCA-cyclus - ook wat er met de resultaten is gedaan. 5
2 Onderzoeksopzet In dit hoofdstuk beschrijven we de opzet van het subsidieonderzoek. Daarbij komen achtereenvolgens de doelstelling, centrale vraag, deelvragen, onderzoeksmethoden, afbakening, normenkader en planning aan de orde. 2.1 Doelstelling 6 De Zicht effectiviteit op effectonderzoek van provinciale provinciale subsidies subsidies Subsidies zijn een belangrijk instrument voor de provincie om de beleidsdoelen te realiseren. Het is om deze reden van belang zicht te hebben op de effectiviteit van de verstrekte subsidies. Het evalueren is noodzakelijk om te weten te komen of de financiële middelen goed, of mogelijk beter geïnvesteerd kunnen worden. Met het oog op actuele politiek-bestuurlijke vraagstukken en het belang van provinciale subsidies wil de Rekenkamer door middel van onderzoek een beter zicht krijgen op de effectiviteit van deze subsidies. De resultaten van het onderzoek dienen PS en GS beter in staat te stellen goed onderbouwde keuzes te maken wat betreft subsidies. Besloten kan worden om de subsidie te continueren, aan te passen of op te heffen, waarmee de resultaten van het effectonderzoek bijdragen aan het bereiken van de doelen en de beheersing van de overheidsuitgaven. Doelstelling Inzicht bieden in de mate waarin de provincie Overijssel subsidies evalueert en zicht heeft op de resultaten ervan, met als doel in beeld te brengen in welke mate PS goed onderbouwde keuzes kunnen maken voor het continueren, aanpassen of opheffen van provinciale subsidies.
Het onderzoeken van de causaliteit tussen instrument en effect is een weerbarstige materie doordat beleidsinterventies onderhevig zijn aan vele andere maatschappelijke invloeden. In lijn hiermee verstaan wij onder effectonderzoek onderzoek waarin het aannemelijk is gemaakt dat het doelbereik is toe te schrijven aan het gevoerde beleid. We maken hierbij een onderscheid tussen de prestaties (output) en het maatschappelijk effect (outcome). Een voorbeeld is het stimuleren van duurzame energie waarbij de prestatie het aantal aangeschafte elektrische voertuigen is. Het maatschappelijk effect is hierbij de verbeterde luchtkwaliteit. 2.2 Vraagstelling Om richting te geven aan het onderzoek is een centrale vraag geformuleerd. Deze centrale vraag wordt verder uiteengezet in een aantal deelvragen in de volgende paragraaf. 2.2.1 Centrale vraag 7 Centrale vraag In welke mate is de provincie op de hoogte van de effecten van de verstrekte provinciale subsidies en wat is er met de uitkomsten van evaluaties gedaan? De provincie is wettelijk verplicht eens in de vijf jaar subsidies te evalueren. Daarnaast kan de provincie aanvullende regels stellen. We onderzoeken in welke mate de provincie beschikt over evaluaties van subsidies. Nadat we dit geïnventariseerd hebben beoordelen we (een deel van) deze rapportages. Ook is er oog voor de uitkomsten van de evaluaties. Blijkt uit het onderzoek dat de subsidies effectief zijn geweest en hebben de resultaten geleid tot het continueren, aanpassen of opheffen van de subsidie? De kern is niet óf er een evaluatie is, maar wat met de resultaten is gedaan. 2.2.1 Onderzoeksvragen en -methodiek Om de centrale vraag te beantwoorden is een aantal deelvragen geformuleerd. 1. In hoeverre wordt de effectiviteit van verstrekte provinciale subsidies geëvalueerd?
a. Welke subsidies zijn er en hoeveel financiële middelen zijn daarmee gemoeid? b. Wat is de wet- en regelgeving omtrent de evaluatie van verstrekte subsidies? c. Naar welke subsidies is een evaluatie uitgevoerd? Analyse van subsidiegegevens De basis van het onderzoek wordt gevormd door een overzicht van de verstrekte subsidies in 2011. Het materiaal dat daarvoor door de provincie wordt aangeleverd biedt de mogelijkheid om inzicht te geven in de omvang van de subsidies per programma, de looptijd van de subsidies en de verdeling van subsidies over medebewind en autonome taken. Daarnaast wordt inzichtelijk in hoeverre subsidies al geëvalueerd zijn. Onder evaluaties verstaan wij onderzoek dat zicht biedt op de gerealiseerde prestaties en/of effecten. Voor het inventariseren van gegevens maken we gebruik van een sjabloon dat is toegevoegd aan dit onderzoeksplan als bijlage twee. Het sjabloon is afgeleid uit gelijksoortig onderzoek van de Randstedelijke Rekenkamer. 8 2. Wat is de informatiewaarde van de subsidie-evaluaties? a. Welke doelen heeft de provincie zich met de betreffende subsidies gesteld? b. Wordt in de evaluatie zicht geboden op de gerealiseerde prestaties? c. Wordt in de evaluatie ingegaan op de gerealiseerde effecten? d. Wordt in de evaluatie aannemelijk gemaakt dat er een verband bestaat tussen de subsidie en het onderzochte effect? Hoewel de methodologische eisen die aan een kwalitatief goede evaluatie gesteld kunnen worden niet centraal staan in dit onderzoek, zullen we het niet nalaten opvallende zaken qua methodologie op te merken. Inhoudsanalyse van subsidie-evaluaties Aan de hand van het normenkader (zie paragraaf 2.2.3) toetsen we de evaluaties. Afhankelijk van de omvang van het aantal evaluaties kiezen we daarbij voor een steekproef. In de steekproef zullen we rekening houden met een spreiding over de verschillende programma s / kerntaken en zal de focus liggen op autonome subsidies van enige omvang. De evaluaties worden door de onderzoekers geïnterpreteerd. Bij dit interpretatieve deel is het van belang de betrouwbaarheid van het onderzoek in de gaten te houden. In eerste instantie doen we dit door een eenduidig normenkader op te stellen en toe te passen. Meerdere onderzoekers zullen onafhankelijk van elkaar de evaluatierapporten beoordelen aan de hand van het normenkader. Dit levert een zogenaamd intersubjectief beeld op van de evaluaties. 3. In welke mate zijn de geëvalueerde verstrekte subsidies als effectief beoordeeld?
Tijdens de inhoudsanalyse van subsidie-evaluaties bekijken we ook de inhoudelijke resultaten. Dit levert een overzicht op van de oordelen van de provincie over de effectiviteit van de onderzochte subsidies. 4. Wat heeft de provincie met de uitkomsten van de evaluaties gedaan? a. Op welk niveau (politiek-bestuurlijk) zijn de resultaten besproken? b. Op welke wijze zijn de resultaten opgepakt bij opvolgend beleid? Interviews en deskresearch In de vierde deelvraag ligt de focus op de aanpak na de evaluatie. Evalueren is goed, maar de uitkomsten dienen wel een vervolg te krijgen om waar nodighet geleerde in praktijk te brengen. Door middel van een analyse van beleidsdocumenten en interviews verzamelen we hiervoor materiaal. De interviews zijn aanvullend op de inhoudsanalyse en betreft een steekproef. Om de validiteit en betrouwbaarheid te waarborgen worden de interviews in technisch opzicht semigestructureerd en in duo s afgenomen. De interviewvragen worden afgeleid uit het normenkader. 2.2.2 Afbakening 9 Het onderzoek richt zich op: Effectevaluaties van subsidies die in 2011 zijn verstrekt, waarbij de evaluaties die zijn uitgevoerd in de periode 2007-2011 worden betrokken; Zowel de evaluaties van de subsidieregeling (voor zover deze gericht zijn op prestaties en effecten) als evaluaties van het beleid waar het subsidieinstrument voor wordt ingezet. Het onderzoek richt zich niet op: De inhoudelijke overwegingen van een subsidieregeling, bijvoorbeeld of er subsidie moet worden gegeven voor het bevorderen van energiezuinige vervoersmiddelen; De rechtmatigheid van subsidieregelingen. Wel kijken we naar de eisen vanuit wet- en regelgeving aan subsidie-evaluaties; De methodologische kwaliteit van de evaluaties, desondanks zullen we het niet nalaten opvallende zaken qua methodiek en/of uitvoering van het onderzoek op te merken.
2.2.3 Normenkader 1. De provincie beschikt over een volledig overzicht van de subsidies die zijn verstrekt in 2011 2. De provincie evalueert tenminste eenmaal per 5 jaar de langlopende subsidies 3. De provincie voldoet aan haar eigen (nog in kaart te brengen) normen qua evaluatie van subsidies 4. De resultaten van een evaluatie worden indien daar aanleiding voor isgebruikt om aanpassingen door te voeren in de subsidieregeling, de uitvoering ervan of de selectie van een alternatief instrument Kwaliteitseisen voor beoordeling van evaluaties 5. Er wordt gerapporteerd over het behalen van de prestaties van de subsidie; inzicht in prestatielevering 6. Er wordt gerapporteerd over het bereiken van de doelen van de subsidie; inzicht in doelbereiking 7. Er is aannemelijk 1 gemaakt dat de doelen en prestaties zijn behaald door de subsidie; aannemelijk inzicht in doeltreffendheid 10 Het beoordelingskader wordt gedurende het onderzoek nader gespecificeerd. De exacte uitwerking wordt besproken met de ambtelijke vertegenwoordigers van de provincie. 2.3 Planning De voortgang van het onderzoek is in grote mate afhankelijk van snelheid waarmee de provincie de gevraagde overzichten qua subsidies en subsidieevaluaties kan opleveren. Gelijksoortig onderzoek bij andere Rekenkamers leert ons dat dit van grote invloed is op het behalen van de voorgenomen planning. Met het opstellen van de planning is met deze factor rekening gehouden en daarom is relatief veel tijd ingeruimd voor de informatieverzameling. Onderzoeksfase Planning Voorbereiding Mei/juni 2012 Onderzoeksplan Juli/augustus 2012 Informatieverzameling Juli/september 2012 Rapportage September / oktober 2012 Ambtelijk hoor en wederhoor November 2012 1 De mate waarin in de evaluatie een valide en betrouwbaar verband wordt gelegd tussen het subsidie-instrument en de bereikte prestaties en doelen.
Afronding/publicatie rapport November / december 2012 11
Bijlage 1: Geraadpleegde bronnen Documenten provincie Overijssel Overijssel (2011) De kracht van Overijssel. Inspireren, innoveren en investeren. Hoofdlijnenakkoord 2011-2015 Overijssel (2011) Uitvoeringsbesluit Subsidies Overijssel 2011 SNSO (2009). Evaluatie SNSO. ZOETERMEER: Research voor Beleid Overige documenten Algemene Rekenkamer (2011). Leren van subsidie-evaluaties. DEN HAAG: Sdu BMC (2011). Subsidies onder de loep. Herweijer, M., Effecten van subsidies, in: Beleidswetenschap 1994, 1, pag. 27-44 Ministerie van Financiën (2009) Rijksbrede leidraad voor het tegengaan van Misbruik & Oneigenlijk gebruik bij subsidies. Randstedelijke Rekenkamer (2012). Inzicht in doeltreffendheid van subsidies. AMSTERDAM Thiel, S. (2007). Bestuurskundig onderzoek. BUSSUM: Coutinho 12 Oriënterende gesprekken Overijssel Susanne Nolten Henk Vrielink Randstedelijke Rekenkamer Maarten Franken Steven van Oostveen
Bijlage 2: Inventarisatiesjabloon subsidies Tabel 1 Inventarisatiesjabloon subsidies Nr. Programma Totale programma- Begroting Subsidie Soort (autonoom/ medebewind/ combi) Korte omschrijving subsidie Soort taak Plafond Bijdrage derden Liep voor 1 jan. 2007 Instellingsdatum Einddatum Evaluatie subsidie Bron: het sjabloon is afgeleid uit het gelijksoortige onderzoek van de Randstedelijke Rekenkamer. 13