Tips voor betere subsidie-evaluaties Algemene Rekenkamer Postbus 20015 2500 EA Den Haag 1
2
Sprekers: Nynke de Witte, Algemene Rekenkamer Gerth Molenaar, Randstedelijke Rekenkamer Jelly Smink, Rekenkamer Nijmegen 3
Pollvraag 1 Subsidies zijn niet te evalueren op effectiviteit A: Eens B: Oneens 4
Programma 1. Begrippen 2. Normen van Rekenkamers 3. Lessen uit rekenkameronderzoek 4. Stappenplan uitvoeren effectevaluatie 5. Vragen van deelnemers 5
Begrippen Subsidies Effectiviteit/doeltreffendheid 6
Subsidies De aanspraak op financiële middelen. Door een bestuursorgaan verstrekt. Met het oog op bepaalde activiteiten van de aanvrager. Anders dan als betaling voor aan het bestuursorgaan geleverde goederen of diensten. 7
8
Wat is effectiviteit/doeltreffendheid? De mate waarin de beleidsdoelstelling dankzij de inzet van beleidsinstrumenten wordt gerealiseerd. 9
Voorbeeld: subsidie zonnepanelen input output outcome (prestatie) (effect) 10
Uitslag pollvraag 1 Subsidies zijn niet te evalueren op effectiviteit 11
Pollvraag 2 Voor subsidieregelingen die elders/eerder al zijn geëvalueerd, is niet nogmaals een evaluatie nodig A: Eens B: Oneens 12
Normen van Rekenkamers (1) De overheid: heeft een volledig en actueel overzicht van subsidies evalueert subsidieregelingen iedere vijf jaar 13
Normen van Rekenkamers (2) De overheid: evalueert subsidies goed op effectiviteit gebruikt de uitkomsten van evaluaties adequaat voor leren & verantwoorden 14
Uitslag pollvraag 2 Voor subsidieregelingen die elders / eerder al zijn geëvalueerd, is niet nogmaals een evaluatie nodig 15
Pollvraag 3 De effectiviteit van een subsidie kan je alleen evalueren als vooraf aannames over de beoogde werking zijn benoemd. A: Eens B: Oneens 16
Lessen uit Rekenkameronderzoek Les 1. Doelen zijn niet concreet Les 2. Zwakke relatie tussen doelen en gevraagde prestatie Les 3. Geen alternatieven voor subsidie als beleidsinstrument Les 4. Onvoldoende controle op prestaties subsidieontvangers Les 5. Sturings- en beheersingsinformatie is beperkt Les 6. Uitvoering van subsidiebeleid is versnipperd Les 7. Subsidies worden niet (goed) op effectiviteit geëvalueerd 17
Lessen uit Rekenkameronderzoek Les 1. Doelen zijn niet concreet Les 2. Zwakke relatie tussen doelen en gevraagde prestatie Les 3. Geen alternatieven voor subsidie als beleidsinstrument Les 4. Onvoldoende controle op prestaties subsidieontvangers Les 5. Sturings- en beheersingsinformatie is beperkt Les 6. Uitvoering van subsidiebeleid is versnipperd Les 7. Subsidies worden niet (goed) op effectiviteit geëvalueerd 18
Lessen uit Rekenkameronderzoek Les 1. Doelen zijn niet concreet Les 2. Zwakke relatie tussen doelen en gevraagde prestatie Les 3. Geen alternatieven voor subsidie als beleidsinstrument Les 4. Onvoldoende controle op prestaties subsidieontvangers Les 5. Sturings- en beheersingsinformatie is beperkt Les 6. Uitvoering van subsidiebeleid is versnipperd Les 7. Subsidies worden niet (goed) op effectiviteit geëvalueerd 19
Lessen uit Rekenkameronderzoek Les 1. Doelen zijn niet concreet Les 2. Zwakke relatie tussen doelen en gevraagde prestatie Les 3. Geen alternatieven voor subsidie als beleidsinstrument Les 4. Onvoldoende controle op prestaties subsidieontvangers Les 5. Sturings- en beheersingsinformatie is beperkt Les 6. Uitvoering van subsidiebeleid is versnipperd Les 7. Subsidies worden niet (goed) op effectiviteit geëvalueerd 20
Uitslag poll vraag 3 De effectiviteit van een subsidie kan je alleen evalueren als vooraf aannames over de beoogde werking zijn benoemd. 21
Lessen uit Rekenkameronderzoek Les 1. Doelen zijn niet concreet Les 2. Zwakke relatie tussen doelen en gevraagde prestatie Les 3. Geen alternatieven voor subsidie als beleidsinstrument Les 4. Onvoldoende controle op prestaties subsidieontvangers Les 5. Sturings- en beheersingsinformatie is beperkt Les 6. Uitvoering van subsidiebeleid is versnipperd Les 7. Subsidies worden niet (goed) op effectiviteit geëvalueerd 22
Lessen uit Rekenkameronderzoek Les 1. Doelen zijn niet concreet Les 2. Zwakke relatie tussen doelen en gevraagde prestatie Les 3. Geen alternatieven voor subsidie als beleidsinstrument Les 4. Onvoldoende controle op prestaties subsidieontvangers Les 5. Sturings- en beheersingsinformatie is beperkt Les 6. Uitvoering van subsidiebeleid is versnipperd Les 7. Subsidies worden niet (goed) op effectiviteit geëvalueerd 23
Lessen uit Rekenkameronderzoek Les 1. Doelen zijn niet concreet Les 2. Zwakke relatie tussen doelen en gevraagde prestatie Les 3. Geen alternatieven voor subsidie als beleidsinstrument Les 4. Onvoldoende controle op prestaties subsidieontvangers Les 5. Sturings- en beheersingsinformatie is beperkt Les 6. Uitvoering van subsidiebeleid is versnipperd Les 7. Subsidies worden niet (goed) op effectiviteit geëvalueerd 24
Lessen uit Rekenkameronderzoek Les 1. Doelen zijn niet concreet Les 2. Zwakke relatie tussen doelen en gevraagde prestatie Les 3. Geen alternatieven voor subsidie als beleidsinstrument Les 4. Onvoldoende controle op prestaties subsidieontvangers Les 5. Sturings- en beheersingsinformatie is beperkt Les 6. Uitvoering van subsidiebeleid is versnipperd Les 7. Subsidies worden niet (goed) op effectiviteit geëvalueerd 25
beoogd uitgevoerd 26
Stappenplan voor het uitvoeren van effectevaluaties van subsidies Stap 1. Beleidskader reconstrueren Stap 2. Beschikte middelen onderzoeken Stap 3. Uitgevoerde activiteiten onderzoeken Stap 4. Behaalde prestaties onderzoeken Stap 5. Mate van doelbereiking onderzoeken Stap 6. Mate van doeltreffendheid onderzoeken & beoordelen 27
Stappenplan voor het uitvoeren van effectevaluaties van subsidies Stap 1. Beleidskader reconstrueren Stap 2. Beschikte middelen onderzoeken Stap 3. Uitgevoerde activiteiten onderzoeken Stap 4. Behaalde prestaties onderzoeken Stap 5. Mate van doelbereiking onderzoeken Stap 6. Mate van doeltreffendheid onderzoeken & beoordelen 28
Stappenplan voor het uitvoeren van effectevaluaties van subsidies Stap 1. Beleidskader reconstrueren Stap 2. Beschikte middelen onderzoeken Stap 3. Uitgevoerde activiteiten onderzoeken Stap 4. Behaalde prestaties onderzoeken Stap 5. Mate van doelbereiking onderzoeken Stap 6. Mate van doeltreffendheid onderzoeken en beoordelen 29
Stappenplan voor het uitvoeren van effectevaluaties van subsidies Stap 1. Beleidskader reconstrueren Stap 2. Beschikte middelen onderzoeken Stap 3. Uitgevoerde activiteiten onderzoeken Stap 4. Behaalde prestaties onderzoeken Stap 5. Mate van doelbereiking onderzoeken Stap 6. Mate van doeltreffendheid onderzoeken & beoordelen 30
Doeltreffendheid onderzoeken 1. (Quasi-)experiment 2. Voor- en nameting 3. Nameting 4. Casestudy 31
Doeltreffendheid beoordelen 32
Doeltreffendheid beoordelen stap 1 in rapportage opgenomen? gradatie? voorgenomen prestatie en mate waarin deze is geleverd ja nee geen inzicht in doeltreffendheid 33
Doeltreffendheid beoordelen stap 2 ja voorgenomen doel en mate waarin dit is bereikt nee inzicht in levering van prestatie ja 34
Doeltreffendheid beoordelen stap 3 ja aanvullende informatie die bijdrage van handelen overheid aan realiseren doel aannemelijk maakt ja nee inzicht in bereiken van doel 35
Doeltreffendheid beoordelen stap 4 ja mate waarin de prestatie heeft bijgedragen aan realisatie van het doel nee aannemelijk inzicht in doeltreffendheid ja volledig inzicht in doeltreffendheid 36
subsidieregeling luchtkwaliteit middelen activiteiten prestaties doelen werking opzet 37
middelen opzet werking 2007-2012: 5 mln. beschikbaar voor subsidiabele activiteiten 2007-2012: 3 mln. beschikt ofwel 60 % 38
activiteiten opzet werking Bijdrage van activiteiten van lokale overheden en marktpartijen aan emissiereductie van stikstof en/of fijn stof Uitvoering activiteiten blijft achter: 22 van 44 beschikte aanvragen voor projecten, i.c. 664.000 ofwel 13% 39
prestaties opzet werking Prestatie emissiereductie van stikstof en fijnstof hangt samen met beoogd doel, maar is niet meetbaar gemaakt Emissiereductie heeft in bescheiden mate plaatsgevonden en is relatief van verwaarloosbare omvang 40
doelen opzet Doel de luchtkwaliteit verbeteren wel specifiek en tijdgebonden, maar niet meetbaar gemaakt werking Invloed van de subsidie op verbetering luchtkwaliteit is verwaarloosbaar 41
subsidieregeling luchtkwaliteit middelen activiteiten prestaties doelen werking opzet 42
Vragen van deelnemers 43
Meer informatie www.rekenkamer.nl www.randstedelijke-rekenkamer.nl www.nijmegen.nl/rekenkamer Discussieer mee over dit onderwerp op: www.linkedin.com/company/algemenerekenkamer Volg ons op Twitter: @Rekenkamer. 44