Tips voor betere subsidie-evaluaties. Algemene Rekenkamer Postbus EA Den Haag

Transcriptie

1 Tips voor betere subsidie-evaluaties Algemene Rekenkamer Postbus EA Den Haag 1

2 2

3 Sprekers: Nynke de Witte, Algemene Rekenkamer Gerth Molenaar, Randstedelijke Rekenkamer Jelly Smink, Rekenkamer Nijmegen 3

4 Pollvraag 1 Subsidies zijn niet te evalueren op effectiviteit A: Eens B: Oneens 4

5 Programma 1. Begrippen 2. Normen van Rekenkamers 3. Lessen uit rekenkameronderzoek 4. Stappenplan uitvoeren effectevaluatie 5. Vragen van deelnemers 5

6 Begrippen Subsidies Effectiviteit/doeltreffendheid 6

7 Subsidies De aanspraak op financiële middelen. Door een bestuursorgaan verstrekt. Met het oog op bepaalde activiteiten van de aanvrager. Anders dan als betaling voor aan het bestuursorgaan geleverde goederen of diensten. 7

8 8

9 Wat is effectiviteit/doeltreffendheid? De mate waarin de beleidsdoelstelling dankzij de inzet van beleidsinstrumenten wordt gerealiseerd. 9

10 Voorbeeld: subsidie zonnepanelen input output outcome (prestatie) (effect) 10

11 Uitslag pollvraag 1 Subsidies zijn niet te evalueren op effectiviteit 11

12 Pollvraag 2 Voor subsidieregelingen die elders/eerder al zijn geëvalueerd, is niet nogmaals een evaluatie nodig A: Eens B: Oneens 12

13 Normen van Rekenkamers (1) De overheid: heeft een volledig en actueel overzicht van subsidies evalueert subsidieregelingen iedere vijf jaar 13

14 Normen van Rekenkamers (2) De overheid: evalueert subsidies goed op effectiviteit gebruikt de uitkomsten van evaluaties adequaat voor leren & verantwoorden 14

15 Uitslag pollvraag 2 Voor subsidieregelingen die elders / eerder al zijn geëvalueerd, is niet nogmaals een evaluatie nodig 15

16 Pollvraag 3 De effectiviteit van een subsidie kan je alleen evalueren als vooraf aannames over de beoogde werking zijn benoemd. A: Eens B: Oneens 16

17 Lessen uit Rekenkameronderzoek Les 1. Doelen zijn niet concreet Les 2. Zwakke relatie tussen doelen en gevraagde prestatie Les 3. Geen alternatieven voor subsidie als beleidsinstrument Les 4. Onvoldoende controle op prestaties subsidieontvangers Les 5. Sturings- en beheersingsinformatie is beperkt Les 6. Uitvoering van subsidiebeleid is versnipperd Les 7. Subsidies worden niet (goed) op effectiviteit geëvalueerd 17

18 Lessen uit Rekenkameronderzoek Les 1. Doelen zijn niet concreet Les 2. Zwakke relatie tussen doelen en gevraagde prestatie Les 3. Geen alternatieven voor subsidie als beleidsinstrument Les 4. Onvoldoende controle op prestaties subsidieontvangers Les 5. Sturings- en beheersingsinformatie is beperkt Les 6. Uitvoering van subsidiebeleid is versnipperd Les 7. Subsidies worden niet (goed) op effectiviteit geëvalueerd 18

19 Lessen uit Rekenkameronderzoek Les 1. Doelen zijn niet concreet Les 2. Zwakke relatie tussen doelen en gevraagde prestatie Les 3. Geen alternatieven voor subsidie als beleidsinstrument Les 4. Onvoldoende controle op prestaties subsidieontvangers Les 5. Sturings- en beheersingsinformatie is beperkt Les 6. Uitvoering van subsidiebeleid is versnipperd Les 7. Subsidies worden niet (goed) op effectiviteit geëvalueerd 19

20 Lessen uit Rekenkameronderzoek Les 1. Doelen zijn niet concreet Les 2. Zwakke relatie tussen doelen en gevraagde prestatie Les 3. Geen alternatieven voor subsidie als beleidsinstrument Les 4. Onvoldoende controle op prestaties subsidieontvangers Les 5. Sturings- en beheersingsinformatie is beperkt Les 6. Uitvoering van subsidiebeleid is versnipperd Les 7. Subsidies worden niet (goed) op effectiviteit geëvalueerd 20

21 Uitslag poll vraag 3 De effectiviteit van een subsidie kan je alleen evalueren als vooraf aannames over de beoogde werking zijn benoemd. 21

22 Lessen uit Rekenkameronderzoek Les 1. Doelen zijn niet concreet Les 2. Zwakke relatie tussen doelen en gevraagde prestatie Les 3. Geen alternatieven voor subsidie als beleidsinstrument Les 4. Onvoldoende controle op prestaties subsidieontvangers Les 5. Sturings- en beheersingsinformatie is beperkt Les 6. Uitvoering van subsidiebeleid is versnipperd Les 7. Subsidies worden niet (goed) op effectiviteit geëvalueerd 22

23 Lessen uit Rekenkameronderzoek Les 1. Doelen zijn niet concreet Les 2. Zwakke relatie tussen doelen en gevraagde prestatie Les 3. Geen alternatieven voor subsidie als beleidsinstrument Les 4. Onvoldoende controle op prestaties subsidieontvangers Les 5. Sturings- en beheersingsinformatie is beperkt Les 6. Uitvoering van subsidiebeleid is versnipperd Les 7. Subsidies worden niet (goed) op effectiviteit geëvalueerd 23

24 Lessen uit Rekenkameronderzoek Les 1. Doelen zijn niet concreet Les 2. Zwakke relatie tussen doelen en gevraagde prestatie Les 3. Geen alternatieven voor subsidie als beleidsinstrument Les 4. Onvoldoende controle op prestaties subsidieontvangers Les 5. Sturings- en beheersingsinformatie is beperkt Les 6. Uitvoering van subsidiebeleid is versnipperd Les 7. Subsidies worden niet (goed) op effectiviteit geëvalueerd 24

25 Lessen uit Rekenkameronderzoek Les 1. Doelen zijn niet concreet Les 2. Zwakke relatie tussen doelen en gevraagde prestatie Les 3. Geen alternatieven voor subsidie als beleidsinstrument Les 4. Onvoldoende controle op prestaties subsidieontvangers Les 5. Sturings- en beheersingsinformatie is beperkt Les 6. Uitvoering van subsidiebeleid is versnipperd Les 7. Subsidies worden niet (goed) op effectiviteit geëvalueerd 25

26 beoogd uitgevoerd 26

27 Stappenplan voor het uitvoeren van effectevaluaties van subsidies Stap 1. Beleidskader reconstrueren Stap 2. Beschikte middelen onderzoeken Stap 3. Uitgevoerde activiteiten onderzoeken Stap 4. Behaalde prestaties onderzoeken Stap 5. Mate van doelbereiking onderzoeken Stap 6. Mate van doeltreffendheid onderzoeken & beoordelen 27

28 Stappenplan voor het uitvoeren van effectevaluaties van subsidies Stap 1. Beleidskader reconstrueren Stap 2. Beschikte middelen onderzoeken Stap 3. Uitgevoerde activiteiten onderzoeken Stap 4. Behaalde prestaties onderzoeken Stap 5. Mate van doelbereiking onderzoeken Stap 6. Mate van doeltreffendheid onderzoeken & beoordelen 28

29 Stappenplan voor het uitvoeren van effectevaluaties van subsidies Stap 1. Beleidskader reconstrueren Stap 2. Beschikte middelen onderzoeken Stap 3. Uitgevoerde activiteiten onderzoeken Stap 4. Behaalde prestaties onderzoeken Stap 5. Mate van doelbereiking onderzoeken Stap 6. Mate van doeltreffendheid onderzoeken en beoordelen 29

30 Stappenplan voor het uitvoeren van effectevaluaties van subsidies Stap 1. Beleidskader reconstrueren Stap 2. Beschikte middelen onderzoeken Stap 3. Uitgevoerde activiteiten onderzoeken Stap 4. Behaalde prestaties onderzoeken Stap 5. Mate van doelbereiking onderzoeken Stap 6. Mate van doeltreffendheid onderzoeken & beoordelen 30

31 Doeltreffendheid onderzoeken 1. (Quasi-)experiment 2. Voor- en nameting 3. Nameting 4. Casestudy 31

32 Doeltreffendheid beoordelen 32

33 Doeltreffendheid beoordelen stap 1 in rapportage opgenomen? gradatie? voorgenomen prestatie en mate waarin deze is geleverd ja nee geen inzicht in doeltreffendheid 33

34 Doeltreffendheid beoordelen stap 2 ja voorgenomen doel en mate waarin dit is bereikt nee inzicht in levering van prestatie ja 34

35 Doeltreffendheid beoordelen stap 3 ja aanvullende informatie die bijdrage van handelen overheid aan realiseren doel aannemelijk maakt ja nee inzicht in bereiken van doel 35

36 Doeltreffendheid beoordelen stap 4 ja mate waarin de prestatie heeft bijgedragen aan realisatie van het doel nee aannemelijk inzicht in doeltreffendheid ja volledig inzicht in doeltreffendheid 36

37 subsidieregeling luchtkwaliteit middelen activiteiten prestaties doelen werking opzet 37

38 middelen opzet werking : 5 mln. beschikbaar voor subsidiabele activiteiten : 3 mln. beschikt ofwel 60 % 38

39 activiteiten opzet werking Bijdrage van activiteiten van lokale overheden en marktpartijen aan emissiereductie van stikstof en/of fijn stof Uitvoering activiteiten blijft achter: 22 van 44 beschikte aanvragen voor projecten, i.c ofwel 13% 39

40 prestaties opzet werking Prestatie emissiereductie van stikstof en fijnstof hangt samen met beoogd doel, maar is niet meetbaar gemaakt Emissiereductie heeft in bescheiden mate plaatsgevonden en is relatief van verwaarloosbare omvang 40

41 doelen opzet Doel de luchtkwaliteit verbeteren wel specifiek en tijdgebonden, maar niet meetbaar gemaakt werking Invloed van de subsidie op verbetering luchtkwaliteit is verwaarloosbaar 41

42 subsidieregeling luchtkwaliteit middelen activiteiten prestaties doelen werking opzet 42

43 Vragen van deelnemers 43

44 Meer informatie Discussieer mee over dit onderwerp op: Volg ons op 44