'TuiD^ ^^'^^ Evaluatie doeltreffendheid subsidies. DEEL 2: Kader evaluatie doeltreffendheid subsidies. Versie GS 7 mei 2013 Provincie Zuid-Holland

Transcriptie

1 'TuiD^ ^^'^^ Evaluatie doeltreffendheid subsidies DEEL 2: Kader evaluatie doeltreffendheid subsidies Versie GS 7 mei 2013 Provincie Zuid-Holland

2 Inhoudsopgave 1 INLEIDING Achtergrond en aanleiding Wettelijke kaders Definities begrippen Provinciale context Soorten subsidies Financiële omvang Verantwoordingsvereisten 8 2 DOEL EVALUATIE SUBSIDIES B 3 VOORWAARDEN VOOR EFFICIËNTE EN EFFECTIEVE EVALUATIE 9 4 SELECTIECRITERIA VOOR EVALUATIE Inleiding Continuïteit subsidies Looplijd subsidies Autonome taak / wettelijke taak Financiële omvang SMART-C prestaties, doelen en bewezen verbanden hiertussen Voortgang uitgevoerde activiteiten Politieke afweging Conclusie selectiecriteria voor evaluatie 12 5 EVALUATIE-EN RAPPORTAGEMETHODIEK Inleiding Methodiek op hoofdlijnen Kosten versus diepgang van de evaluatie Rapportagecyclus Rapportagevorm 18 BIJLAGE 1 EVALUATIESTAPPENUIT DE HANDREIKING VAN DE RANDSTEDELIJKE REKENKAMER 19 BIJLAGE 2 TOEPASSING HANDREIKING EVALUATIE DOELTREFFENDHEID PROVINCIALE SUBSIDIES 21 Evaluatie doeltreffendheid Subsidies, Provincie Zuid-Holland Versie GS. 7 mei 2013

3 Evaluatie doeltreffendheid Subsidies. Provincie Zuid-Hc^lar>d Versie GS. 7 nwi 2013

4 1 Inleiding 1.1 Achtergrond en aanleiding In maart 2012 heeft de Randstedelijke Rekenkamer een onderzoek gedaan naarde doeltreffendheid van subsidies. Hierbij is geconstateerd dat de provincie onvoldoende Inzicht heeft in de doeltreffendheid van subsidies. Aan de Staten is vervolgens toegezegd de aanbevelingen uil het Randstedelijke Rekenkamerrapport op te pakken, waaronder het eens per vier jaar evalueren van boekjaarsubsidies en ASV-subsidies op doeltreffendheid. Een van de toezeggingen betrof het ontwikkelen van een rapportage- en evaluatiemethodiek. In dit document wordt het kader uitgewerkt voor de evaluatie van subsidies op doeltreffendheid binnen de provincie Zuid-Holland. Dit kader bestaat uit het doel (hoofdstuk 2), de voorwaarden (H3), selectiecriteria (H4) en de evaluatie- en rapportagemethodiek (H5). Dit kader is tot stand gekomen op basis van de door de Randstedelijke Rekenkamer opgedane ervaringen welke zijn vastgelegd tn de door hen ontwikkelde Handreiking Evaluatie doeltreffendheid subsidies de eigen opgedane ervaringen tijdens een eerste evaluatieronde van zestien subsidies uitwisseling van kennis en ervaringen met de provincies Noord-Holland, Utrecht en Limburg 1.2 Wettelijke kaders In de Algemene wet bestuursrecht (Awb), art. 4:24, is een eis opgenomen over het evalueren van subsidies: Indien een subsidie op een wettelijk voorschrift berust, wordt tenminste eenmaal in de vijfjaren een verslag gepubliceerd over de doeltreffendheid en de effecten van de subsidie in de praktijk, tenzij bij wettelijk voorschrift anders ts bepaald". In de algemene subsidieverordening 2013 is in artikel 7^ een passage opgenomen ten aanzien van de evaluatie van de doeltreffendheid van subsidies. Deze luidt: In afwijking van artikel 4:24 van de Algemene wet bestuursrecht wordt ten minste eenmaal in de vier jaren voor het einde van het jaar voorafgaande aan de verkiezingen voor Provinciale Staten een verslag gepubliceerd over de doeltreffendheid en de effecten van de subsidies die zijn verstrekt als begrotingssubsidie of op grond van regels als bedoeld in artikel 3. tweede iicf. 1. Voorafgaande aan de publicatie leggen Gedeputeerde Staten het in het eerste lid bedoelde verslag voor aan Provinciale Staten. 2. Met inachtneming van het bepaalde In het eerste lid leggen Gedeputeerde Staten twee jaar na de verkiezingen voor Provinciale Staten een tussentijds verslag op hoofdlijnen over de doeltreffendheid en de effecten van de verstrekte subsidies voor aan Provinciale Staten. Was artikel 26 in de Algemene subsidieverordening uit 2008 (Provinciaal Blad ), Gedeputeerde Staten zijn bevoegd regels vast te stellen voor de verstrekking van boekjaar- en projectsubsidies voor activiteiten die passen binnen de programma's die zijn opgenomen in de begroting. Evaluatie doeltreffendheid Subsidies, Provincie Zuid-Holland Versie GS, 7 mei 2013

5 1.3 Definities begrippen Subsidie In afwijking op de definitie in de Algemene wet bestuursrecht (Awb), art. 4:21, betekent het begrip subsidie in dit document het wettelijke voorschrift op basis waarvan de provincie subsidie kan verstrekken aan individuele aanvragers. Het begrip subsidie is daarmee breder dan de afzonderlijke beschikkingen die de provincie verstrekt op individuele aanvragen tot subsidieverstrekking. Doeltreffendheid In deze notitie wordt de volgende definitie voor doeltreffendheid gehanteerd: de mate waarin de beleidsdoelstelling dankzij de subsidieverlening door de provincie wordt gerealiseerd. 1.4 Provinciale context Soorten subsidies Binnen de provincie Zuid-Holland zijn de volgende soorten subsidies te onderkennen: a. Subsidies QD grond van een wetteliik voorschrift^: dit betreft subsidies op basis van de Algemene Subsidieverordening (vastgesteld door PS) en de Uitvoeringsregeling Brede Doeluitkering Verkeer en Ven/oer {vastgesteld door GS). Dit betreffen met name boekjaaren projectsubsidies. o boekiaarsubsidies die voor één of meer boekjaren worden verstrekt voor activiteiten die behoren tot de structurele activiteiten die de subsidieontvanger gewoonlijk in het kader van zijn alledaagse bedrijfsvoering ontplooit; o projectsubsidies voor een activiteit of een samenhangend geheel van activiteiten die afgebakend zijn in de tijd, gericht zijn op een specifiek eindresultaat en die op het moment van de subsidieaanvraag niet behoren tot de alledaagse bedrijfsvoering. Hiervoor dienen immers de boekjaarsubsidies. b. Beqrotinqssubsidies waarbij de subsidieontvanger en het maximale subsidiebedrag in de begroting zijn opgenomen. De activiteiten waarvoor subsidie wordt verstrekt, moeten passen binnen het betreffende programma. Ook binnen begrotingssubsidies worden boekjaar- en projectsubsidies onderkend; c. Incidentele subsidies in incidentele gevallen als bedoeld in artikel 4:23, derde lid, onderdeel d, van de Algemene wet bestuursrecht; voor activiteiten die niet zijn geregeld In de regels als bedoeld onder subsidies op grond van een wettelijk voorschrift. Incidentele subsidies kunnen voor ten hoogste vier jaar worden verstrekt (alleen project); Bovengenoemde subsidiecategorieën kunnen worden gedekt met zowel provinciale middelen, doeluitkeringen Rijk of EU gelden. Op basis van de ASV komen alle subsidies in beginsel in aanmerking om een keer per vier jaar geëvalueerd te worden, met uitzondering van de incidentele subsidies. De redenen hiervoor zijn: er is geen wettelijk voorschrift er is veelal sprake van een beperkte financiële omvang het betreft vaak kortlopende projecten, geen langlopende relaties In dit document wordt voor deze categorie subsidies ook de term subsidieregeling gebruikt. Evaluatie doeltreffendheid Subsidies. Provincie Zuid-Holland Versie GS, 7 mei 2013

6 er is dan ook minder sprake leereffecten t.a.v. de regelgeving Financiële omvang In onderstaande tabel is voor de subsidies op grond van een wettelijk voorschrift en voor de begrotingsubsidies gespecificeerd om welke aantallen beschikkingen of aantallen regelingen** en bedragen het gaat (bron: jaarstukken 2012). Aantal regdlingen Aantal beschikkingen (toegekend) Toegekend bedrag ASV (boekjaar en projectsubsidies) ,4 min BDU uitvoeringsregeling ,8 min Begrotingssubsidies ,6 min Incidentele subsidies min De gegevens over 2012 kunnen ook worden gepresenteerd naar de financiële omvang per regeling of begrotingsubsidies. Gekozen is voor een categorisering op basis van: de verantwoordingsvereisten die worden gehanteerd in de ASV 2013 (zie paragraaf 3) en de door de Randstedelijke Rekenkamer gehanteerde criteria (de Randstedelijke Rekenkamer hanteert t.b.v. de selectie van de gevalsstudie de grens van 1 miljoen voor een proprortionele verhouding tussen aard en omvang van de evaluatie versus subsidiebudget). In onderstaande tabel zijn de provinciale begrotingsubsidies en subsidies welke op basis van een wettelijk voorschrift worden verstrekt, verbijzonderd naar de hoogte van het subsidieplafond. Jaarrekening 2012 project en boekjaarsubsldies (aantal regelingen) begrotingsubsidies < ( 0.5 min) 5 ( 0,2 min) >= en< 1 min 16 ( 5,4 min) 23 ( 11,2 min) >= 1 min 17 ( min) 20 ( min) De categorie subsidieregelingen die boven de 1 miljoen uitkomt, bedraagt 43% van het aantal subsidieregelingen, en vertegenwoordigt ruim het grootste aandeel van de verstrekte subsidiegelden (97% van het totaalbedrag aan toegekende project- en boekjaarsubsidies 2012). Voor begrotingssubsidies komt 42% van het aantal boven de 1 miljoen euro uit. en dit bedraagt 94% van het totaalbedrag aan begrotingssubsidies. De subsidiegelden binnen de BDU uitvoeringsregelingen worden voor een belangrijk deel ingezet op de concessieverlening openbaar vervoer binnen de provincie Zuid-Holland- Evaluatie doeltreffendheid Subsidies. Provincie Zuid-Holland Versie GS. 7 mei 2013

7 1.4.3 Verantwoordingsvereisten In het kader van proportionaliteit wordt in de ASV 2013 aansluiting gezocht bij de Verantwoordingssystematlek Subsidies (RSK) waarbij een onderscheid wordt gemaakt in drie categorieën subsidiebedragen. De verantwoordingslast voor de subsidieontvanger is gekoppeld aan de omvang van het beschikte subsidiebedrag. Subsidiebeschikkingen tot worden direct vastgesteld. In de vaststellingsbeschikking wordt aangegeven welke eisen er worden gesteld ten behoeve van een inhoudelijke controle, die dan steekproefsgewijs achteraf plaatsvindt. Subsidiebeschikkingen tussen de en 125,000 geldt dat de verantwoording geschiedt over de prestatie of over een vooraf overeengekomen meetbare prestatie-eenheid. Bij de prestatieverantwoording kunnen verschillende instrumenten worden gebruikt. De gewenste bewijsstukken die nodig zijn om de prestatie te verantwoorden, worden in de verordening of in de verleningbeschikking opgenomen. De mogelijkheid bestaat om steekproefsgewijs aanvullende informatie op te vragen of ter plekke te controleren of de prestatie is verricht. Er wordt geen bijkomende financiële verantwoording over de werkelijke kosten én geen accountantsverklaring gevraagd. Subsidiebeschikkingen vanaf ,- worden altijd afgerekend op prestatie en kosten (met een controleverklaring van de accountant). 2 Doel evaluatie subsidies De Algemene Rekenkamer onderkent in haar Handreiking effectevaluaties van subsidies vier redenen om aandacht te besteden aan de evaluaties naar doeltreffendheid. Bewiis van doeltreffendheid / basis voor grotere doeltreffendheid: Het verstrekken van een subsidie heeft tot doel om partijen te stimuleren bepaalde activiteiten te ontplooien die een bijdrage leveren aan een maatschappelijk doel. Een evaluatie dient inzicht te geven in de mate waarin het aannemelijk is dat de subsidie in de realisatie van de maatschappelijke doelstelling heeft bijgedragen. Op basis van de evaluatie kan vervolgens een keuze worden gemaakt om de subsidie als beleidsinstrument te continueren, aan te passen of te beëindigen. Hierbij is de evaluatie dan ook gericht op de mogelijkheid tot bijsturing. Een subsidie waarvan reeds is besloten om deze te beëindigen hoeft dan ook niet meer te worden geëvalueerd. Basis voor verbetering andere subsidies: Een evaluatie van een subsidie kan ook een puur lerende insteek hebben voor de toekomst. Voorbeelden van het leereffect zijn het verbeteren van de opzet van subsidieregelingen of het primaire proces Beleidsontwikkeling, De evaluatieresultaten kunnen ook een bijdrage leveren aan het verbeteren van bepaalde procesmatige elementen van de subsidieverlening, zoals de wijze waarop doelgroepen kunnen worden bereikt, beschikkingen worden ontsloten et cetera. Basis voor goede verantwoording: aan de hand van objectieve gegevens over bereikte effecten kan op een goede en geloofwaardige manier verantwoording worden afgelegd aan politiek en bestuur en aan de burger over de besteding van belastinggeld, Primair vindt de verantwoording over doelbereiking plaats via de reguliere verantwoordingscyclus. Voorbeelden van deze rapportages binnen de reguliere verantwoordingscyclus zijn naast de voorjaarsnota, najaarsnota Evaluatie doeltreffendheid Subsidies. Provincie Zuid-Holland Versie GS. 7 mei 2013

8 en jaarrekening, de kwartaalrapportages over de Jeugdzorg in Zuid-Holland, en de voortgangsrapportages Maatschappelijke participatie. Uit de kamerstukken (23700, nr. 3 en 5) die ten grondslag liggen aan hel besluit tot het instellen van een evaluatieverplichting van subsidies, blijkt dat de wetgever belang hecht aan het periodiek beoordelen of een subsidie nog aan haar doel beantwoordt en daarmee te voorkomen dat subsidies langer blijven bestaan dan vanuit de doelstelling van de subsidie gewenst is. Hel doel van een evaluatie is daarmee primair gericht op het zonodig bijsturen van beleidsuitvoering. Beleidsuitgangspunt 1: De mogelijkheid tot bijsturing als primair uitgangspunt te nemen voor toekomstige evaluaties van subsidies; op basis van de uitkomsten van de evaluatie kan worden bepaald of de subsidie ongewijzigd kan worden gecontinueerd, moet worden bijgesteld of beëindigd. 3 Voorwaarden voor efficiënte en effectieve evaluatie Het beleidsinstrument subsidies is een van de vele instrumenten die de provincie ter beschikking staan om de provinciale beleidsdoelen te realiseren. In de beleidskaders en -visies worden deze onderiing afgewogen op doelmatigheid en doeltreffendheid (de beleidstheorie'). Idealiter bevatten de provinciale beleidsvisies de beoogde maatschappelijke doelen, de te realiseren prestaties, hoe de uitvoering vorm krijgt, en welke instrumenten daarvoor worden ingezet met bijbehorende afwegingen. Een kwalitatief goede evaluatie stelt een aantal voorn/aarden die vooral betrekking hebben op de voorkant van het proces beleidsontwikkeling en het ontwikkelen van het subsidie-instrument. Evaluatie is daarmee niel iets dat alleen aandacht vraagt op het moment dat een subsidie ten einde loopt. Goed evalueren begint met gedegen, transparant en waar mogelijk meetbaar geformuleerd beleid. Indien gekozen wordt voor het instrument subsidies moet worden vastgelegd op welke wijze beoogd wordt het gedrag van de subsidieontvanger te beïnvloeden, zodat deze de gewenste activiteiten gaat ondernemen die bijdragen aan de provinciale doelen. Daarbij dient inzichtelijk te zijn gemaakt tot welke prestaties de activiteiten leiden, en hoe deze bijdragen aan het realiseren van de provinciale beleidsdoelen en uiteindelijk de maatschappelijke effecten. Onder andere de Algemene Rekenkamer^ geeft aan dat in de verkennings- of visie/strategiefase een aantal voorwaarden moeten zijn ingevuld. In de digitale 'Leidraad producten beleidsontwikkeling' (voorheen de Gouden Spelregels proces Beleidsontwikkeling') komen deze voorwaarden als handreiking ook terug: Maak een probleemanalyse; Een beleidstheorie bestaat uit het geheel van argumenten en kenniselementen waarop een beleid berust. Dit betreft enerzijds de feitelijke situatie in een beleidsveld en anderzijds de relaties tussen oorzaken en gevolgen van een probleem, tussen doeleinden en middelen en tussen waarden en normen {Hoogenwerf. A,. Henveijer IVI,, Overheidsbeleid, een inleiding in de beleidswetenschap, Kluwer, Alphen aan de Rijn, 8" drul(. 2008, p ) Algemene Rekenkamer. Handreiking effectevaluaties van subsidies. Randvoorwaarden, uitvoering, en benutting, Den Haag, oktober 2011, p. 8 Evaluatie doeltreffendheid Subsidies, Provincie Zuid-Holland Versie GS. 7 mei 2013

9 Stel expliciet een beleidstheorie op: beschrijf volgens welk werkingsmechanisme (dus hoe) en op basis van welke aannames en vooronderstellingen men verwacht dat de in te zetten beleidsinstrumenten (waaronder het instrument subsidie) zullen leiden tot de gewenste activiteiten, de te bereiken prestaties en het te realiseren doel; Formuleer de doelen zo specifiek en meetbaar mogelijk (SMART) en zo mogelijk in de vorm van een streefwaarde; Formuleer deze doelen zowel op het niveau van activiteit, prestatie ais op het niveau van het gewenste maatschappelijke effect; Voer waar mogelijk een nulmeting uit; Plan al bij de start van de subsidie een evaluatie en voorkom dat dit plaatsvindt voordat de effecten zichtbaar kunnen zijn. Weeg af of de subsidie het best afzonderlijk of in samenhang met andere maatregelen kan worden geëvalueerd Registreer de gerealiseerde activiteiten van de individuele subsidies; Monitor de ontwikkeling van de geformuleerde indicatoren, In de praktijk zullen bovenstaande voorwaarden, waaronder de motivatie voor het beleidsinstrument subsidie, onderdeel uitmaken van de beleidsvisie en de onderliggende uitvoeringsprogramma's. 4 Selectiecriteria voor evaluatie 4.1 Inleiding In dit hoofdstuk worden criteria uitgewerkt welke waarborgen dat slim en kosteneffectief wordt geëvalueerd. Centraal staat de vraag: wanneer heefl de evaluatie van subsidies een toegevoegde waarde? De onderiiggende vraag is of de kosten van de evaluatie in verhouding staan met de omvang van de subsidie (proportionaliteitsbeginsel)? 4.2 Continuïteit subsidies Het in hoofdstuk 2 geformuleerde doel van de evaluatie van een subsidie is het beoordelen of de subsidie kan worden gecontinueerd, moet worden bijgesteld of beëindigd. Indien het besluit is genomen om de subsidie te beëindigen heeft het uitvoeren van een evaluatie voor de bijsturing geen toegevoegde waarde. Ongeacht hiervan vindt de verantwoording over de maatschappelijke doelbereiking die met de subsidie wordt beoogd, altijd plaats via de reguliere planning- en conlrolcyclus. 4.3 Looptijd subsidies Wettelijk gezien moet iedere subsidie minimaal na vijfjaar worden geëvalueerd, zie ook paragraaf 1,2, Omdat er bij boekjaarsubsidies bijna twee jaar verstrijkt tussen de eerste aanvraag van een subsidie en de eerste vaststelling, is een evaluatie na een periode van minimaal 1 jaar kort. Om houdbare uitspraken te kunnen doen over de bereikte maatschappelijke doelen is het wenselijk dat minimaal twee volledige cycli van verienen tot vaststellen zijn verstreken. Een subsidie zal dan ook minimaal 3 jaar moeten bestaan om voor evaluatie in aanmerking te komen. IO Evaluatie doeltreffendheid Subsidies. Provincie Zuid-Holland Versie GS, 7 mei 2013

10 4.4 Autonome taak / wettelijke taak De provincie kent subsidies toe op basis van een autonome laak, bijvoorbeeld economie, of een wettelijke taak, bijvoorbeeld jeugdzorg. Bij subsidies op basis van wettelijke taken heeft de provincie minder beleidsvrijheid dan bij subsidies op basis van een autonome laak. Bij subsidies op basis van een wettelijke taak zijn de beleidsdoelen beschreven en afhankelijk van de soort subsidie zijn ook de te subsidiëren activiteiten wettelijk bepaald. Bij een volledig of gedeeltelijke autonome subsidie heeft de provincie meer mogelijkheden om de subsidie qua voorwaarden en bedrag bij te stelten. De provincie heeft hierbij relatief veel zeggenschap over of zelfs een bepalende rol bij het wijzigen van het beleid en het subsidie-instrument. Het evalueren van deze autonome subsidies hebben vanuit de doelstelling van de evaluatie dan ook een hogere toegevoegde waarde. In onderstaande tabel is voor subsidies op basis van een wettelijk voorschrift en begrotingsubsidies de verdeling weergegeven tussen wettelijke en autonome taken. Jaarrekening 2012 Autonoom project en boekjaarsubsidies (aantal regelingen) begrotingsubsidies < ( 0,3 min) 3 ( 0,1 min) >= en < 1 min 11 ( 3 min) 13 ( 6.1 min) >= 1 min 10 ( 55.5 min) 4 ( 15.1 min) Wettelijk < ( 0,07 min) 2 { 0,1 min) >= en< 1 min 5 ( 2,4 min) 5 ( 2,4 min) >= 1 min 6 ( 157,3 min) 12 ( 147,1 min) Onduidelijk < ( 0,1 min) 0 ( Omln) >= en < 1 min 0 ( 0mln) 5 ( 2.8 min) >= 1 min 1 ( 1,5 min) 4 ( 7,9 min) 4.5 Financiële omvang Zoals ook in paragraaf al weergegeven kan de financiële omvang vanuit twee perspectieven worden benaderd. Ten eerste de hoogte van het subsidieplafond en ten tweede de gemiddelde hoogte van de afzonderiijke beschikkingen. Hieruit kwam naar voren dat ruim 40% van het aantal subsidieregelingen van PZH 97% van het totaal verstrekte subsidiebedrag in 2012 vertegenwoordigt. Voor begrotingssubsidies komt in 2012 ook ruim 40% van het aantal subsidies boven de 1 miljoen euro uit, en dit bedraagt 94% van het totaalbedrag aan begrotingssubsidies. Voorgesteld wordt dan ook om in ieder geval alle subsidies met een gemiddeld jaarbudget groter dan 1 miljoen, waarbij de provincie een ruime mate van invloed heefl op de invulling van de subsidie, volledig te evalueren en subsidies met een gemiddeld jaarbudget kleiner dan niet te evalueren'. Voor de overige subsidies wordt de evaluatie deels uitgevoerd. Dit is nader uitgewerkt in paragraaf 5.3. Hierbij wordt een gemiddelde bedoeld over (maximaal) de afgelopen 4 jaar. 1 ] Evaluatie doeltreffendheid Subsidies. Provincie Zuid-Holland Versie GS, 7 mei 2013

11 4.6 SMART-C^ prestaties, doelen en bewezen verbanden hiertussen Voor het evalueren van de doeltreffendheid van subsidies is het van belang dat de doelen en prestaties SMART zijn geformuleerd, zie ook hoofdstuk 3. Tevens is het van belang dat vooraf de causale verbanden tussen de te subsidiëren activiteiten, prestaties en maatschappelijke doelen aannemelijk zijn gemaakt. In de beleidstheorie (welke bijvoorbeeld is uitgewerkt in een beleidsvisie of uitvoeringsprogramma) zijn deze causale verbanden idealiter benoemd. Het is mogelijk dat in recent wetenschappelijk onderzoek of beleidsevaluaties door andere organisaties al is aangetoond dat een subsidie bijdraagt aan een maatschappelijke doelstelling en bestaat ook inzicht in de male waarin. De evaluatie kan dan eventueel worden gebruikt om te onderzoeken of de omstandigheden waarbinnen de provincie de subsidie verstrekt aansluiten op de uitgangspunten in andere studies. De invulling van de evaluatie wordt dan echter maatwerk. Het beleidsinstrument subsidies is een van de middelen die de provincie kan inzetten om haar maatschappelijke doelen ie realiseren. Hel is mogelijk dat de provincie recent het beleidsveld in zijn geheel heeft geëvalueerd op doeltreffendheid. Indien in deze beleidsevaluatie ook de doeltreffendheid van het subsidie-instrument is belrokken, heeft een zelfstandige evaluatie van het beleidsinstrument subsidie geen toegevoegde waarde. De kennis over de doeltreffendheid van de subsidie is immers al voor handen. Dit houdt overigens wel in dat de verslagen over de doeltreffendheid van subsidies mogelijk geen representatief beeld geven aangezien slechts die subsidieregelingen worden geëvalueerd waar bijsturing relevant kan zijn. 4.7 Voortgang uitgevoerde activiteiten Om te komen tot een goede evaluatie is het van belang dat er voldoende definitieve subsidievaststellingen voor de individuele subsidies beschikbaar zijn. Indien onvoldoende inzicht bestaat over de met de subsidies gerealiseerde activiteiten kan in de evaluatie geen representatieve uitspraak worden gedaan over de doeltreffendheid van subsidies op basis van een wettelijk voorschrift. Voorgesteld wordt om een percentage van 70% Ie hanteren over de verleende subsidies in de vier jaar voorafgaand aan de evaluatie. Indien minder subsidiebeschikkingen zijn vastgesteld kan de evaluatie wel worden gebruikt om bijvoorbeeld te onderzoeken of de doelgroep wordt bereikt. De invulling van de evaluatie wordt dan echter maatwerk. 4.8 Politieke afweging Bovenstaande criteria leiden vanuit met name een kosten-batenanalyse tot een digitale (ja/nee) besluitvorming over al dan niet evalueren. Maatschappelijk of bestuurlijk kan echter de behoefte bestaan om ongeacht de bovengenoemde criteria inzicht te krijgen in de doeltreffendheid van een bepaalde, door de provincie verstrekte, subsidie. Om die reden bestaat altijd de mogelijkheid om te besluiten tot de evaluatie van een specifieke subsidie, 4.9 Conclusie selectiecriteria voor evaluatie Beleidsuitgangspunt 2: Specifiek, Meetbaar, Acceptabel, Realistisch, Tijdgebonden en Consistent 12 Evaluatie doelueffendheid Subsidies, Provincie Zuid-Holland Versie GS. 7 mei 2013

12 Onderstaande besltsboom te gebruiken om te bepalen of een subsidie op grond van een wettelijk voorschrift of een begrolingsubsidie in aanmerking komt voor een evaluatie op doeltreffendheid. 13 Evaluatie doeltreffendheid Subsidies, Provincie Zuid-Holland Versie GS. 7 mei 2013

13 Wordt het beleidsdoel blijvend nagestreefd (geen besluit tot sloppen subsidie)? (paragraaf 4.2) i Ja Is de looptijd van de subsidie meer dan 3 jaar of is subsidie niet of meer dan drie jaar geleden geëvalueerd? (paragraaf 4.3) Nee Nee Geen evaluatie Bijsturing van bestaande regeling is niet meer mogelijk Geen evaluatie Wettelijke noodzaak ontbreekt of bijsturing is nog niet opportuun ' Ja Bij een wettelijke taak: heefl de provincie vrijtieid in het bepalen van de te van het tie leidsdoel? (paragr aaf 4.4) Ja Nee Geen evaluatie Omdat de provincie geen beleidsvrijheid heeft, heeft evaluatie van de regeling door de provincie geen toegevoegde waarde. Evaluatie dient te worden uitgevoerd door wetgever. Is het jaarlijkse subsidiebudget over de afgelopen vier jaar gemiddeld groter dan ei25,000? (paragraaf 4.5) 1 Ja Ontbreekt een bewezen actuele tjeleidstheorie? (paragraaf 4,6) ] Ja Is het percentage vastgestelde subsidiebeschikkingen meer dan 70% (paragraaf 4,7} Nee Nee Nee Geen evaluatie De proportionaliteit ontbreekt. Geen of maatwerk evaluatie Er is al recente informatie over de mate waarin de subsidie bijdraagt aan hel beleidsdoel Geen of maatwerk evaluatie Er kan geen representatieve uitspraak worden gedaan over de doeltreffendheid van de subsidie Ja Evalueren 14 Evaluatie doeltreffendheid Subsidies, Provincie Zuid-Holland Versie GS, 7 mei 2013

14 5 Evaluatie- en rapportagemethodiek 5.1 Inleiding In hoofdstuk 4 zijn criteria uitgewerkt welke het besluit onderbouwen om een subsidie wel of niet te evalueren. In het al eerder aangehaalde kamerstuk (23700 nr. 3) dat ten grondslag ligt aan de evaluatieverplichting van de subsidies in de Awb, schrijft de wetgever dat bij evaluatie niet in de eerste plaats gedacht moet worden aan de uitvoering van kostbaar wetenschappelijk onderzoek. Het is vaak zeer wel mogelijk, en verdient dan ook de voorkeur om op basis van periodiek door uitvoeringsorganen aangeleverde gegevens, jaarverslagen van inspecties en dergelijk voldoende zicht te krijgen op de werkelijkheid achter de wet. Dit hoofdstuk beschrijft de inzet van de door de Randstedelijke Rekenkamer ontwikkelde Handreiking evaluatie doeltreffendheid provinciale subsidies vanuit het proportionaliteitsbeginsel, 5.2 Methodiek op hoofdlijnen De Randstedelijke Rekenkamer heeft in oktober 2012 een handreiking gedaan voor de evaluatie van een subsidie. Zij onderkent daarin zes stappen: Stap 1: beleidskader reconstrueren; Slap 2: beschikte middelen onderzoeken; Slap 3: uitgevoerde activiteiten onderzoeken; Stap 4: behaalde prestaties onderzoeken; Stap 5: mate van doelbereiking onderzoeken; Stap 6: mate van doeltreffendheid beoordelen De onderiiggende deelvragen bij deze stappen zijn uitgewerkt in bijlage 1. De onderzoeksresultaten van de afzonderlijke stappen beïnvloeden de aannemelijkheid van de beoordeling van de doeltreffendheid van een subsidie. Hel ontbreken van kwalitatief of kwantitatief voldoende gegevens, inzicht in exierne factoren en gerelateerd beleid zijn van invloed op de classificatie van hel oordeel. De Randstedelijke Rekenkamer heeft in haar handreiking onderstaand schema opgenomen om de beoordeling van doeltreffendheid van subsidies te classificeren naar het niveau van beschikbaarheid van informatie. 15 Evaluatie doeltreffendheid Subsidies, Provincie Zuid-Holland Versie GS, 7 mei 2013

15 In de evaluatie opgenomen? Gradatie doeltreffendheid Voorbeeld De voorgenomen prestatie en de mate waarin deze is geleverd. Nee Geen inzicht in doeltreffendheid. N,v,t Ija Het voorgenomen doel en de mate waarin dit is bereikt. Nee Inzicht in prestatielevering. Zoals voorgenomen zijn 100 subsidies verstrekt voor hel isoleren van woningen I Ja Aanvullende informatie (bijvoort>eeld via een enquête) die aannemelijk maakt dat het handelen van de provincie heeft bijgedragen aan het realiseren van het doel. Zoals beoogd is het energieverbruik in de provincie verminderd I Ja De mate waarin de prestaties van de provincie hebben bijgedragen aan het realiseren van het doel. Nee Aannemelijk inzicht in doeltreffendheid (ex post) Het energieverbruik is verminderd in de plaatsen waar de provincie subsidie heeft verstrekt Ja Volledig inzicht in doeltreffendheid {ex post). Als boven, maar nu gecorrigeerd voor de effecten van andere ontwikkelingen, bijvoorbeeld de effecten van het Rijksbeleid 5.3 Kosten versus diepgang van de evaluatie In paragraaf 4.5 is onderscheid gemaakt naar de financiële omvang van subsidies. Daarbij is geconcludeerd dat alle subsidies met een gemiddeld jaarbudget boven de 1 min kwalificeren voor een volledige evaluatie, en subsidies met een gemiddeld jaarbudget kleiner dan niet voor evaluatie In aanmerking komen. De vraag is dan In welke mate er gedifferentieerd moet worden in de diepgang van de evaluatie voor de overige subsidies. Ook hierbij geldt het uitgangspunt dat de benodigde inzet voor de evaluatie in verhouding moet staan tot de omvang van het subsidiebudget (proportionaliteltbeginsel). Provincie Noord-Holland heeft onder hun raamcontracten een verkennend onderzoek gedaan naar de kosten van een volledige subsidie-evaluatie. De kosten voor het evalueren van subsidies met een jaarlijks budget tussen de en 1 miljoen bedragen ongeveer per subsidie. Voor subsidies met een budget van boven de 1 miljoen bedragen de kosten ongeveer per subsidie. Door de evaluatie voor de (budgettair) kleinere subsidies 'deels' of niet uit te voeren, wordt op de eva I uatie kosten bespaard of blijven de kosten in proportie met het subsidiebudget. 16 Evaluatie doeitreffendheid Subsidies, Provincie Zuid-Holland Versie GS. 7 mei 2013

16 Provinciale beleidsvrijheid is een ander criterium dal de mate van diepgang van een evaluatie bepaald. Ook bij subsidies op grond van een wettelijke taak kan, afhankelijk van de beleidsvrijheid van de provincie, worden besloten om niet alle elementen van de Handreiking evaluatie doeltreffendheid subsidies uil te voeren. In paragraaf 4.4 is hier ook op ingegaan. Op basis van bovenstaande wordt het volgende kader voorgesteld voor toepassing van de Handreiking evaluatie doeltreffendheid provinciale subsidies: Wettelijk Autonoom Plafond^ < [vliet evalueren Niet evalueren Plafond >= en < 1 min Deels Deels Plafond >= 1 min Deels / Volledig. Afhankelijk van Volledige evaluatie beleidsvrijheid provincie 'Deels' evalueren betekent dat stappen 1 t/m 4 van de handreiking nagenoeg volledig worden uitgevoerd, en de stappen 5 en 6 alleen worden uitgevoerd op basis van reeds bij de provincie beschikbare informatie, waarbij een analyse van externe factoren op de doelrealisatie achterwege gelalen wordt. Een onderzoek naar de administratieve lasten is bewust niet meegenomen in de te beantwoorden vragen van de Handreiking. De provincie laat reeds geregeld door het bureau Sira onderzoek doen naar de administratieve lasten, laatste peildatum 31 december Op basis van deze informatie kan op dat moment al worden bijgestuurd. Het heeft minder toegevoegde waarde om deze informatie slechts eenmaal in de vier jaar bij de evaluatie van de subsidie te analyseren. In het schema in bijlage 2 is voor alle bovengenoemde zes categorieën subsidies een uitgewerkt voorstel gedaan voor welke activiteiten wel of niel dienen te worden verricht per slap uil de evaluatiemethodiek. Hiermee is de diepgang van de evaluatie per soort subsidie bepaald. Beleidsuitgangspunt 3: Vanaf de eindevaluatie 2014 subsidies conform hel voorstel in Bijlage 2 te evalueren, maar waarbij afhankelijk van de maatschappelijke of bestuurlijke informatiebehoefte de mogelijkheid beslaat om van dit kader af te wijken en maatwerk te leveren. 5.4 Rapportagecyclus In de huidige ASV is in artikel 7 opgenomen dat er twee keer verslag moet worden gedaan over de doeltreffendheid en effecten van subsidies: halverwege de collegepehode en voor hel einde van het jaar voorafgaand aan de verkiezingen. Onder andere gezien de kosten die verbonden zijn aan een gedegen subsidie-evaluatie wordt in principe een termijn gehanteerd van eens per 4 jaar evalueren (wettelijk wordt zelfs maar 1 maal per 5 jaar voorgeschreven). Om een piekbelasting halverwege en aan het eind van de collegeperiode te voorkomen heeft het de voorkeur om de subsidie-evaluaties te spreiden in de tijd. Op basis van een evaluatiekalender die jaarlijks door PS wordt vastgesteld, wordt inzicht Dit betreft het in de programmabegroting opgenomen jaarlijks plafond voor (een deel) van de subsidieregeling, inclusief de vastgestelde mutaties in de Voorjaarsnota of Najaarsnota. 17 Evaluatie doeltreffendheid Subsidies, Provincie Zuid-Holland Versie GS. 7 mei 2013

17 geboden in de evaluaties die dat jaar zullen plaatsvinden. Over de resultaten van deze subsidieevaluaties wordt jaarlijks gerapporteerd met de jaarrekening. Op deze wijze wordt geborgd dat aan de verplichting in de ASV wordt voldaan om een subsidie eens per vier jaar te evalueren. Beleidsuitgangspunt 4^ : De subsidies worden telkens om de 4 jaar geëvalueerd. De evaluatie van subsidies vindt gespreid in de tijd plaats. De evaluatiekalender in de paragraaf bedrijfsvoering van de programmabegroting biedt inzicht in de subsidie-evaluaties die dal jaar zullen plaatsvinden. Over de resultaten van deze subsidie-evaluaties wordl jaarlijks gerapporteerd bij de jaarrekening, tenzij de evaluatieresultaten noodzaken tot eerdere bijsturing op het subsidie-instrument. Dit beleidsuitgangspunt gaat in met de programmabegroting Rapportagevorm De wetgever heeft omtrent de vorm van de evalualierapportage geen eisen gesteld (Kst nr 3). maar schrijft wel dat een evaluatie een adequaat inzicht dienl te geven in de doeltreffendheid en de effecten van de subsidie in de praktijk. Het adequate inzicht wordt verkregen met hel antwoord op de vragen uit de handreiking evaluatie doeltreffendheid van de Randstedelijke Rekenkamer. Hel verdient de voorkeur om de rapportages conform de slappen uit de handreiking op te stellen. I Beleidsuitgangspunt S: De evaluatierapportage wordt ingericht conform de stappen uit de Handreiking evaluatie doeltreffendheid provinciale subsidies van de Randstedelijke Rekenkamer. Artikel 7 van de ASV stelt geen eisen aan het verslag dat halverwege en aan het einde van de collegeperiode aan PS wordt aangeboden. Met de evaluatierapportages wordt jaarlijks gedurende de gehele collegeperiode inzicht gegeven in de doeltreffendheid van de afzonderlijke subsidies, Het verslag halverwege en aan het einde van de collegeperiode kan dan worden ingevuld door het geven van een terugkoppeling over de conclusies en mogelijke leerpunten uit de evaluatierapportages die sinds het vorige verslag zijn opgesteld. Daarnaast kan in hel verslag verantwoording worden afgelegd over de wijze waarop de conclusies uit de afzonderiijke rapportages zijn opgepakt. Beleidsuitgangspunt 6^ Het verslag over de doeltreffendheid van subsidies halverwege en aan het eind van de collegeperiode bestaat uil een terugkoppeling over de conclusies en mogelijke leerpunten uit de afzonderlijke evaluatierapportages die sinds het vorige verslag zijn opgesteld. Daarnaast kan in het verslag verantwoording worden afgelegd over de wijze waarop de conclusies uil de afzonderlijke rapportages zijn opgepakt. Deze beleidsuitgangspunten zijn een nadere precisiering van de toelichting welke wordt gegeven in Provinciaalblad 2013 nr. 10 op artikel 7 van de ASV. 18 Evaluatie doeltreffendheid Subsidies. Provincie Zuid-Holland Versie GS, 7 mei 2013

18 Bijlage 1 Evaluatiestappen uit de handreiking van de Randstedelijke Rekenkamer Stap 1 - Beleidskader reconstrueren; Beschrijf nut en noodzaak; Beschrijf de beleidstheorie: Beschrijf doelen, prestaties, activiteiten en middelen; o Ga na of de doelen en prestaties Sf^ART zijn geformuleerd; o Controleer of indicatoren aan alle doelen en prestalies zijn gekoppeld; o Controleer of de subsidiabele activiteiten helder zijn en of ze gerelateerd zijn aan de prestaties; o Beoordeel de samenhang van doelen, prestaties en activiteiten. Stap 2 - Beschikte middelen onderzoeken; Inventariseer de beschikte middelen; o Vergelijk aard en omvang van de subsidieaanvragen met die van de verstrekte subsidies; o Bepaal of de doelgroep bereikt is, Beoordeel de male van uitputting van de subsidie; o Breng de uitputting van een subsidiebudget over meerjaren in beeld; o Breng in beeld welke subsidies zijn toegekend en vastgesteld. Beoordeel de uitvoeringskosten en administratieve lasten van de subsidie; o Breng de uitvoeringskosten in beeld; o Breng de administratieve lasten in beeld. Stap 3 - Uitgevoerde activiteiten onderzoeken; Onderzoek welke activiteiten zijn uitgevoerd; o Stel een overzicht op van de activiteiten waarvoor subsidie is toegekend; o Verzamel informatie bij de subsidieontvangers over uitgevoerde activiteiten; o Stel een overzicht op van alle activiteiten waarvoor subsidie is vastgesteld. Onderzoek in welke mate beoogde activiteiten zijn uitgevoerd: o Vergelijk de beoogde met de uitgevoerde activiteiten; o Geef verklaringen voor afwijkingen. Stap 4 - Behaalde prestaties onderzoeken; Breng in beeld welke prestaties zijn behaald; o Verzamel gegevens over de prestaties behaald met subsidies; o Verzamel gegevens over de indicatoren. Beoordeel of beoogde prestaties zijn gehaald; o Vergelijk de beoogde met de behaalde prestaties; o Verklaar gevonden afwijkingen. ig Evalualie doeltreffendheid Subsidies. Provincie Zuid-Holland Versie GS. 7 mei 2013

19 Stap 5- Mate van doelbereiking onderzoeken'^ Breng de doelbereiking In beeld; o Verzamel informatie bij de provincie over doelbereiking: o Raadpleeg externe bronnen voor informatie over doelbereiking; o Ovenweeg om meetgegevens te verzamelen; o Onderzoek de kwaliteit van de verzamelde gegevens. Beoordeel de doelbereiking; o Vergelijk de beoogde met de bereikte doelen: o Verklaar eventuele afwijkingen. Slap 6 - Mate van doeltreffendheid beoordelen: Beoordeel in hoeverre de subsidies noodzakelijk waren; Ga na welke activiteilen ook zonder subsidie zouden zijn uilgevoerd; Beoordeel hoe doeltreffend de subsidies zijn; o Onderzoek in hoeverre externe factoren een rol spelen; o Onderzoek of andere beleidsinstrumenten een rol spelen: o Onderzoek de betekenis van activiteilen voor behaalde prestaties en doelbereiking: o Weeg de doeltreffendheid af tegen de uitvoeringskosten; o Classificeer de beoordeling van doeltreffendheid. Delen uit stap vijf kunnen worden ontleend aan de verantwoording in de bestuurlijke P&C cyclus. 20 Evaluatie doeltreffendheid Subsidies, Provincie Zuld-Holland Versie GS, 7 mei 2013

20 Bijlage 2 Toepassing Handreiking evaluatie doeltreffendheid provinciale subsidies Stappen uit de handreiking evaluatie doeltreffendheid subsidiereqelinqen van de Randstedelijke Rekenkamer k 125<x<M 1 > M 1 (plafond per jaar) J (plafond per jaar) Wettelijk Autonoom Stap 1 - Beleidskader reconstrueren: - Bescfirijf nut en noodzaak; - Beschrijf de beleidstheorie; - Beschnjf doelen, prest;^ties, activiteiten en middelen: - Ga na of de doelen en prestaties SMART zijn geformuleerd; - Controleer of indicatoren aan alle doelen en prestaties zijn gekoppeld; - Controleer of de subsidiabele activiteilen fielder zijn en of ze gerelateerd zijn aan de prestaties, - Beoordeel de samenhang van doelen, prestaties en activiteilen. Stap 2 - Beschikte middelen onderzoeken; - Inventariseer de beschikte middelen. - Vergelijk aard en omvang van de subsidieaanvragen met die van de verstrekte subsidies; - Bepaal of de doelgroep bereikt is. - Beoordeel de mate van uitputting van de subsidie; - Breng de uitputting van een subsidiebudget over meerjaren in beeld; - Breng in beeld welke subsidies zijn toegekend en vastgesteld. - Beoordeelde uitvoeringskosten en administratieve lasten van de BJM^ 1 - Breng de uitvoeringskosten in tieeld; HB!., - Breng de administratieve lasten in beeld, lnlu;r...-. ^ Stap 3 - Uttaevoerde activiteiten onderzoeken; - Onderzoek welke activiteiten zijn uitgevoerd; - Stel een overzicht op van de activiteilen waarvoor subsidie is toegekend; - Verzamel infomialie bij de subsidteonlvangers over uitgevoerde activiteiten; - Stel een overzicht op van alle activiteiten waarvoor subsidie is vastgesteld. - Onderzoek in welke male beoogde activiteiten zijn uilgevoerd; - Vergelijk de beoogde met de uitgevoerde activiteiten; - Geef verklaringen voor afwijkingen. Stap 4 - Behaalde prestaties onderzoekan: - Breng In beeld welke prestaties zijn behaald; - Verzamel gegevens over de prestaties behaald met subsidies; - Verzamel gegevens over de indicatoren. - Beoordeel of beoogde prestaties zijn gehaald - Vergelijk de beoogde mei de behaalde prestaties; - Verklaar gevonden afwijkingen. 21 Evalualie doellreffendfieid Subsidies. Provincie Zuid-Hotland Versie GS, 7 mei 2013

21 Stappen uit de handreiking evaluatie doeltreffendheid kf12s<x<m 1 >M 1(plafomlpwJaar) 1 subsidiereqelinqen van de Randstedelijke Rekenkamer (plafond per jaar) Wettelijk Autonoom Stap 5 - Mate van doelbereikina onderzoeken: - Breng de doelbereiking in beeld; - Verzamel informatie bij de provincie over doeft>ereiking; - Raadpleeg exteme bronnen voor informatie over doelbereiking. - Overweeg om meetgegevens Ie verzamelen; - Onderzoek de kwaliteit van de verzamelde gegevens. - Beoordeelde doelbereiking; - Vergelijk de beoogde met de bereikte doelen; - Verklaar eventuele afwi kjngen. Stan 6 - Mate van doeltreffendheid beoordelen: - Beoordeel m hoeverre de subsidies noodzakelijk waren; - Ga na welke activiteiten ook zonder subsidie zouden zijn uitgevoerd; - Beoordeel hoe doeltreffend de subsidies zijn; ( - Onderzoek in hoeverre externe factoren een rol spelen; - Onderzoek of andere t)eleidsinstrumenten een rot spelen; Afhankelijk van de beleidsvrijheid bepalen w«aspecten van stap 5 en 6 worden opgepak in de evaluatie - Onderzoek de ttelekenis van activiteiten voor behaalde prestalies en doelbereiking; 01 - Weeg de doeltreffendheid af tegen de uitvoeringskosten; - Classificeer de beoordeling van doeltreffendheid. 22 Evalualie doeltreffendheid Subsidies. Provincie Zuid-Holland Versie GS, 7 mei 2013