Evaluatiepraktijk en ex ante evaluatie in Vlaanderen

Transcriptie

1 Evaluatiepraktijk en ex ante evaluatie in Vlaanderen Marleen Brans, Bart De Peuter, Valerie Pattyn en Ellen Fobé KU Leuven Bijeenkomst Evaluatorennetwerk over ex ante evaluatie 21 mei 2013 Den Haag

2 inhoud I. Evaluatiepraktijk in (België en) Vlaanderen II. Ex ante evaluatie in Vlaanderen III. Ex ante evaluatie beleidsinstrumenten in Vlaanderen - Landbouw

3 I. Evaluatiepraktijk in (België en) Vlaanderen De maturiteit van evaluatiecultuur en praktijk gemeten Furubo, 2002 en Varone, Jacob en De Winter, ) Evaluatie gebeurt in verschillende sectoren 2) Aanbod aan evaluatoren is gespecialiseerd in verschillende disciplines en beheerst verschillende technieken 3) Er is een nationaal discours m.b.t. evaluatie 4) Evaluatie is een vak met eigen verenigingen 5) Evaluatie is institutioneel verankerd in de uitvoerende macht 6) Evaluatie is institutioneel verankerd in de wetgevende macht 7) Er heerst pluralisme onder evaluatoren 8) Een deel van evaluaties hebben betrekking op beleidseffecten

4

5 1) Evaluatie gebeurt in verschillende beleidssectoren - Empirische bevestiging via documentenanalyse: offerteoproepen, evaluatierapporten, beleidsplannen, taakstelling administratie-onderdelen in organigrammen - Ongelijke ervaring en expertise tussen sectoren

6 1) Evaluatie gebeurt in verschillende beleidssectoren - Federaal (gebaseerd op enquête bij federale beleidsmakers (n=68); Jacob & Varone, 2001) - 56% hanteert beleidsevaluatie als instrument uitgevoerde evaluaties tussen (waarvan 432 door eenzelfde organisatie) - Bij 2/3 de interne beslissing, 1/3 de wettelijke / reglementaire verplichting of politieke beslissing - Actieprogramma > algemeen beleid > maatregelniveau - Tijdsperspectief: 2/3 de ex post - Profiel evaluator: 69% intern

7 1) Evaluatie gebeurt in verschillende beleidssectoren - Vlaanderen (Pattyn, 2010). Survey 27 departementen & agentschappen - Wie evalueert? (= geen: monitoring, etc.) - 18 dept/agentschappen in meer of mindere mate - 9 geen intentie tot evaluatie - 2 plannen te evalueren - Frequentie: sterk variërend: van 0 tot 5 à 8 op jaarbasis (uitschieters: VDAB; Departementen Onderwijs; EWI; LNE; WSE; LV) - Intern / extern: 11/18 overwegend intern; 7/18 dominant extern

8 Tijdsperspectief evaluaties n=18 (Pattyn, 2010) Dominant ex post evaluaties Meer ex ante te verwachten in toekomst?

9 2) Aanbod aan evaluatoren gespecialiseerd in verschillende disciplines en beheersing van verschillende technieken - Toenemend aantal evaluatiefuncties in overheidsorganisaties - Uiteenlopende achtergronden in academische onderzoekscentra en private bureaus - Private markt nog beperkt - Invloed van de EU inzake technieken (bv. RIA, MER)

10 3) Een nationaal discours m.b.t. evaluatie - Geen omvattend jargon - Invloed van de EU - Screening van Vlaamse beleidsnota s op referenties naar beleidsevaluatie

11 Policy area België en Vlaanderen CUM. PP AC PI/PL TOTAL PP AC PI/PL TOTAL PP AC PI/PL TOTAL TOTAL Education Foreign Policy/ International Cooperation Tourism Culture Agriculture Youth Energy Media Urban policy Finance and budget Spatial planning Brussels affairs Flemish Periphery Region around Brussels Housing Environment Sports Employment Home affairs Civil Service/Administrative affairs Planning and statistics Wellness, public health, family and equal opportunities** / Poverty** Mobility and Public Works (Social) Economy, Science, Technology, Innovation Monuments, landscapes and archaeology NA NA NA NA PPS NA NA NA NA NA NA NA NA 2 Public Communication/Media NA NA NA NA Civic integration NA NA NA NA Sustainable Development NA NA NA NA NA NA NA NA 0 TOTAL (n) %

12 4) Een vak met eigen verenigingen - Geen discipline, wel groeiend praktijkveld - Société Wallonne d Evaluation et de Prospective (SWEP, 2000) - Vlaams Evaluatieplatform (VEP, december 2007) - (Nog) geen eigen evaluatiestandaarden

13 5) Institutionele regelingen bij de uitvoerende macht Gemeenschappelijke trend voor alle bestuursniveaus - Federale evaluatieve tests voor wetgeving: gendertest, DOEB-test, Kafka-test - Regionale evaluatieve tests voor wetgeving: (cf. infra) - BBB-hervorming van de Vlaamse administratie - Departmenten verantwoordelijk for evaluatie van beleidsuitvoering, de effectiviteit van instrumenten, en de relatie tussen output & effecten. - Agentschappen moeten beleidsinformatie aandragen - Beleidseffectenrapportage op domeinniveau - Toenemend aantal evaluatiefuncties - Lokaal niveau: evaluatie vermeld in het nieuwe Gemeentedecreet en Provinciedecreet (2005); rapportering i.h.k.v. convenanten

14 6) Institutionele regelingen bij de wetgevende macht - Geen grote rol van het Parlement (rol van particratie?) - Interesse in kwantitatieve beleidsinformatie - In the pipeline: decreetsevaluatie: toetsing van de kwaliteit en/of beleidsinhoud van regelgeving?

15 7) Pluralisme van evaluatoren in elk beleidsdomein - Meer en meer ook beleidsevaluatie in het takenpakket van organisaties en individuen - Beperkt aanbod uit private sector

16 8)Evaluatie-activiteiten bij het hoogste auditorgaan - Wet 1998: Rekenhof kan toetsen op goede besteding van middelen en op de 3 E s (economy, efficiency, effectiveness - Performance audits; in de praktijk vaak een indirecte evaluatie van beleidseffectiviteit a.d.h.v. randvoorwaarden

17 9) Een deel van de evaluaties heeft een focus op beleidseffecten - OK (cf. evaluatierapporten)

18 Conclusie evaluatiepraktijk - Zowel op federaal als regionaal niveau indicaties van een rijpende evaluatiecultuur, maar er is nog een grote groeimarge - Sectoren volgen hun eigen dynamiek

19 II Ex ante evaluatie Geen geïnstitutionaliseerde verplichting tot ex ante beleidsevaluatie, wel Advies Inspectie van Financiën Wettigheid en regelmatigheid Doelmatigheid en kostenefficiëntie Budgettaire inpasbaarheid op termijn Advies Raad van State, afdeling wetgeving Louter juridisch-technisch Advies dienst wetsmatiging over RIA (cf. infra)

20 Ex ante evaluatie: toetsen en thema s Geïnstitutionaliseerde toetsen Reguleringsimpactanalyse (RIA) Lokale besturentoets JoKER (jongeren- en kindereneffectenrapport) Beperktere toepassing: Milieueffectenrapportage (MER) Mobiliteitseffectenrapport (MOBER) Maatschappelijke kosten-batenanalyse (MKBA)

21 RIA Sinds 2005 een verplicht onderdeel van de goedkeuringsprocedure van regelgeving (decreten en besluiten van de Vlaamse Regering) op initiatief van de Vlaamse Regering 2010: strategisch beleidskader voor kwaliteitsvolle regelgeving en administratieve vereenvoudiging : hervorming RIA 2012: vernieuwde leidraad Pijnpunt: formele oefening, op moment dat beleidskeuze inhoudelijk reeds gemaakt is RIA verhindert niet dat minder formele ex ante evaluatie binnen de beleidsvoorbereidende cellen in departementen plaats vindt

22 RIA RIA leidt in principe tot de opmaak van regelgeving die voldoet aan de acht kenmerken van goede regelgeving (noodzakelijk en doeltreffend, doelmatig en afgewogen, uitvoerbaar en handhaafbaar, rechtmatig, samenhangend, eenvoudig, duidelijk en toegankelijk, onderbouwd en overlegd, blijvend relevant en actueel). door de persoon of het team dat de regelgeving voorbereidt, i.s.m. cel wetskwaliteit (dept. Bestuurszaken) Finaal initiërende minister verantwoordelijk Uitzonderingen: hoogdringendheid, auto-regulering, beperkte beleidsruimte, begroting en fiscaliteit, uitvoering van plannen en programma s Hervorming: pre-ria ~ regelgevingsagenda

23 RIA Titel Samenvatting Probleembeschrijving Beleidsdoelstelling Opties Analyse van de effecten Vergelijking van de opties Uitvoering Administratieve lasten Handhaving Evaluatie Consultatie Contactinformatie

24 RIA

25 Lokale besturen toets Omzendbrief van 18 mei 2001: Een nota aan de Vlaamse Regering is in voorkomend geval slechts ontvankelijk indien: 1 ) de berekening van de eventuele weerslag van het voorstel van beslissing op de financiën van de lokale besturen wordt vermeld; [ ]. Een zo nauwkeurig mogelijke beschrijving en becijfering van de impact op: Personeel Werkingsuitgaven Investeringen en schuld Ontvangsten

26 Lokale besturen toets Screening 60 cases op toepassing Informatiegehalte over de weerslag op LB Aantal Geen info / uitspraak over impact 4 Vermelding geen impact 49 Impact wordt summier kwalitatief beschreven 2 Uitgebreide kwalitatieve beschrijving zonder berekening OF enkel cijfers 3 zonder kwalitatieve beschrijving Kwalitatieve beschrijving mét cijfermatige berekening 2 Totaal 60 Niet altijd zelfstandig leesbare rubriek Weinig cijfers en beperkte koppeling met RIA Niet altijd terechte conclusie geen impact Hiaat: weerslag op de lokale beleidsvrijheid en differentiatie Quid directe / indirecte effecten, scenario s?

27 Balans: ex ante toetsen Review Vroeg genoeg in het proces Politieke openheid voor rationele besluitvorming Helder beleidskader als randvoorwaarde voor relevantie Thematische toets verhoogt aandacht Toepassingsgebied Proportionaliteit (richtlijnen) Relevantie / bijwerking doorheen het regelgevend proces Naar een integratie van toetsen (in de RIA) : verkokering per horizontaal thema vermijden, overzicht op effecten

28 III. Onderzoek naar keuze van beleidsinstrumenten Vlaamse overheid Steunpunt Bestuurlijke Organisatie Vlaanderen Project Ex ante evaluatie in functie van een effectieve en efficiënte beleidsinstrumentenkeuze Focus: Welke rol spelen ex ante evaluaties in de beleidsinstrumentenkeuze Hoe deze rol optimaliseren? Context: Complexiteit van beleidsproblemen, multi-level beleidsvoering, media-aandacht en korte termijn

29 III.1. EAE ifv beleidsinstrumentenkeuze Afweging alternatieve instrumenten o o Inherent politiek proces Maar ruimte en aandacht voor geïnformeerd beleid: Policy appraisals bij de Vlaamse overheid Formeel: verplichte RIA (2005) - RIA databank ( - Kritiek: ex post verantwoording van gemaakte keuzes (Van Humbeeck, 2012) Informele beleidsvoorbereidende studies - Minder systematisch gedocumenteerd - Variatie aan benamingen

30 III.2. EAE ifv beleidsinstrumentenkeuze Analyse beleidsdomein Landbouw: Algemene kenmerken Focus Locus Aanbevelingsgraad Inhoudelijke en procesgerelateerde kenmerken Europese dimensie Deel van formeel beleidsproces Analytische tools Analysefocus mbt beleidsinstrumenten

31 III.3. EAE ifv beleidsinstrumentenkeuze: resultaten Totaal Algemene kenmerken PA totaal RIA APA Focus Locus Aanbevelinge n Jaar (#37) (#14) (#23) BB BI Int. Ext. Ja Geen Totaal (%) 100% 38% 62% 19% 81% 99,7% 0,3% 81% 19%

32 III.4. EAE ifv beleidsinstrumentenkeuze: resultaten Totaal Process and Content Characteristics PA EU Beleids proces Tools BI-info Year (#30) Ja Neen Ja Neen Eenv. MA MOD BM SC SH Eco Adm Pol Totaal (%) 100% 57% 43% 53% 47% 80% 43% 10% 20% 13% 16% 77% 77% 23%

33 III.5. EAE ifv beleidsinstrumentenkeuze: reflectie Reflectiepunten: o o o Rol van Europa als stimulerende factor voor ex ante analyses van beleid(sinstrumenten)? Weinig gebruik van specifieke analysetools in formele mechanismen Gebruik van informatie uit policy appraisals ifv beleidsinstrumentenkeuze?

34 VRAGEN?