banner flags EU.tif Bewegen tussen verschillende beleidsevaluaties Bernard Steunenberg Institute of Public Administration
Evidence-informed beleid Vraag: Wat was de COBA? Interdepartementale Commissie voor de Ontwikkeling van Beleidsanalyse Vraag: Wanneer is die commissie ingesteld? Ingesteld in 1971 door het ministerie van Financiën Met participatie van alle departementen, CBS, CPB en Directie overheidsorganisatie en automatisering Doel: het initiëren, stimuleren en coördineren van de beleidsanalyse binnen de Rijksoverheid
Rationele beleidsanalyse: wat hebben we gedaan? 1. Doelstellingenanalyses (COBA: jaren 70) Uitwerken van de doelstellingenstructuur van beleid: wat willen we? 2. Instrumentenanalyses (COBA: jaren 70-80) Systematische analyse van verschillende beleidsinstrumenten: wat werkt? 3. Kosten-baten/kosten-effectiviteitsanalyses Wat is de maatschappelijke meerwaarde in totaliteit of naar effectiviteit? 4. PPBS=Planning, Programming, Budgeting System (VS: jaren 60) Integrale aanpak van beleidsprogramma s, effectiviteit en kosten 5. Programmabegroting en prestatie indicatoren (VS: jaren 70) Koppelingen van doelstellingen, prestaties en uitgaven 6. Zero-base-budgettering (jaren 70) Begrotingen opbouwen aan de hand van alle beleidskeuzes 7. Sunset-clausule (jaren 70)/nu: experimenteel bestuur Beperken van de looptijd van overheidsprogramma s 8. Outputbudgettering ( performance budgeting ) (jaren 80) Koppelen van de begroting aan prestaties (prestatiebegroting)
Wat was het resultaat? Lessen uit het verleden Problemen bij invoering Te snelle invoering en te beperkte participatie binnen de organisatie Te technocratische aanpak buiten de politieke realiteit (zelfs bedreigend voor politiek) Wat zijn de beleidsdoelstellingen? Hoe meten/kwantificeren van overheidsprestaties? Advies uit de jaren 70: het hanteren van wetenschappelijk gefundeerde methoden, technieken en inzichten vergt een mentaliteitsverandering Kies voor een leerproces Vorm daarbij draagvlak Doe het geleidelijk Bied opleiding en training
Europa als laboratorium Quality of drafting 1993 Council Resolution Quality of drafting (C-166) 2002-2007 Action plan Simplifying and improving regulation Reduce and simplify EU legislation Impact assessment and burden reduction 2007-2012 Administrative burden reduction program (COM[2007]23) (COM[2002]278) 2012- Improved policymaking Start Refit Program (COM[2012]746) White Paper EU- governance (COM[2001]428) Start Impact Assessment Board (COM[2006]689) Smart regulation (COM[2010]543) Birmingham Declaration: simpler and clearer EU law 1992 2002 2006 2010 Refit Platform (COM[2015]215) (C[2015]3261) II III Delors Santer Prodi Barroso I Barroso II Juncker
Ex ante evaluaties: impact assessments Methodologie - Wat is het probleem? - Wat zijn de doelstellingen? - Welke instrumenten kunnen worden ingezet? - Met welk (verwacht) effect? Kwaliteitsoordeel: onafhankelijke Regulatory Scrutiny Board Statisch : onderdeel beleidsvoorbereiding - Informatie over doelstellingen/instrumenten/effecten Ervaringen met de methode - Versterking van de positie van de Commissie (intern en binnen de Unie) - Wetenschappelijke kennis versterkt technocratische beleidsvoorbereiding
Ex post evaluaties Methodologie - In hoeverre is sprake van doelbereiking? - Soms: in hoeverre is sprake van effectiviteit? Wettelijke verplichting: voorgeschreven in Verordeningen/Richtlijnen Statisch : achteraf, na beleidsuitvoering - Informatie over kwaliteit van de beleidstheorie Ervaringen met de methode - Niet systematisch: 33% geëvalueerd; 43% bevredigende methodologische kwaliteit - Hulpmiddel voor nieuw beleid? Timing/doelverschuiving/probleemverandering - Sluit niet altijd aan bij behoefte
Lessen uit Europa Uitvoerige ex ante evaluaties Bij substantiële wijziging volgt nieuwe impact assessment - kiem voor een meer procesbenadering Wettelijke verplichting tot ex post evaluaties Ex ante evaluatie versterkt de positie van de Commissie vs. Raad en Parlement (politiek + legitimiteitsprobleem) Compliance met ex post evaluaties beperkt (draagvlak met de lidstaten) Beleid is dynamisch (probleemverandering/doelverschuiving) Evidence /informatie als politiek machtsmiddel
Beleidsevaluatie: types Politieke aandacht Besluitvorming (formeel) laag/technisch hoog/politiek Adaptieve beleidsvorming Ex ante evaluaties beleidsformulering Adaptieve beleidsuitvoering Proactieve evaluaties uitvoering Ex post evaluaties Beleids- Proces (tijd)
Hoe werkt beleidsevaluatie? Balanceren tussen twee algemene visies op beleidsontwikkeling Rationele (evidence-based) model inzet van middelen met het doel een probleem op te lossen Focus op: beleidstheorie Criterium: doelbereiking/effectiviteit Functie: verantwoording Sociaal-constructivistische (gedrags) model formuleren van problemen/doelen/ middelen in een interactief sociaal proces - compromis/gedeeld verhaal/proces naar gemeenschappelijke beeldvorming Focus op: belangen/netwerk/draagvlak Criterium: consensusvorming/ samenwerking/beeldvorming/ Functie: verandering
Wanneer is er beleidsverandering? oorzaak benadering label auteur Verandering beleidstheorie door leren R Advocacy-framework coalition Verandering van beleidscultuur S Cultural theory Sabatier (1988) Thompson, Ellis& Wildavsky (1990) Paradigmaverschuiving S Shifts in policy paradigm Hall (1993) Verandering van frame S Framing and reframing Rein&Schön (1994) Verandering van discourse S Discursive policy change Hajer (1997) Toeval/gelegenheid/momentum S Policy windows Kingdom (1984) Pad-afhankelijkheid door effecten S Path dependency Esping Andersen (1999) Plotselinge mobilisatie tegen beleid S Punctuated equilibrium Baumgarther&Jones (1993) Wijziging in reproductie door beleidsnetwerken S Policy network approach Bressers&O Toole (1998)
Uitdagingen voor adaptieve beleidsontwikkeling 1Focus: van actie naar context Verbinden: rationele met sociaal-constructivistische model Nuanceren: beleidstheorie moet ook gaan over politieke (macht) en normatieve (discourses) context met meerdere actoren (netwerk) 2Hoe: van eenmalig onderzoek naar continue experimenteren Dynamiseer: beleid als contante naar beleid als proces Incrementeel: stap-voor-stap in plaats van één groot onderzoek Onderzoek: toets de beleidsveronderstellingen voortdurend - sociaal-wetenschappelijke en experimentele methodes (RCTs) Data gebruik: hanteer valide/betrouwbare big data bij beleidsformulering en beleidsuitvoering
Muddling through? 1. Beleidsevalueren blijft balanceren tussen kennis en politiek/beeldvorming 2. Statische beleidsevaluaties (ex ante/ex post): belangrijk voor verantwoording 3. Dynamische beleidsevaluaties (proces): belangrijk voor verandering - Adaptieve beleidsuitvoering - Experimentele aanpak op kleine schaal - Directe feedback cycli tussen nieuwe kennis en uitvoeren 4. Advies (jaren 70) - Geleidelijk - Stap-voor-stap - Draagvlak
Dank u!