Meten, weten & beleid

Transcriptie

1 Meten, weten & beleid 'Kennisopbouw en kennisuitwisseling databeheer' Workshop februari april - Brussel En in Gent? Stadsmonitorresultaten in vogelvlucht.

2 Evaluatie: het meten van beleidseffecten Bart De Peuter, KU Leuven Workshops Meten, Weten en Beleid Kenniscentrum Vlaamse Steden 23 april, Brussel

3 Overzicht Definitie, motieven en plaats in de beleidscyclus Beleidstheorie als vertrekpunt Doelbereiking vs. effectiviteit als focus Strategieën om effectiviteit te meten Aandachtspunten voor de praktijk

4 Beleidsevaluatie enkele definities Het bepalen van de meerwaarde ( merit ) van datgene wat geëvalueerd wordt (M. Scriven) Evaluation can be viewed as a structured process that creates and synthesizes information intended to reduce the level of uncertainty for stakeholders about a given program or policy. It is intended to answer questions or test hypotheses, the results of which are then incorporated into the information bases used by those who have a stake in the program or policy. (McDavid & Hawthorn)

5 Beleidsevaluatie motieven MOTIEVEN om beleid te evalueren: Beleidsplanning ondersteunen Verbeteren van de uitvoering van het beleid en bijdragen tot institutionele ontwikkeling van de betrokken organisaties Het afleggen van verantwoording m.b.t. de resultaten van het beleid en de ingezette middelen Beleidsleren: het antwoord op de vraag waarom en hoe beleid wel of niet geslaagd is

6 Plaats van evaluatie in de beleidscyclus Klassieke benadering: laatste fase in de cyclus Agendavorming Beleidsontwerp Beleidsbepaling Beleidsinvoering Beleidstoepassing Beleidsopvolging Beleidsevaluatie BELEIDSEVALUATIE BELEIDSVOORBEREIDING BELEIDSBEPALING BELEIDSUITVOERING

7 Plaats van evaluatie in de beleidscyclus Alternatieve benadering: evaluatie doorheen de cyclus BELEIDSVOORBEREIDING EVALUATIE EVALUATIE BELEIDSBEOORDELING BELEIDSBEPALING BELEIDSUITVOERING EVALUATIE

8 Beleidstheorie als vertrekpunt Effectmeting: wat zijn de beoogde effecten? Antwoord in de beleidstheorie: Een inhoudelijke beschrijving van het beleidsinterventie en assumpties over de wijze waarop deze bepaalde doelstellingen zal bereiken of effecten zal genereren Een oordeel over wat er gedaan moet worden om deze doelstellingen te halen bij de uitvoering van beleid (Chen, 2005)

9 Visuele voorstelling van een beleidstheorie: veranderingsmodel beleidsactie output operationele doelstelling directe effecten determinant hefboom indirecte effecten impact strategische doelstelling veranderingsmodel

10 Voorbeeld plaatsing van onbemande camera's afdwingen snelheidsregime daling zwaargewonden rijopleiding respect voor verkeerslichten daling dodelijke slachtoffers

11 Reconstructie van de beleidstheorie als kompas voor evaluatie Op welke componenten en relaties zoomt de evaluatie in? Moeten we differentiëren naargelang subdoelgroep en/of effect? Welke informatie nodig om de evaluatie uit te voeren is beschikbaar? Welke gegevens moeten nog verzameld worden (en op welke wijze kan dat)?

12 Reconstructie van de beleidstheorie als kompas voor evaluatie! Vaak impliciet! Detailniveau bepaalt precisie van evaluatie! Weergave van geïmplementeerd beleid, en verwachtingen daarvan Bronnen: persoonlijke overtuigingen, visies, ideeën, ervaringen, gewoonten en wetenschappelijk onderbouwde inzichten

13 Effectmeting (1) de mate van doelbereiking Worden de doelstellingen gehaald? Focus op niet op de relaties maar op de componenten van het veranderingsmodel acties (operationele doelstellingen (beoogde of vermeende) effecten (strategische doelstellingen) Beschrijvend, niet verklarend! Voorwaarden Duidelijke en meetbare doelstellingen (SMART) Beschikbaarheid gegevens (monitoring) Vergelijking met een maatstaf voor doelbereik (*)

14 Evaluatiecriteria duurzaamheid omgeving noden adequaatheid doelbereiking geobserveerde effecten effectiviteit beleidsinitiatief doelstellingen input processen output relevantie coherentie consistentie technische efficiëntie kosteneffectiviteit

15 Effectmeting (1) de mate van doelbereiking Welke maatstaf / vergelijkingsbasis? Reële situatie na de beleidsuitvoering (B) (meetwaarde) vergelijken met: - uitgangssituatie vóór de beleidsuitvoering (I) (meetwaarde) - de beoogde of verwachte situatie na de beleidsuitvoering (E) (norm) - de ideale, d.i. meest optimale situatie (O) (norm)

16 Effectmeting (2) Focus op beleidseffectiviteit BELEIDSINITIATIEF Vooropgestelde doelstelling(en) Bedoelde effecten BELEIDSINITIATIEF? Geobserveerde effecten

17 Effectmeting (2) Focus op beleidseffectiviteit Draagt het beleid bij aan de doelstellingen? Aantonen van verbanden, causale relaties Dynamische ipv statische kijk op het veranderingsmodel Verklarende contextfactoren voor verminderd of versterkt effect? matigende variable matigende variable beleidsactie output operationele doelstelling tussenliggende variabele determinant hefboom beleidsresultaat effect & impact strategische doelstelling

18 Effectmeting (2) Focus op beleidseffectiviteit Kernvraag = attributievraag: In welke mate veroorzaakte het beleid de geobserveerde effecten / effectverandering? Vergelijken van policy-on vs. policy-off situaties effectvariable effectniveau na beleid effect met programma beleidseffect effect verandering effect zonder programma effectniveau voor beleid VOOR beleidsinitiatief TIJDENS beleidsinitiatief NA beleidsinitiatief t

19 (1) Experimenteel design 2 of meer groepen met een onderscheid tussen: - een (of meerdere) groep(en) waarbij men beleid(salternatieven) toepast = BELEIDSGROEP - een groep waarbij het beleid niet wordt toegepast = CONTROLEGROEP Samenstelling groepen op toevalsbasis ( at random )! (Elke persoon, organisatie of locatie heeft evenveel kans om in de beleidsgroep of in de controlegroep opgenomen te worden).

20 Experimenteel design Werkwijze: effectmeting en vergelijking Effectmetingen Voor Na Verschil Beleidsgroep B1 B2 B = B2 - B1 Controlegroep C1 C2 C = C2 - C1 Het beleidseffect = B - C, waarbij: B1, C1 = metingen van de effectvariabele vóór het beleidsinitiatief werd toegepast, respectievelijk bij de beleids- en controlegroep; B2, C2 = metingen van de effectvariabele nadat het beleidsinitiatief werd toegepast, respectievelijk bij de beleids- en controlegroep; B, C = de effectverandering voor respectievelijk de beleids- en controlegroep.

21 Experimenteel design Beperkingen: ethische overwegingen (vnl. omstandigheden van de controlegroep)? Kan men personen onthouden van potentieel goed beleid? vs. Gespaard van tijdsverlies door een beleid dat niet effectief is Soms nieuw vs. bestaand (ipv geen) beleid? Schaarsheid van middelen als motief voor toevallige toewijzing Niet ethisch vs. billijke methode want gelijke kans Tegenargument sneller aanvaard bij grote onzekerheid over effectiviteit, anders prioriteit aan personen met grootste behoeften voor beleidsgroep

22 (2) Quasi-experimenteel design Experimenteel design niet steeds uitvoerbaar / wenselijk Beleids- en controlegroep maar: niet op basis van toeval of aselect samengesteld Terugkerende problematiek: selectiebias over- of onderschattingen van beleidseffectiviteit - Matching - Statistische analyse

23 Quasi-experimenteel design Reflexieve controles Geen vergelijking tussen groepen Opvolging van zelfde groep in de tijd: > impliciete opstelling: enkelvoudige post-test: X O > enkelvoudige pre-test en post-test: O X O > niet-comparatieve tijdreeksen: meerdere observaties voor en na beleidsuitvoering: O O O O X O O O O

24 (3) Alternatieve of kwalitatieve designs Wanneer het onmogelijk is om de beleidsinvloed (geheel) af te zonderen van alternatieve verklaringen Diepteanalyse: zoeken naar verklaringen waarom / hoe beleid (niet) effectief is Focus op werking (proces, mechanismen) van het beleid en verklarende factoren die bijdragen tot succesvolle beleidsinterventies; contributie ipv attributie

25 Aandachtspunten voor de praktijk Meetbare doelstellingen, goede indicatoren Duidelijk referentiepunt Informatie over startsituatie? Nulmeting! Kennis over kenmerken verwachte effect wanneer is meten zinvol? Monitoring in functie van evaluatie: aandachtspunt bij beleidsplanning! Interpretatie en duiding bij (gemeten) evoluties is essentieel

26 Effectmeting en kenmerken van effecten Tijdstip van optreden: onmiddellijk zichtbaar vs. uitgesteld Duurtijd: kort vs. lang Intensiteit: laag vs. hoog effectintensiteit (niveau) A D A: onmiddellijk effect B B: uitgesteld effect t 0 t 1 C t C: onmiddellijk effect, snelle vermindering van intensiteit D: onmiddellijk effect, trage vermindering

27 Contact en meer info KU Leuven Instituut voor de Overheid Parkstraat 45 - bus 3609 B-3000 Leuven Tel: Bart De Peuter [email protected] Handleiding beleidsevaluatie Deel 1) Evaluatiedesign en management Deel 2) Monitoring van beleid Deel 3) Evaluatietechnieken Deel 4) Praktijkvoorbeelden > publicaties > zoeken: trefwoord beleidsevaluatie