Vormgeving van bewezen effectieve beleidsinterventies Parallelsessie 11:20 12:30 20 juni 2019, Den Haag Ontwikkeling gedragsexperimenten voor effectief beleid Voorzitter: Eva van den Broek Spreker: Annemieke Tuinstra Spreker: Jetske Bouma #KBC19
Vormgeving van bewezen effectieve beleidsinterventies Voorzitter 20 juni 2019, Den Haag Eva van den Broek Oprichter Stichting Behavioural Insights Nederland #KBC19
Vormgeving van bewezen effectieve beleidsinterventies Spreker 20 juni 2019, Den Haag Annemieke Tuinstra Senior Econoom ACM #KBC19
Effectonderzoek in markttoezicht Annemieke Tuinstra Kennis en Beleid congres, 20 juni 2019
Kernvragen Hoe kan de overheid het proces van bewezen effectieve interventies ondersteunen? Hoe kunnen we bewezen effectiviteit vertalen naar beleid? Wat zijn de juiste prikkels om evidence informed policy tot stand te brengen? Wat zijn de randvoorwaarden voor effectieve inzet van bewezen effectieve interventies?
Impactvolle handhaving De Autoriteit Consument & Markt (ACM) draagt bij aan een gezonde economie door markten goed te laten werken voor mensen en bedrijven.
Duidelijke doelstelling S M A R T Specifiek Meetbaar Acceptabel Realistisch Tijdgebonden
Kennisnetwerk Effectmeting Kennis Advisering Communicatie - ACM Academie - Infolunches - Workshop voor leidinggevenden - Intranetpagina - Voorbeelden - Advisering in zaken en projecten - Doelenboom - Effectketen - Uitvoering - Nieuwsberichten - Jaarverslag - Presentaties - Artikelen Ambassadeurs
Uitdagingen 1. Tijd 2. Commitment 3. Cultuur
Samenwerking Veldexperiment zorgverzekeringsmarkt Online experiment algemene voorwaarden Havenonderzoek (voor- en nameting)
Experimenten stimuleren Prijs voor beste beleidsexperiment EZK/LNV 2018
Conclusies Randvoorwaarden: Tips & tricks: - Tijd - Commitment - Cultuur - Organiseer (tijd voor) kennis en onderzoek - Maak goede afspraken - Effectonderzoek als onderdeel van project - Samenwerking - Positieve prikkels - Aandacht vasthouden
Vormgeving van bewezen effectieve beleidsinterventies Spreker 20 juni 2019, Den Haag Jetske Bouma Senior Milieu Econoom Planbureau voor de Leefomgeving #KBC19
Experimenten voor milieubeleid Jetske Bouma 20 juni 2019 dr Jetske Bouma
Opzet Vraag: Wat zijn de juiste prikkels om evidence informed policy tot stand te brengen? Antwoord: i) door onderzoek goed aan te sluiten bij de beleidscyclus; ii) door het combineren van methoden en iii) door aandacht voor de details van het beleidsproces Presentatie a.h.v voorbeelden van gedragsexperimenteel onderzoek bij het Planbureau voor de Leefomgeving (PBL) Het PBL (Planbureau voor de Leefomgeving) is het nationale instituut voor strategische beleidsanalyse op het gebied van milieu, natuur en ruimte. Het PBL draagt bij aan de kwaliteit van de politiekbestuurlijke afweging door het verrichten van verkenningen, analyses en evaluaties waarbij een integrale benadering vooropstaat. 15 20 juni 2019 dr Jetske Bouma
Gebruik van experimenten voor beleid Experimenten voor evalueren gedragsinterventies OECD (2017): beperkt gebruik van experimenten 16 20 juni 2019 dr Jetske Bouma
Gebruik van experimenten voor beleid Gebruik RCTs vooral in fase beleidsimplementatie Breder pallet aan experimenten beschikbaar Gebruik van keuze en lab experimenten beperkt Meerwaarde bij gebruik van experimenten in combinatie 17 20 juni 2019 dr Jetske Bouma
Ex post beleidsevaluatie Keuze experimenten Random controlled trials (RCT) Lab (in the field) experimenten 18 20 juni 2019 dr Jetske Bouma
Experimenten bij het PBL 1) Vragenlijst & keuze experiment onder LTO leden Verkennen bereidheid om in natuurinclusieve landbouw te investeren als er rentekorting, meerprijs en vergoeding komt 2) Lab experiment collectief agrarisch natuurbeheer Testen of het bieden van een mogelijkheid tot heterogene betalingen inderdaad zorgt voor een hoger ambitieniveau 3) RCTs recycling en energiebesparingsgedrag voor onderzoek naar gewoontegedrag en interventies om dit te veranderen (sociale norm, cadootje, slimme meter) Gedragsonderzoek= veel breder dan experimenten Zo gaat veel economisch onderzoek over (keuze) gedrag, en doet PBL bijv. ook psychologisch, sociologisch en planologisch gedragsonderzoek 19 20 juni 2019 dr Jetske Bouma
Gebruik experimenten voor beleidsevaluatie RCTs gouden standaard voor beleidsevaluatie Maar.kan beleid wel algemeen geldende lessen trekken uit experiment? Combinatie van methoden belangrijk voor beleidsrelevantie Plus betrekken van beleidsmakers bij evaluatie ontwerp 20 20 juni 2019 dr Jetske Bouma
Verbeteren toegevoegde waarde experimenten Onderzoeksvraag Wie heeft vraag gesteld, hoe past vraag in beleidscyclus, hoe was men betrokken bij ontwerp? Ontwerp Welk type experiment, welke andere methoden? experiment Beleidslessen Hertin et al (2009), Duflo (2017): Hoe is de beleidscontext meegenomen in het experiment, hoeveel ruimte en aandacht was er voor detail, kennis en realiteit beleidsmaker? Veralgemeniseerbaarheid Hoe zit het met de in-en externe validiteit van het experiment? Zijn de resultaten schaalbaar, hoe zit het met Market equilibrium effects Context dependence (behavioural) Spill-over effects Site selection bias Implementation challenges (Banerjee et al (2017)) 21 20 juni 2019 dr Jetske Bouma
Conclusies Elke methode heeft voor-en nadelen Beleid is gebaat bij combinatie van methodes Combinatie lab en veld experimenten voor vaststellen onderliggend (gedrags) mechanisme Case studies en surveys voor inkleuring context en representativiteit Keuze methode op basis van fase beleidscyclus, type interventie, beschikbaarheid informatie etc. Betrekken van beleidsmakers voor helder krijgen beleidstheorie, en relevante aspecten beleidsvormgeving...maar niet in het evaluatieproces. 22 20 juni 2019 dr Jetske Bouma
Vormgeving van bewezen effectieve beleidsinterventies Aanbeveling Ontwikkeling gedragsexperimenten voor effectief beleid Onder voorzitterschap van: Eva van den Broek 20 juni 2019, Den Haag Aanbeveling: Organiseer de vraag (articulatie) naar evidence Maak evidence too costly to ignore: Kopgroep Erkenning Media #KBC19
Vormgeving van bewezen effectieve beleidsinterventies Vervolg van het programma 20 juni 2019, Den Haag 12:35 12:50: Pieter Duisenberg in zaal 3.46 12: 50 13:45: Lunch 13:45 start deelsessies middag: Interventiebanken voor bewezen effectiviteit zaal 2.19 Instrumenten voor gemeenten en provincies zaal 3.48 Structurele Evaluatie zaal 3.60 #KBC19