De evaluatie van overheidsprogramma s

De evaluatie van overheidsprogramma s STORE korte termijnopdrachten 2012 2014 Dr. Jo Reynaerts VIVES en STORE Faculteit Economie en Bedrijfswetenschappen KU Leuven jo.reynaerts@kuleuven.be STORE Workshop Ondernemen, KMO S en economische clusters in Vlaanderen Brussel, 5 juni 2014

Overzicht STORE korte termijnopdrachten 2012 2014 Evaluatie van overheidsprogramma s Algemeen Meten van het effect van overheidsprogramma s Evaluatie van overheidsprogramma s door STORE Besluit

STORE korte termijnopdrachten 2012 2014 KTO Nummer Onderwerp Opdrachtgever 1 12-001 Sectoranalyse Vlaamse industrie Kabinet MP 2 12-003 EFRO sterkte-zwakte analyse Kabinet MP 3 12-013 Toekomstverkenningen 2025 VRWI 4 13-008 IE scan AO 5 13-009 Methoden eval. beleidsmaatregelen AO 6 13-010 Verruimtelijking NIB AO 7 13-011 Transport & Logistiek 2 AO 8 13-014 Ondersteuning Gazellebeleid AO 9 14-001 Design Vlaanderen AO 10 14-002 Waarborgregeling PMV 11 14-003 Opleidingssteun KMO AO 12 Doorgroei KMO s SERV 13 KET roadmap =n electronica DSP Valley 14 Assistieve technologie Flanders Care

Evaluatie van overheidsprogramma s Algemeen Programma evaluatie Vaststellen van het effect van een programma (beleid), investering of individuele handeling op één of meerdere uitkomsten van belang Voorbeelden effect van belastingen op arbeidsaanbod; effect van indirecte belastingen op consumptie effect van onderwijs op loon; effect van regulering arbeidsmarkt op tewerkstelling... effect van opleidingssubsidies op productiviteit, omzet,... effect van kredietwaarborg op investeringen, tewerkstelling en toegevoegde waarde

Evaluatie van overheidsprogramma s Algemeen Vragen is het programma doeltreffend? is het programma efficiënt? (waar en in welke mate) kan het programma aangepast worden?...

Evaluatie van overheidsprogramma s Algemeen Maken ziekenhuizen mensen gezonder? Gezond verstand Gegevens steekproef (naar Angrist en Pischke, 2009, pp. 13): indicator voor behandeling in ziekenhuis in voorbije jaar score voor gezondheidstoestand van 1 (zeer slecht) tot 5 (zeer goed) Groep Aantal Gemiddelde toestand Opname 7.774 3,21 Geen opname 90.049 3,93 Verschil -0,72

Evaluatie van overheidsprogramma s Meten van het effect van het programma Voor onderneming i met status van de behandeling W i D 0; 1: resultaat zonder behandeling: resultaat met behandeling: effect van behandeling: Y i;0 Y i;1 effect van het programma: 1 Xn 1 n 1 id1 i D Y i;1 Y i;0 Y i;1 1 n 0 Xn 0 id1 Y i;0 D NY 1 NY 0

Evaluatie van overheidsprogramma s Meten van het effect van het programma: fictief voorbeeld populatie Bedrijf Res. zonder Res. met Verschil Y i;0 Y i;1 Y i;1 Y i;0 1 13 14 1 2 6 0-6 3 4 1-3 4 5 2-3 5 6 3-3 6 6 1-5 7 8 10 2 8 8 9 1 Gemiddelde 7 5-2 Conclusie evaluatie Indien counterfactual gekend, gewoon het verschil in gemiddelde uitkomsten voor beide groepen ) het programma heeft een nadelig effect op de ondernemingen

Evaluatie van overheidsprogramma s Meten van het effect van het programma: fictief voorbeeld steekproef Bedrijf Status Res. zonder Res. met Verschil W i Y i;0 Y i;1 Y i;1 Y i;0 1 1? 14? 2 0 6?? 3 0 4?? 4 0 5?? 5 0 6?? 6 0 6?? 7 1? 10? 8 1? 9? Gemiddelde 5.4 11 5.6 Conclusie evaluatie Op basis van geobserveerde gegevens (counterfactual niet gekend), maskeert het verschil in gemiddelde per groep (5.6) het echte effect (-2) ) het programma heeft een voordelig effect op de ondernemingen

Overheidsprogramma s Meten van het effect van het programma: fictief voorbeeld steekproef Bedrijf Status Res. zonder Res. met Verschil W i Y i;0 Y i;1 Y i;1 Y i;0 1 1 13 14 1 2 0 6 0-6 3 0 4 1-3 4 0 5 2-3 5 0 6 3-3 6 0 6 1-5 7 1 8 10 2 8 1 8 9 1 Gemiddelde 5.4 11 5.6 Vertekening door selectie Bedrijven kiezen doorgaans zelf voor de behandeling die aanleiding geeft tot de beste resultaten ) verschil in gemiddelde per groep is vertekend

Evaluatie van overheidsprogramma s door STORE Bevindingen en bedenkingen modus operandi STORE effect van het programma en omvang van ondernemingen voorzichtigheid bij interpretatie van bevindingen rekening houden met wisselvallige aard steekproef (Manski, 2013)

25 20 groei in tewerkstelling (in %) 15 10 5 0 5 0 1 2 3 4 5 aantal werknemers (in logs)

Besluit effect van het programma en omvang van ondernemingen voorzichtigheid bij interpretatie van bevindingen voorspellingen met onder- en bovengrens

Referenties I Angrist, J.D. en Pischke, J-S. (2009), Mostly Harmless Econometrics, Princeton University Press, Princeton, NJ Breemersch, K., Decramer, S., Lecocq, C. en Reynaerts, J. (2014), Economische analyse van de Waarborgregeling, Beleidsrapport STORE-B-14-002, Steunpunt Ondernemen & Regionale Economie, 79 blz. Decramer, S. en Reynaerts, J. (2014), KMO portefeuille pijler opleiding. Een evaluatie van de opleidingssubsidies in Vlaanderen, Beleidsrapport STORE-B-14-003, Steunpunt Ondernemen & Regionale Economie, 38 blz. Fisher, R.A. (1925), Statistical Methods for Research Workers, Oliver and Boyd, Edinburgh, UK Fisher, R.A. (1925), The Design of Experiments, Oliver and Boyd, Edinburgh, UK Goedhuys, M. en Sleuwaegen, L. (2013), Methoden voor de evaluatie van beleidsmaatregelen, recente bijdragen, Beleidsrapport STORE-B-13-009, Steunpunt Ondernemen & Regionale Economie, 26 blz.

Referenties II Imbens, G.W. en Wooldridge, J.M. (2009), Recent Developments in the Econometrics of Program Evaluation, Journal of Economic Literature 47(1), 5 86. Manski, C.F. (2013), Public Policy in an Uncertain World: Analysis and Decisions, Harvard University Press, Cambridge, MA