De evaluatie van overheidsprogramma s

Transcriptie

1 De evaluatie van overheidsprogramma s STORE korte termijnopdrachten Dr. Jo Reynaerts VIVES en STORE Faculteit Economie en Bedrijfswetenschappen KU Leuven [email protected] STORE Workshop Ondernemen, KMO S en economische clusters in Vlaanderen Brussel, 5 juni 2014

2 Overzicht STORE korte termijnopdrachten Evaluatie van overheidsprogramma s Algemeen Meten van het effect van overheidsprogramma s Evaluatie van overheidsprogramma s door STORE Besluit

3 Overzicht STORE korte termijnopdrachten Evaluatie van overheidsprogramma s Algemeen Meten van het effect van overheidsprogramma s Evaluatie van overheidsprogramma s door STORE Besluit

4 STORE korte termijnopdrachten KTO Nummer Onderwerp Opdrachtgever Sectoranalyse Vlaamse industrie Kabinet MP EFRO sterkte-zwakte analyse Kabinet MP Toekomstverkenningen 2025 VRWI IE scan AO Methoden eval. beleidsmaatregelen AO Verruimtelijking NIB AO Transport & Logistiek 2 AO Ondersteuning Gazellebeleid AO Design Vlaanderen AO Waarborgregeling PMV Opleidingssteun KMO AO 12 Doorgroei KMO s SERV 13 KET roadmap =n electronica DSP Valley 14 Assistieve technologie Flanders Care

5 Overzicht STORE korte termijnopdrachten Evaluatie van overheidsprogramma s Algemeen Meten van het effect van overheidsprogramma s Evaluatie van overheidsprogramma s door STORE Besluit

6 Evaluatie van overheidsprogramma s Algemeen Programma evaluatie Vaststellen van het effect van een programma (beleid), investering of individuele handeling op één of meerdere uitkomsten van belang Voorbeelden effect van belastingen op arbeidsaanbod; effect van indirecte belastingen op consumptie effect van onderwijs op loon; effect van regulering arbeidsmarkt op tewerkstelling... effect van opleidingssubsidies op productiviteit, omzet,... effect van kredietwaarborg op investeringen, tewerkstelling en toegevoegde waarde

7 Evaluatie van overheidsprogramma s Algemeen Vragen is het programma doeltreffend? is het programma efficiënt? (waar en in welke mate) kan het programma aangepast worden?...

8 Evaluatie van overheidsprogramma s Algemeen Maken ziekenhuizen mensen gezonder? Gezond verstand Gegevens steekproef (naar Angrist en Pischke, 2009, pp. 13): indicator voor behandeling in ziekenhuis in voorbije jaar score voor gezondheidstoestand van 1 (zeer slecht) tot 5 (zeer goed) Groep Aantal Gemiddelde toestand Opname ,21 Geen opname ,93 Verschil -0,72

9 Evaluatie van overheidsprogramma s Meten van het effect van het programma Voor onderneming i met status van de behandeling W i D 0; 1: resultaat zonder behandeling: resultaat met behandeling: effect van behandeling: Y i;0 Y i;1 effect van het programma: 1 Xn 1 n 1 id1 i D Y i;1 Y i;0 Y i;1 1 n 0 Xn 0 id1 Y i;0 D NY 1 NY 0

10 Evaluatie van overheidsprogramma s Meten van het effect van het programma: fictief voorbeeld populatie Bedrijf Res. zonder Res. met Verschil Y i;0 Y i;1 Y i;1 Y i; Gemiddelde Conclusie evaluatie Indien counterfactual gekend, gewoon het verschil in gemiddelde uitkomsten voor beide groepen ) het programma heeft een nadelig effect op de ondernemingen

11 Evaluatie van overheidsprogramma s Meten van het effect van het programma: fictief voorbeeld steekproef Bedrijf Status Res. zonder Res. met Verschil W i Y i;0 Y i;1 Y i;1 Y i;0 1 1? 14? 2 0 6?? 3 0 4?? 4 0 5?? 5 0 6?? 6 0 6?? 7 1? 10? 8 1? 9? Gemiddelde Conclusie evaluatie Op basis van geobserveerde gegevens (counterfactual niet gekend), maskeert het verschil in gemiddelde per groep (5.6) het echte effect (-2) ) het programma heeft een voordelig effect op de ondernemingen

12 Overheidsprogramma s Meten van het effect van het programma: fictief voorbeeld steekproef Bedrijf Status Res. zonder Res. met Verschil W i Y i;0 Y i;1 Y i;1 Y i; Gemiddelde Vertekening door selectie Bedrijven kiezen doorgaans zelf voor de behandeling die aanleiding geeft tot de beste resultaten ) verschil in gemiddelde per groep is vertekend

13 Evaluatie van overheidsprogramma s door STORE Bevindingen en bedenkingen modus operandi STORE effect van het programma en omvang van ondernemingen voorzichtigheid bij interpretatie van bevindingen rekening houden met wisselvallige aard steekproef (Manski, 2013)

14 25 20 groei in tewerkstelling (in %) aantal werknemers (in logs)

15 Overzicht STORE korte termijnopdrachten Evaluatie van overheidsprogramma s Algemeen Meten van het effect van overheidsprogramma s Evaluatie van overheidsprogramma s door STORE Besluit

16 Besluit effect van het programma en omvang van ondernemingen voorzichtigheid bij interpretatie van bevindingen voorspellingen met onder- en bovengrens

17 Referenties I Angrist, J.D. en Pischke, J-S. (2009), Mostly Harmless Econometrics, Princeton University Press, Princeton, NJ Breemersch, K., Decramer, S., Lecocq, C. en Reynaerts, J. (2014), Economische analyse van de Waarborgregeling, Beleidsrapport STORE-B , Steunpunt Ondernemen & Regionale Economie, 79 blz. Decramer, S. en Reynaerts, J. (2014), KMO portefeuille pijler opleiding. Een evaluatie van de opleidingssubsidies in Vlaanderen, Beleidsrapport STORE-B , Steunpunt Ondernemen & Regionale Economie, 38 blz. Fisher, R.A. (1925), Statistical Methods for Research Workers, Oliver and Boyd, Edinburgh, UK Fisher, R.A. (1925), The Design of Experiments, Oliver and Boyd, Edinburgh, UK Goedhuys, M. en Sleuwaegen, L. (2013), Methoden voor de evaluatie van beleidsmaatregelen, recente bijdragen, Beleidsrapport STORE-B , Steunpunt Ondernemen & Regionale Economie, 26 blz.

18 Referenties II Imbens, G.W. en Wooldridge, J.M. (2009), Recent Developments in the Econometrics of Program Evaluation, Journal of Economic Literature 47(1), Manski, C.F. (2013), Public Policy in an Uncertain World: Analysis and Decisions, Harvard University Press, Cambridge, MA