TWOL studie :

Transcriptie

1 TWOL studie : ONTWIKKELING VAN EEN COHERENT BELEIDSKADER VOOR DE EVALUATIE VAN LEEFMILIEUGERELATEERDE FINANCIELE TEGEMOETKOMINGEN (VOORAL SUBSIDIES) EN TOEPASSING VAN DIT EVALUATIEKADER OP EEN AANTAL CASES Eindrapport 21 December 2005 Simon De Jaeger (EHSAL) Johan Eyckmans (EHSAL) Karl Van Biervliet (Ecolas) Tom Van Puyenbroeck (EHSAL)

2 Rapport 1: Eindrapport Methodologie Rapport 2: Eindrapport Gevalstudie Rapport 3: Eindrapport Overige Gevalstudies

3

4 TWOL studie : ONTWIKKELING VAN EEN COHERENT BELEIDSKADER VOOR DE EVALUATIE VAN LEEFMILIEUGERELATEERDE FINANCIELE TEGEMOETKOMINGEN (VOORAL SUBSIDIES) EN TOEPASSING VAN DIT EVALUATIEKADER OP EEN AANTAL CASES Eindrapport Methodologie 21 December 2005 Simon De Jaeger (EHSAL) Johan Eyckmans (EHSAL) Karl Van Biervliet (Ecolas) Tom Van Puyenbroeck (EHSAL) 1

5 INHOUDSTAFEL DEEL 1: INLEIDING Leeswijzer Doelstellingen en Afbakening van de studie Enkele basisbegrippen van evaluatietheorie Enkele relevante keuzes vooraf Evaluatie ex ante of ex post? Evaluatie van Wat? input output relatie of institutionele effectiviteit...16 output outcome relatie of outcome-effectiviteit Outcome impact relatie of impacteffectiviteit Een pragmatische aanpak Recente Voorbeelden evaluatiestudies...18 DEEL 2: DRIE HOOFDCRITERIA: EFFECTIVITEIT, EFFICIËNTIE EN RECHTVAARDIGHEID Effectiviteit meten Definitie Een poging tot structureren van de methodologiekeuzes Ex post evaluatie Een voldoende grote steekproef van treated en nontreated subjecten...24 Zijn de resultaten van de treated en nontreated significant verschillend? Is er een oorzakelijk verband tussen de subsidie en de outcome/impact? Ex ante evaluatie Uitgebreide bevragingen van ontvangers (enquêtes) Expertbevragingen (delphi studies, diepte-interviews, )...40 Structurele Modellen Samenvatting effectiviteit Efficiëntie meten Definitie Een poging tot structureren van de methodologiekeuze Meettechnieken voor efficiëntie Ex post meten van efficiëntie...57 Ex ante meten van efficiëntie Samenvatting efficiëntie Rechtvaardigheid Rechtvaardigheid en De vervuiler betaalt of betaald? Rechtvaardigheid Als draagkracht De techniek...67 Ex post Ex ante...68 Datavereisten en toepasbaarheid voor milieusubsidies Samenvatting rechtvaardigheid

6 DEEL 3: VERDIEPINGEN: ADMINISTRATIEVE LASTEN, MACRO-ECONOMISCHE NEVENEFFECTEN, INCENTIEVEN, INNOVATIE, ASPECTEN VAN LOKALE PUBLIEKE FINANCIËN Administratieve lasten Lasten voor wie? Bottom-up benadering Top-down benadering Adminstratieve lasten als onderdeel van reguleringskosten Macro economische Neveneffecten Macro-economische modellen Double dividend argumenten Incentieven Imperfecte en asymmetrische informatie Adverse selection Definitie Gevolgen en remedies Checklist adverse selection Moral hazard definitie Tegengestelde objectieven...86 Remedies Checklist moral hazard Innovatie Waarom zou de overheid O&O naar milieutechnologie subsidiëren? Eerst externaliteiten internaliseren! Toch nog redenen voor subsidies? Evaluatie van innovatie-effecten van milieusubsidies Prijsinstrumenten beter dan klassieke regulering? Endogene technologische vooruitgang en milieusubsidies Effecten van milieusubsidies op O&O meten Samenvatting innovatie Aspecten van lokale publieke financiën Inleiding Modellering en schatting van gedragswijzigingen bij lokale overheden: het mediaankiezermodel Impactanalyse van toelagen: basisinzichten Politieke onderbouwing van het model Kanttekeningen bij de realiteitswaarde van het model Econometrische specificaties van het model Samenvatting aspecten van lokale publieke financiën Referenties Index 119 3

7 LIJST VAN FIGUREN Figuur 1: Basisbegrippen Beleidsevaluatie...12 Figuur 2: Keuzeboom effectiviteit...23 Figuur 3: Schematisch Overzicht Input-Ouput model...49 Figuur 4: Keuzeboom efficiëntie...57 Figuur 5: Reconstructie van productiemogelijkheden...59 Figuur 6: Gelijke marginale reductiekosten...61 Figuur 7: Inefficiëntie van subsidies met variabel tarief en/of plafonds...62 Figuur 8: Effect van specifieke lump-sum subsidies Figuur 9: Effect van gebonden toelagen Figuur 10: Effect van een gebonden toelage met een plafond

8 LIJST VAN LEESKADERS Kader 1: Strategische en Operationele doelstellingen...14 Kader 2: Evaluatie van ontwikkelingseducatieprojecten...22 Kader 3: Vergelijken van twee gemiddelden...27 Kader 4: Eenvoudige regressieanalyse...30 Kader 5: Sample selection bias corrigeren dmv Heckman s schatter...34 Kader 6: Effectiviteit energiebesparingsbeleid in de Nederlandse glastuinbouw...35 Kader 7: Evaluatie van Beheersovereenkomsten met landbouwers in Duitsland...39 Kader 8: Evaluatie van Beheersovereenkomsten met landbouwers in Vlaanderen...40 Kader 9: Effectiviteit energiebesparingsbeleid in de glastuinbouw [VERVOLG]...40 Kader 10: Evaluatie van Samenwerkingsovereenkomsten tussen de Vlaamse overheid en de gemeenten...41 Kader 11: Pimpernelblauwtjes en opportuniteitskosten...45 Kader 12: MilieuKostenModel (MKM) Vlaanderen...46 Kader 13: MARKAL model...47 Kader 14: het RAINS model...64 Kader 15: Draagkrachtoverwegingen in een intersectorale afweging van inspanningen om luchtemissies te verminderen...69 Kader 16: Onderzoeksopdracht reguleringskosten

9 Deel 1: Inleiding 6

10 1 LEESWIJZER Subsidies zijn een economisch instrument dat binnen het beleidsdomein leefmilieu veel gebruikt wordt en dat ook budgettair zeer belangrijk is. In het jaar 2004 heeft de Vlaamse milieuadministratie voor ongeveer 220 miljoen aan subsidies gefinancierd. Daarom heeft de cel milieueconomie van AMINAL Directoraat-generaal een studie opgestart met als opdracht: het uitwerken van een methodologie om de leefmilieusubsidies op een consequente en eenduidige manier te evalueren en het toepassen van dit evaluatiekader op enkele cases. Het hoofddoel van de studie is het ontwikkelen van een methodiek, op basis van een literatuurstudie en op basis van een aantal casestudies. Het is de bedoeling dat de cel milieueconomie zelf, in nauw overleg en samenwerking met de subsidiebeheerders, deze methodiek kunnen gebruiken om milieusubsidies te evalueren en, indien nodig, verbeteringen te suggereren. Hieronder verstaan we dat de subsidieverantwoordelijke de nodige gegevens aanlevert en voortdurend betrokken is bij de methodologische keuzes die in zulk een evaluatieoefening gemaakt moeten worden. De cel milieueconomie neemt echter de technische uitwerking van de evaluatie (dataverwerking, statistische analyse, ) voor haar rekening. Rekening houdende met deze taakverdeling zijn wij bij het schrijven van dit rapport er dan ook van uitgegaan dat de lezer vertrouwd is met enkele basisnoties van economie en statistiek in het algemeen en milieueconomie in het bijzonder. De tekst is echter niet zo hermetisch dat de lezer die niet met die begrippen vertrouwd is, de basisredeneringen niet zou kunnen volgen. Waar nodig worden basisbegrippen intuïtief uitgelegd en de tekst is ook doorspekt met leeskaders waarin verwezen wordt naar goede voorbeelden en toepassingen van de besproken methodologieën. Sommige meer technische materies zijn ook in zulk een leeskader verwerkt om de logische lijn van de tekst niet teveel te onderbreken. Hoofdstuk 2 bakent het onderzoeksonderwerp van de studie af en in hoofdstukken 3 en 4 worden enkele basisbegrippen uit beleidsevaluatietheorie en enkele belangrijke voorafgaandelijke keuzes bij evaluaties besproken. Daarna worden in Deel 2 de drie hoofdcriteria voor evaluatie van subsidies systematisch overlopen: hoofdstuk 0 behandelt het meten van effectiviteit, hoofdstuk 6 is gewijd aan efficiëntie en hoofdstuk 7 gaat dieper in op rechtvaardigheid. Deel 3 behandelt verdiepingen van de hoofdcriteria, dat wil zeggen gaat meer in detail in op deelaspecten die een belangrijke impact kunnen hebben op de hoofdcriteria. Administratieve lasten worden besproken in hoofdstuk 8, macro-economische neveneffecten in hoofdstuk 0, incentieven in hoofdstuk 10, innovatie in hoofdstuk 11 en, tenslotte, behandelen we aspecten van publieke financiën in hoofdstuk 12. Wij wensen nog uitdrukkelijk alle mensen te bedanken die meegewerkt hebben aan deze studie door ons hun opmerkingen te verstrekken op voorgaande versies van dit eindrapport. In het bijzonder bedanken wij de opdrachtgevers van de studie, de cel milieueconomie van het Directoraat-generaal van AMINAL, Dhr. R. Bormans, Mevr. E. Hutsebaut en Mevr. S. Ochelen. Ook de leden van de stuur- en gebruikersgroep van deze studie hebben met hun opmerkingen het uiteindelijke resultaat in sterke mate mede bepaald. 7

11 2 DOELSTELLINGEN EN AFBAKENING VAN DE STUDIE Het opzet van deze studie is het evalueren van leefmilieugerelateerde financiële tegemoetkomingen die door het beleidsdomein leefmilieu van het Ministerie van de Vlaamse Gemeenschap worden uitbetaald. Hieronder verstaan we alle subsidieschema s die momenteel al door het beleidsdomein leefmilieu gefinancierd worden maar de methodologie die in deze studie wordt voorgesteld, kan ook toegepast worden op nieuwe subsidies die in de toekomst overwogen worden. Om het onderwerp van deze studie scherp af te bakenen, is het nuttig om duidelijk te stellen wat we NIET zullen behandelen. Ten eerste behandelen we niet de vraag of overheidsoptreden in het leefmilieudomein wel noodzakelijk zou zijn. Wanneer we een bepaalde subsidie evalueren, gaan we ervan uit dat de overheid goed overwogen heeft of haar optreden We vertrekken van de subsidies die door de leefmilieuadministratie verstrekt worden zonder het onderliggende beleidsprobleem noch het subsidie-instrument zelf in vraag te stellen. 8 gerechtvaardigd is. Meestal zal hiervoor beroep gedaan worden op het argument dat er een marktfaling bestaat, met andere woorden dat zonder overheidstussenkomst de spontane interactie van economische agenten (consumenten, bedrijven, overheid, NGO s, ) zou leiden tot een maatschappelijke ongewenste situatie. Voor het beleidsdomein leefmilieu zijn de typische voorbeelden hiervan negatieve externe effecten en publieke goederen. We speken van negatieve externe effecten wanneer het consumptie- of productiegedrag van bepaalde economische agenten de consumptie- of productiemogelijkheden van andere agenten vermindert. Een bedrijf dat stroomopwaarts vervuilende stoffen loost in een rivier beïnvloedt daardoor op negatieve wijze de productiemogelijkheden van een viskwekerij stoomafwaarts. We spreken van publieke goederen wanneer, ten eerste, consumenten niet uitgesloten kunnen worden van het gebruik van die goederen en, ten tweede, bijkomende consumenten kunnen bediend worden tegen een verwaarloosbare meerkost. Een publiek toegankelijk natuurgebied is een voorbeeld hiervan. De economische theorie stelt heel duidelijk dat de onbelemmerde werking van het marktmechanisme leidt tot teveel productie van negatieve externe effecten en te weinig voorziening van publieke goederen. Intuïtief is de reden daarvan dat economische agenten onder het marktmechanisme weinig prikkels ervaren om rekening te houden met de gevolgen van hun handelen op andere economische agenten. Dit argument vormt dan ook de klassieke rechtvaardiging van overheidsoptreden, zie Berlage en Decoster (2000) en Moesen en Van Puyenbroeck (2006). Ten tweede bekijken we enkel en alleen leefmilieugerelateerde financiële tegemoetkomingen, dat wil zeggen, voornamelijk subsidies. In deze studie worden dus geen alternatieve beleidsinstrumenten bekeken die voor het leefmilieubeleid al ingezet worden of overwogen worden om ingezet te worden in de toekomst. In principe kan deze studie dus niet gebruikt worden om verschillende milieubeleidsinstrumenten onderling te vergelijken op hun effectiviteit of efficiëntie. Maar het spreekt voor zich dat een goed inzicht in de performantie van het subsidie-instrument een eerste stap is in een vergelijking van beleidsinstrumenten. Daarom zal in dit rapport op verschillende plaatsen verwezen worden naar de comparatieve voordelen van prijsinstrumenten (en dus ook subsidies) over andere beleidsinstrumenten. Dit is ondermeer het

12 geval in hoofdstuk 6 wanneer we het criterium (statische) kostenefficiëntie bespreken en in hoofdstuk 11 dat handelt over innovatie en de dynamische efficiëntie van subsidies. De methodologieën die in deze studie besproken zullen worden, kunnen in vele gevallen ook aangewend worden om de performantie van andere milieubeleidsinstrumenten zoals lozingsnormen, technische standaarden, vrijwillige overeenkomsten (convenanten), verhandelbare uitstootrechten, uitstootheffingen enz. te evalueren. We willen echter nogmaals duidelijk stellen dat het vergelijken van beleidsinstrumenten niet het voorwerp uitmaakt van deze studie en veelal een specifieke aanpak vergt. De economische analyse en vergelijking van beleidsinstrumenten voor het leefmilieu is al uitgebreid onderzocht en vormt het onderwerp van talloze publicaties. Voor Vlaanderen is het overzicht van Peter Van Humbeeck (1992) nog steeds een goed uitgangspunt. Een veelgeciteerde internationale klassieker is Bohm en Russel (1985). Recentere inzichten kan men terugvinden in Goulder et al. (1999), Fullerton (2001) en Stavins (2004) en de talrijke referenties in deze werken. Ten derde willen we van bij de aanvang duidelijk stellen dat we niet ingaan op milieuschadelijke subsidies (zogenaamd environmentally harmful subsidies in het jargon van de Organisatie voor Economische Samenwerking en Ontwikkeling OESO) die door andere overheden dan de administratie leefmilieu gefinancierd worden om andere doelstellingen dan milieudoelstellingen te realiseren. De negatieve milieugevolgen van een aantal subsidieschema s in de landbouw-, transport en energiesector zijn soms zodanig groot dat een effectief milieubeleid beter gericht zou zijn op het afbouwen van deze subsidies aan milieuvervuilende activiteiten in plaats van het ondersteunen van positieve milieumaatregelen. De OESO heeft in een aantal recente publicaties het probleem in kaart gebracht en een checklist ontwikkeld om na te gaan of het eventuele afschaffen van de betrokken subsidie een positieve invloed zou hebben op leefmilieuindicatoren, zie OECD (1998) en OECD (2004) en de referenties hierin. Wij hebben, in overleg met de opdrachtgevers, er voor gekozen deze piste niet verder te onderzoeken. Ten eerste zijn hiervoor reeds vele goede handleidingen voorhanden (zie hoger). Ten tweede betreffen deze environmentally harmfull subsidies vooral steun aan bedrijven (niet aan gezinnen, lagere overheden of NGO s) terwijl de Vlaamse milieuadministratie relatief weinig subsidieschema s financiert die rechtstreeks door bedrijven aangevraagd kunnen worden. De subsidies die aan bedrijven uitgekeerd worden, vallen meestal onder de bevoegdheid van andere administraties dan de leefmilieuadministratie. Ten vierde willen we nog wijzen op het nut van evaluatie-oefeningen. De belangrijkste reden is ongetwijfeld dat overheidsmiddelen schaars zijn omdat het erg kostelijk is ze via belastingen op arbeid of andere productie-inputs te vergaren. Hieruit volgt onmiddellijk dat die schaarse overheidsmiddelen zodanig ingezet moeten worden dat ze maximaal resultaat opleveren. Evaluatie-oefeningen kunnen daarom uiterst nuttig zijn om ex post na te gaan of deze ambitie wel gehaald wordt, of om ex ante het subsidieschema zodanig te ontwerpen opdat de kans op succes zo groot mogelijk is. Een tweede reden voor evaluatie-oefeningen is dat ze belangrijke argumenten kunnen opleveren die gebruikt kunnen worden in het politieke debat over de wenselijkheid van de subsidie op zich of om extra middelen te vragen om de opgelegde beleidsdoelstellingen te kunnen realiseren. Vaak worden namelijk ambitieuze beleidsdoelstellingen voorop gesteld en probeert men die door middel van een subsidieschema te realiseren maar wordt een té kleine subsidiepot voorzien. Hoewel de keuze van de 9

13 beleidsdoelstellingen en beleidsinstrumenten niet het voorwerp uitmaken van deze studie, willen wij er toch op wijzen dat evaluatie-oefeningen een noodzakelijke input zijn om beleidsdoelen en de nodige financiële middelen op elkaar af te stemmen. Men kan aan de hand van een evaluatie berekenen hoeveel middelen gereserveerd moeten worden om een gegeven beleidsdoelstellingen te halen. Andersom kan men de evaluatie ook gebruiken om te berekenen wat, gegeven de beschikbare middelen, realistische beleidsdoelstellingen zijn. Tenslotte willen we nog expliciet iets zeggen over de doelstellingen van evaluatieoefeningen. De doelstelling is expliciet om sterke en zwakke punten te identificeren in bestaande (of geplande) subsidiemechanismen en daaruit suggesties te distilleren over hoe het (nog) beter zou kunnen. Evaluaties mogen nooit gezien worden als een finaal oordeel dat aanleiding zou Evaluaties moeten gebruikt worden om sterke en zwakke punten te identificeren in bestaande (of geplande) subsidiemechanismen om daaruit suggesties te distilleren over hoe het (nog) beter zou kunnen. geven tot bijvoorbeeld het simpelweg afschaffen van een bestaande subsidieregeling omdat ze een slechte evaluatie zou gekregen hebben. Daarvoor is de evaluatiemethodologie té veel waardegebonden (er moeten vele aannames gebeuren onderweg en sommige daarvan weerspiegelen waardeoordelen van de onderzoekers). Evaluaties zijn ook nooit af, er zijn steeds nog nieuwe mogelijke verklaringen en meer verfijnde analyses mogelijk. 10

14 3 ENKELE BASISBEGRIPPEN VAN EVALUATIETHEORIE Beleidsevaluatie is een zeer uitgebreid studiedomein met een eigen begrippenkader, methodologie, academische opleidingen, publicaties en wetenschappelijke organisaties en congressen. Beleidsevaluatie is grotendeels het onderzoeksdomein van bestuurswetenschappers maar ook vele andere maatschappijwetenschappers worden regelmatig geconfronteerd met de vraag van de overheid: leveren al onze beleidsinspanning wel de beoogde resultaten op?. Klassieke voorbeelden vinden we terug in arbeidseconomie (wat zijn de resultaten van opleidingstrajecten voor langdurige werklozen?), gezondheidseconomie (wat zijn de effecten voor de volksgezondheid van een publiciteitscampagne om roken te ontmoedigen?), R&D beleid (wat is de impact van een R&D subsidieschema voor KMO s?) enz. Ook in het leefmilieudomein in Vlaanderen is er al uitgebreid werk geleverd rond beleidsevaluatie wat resulteerde in 2003 in de publicatie van het MIRA-BE 2003 rapport Beleidsevaluatie, zie Van Steertegem (2003). Beleidsevaluatie is ook een belangrijke onderzoekslijn van het Steunpunt Milieubeleidswetenschappen ( een samenwerkingsverband tussen de universiteiten van Antwerpen, Gent en Leuven dat sinds 2001 door de Vlaamse overheid gefinancierd wordt. In het kader van dit steunpunt wordt momenteel trouwens gewerkt aan een vademecum beleidsevaluatie 1. Wij gaan in deze tekst de verworven inzichten op het vlak van beleidsevaluatie niet nog eens dunnetjes overdoen of nog eens samenvatten op onze manier. In deze paragraaf belichten wij kort enkele sleutelbegrippen uit de beleidsevaluatietheorie die we verder in onze methodologie nodig zullen hebben. Deze uiteenzetting is grotendeels gebaseerd op Tieleman en Leroy (2003) en op Algemene Rekenkamer (2003a). In algemene termen kunnen we vier stappen onderscheiden in de resultatenketen die voortkomt uit het beleid. Figuur 1 (gebaseerd op Figuur 2 in Tieleman en Leroy, 2003) geeft op een schematische wijze deze vier stappen weer en geeft bovendien aan welke verbanden tussen de begrippen bestaan. 1 Wij danken Kris Bachus (HIVA) voor zijn opmerkingen en suggesties op een eerdere versie van dit hoofdstuk over beleidsevaluatie. Wij zijn er ons van bewust dat sommige termen in ons rapport niet volledig dezelfde lading dekken als in de beleidsevaluatieliteratuur. Wij hebben ervoor gekozen om onze economische terminologie te behouden opdat de geïnteresseerde lezer niet in verwarring zou komen als hij of zij de oorspronkelijke referenties zou willen raadplegen. 11

15 Figuur 1: Basisbegrippen Beleidsevaluatie Input verwijst naar de middelen die de overheid inzet om de beleidsdoelstellingen te realiseren. De belangrijkste zijn: menselijk kapitaal (aantal arbeidsuren van ambtenaren van verschillend opleidingsniveau), verbruikte materialen (papier, computerhardware, ), ingezette diensten (informatica ondersteuning), Al deze inputs worden meestal op één noemer gebracht door ze in geldtermen uit te drukken. Voor de meeste inputs stelt de waardering Voorbeeld van de Administratie Natuur: in geldtermen geen probleem omdat er INPUT: aantal marktprijzen voorhanden zijn waartegen de software, ambtenaren, hardware en goederen en diensten aangekocht zijn in de private sector. Voor de waardering van de arbeidsprestaties in de publieke sector doet zich soms de complicatie voor dat de OUTPUT: aantal verwerkte aanvraagdossiers, bedrag uitgekeerde subsidies, OUTCOME: aantal dossiers ingediend door NGO s of aantal hectaren erkende natuurreservaten in uitbetaalde lonen geen perfecte beheer door NGO s weerspiegeling zijn van de IMPACT: evolutie biodiversiteitindicatoren. opportuniteitskosten 2 van de arbeid. We gaan dit probleem hier echter uit de weg door aan te bevelen om toch de uitbetaalde lonen als kostprijs te hanteren. Dit is trouwens ook de manier 2 Opportuniteitskosten zijn de waarde van de beste, alternatieve aanwending van de middelen. Toegepast op dit voorbeeld betekent dat dus dat de mensen die werken in publieke dienst niet meer ingezet kunnen worden in de 12

16 waarop de nationale rekeningen (waaruit de schattingen van het Bruto Binnenlands Product BBP enz. volgen) worden opgesteld. Output verwijst naar de producten en diensten die de overheid met de inputs ter beschikking kan stellen. Als maatstaven daarvan kunnen we het aantal verwerkte dossiers of het uiteindelijke bedrag van de uitgekeerde subsidies beschouwen. Outcome wijst op de reactie van de doelgroep op de overheidsoutput. Door het ter beschikking stellen van subsidies hoopt de overheid om het gedrag van de doelgroepen te sturen. Bijvoorbeeld, in het geval van de subsidies voor de aanleg van groendaken, is het de bedoeling van de overheid om gezinnen die zonder steun geen groendak overwegen toch te overhalen een groendak aan te leggen. Impact verwijst naar de finale effecten van het beleid. Teruggrijpend naar het voorbeeld van de groendaken gaat het dan over bescherming tegen overstromingen als gevolg van piekdebieten (omdat groendaken het water enige tijd vasthouden en op later tijdstip geleidelijk afgeven) of eventueel extra biodiversiteit in een verstedelijkte omgeving. Het is belangrijk dat we hier even wijzen op de terminologie die momenteel vaak in de beleidsdocumenten van de Vlaamse overheid gebruikt wordt. Vele beleidsnota s, ondermeer ook de beleidsnota van Minister PEETERS (zie Peeters, 2004), spreken over operationele en strategische doelstellingen. In onze interpretatie verwijst het begrip operationele doelstelling eerder naar de output of outcome begrippen en strategische doelstelling eerder naar het impact concept. private sector. De opportuniteitskost van deze mensen in de publieke sector tewerk te stellen is de toegevoegde waarde die ze in de private sector zouden kunnen produceren. In een perfect competitieve arbeidsmarkt weerspiegelen de evenwichtsmarktlonen op deze opportuniteitskost. 13

17 Kader 1: Strategische en Operationele doelstellingen Strategische (SD s) en Operationele (OD s) doelstellingen in Beleidsnota , Leefmilieu en Natuur, (zie: Peeters, 2004) Blz. 67: SD 3: Er wordt werk gemaakt van soortenbeleid en van meer verweving van activiteiten, met het oog op het behoud, het herstel en de versterking van de biodiversiteit. Blz. 63: OD 2: Verdere afbouw van de totale hoeveelheid huishoudelijk afval. De doelstelling om de hoeveelheid definitief te verwijderen huishoudelijk afval te verminderen tot 150 kg afval per inwoner blijft behouden. Het doel is tevens om de totale hoeveelheid huishoudelijke afvalstoffen minstens gelijk te houden of te verminderen t.o.v en meer achter te laten blijven op de groei van de consumptie t.o.v Het is belangrijk te wijzen op de bedrieglijke lineariteit en causaliteit die het schema in Figuur 1 suggereert. Voor vele beleidsproblemen bestaan er zeer sterke autonome ontwikkelingen en is het zeer moeilijk die te onderscheiden van de effecten die het overheidsoptreden heeft. Een voorbeeld daarvan is de evolutie van de mestproductie in Vlaanderen. Los van de beleidsinitiatieven zoals mestactieplannen is er natuurlijk de autonome evolutie van de betrokken markten. In de laatste jaren hebben zich verschillende crisissen voorgedaan in de landbouwsector (dioxinecrisis, gekkekoeienziekte, ) die een zeer sterke invloed gehad hebben op het aantal dieren en de productieniveaus in de betrokken sectoren. Het spreekt voor zich dat bij een eventuele evaluatie van de mestactieplannen enkel de additionele effecten, bovenop de autonome evolutie, mogen in rekening gebracht worden. De verschillende stappen in Figuur 1 geven ook aanleiding tot neveneffecten die de effecten van beleidsmaatregelen kunnen versterken of verzwakken. Een voorbeeld van het laatste zijn bijvoorbeeld de zogenaamde terugslag of rebound effecten. Als de overheid een sterk beleid voert om energie-efficiëntie te stimuleren, dan is het erg waarschijnlijk dat de efficiëntieverbetering leidt tot een lagere (variabele) energiekost per eenheid eindproduct. Hierdoor is het mogelijk dat er opnieuw meer energie wordt gebruikt in het productieproces en/of er gewoon meer geproduceerd gaat worden simpelweg omdat de productiviteit van de energie-input verbeterd is. Dit rebound of terugslageffect vermindert echter het effect van de initiële beleidsmaatregelen die gericht waren op het verbeteren van de energie-efficiëntie. Een ander voorbeeld van een neveneffect is dat door het aanpakken van één milieuprobleem, er soms andere, nieuwe milieuproblemen kunnen opduiken. Een voorbeeld hiervan zou kunnen zijn het verplichten van een roetfilter voor dieselwagens. Deze maatregel is enerzijds zeer effectief om de uitstoot van fijn stof terug te dringen maar zorgt anderzijds wel voor extra gevaarlijk afval wanneer de auto uiteindelijke gesloopt wordt en de verzadigde filter verwijderd wordt. Tot slot willen we er nog op wijzen dat Figuur enkele sterke gelijkenissen vertoont met het klassieke DPSIR ( Driving forces, Pressure, State, Impact, Response ) analysekader dat ondermeer in de MIRA-T rapporten gehanteerd wordt (zie: Van Steertegem, 2004, MIRA-T 2004). Het belangrijkste verschil is dat Figuur 1 niet expliciet een terugkoppelingsmechanisme ( Response ) voorziet. 14

18 4 ENKELE RELEVANTE KEUZES VOORAF 4.1 EVALUATIE EX ANTE OF EX POST? Ex ante evaluatie verwijst naar het onderzoeken van de verwachte effecten van een nieuw beleidsinstrument dat op het moment van de evaluatie nog niet operationeel is. Ex post evaluatie is een onderzoek na de feiten. Meestal vereisen ex ante en ex post evaluaties zeer verschillende methoden. Ex post zijn er meestal gegevens bekend over hoeveel geld uitgegeven werd via het betrokken subsidiekanaal, kent men soms karakteristieken van de ontvangers uit de aanvraagdossiers en heeft men soms gegevens over monitoringsindicatoren die de overheidsoutput of zelfs de milieu-impact beschrijven. Ex post evaluatie is in dat geval niets anders dan een doorgedreven statistische analyse van de data om significante «behandelingseffecten» vast te stellen 3. Indien er echter geen gegevens (of van onvoldoende kwaliteit) verzameld werden, dan wordt ex post analyse eigenlijk een oefening in het opstellen van een hypothetisch scenario zonder beleid. De technieken die daarvoor gebruikt kunnen worden, zijn conceptueel eigenlijk veelal dezelfde als bij een ex ante evaluatie. Ex ante zijn er nog geen specifieke meetgegevens beschikbaar en moet men dus een hypothetische situatie proberen in te schatten («wat zou er gebeuren indien»). Dit kan op verschillende manieren, bijvoorbeeld door een experiment waarbij een aantal individuen wel en andere niet met de nieuwe subsidie worden geconfronteerd (bijvoorbeeld pilootprojecten). Of door middel van een gerichte bevraging bij de potentiële doelgroep te peilen naar hun mogelijke reacties op de invoering van een nieuwe subsidie («indien u 150 zou krijgen, bent u dan bereid een amfibieënpoel aan te leggen?»). Een andere manier is om via econometrische 3 Noteer dat het inschatten van de effecten van een behandeling een probleem is dat in vele exacte en sociale wetenschappen opduikt, denken we bijvoorbeeld aan het inschatten van de effectiviteit van een nieuw geneesmiddel, de effecten van een ander maairegime in vochtige hooilanden op het broedsucces van een populatie ooievaars die in de buurt broeden of de effecten van speciale opleidingsprogramma s voor langdurig laaggeschoolde werknemers op hun tewerkstellingskansen. Met andere woorden, de technieken die we verder zullen bespreken zijn zeker niet specifiek of nieuw maar zijn integendeel gebaseerd op de uitgebreide kennis en ervaring die hiermee in verschillende disciplines is verworven. 15

19 technieken vraagfuncties en prijselasticiteiten 4 voor de betrokken milieugoederen te schatten. Subsidies zijn eigenlijk prijskortingen en de reactie van de doelgroep kan dan onder bepaalde voorwaarden voorspeld worden door middel van deze geschatte prijselasticiteiten. We willen er ook op wijzen dat ex ante evaluatie sinds kort eigenlijk een verplichting is geworden voor elke nieuwe Vlaamse beleidsmaatregel onder het Reguleringsimpactanalyse (RIA) decreet. De Kenniscel Wetsmatiging van de Vlaamse Overheid heeft daartoe recent een handleiding opgesteld, zie Ministerie van de Vlaamse Gemeenschap (2004). Deze handleiding is zeer concreet over de formele vereisten waaraan zo een RIA moet voldoen maar laat de betrokken administratie veel vrijheid met betrekking tot de diepgang van de analyse en de technieken die daarvoor gebruikt worden. 4.2 EVALUATIE VAN WAT? Wanneer we teruggrijpen naar Figuur 1, dan is onmiddellijk duidelijk dat het begrip evaluatie op verschillende zaken kan slaan. Zo kunnen we ten eerste de relatie onderzoeken tussen de ingezette overheidsmiddelen (bijvoorbeeld de loonkost van de betrokken ambtenaren) en de overheidsprestaties (aantal verwerkte dossiers en totaal bedrag uitbetaalde subsidies). Deze relatie duiden we aan met input output. Ten tweede kunnen we het effect van de output (uitbetaalde subsidies) op de outcomevariabele (gedrag van de ontvangers) proberen te meten (output outcome). Ten derde kunnen we proberen om de impact van de output op de milieuindicatoren (output impact) te meten input output relatie of institutionele effectiviteit Meestal gaat het hier om het evalueren van de interne bedrijfsvoering van de betrokken publieke diensten. Dit is een belangrijk publiek managementprobleem en is het onderwerp van talrijke handleidingen en publicaties (zie ondermeer de opleidingen, handleidingen en het onderzoek van het Instituut voor de Overheid van de Katholieke Universiteit Leuven, Prof. G. Bouckaert). Deze interne evaluatie maakt niet onmiddellijk deel uit van de opdracht van deze studie maar we willen er wel op wijzen dat enkele van de methodologieën die we bespreken in bepaalde omstandigheden zeer geschikt kunnen zijn voor het evalueren van de input output relatie (zie verder hoofdstuk 6 over efficiëntiemeting). 4 De prijselasticiteit van de vraag naar een goed vertelt ons in welke mate een stijging (daling) van de prijs van het goed, zich vertaald in een daling (stijging) van de gevraagde hoeveelheid. Bijvoorbeeld, een prijselasticiteit van -1,5 betekent dat een 10% prijsstijging aanleiding zal geven tot een daling van de vraag met (-1,5)x10%=-15%. 16

20 4.2.2 output outcome relatie of outcome-effectiviteit Het evalueren van deze relatie is aangewezen in die gevallen waarbij er expliciet operationele doelstellingen in termen van overheidsprestaties geformuleerd werden. Deze operationele doelstellingen worden meestal wel slechts als instrumentele doelstellingen gezien op weg naar het realiseren van een strategische doelstelling die in termen van impact geformuleerd is. De outcome variabele (bijvoorbeeld het aantal hectaren landbouwgebied dat onder bepaalde beheersovereenkomsten met landbouwers valt) wordt hierbij typisch als een proxy variabele beschouwd van de uiteindelijke doelstelling. Men veronderstelt dan eigenlijk dat een voldoende groot aanbod van de overheidsprestaties uiteindelijk wel zal leiden tot een positieve impact. Outcome-effectiviteit wordt in Gysen et al. (2003) ook doelgroepeffectiviteit genoemd Outcome impact relatie of impacteffectiviteit Outcome evalueren is in principe eenvoudiger dan impact evalueren omdat outcome vaak makkelijker meetbaar is en de evaluatieoefening geen rekening moet houden met de finale relatie tussen outcome en impact. Deze laatste relatie is dikwijls een zeer technische relatie (bijvoorbeeld, wat is de link tussen het aantal hectaren natuurgebied van een bepaald ecotype onder een bepaald beheersregime en de uiteindelijke biodiversiteitindicatoren?) die maar bij benadering gekend is of slechts door middel van zeer uitgebreid en tijdrovend onderzoek kan geschat worden. Meestal vergt dit interdisciplinair onderzoek tussen economen/sociologen enerzijds en biologen/milieuwetenschappers anderzijds Een pragmatische aanpak Zoals hoger aangegeven gaan we in deze methodologiebeschrijving niet in op de interne bedrijfsvoering of the input output relatie. We bekijken enkel beleidsevaluatieproblemen. De vraag is dan of we outputs of impacts moeten evalueren. De ideale evaluatie kijkt naar impact als doelstellingsvariabele. Het is uiteindelijk de impact die zich zal vertalen naar goederen en diensten naar de consumenten. De consument is niet geïnteresseerd in veel hectare natuurgebied op zich maar wel in de diensten die de natuurreservaten opleveren, namelijk dat hij of zij in die gebieden kan gaan wandelen en van de natuurwaarde genieten, of waardering heeft voor het loutere bestaan van zulke gebieden ook al maakt hij of zij er zelf geen onmiddellijk gebruik van. In feite willen we hier enkel zeggen dat de ultieme toets voor elk overheidsbeleid het welzijn van de burgers zou moeten zijn. Maar het ideaal is dikwijls niet realiseerbaar en het antwoord op de vraag wat we moeten evalueren is dat de evaluator een pragmatische aanpak moet volgen. Pragmatisch in de zin dat de beschikbaarheid van gegevens en onderzoekstijd meestal doorslaggevend zal zijn voor de ambitie van het evaluatieniveau. Ondanks de praktische belemmeringen zouden wij een sterk pleidooi willen houden voor doorgedreven kwantitatieve evaluaties op een zo hoog mogelijk niveau in de output outcome impact keten. 17