Waarom evalueren beleidsmakers? Een longitudinale analyse van motieven voor beleidsevaluatie in Vlaamse ministeriële beleidsnota s

Transcriptie

1 Waarom evalueren beleidsmakers? Een longitudinale analyse van motieven voor beleidsevaluatie in Vlaamse ministeriële beleidsnota s Bart De Peuter & Valérie Pattyn Dit is de versie van het artikel die was geaccepteerd voor publicatie. Het finale artikel is gepubliceerd door Boom Lemma Uitgevers en is te vinden op de website van het Tijdschrift Bestuurskunde De Peuter Bart & Pattyn Valerie (2016), Waarom evalueren beleidsmakers? Een longitudinale analyse van motieven voor beleidsevaluatie in Vlaamse ministeriële beleidsnota s, Bestuurskunde 25(2): ABSTRACT Het evaluatiemotief is sterk bepalend voor hoe een beleidsevaluatie gebruikt kan worden en verdient dan ook meer aandacht in studies over beleidsevaluatie. In dit artikel hebben we ons gebogen over de beweegredenen voor concrete evaluaties, zoals beschreven in vier reeksen van Vlaamse ministeriële beleidsnota s die samen twintig jaar beleid afdekken. De belangrijkste vaststelling is dat motieven om te evalueren niet onderhevig blijken aan modes, noch worden ze sterk gestuurd door hervormingen en bijhorend discours. Ondanks de introductie van New Public Management georiënteerde hervormingen in de Vlaamse overheid en de financiële crisis, is de relatieve verdeling van evaluatiemotieven vrijwel ongewijzigd gebleven doorheen de tijd. Er blijkt een stabiele behoefte aan ex ante en ex post evaluaties vanuit een diversiteit aan evaluatiemotieven. De perceptie van een trend naar steeds meer evidence-based policy wordt op basis van de studie dus niet bevestigd. Opvallend is verder het lage aandeel van verantwoording als motief. Inleiding Terwijl de aan- of afwezigheid van evaluatiecultuur en -praktijk in landen of regio s reeds uitgebreid werd bestudeerd, geldt dit veel minder voor het relatief belang van en de dynamiek in motieven voor beleidsevaluatie. Nochtans is het motief achter een evaluatie heel belangrijk. Zoals Chelimsky en Shadish (1997, p. 18) stelden: Het motief van een evaluatie bepaalt het gebruik dat men ervan kan verwachten. Diverse classificaties van evaluatiemotieven circuleren in de evaluatieliteratuur. Een viertal types keert steeds terug: onderbouwing van keuzes en beslissingen in de planningsfase van beleid, verantwoording afleggen ten opzichte van stakeholders, verbeteren van de beleidsimplementatie, en beleidsgericht leren (Vedung, 1997). Bij ex ante evaluatie staat het eerstgenoemde motief centraal, terwijl ex post en ook tussentijdse evaluaties worden opgezet vanuit een verantwoordingsmotief, de aspiratie om te verbeteren en/of de intentie om te leren. Het motief varieert dus naargelang de prospectieve of retrospectieve kijk op beleid en dus naargelang de fase in de beleidscyclus. Hoewel bepaalde doelstellingen altijd kunnen meespelen, bijvoorbeeld draagvlakcreatie bij stakeholders en legitimering, is het motief om te evalueren essentieel omdat het samenhangt met een

2 bepaalde vraagstelling die specifieke informatiebehoeften (en dus potentiële inzichten) impliceert en ook een passende aanpak. Zo is er bijvoorbeeld een grondig verschil tussen de vraag of, waarom en hoe beleid succesvol is, en de vraag hoe beleid verbeterd kan worden waarbij de focus of meerwaarde ervan niet ter discussie wordt gesteld. Bij de studie van evaluatiemotieven kan ook de vraag worden gesteld of deze onderhevig zijn aan bepaalde trends of modes. Het is immers niet ondenkbaar dat hervormingen, maatschappelijke trends of internationale samenwerking een impact kunnen hebben op de evaluatiepraktijk en de achterliggende intenties. Een impact die tijdelijk kan zijn, of blijvend. Om evaluatiemotieven en eventuele trends in hun relatief gewicht doorheen de tijd te identificeren, hebben we onze analyse gefocust op het discours over evaluatie zoals dat te vinden is in ministeriële beleidsnota s in Vlaanderen. We analyseerden hierbij vier sets van beleidsnota s die samen twintig jaar Vlaams beleid afdekken tussen 1999 en Discours inzake evaluatie is een van de sleutelindicatoren om de maturiteit van een evaluatiecultuur te meten, net zoals de mate waarin beleidsevaluatie wordt uitgevoerd in verschillende beleidssectoren (Furubo, Rist, & Sandahl, 2002). Beleidsnota s vormen een interessante analyse-eenheid vermits ze een heel beleidsdomein én een meerjarige periode afdekken. Beleidsnota s zijn een essentieel communicatiemiddel voor een minister om zijn of haar voorgenomen beleid in een nieuwe bestuursperiode kenbaar te maken. Als document hebben beleidsnota s in Vlaanderen een groot gewicht: de uitvoering ervan wordt met argusogen gevolgd door middenveld en parlement, en ze vormen (naast het regeerakkoord) hét kader voor de administratie om haar werkzaamheden te prioriteren. Beleidsnota s vormen dan ook een geschikt medium om intenties inzake beleidsevaluatie mee te delen, in het licht van toekomstige beslissingen over de invoering, aanpassing of stopzetting van beleid. Hoewel we op deze manier het discours inzake aangekondigde evaluaties analyseren en niet de evaluatiepraktijk als zodanig is ons uitgangspunt dat referenties naar beleidsevaluatie in beleidsnota s niet vrijblijvend zijn, gelet op het belang van deze documenten in de beleidsarena. Beslissingen tot beleidsevaluaties kunnen uiteraard ook via andere kanalen worden aangekondigd (bijvoorbeeld in decretale clausules), of kunnen ad hoc worden genomen in de loop van de regeerperiode, bijvoorbeeld in reactie op een crisissituatie. Niettemin menen we via de nota s een betrouwbare indicatie te krijgen van de belangrijkste evaluaties die in een regeerperiode zullen worden uitgevoerd, en vooral van trends in de achterliggende intenties voor het uitvoeren van evaluaties. Methodologie Elk van de beleidsnota s van de vier regeerperiodes en gerelateerd aan 31 verschillende beleidsdomeinen 1 werd kritisch gescreend op citaten die verwijzen naar voorgenomen beleidsevaluaties. Om de grote hoeveelheid data te managen werd de documentenanalyse uitgevoerd met behulp van 21 zoektermen. Rekening houdend met het inconsistent gebruik van termen in het theorieveld van evaluatie (De Peuter & Pattyn, 2009), hebben we de analyse bewust niet beperkt tot citaten waarin de term evaluatie expliciet voorkomt en ook andere termen gehanteerd die feitelijk kunnen verwijzen naar beleidsevaluaties. 2 1 Het aantal beleidsnota s verschilt naargelang de bestuursperiode; sommige domeinen worden doorheen de tijd ontdubbeld of geaggregeerd, anders samengesteld, of men schrijft een beleidsnota voor een nieuw beleidsdomein die al dan niet een vervolg krijgt in de daaropvolgende bestuursperiode. 2 De gehanteerde termen zijn de volgende bewust gekozen volledige of gedeeltelijke woorden om ook relevante vervoegingen of verbuigingen te kunnen capteren: plan, opvolg, evalu, effect, proef, piloot, experiment,

3 Een inhoudsanalyse was de volgende stap waarbij enkel citaten die effectief naar een concrete beleidsevaluatie refereren én een herkenbaar motief bevatten, werden behouden. Geïnspireerd door Scriven (1980) hanteerden we de volgende definitie van beleidsevaluatie: Beleidsevaluatie is de wetenschappelijke analyse van een bepaald beleid (of onderdeel van beleid), gericht op het bepalen van de verdienste of meerwaarde van het evaluandum op basis van bepaalde criteria (zoals effectiviteit, efficiëntie, duurzaamheid, e.d.). Door het werken met een brede set van kernwoorden beoogden we de meest omvattende, doch ook haalbare benadering. In een volgende stap werden alle behouden citaten toegewezen aan een evaluatiemotief. Zoals eerder vermeld hanteerden we een generieke categorisering met vier types motieven: 1. Evaluatie kan ten eerste het besluitvormingsproces ondersteunen in de planningsfase van de beleidscyclus. Een brede waaier van evaluatievragen is dan relevant. De draagwijdte, dringendheid of haalbaarheid van een beleidsvoornemen kan getoetst worden. De beleidsrelevantie kan ook het voorwerp zijn van een evaluatie vooraleer men beslist tot de uitvoering ervan. Verder kan men alternatieve beleidsinitiatieven, of varianten van eenzelfde beleidsinitiatief onderling afwegen en vergelijken om een keuze te onderbouwen. Ook de interne coherentie of samenhang tussen maatregelen en doelstellingen kan beoordeeld worden, net als de vraag of het voorgestelde beleid consistent is met initiatieven binnen andere beleidsdomeinen (De Peuter, De Smedt, & Bouckaert, 2007). Voorbeeld: Beleidsnota Mobiliteit en Openbare Werken : De studies voor de realisatie van een opengetijdedok worden voortgezet. Er zal een maatschappelijke kostenbatenanalyse worden uitgevoerd van de verschillende planopties. 2. Het afleggen van verantwoording kan zowel vanuit democratisch als managementoogpunt worden benaderd. Overheidsorganisaties hebben de plicht om verantwoording af te leggen over de werking van de diensten enerzijds en de resultaten van het beleid anderzijds. Sturingsen verantwoordingsrelaties bestaan in verschillende vormen en soorten: onder meer tussen parlement en regering, centrale administraties en decentrale of verzelfstandigde agentschappen, tussen overheid en burger. Evaluaties ter verantwoording verschaffen informatie voor beslissingen over de verderzetting, uitbreiding, inperking of stopzetting van beleid (Vedung, 1997). Voorbeeld: Beleidsnota Energie : Op voorwaarde dat ze een positieve evaluatie kregen, verlengen we de energieconsulenten. 3. Evaluatie kan er ook op gericht zijn om de implementatie van beleid te verbeteren. Beleidsdoelen worden dan gelinkt met de interne werking en het beheer van de verantwoordelijke organisaties. Vragen naar de efficiëntie in beleidsuitvoering, de mate van betrokkenheid van stakeholders bij de beleidstoepassing staan dan centraal. Beleid kan verbeterd en bijgestuurd worden zonder dat de doelstellingen ter discussie worden gesteld. monitor, benchmark, vergelijk, analyse, haalbaar, efficiënt, impact, audit, onderz, verbeter, draagvlak, toets, doelmatig, doeltref. De zoekterm effect kan dus zowel leiden naar een effect, maar ook naar effecten, effectiviteit. Efficiënt kan ook leiden naar passages met het woord efficiëntie, efficiënter, enz.

4 Voorbeeld: Beleidsnota Binnenlands Bestuur : In de centrumsteden (...), waar de instroom MOE-migranten en de concentratie aan Roma groot is, worden buurtstewards ingezet in die wijken waar het samenleven het felst onder druk staat. Dit loopt tot 31 augustus Daarna zal ik op basis van een evaluatie kijken hoe ik dit kan continueren en indien gewenst bijsturen. 4. Beleidsgericht leren vormt een vierde motief voor evaluatie, en refereert aan de fundamentele vraag: Wat werkt? En hoe, wanneer en voor wie? Evaluaties kunnen een zinvol instrument zijn voor het genereren van fundamentele inzichten om de realiteit beter te begrijpen (Vedung, 1997). Voorbeeld: Beleidsnota Landbouw en Visserij : Daarnaast zal ik op basis van bijkomend studiewerk en door het opzetten van pilootprojecten, zoeken naar slimme oplossingen om tot een efficiënter en duurzamer logistiek netwerk te komen in de landbouwen voedingssector. In de praktijk bleek het erg moeilijk om het onderscheid tussen verbeteren als motief en beleidsgericht leren te maken louter op basis van de informatie in de geselecteerde citaten. Conceptueel is er een belangrijk verschil ook geduid als single loop vs. double loop learning maar dit valt niet steeds eenduidig af te leiden van een geschreven beleidsdocument. Om die reden worden beide types motieven verder samen beschouwd en weergegeven. Analyse Tabel 1 bevat voor de vier generaties beleidsnota s de aantallen citaten over beleidsevaluaties die konden worden toegewezen aan de evaluatiemotieven: beleidsplanning (BP), verantwoording (VA) of verbeteren en beleidsgericht leren (VE/BL). Merk op dat we een aantal citaten niet duidelijk konden toewijzen aan een welbepaald evaluatiemotief. Deze hebben we dan ook weggelaten in de beschreven analyse. 3 3 Een algemeen citaat zoals Ik hecht er belang aan dat we regelmatig onze beleidsinspanningen evalueren werd niet behouden; het gaat hier niet om een specifieke evaluatie. Andere passages handelden over een specifieke evaluatie maar bleven op de vlakte inzake het evaluatiemotief. Deze passages werden evenmin behouden. De cijfers in de tabel (zie verder) vertegenwoordigen dus niet het totaal aan referenties naar concrete beleidsevaluaties in de bestudeerde beleidsnota s.

5 Tabel 1 Citaten over beleidsevaluatie per motief, beleidsnota en bestuursperiode Beleidsdomein 4 BP VA VE/BL TOT BP VA VE/BL TOT BP VA VE/BL TOT BP VA VE/BL TOT TOT Onderwijs Milieu (2014 incl. Ruimtelijke ordening) (Sociale) Economie, Wetenschap, Technologie en Innovatie Welzijn, Volksgezondheid, Gezin, en Gelijke kansen ** / Armoede *** Mobiliteit en Openbare werken Wonen Energie Financiën en Begroting Ruimtelijke ordening (2014 samen met Milieu) Werk (2014 samen met Economie) NA NA NA NA NA NA NA NA 41 Sport Monumenten, landschappen en archeologie Buitenlands Beleid en Ontwikkelingssamenwerking ** *** **** NA NA NA NA Landbouw Media Cultuur De onderlijnde thema s kregen later een aparte beleidsnota. De sterretjes duiden op de benaming van de beleidsnota voor respectievelijk de eerste (*), tweede (**), derde (***) en vierde (****) bestuursperiode.

6 Planning en statistiek * ** / Algemeen regeringsbeleid *** **** Binnenlands bestuur Ambtenarenzaken * / Bestuurszaken ** *** **** Toerisme Brusselse aangelegenheid Jeugd Stedenbeleid NA NA NA NA 11 Maatschappelijke integratie NA NA NA NA Vlaamse Rand rond Brussel NA NA NA NA 6 Armoede NA NA NA NA NA NA NA NA NA NA NA NA Gelijke kansen NA NA NA NA NA NA NA NA NA NA NA NA Publiek-private samenwerking NA NA NA NA NA NA NA NA NA NA NA NA 2 Dierenwelzijn NA NA NA NA NA NA NA NA NA NA NA NA Sociale economie NA NA NA NA NA NA NA NA NA NA NA NA Duurzame ontwikkeling NA NA NA NA NA NA NA NA NA NA NA NA 0 TOTAAL TOTAAL (%)

7 Drie markante trends vallen ons op: Een eerste vaststelling is dat het totaal aantal referenties naar beleidsevaluatie dat toegewezen kan worden aan een evaluatiemotief, van dezelfde grootteorde is voor drie van de vier bestuursperioden (gemiddeld 244). De bestuursperiode vormt echter een opvallende uitzondering met een significant hoger aantal vermeldingen van voorgenomen evaluaties met herkenbaar motief (347). Opnieuw: niet alle citaten konden we toewijzen aan een welbepaald motief, maar dit geldt in dezelfde mate voor elke bestuursperiode. De relatieve verdeling tussen de evaluatiemotieven is verder ook vrij stabiel door de tijd heen, wat eveneens een interessante observatie is: ongeveer één op drie aangekondigde beleidsevaluaties is te linken aan het motief beleidsplanning. Het gaat dan om evaluaties die een mogelijke maatregel onderzoeken, die alternatieven afwegen of die in functie van een nieuw beleidsplan worden voorzien. Ongeveer twee derde van de citaten over beleidsevaluatie is te koppelen aan de motieven verbeteren en beleidsgericht leren. Het aandeel van de citaten met het motief verantwoording is opmerkelijk laag, variërend van 3% tot maximum 9%. Verder stellen we vast dat het aandeel van elk evaluatiemotief weinig varieert naargelang het beleidsdomein. Met andere woorden, het globale beeld van de relatieve verdeling geldt in grote mate ook voor de afzonderlijke beleidsdomeinen. De beperkte aantallen van evaluatiemotieven laten een meer gedetailleerde kwantitatieve analyse hier evenwel niet toe. Wel zien we grote verschillen in het aantal toegewezen citaten per beleidsdomein, ongeacht de bestuursperiode. Sommige beleidsnota s bevatten tientallen verwijzingen naar citaten over evaluatie die expliciet gekoppeld konden worden aan een evaluatiemotief, andere beleidsnota s bevatten slechts een handvol referenties of helemaal geen citaten met herkenbaar evaluatiemotief. Met name de sectoren Onderwijs, Milieu, Economie, Welzijn en Mobiliteit springen eruit. Samen bevatten de beleidsnota s voor deze vijf beleidsdomeinen over de vier legislaturen heen bijna de helft (48%) van alle toegewezen citaten over beleidsevaluatie. Anderzijds kan het totaal aantal citaten binnen de beleidsnota s voor een bepaald domein ook sterk schommelen doorheen de tijd. Bekijk bijvoorbeeld Economie, Wetenschap en Innovatie, waar we voor de laatste bestuursperiode opmerkelijk minder citaten vinden dan voor de voorgaande periodes, of Wonen, waar dit het geval is voor Hierna komen we terug op deze domeinspecifieke trends. Trends in perspectief: op zoek naar verklaringen Hoe kunnen we nu echter deze trends begrijpen en verklaren? In wat volgt gaan we achtereenvolgens in op de beschreven evolutie in het aantal citaten, de vastgestelde verdeling van de concrete motieven en de variatie tussen beleidsdomeinen. Evolutie in aantal citaten Om de evolutie in het aantal toegewezen citaten ten volle te kunnen begrijpen, is het noodzakelijk om een aantal ontwikkelingen in het politiek-administratief bestel te schetsen, die de achtergrond vormen voor de evaluatiecontext in Vlaanderen. België behoort tot een zogenoemde golf van westerse landen waar beleidsevaluatie pas eind jaren negentig ingang vond. Typisch voor deze landen was dat zij eerder een externe druk hebben ervaren

8 waardoor beleidsevaluatie meer aandacht kreeg en een cultuur en praktijk van evalueren zich verder ontwikkelde. Dit in tegenstelling tot enkele pionierslanden (o.a. VK, Zweden) die reeds eind jaren zestig, begin jaren zeventig een evaluatiecultuur ontwikkelden door eerder interne impulsen (een toenmalig relatief groter uitgavenpeil van de overheid, een relatief sterker sociaalwetenschappelijk profiel van ambtenaren, relatief meer contacten met de VS als bakermat van beleidsevaluatie). Wat de externe druk betreft in deze tweede golf van landen, kan enerzijds worden verwezen naar de rol van de Europese Unie in de vraag naar evaluaties en anderzijds naar hervormingen die geïnspireerd werden door de New Public Management (NPM) filosofie die in de jaren negentig opgang maakte in westerse landen. De impact van de Europese Unie op België en Vlaanderen is evident. Veel beleidsdomeinen waarvoor Vlaanderen bevoegd is, kregen inderdaad meer en meer directe vragen of minstens impulsen om te evalueren vanuit Europa; het brede arbeidsmarktbeleid, het onderwijsbeleid, landbouwbeleid, natuur- en milieubeleid zijn enkele voorbeelden. De resultaatgerichtheid die het NPM-ideeëngoed kenmerkt (Hood, 1991), bevat een aangrijpingspunt voor een toenemende aandacht voor en groeiend belang van beleidsevaluatie. Op het eerste zicht is verantwoording het meest voor de hand liggende evaluatiemotief dat daaraan gekoppeld kan worden, gelet op de toename in sturings- en verantwoordingsrelaties door de proliferatie en verzelfstandiging van organisaties in het overheidslandschap. Anderzijds volgden NPM-hervormingen over landen heen beschouwd zeer uiteenlopende paden waarbij bijvoorbeeld de heersende administratieve cultuur in een bepaald land medebepalend was voor de focus, strategische richting en diepgang van hervormingen (Pollitt & Bouckaert, 2011). Dat betekent dat de (veronderstelde) link met beleidsevaluatie ook kan verschillen van land tot land. Analyses tonen aan dat NPM geen restrictief kader vormde voor de ontwikkeling van beleidsevaluatie maar dat er eerder sprake is van spillover-effecten in termen van meer aandacht voor beleidsevaluatie. In Vlaanderen werd begin deze eeuw een overheidsbrede hervorming doorgevoerd onder de roepnaam Beter Bestuurlijk Beleid (BBB), die duidelijk de vertaling van een aantal NPM-principes vertoonde. Structureel werd de Vlaamse administratie grondig hertekend met de creatie van departementen en verzelfstandigde agentschappen. De beleidscyclus werd ontkoppeld met een expliciete taakverdeling tussen departementen en agentschappen. Dit laatste is relevant, want bij de taakstelling van de departementen, die beleidsondersteunend van aard is in tegenstelling tot de uitvoerende rol voor agentschappen, wordt in het kaderdecreet Beter Bestuurlijk Beleid (2003) expliciet ook beleidsevaluatie genoemd. Departementen zijn belast met de evaluatie van de beleidsuitvoering (instrumenten, effecten) met het oog op eventuele bijsturing van het beleid of van de aansturing van de agentschappen. Het is door deze expliciete vermelding van evaluatie als één van de taken, dat deze hervorming beleidsevaluatie hoger op de agenda heeft gezet binnen de Vlaamse overheid (Pattyn, 2014). De sterke stijging van citaten in de beleidsnota s voor de periode kan geïnterpreteerd worden als een effect van deze BBB-hervorming. Anderzijds zien we voor de meest recente periode een terugval in het aantal verwijzingen. Anno 2016, ruim tien jaar na de introductie van de hervorming, is duidelijk dat de filosofie niet overal en altijd even strikt werd toegepast in de praktijk (Pattyn, 2015). Zo bleef of werd de evaluatiecapaciteit in een aantal beleidsdomeinen versnipperd tussen departement en agentschappen. Ondertussen zijn sommige agentschappen ingekanteld in een departement, worden domeinen gefuseerd en worden weer nieuwe organisatiemodellen verkend. Maar

9 deze verwatering van de BBB-principes is volgens ons niet één op één te koppelen aan de dynamiek in citaten over beleidsevaluatie in beleidsnota s. In algemeen opzicht kende ook Vlaanderen de tendens naar een meer evidence-based beleid: functies als toekomstverkenning, omgevingsanalyse, monitoring en beleidsevaluatie kregen daardoor meer aandacht en werden ook sterker geïnstitutionaliseerd. Een concreet aangrijpingspunt om de evolutie in het aantal referenties naar beleidsevaluatie in beleidsnota s te verklaren, biedt deze globale trend echter niet meteen. Wel is het zo dat een groeiende maturiteit van evaluatiecultuur kenmerkend is voor Vlaanderen, net als bij vele andere landen (Jacob, Speer en Furubo, 2015): de creatie van het Vlaams Evaluatieplatform, de oprichting van specifieke afdelingen of cellen in de Vlaamse administratie belast met evaluatie, het Rekenhof, dat in zijn audits meer aandacht besteedt aan randvoorwaarden voor een zuinig, efficiënt en effectief beleid; het zijn allemaal aanwijzingen daarvoor (zie Furubo, Rist, & Sandahl, 2002). Onderlinge verdeling van evaluatiemotieven In de onderlinge verdeling van evaluatiemotieven valt het kleine aandeel van verantwoording op. Deze bevinding druist in tegen onze verwachtingen, omdat we vooral na de NPM-implementatie met haar verantwoordingslogica, die quasi samenviel met het uitbreken van de financiële crisis, meer nadruk op verantwoording als motief konden verwachten. Onze vaststelling kan echter mogelijk verklaard worden door de aard van onze observatie-eenheid, met name de beleidsnota. Dit instrument is voor een minister een belangrijk communicatiemiddel om zijn of haar beleid uiteen te zetten. Het feit dat men bij die beleidsvoornemens regelmatig naar evaluatie verwijst, kan volgens ons een uiting zijn dat de minister wil aantonen lees: zich wil verantwoorden dat hij/zij een onderbouwd beleid wil voeren. Dit als respons op de maatschappelijke verwachtingen van een sterk geïnformeerd beleid met aandacht ook voor stakeholders en hun betrokkenheid. Een minister zal in een beleidsnota eerder planning, bijsturing of leren vermelden, dan louter verantwoording. Verantwoording gebeurt eerder omdat het moet en is vaak in de praktijk een eindpunt, terwijl de andere motieven sterker ingebed kunnen worden in een besluitvormingsproces met nog te nemen beslissingen over de wel of niet invoering van beleid, bijsturing van beleid of beleidsbeëindiging. Relevant is wel te vermelden dat de administratie de facto de penhouder is bij het ontwerp van beleidsnota s en dat veel evaluaties ook intern dienen te worden uitgevoerd. In tijden van bezuinigingen en personeelskrapte kan dat ook een invloed hebben op minstens het aantal referenties naar beleidsevaluatie, maar wellicht minder op het type motieven dat wordt vermeld. Verdeling tussen beleidsdomeinen Tot slot gaan we in op de beleidsdomeinen. Uit de vaststellingen komt ten eerste naar voor dat een relatief groot aandeel van de citaten over beleidsevaluatie met herkenbaar evaluatiemotief toe te schrijven is aan een beperkt aantal domeinen. Onderwijs is er daar één van. Het is allicht niet toevallig, aangezien onderwijs een lange traditie in evaluatiepraktijk laat optekenen. Ook sectoren als economie, milieu en mobiliteit zijn gekend voor een relatief sterke evaluatieactiviteit (Pattyn, 2014). Het is aannemelijk dat de bestaande evaluatiecultuur tot uiting komt in beleidsnota s die vervolgbeleid aankondigen. Anderzijds zien we dat sommige nieuwe beleidsdomeinen relatief weinig referenties naar beleidsevaluatie bevatten. Voorbeelden zijn hier publiek-private samenwerking en duurzame ontwikkeling. Een mogelijke verklaring ligt hier in het feit dat beleid een zekere maturiteit moet opbouwen alvorens evaluatie aan de orde is. De cijfers voor de beleidsnota Stedenbeleid passen in deze denkpiste.

10 De redenering rond beleidsmaturiteit gaat echter vooral op voor ex post evaluatie. Evaluatie die ex ante alternatieven afweegt, en derhalve kadert in het motief beleidsplanning, kan in principe ook plaatsvinden voor beleid dat nog in de kinderschoenen staat. Eerder onderzoek bevestigde echter al dat evaluatie in Vlaanderen, ook in traditioneel sterke domeinen, vooral nog in eerste instantie ex post wordt gehanteerd (Pattyn, 2014). Ex ante evaluaties worden nog al te vaak beperkt tot de verplichte reguleringsimpact-analyses. De lange termijn analyse wordt bemoeilijkt doordat bepaalde domeinen tijdelijk een eigen beleidsnota krijgen, maar in een volgende bestuursperiode dan weer niet meer. Verder is het moeilijk een lijn te trekken in de schommelingen doorheen de tijd die we bij de afzonderlijke beleidsdomeinen zien; elk domein volgt een eigen ontwikkeling en kan periodes van stabiliteit, waardoor misschien relatief weinig existentiële (evaluatie)vragen worden gesteld, afwisselen met trendbreuken, cesuren of contextuele disruptieve ontwikkelingen die aanleiding kunnen geven tot (meer) evalueren. We kunnen daarenboven veronderstellen dat ook nog andere factoren het domeinspecifiek patroon beïnvloeden: de continuïteit van een minister of ministerwissel, de attitude van de bevoegde minister of bij uitbreiding van diens partij ten opzichte van beleidsevaluatie als tool om beslissingen te onderbouwen en wissels in de coalities van regeringspartijen. In eerder onderzoek bleek immers de rol van een minister veel meer dan het organisatiemanagement van belang in het bepalen van de evaluatieactiviteit van een welbepaalde overheidsorganisatie (Pattyn, 2015). Bij een coalitiewissel kan voor een domein bijvoorbeeld niet alleen de minister veranderen, maar ook de politieke visie op een beleid, en dus ook de visie op evidence-based policy. Coalitiewissels kunnen dan ook een globale impact hebben over beleidsdomeinen heen. Alleszins zijn er die geweest in de bestudeerde tijdsperiode. Ook organisatorische transities binnen het beleidsdomein zelf kunnen een invloed hebben: momenteel wordt binnen de Vlaamse overheid een grootschalige integratie van milieu en ruimtelijke ordening voorbereid in het domein Omgeving. Deze structurele ingreep kan ook een impact hebben op de inhoud van het beleid en op de evaluatiecultuur en -praktijk. Daar waar bijvoorbeeld milieu traditioneel een sector is met een sterke evaluatiecultuur, is deze voor ruimtelijke ordening iets recenter van datum. Besluit Het evaluatiemotief is sterk bepalend voor hoe een beleidsevaluatie gebruikt kan worden en verdient dan ook meer aandacht in studies over beleidsevaluatie. In dit artikel hebben we ons gebogen over de beweegredenen voor concrete evaluaties, zoals beschreven in vier reeksen van Vlaamse ministeriële beleidsnota s die samen twintig jaar beleid afdekken. Over de vier bestuursperioden blijft het aantal referenties naar evaluatie met identificeerbaar motief in beleidsnota s tamelijk gelijk met uitzondering van de sterke toename in de vorige bestuursperiode , die samenviel met de introductie van NPM georiënteerde hervormingen in de Vlaamse overheid en met de financiële crisis. De perceptie van een immer toenemende trend naar evidencebased policy wordt op basis van de cijfers evenwel niet bevestigd. Ook de onderlinge verdeling naar soort evaluatiemotief is tamelijk stabiel doorheen de tijd, maar het lage aandeel van verantwoording als motief is opvallend. Deze tendens druist in tegen de

11 rendementslogica waarmee beleidsevaluatie zeer vaak wordt geassocieerd. Dit brengt ons bij de belangrijke conclusie dat motieven om te evalueren niet onderhevig zijn aan modes of sterk gestuurd worden door hervormingen en bijhorend discours. Er blijkt een stabiele behoefte aan ex ante en ex post evaluaties doorheen de tijd vanuit een diversiteit aan evaluatiemotieven. Het lage aandeel van verantwoording als motief heeft mogelijk ook een verklaring in de aard en functie van beleidsnota s, terwijl de andere motieven wellicht ook beter te koppelen zijn aan een besluitvormingsproces met nog beslissingen voor de boeg over de wel of niet invoering van beleid, bijsturing van beleid of beleidsbeëindiging. Voor elke bestuursperiode geldt verder dat het gros van de referenties naar evaluatie met toewijsbaar motief terug te vinden is in een beperkte set van beleidsdomeinen die niet toevallig ook op basis van ander onderzoek gelinkt kunnen worden met een lange traditie en uitgebreide activiteit van evalueren. De relatieve verdeling tussen motieven keert grosso modo terug binnen de meeste domeinen, maar verder volgt elk domein een eigen ontwikkeling, waarbij tal van factoren het aantal en de aard van evaluatiemotieven kunnen beïnvloeden. We denken hierbij aan zaken zoals de attitude van een minister ten aanzien van evidence-based beleid, een wissel van minister, een wissel in de coalitie, disrupties in de beleidscontext en organisatorische transities. Vooral de rol van de minister blijkt op basis van eerder onderzoek betreffende evaluatieactiviteit in Vlaanderen (Pattyn, 2015) van cruciaal belang. Ons onderzoek spitste zich louter toe op evaluatie-intenties in Vlaanderen, een regio waar evaluatie over het algemeen laat ingang heeft gevonden. We stellen ons echter de vraag of de door ons vastgestelde trends ook gelden voor een land als Nederland, waar evaluatie al decennia eerder op de agenda stond. Verder is het uiteraard de hamvraag of onze vaststellingen voor het discours over evaluatiemotieven ook gelden voor de effectieve evaluatiepraktijk. We pleiten dan ook voor verder onderzoek ter zake. Literatuur Chelimsky, E., & Shadish, W.R. (1997). Evaluation for the 21st century: a handbook. Thousand Oaks: SAGE. De Peuter, B., De Smedt, J., & Bouckaert, G. (2007). Handleiding beleidsevaluatie: Deel 1: Evaluatiedesign en -management. Leuven: Steunpunt Bestuurlijke Organisatie Vlaanderen. De Peuter, B., & Pattyn, V. (2009). Evaluation capacity: Enabler or exponent of evaluation culture. In A. Fouquet & L. Méasson (Eds.), L évaluation des politiques publiques en Europe: Cultures et futures (pp ). Paris: l Harmattan. Furubo, J.E., Rist R.C., & Sandahl, R. (Eds.). (2002). International Atlas of Evaluation. New Brunswick: Transaction Publishers. Hood, C. (1991). A public management for all seasons? Public Administration, 69(Spring), Jacob, S., Speer, S., & Furubo, J.E. (2015). The institutionalization of evaluation matters: Updating the International Atlas of Evaluation 10 years later. Evaluation, 21(1), 6-31.

12 Pattyn, V. (2014). Policy evaluation (in)activity unraveled. A configurational analysis of the incidence, number, locus and quality of policy evaluations in the Flemish public sector. PhD Thesis. Leuven: KU Leuven. Pattyn, V. (2015). Explaining variance in policy evaluation regularity: The case of the Flemish public sector. Public Management Review, 17(10), Pollitt, C., & Bouckaert, G. (2011). Public management reform (3rd ed.). New York: Oxford University Press. Scriven, M. (1980). Evaluation thesaurus (4th ed.). Newbury Park: Sage. Vedung, E. (1997). Public policy and program evaluation. New Brunswick: Transaction Publishers.