Evaluatief vermogen bij gemeenten 1. Inleiding Internationaal is veel kennis beschikbaar over evaluatieve methoden en technieken. Een snelle gang langs fora (f.e. groups op LinkedIn) en websites toont een enorme schat aan informatie op dit terrein. Binnen (inter)nationale organisaties in de profit sector zijn vaak separate evaluatieafdelingen geformeerd. De indruk bestaat dat de evaluatiefunctie binnen de decentrale overheid nog in de kinderschoenen staat. In Engeland is vorig jaar een poging gedaan om Internal Audit Standards voor de publieke sector op te stellen, waarbij de International Standards van het Institute of Internal Auditors (IIA) zijn toegepast. Sinds kort biedt Nyenrode in samenwerking met de Vrije Universiteit Amsterdam een post-academische opleiding Public sector auditing waarin de focus op performance auditing ligt. In de dagelijkse praktijk wordt binnen de decentrale overheid een variëteit van op zichzelf staande audits en onderzoeken (bijvoorbeeld op grond van artikel 213a Gemeentewet) uitgevoerd; variëteit in onderwerp, methode en intensiteit. Onderzoeksplannen op grond van artikel 213a Gemeente-wet zijn niet altijd aanwezig, of wel aanwezig maar ten dele uitgevoerd. Regelmatig ontbreekt het aan een gedegen achterliggende visie. Het doel van dit artikel is om zicht te geven op mogelijkheden binnen de decentrale overheid om de evaluatiefunctie beter in te vullen. 2. De kern van evaluatief denken Een evaluatie is een zo systematisch en objectief mogelijke beoordeling van een lopend of afgerond project, programma of beleid, en kan betrekking hebben op zowel het ontwerp, de uitvoering als de resultaten. Bevindingen uit een evaluatie zijn bij voorkeur evidencebased en aanbevelingen geven lessen voor de toekomst. Waar dienen evaluaties toe? Het doel van de evaluaties is 1) om te zorgen voor strategisch gerichte en objectieve informatie over de prestaties, 2) om gefundeerde besluitvorming, transparantie, samenhang en doeltreffendheid te versterken, en 3) om systematische reflectie en organisatorisch leren te stimuleren en om verantwoording af te leggen. In de kern draait het bij evaluaties steeds om vijf evaluatievragen: vragen naar efficiency, effectiviteit, relevantie, duurzaamheid en outcome/impact. Evaluaties zijn bedoeld om continue verbetering te bereiken en om zo nodig projecten, programma's, beleid, strategieën en methoden aan te passen. 1 Haute Equipe Partners in Public / 023 547 19 13 / info@haute-equipe.nl
Waarom is het afleggen van verantwoording belangrijk? Het is essentieel dat extern verantwoording wordt afgelegd aan zowel de financiers als aan de doelgroep. Hiermee wordt gebouwd aan vertrouwen en draagvlak. Het bijzondere bij de decentrale overheid is dat burgers zowel doelgroep als financier zijn. Je zou zelfs kunnen stellen dat burgers ook indirect opdrachtgever zijn doordat zij via hun stemgedrag de (locale) politieke verhoudingen beïnvloeden. Ook intern, binnen een gemeente, wil een bestuurlijke (college) en ambtelijke (directie) opdrachtgever dat verantwoording wordt afgelegd zodat kan worden verbeterd en geleerd. Waarom is leren belangrijk? Leren verhoogt de motivatie om een project beter te laten functioneren of een beleid of programma beter te laten renderen. Leren stelt mensen in staat om hun eigen resultaten te managen. Leren verhoogt de relevantie en de impact omdat de echte problemen en echte behoeften duidelijk worden. Effectiviteit, efficiency en duurzaamheid worden verhoogd doordat zicht wordt gekregen op problemen, visies en oplossingen van alle relevante belanghebbenden. Zowel het leren als het verantwoording afleggen is uiteindelijk een kwestie van houding. 3. Evaluaties binnen de decentrale overheid Inzicht in doelmatigheid (efficiency) en doeltreffendheid (effectiviteit) van overheidshandelen wordt steeds belangrijker. Al weer enige jaren geleden is de dag van de Verantwoording (3 e woensdag in mei) in het leven geroepen. Bestuurlijke transparantie en het afleggen van rekenschap aan de burger worden steeds meer leidende principes. Daarnaast zou elke organisatie moeten willen leren van eigen handelen. Los daarvan worden gemeenten meer dan ooit uitgedaagd hun processen efficiënt en effectief in te richten nu de bijdrage uit het gemeentefonds blijvend onder druk staat en met de ingezette decentralisatie en taakverschuiving van rijk naar provincies en gemeenten. De mate waarin het evaluatieve vermogen binnen de decentrale overheid is ontwikkeld verschilt van gemeente tot gemeente. Wel zijn een aantal algemeen geaccepteerde en min of meer geïnstitutionaliseerde evaluatie-instrumenten te noemen. De belangrijkste drie worden hieronder kort besproken. 1. Rekenkameronderzoeken Rekenkameronderzoek vindt plaats in een omgeving waar het college aan de raad of de staten verantwoording aflegt over het gevoerde bestuur en beleid. Het onderzoek van de rekenkamer(commissie) richt zich op de doelmatigheid en doeltreffendheid van datzelfde gevoerde bestuur en beleid, met als eerste doel de raad te ondersteunen in zijn controlerende rol. 2 Haute Equipe Partners in Public / 023 547 19 13 / info@haute-equipe.nl
In 2011 vond in opdracht van het ministerie van BZK een evaluatie van de rekenkamers plaats, uitgevoerd door bureau Berenschot. Naast burgemeesters en raadsleden werden alle 330 voorzitters van de rekenkamers aangeschreven. Uit die evaluatie blijkt dat alle partijen tevreden waren over het instrument rekenkameronderzoek. Het is de rekenkamer(commissie)s gelukt om de doelmatigheid en doeltreffendheid van het beleid naar voren te brengen. In het licht van de bezuinigingen is het te verwachten dat de toegevoegde waarde van de rekenkamer steeds meer wordt afgezet tegen de kosten ervan. Ook kan worden overgegaan tot een slapende variant van de rekenkamer. Slapende rekenkamers zijn rekenkamer (commissie)s met geen of een minimaal budget, die niet actief zijn. Vooralsnog is geen wettelijke verplichting ingesteld om gemeenten een bepaald percentage van hun begroting te laten reserveren voor het uitvoeren van rekenkameronderzoek. Een nieuwe ontwikkeling is het zogenaamde verdichten. Bij verdichten kiezen gemeenten voor het bij elkaar brengen van in de gemeente beschikbare onderzoekskennis, onderzoeksgegevens en onderzoeksfuncties. Concreet betekent dit bijvoorbeeld dat rekenkamers niet zelf grote onderzoeken opzetten, maar al beschikbare onderzoeksresultaten uit de ambtelijke organisatie gebruiken (interne benchmarks, audits en INK-onderzoeken) en daaruit juist díe informatie filteren die van belang is voor het werk van de raad. Zij adviseren de raad hier vervolgens over in korte en bondige rekenkamerbrieven. Het resultaat: kleine rapportages die beschikbare informatie vertalen naar de politieke actualiteit, zonder dat hierbij veel (ambtelijke) capaciteit, lange doorlooptijden en geld mee gemoeid is. 2. Operational auditing Operational auditing is een onafhankelijke onderzoeksfunctie gericht op de kwaliteit van de bedrijfsvoering. Een operational audit onderzoekt het functioneren van het Management Control Systeem van een organisatie (oftewel de bestuurlijke beheersorganisatie). Daarbij gaat het om de kwaliteit van de controls (stuurinstrumenten) waarover het management beschikt. Operational auditing is gericht op het beheer van processen binnen de organisatie. Risico s worden in kaart gebracht en beheersmaatregelen (zoals functiescheiding, kaders & richtlijnen en AO-procedures) worden voorgesteld. Een operational audit kan worden gezien als een verschijningsvorm van een lokale rekenkamer; een kritische zelfreflectie van het management op het handelen van de ambtelijke organisatie. De operational auditor heeft als taak het management te helpen bij het verbeteren van de kwaliteit van de beheersing van de bedrijfsvoering. 3. Doelmatigheidsonderzoek Een doelmatigheidsonderzoek cf. art 213a van de Gemeentewet, onderzoekt de effectiviteit en efficiëntie waarmee in het bijzonder extern gerichte beleidsdoelstellingen van de organisatie worden gerealiseerd. Het College onderzoekt idealiter jaarlijks de doelmatigheid 3 Haute Equipe Partners in Public / 023 547 19 13 / info@haute-equipe.nl
van (onderdelen van) organisatie-eenheden en de uitvoering van taken door de gemeente. Het College zendt ieder jaar een onderzoeksplan naar de Raad met de in het komende jaar te verrichten interne onderzoeken naar de doelmatigheid en de doeltreffendheid. In het onderzoeksplan wordt per intern onderzoek globaal aangegeven wat het object, de reikwijdte, de onderzoeksmethode, de doorlooptijd en de wijze van uitvoering is. In het onderzoeksplan wordt ook aangegeven welke budgetten in de begroting zijn opgenomen voor de uitvoering van de onderzoeken. Het College rapporteert in de bedrijfsvoeringsparagraaf van de begroting en jaarstukken over de voortgang van de onderzoeken naar de doelmatigheid en doeltreffendheid en de uitputting van de bijbehorende budgetten. 4. Overige evaluatie-instrumenten De volgende instrumenten worden vaak genoemd als evaluatie-instrument, maar hebben overlap met bovengenoemde onderzoeken: Projectmatig evaluatieonderzoek = onderzoek dat op de toetsing en de realisatie van beoogde doelen is gericht. ~ Beleidsevaluatie ~ Doelmatigheidsonderzoek (gericht op extern te bereiken beleidsresultaten) Organisatiedoorlichtingen ~ Operational auditing (interne processen en bedrijfsvoering) ~ Doelmatigheidsonderzoek (externe prestaties of effecten) Kengetallen Toe te passen in benchmarks of als onderdeel van het eigen planning en control systeem 4. Uitdagingen bij effectmeting De Programmabegroting speelt een belangrijke rol bij sturing en controle door de gemeenteraad. De kwaliteit van indicatoren vormen daarbij een belangrijk onderdeel. De indicatoren dienen onderdeel te zijn van de reguliere planning & control, met een bijbehorend meetplan. Het samenstellen van outcome indicatoren blijft een lastige bezigheid. Een goede indicator geeft antwoord op vier vragen: Hoeveel? Wie? Wat? Wanneer? Bijvoorbeeld bij de indicator 75% van de deelnemers aan het programma vindt werk binnen 6 maanden na de start van het programma. Hoeveel: 75% Wie Deelnemers aan het programma Wat Werk vinden Wanneer Binnen 6 maanden na de start van het programma 4 Haute Equipe Partners in Public / 023 547 19 13 / info@haute-equipe.nl
Een andere uitdaging bij het meten van effecten is de mate waarin het effect kan worden beïnvloedt door eigen interventie. Dit wordt wel het attributieprobleem genoemd en hangt nauw samen met de complexiteit en context van de omgeving. Dit attributieprobleem kan worden omzeild door gebruik te maken van verschillende soorten van gegevens(bronnen) en dataverzamelingsmethoden (zogenaamde triangulatie). Maar ook andere methoden en modellen kunnen uitkomst bieden, zoals de methode Outcoming Mapping waarbij men zich richt op gedragsverandering in plaats van de verandering van de staat van een bepaald object. In de volgende paragraaf passeren een aantal methoden de revue die nog niet of nauwelijks worden toegepast binnen de decentrale overheid, maar wel toegevoegde waarde kunnen hebben. 5. Toepassing van bestaande methoden en modellen Logisch model 1 Een effectieve methode voor het in kaart brengen van voortgang in de richting van interim en lange termijn resultaten is door middel van de ontwikkeling en toepassing van een programmalogisch model. Een programma-logisch model geeft een beeld van hoe een programma werkt; de theorie en de aannames die onder een programma liggen. Een programma-logisch model verbindt uitkomsten (zowel korte als lange termijn) met programma-activiteiten en -processen en de theoretische aannames/uitgangspunten van het programma. Dit model biedt een stappenplan van een programma, met de nadruk op de verwachtte werking, welke activiteiten op elkaar volgen, en hoe de gewenste resultaten worden bereikt. Theory of Change Een theory of change biedt een stappenplan om van hier naar daar te komen. Een theory of change definieert alle bouwstenen die nodig zijn om te komen tot een bepaald doel op de lange termijn. Deze reeks verbonden bouwstenen - outcomes, resultaten, prestaties of randvoorwaarden - is afgebeeld op een kaart die bekend staat als het veranderingspad, wat een grafische weergave is van het veranderingsproces. Outcome Mapping Bij Outcome Mapping ligt de klemtoon steeds op het gedrag van mensen. Outcome Mapping beoogt een gedragsverandering, terwijl het Logisch Model een toestandsverandering aanduidt. Een logisch project heeft bijvoorbeeld zuiverder water, een sterkere economie of verminderd conflict als objectief. Outcome Mapping daarentegen zal focussen op outcomes of gedragsveranderingen van mensen, groepen of organisaties: Participeren de bewoners van dorp X aan het schoon houden van het nabijgelegen meer? Spelen allochtone mannen een actieve rol bij het leefbaar houden van de buurt? Etc. 1 Zie www.evaluationwiki.org/index.php/logic_model voor voordelen van het opbouwen van een logisch model 5 Haute Equipe Partners in Public / 023 547 19 13 / info@haute-equipe.nl
De visie van Outcome Mapping wijst op de complexiteit van het ontwikkelingsproces die het extreem moeilijk maakt om impact te meten en te evalueren. De realiteit is immers complex en er spelen altijd meerder factoren een rol zodat attributie moeilijk is aan te tonen. Op die manier laat Outcome Mapping als benadering meer ruimte voor verandering en erkend de complexiteit en het voortdurend in beweging zijn van de werkelijkheid. Ontwikkeling is per definitie een proces in verandering, impliceert de beweging van mensen, van gedragingen, mentaliteit en is daardoor niet altijd te vatten door een logisch kader wat vooraf is opgelegd. Een tweede belangrijk verschil met het Logisch Model is dat Outcome Mapping rekening houdt met alle partijen van start tot eindstreep. Al bij het ontwerp van een project worden zij betrokken. Per partij worden de gewenste gedragswijzigingen (outcomes) in kaart gebracht ( gemapt ) en van daaruit worden de projectactiviteiten omschreven. Elke activiteit zal bijdragen aan een of meerdere gedragswijzigingen bij een bepaalde groep van mensen. Deze laatste, de zogenaamde boundary partners, vormen de ruggengraat van elke interventie. Het uiteindelijke slagen van een programma of project hangt in grote mate van hun medewerking en vooruitgang af. De drie fasen van Outcome Mapping: planning, monitoring en evaluatie Most Significant Change De most significant change methode is een methode om achteraf veranderingen te identificeren, vaak op middellange termijn op outcome- en impactniveau. De focus ligt meer op veranderingen en resultaten. Door middel van selectie van verschillende verhalen wordt er tegelijkertijd getracht een meer eenduidige strategie van het project of programma te destilleren. Daarnaast wordt een afspiegeling van de verhalen gebruikt voor verantwoording door middel van kwantificering. De methodologie bestaat uit het periodiek vergaren van verhalen over de meest significante verandering, volgens verschillende actoren. De verhalen beginnen met de vraag Wat was 6 Haute Equipe Partners in Public / 023 547 19 13 / info@haute-equipe.nl
volgens jou, over de afgelopen tijdsperiode de meest significante verandering?. Al naar gelang de behoefte van projectleiders en betrokkenen wordt de vraagstelling gericht op een bepaalde tijdsperiode en thema. Het vergaren van verhalen kan op verschillende manieren gedaan worden: via interviews, groepsbijeenkomsten of schriftelijk. Binnen de groep van actoren worden de verhalen besproken en wordt een selectie gemaakt van de voor de groep belangrijkste verhalen. Deze selectie wordt doorgestuurd naar de bovenliggende laag in de projectstructuur. Deze selecteert op haar beurt weer de in hun ogen meest significante verandering en stuurt deze door naar bovenliggende lagen. Deze selectie beoogt met name een discussie tussen betrokkenen over wat het project nu werkelijk wil bereiken en welke verhalen daar goede voorbeelden van zijn. Onderdeel van het proces is verificatie van de verhalen. Naast een kwalitatieve weergave van de meest significante veranderingen, kan er ook voor een meer kwantitatieve insteek worden gekozen, bijvoorbeeld door te onderzoeken hoe vaak een bepaalde verandering wordt genoemd, hoeveel mensen de verandering betreft, voor hoeveel mensen de verandering representatief is etc. Deze methode kan op elk gewenst tijdstip en op elk niveau van verandering in het project of programma gebruikt worden, en kan verricht worden zonder dat een project of programma een duidelijke interventielogica dan wel planning heeft. Het wordt daarom ook wel abusievelijk Monitoring & Evaluation zonder indicatoren genoemd. Ervaringen laten zien dat een combinatie van het verzamelen van verhalen met een interventielogica elkaar wederzijds ondersteunen. Bij elk niveau van interventie en verandering kunnen verhalen worden gezocht. De methode kan breed ingezet worden en kent weinig randvoorwaarden behalve de meer algemene zoals dat er draagvlak moet zijn bij de betrokken actoren, een lerende houding binnen het project etc. De methode is makkelijk in het gebruik en kan door projectwerkers en projectleiders zelf uitgevoerd en gefaciliteerd worden. De methode is met name geschikt voor projecten en programma s waarvan de (richting van) uitkomsten en resultaten ongewis zijn, bijvoorbeeld bij innovatieprojecten en andere projecten waarbij verschillende groepen van actoren betrokken zijn. Het verzamelen van verhalen is wel arbeidsintensief. Tijdlijn methode Bij de tijdlijnmethode wordt op een relatief snelle manier een evaluatie van een project of programma gemaakt. Eerst wordt aan betrokkenen gevraagd om markante gebeurtenissen te noemen uit de geschiedenis van het project of programma. Het gaat om gebeurtenissen die het proces hebben bevorderd of die betrokkenen als belemmerend hebben ervaren. Vervolgens worden deze persoonlijke observaties geordend op een tijdlijn en besproken met betrokkenen. Daarmee ontstaat een historisch verhaal over de ontwikkeling van het project, met persoonlijke leerervaringen. Learning history Ook in een learning history wordt een tijdlijn gemaakt. Maar de learning history is een diepgaandere analyse van de ontwikkeling van een experiment of programma en 7 Haute Equipe Partners in Public / 023 547 19 13 / info@haute-equipe.nl
belangrijke keuzes daarbinnen. Daarvoor wordt het verloop van een project of programma geconstrueerd op grond van documenten en diepte-interviews/reflectiesessies met betrokkenen. Ervaringen en de context waarbinnen die werd verkregen worden meegenomen, om context specifieke inzichten overzetbaar te maken naar een andere setting. De informatie wordt bijeengebracht in een concept Learning History document dat besproken wordt met de betrokkenen. Het slotdocument van een Learning History bevat twee kolommen: de rechterkolom beschrijft de gebeurtenissen vanuit het perspectief van de betrokkenen (met aandacht voor belangrijke keuzemomenten); in de linker kolom staan kritische vragen en commentaren uit de reflecties. Bij alle genoemde methoden is een belangrijke constatering dat de evaluatie zelf al een bijdrage levert door het betrekken van belanghebbenden en participatie van belanghebbenden in het evaluatieproces. Al gedurende het evaluatieproces vindt bewustwording plaats en wordt draagvlak voor de aanbevelingen gecreëerd. Welke evaluatie uiteindelijk ook wordt uitgevoerd, de echte uitdaging is om te werken aan de geloofwaardigheid van een organisatie. 6. Nieuwe inzichten Zonder hier verder al te diep op in te gaan zijn er een aantal ontwikkelingen op het gebied van evaluaties te noemen: Internationaal vindt er een verschuiving in de focus van evaluaties plaats van impact naar outcome, mede door de complexiteit van de omgeving en het daardoor optredende attributieprobleem. Eveneens is er een beweging zichtbaar van enerzijds het uitvoeren van korte expert reviews (wat ging niet goed?) als het gaat om effectiviteit en relevantie, en anderzijds uitgebreide evaluaties met betrekking tot outcome. De rol van evaluator ontwikkelt zich steeds meer naar een faciliterende rol, waarbij belanghebbenden worden aangemoedigd om zelf aanbevelingen te formuleren. 7. Knelpunten bij gemeentelijke evaluaties Binnen de decentrale overheid is de Programmabegroting is al enige jaren het belangrijkste instrument voor sturing en controle voor de gemeenteraad. Kern van de Programmabegroting zijn de drie W-vragen: Wat willen we bereiken? (effectiviteit), Wat doen we er voor? (output) en Wat mag het kosten? (input). Bij de eerste vraag kan men zich afvragen in hoeverre de effectiviteit echt uit de verf komt. Effectiviteit geeft aan of de uitkomst van een proces is bereikt, of de betreffende inspanningen en uitgaven daadwerkelijk bijdragen aan 8 Haute Equipe Partners in Public / 023 547 19 13 / info@haute-equipe.nl
de realisatie van het beoogde doel. Is er een eenduidig beeld over effectiviteit? Het beoogde doel kan variëren van output tot outcomes (wat wordt de doelgroep er beter van?) en zelfs impact (maatschappelijk effect op langere termijn). Een goed begrip van het soort doel helpt om de juiste indicatoren te benoemen. Meting van het resultaat of effect dient altijd plaats te vinden ten opzichte van het beoogde doel. Vragen die hierbij rijzen: a) is het beoogde doel ook relevant voor de doelgroep en de financier (lees: burgers/ gemeenschap)? b) is er nagedacht over het verband tussen eigen inspanning en het beoogde doel? Met andere woorden, is er een theory of change 2 ontwikkeld? c) er wordt een causaal verband verondersteld tussen de eigen inspanning en het beoogde doel; is daarbij rekening gehouden met andere actoren en ontwikkelingen die het beoogde doel beïnvloeden? Met andere woorden, kan de eigen attributie worden aangetoond? d) kan het effect überhaupt gemeten worden? Een belangrijke vraag is hoe de objectiviteit van interne operational audits is gewaarborgd. Keurt de slager zijn eigen vlees? En hoe zit het met publicatieplicht en verspreiding van de uitkomsten? Een centraal thema bij elke evaluatie is het functioneren van de regelkring. Evaluatie heeft alles te maken met Plan Do Check Act, en het ingrijpen en bijsturen door managers of het bijstellen van normen. Onderstaande figuur geeft een algemeen kader voor processturing en evaluatie van organisatie(onderdelen). 2 Theory of change verbindt activiteiten en outcomes om uit te leggen HOE en WAAROM de gewenste verandering tot stand zal komen. Theory of change stimuleert een kritisch denkproces, brengt het veranderingspad in beeld, en verklaart wat er moet gebeuren (en onder welke assumpties) om het gewenste doel te bereiken. 9 Haute Equipe Partners in Public / 023 547 19 13 / info@haute-equipe.nl
Een vraag die bij gemeentelijke evaluaties nog weinig wordt gesteld is de vraag naar duurzaamheid; is het opgetreden effect duurzaam en wordt gewerkt aan financiële en organisatorische duurzaamheid (zelfredzaamheid en onafhankelijkheid van de financier). 8. Verbeteren van de evaluatieve functie van gemeenten Om te komen tot verbetering van het evaluatieve vermogen van gemeenten worden onderstaand een aantal noties genoemd. 1. Opstellen van een duidelijk en centraal evaluatiebeleid binnen de organisatie Wie de evaluatieve praktijk nader bestudeert zal merken dat definities en methodes nogal eens verschillen van organisatie tot organisatie. Het is daarom belangrijk om binnen de eigen organisatie tot een eenduidig taalgebruik en centraal kader te komen. Wat verstaat de betreffende gemeente onder een evaluatie, welke soort evaluaties worden onderscheiden, wat is het doel van de evaluaties, wat zijn de onderliggende principes en normen, hoe worden evaluaties geïncorporeerd binnen de planning en control, hoe creëer je een lerende omgeving? Dit zijn belangrijke vragen waarover duidelijkheid kan worden gegeven door vastlegging in een evaluatiebeleid en evaluatierichtlijnen. 2. Positionering van evaluatie binnen het planning & control systeem De planningsfunctie kan worden versterkt door meer tijd en aandacht te besteden aan het design: het uitvoeren van een deugdelijk behoeftenonderzoek, kiezen voor een participatieve insteek, ontwikkelen van een theory of change, verwerken van indicatoren in een meetplan en uitvoeren van een baseline meting. If you don t know where you re going, how will you ever know if you get there? Het ontwikkelen van toegepaste en meetbare indicatoren gedurende de planningsfase is de sleutel tot een goede evaluatie. Vroegtijdige identificatie van indicatoren versterkt de noodzaak tot het verzamelen van baseline data. De evaluatiecomponent lijkt binnen de planning en control van de decentrale overheid te zijn ondergesneeuwd. Waar internationaal en in de profit sector binnen de bedrijfsvoering vaak wordt gesproken over PME systems (planning, monitoring, evaluation), wordt binnen de decentrale overheid gesproken over P&C (planning & control). Ook al is de Deming cirkel inmiddels een overbekende term; in de praktijk mag meer aandacht komen voor de aspecten van Check en Act, het bijsturen door het management en het bijstellen van normen. Met betrekking tot rekenkameronderzoeken en doelmatigheidsonderzoeken kan de vraag worden gesteld of de lokale auditfunctie niet te veel ad hoc in plaats van cyclisch (als structureel onderdeel van de P&C cyclus) wordt vormgegeven. 10 Haute Equipe Partners in Public / 023 547 19 13 / info@haute-equipe.nl
3. Meer aandacht voor de relevantievraag Via een evaluatie kunnen drie belangrijke vragen worden gesteld: Is the right thing being done? Is it being done well? Are there better ways of doing? De eerste vraag betreft de relevantievraag, de tweede vraag gaat in op de efficiency, effectiviteit en duurzaamheid, en de derde vraag zoekt naar alternatieven, best practices en lessons learned. Binnen de decentrale overheid ligt de nadruk op Is it being done well? en lijkt te weinig aandacht besteed te worden aan de relevantievraag Is the right thing being done? Relevantieonderzoek waarbij de burger wordt betrokken komt nog weinig van de grond. In het verlengde hiervan is het de vraag of er voldoende participatie van de doelgroep is. In hoeverre worden directe belanghebbenden betrokken? Aan het begin van het proces (bij het opstellen van een theory of change), maar ook gaandeweg en aan het einde van het proces? 4. Voldoende aandacht voor outcomes? Veel Programmabegrotingen zijn nog te veel outputgericht. Er is meer aandacht nodig voor een andere meting van outcome, namelijk een shift van meting een bepaalde toestand naar meting van gedragsbeïnvloeding van directe belanghebbenden. Outcome Mapping kan hierbij een interessante methode zijn. 5. Voldoende aandacht voor duurzaamheid? Het is de vraag of er voldoende aandacht is voor de duurzaamheidsvraag (een van de vijf belangrijke evaluatievragen). Hierbij gaat het niet alleen om de inhoudelijke duurzaamheid van het product, de dienst of het effect, maar ook om de financiële en organisatorische duurzaamheid. Is bijvoorbeeld de prikkel tot zelfredzaamheid een afwegingsfactor bij subsidieverlening? 6. De fase na het evaluatierapport Heeft het evaluatieproces bijgedragen aan het draagvlak? Door het betrekken van de diverse organisatieonderdelen wordt een bewustwordingsproces op gang gebracht. Ook participatie van de doelgroep en bespreking van de eerste bevindingen met diverse betrokkenen bevordert het vertrouwen (door transparantie) en versterkt het draagvlak voor het uitvoeren van de uiteindelijke aanbevelingen. De goedgekeurde aanbevelingen dienen tenslotte ook daadwerkelijk te worden uitgewerkt in een actieplan en de acties dienen meegenomen te worden in de reguliere planning en control zodat de follow-up kan worden gemonitord. Dit artikel is geschreven door : P.C. (Paul) Schot (paul.schot@haute-equipe.nl) 15-01-2014 11 Haute Equipe Partners in Public / 023 547 19 13 / info@haute-equipe.nl