strategiereeks Lerend evalueren Reflecteren, leren en verbeteren Lerend evalueren Strategiereeks Royal Haskoning 3

Transcriptie

1 strategiereeks Lerend evalueren Reflecteren, leren en verbeteren Lerend evalueren Strategiereeks Royal Haskoning 3

2 Lerend evalueren Reflecteren, leren en verbeteren

3 2 Lerend evalueren Strategiereeks Royal Haskoning

4 Strategiereeks De Strategiereeks is een uitgave van Royal Haskoning SMC - Strategie en Management Consultants. Met deze reeks willen we een bijdrage leveren aan de professionalisering van strategische beleidsontwikkeling en proces-, programma en verandermanagement in het ruimtelijk domein. De visies, modellen en instrumenten die in de Strategiereeks worden gepresenteerd, helpen onze klanten en adviseurs bij de ontwikkeling en uitvoering van beleid, programma s en projecten voor de inrichting van Nederland, en voeden de discussie daarover. De uitgaven van de Strategiereeks zijn gebaseerd op praktijkervaringen van onze klanten, relaties en adviseurs. De eerste uitgave in de Strategiereeks behandelt onze visie op en onze belevenissen met procesmanagement in het ruimtelijk domein. De tweede uitgave beschrijft een concreet model dat projectteams, afdelingen of organisaties kan helpen bij het kiezen en invullen van de eigen ambitie en rol in projecten en programma s. De derde uitgave introduceert vijf veranderprincipes die overheden kunnen helpen om invulling te geven aan transities. In de vierde uitgave presenteren we handreikingen voor het voeren van een effectieve en resultaatgerichte dialoog. In deze vijfde uitgave bieden we met de lerende evaluatie perspectief op meer effectiviteit van evaluaties. Uitgaven Strategiereeks Nr 1 Sturen in beweging: naar een procesmodel op inhoudelijke gronden Nr 2 Het Rolmodel: over kiezen en uitvoeren van rollen in het publieke domein Nr 3 Nieuwe ruimte: veranderprincipes voor vernieuwing in het ruimtelijk domein Nr 4 Dialoogwijzer: hoe een sterk verhaal tot handelen leidt Nr 5 Lerend evalueren: reflecteren, leren en verbeteren Lerend evalueren Strategiereeks Royal Haskoning 3

5 4 Lerend evalueren Strategiereeks Royal Haskoning

6 Evaluaties evalueren? Het onderwerp van deze vijfde uitgave van de Royal Haskoning SMC Strategiereeks is Lerend evalueren: reflecteren, leren en verbeteren. Het effect van veel evaluaties is doorgaans onvoldoende. Na de verantwoording verdwijnt het evaluatierapport in de la en worden de doelstellingen het jaar erna ook niet gehaald. De relevantie van de evaluatie is dan beperkt. Tot deze reflectie kwamen wij, toen we een aantal evaluaties evalueerden. Evaluaties waarbij wij als Royal Haskoning wél en waarbij wij niet betrokken zijn geweest. Wij denken dat meer en beter geleerd kan worden van evaluaties. Zeker in de complexe wereld van onze fysieke leefomgeving is dat van groot belang. Nederland verandert immers snel. We werken, wonen, recreëren anders, gaan anders met onze omgeving om, we stellen nieuwe eisen. Geïnspireerd door leer- en evaluatietheorieën én verrijkt met eigen ervaringen, beschrijven we hoe het lerend vermogen van evaluaties bevorderd kan worden. We reiken hiervoor principes aan die het lerend vermogen van een evaluatie kunnen versterken en ingrediënten die bepalend zijn voor de rol van de evaluator als de facilitator van het leerproces. Belangrijkste les is dat een klassieke evaluatie, uitgevoerd op enige afstand door een onafhankelijk deskundige, misschien wel tot een zorgvuldige evaluatie leidt, maar niet tot een effectieve evaluatie. Een evaluatie is vooral effectief als door betrokkenheid van alle stakeholders recht wordt gedaan aan de verschillende perspectieven van die betrokkenen. Hierdoor kunnen zij meer begrip krijgen voor elkaars perspec tieven, leren van elkaar en vervolgens samen verder aan de slag gaan. Ten behoeve van deze uitgave van de Strategiereeks hebben we een ronde tafel georganiseerd met een aantal betrokken professionals vanuit overheid en wetenschap. In het gesprek hebben we samen gereflecteerd op de mogelijkheden en dilemma s van de lerende evaluatie. Die reflectie hebben we, samen met onze opdrachtgevers, ook vorm gegeven in de beschrijving van een vijftal praktijkvoorbeelden in het laatste hoofdstuk. Ik dank allen voor hun bijdrage hieraan en wens u veel lee(r)splezier met deze evaluatie van evaluaties. Frank Heemskerk Raad van Bestuur Royal Haskoning Lerend evalueren Strategiereeks Royal Haskoning 5

7 6

8 Opgave Reflecteren, leren en verbeteren 7

9 Reflecteren, leren en verbeteren 1. Opgave De inrichting en het beheer van onze (fysieke) leefomgeving is complex. Het gaat over lastige opgaven, waarin economie, wonen, mobiliteit, recreatie, water, natuur en milieu in samenhang een plek zoeken met het oog op een duurzame inrichting en beheer van die leefomgeving. Opgaven die zich vaak ook afspelen op meerdere schaalniveaus (multi-level), waarbij niet alleen meerdere overheidslagen betrokken zijn, maar ook vele andere belanghebbenden (multi-actor governance). Bovendien speelt de factor tijd een belang rijke, complicerende rol. Nieuwe opgaven dienen zich aan (klimaat, krimp) en sociaal-econo mische (crisis) en politieke omstandigheden (bezui nigingen, decen tralisatie) zijn aan verandering onderhevig. Een sim pele oplossing is niet snel gevonden. Deze complexiteit is voor ons in de voorgaande uitgaven van de Royal Haskoning SMC Strategiereeks steeds een inspiratiebron geweest. Wij willen de effectiviteit van onze adviezen vergroten door onze ervaringen te bundelen en te vertalen in praktisch toepasbare handvatten. Waarom? Deze reeks is voor ons een manier om te reflecteren op onze praktijk, hiervan te leren, deze ervaringen ook met anderen te delen en elke dag een beetje beter te worden. Leren is belangrijk. Dat zal iedereen beamen, bijvoorbeeld verwijzend naar het belang van een gedegen opleiding, bijscholing en zelfontplooiing. Maar leren wij in de concrete praktijk wel genoeg van en met elkaar? Zijn we bereid en vaardig om te reflecteren op elkaar, te leren van elkaar en zo tot meer te komen? Ook hierop zal het antwoord vermoedelijk positief zijn. Maar mogelijk is dat niet de hele waarheid. Want leren van elkaar vraagt om openheid en kwetsbaarheid. Leren van elkaar vraagt om een veilige (leer-)omgeving. En dat is in de complexe opgaven waarover we het hebben, met vaak lastige politieke en maatschappelijke belangentegenstellingen, niet eenvoudig. Leren van evaluaties? De vraag naar het lerend vermogen kwam bij ons naar boven in de reflectie op een aantal evaluaties. In onze adviespraktijk zien wij dat bij veel evaluaties onvoldoende geleerd wordt. Te veel evaluaties zijn vooral een beoordeling of verant woor ding, veelal op gepaste afstand uitgevoerd door een des kundig en onafhankelijk evaluator. De vraag of deze vorm van evalueren, hoe goed en zorg vuldig uitge voerd, voldoende effectief is, fasci neert ons. Is de com plexiteit van opgaven niet zo groot dat een objectieve beoordeling door een onafhankelijk evaluator, welis waar resulteert in een zorgvuldige evaluatie, maar dat het resultaat vooral ogenschijnlijk objectief en onaf hankelijk is? Is de complexiteit van opgaven niet zo groot dat een objectief en onafhankelijk beeld van de werkelijkheid een idée fixe is? Ligt daarmee niet het risico op de loer dat het resultaat van de evaluatie vooral door de evalu ator wordt gevoeld en beleefd en niet of in ieder 8 Lerend evalueren Strategiereeks Royal Haskoning

10 geval niet automatisch door de opdrachtgever en de stake holders? En ligt daarmee niet het risico op de loer dat de waarde van de evaluatie, en daarmee de effectiviteit van de evaluatie, juist beperkt is en geen of onvol doen de aanjager is voor (nieuw) handelingsperspectief? Wij denken van wel. Het effect van veel evaluaties is doorgaans onvoldoende. Na de verantwoording verdwijnt het rapport in de la en de doel stellingen worden ook het jaar erna niet gehaald. Oftewel, de relevantie en effectiviteit van de evaluatie zijn beperkt. Een lerende evaluatie kan uitkomst bieden. Een lerende evaluatie is een evaluatie die niet alleen successen en mislukkingen in beeld brengt en dit voorziet van een oordeel, maar een evaluatie waarbij het vooral gaat om het gezamenlijk komen tot verbetering. Het leren staat dus centraal, en dat leren begint al bij de start van de evaluatie. De evaluator is niet meer de onafhankelijk deskundige, maar de facilitator van het leerproces. Vormgeven aan een lerende evaluatie Wij willen meer bereiken met een evaluatie en zijn ervan overtuigd dat een lerende evaluatie effectiever is en tot meer handelingsperspectief kan leiden. Niet alleen door ons enthousiasme over de theorie die we over lerend evalueren tot ons hebben genomen. Maar ook omdat we, in ieder geval op onderdelen, in onze praktijk vorm geven aan de lerende evaluatie. De combinatie van inhoud (affiniteit met en kennis van het inhoudelijk domein) én proces (de vaardigheid om het leren te faciliteren) is daarin voor ons cruciaal. Daarom gaat dit vijfde deel van de Royal Haskoning SMC Strategiereeks over de lerende evaluatie. Evaluatie van beleid, programma s en concrete projecten. In Lerend evalueren; reflecteren, leren en verbeteren wordt een pad geschetst waarlangs partijen de ruimte krijgen om hun verhalen te vertellen en in dialoog te leren van elkaar, om vervolgens tot verbetering te komen. Bredere toepassing Lerend evalueren staat centraal in deze uitgave van de Strategiereeks. Maar het (faciliteren van het) leerproces heeft natuurlijk een bredere toepassing dan evaluaties alleen. Leren is gericht op het komen tot verbetering en vernieuwing. En daarmee kan deel 5 ook los gezien worden van de evaluatiepraktijk. Het leerproces is ook van toepassing op de complexe processen in de opgaven, waarmee we dit hoofdstuk startten. Of anders gezegd: bij een goed vormgegeven lerende evaluatie tijdens de uitvoering (in evaluatietermen: ex durante) is de vraag niet meer relevant of het leerproces onderdeel uitmaakt van de (ex durante) evaluatie of van het uitvoerings traject zelf. Het reflecteren en leren om te komen tot verbetering staat centraal! Op verschillende plaatsen in deze uitgave van de Strategiereeks gaan we daarom in op de bredere toepassing van de lerende evaluatie. Lerend evalueren Strategiereeks Royal Haskoning 9

11 10

12 Leren en evalueren Leren Evalueren De lerende evaluatie 11

13 De zoektocht naar een theoretische duiding van de lerende evaluatie loopt, niet onlogisch natuurlijk, via de wereld van leertheorieën. Hier staan we kort bij stil, omdat kennis van leertheorieën helpt bij de duiding en de vormgeving van een lerende evaluatie. Daarna gaan we in op ontwikkelingen in de evaluatietheorieën, om te eindigen bij een beschrijving van de kenmerken van een lerende evaluatie. Leren 2. Leren en evalueren Leertheorieën zijn er legio. In oorsprong hebben ze hun basis in het onderwijs, maar er zijn ook veel toepassingen voor de professionele praktijk. Twee elementen pikken we eruit omdat ze een relevante betekenis hebben voor de lerende evaluatie: ordes van leren en collectief leren. Ordes van leren Een eerste leeraspect dat interessant is voor de lerende evaluatie gaat over ordes van leren. Er zijn meerdere theorieën die hierop ingaan. Argyris en Schön worden vaak als primaire bron aangehaald. Zij spreken over eerste, tweede en derde orde leren. De ordes van leren worden als volgt omschreven: Eerste orde leren Eerste orde leren is gericht op het oplossen van eenvoudige opgaven. Het accent ligt op het ont dekken en corri geren van fouten in vertrouwde situaties ( functioneel leren ). Dit niveau van leren is bruikbaar voor routine matige opgaven, mits deze opgaven in een bekende omgeving en binnen bekende kaders uitgevoerd wor den. Er wordt geleerd om dezelfde opgave beter te kunnen doen. Tweede orde leren Bij tweede orde leren wordt de opgave in haar context bezien. Het leren is gericht op het vernieuwen van de bestaande situatie. Iemand die op dit niveau leert, stelt vraagtekens bij de opgave zelf. Bij tweede orde leren worden de normen, die aan de voor hand liggende interventies en geijkte instrumenten ten grondslag liggen, in het leerproces betrokken. Hier gaat het om substantieel leren. Derde orde leren De focus ligt op het leren van het leerproces: leren (te) leren. Hierbij gaat het om het effectiever en efficiënter erkennen en corrigeren van fouten. Dit om ook in andere situaties met meer succes reflectieprocessen toe te passen op gebruikte concepten en benaderingen. In de verschillende leertheorieën wordt het eerste, tweede en derde orde leren gekoppeld aan ver schillende niveaus van handelingsperspectief: verbeteren, 12 Lerend evalueren Strategiereeks Royal Haskoning

14 vernieuwen en transformeren. Met deze focus op handelingsperspectief, ligt een interessante koppeling tussen deze leertheorie en de lerende evaluatie. Uit het vervolg zal namelijk blijken dat de lerende evaluatie juist gericht is op het creëren van gezamenlijk handelingsperspectief. Dit handelings perspectief kan zich op meerdere niveaus manifes teren, maar is bij een lerende evaluatie veelal van tweede en/of derde orde. Het evaluatieproces zal, vanaf de start, moeten stimuleren en uitdagen. Elkaar dus niet alleen uitdagen om de dagelijkse routine te verbeteren, maar elkaar ook uitdagen om bestaande conventies kritisch tegen het licht te houden, verder en dieper te kijken, op zoek naar vernieuwing en mogelijk zelfs transformatie. Zeker opgaven met, zowel inhoudelijk als procesmatig, een hoge mate van complexiteit vragen om oplos singen die verder gaan dan de eerste orde. 3 derde orde leren 2 tweede orde leren complexiteit proces 1 eerste orde leren complexiteit inhoud Lerend evalueren Strategiereeks Royal Haskoning 13

15 Collectief leren Een tweede leeraspect gaat over collectief leren. Een lerende evaluatie is namelijk een collectief proces waarin de verschillende betrokkenen elkaar hun verhalen vertellen, proberen begrip te krijgen voor elkaars uitgangspunten en meningen en van daaruit samen komen tot verbetering en vernieuwing. deelneemt aan het collectief leerproces een eigen belang moet hebben bij het leren. Zo niet, dan is er onvoldoende basis om te investeren in het leerproces. Dit belang kan worden getriggerd als het leerproces dicht tegen de praktijk en de ervaringen van de deelnemers aan het leerproces zit. 2. Leren en evalueren De essentie van collectief leren zit hem in de aard van interactie. Bij individuele leerprocessen is de interactie met de ander bedoeld om jezelf beter te leren kennen en desgewenst te veranderen. Bij collectieve leerproces sen gaat de interactie veel verder en is ze bedoeld om samen betekenis te geven aan de veelvormige werkelijkheid en samen te komen tot handelingsperspectief. Dat is de essentie van een collectief leerproces. Zowel bij individuele als collectieve leerprocessen leer je van elkaar. Bij collectieve leerprocessen leer je bovendien met elkaar. Bij collectief leren is zowel het proces als het resultaat collectief: er is niet alleen sprake van leren in interactie, maar men streeft ook bewust naar collectieve leerresultaten. Collectief leren leent zich goed voor het leren van en in complexe opgaven, waarbij het realiseren van verbetering en vernieuwing vraagt om collectieve inspanningen. Collectief leren in complexe opgaven is effectief. Hier ligt een waardevol aanknopingspunt met het oog op het collectieve aspect van de lerende evaluatie. De lerende evaluatie kan leren van de condities, methodieken en instrumenten die voor collectief leren zijn ontwikkeld. Zo is een cruciale conditie dat iedereen die Van leren naar de lerende evaluatie Met de introductie op ordes van leren en collectief leren zijn kort twee leeraspecten beschreven die doorwerken in de lerende evaluatie. Simpel gezegd leren de ordes van leren ons verder te kijken, te zoeken naar de vraag achter de vraag, te focussen op gezamenlijk handelingsperspectief en niet zomaar te kiezen voor de meest voor de hand liggende oplossing. Met het collectief leren wordt het belang van het leren van en met elkaar benadrukt. Twee lessen die terugkomen in het vervolg van deze strategiereeks. 14 Lerend evalueren Strategiereeks Royal Haskoning

16 Evalueren Evaluaties worden vaak gebruikt om verantwoording af te leggen. De laatste jaren echter ontstaat steeds meer het besef dat evaluaties ook kunnen en moeten bijdragen aan het leren uit lopende en al afgeronde processen. Dit kan vorm krijgen, zie ook het voorgaande, in een collectief leerproces. Evaluatie resultaten komen immers pas volledig tot hun recht als gebruik wordt gemaakt van de opgedane ervaringen. Een methodisch zorgvuldig opgebouwde evaluatie uit zich in onderbouwde keuzes over onder meer doel, inhoud, criteria, kernvragen en methoden van evaluatie-onderzoek. Bij ex-post evaluaties worden gegevens na afloop verzameld, beschreven en geïnterpreteerd. Bij ex-ante evaluaties wordt voorafgaand aan een interventie getracht een voorspelling te doen van de effecten en neveneffecten. Waar tijdens de uitvoering de vinger aan de pols wordt gehouden gaat het om evaluaties ex durante. Hierdoor kan gedurende de uitvoering worden bijgestuurd. Lerende evaluaties zijn vaker ex durante evaluaties. Volgens de klassieke opvattingen zijn evaluaties primair gericht op de vraag, of en in welke mate de doelstellingen zijn gerealiseerd. Effectiviteit is daarbij het centrale criterium waarop in deze opvatting wordt beoordeeld. Hiertoe worden de doeleinden vergeleken met de feitelijke effecten. Deze benadering veronderstelt dat er vooraf inzicht bestaat in de onderlinge relaties en samenhang tussen hoofddoelen, nevendoelen, instrumenten, maatregelen en effecten. Bij complexe, strategische processen bestaat dit inzicht op voorhand vaak niet. Doelen zijn vaak globaal en niet altijd geoperationaliseerd in maatregelen en criteria. Ook is de afhankelijkheid van de externe omgeving groot. Bij de uitvoering is men afhankelijk van de mate waarin andere actoren reageren op doelen en middelen, de maatschappelijke en politiek-bestuurlijke context en de mate waarin de actoren al dan niet willen meewerken aan de realisering van de doelen. Vooral het evalueren van complexe, strategische processen heeft bijgedragen aan de (theorie)ontwikkelingen bij evaluaties. In evaluaties worden steeds meer dimensies onderscheiden bij de vraag wat kan worden geëvalueerd. Zo wordt het accent in evaluaties gelegd op bijvoorbeeld effectiviteit, efficiency, prestaties, proces, assump ties en transparantie. Bij lerende evaluaties is er veel aandacht voor het proces en de assumpties (van de betrokkenen). Vier generaties evalueren De natuurkundige Egon Cuba en sociologe Yvonna Lincoln onderscheiden in hun studie Fourth Generation Evaluation (1989) vier generaties in de historische ontwikkeling van evaluatieonderzoek. De generaties die zij achtereenvolgens onderscheiden zijn: meten (eerste generatie), beschrijven (tweede generatie), Lerend evalueren Strategiereeks Royal Haskoning 15

17 beoordelen (derde generatie) en onderhandelen (vierde generatie). Meten heeft betrekking op het verzamelen van kwantitatieve gegevens, zoals bij het meten van de luchtkwaliteit. Of het meten van klanttevredenheid met een cijfer. Beschrijven betreft het verklaren van de gemeten resultaten. Bij een derde generatie evaluatie (beoordelen) wordt er een normatief oordeel uitge sproken over de kwaliteit. Guba en Lincoln presenteren in het verlengde van de eerste drie generaties een vierde generatie: onder handelen. De notie dat mensen uiteenlopende beteke nissen geven aan de wereld om hun heen staat centraal. In hun vierde generatie evaluatie speelt daarom waarden geladen kennis een belangrijke rol. De erkenning van de meervoudige werkelijkheid, dia loog en participatie van belanghebbenden zijn ken merken van deze vierde generatie. Evalueren zien Guba en Lincoln als een gezamenlijk onderhandelingsproces tussen belanghebbenden. Niet consensus is hier het doel, maar een doorgaand (socratisch) gesprek. In de vierde generatie evaluatie is de evaluator geen controller meer, maar een teamspeler die de interactie faciliteert. Vier generaties evalueren en de opbrengst van de evaluatie 2. Leren en evalueren 1 Meten 2 Beschrijven 3 Beoordelen Weten Waarden, constatering van de feiten Duiden Beschrijving van de feiten, het verhaal Verklaringen, oorzaken, gevolgen Normeren Beoordeling van (de duiding van) de waarden, in het licht van de beleidsdoelen, (veelal) in termen van realisatie, effectiviteit en efficiency Doorgaans met aanbevelingen over de wijze waarop de beleidsdoelen effectiever en efficiënter kunnen worden gerealiseerd 4 Onderhandelen Handelen Het met de opdrachtgever en stakeholders, bezien vanuit het meervoudig perspectief van de betrokkenen, beschrijven en duiden van de feiten Oog en begrip krijgen voor die verschillende perspectieven En van daaruit komen tot nieuw, gezamenlijk handelingsperspectief 16 Lerend evalueren Strategiereeks Royal Haskoning

18 De lerende evaluatie In een lerende evaluatie wordt de nadruk gelegd op doorwerking van de resultaten van de evaluatie en het bereiken van gedragsverandering. Een lerende evaluatie is, in de woorden van bestuurskundigen Edelenbos en Van Buuren (2006), niet zozeer het systematisch langs een van tevoren uitgezet traject een gewenst doel bereiken, als wel het vanuit een open grondhouding, vertrekkend vanuit globale onderzoeksdoelen, op een intelligente en creatieve wijze omgaan met de onzekerheid en onvoorspelbaarheid in een voortdurend veranderende werkelijkheid (betreffende de bestaande en beoogde situatie). Een lerende evaluatie vindt doorgaans niet plaats voorafgaand of na afloop van een beleidstraject, maar gedurende het beleidstraject. Dit duidt meteen op een belangrijke eigenschap van de lerende evaluatie, namelijk de deelname van betrokken partijen in de evaluatie. Een lerende evaluatie wordt vooral toegepast in situaties waarin waarheidsvinding lastig of onmogelijk is. Het gaat om evaluaties waarbij er vooraf niet één duidelijke norm of waarde is waaraan resultaten kun nen worden gemeten. Lerende evaluaties worden gebruikt in complexe situaties waarin meerdere stake holders met uiteenlopende belangen verschillend (zullen) oordelen. Ze hebben uiteenlopende percepties op de doelen, op de in te zetten instrumenten en op de resultaten ervan. Juist vanwege deze verschillende optieken dient er te worden onderhandeld over al deze aspecten. Vanaf het begin van de evaluatie tot aan het formuleren van de conclusies en aanbevelingen. In een lerende evaluatie worden die verschillende percepties niet bestreden, maar juist benut. Het proces wordt zo ingericht dat de betrokken partijen niet alleen kennis nemen van de resultaten binnen hun eigen perceptie, maar ook leren van andere percepties op de bevindingen. Op basis van de onderhandelingen zullen partijen samen de bevin dingen vertalen naar een (nieuw) gezamenlijk hande lingsperspec tief. Veranderende rollen in de lerende evaluatie Bij de meer klassieke evaluatie is er een centrale rol voor de evaluator weggelegd. De evaluator wordt geacht met enige afstand een onafhankelijk oordeel uit te spreken en op basis daarvan te komen tot aanbevelingen. De geëvalueerden hebben hier vooral de rol als informatieverstrekker. Bij een lerende evaluatie geeft de evaluator samen met de betrokken partijen, in interactie, vorm aan de evaluatie. De evaluator opereert als een reflective practitioner (Schön, 1983). Hij anticipeert, reageert en reflecteert voortdurend op de bij de evaluatie betrok ken actoren. Bij de lerende evaluatie krijgen, met andere woorden, de geëvalueerden een rol in het waar deren. De evaluator wordt daarmee steeds meer een facilitator van het waarderingsproces. Lerend evalueren Strategiereeks Royal Haskoning 17

19 2. Leren en evalueren De betrokkenheid van de geëvalueerden bij de beoordeling van de bevin dingen gaat uit van respect voor de (ervarings)deskun digheid van belanghebbenden. Bovendien is het inter actieve proces van oordeelsvorming ook een doel op zich. Als de evaluatie leidt tot een acceptatie van bevindingen en aanbevelingen ontstaat er tegelijkertijd handelingsperspectief om te komen tot verbetering. Van waarde naar waarderen Hiervoor zijn verschillende vormen van evalueren in beeld gebracht. De vraag is welke vorm het beste bij welke evaluatie past. Of anders gesteld: wat is nodig voor een effectieve evaluatie? Hier wordt vaak een link gelegd met de complexiteit van de evaluatie. Complexiteit in de zin van de opgave (het object van de evaluatie) en complexiteit in de zin van het aantal betrokken stakeholders (het subject). Naarmate die complexiteit toeneemt, zal blijken dat de duiding en beoordeling van feiten meervoudig is en de waarheid pluriform. Die pluriformiteit erkennen, betekent het erkennen van de betrokkenheid en belangen van de stakeholders. En ook het erkennen van het leervermogen van die stake holders om te veranderen en hun denkkracht om tot (nieuw) handelingsperspectief te komen. gezamenlijk vertalen naar ander gedrag en nieuw handelingsperspectief. Van waarde naar waarderen. Een hybride vorm De lerende evaluatie is een hybride vorm (Edelenbos en Van Buuren, 2005). Het is een vorm die kenmerken van verschillende evaluatietypen aan kan nemen. Voor het uitvoeren van een lerende evaluatie bestaat dus geen kant-en-klaar recept. Toch is er een aantal punten dat richting geeft aan de aanpak: Een lerende evaluatie werkt alleen als de stakeholders willen leren; Diegenen die willen leren van de evaluatie moeten actief worden betrokken in de vraagstelling. Zo creëer je draagvlak en voorwaarden voor leergedrag; Diegenen die willen leren moeten worden betrokken in de vormgeving en uitvoering van de evaluatie. Zo zorg je ervoor dat de bruikbaarheid en de kwaliteit van de evaluatie wordt vergroot; De gebruikers van de evaluatie denken mee over de vormgeving van de conclusies en aanbevelingen voor hun praktijk. Zo draag je bij aan de bruikbaarheid en toepasbaarheid ervan; De gebruikers dragen mede zorg voor de implementatie van de aanbevelingen. De lerende evaluatie gaat dus uit van pluriformiteit en accepteert deze. Het gaat er om de verschillende beelden en percepties van de stakeholders in beeld te brengen, met elkaar in contact te brengen, begrip voor elkaars beelden te krijgen, te leren van elkaar en dat Uit de theorieën rondom leren en evalueren leiden we een aantal principes af dat voor ons richtinggevend is voor een lerende evaluatie. Deze principes vormen in het volgende hoofdstuk de basis voor het ontwerp en de uitvoering van een lerende evaluatie. 18 Lerend evalueren Strategiereeks Royal Haskoning

20 domein strategiereeks handelen 4 onderhandelen normeren 3 beoordelen duiden van waarde naar waarderen > weten 1 meten 2 beschrijven complexiteit van opgave - actoren Lerend evalueren Strategiereeks Royal Haskoning 19

21 20

22 Vorm geven aan een lerende evaluatie Vier principes voor de lerende evaluatie: Sluit aan op het persoonlijke leerbelang Evalueer samen Neem de context mee Werk aan handelingsperspectief 21

23 werk aan handelingsperspectief neem de context mee evalueer samen sluit aan op het persoonlijke leerbelang evalueren neem de context mee leren

24 Vier principes voor de lerende evaluatie Na de meer theoretische beschouwing in het voorgaande, gaat dit hoofdstuk in op de toepassing in de praktijk. Er wordt een aanpak gepresenteerd die helpt in het vormgeven en uitvoeren van een lerende evaluatie. Geïnspireerd door de theorie en aangevuld vanuit de eigen praktijkervaringen. Het leren stimuleren: vier verbindende principes tussen leren en evalueren Centraal staat de uitdaging om een proces te ontwerpen waarin het evalueren en het leren met elkaar ver bonden zijn. Daarin ligt ook de ver binding tussen inhoud (affiniteit met, en kennis van het inhoudelijk domein) en proces (de vaardigheid om het leren te faciliteren), die de evaluator moet kunnen leggen. Om de verbinding tussen het evalueren en het leren te maken, en het leren te stimuleren, kan gebruik gemaakt worden van vier principes: Sluit aan op het persoonlijke leerbelang. Zoek aansluiting bij persoonlijke leervragen en -doelen. Betrokkenen zullen beter willen en kunnen leren als ze hun eigen leerbelang in de evaluatie herkennen. De kans dat er daadwerkelijk andere of nieuwe praktijken ontstaan is dan des te groter. Evalueer samen. Betrek de gebruikers van de evaluatie in de evaluatie, van start tot eind. Hun beleving en ervaring is niet alleen van belang voor de kwaliteit van het product van de evaluatie. Door samen te evalueren, wordt al tijdens de evaluatie met en van elkaar geleerd, om zo in de toekomst dingen beter te kunnen doen. Neem de context mee. Houdt in de evaluatie rekening met de dynamiek in de omgeving. Vanuit dit principe richt de lerende evaluatie zich niet alleen op de vraag doen we de dingen goed?, maar ook op de vraag doen we de goede dingen?. Veranderende omstandigheden en nieuwe inzichten zijn vaak aanleiding tot bijstelling of aanpassing. Werk aan handelingsperspectief. Leren van en met elkaar is gericht op het zoeken naar een gezamenlijk handelingsperspectief: op basis van onderzoek naar en reflectie op bestaande praktijken (evalueren), worden inzichten vertaald naar andere of nieuwe praktijken (leren). De lerende evaluatie is namelijk een middel (voor verandering) en geen doel op zich. Betrokkenen kunnen hun eigen, individuele handelen richten binnen dat gezamenlijke perspectief. Positionering lerende evaluatie: balans tussen evalueren én leren De in deze uitgave gepresenteerde aanpak is nadrukkelijk geen kant-en-klaar recept of blauwdruk, maar is bedoeld om richting te kunnen geven aan een lerende Lerend evalueren Strategiereeks Royal Haskoning 23

25 3. Vorm geven aan de lerende evaluatie evaluatie. De uiteindelijke invulling en uitvoering blijven maatwerk, afhankelijk van de omgeving waarin de evaluatie wordt uitgevoerd. Bovendien verloopt het proces van een lerende evaluatie niet lineair, maar is het juist een cyclisch proces dat zich kenmerkt door een voortdurende kritische blik op evaluatie- en leervragen en een open mind voor de wereld rondom het evaluatie object. De verbinding tussen het evalueren en het leren is een balans. Niet voor niets spreekt de evaluatietheorie over de lerende evaluatie als een hybride vorm. Hybride, omdat vaak zowel behoefte is aan verantwoording als aan leerperspectief. Soms zijn beide goed met elkaar verenigbaar. Bijvoorbeeld in een ex durante evaluatie, waarin het expliciet de bedoeling is om te leren van het verleden en te komen tot verbetering. Of wanneer de evaluatie juist is bedoeld om tot een nieuw beleid, programma of project te komen. Of wanneer een evaluatievraag nadrukkelijk door de betrokkenen zelf gearticuleerd wordt. Maar de verbinding tussen verantwoorden en leren is soms ook lastig. Bijvoorbeeld als de oorsprong van de evaluatievraag vooral een verantwoordingsvraag is, gericht op (een verplichte, vooraf bepaalde) verantwoording van het doelbereik. Of als de evaluatievraag Leren vraagt om een veilige omgeving. Dat is niet in elke context mogelijk. Soms gaan verantwoorden en leren niet goed samen. Froukje Boonstra, Alterra / WUR zich richt op een (politiek) zeer complexe en gevoelige materie. Toch kan ook dan het leren gestimuleerd wor den door verschillende percepties zichtbaar en bespreek baar te maken. Het leren is dan misschien niet het expliciete doel, maar vindt impliciet wel plaats. De behoefte aan verantwoorden en leren kan onder de verschillende gebruikers van de evaluatie uiteen lopen. Zo is het denkbaar dat de politiek vooral wil weten wat het beleid heeft opgeleverd, terwijl beleidsmakers en uitvoerenden juist van elkaar willen leren om tot verbetering te komen. In de architectuur van het evaluatieproces kan worden ingespeeld op die verschillende behoeften. De evaluatie van het beleid voor de nationale landschappen was nadrukkelijk een verantwoording aan de Tweede Kamer. Maar door tijdens de evaluatie de bevindingen steeds met elkaar te delen, is er wel degelijk geleerd door de betrokken beleidsmakers. Ellen Driessen, min. van Infrastructuur en Milieu Afhankelijk van de oorsprong en de context van de evaluatievraag zal in de lerende evaluatie de balans tussen evalueren en leren dus steeds anders zijn. Het is goed dit scherp in beeld te krijgen en het ontwerp van de evaluatie daarop af te stemmen. 24 Lerend evalueren Strategiereeks Royal Haskoning

26 Sluit aan op het persoonlijke leerbelang Een lerende evaluatie is alleen zinvol wanneer de betrokken stakeholders daadwerkelijk willen leren van de huidige praktijk en die lessen willen en kunnen omzetten in handelen. Dat betekent dat stakeholders niet alleen nauw betrokken moeten worden bij de evaluatie evalueren doe je samen maar zelf ook hun eigen leerbelang bij de evaluatie expliciteren. Dat kan in de vorm van een leervraag die zich richt op de eigen bijdrage aan de opgave. Hoe dichter deze leervraag bij de eigen praktijk staat, hoe beter. Daarmee staan er twee typen vragen centraal in een lerende evaluatie. De meer inhoudelijke vragen over de werking tot nu toe en de mogelijkheden dit te verbeteren of te veranderen. De focus ligt hierbij op het evaluatieobject, c.q. de opgave. En de persoonlijke leervragen, waarbij de focus ligt op de evaluatiesubjecten, de stakeholders rond de desbetreffende opgave, en hun eigen bijdrage aan verbetering en vernieuwing. Je leert niet meer als je teveel bezig bent met de uitkomsten van de evaluatie. Peter van Tilburg, ministerie van Economie, Landbouw en Innovatie Bij de start van de evaluatie is het wellicht lastig om persoonlijke leervragen al direct expliciet en concreet te maken. Toch is het waardevol om stakeholders vanaf het begin in een leermodus te zetten en daarmee tegelijkertijd duidelijk te maken dat ook hun handelen en eventuele veranderingen daarin bepalend is voor het succes. Leren vraagt om een omgeving die het leren stimuleert. Daarvoor ontwikkelt de evaluator samen met betrokkenen een aanpak die past bij het leerbelang van de stakeholders. Welke stappen worden gezet, hoe verhouden het evaluatie- en leerspoor zich ten opzichte van elkaar, welke werkvormen en setting passen daarbij, wat wordt van elkaar en van de evaluator verwacht en welke afspraken horen daarbij (leercode, deelname op persoonlijke titel, afspraken over vertrouwelijkheid). Het leren eindigt niet met de afronding van de evaluatie. De lerende evaluatie is bij voorkeur een start van een voortdurend proces van reflecteren, leren en verbeteren. Het gaat dan in ieder geval om de imple mentatie van de acties, afspraken en leerpunten die uit de evaluatie naar voren zijn gekomen. Maar naast die implementatie, zijn afspraken nodig over blijvend leren en evalueren. De antenne moet continu gericht zijn op doen we de dingen goed? en doen we de goede dingen?. Want evalueren en leren is nooit af! Lerend evalueren Strategiereeks Royal Haskoning 25

27 uitgelicht De Carrousel Ondergrond en Ordening: continue beweging gericht op voortschrijdend leren. In 2007 hebben de kennisnetwerken van het Centrum Onder gronds Bouwen (COB) en de Stichting Kennis ontwikkeling Bodem (SKB) besloten gezamenlijk een kennis- en leertraject te starten. De Carrousel is een groep professionals vanuit ministeries, provincies en gemeenten, uit de werelden van COB en SKB, met gemeen schappelijke leervragen over de wijze waarop de ondergrond betrokken kan worden bij bovengrondse ruimtelijke ontwikkelingen. Iedere CoP-bijeenkomst werd bij één van de deelnemende organisaties georganiseerd. Iedere bijeenkomst sloot af met het vaststellen van de agenda en de leervragen die bij de volgende praktijkbijeenkomst centraal zouden staan. Blijvend leren door gezamenlijk evalueren van praktijkcases. In het geval van de Carrousel ging dit (en gaat dit) over de vraag hoe de ondergrond en de bovengrond met elkaar in verbinding kunnen blijven. Sluit aan bij het persoonlijke leerbelang Aandachtspunten Rol evaluator Tools en middelen 3. Vorm geven aan de lerende evaluatie Leervraag formuleren. Wie willen leren en waarover? Leeromgeving creëren. Wat zijn de condities voor een veilige leeromgeving? Leren. Wat wordt geleerd? Blijven leren. Wat is geleerd? Zoek persoonlijke leervragen. Maak leervragen concreet. Biedt ruimte om daar in het vervolg op te reflecteren. Verbind leervragen met handelingsperspectief. Leg een basis voor een veilige leeromgeving: verwachtingen, afspraken, werkvormen, setting. Leg een koppeling tussen de persoonlijke leervragen en de resultaten van de evaluatie. Monitor in hoeverre leervragen beantwoord (kunnen) worden. Markeer de opbrengst van het leerproces en de resterende leervragen. Voer het gesprek over het vervolg van het leerproces. Individuele gesprekken Intakes Dialoogsessies Tussentijdse leersessies Learning history/logboek Community of Practice 26 Lerend evalueren Strategiereeks Royal Haskoning

28 Evalueer samen Evaluaties gaan vaak over complexe opgaven: meerdere actoren zijn op verschillende niveaus betrokken, de opgave staat nooit op zich, maar altijd in relatie tot andere opgaven. Betrokkenen hebben, op basis van uiteenlopende belangen, verschillende beelden van de waarheid. Dat maakt dat dé waarheid niet bestaat; de verschillende actoren hebben uiteenlopende werkelijkheidsbeelden. De theorie leert dan ook dat droge feiten en meetbare prestaties nooit het hele verhaal vertellen. Daarom moet recht worden gedaan aan pluriformiteit. Betrokken stakeholders wisselen hun beelden over opgave en beleid, programma of project onderling uit. De effectiviteit van de evaluatie de mate waarin de evaluatie leidt tot leren en veranderingen in doen en denken hangt er vanaf. Het begrip stakeholders is daarbij niet eenduidig. Het gaat zowel om verschillende groepen (denk aan overheden, bedrijfsleven, maatschappelijke organisaties, burgers) als om verschillende geledingen daarbinnen (bestuur, management, beleid, uitvoering). Ook tussen deze geledingen leven immers verschillende percepties. Het evalueren gebeurt daarom altijd in gezamenlijkheid. Dat is alleen effectief wanneer dit consistent wordt doorgetrokken in het gehele evaluatieproces, van begin tot einde. De evaluator evalueert niet zozeer vanuit de eigen deskundigheid of de eigen duiding van verzamelde informatie, maar begeleidt veeleer het evaluatieproces. Een evaluatie start vrijwel altijd met een centrale vraag van de opdrachtgever. In een lerende evaluatie zal de vraagarticulatie verbreed en aangevuld moeten worden, door de stakeholders te betrekken. Dus niet te snel tevreden zijn over de formulering van de initiële vraag, die mogelijk door de opdrachtgever is geformuleerd en (nog) niet is gedeeld met de overige stakeholders. En steeds op de vraag blijven reflecteren. Stellen we nog de juiste vragen? Geven de antwoorden ons straks de gewenste handvaten voor handelen? De mate waarin de vraagstelling voor de evaluatie gedeeld en gedragen wordt, bepaalt voor een belangrijk deel de (leer)resultaten die volgen uit de evaluatie. Parallel aan de vraagarticulatie geeft de evaluator samen met stakeholders de evaluatie vorm. Het gaat dan om het formuleren van evaluatiecriteria op welke aspecten verzamelen en duiden we informatie en het bepalen van de bronnen en respondenten als informatiemateriaal voor de evaluatie. Tegelijkertijd is flexibiliteit nodig. De koers van de evaluatie moet kunnen worden aangepast op basis van tussentijdse bevindingen of veranderingen in de leerwensen van de gebruikers van de evaluatie. Lerend evalueren Strategiereeks Royal Haskoning 27

29 Rondom de beantwoording van de evaluatievraag betrekt de evaluator de stakeholders actief bij factfinding, zodat de verschillende percepties tot hun recht komen. Werken met concrete casuïstiek bevordert de scherpte van de bevindingen. Het gezamenlijk proces van evalueren zet zich voort bij het formuleren van conclusies en aanbevelingen. Deze zijn niet noodzakelijkerwijs unaniem, maar doen juist recht aan alle betrokkenen: eenheid in verscheidenheid. 3. Vorm geven aan de lerende evaluatie Frequent vindt terugkoppeling plaats van tussentijdse bevindingen, op basis waarvan de bevindingen gedeeld en verrijkt kunnen worden. En nieuwe (leer)vragen kunnen worden opgeworpen. Zo kan tijdens de evaluatie de focus en de werkwijze desgewenst worden aangepast aan de wensen van de gebruikers van de evaluatie. De evaluatie heeft daarmee een co-evolutionair karakter. Je ziet vaak dat beleidsmensen met elkaar tot bevindingen komen. En mensen die samen in de uitvoering actief zijn. Maar juist het bij elkaar brengen van beide is leerzaam. Leon Hermans, TU-Delft Er zijn verschillende concrete vormen denkbaar waarin stakeholders betrokken kunnen worden in de evaluatie (en zelf mee evalueren ). Groepsinterviews zijn een betrekkelijk eenvoudige manier om meerdere partijen tegelijkertijd te bevragen op hun werkelijkheidsbeelden. Het grote voordeel is dat de partijen onderling op elkaar kunnen reageren, waarmee er een confrontatie ontstaat van de verschillende werkelijkheidsbeelden. Ook het als toehoorder uitnodigen van stakeholders bij interviews met andere stakeholders leidt tot een vergroting van wederzijds inzicht en begrip. Uitgelicht Gebiedsworkshops in de beleidsevaluatie nationale landschappen. In de beleidsevaluatie van de nationale landschappen is in een aantal nationale landschappen een gebiedsworkshop georganiseerd, met daarin een heterogeen gezelschap van organisaties betrokken bij de uitvoering van het beleid (provincie, gemeenten, waterschappen, terreinbeherende organisaties, natuur- en milieuorganisaties, agrarische organisaties, et cetera). In de gebiedsworkshops zijn tussen resultaten van de evaluatie voorgelegd, die vooral op basis van consultatie in het beleidsspoor waren verzameld. De confrontatie van deze beleidsgeoriënteerde bevindingen met de praktijk leverde interessante en nuancerende inzichten op over de werking van het beleid. Zowel over de logica van het beleid (doelen, instrumenten en middelen) als over de invloed van belangrijke ontwikkelingen op het bestaande beleid. 28 Lerend evalueren Strategiereeks Royal Haskoning

30 Evalueer samen Aandachtspunten Rol evaluator Tools en middelen Samen de vraag formuleren. Waarover moet of kan het gaan? Samen evaluatiekader en -vorm bepalen. Wat is, kijkend naar de gezamenlijke evaluatievraag, het evaluatiekader? Welke vorm past daarbij? Samen, frequent, resultaten delen en bespreken. Wat is nodig om tot een gedragen evaluatieresultaat te komen? Samen conclusies en aanbevelingen formuleren. Wat zijn de gezamenlijke conclusies en aanbevelingen? Begin met een startvraag. Betrek de stakeholders. Formuleer samen de evaluatievraag. Markeer de gezamenlijke vraag. Bied ruimte voor flexibiliteit in het vervolg. Werk de vraag gezamenlijk uit: evaluatiecriteria, vragenlijst, bronnen en respondenten. Zoek, met de stakeholders, naar een passende aanpak voor de evaluatie. Zorg voor voldoende flexibiliteit. Zorg voor frequente terugkoppeling van tussenresultaten. Zorg voor uitwisseling tussen stakeholders. Vertaal de opbrengst in heldere bevindingen. Doe recht aan alle stakeholders: eenheid in verscheidenheid. Faciliteer het onderhandelingsproces om te komen tot gezamenlijke conclusies en aanbevelingen. Doe daarbij recht aan alle stakeholders: eenheid in verscheidenheid. Krachtenveld- en actorenanalyse Interviews met stakeholders Ronde tafel gesprek met stakeholders als start Uitwerking scopenotitie in concrete criteria, vragenlijst en bronnen- en respondentenlijst Interview, stakeholders gaan mee naar gesprekken/ groepsinterview Tijdlijn Reflectiebijeenkomst/workshop/ ontwikkelbijeenkomst Benchmark Werkbijeenkomst Lerend evalueren Strategiereeks Royal Haskoning 29

31 Neem de context mee 3. Vorm geven aan de lerende evaluatie Het leren wordt effectiever, wanneer de evaluatie niet alleen zoekt naar aanknopingspunten voor het verbete ren van de bestaande situatie, maar ook openstaat voor het vernieuwen van de bestaande situatie. Een verwij zing naar de ordes van leren verbeteren én ver nieuwen is hier op zijn plaats. Wanneer uitgangspunten onder het beleid, programma of project niet (meer) blijken te kloppen (bijvoorbeeld de beleidstheorie), is een verbetering binnen de bestaande kaders niet voldoende. Juist in complexe opgaven is het goed een open blik te ontwikkelen. Uitgangspunten kennen vaak een mate van onzekerheid, bijvoorbeeld door het ontbreken van kennis. Bovendien bestaat de kans dat uitgangspunten achterhaald worden door nieuwe ontwikkelingen. De oorspronkelijke uitgangspunten staan immers stil, maar de wereld draait door. Daarom hoort een open blik bij een lerende evaluatie. Vertrekpunt moet niet zozeer het beleid, programma of project zijn (de oplossing), maar de opgave (het probleem) waarvoor het is bedacht. Dus mét de bijbehorende context rond die opgave: relatie met andere opgaven, politiek-maatschappelijke urgentie, betrokkenheid van actoren, et cetera. Het beleid, programma of project is vaak de uiterlijke verschijningsvorm waar omheen actoren zich organiseren, maar uiteindelijk gaat het om de opgave in zijn bredere context. Deskundigen kunnen hieraan een goede bijdrage leveren. Maar ook ervaringsdeskundigen uit een totaal ander domein kunnen bijdragen aan een brede, frisse blik. Mensen spiegelen zich snel aan hun eigen omgeving, Maar je kunt zoveel leren van mensen uit een totaal ander domein! Annet van Veen, Benchmarking en Benchlearning Rijk De spiegeling van de opgave aan de brede context speelt een rol in het gehele evaluatietraject en begint al bij de articulatie van de vraag. Wat is de vraag achter de vraag? Welke politieke, maatschappelijke, economische en technische ontwikkelingen zien we? En wat is de betekenis daarvan voor de opgave die voorligt? Antwoorden op deze vragen helpen om de blik open te houden en de opgave centraal te stellen. Bij de art i- culatie van de vraag, bij de duiding van de bevindingen, bij de formulering van conclusies en aanbevelingen en het handelingsperspectief. Zo doet de evaluatie niet alleen recht aan de verschillende percepties van de stakeholders, maar wordt de evaluatie ook voortdurend in het licht geplaatst van de veranderende omgeving. 30 Lerend evalueren Strategiereeks Royal Haskoning

32 Uitgelicht Reconstructiebeleid Overijssel in een brede context In de evaluatie van het reconstructiebeleid, in opdracht van Provinciale Staten van Overijssel, is een beeld naar voren gekomen van de ontwikkelingen op het gebied van landbouw, natuur en landschap. Ontwikkelingen die voor een deel nog ongewis zijn én ontwikkelingen die mogelijk tegenstrijdig zijn. Hiervoor is, in bijzijn van de evaluatiecommissie, een groepsgesprek met sectordeskundigen georganiseerd. Het beeld van deze ontwikkelingen heeft tot het besef geleid dat deze wel eens een grote impact kunnen hebben op het bestaande beleid. Bijvoor beeld als het gaat om technologische ontwikk elingen, de bedrijfsmatig noodzakelijke geachte schaal vergroting, maar bij voor beeld ook de toenemende weer stand tegen mega stallen. Ontwikke lingen met mogelijk een zodanige impact dat het huidige beleid, ook bij een verbetering daarvan, niet de oplossing biedt die ten tijde van de ontwikkeling van dat beleid voor ogen stond. Neem de context mee Aandachtspunten Rol evaluator Tools en middelen Evaluatievraag in brede context. Wat is de maatschappelijke opgave, hoe ziet de context er uit en wat zijn actuele ontwikkelingen? Spiegeling bevindingen aan brede context. Wat is de maatschappelijke opgave, hoe ziet de context er uit en wat zijn actuele ontwikkelingen? Spiegeling conclusies, aanbevelingen en agenda aan brede context. Sluiten conclusies en aanbevelingen en de agenda voldoende aan bij de brede context? Plaats de vraag in een bredere context. Hier en daar, nu en straks. Betrek deskundigen die een goed beeld kunnen schetsen van belangrijke ontwikkelingen en de mogelijke impact daarvan. Betrek iemand van buiten die vanuit een totaal ander perspectief naar de problematiek kijkt ( frisdenken ). Confronteer conclusies en aanbevelingen en agenda met het beeld van de brede context. Reconstructie: probleem/opgave, bijbehorende doelen, instrumenten en middelen Scopenotitie (documentenanalyse, verkennende interviews) Deskundigenbijeenkomst Frisdenker Reflectie door deskundigen Lerend evalueren Strategiereeks Royal Haskoning 31

33 Werk aan handelingsperspectief 3. Vorm geven aan de lerende evaluatie Om te voorkomen dat een evaluatie als rapport in bureaulades verdwijnt, is de lerende evaluatie, vanaf het begin, expliciet gericht op het creëren van gezamen lijk handelingsperspectief. Wat gaan we beter of anders doen? Een daadwerkelijke verandering in denken en doen dus. In dit handelingsperspectief komen de eerdere principes ( sluit aan op het persoonlijke leerbelang, evalueer samen en neem de context mee ) samen. Niet noodzakelijkerwijs hetzelfde voor iedere afzonderlijke actor, maar wel optellend tot eenzelfde, gezamenlijke richting in handelen. Dat betekent automatisch dat de focus van de evaluatie ligt op de toekomst. Uiteraard, er wordt onderzocht wat de voortgang tot nu toe is, maar vooral als basis om tot handelingsperspectief voor het vervolg te komen. De evaluatie is immers een middel, geen doel op zich. Door goed achteruit te kijken, kun je onderbouwd vooruitkijken. Hanco de Baas, provincie Gelderland Daarom is het belangrijk om al in het begin zo concreet en expliciet mogelijk duidelijk te maken waartoe de evaluatie dient. Dat is lastig zonder dat de evaluatie daadwerkelijk is uitgevoerd. Acties en eventuele verbeteringen en aanpassingen zijn immers afhankelijk van de resultaten van de evaluatie. Toch is het goed hier expliciet bij stil te staan en om op zijn minst de hoeken van het veld te verkennen. Wat is het ambitieniveau, hoe open staat men voor onverwachte antwoorden, wat is het politiek draagvlak voor even tuele veranderingen, is er ruimte om gaande de evalu atie te experimenteren met nieuwe praktijken, et cetera. Herkennen, erkennen, betekenis geven, handelen Annet van Veen, Benchmarking en Benchlearning Rijk Het is aan de evaluator om de stakeholders uit te nodigen en te stimuleren zich te zetten in de modus van een lerende evaluatie. Met een open blik voor opgave, context en ontwikkelingen. En met een open, nieuwsgierige en toekomstgerichte houding op zoek naar handelingsperspectief. Dat klink logisch maar een valkuil bij evaluaties is dat er politiek gedrag ontstaat. Men gaat in de onderhandeling die plaatsvindt vooral focussen op de inhoud en het hier en nu, op zodanig manier dat eigen belangen worden gediend. Terwijl het er om gaat vooruit te kijken, vanuit een gezamenlijk handelingsperspectief, en de inhoud te relativeren tegen de achtergrond van een bredere context. De opgave is daarom om in een inductieve werkwijze de zich evoluerende bevindingen, tegelijkertijd en steeds opnieuw, te vertalen in handelingsperspectief. Wat betekenen de bevindingen voor het handelen van 32 Lerend evalueren Strategiereeks Royal Haskoning