www.mdf.nl MDF copyright 2016 MDF Aanpak van Evaluaties In MDF's benadering van evaluaties, is leren een cruciale doelstelling. Wij geloven dat alleen organisaties die leren van ervaringen, continu hun prestaties verbeteren, en dus echt verantwoordelijk zijn voor de eigen resultaten. Verantwoording impliceert de mogelijkheid om met vertrouwen prestaties tegen gestelde doelen af te zetten, en gemaakte verschillen, positief of negatief, bedoeld of onbedoeld, te beoordelen. Daarom zullen wij, samen met u, werken naar verbetering van systemen en vaardigheden voor systematische reflectie op en het leren van de praktijk. Om meerdere stakeholders te begeleiden in hun leerproces, vertrouwen wij op actieonderzoek en emancipatie evaluatie benaderingen en baseren wij evaluatie processen op de ervaringsleren cyclus. De leerproces georiënteerde evaluatie aanpak begint met het gebruik van de bestaande informatiesystemen en het bijstaan van organisaties bij het aanpassen van monitoringsystemen om afgeslankter te zijn, meer gebaseerd op resultaat en in de behoeften van de verschillende belanghebbenden te voldoen. Daarnaast organiseren we participerende datacollectieprocessen, waarbij de meest geschikte instrumenten worden gekozen en aangepast om zinvolle informatie van het veld en bureaustudies (Exploratie) te krijgen. Dit gevolgd door een cruciale fase van de dataanalyse en interpretatie waarbij de sleutel gezamenlijke reflectie is (Reflectie / Verklaren). Verder faciliteren we een inclusief proces van conclusies trekken en het ontwikkelen van aanbevelingen, omdat we geloven dat hoe meer mensen meedenken aan het verbeteren van hun praktijken en resultaten hoe groter de kans is dat zij actie zullen ondernemen op basis van de aanbevelingen (Conceptualisatie). Tot slot erkennen we dat het vertalen van de lessen in beleid en programmatische wijzigingen niet voldoende is voor betrokkenheid en verandering; daarom werken we samen met u aan het uitwerken van concrete actieplannen met inbegrip van de ontwikkeling van het capaciteits component en het plan van structurele veranderingen. Om organisaties te helpen leren van evaluaties, bijvoorbeeld met het verwerven van kennis, het ontwikkelen van vaardigheden en het maken van adequate verandering om de beste resultaten te behalen binnen de context, zien wij onze rol als het volgt: ZBA Pagina 1 (5)
www.mdf.nl MDF copyright 2016 Het selecteren van geschikte methoden; Het faciliteren van reflectieve en besluitvormingsprocessen; Aan de kant staan van de organisaties, maar wel kritische vragen te stellen die verfijning en verbetering mogelijk maken; Systemen opzetten die informatie bieden voor tijdige en effectieve besluitvorming; Assisteren bij het creëren van een cultuur van empirisch onderbouwde evidence-based prestaties; Staf en management in staat stellen om de leercultuur en praktijken verder te ontwikkelen. Evaluatie methodologieën Op basis van uw behoeften, het type en het doel van de evaluatie, selecteren wij de meest geschikte methode binnen het aanbod van leer gerichte methoden en instrumenten. We hebben ruime ervaring met de meeste huidige (evaluatie) methoden die leerprocessen ondersteunen. Diverse methoden zijn speciaal ontworpen voor evaluatie doeleinden, terwijl andere een adequaat mentaal kader bieden om evaluatie doeleinden te ondersteunen. Hierbij een korte, maar niet uitputtende lijst van methoden: 1. Vergelijkend onderzoek Benchmarking 2. Tijdlijn analyse Time-line Analysis 3. Theorie van de Verandering Theory of Change 4. Beleid Impact analyse Result Chain analysis 5. In kaart brengen van resultaten Outcome Mapping 6. Meest significante verandering Most Significant Change 7. Waarderend onderzoek Appreciative Inquiry Voor het verzamelen van gegevens, de analyse en het trekken van conclusies maken wij bovendien aanpassingen aan de specifieke omstandigheden en maken we gebruik van een breed scala aan technieken. Deze technieken zijn geselecteerd op basis van hoe goed zij ondersteuning bieden aan uw leerdoelen uit de evaluatie en hoe goed zij corresponderen met specifieke behoeften. Duidelijke methodologische keuzes MDF heeft de ervaring dat de verschillende methoden bijzonder nuttig zijn om te voldoen aan specifieke klantvragen. Benchmarking Benchmarking is een systematische manier om te bepalen of uw diensten, producten en prestaties de best practice vertegenwoordigen. Benchmarking studies zijn nuttig om te bepalen hoe u het doet in vergelijking met soortgelijke projecten / programma's / organisaties / samenwerking systemen / netwerken. Wij raden u deze methode aan wanneer u vooral geïnteresseerd bent in hoe u het doet in vergelijking met anderen, waar een dergelijke vergelijking realistisch gezien kan worden gemaakt, in het bijzonder met betrekking tot efficiëntie criteria. Time-line analysis Timeline analyse is een evaluatiemethode die helpt om chronologisch te organiseren en inzicht te geven in de belangrijke gebeurtenissen en invloeden binnen en buiten uw organisatie / programma. De kracht van deze methode ligt in het samenbrengen van verschillende individuele ervaringen, waarbij ieders oogpunt wordt erkend en een dieper inzicht in de ontwikkeling van uw project / programma / organisatorische eenheid bereikt wordt door het bespreken van een voltooide tijdlijn binnen de groep. Wij raden het gebruik van deze methode aan als er, in retrospect, lessen te leren zijn, voornamelijk voor projecten/ programma s die complexe veranderingen hebben ondergaan en waarbij onverwachte resultaten vastgelegd dienen te worden. De methode helpt bij het beantwoorden van de vraag: Hoe is een specifiek ZBA Pagina 2 (5)
www.mdf.nl MDF copyright 2016 vraagstuk/organisatie/netwerk geëvolueerd over tijd en welke factoren hebben hierin een belangrijke rol gespeeld? Theory of Change Theory of Change is een proces, ontworpen om te tonen hoe een complex verandertraject zich in verloop van tijd ontvouwt. Deze methode onderkent dat een aantal dingen moeten veranderen ofwel dat intermediaire veranderingen moeten plaatsvinden om het uiteindelijke effect te bereiken. Verbanden tussen intermediaire en de uiteindelijke veranderingen kunnen veelvoudig zijn, van links naar rechts, van rechts naar links, boven naar onder, onder naar boven enz. Elementen van verandering kunnen veranderingen in personen, overheid of maatschappelijke organisaties, situaties, betrekkingen tussen organisaties, enz. bevatten. De kaart van verandering is beschreven, om het proces naar een werkelijke situatie en leerpunten in kaart te brengen. Wij raden deze methode aan, als u vooral geïnteresseerd bent in het vastleggen van een complex proces van uitvoering en/of de resultaten op outcome niveau (effectiviteit) en/of strategisch leren. Results Chains Analysis Result Chains zijn logische diagrammen die de strategieën tonen en inputs, outputs, outcomes en impacts koppelen waartoe zij bijdragen. Ze zijn ontworpen om te kijken naar de project/programma logica en onderliggende aannames van resultaatopvolging (bijvoorbeeld van outputs naar outcomes en van outcomes naar impacts) te verduidelijken. Resultaat kettingen leggen veranderprocessen beter vast dan de traditionele interventie logica in het logische kader, aangezien aanvullende stappen (meer niveaus van outputs, outcomes en impacts) gemakkelijk kunnen worden opgenomen / gevisualiseerd. Bovendien, met behulp van Result Chains, kunnen de sferen van controle, invloed en zorg gemakkelijk worden onderscheiden. We raden het gebruik van deze methode aan, als u vooral geïnteresseerd bent in de effectiviteit van uw projecten/programma s en in interventie-gerelateerd leren. Outcome Mapping Outcome Mapping is een participatieve monitoring en evaluatie methode dat ernaar streeft de manieren waarop organisaties een bijdrage leveren aan veranderingen in het gedrag, relaties, activiteiten en / of acties van de mensen, groepen en organisaties waarmee een programma direct werkt, te begrijpen. Outcome Mapping is gebaseerd op het principe van actor gerichte ontwikkeling en gedragsverandering: alleen wanneer de actoren die betrokken zijn bij/doelwit zijn van een interventie hun manier van werken veranderen, kan de vooruitgang in de richting van de gewenste resultaten worden bereikt. Erkenning van deze actoren en hun beoogde 'gedragsverandering' vormt de kern van het begrip (mapping) en het leren tijdens het veranderingsproces. Wij raden het gebruik van deze methodologische hoek aan in het geval van complexe, niet-lineaire beoogde veranderingen. Met andere woorden, wanneer de manieren waarop u de uiteindelijke veranderingen wilt bewerkstelligen zeer divers zijn en met uiteenlopende resultaten, waarvan de specifieke aard en omvang moeilijk te voorspellen zijn. De methode is ook nuttig wanneer de focus ligt op wat werkte (in plaats van op problemen); vooral als je wilt analyseren of gedragsveranderingen (zoals de resultaten van bijv. capaciteitsopbouw componenten) zich voordoen of welke gedragsveranderingen nog moeten plaatsvinden om het totale veranderingsproces ondersteunen. ZBA Pagina 3 (5)
www.mdf.nl MDF copyright 2016 Most Significant Change Most Significant Change is een kwalitatieve evaluatiemethode gericht op het in kaart brengen van 'change' in de ogen van key-stakeholders die betrokken zijn bij een bepaalde interventie (bijvoorbeeld project/ programma personeel, managers en begunstigden). De methode is gericht op het verzamelen van verhalen van verandering en het analyseren van deze verhalen op een participatieve manier, om de vraagstukken binnen deze verhalen te waarderen. De Most Significant Change methode is vooral handig bij grote projecten/programma's met uiteenlopende resultaten op impact niveau. Het helpt bij het beantwoorden van de vragen: welke impact heeft ons project/programma op het leven van de begunstigden of wat waren de onbedoelde veranderingen die werden bewerkstelligd door ons project/programma? Het is ook zeer geschikt voor relevante beoordelingscriteria. Appreciative Inquiry Appreciative Inquiry is een concept en aanpak die een wereldbeeld, een theorie, een mind-set, en een benadering van analyse biedt die leidt tot leren en creativiteit. In tegenstelling tot de traditionele probleemoplossende benadering - het vinden van wat er mis is en het smeden van oplossingen voor problemen - zoekt Appreciative Inquiry naar wat juist is binnen een organisatie / project. De Appreciative Inquiry cyclus omvat vier stappen (de vier D's model): ontdekking, droom, ontwerp, en het lot. Het doorlopen van deze stappen helpt bij het waarderen van wat goed is gedaan en biedt een kader voor het creëren van een ingebeelde toekomst die op de vreugdevol en levenscheppende werkelijkheden voortbouwt en deze uitbreidt. Wij raden het gebruik van deze methode in het bijzonder aan wanneer positief denken effectiever is door de sociaal-culturele omgeving of andere bijzondere omstandigheden van het project / programma / organisatie. Gereedschappen en Instrumenten Het aantal en de aard van de specifieke hulpmiddelen en instrumenten die kunnen worden ingezet bij de evaluatie opdrachten zijn eindeloos. MDF kiest voor meerdere instrumenten om een grondige kruiselingse check van gegevens mogelijk te maken en om, indien nodig en relevant, onverwachte aspecten te kunnen opnemen in de analyse. De lijst van de hieronder genoemde instrumenten is een beknopt overzicht van de instrumenten die het meeste terugkomen in de evaluatie opdrachten van MDF: 1. Bureauonderzoek Er wordt gebruik gemaakt van de standaard beoordelingscriteria (bijvoorbeeld indicatoren), systematische dataverzameling matrices ten behoeve van kwantificeren, en checklists. N.B. de nodige aandacht wordt besteed aan de (sociaaleconomische, historisch-culturele of organisatorische) context. 2. Diverse Open Interviews - Most Significant Change: een niet gestructureerd interview format ( verhalen ) om de meest opvallende veranderingen waargenomen door geselecteerde sleutelpersonen vast te leggen. - Appreciative inquiry: een uitdaginggerichte interview techniek die gebaseerd is op positieve analyse en gericht is op leren en creativiteit. ZBA Pagina 4 (5)
www.mdf.nl MDF copyright 2016 - Outcome mapping: interviews gericht op het verzamelen van beschrijvingen van gedragsveranderingen van de belangrijkste partners. 3. Gestructureerde vragenlijsten - Systematische zelfevaluaties - Meningen - On-line vragenlijsten 4. Grafische analyse van bevindingen - Evaluatie wielen - Matrices van de bevindingen - Processtromen - Spinnenweb - Vienne diagrammen - Diverse grafieken 5. Focus groep en debriefing en validatie vergaderingen - Met zorgvuldig geselecteerde (categorieën van) stakeholders begunstigden - Organisatie en projectmedewerkers - Multi-stakeholder vergaderingen - Faciliteren van stakeholder-bijeenkomsten 6. Field-bezoeken - Systematische observatie en registratie van gegevens - Zorgvuldige keuze van te ontmoeten stakeholders - Gebruik gemaakt van goed geïnformeerde bron personen - Passende vormen van participerende observatie ZBA Pagina 5 (5)