Resultaat- en Impactmeting voor goede doelen

Transcriptie

1 Resultaat- en Impactmeting voor goede doelen Op weg naar beter evalueren, meten en verantwoorden van bestedingen Auteurs: drs. E.M. Ten Hoorn drs. W.M. Stubbe

2

3 Resultaat- en Impactmeting voor goede doelen Op weg naar beter evalueren, meten en verantwoorden van bestedingen

4

5 Voorwoord In de afgelopen decennia is het belang voor goededoelenorganisaties om resultaten inzichtelijk te maken gegroeid. Dit belang komt onder meer voort uit een aanhoudende vraag van institutionele en private donateurs om transparantie en een heldere verantwoording van de resultaten. De laatste tijd, en voor organisaties in de ontwikkelingssamenwerking al langer, is daar de vraag bijgekomen hoe de resultaten onderbouwd kunnen worden door metingen en welke verdere effecten en impact goede doelen hebben op hun doelgroep en de maatschappij. Een klein gebaar kan een groot effect hebben. Dit symboliseert de vlinder op de voorkant van deze publicatie. Kleine vlinderslagen kunnen meer impact hebben dan wij soms kunnen waarnemen. Het traditionele geven (doe goed en zie niet om) neemt bij sommige donateurs af. Men geeft niet louter vanuit het hart. In toenemende mate worden vraagtekens gezet bij de effectiviteit van schenkingen. Heeft al dat geven wel nut? De laatste meting van het Nederlandse Donateurspanel laat zien dat mensen kiezen voor een goed doel op basis van het onderwerp, maar dat mensen overwegen om te stoppen met geven als het goede doel niet laat zien dat het geld goed besteed is of wanneer het werk niet tot concrete resultaten leidt. De onderzoekers pleiten ervoor dat goededoelenorganisaties in hun communicatie laten zien wat de impact is van donateursgiften en wat met dat geld bereikt wordt (WWAV, 2013). Voor goededoelenorganisaties is dit een moeilijk dilemma, want meer rationele overwegingen bij donateurs leiden waarschijnlijk niet tot een verhoging van het filantropische schenkvolume. Daarnaast leiden de evaluatie- en rapportage-eisen van de diverse institutionele donoren tot een gen aan de hand van de strenge criteria, die ook betrekking hebben op de bestedingen. Het doel van deze publicatie is om de kwaliteit van de bestedingen en de verantwoording daarvan door de goededoelenorganisaties te verhogen. Het CBF-Keur gaat immers om zowel verantwoorde fondsenwerving als bestedingen. In het Register goede doelen op treft u daarover informatie aan. Het meten van resultaten en impact maakt soms al deel uit van de evaluaties die goededoelenorganisaties uitvoeren. Toch is er nog veel te winnen op dit gebied en geven veel goededoelenorganisaties aan dat zij hierin willen doorontwikkelen. Het CBF wil goededoelenorganisaties graag deze publicatie aanbieden voor het verder stimuleren en ontwikkelen van resultaat- en impactmeting. Hiermee wil het CBF een brug slaan naar de praktijk. Vragen die veel goededoelenorganisaties hebben, zijn bijvoorbeeld: Waarom en in welke mate zijn resultaat- en impactmeting belangrijk voor mijn organisatie? Hoe begin ik met resultaat- en impactmeting en hoe voer ik dit uit? Zijn er modellen of instrumenten die ik kan toepassen? Kan ik extra fondsen werven voor evaluaties? Wat leveren resultaat- en impactmeting op? Wat kan ik doen met positieve en eventuele negatieve uitkomsten? Op deze en andere vragen probeert deze publicatie een antwoord te vinden vanuit het gezichtspunt van goedeverhoging van de administratieve lastendruk. Voor met name kleinere en beginnende goededoelenorganisaties kan het lastig zijn om investering in evaluaties te legitimeren bij hun achterban. Dit mag echter geen reden zijn om helemaal niet te werken aan resultaat- en impactmeting en het communiceren van resultaten aan donateurs. Zoals Swanborn (2007) in het handboek Evalueren aangeeft is er geen enkele algemene methode voor een bepaalde situatie alleenzaligmakend. Elke evaluatie dient afgestemd te worden op de situatie en vaak is een meervoudige aanpak het beste om het evaluatieonderzoek te verbeteren. Vanuit het donateursbelang bepleit het CBF dat alle goededoelenorganisaties het evalueren serieus op blijven pakken en dit (blijven) ontwikkelen. Evaluaties zijn sinds 2001 een belangrijk aspect binnen het CBF-Keur, bijvoorbeeld als onderdeel van goed bestuur, de beleidscyclus en de verantwoording over bestedingen. Impactevaluaties zijn echter geen verplichting binnen het CBF-Keur. Na de vervlechting van de Code Wijffels met het CBF-Keur in 2008 zijn aan het keurmerk drie principes toegevoegd waarin goededoelenorganisaties uiting kunnen geven aan hoe zij blijven werken aan goed intern bestuur, effectiviteit en efficiency van bestedingen en de omgang met de belangrijkste belanghebbenden. Deze publicatie sluit met name aan bij het tweede principe, dat goededoelenorganisaties continu werken aan een optimale besteding van de middelen, zodat effectief en doelmatig gewerkt wordt aan het realiseren van de doelstelling. In het kader van het toezicht visiteren de medewerkers van het CBF jaarlijks tientallen goededoelenorganisaties en beoordelen zij de instellin- VOORWOORD 3

6 doelenorganisaties. Uiteraard zijn er allerlei manieren om informatie over resultaat- en impactmeting te bundelen. Deze publicatie heeft dan ook geenszins het uitgangspunt om hierin volledig te zijn. Deze publicatie is bedoeld als aanvulling op en bundeling van bestaande publicaties. Het CBF richt zich met name op het toezicht op verantwoorde fondsenwerving en verantwoorde besteding. De voorliggende publicatie is vooral bestemd voor de directeuren, projectleiders en andere medewerkers van goededoelenorganisaties die zich bezighouden met het evalueren en verantwoorden van bestedingen. Daarnaast is deze publicatie ook nuttig voor branche- of koepelorganisaties en andere belanghebbenden. Hierin is de keuze gemaakt om alle keurmerkhouders aan te spreken, zowel kleine, middelgrote als grotere goededoelenorganisaties en minder om volledig te zijn in de wetenschappelijke en meer complexe aspecten van impactevaluaties voor grote projecten. Deze publicatie sluit aan op de handleiding bij het Reglement CBF-Keur en bevat een begrippenkader en beschrijving van instrumenten die als hulpmiddel gebruikt kunnen worden bij de kwaliteitsverbeteringen zoals die vereist worden in het CBF-Keur. Keurmerkhouders kunnen hiervan gebruik maken bij het schrijven van de periodieke verantwoordingsverklaring en de bespreking hiervan met het CBF als onderdeel van de periodieke beoordeling door het CBF. Het CBF wil graag iedereen bedanken die heeft bijgedragen aan de totstandkoming van deze publicatie. Te beginnen met de auteurs drs. Wendy Stubbe, senior consultant bij CSR Academy, en drs. Esther Ten Hoorn, senior controller en beleidsmedewerker bij het CBF. Deze publicatie is onder verantwoordelijkheid van het CBF uitgegeven. Ook aan de andere medewerkers van het CBF die hun input hebben gegeven bij het schrijven en redigeren van de publicatie wordt dank uitgesproken. Hartelijk dank aan prof. dr. Ruerd Ruben, verbonden aan het Centre for International Development Issues Nijmegen (CIDIN) van de Radboud Universiteit Nijmegen en directeur Inspectie Ontwikkelingssamenwerking en Beleidsevaluatie (IOB) van het ministerie van Buitenlandse Zaken, voor het schrijven van een inleiding en het geven van inhoudelijke adviezen. In het bijzonder gaat dank uit naar Rian Fokker, directeur van Heifer Nederland, Rien Timmer, directeur van Vereniging Samenwerkingsverband Exodus Nederland en Riekje de Vries, bestuursvoorzitter van Stichting Projecten Zuid-Afrika, omdat zij in interviews hun ervaringen met resultaat- en impactmeting wilden delen en zij voor de publicatie foto s beschikbaar hebben gesteld. Daarnaast bedankt het CBF de wetenschappers, brancheorganisaties en goededoelenorganisaties die een bijdrage hebben geleverd aan deze publicatie door hun inspirerende ervaringen en zienswijzen met betrekking tot dit onderwerp te geven (zie het hoofdstuk Visies en ervaringen uit de sector): Fabio Poelhekke, senior beleidsmedewerker bij Wilde Ganzen; Mirjam Locadi, Evaluation Manager bij Partos; Marianne Gybels, Manager Program Development bij 1%CLUB; Peter Schoof, directeur Hersenstichting en bestuurslid Samenwerkende GezondheidsFondsen; Luuk van Kempen en Lau Schulpen, Researchers/Lecturers verbonden aan CIDIN; Kellie Liket, PhD-Student en Karen Maas, Assistant Professor verbonden aan het ECSP; Cecile Kusters, docent verbonden aan Wageningen UR Centre for Development Innovation. Drs. A.J.J. Kemps Directeur CBF 4 VOORWOORD

7 Samenvatting Het belang voor goededoelenorganisaties om resultaten en impact te meten groeit. In deze publicatie wordt daarom uitgebreid stilgestaan bij de verschillende achtergronden van het impactdenken en wat veelgebruikte begrippen, zoals resultaten, output, outcome en impact betekenen. Ook worden vele tips en voorbeelden gegeven aan goede doelen waar zij op kunnen letten bij het voorbereiden en uitvoeren van resultaat- en impactmeting. Na een introducerend hoofdstuk met achtergrondinformatie, wordt in tien stappen uitgelegd hoe goededoelenorganisaties resultaat- en impactmeten kunnen ontwikkelen en uitvoeren. Beide uitgangspunten kunnen door goededoelenorganisaties worden gehanteerd. Belangrijk is dat goededoelenorganisaties in discussies en rapportages helder laten blijken wat zij onder impact verstaan. In deze publicatie worden tien stappen voorgesteld als leidraad voor goededoelenorganisaties om resultaat- en impactmeten te ontwikkelen en uit te voeren. Deze tien stappen zijn verdeeld in drie fasen: voorbereiden, meten en verantwoorden. STAP Hoofdstuk II Voorbereiden 1 Keuze wat evalueren + wat wil ik bereiken (Theory of Change) 2 SMART-doelstellingen + prestatie-indicatoren Impact kan op verschillende manieren worden gedefinieerd. In de wetenschappelijke literatuur zijn grofweg twee stromingen hierin (White, 2009): Impact als de duurzame, langetermijnveranderingen als gevolg van een activiteit. In lijn met deze stroming is de DAC-definitie van impact: positieve en negatieve, primaire en secundaire langetermijneffecten die het resultaat zijn van een interventie, direct of indirect, bedoeld of onbedoeld (OECD-DAC, 2002:24, vrij vertaald uit het Engels). Impacteffecten als de verandering die tot stand is gebracht door de activiteit minus wat er toch al aan veranderingen zou hebben plaatsgevonden (Clark et al., 2004). Het verschil met de eerder beschreven stroming is dat met name het toewijzen van het effect aan een activiteit centraal staat. Dit wordt ook wel attributie genoemd. Hoofdstuk III Meten Hoofdstuk IV Verantwoorden 3 Nulmeting en betrekken belanghebbenden hierbij 4 Context en attributie: wat doen anderen en wat is mijn bijdrage 5 Meetmodel beschrijven 6 Meetinstrument kiezen 7 Gegevens verzamelen en analyseren 8 Evaluatie rapportage 9 Leren van evalueren 10 Communiceren van de bevindingen aan belanghebbenden SAMENVATTING 5

8 Voorbereiden De eerste vijf stappen zijn voorbereidende stappen, die voor het meten van resultaten en impact van belang zijn nog vóór dat de activiteit wordt uitgevoerd. 1. Impact meten begint met het maken van de keuze of er wordt geëvalueerd op project-, programma- of organisatieniveau, gevolgd door het beschrijven van het denkmodel hoe de beoogde veranderingen tot stand gaan worden gebracht. Dit heet ook wel de verandertheorie, veranderboom of Theory of Change. In dit denkmodel wordt de waardeketen van de beoogde veranderingen uitgeschreven: benodigde middelen (inputs), beoogde resultaten (outputs), beoogde effecten van die resultaten (outcomes) en het beoogde mogelijke langetermijn-nettoeffect van positieve, negatieve, bedoelde, onbedoelde, directe en indirecte effecten en in hoeverre deze zouden kunnen worden toegeschreven aan de activiteiten (impact). 2. De tweede stap is het formuleren van SMART-doelstellingen en het benoemen van prestatie-indicatoren. De letters van SMART staan voor: Specifiek, Meetbaar, Acceptabel, Realistisch en Tijdgebonden. Met behulp van prestatie-indicatoren kan de organisatie de voortgang van haar prestaties meten en beoordelen. Prestatie-indicatoren zijn variabelen om prestaties van organisaties, beleid, programma s, projecten of activiteiten te analyseren. Een prestatie-indicator is een meetbaar getal dat aangeeft of de doelstellingen worden behaald, vaak een bedrag, een percentage, een aantal of een tijdseenheid. In deze publicatie worden diverse voorbeelden gegeven van goede en minder goed geformuleerde SMART-doelstellingen en prestatie-indicatoren. 3. De derde stap bestaat uit het bepalen van de beginsituatie (nulmeting) en het betrekken van belanghebbenden daarbij. Op basis van de beginsituatie kan achteraf beter worden bepaald welke veranderingen als gevolg van de activiteit hebben plaatsgevonden bij de doelgroep of in de maatschappij. Dit kan een behoeftepeiling onder de doelgroep zijn, het verzamelen van basisgegevens over de doelgroep of een omgevingsanalyse. 4. De vierde stap bestaat uit het omschrijven van de context waarin de meting wordt verricht. Het is raadzaam om na te gaan wat andere organisaties die vergelijkbare activiteiten uitvoeren al hebben gedaan en gemeten op dit gebied. Door gebruik te maken van informatie die al voorhanden is, kunnen tijd en kosten bespaard worden. Ook is het goed om van tevoren al na te denken over hoe aannemelijk kan worden gemaakt dat de beoogde impact het gevolg is geweest van de geïmplementeerde activiteit of welk aandeel in de verandering kan worden toegeschreven aan de activiteit (attributie). Dit kan worden gedaan door beschrijving van het speelveld waarin wordt gewerkt, welke andere organisaties actief zijn op hetzelfde terrein, hun invloed op de doelgroep en door te meten: 1. Vergelijking van de situatie vóór en na de activiteit (analyse in de tijd). 2. Vergelijking van de situatie met en zonder activiteit (counterfactual analysis). De vergelijking in de tijd kan door gegevens uit de nulmeting te vergelijken met de situatie na afloop van het project. Het vergelijken van de uitkomsten met of zonder activiteit doet men door dezelfde gegevens te verzamelen onder een groep/populatie die geen deel uitmaakt van het project (de controlegroep). 5. De vijfde stap is het beschrijven van hoe de resultaten en impact worden gemeten in een meetmodel. Het meetmodel geeft meer duidelijkheid in hoe de organisatie wil meten of resultaat- en impactmeting haalbaar is en waarover de organisatie wil communiceren. Een belangrijk onderdeel van het meetmodel is het bepalen of de gegevens die nodig zijn voor de evaluatie bereikbaar of beschikbaar zijn of hoe en wanneer deze kunnen worden verzameld. Voor het verzamelen van gegevens zijn diverse methoden beschikbaar, zoals interviews, focusgroepen, vragenlijsten en dossieronderzoek. Het kan ook wenselijk zijn om te beschrijven of er additionele fondsen dienen te worden geworven voor de evaluatie en welke mogelijkheden en verwachtingen hiervoor zijn. 6 SAMENVATTING

9 Meten 6. Het kiezen van een meetinstrument. Er zijn talloze instrumenten voorhanden om de prestaties en resultaten van een organisatie inzichtelijk te maken. Het is niet verplicht om gebruik te maken van instrumenten, alhoewel sommige financiers wel een model kunnen voorschrijven. In deze publicatie is ervoor gekozen om slechts een aantal veelgebruikte meetinstrumenten te laten zien. Genoemd worden: de Most Significant Change Method, Timeline Analysis, Participatory Assessment of Development, Result Chain Analysis, Outcome Mapping, Theory Based Evaluation, Benchmarking, Randomized Controlled Trial en Quasi-experimentele Methoden. Op zes methoden wordt dieper ingegaan, namelijk Social Return on Investment (SROI), Social Impact Assessment (SIA), Public Value Scorecard (PVS), Participatory Impact Assessment (PIA), Base of the Pyramid Impact Assessment Framework (BoP) en het Logical Framework (Logframe). Een belangrijke vraag is welk instrument het meest geschikt is voor de evaluatie die gaat worden uitgevoerd. Hiervoor is gekeken naar in hoeverre de meetinstrumenten aandacht geven aan de vijf voorbereidende stappen in deze publicatie. Dit resulteert in het overzicht hiernaast. 7. Het verzamelen en analyseren van gegevens. Bij meten wordt al gauw in getallen gedacht, maar het meten van resultaat en impact beperkt zich hier niet toe. De gegevens die gebruikt worden in een evaluatie kunnen zowel kwalitatief als kwantitatief van aard zijn of een combinatie van beide. Stap 1: Theory of Change Stap 2: SMART/ Stap 3: Beginsituatie Stap 4: Context/Attributie Stap 5: Meetmodel indicatoren SROI SIA PVS PIA BoP Logframe Kenmerken van meetinstrumenten SAMENVATTING 7

10 Verantwoorden Kwalitatieve onderzoeksmethoden Storytelling Bijeenkomsten en workshops Informele gesprekken Visitaties Observaties, beschrijvend Eén-op-één interviews, gestructureerd of semi-gestructureerd Focusgroepen Participatieve methoden Kwalitatieve en kwantitatieve onderzoeksmethoden Het proces van data-analyse is een ingewikkeld proces, dat dient te worden uitgevoerd door iemand die bekend is met het construeren van verhaallijnen, grafieken en tabellen en het analyseren van gegevens, of er sprake is van samenhang tussen gegevens. Het is hierbij van groot belang om aandacht te geven aan zowel positieve als negatieve uitkomsten en bedoelde en onbedoelde resultaten en effecten. Kwantitatieve onderzoeksmethoden Vragenlijsten per post, , internet of telefoon Door de onderzoeker afgenomen enquêtes Informatie uit registratie Informatie uit dossiers en documenten Observaties, tellend Vertalen van verhalen naar scores, cijfers, percentages Indexen, ranglijsten 8. Rapporteren. Nadat de evaluatie is uitgevoerd en de uitkomsten bekend zijn, komt de vraag op wat kan worden gedaan met alle bevindingen. Er is geen eenduidige manier om te rapporteren over evaluaties. Er worden enkele voorbeelden en suggesties gegeven voor het opstellen van interne en externe rapportages. Belangrijk hierbij is onder meer voor welke doelgroep de rapportage wordt geschreven, dat aandacht wordt gegeven aan zowel cijfermatige als verhalende bevindingen, dat aandacht wordt gegeven aan in hoeverre de vooraf bedachte Theory of Change in de praktijk is waargemaakt met referentie aan de van tevoren opgestelde prestatie-indicatoren. Om maatschappelijk draagvlak te creëren kan belanghebbenden de mogelijkheid worden geboden opmerkingen te maken over de bevindingen, de conclusies en de aanbevelingen. 9. Leren van evalueren. Naast de verantwoording aan bijvoorbeeld financiers kan een andere waardevolle doelstelling van evalueren ook zijn om te leren wat goed en wat minder goed werkt in de praktijk. Deze laatste stap, het leren van evalueren, wordt vaak overgeslagen in evaluatietrajecten, terwijl het leren van evaluaties juist kan helpen om te komen tot een betere of vernieuwde uitvoering van activiteiten en projecten in de toekomst en efficiënter gebruik van beschikbare middelen. Leren van evalueren kan vorm krijgen door brainstormsessies te organiseren, discussiebijeenkomsten of workshops met medewerkers en belanghebbenden van de organisatie. 8 SAMENVATTING

11 10. Communiceren van de uitkomsten aan belanghebbenden en donateurs. Goededoelenorganisaties dienen zelf de afweging te maken of en op welke wijze over de resultaten van impact wordt gecommuniceerd. Veel goededoelenorganisaties houden de uitkomsten van hun evaluaties liever intern. Echter, de uitkomsten van evaluaties kunnen een goede aanvulling zijn in het afleggen van verantwoording over bestedingen aan belanghebbenden, zoals donateurs, de overheid en de doelgroep. Door externen inzicht te geven in de uitkomsten van evaluaties, kunnen zij beter geïnformeerde keuzen maken. Daarnaast zou het communiceren van uitkomsten bij kunnen dragen aan het verzamelen van bewijs welke activiteiten beter of minder goed werken, waardoor binnen de sector betere keuzen gemaakt kunnen worden in welke activiteiten te investeren en kunnen besparingen gerealiseerd worden. De informatie die gecommuniceerd wordt, dient volledig, begrijpelijk, accuraat en toegankelijk te zijn en toegespitst op de doelgroep en hun informatiebehoefte. Hierbij is op te merken dat er diverse typen donoren zijn, waarbij de traditionele donoren meer op basis van vertrouwen doneren en sturende donoren meer waarde hechten aan aangetoonde resultaten en impact. proportie dienen te zijn met de omvang van de te evalueren activiteit. Voor grote projecten met veel begunstigden kan het relevant en haalbaar zijn om de attributie (toewijzing) van effecten en impact aan de activiteiten te meten. Activiteiten van kleine omvang kunnen vaak volstaan met eenvoudiger methoden om hun maatschappelijke bijdrage inzichtelijk en aannemelijk te maken op output- of outcome-niveau. Het is van belang dat goededoelenorganisaties hier op de voor hen gepaste wijze aan blijven werken. Het CBF heeft de volgende aanbevelingen voor de sector: Aanbeveling 1: Veranker resultaat- en impactmeting in de organisatiecultuur. Aanbeveling 2: Maak budget vrij voor resultaat- en impactmeting Aanbeveling 3: Zet ook eenvoudige instrumenten en best-practices op de onderzoeksagenda Aanbeveling 4: Leer van elkaars ervaringen en werk samen Voor het toepassen van de genoemde tien stappen voor resultaat- en impactmeten is het belangrijk om deze in de juiste context te plaatsen. Een belangrijke notie is dat de omvang en complexiteit van resultaat- en impactmeting in SAMENVATTING 9

12 Inhoudsopgave Voorwoord 3 Samenvatting 5 Inhoudsopgave 10 Inleiding 13 Hoofdstuk I Achtergrond van resultaat- en impactmeting Achtergrond van het impactdenken Van input naar impact Wat is impact? Wat zijn resultaat- en impactmeting? Waarom resultaat- en impactmeting? Leeswijzer: tien stappen voor resultaat- en impactmeting 21 Hoofdstuk II Voorbereiden van resultaat- en impactmeting Evalueren op project-, programma- of organisatieniveau? Theory of Change SMART-doelstellingen Prestatie-indicatoren Bepalen van de beginsituatie: de nulmeting Betrekken van belanghebbenden en doelgroep Context en nagaan van attributie Ontwikkelen van een meetmodel INHOUDSOPGAVE

13 Hoofdstuk III Meten van resultaten en impact Meetinstrumenten Social Return on Investment Social Impact Assessment (SIA) Public Value Scorecard Participatory Impact Assessment (PIA) Base of the Pyramid Impact Assessment Framework Logical Framework Keuze welk meetinstrument Kwalitatieve en kwantitatieve onderzoeksmethoden Interpreteren en analyseren van de gegevens Attributie en externe factoren Correlatie en causaliteit Positieve en negatieve, bedoelde en onbedoelde effecten Uitdagingen bij het meten van resultaten en impact 62 Hoofdstuk IV Verantwoording en leren van resultaat- en impactmeting Rapporteren van evaluatie-uitkomsten Leren van evalueren Communiceren met belanghebbenden Communiceren met donateurs 71 Hoofdstuk V Discussie en aanbevelingen Gradaties van resultaat- en impactmeting Aanbevelingen CBF-perspectief 75 INHOUDSOPGAVE 11

14 Visies en ervaringen uit de sector 77 Wilde Ganzen 77 Erasmus Centre for Strategic Philanthropy 79 Samenwerkende GezondheidsFondsen / Hersenstichting 81 Centre for International Development Issues (CIDIN) 83 1%CLUB / AmLab 85 Partos Branchevereniging voor Internationale Samenwerking 87 Centre for Development Innovation 88 NCDO 90 Begrippenkader 92 Trefwoordenregister 95 Literatuurlijst 96 Colofon INHOUDSOPGAVE

15 Inleiding Het is verheugend dat het Centraal Bureau Fondsenwerving (CBF) de laatste jaren steeds meer aandacht is gaan vragen voor het verrichten van geloofwaardig effectenonderzoek bij de organisaties die het CBF-Keur dragen. Daardoor is er naast de toetsing op rechtmatigheid ook noodzaak om de criteria van doeltreffendheid en doelmatigheid nader in te vullen. Deze brochure biedt daartoe een aantal zeer nuttige bouwstenen en praktische aanbevelingen. Het meten van resultaten van goededoelenorganisaties is om drie redenen van belang. In de eerste plaats verwacht het publiek een duidelijk inzicht in de wijze waarop de ingezamelde middelen worden besteed. Het is niet meer voldoende om alleen de doelstellingen van de organisatie te communiceren, maar er wordt ook verwacht dat er toezicht wordt gehouden op de gerealiseerde resultaten. In de tweede plaats wordt om resultaatmeting gevraagd omdat er een steeds grotere keuze en variëteit bestaat tussen verschillende goededoelenorganisaties die werkzaam zijn in dezelfde sector. Steeds meer grote en kleine instellingen presenteren zich aan het publiek en stellen daarbij specifieke resultaten in het vooruitzicht. Inzicht in het resultaatbereik wordt daarbij van belang geacht voor het vergroten van de transparantie van de sector. In de derde plaats is resultaatmeting van belang om te kunnen leren van en communiceren over de al dan niet bereikte resultaten, zodat er ook lessen kunnen worden getrokken over de werkwijze van de betrokken organisatie. Goede evaluaties zijn nodig voor het tijdig bijstellen van de activiteitenkeuze of de interventiestrategie van elke goededoelenorganisatie. Effectmeting kent een lange geschiedenis en wordt gekenmerkt door een steeds bredere keuze aan benaderingen en methodieken. Vragen over de effectiviteit van interventies worden al sinds mensenheugenis gesteld, vooral in de (para) medische sector. Na de Tweede Wereldoorlog is de aandacht voor evaluaties van effectbereik sterk toegenomen, mede onder invloed van de ontluikende management- en bestuurswetenschappen. Met de toegenomen rol van publieke en semipublieke organisaties waaraan steeds meer maatschappelijke taken worden opgedragen, komen ook vragen naar de effectiviteit en de verantwoording steeds meer centraal te staan. Professioneel toezicht wordt daarbij gehanteerd om organisaties scherp gericht te houden op marktoriëntatie en prestatielevering. Onderzoek naar de effecten en resultaten van goededoelenorganisaties is van recentere oorsprong en kent ook een aantal specifieke uitdagingen. Deze hebben vooral te maken met een steeds bredere definitie van doelen en resultaten en de veranderende verhouding tussen goededoelenorganisaties en hun lokale partners. Korten (1990) onderscheidt in dit verband vier generaties van niet-gouvernementele organisaties (NGO s) met uiteenlopende visies ten aanzien van werkwijze en interventiestrategie. De eerste en tweede generatie organisaties leggen vooral nadruk op noodhulp (logistieke steun) en lokale projecten gericht op dorpsontwikkeling waarvan effecten min of meer eenduidig traceerbaar zijn. De derde en vierde generatie van organisaties definiëren hun rol eerder als katalysator of mobilisator en richten zich meer op (inter)nationale systeemverandering. Effectmeting wordt hierbij ook meer proces-georiënteerd en vraagt om een bredere samenwerking. De evaluatieliteratuur kent een gelijksoortige ontwikkeling van paradigma s waarbij nieuwe vragen en bijbehorende methoden worden geïntroduceerd. Guba & Lincoln (1989) karakteriseren vier generaties van evaluatiestudies, waarbij de focus zich langzaam maar zeker verbreedt van het meten en beschrijven van de resultaten van interventies naar het waarderen en reconstrueren van het interventieproces. Daarbij is het vooral van belang om inzicht te verwerven in de specifieke rol en bijdrage (de meerwaarde ) van elk van de (lokale en internationale) partners in het samenwerkingsproces. De verschillende benaderingswijzen en evaluatiemethoden die in deze publicatie worden genoemd, dragen elk op hun eigen wijze bij aan een beter begrip van de effectiviteit en efficiency van de activiteiten van goededoelenorganisaties. Voor de potentiële gebruikers is het zaak om een doelbewuste combinatie te maken van de geschikte methoden die het beste aansluiten bij de doelstelling en werkwijze van de eigen organisatie. Deze publicatie is natuurlijk vooral bedoeld om de discussie over het waarom en hoe van verantwoorde resultaatmeting binnen de goededoelenorganisaties te bevorderen. Het is verstandig om dan ook gelijk een aantal praktische randvoorwaarden in ogenschouw te nemen. Ik noem daartoe een vijftal uitgangspunten die behulpzaam kunnen zijn bij de keuze van de geëigende evaluatieaanpak: INLEIDING 13

16 1. Selectiviteit: niet alles behoeft geëvalueerd te worden. Van vele interventies is het resultaatbereik genoegzaam bekend (bijvoorbeeld door de beschikbaarheid van systematisch effectenonderzoek). Er zijn veelal betere lessen te trekken uit evaluaties die zich richten op interventies waar de onzekerheid van resultaatbereik het grootst is. 2. Proportionaliteit: een beperkt gedeelte van het beschikbare budget kan gewoonlijk ten behoeve van evaluaties worden ingezet. Voor veel kleine projecten is grootschalig effectenonderzoek gewoonweg te kostbaar en liggen eenvoudiger methoden van monitoring meer voor de hand. Maar als men welbewust wil uitvinden wat werkt is een grotere investering in resultatenonderzoek juist gewettigd. 3. Kwaliteit: beter geen evaluatie dan een slechte evaluatie. Veel evaluaties voldoen uiteindelijk niet aan de minimumkwaliteitscriteria (bijvoorbeeld vanwege ondeugdelijke indicatoren, te kleine steekproef of afwezigheid van controlegroep). Dergelijke studies kunnen dan beter achterwege worden gelaten. 4. Creativiteit: evaluaties zijn geen standaardproduct maar moeten zich aanpassen aan de specifieke situatie van interventies. Een blauwdrukbenadering doet geen recht aan de diversiteit van mogelijke resultaten. Het combineren van kwantitatieve en kwalitatieve methoden levert veelal het beste inzicht in het resultaatbereik. 5. Onafhankelijkheid: evalueren is een vak en de uitvoering van kwalitatief hoogstaande evaluaties kan het beste worden toevertrouwd aan een onafhankelijke organisatie. Daarmee wordt mogelijke vooringenomenheid bij de evaluatieopzet en -uitvoering voorkomen en dat zal de betrouwbaarheid van de uitkomsten ten goede komen. Ik ben ervan overtuigd dat de CBF-organisaties deze publicatie zullen weten te benutten voor een verdere discussie en reflectie over het gebruik van resultaat- en impactmeting bij het verantwoorden, leren en communiceren over de doeltreffendheid en doelmatigheid van hun activiteiten in de dagelijkse praktijk. Prof. dr. Ruerd Ruben Hoogleraar Effectiviteit van Ontwikkelingsbeleid Radboud Universiteit Nijmegen & Directeur Inspectie Ontwikkelingssamenwerking & Beleidsevaluatie (IOB), Ministerie van Buitenlandse Zaken 14 INLEIDING

17 Hoofdstuk I Achtergrond van resultaat- en impactmeting De aandacht voor het meten van resultaten en het bepalen van de impact van activiteiten van goededoelenorganisaties neemt toe. Maar wat zijn resultaat- en impactmeting en waarom is het belangrijk? In het eerste deel van deze publicatie wordt ingegaan op de achtergrond van resultaat- en impactmeting. In de komende hoofdstukken wordt aandacht besteed aan de achtergrond (Paragraaf 1.1), het verklaren van de gebruikte terminologie (Paragrafen 1.2, 1.3 en 1.4) en het waarom van resultaat- en impactmeting (Paragraaf 1.5) Achtergrond van het impactdenken Goededoelenorganisaties leggen zich al decennia lang toe op het leveren van een maatschappelijke bijdrage. Het belang voor goededoelenorganisaties om prestaties, resultaten en impact te meten groeit. Sinds de jaren 90 van de vorige eeuw is de aandacht voor transparantie de zichtbaarheid en kwaliteit van het rapporteren en accountability het afleggen van rekenschap en verantwoording gegroeid. De vraag om transparantie heeft zich ontwikkeld van TRUST ME naar TELL ME naar SHOW ME en uiteindelijk naar PROVE ME en INVOLVE ME. De aandacht voor transparantie groeit en dat is ook duidelijk te zien in initiatieven als de publieke managementletter van de Nederlandse Beroepsorganisatie van Accountants voor de goededoelensector (NBA, 2012), de GRI-richtlijnen (Global Reporting Initiative) voor jaarverslaglegging en talrijke andere initiatieven. In de afgelopen decennia zijn steeds meer organisaties zoals bedrijven, gemeenten, scholen en ziekenhuizen gewend geraakt aan het afleggen van verant- woording over de uitgevoerde activiteiten. Verantwoording wordt afgelegd in specifieke maatschappelijke jaarverslagen of geïntegreerde jaarverslagen, op websites, andere communicatie-uitingen en in gesprekken met stakeholders. De overheid besteedt in haar subsidievoorwaarden voor goededoelenorganisaties ook aandacht aan het rapporteren en het meten van resultaten. Toenemende druk van buitenaf, van media, publiek en politiek en een dalend maatschappelijk vertrouwen zijn van invloed op de wijze waarop en de mate waarin goededoelenorganisaties verantwoording afleggen aan hun belanghebbenden (Maas, 2009). Maar intern groeit er bij goededoelenorganisaties ook een interesse naar het verkrijgen van inzicht in de effectiviteit van de projecten die zij uitvoeren en het uiteindelijke maatschappelijke verschil dat zij maken (Liket en Maas, nog te verschijnen). Deze ontwikkelingen hebben alle aanzet gegeven tot het denken in termen van impact. Hierbij wordt steeds meer aandacht gegeven aan het meten van resultaten en impact. Dit blijkt ook bijvoorbeeld uit de thema s van de Transparantprijs op initiatief van PwC en de annual letter van de Gates Foundation (2013), waar Bill Gates een heel duidelijk manifest uitspreekt voor het selecteren van de juiste indicatoren om inzicht te krijgen in de progressie en veranderingen die het gevolg zijn van ieder maatschappelijk initiatief. Veel goededoelenorganisaties zijn geïnteresseerd in de wijze waarop ze de resultaten van hun fondsenwerving, bestedingen en activiteiten het beste kunnen meten en inzich- telijk kunnen maken. De onderliggende gedachte is dat het meten van impact inzichten geeft in de handvatten voor verbeteringen, en positief bij zal dragen aan het publieksvertrouwen in de sector. Echter, in de praktijk blijkt dat veel goededoelenorganisaties het nog lastig vinden er concreet vorm aan te geven. Vanuit historisch perspectief is de sector ontwikkelingssamenwerking, gedreven door institutionele donoren zoals de overheid, hier al het langst mee bezig en er daarom ook het meest in ontwikkeld. Veel goededoelenorganisaties verzamelen informatie over hun prestaties. Zij doen dit vaak voor interne doeleinden. Het blijkt echter uit diverse studies van goededoelenorganisaties in onder andere de Verenigde Staten en het Verenigd Koninkrijk, dat hoewel de druk met betrekking tot het verzamelen van informatie over de resultaten en de behaalde impact toeneemt, organisaties zich nog beperkt bezighouden met resultaat- en impactmeting (Carman, 2007; Ní Ógáin et al., 2012). De mate waarin wordt geïnvesteerd in resultaat- en impactmeting ligt besloten in de keuzen die goededoelenorganisaties maken in het alloceren van bestedingen voor hun activiteiten. Goededoelenorganisaties zijn hier lang niet altijd vrij in: vele donateurs, zowel institutioneel als privaat, beïnvloeden op directe of indirecte wijze de ruimte die goededoelenorganisaties hebben om fondsen te besteden aan het meten van de resultaten. Organisaties verzamelen nog beperkt gegevens over het daadwerkelijke effect van hun activiteiten op de maatschappij. Naast de beperkte fondsen die goededoelenorganisaties tot hun beschikking hebben voor het uitvoeren van resultaat- en ACHTERGROND 15

18 impactmetingen is een tweede oorzaak voor het tekort aan deze metingen de beperkte kennis over het belang en de uitvoering hiervan. Het CBF ervaart dat bij goededoelenorganisaties vaak het geloof bestaat dat het mogelijk is om een concrete en eenduidige set aan indicatoren en methodieken te identificeren waarmee de maatschappelijke impact van de goededoelenorganisaties inzichtelijk gemaakt kan worden. Het zal in deze publicatie duidelijk worden dat resultaat- en impactmeting zeer contextafhankelijk zijn; daardoor moet er voor iedere meetvraag opnieuw nagedacht worden en moeten (soms moeilijke) keuzen gemaakt worden. die worden doorlopen bij het nadenken over en meten van impact: INPUTS ACTIVITIES OUTPUTS OUTCOMES GOAL ALIGNMENTS WHAT IS PUT INTO THE VENTURE S PRIMARY RESULTS THAT CAN BE CHANGES TO SOCIAL SYSTEMS ACTIVITY AND GOAL ADJUSTMENT VENTURE ACTIVITIES MEASURED WHAT WOULD HAVE HAPPEND ANYWAY 1.2. Van input naar impact In het praten over impact komt een aantal begrippen naar voren, die wellicht enige verheldering vragen. Een veelgebruikt begrip in de discussies over impact is de waardeketen. Dit is de keten van waardecreatie die loopt van inputs (de middelen die men inzet), de activiteit (in deze publicatie een breed begrip waar ook project, programma en interventie onder vallen), de outputs (de directe meetbare resultaten), de outcomes (de directe effecten op de doelgroep), naar ten slotte impact. Het valt tevens op dat woorden als resultaten, output, outcome en impact vaak door elkaar worden gebruikt. Men zou kunnen zeggen dat output (directe resultaten) en outcome zich onderscheiden van impact doordat ze zijn gerelateerd aan de leverancier van het product, de activiteit of de dienst, terwijl impact vooral samenhangt met de gebruiker (Kolodinsky et al., 2006). Het Impact Value Chain-model (Impactwaardeketen-model) van onderzoekers Clark et al. (2004) beschrijft vijf stadia Figuur 1: Impact Value Chain (Clark et al., 2004) De belangrijkste gedachte achter het Impact Value Chainmodel is het onderscheid tussen output en outcome en de definiëring van impact als effecten als gevolg van een activiteit minus wat er toch al aan veranderingen zou hebben plaatsgevonden. Inputs zijn alle middelen die een organisatie inzet om de doelstellingen te realiseren. Voorbeelden van inputs zijn: geld, materiaal, kennis, netwerken en uren. Activiteiten zijn alle activiteiten die leiden tot het realiseren van de doelstellingen van de organisatie met gebruik van de = IMPACT betreffende input. Deze activiteiten worden ook wel gezien als de doelbestedingen. Voorbeelden van activiteiten zijn: hulpverlening, voorlichting, belangenbehartiging, bewustwording, wetenschappelijk onderzoek. Outputs zijn de meetbare directe resultaten als gevolg van de ontplooide activiteiten. Aan de hand van de eerder geformuleerde prestatie-indicatoren kan geëvalueerd worden of de gestelde doelen behaald zijn. Voorbeelden van outputs: het aantal daklozen in regio X dat behuisd, verzorgd en gevoed is of het aantal blindengeleidehonden dat is getraind in het afgelopen jaar. Of bijvoorbeeld het aantal 16 ACHTERGROND

19 vogels dat is geteld, het aantal congressen dat is georganiseerd en het aantal deelnemers dat daarop aanwezig was. Outcomes zijn de ultieme veranderingen die een organisatie tot stand probeert te brengen in de wereld. Hierbij wordt een stap verder gekeken dan alleen naar direct, concreet resultaat. Niet voor iedere organisatie zal dit noodzakelijk zijn, dit hangt ondermeer af van de gestelde doelen van de organisatie. Voorbeelden van outcomes: verbetering van de onderwijsprestaties van deelnemers aan de betreffende onderwijsactiviteit of verhoogde biodiversiteit in een bepaald gebied. Impact: de outcomes minus wat er sowieso aan veranderingen zou hebben plaatsgevonden. Bij impact gaat het volgens het Impact Value Chain-model vooral om het isoleren van dat deel van de outcomes waarop de unieke bijdrage van de organisatie invloed heeft gehad. Het gaat over dat gedeelte van de totale uitkomst dat is ontstaan als gevolg van de activiteit van de organisatie, bovenop hetgeen er zonder die activiteit zou zijn ontstaan (meer informatie hierover in Hoofdstuk 2.7 en Hoofdstuk 3.3). Meer over de mogelijke definities van impact volgt in de volgende paragraaf. INPUTS Het Impact Value Chain-model voegt vervolgens nog een laatste stap toe, waarin beoordeeld wordt of resultaten en effecten overeenkomen met oorspronkelijke doelstellingen. De informatie uit deze evaluatie en terugkoppeling kan leiden tot een verbetering in toekomstige doelstellingen en activiteiten. IMPACT OUTCOMES OUTPUTS ACTIVITEITEN Op lange termijn kan verbeterde kwaliteit van onderwijs leiden tot een verbeterde positie van jonge vrouwen. Een hogere arbeidsparticipatie kan leiden tot minder armoede. Verbeterde kwaliteit van het onderwijs voor kinderen tussen X en Y jaar oud in de regio Z, een verhoogd kennisniveau van de schoolverlaters, verbeterde kansen op voortgezet onderwijs of hogere arbeidsparticipatie. Aantal leraren dat is getraind, aantal schoolboeken dat is uitgedeeld of aantal gebouwde schoolgebouwen. Resultaten hoeven niet lineair te zijn, zo kan een activiteit leiden tot meerdere outputs en deze kunnen elk ook tot meerdere outcomes leiden. Impacteffecten kunnen maatschappelijke veranderingen zijn op bijvoorbeeld ecologische, sociale, technologische, politieke en/of economische gebieden. Voorbeelden van waardeketens: IMPACT OUTCOMES OUTPUTS ACTIVITEITEN INPUTS Lagere maatschappelijke kosten in verband met criminaliteit. Onbedoeld negatief bijeffect van het investeren in vaardigheden van ex-gedetineerden kan echter ook zijn dat er sociaal vaardiger criminelen ontstaan, waardoor een andere criminaliteitsproblematiek ontstaat. Toegenomen vaardigheden die kunnen leiden tot een afname in criminaliteit en recidive. Het aantal ex-gedetineerden dat een vaardighedentraining heeft gevolgd. Het geven van trainingen aan basisschoolleraren, het uidelen van schoolboeken, het bouwen van schoolgebouwen in regio Z. Geld, mensuren, kennis van opgeleide vrijwilligers, gedoneerde schoolboeken, bouwmaterialen. Het organiseren van een vaardighedentraining voor ex-gedetineerden. Locatie die ter beschikking is gesteld, mensuren, trainingsmaterialen. ACHTERGROND 17

20 IMPACT OUTCOMES OUTPUTS ACTIVITEITEN INPUTS Netwerken, mensuren, giften. Het mag duidelijk zijn dat directe resultaten (outputs) vaak gemakkelijk waarneembaar en meetbaar zijn, maar dat voor het inzichtelijk maken van de verdere effecten op de doelgroep (outcomes) en langetermijneffecten dan wel het toewijzen van die effecten aan de activiteiten (impact) diepgaander onderzoek nodig is. Verbeterde kwaliteit van leven voor mens en dier in regio X. Verbeterde kwaliteit van water, lucht en bodem in regio X. Toename aantal hectare beschermd zeegebied in regio X. Lobby bij de overheid om zeegebied te beschermen, samenwerken met andere natuurbeschermers en lobbygroepen, petitie online verspreiden, afbakening van een kustgebieden. IMPACT OUTCOMES OUTPUTS ACTIVITEITEN INPUTS Giften, uren van trainers en gastoudergezinnen, materialen. Het verbeterende leven en maatschappelijke bijdragen van de blinde persoon door de blindengeleidehond. De verbeterde ervaring van de blinde persoon door de blindengeleidehond. Het aantal getrainde blindengeleidehonden. Fokken, verzorgen en trainen van honden, cursus geven aan gebruikers van blindengeleidenhonden. Bedenk als goededoelenorganisatie of het vanuit de statutaire doelstellingen én de wensen van belanghebbenden wenselijk is om naast het meten van directe resultaten ook de verdere effecten en impact van die resultaten te onderzoeken. Tot hoever wil en kan de organisatie gaan in het meten van outputs, outcome en/of impact? 1.3. Wat is impact? Impact is een populair begrip geworden in de goededoelensector. Uit documentatie en praktijkervaringen van goededoelenorganisaties blijkt dat de term impact op allerlei manieren geïnterpreteerd wordt en kan worden, waarbij de ene interpretatie niet per definitie beter is dan de andere. Het is opvallend dat goededoelenorganisaties, wetenschappers, financiers en andere partijen veel verschillende betekenissen geven aan impact. Ook worden dit begrip en synoniemen als effect en invloed op allerlei manieren gebruikt. Het gebruik van verschillende definities van impact zorgt voor verwarring bij het toepassen van (instrumenten voor) resultaat- en impactmeting. Daarnaast ontstaan er variaties als gevolg van verschillende wetenschapsgebieden zoals bedrijfskundig, sociaal, economisch en strategisch (Maas en Liket, 2010). In de wetenschappelijke literatuur zijn grofweg twee stromingen die ieder een eigen kijk hebben op definities van impact (White, 2009). Er is een stroming die impact ziet als het hoogste niveau van de waardeketen. In deze stroming wordt impact gezien als de duurzame langetermijnveranderingen. In lijn met deze stroming is de kijk op impact door organisaties zoals het Development Assistance Committee (DAC) van de OECD. Het DAC definieert impact als de positieve en negatieve, primaire en secundaire langetermijneffecten die het resultaat zijn van een interventie, direct of indirect, 18 ACHTERGROND

21 Auke Herrema bedoeld of onbedoeld (OECD-DAC, 2002: 24 vrij vertaald uit het Engels). Interventie is een vrij brede term die betrekking kan hebben op een project, activiteit, programma of beleid. Liket en Maas (nog te verschijnen) maken een onderscheid tussen missie-impact en maatschappelijke-impact. De eerste vorm, missie-impact, betreft louter de impacteffecten die relateren aan de missie van de organisatie. Daarentegen betreft de maatschappelijke impact alle impacteffecten, ongeacht de missie, wat dus ook negatieve en onbedoelde effecten meeneemt. Een voorbeeld ter verduidelijking. Iedere goededoelenorganisatie maakt een keuze om zich te richten op een bepaald maatschappelijk probleem en formuleert een duidelijke afbakening van de maatschappelijke verandering die zij beoogt in haar missie (en in sommige gevallen de doelgroep die zij wil bedienen). Een goededoelenorganisatie kan bijvoorbeeld als doel hebben om wereldwijd malaria te bestrijden. Haar missie-impact is in dit geval de duurzame vermindering in malaria-infecties. Haar maatschappelijke impact reikt echter verder en betreft ook zaken zoals de besparing in maatschappelijke gezondheidskosten. Inzicht in de missieimpact van een goededoelenorganisatie is een maatstaf voor de effectiviteit van projecten en de organisatie. Inzicht in de maatschappelijke impact van een goededoelenorganisatie is een maatstaf voor de effectiviteit van goededoelenorganisaties ten opzichte van de maatschappij, ongeacht hun missie. Een andere stroming die vooral in de laatste jaren veel terrein heeft gewonnen, bijvoorbeeld bij de Wereldbank, en die ook wordt gehanteerd bij de Inspectie Ontwikkelingssamenwerking en Beleidsevaluatie (IOB) van het ministerie Missie Malaria voorkomen Maatschappelijke Dilema s en Problemen Input fondsen, tijd, expertise Activiteit Uitdelen van gratis klamboes Output Aantal klamboes uitgedeeld Outcome Δ klamboegebruik door de doelgroep Missie Missie Impact Δ infecties Maatschappij Missie Missie Impact Maatschappelijke Impact Δ Maatschappelijke gezondheidskosten Figuur 2: Waardeketen missie-impact en maatschappelijke impact (Liket en Maas, nog te verschijnen) ACHTERGROND 19

22 van Buitenlandse Zaken, ziet impacteffecten als de verandering die tot stand is gebracht door de activiteit minus wat er toch al aan veranderingen zou hebben plaatsgevonden (Clark et al., 2004). Het verschil met de eerder beschreven stroming is dat met name het toewijzen van het effect aan een activiteit centraal staat. In essentie draait dit om het beantwoorden van de vraag wat de toegevoegde waarde is van de activiteit, door nauwkeurig te bestuderen of de gevonden resultaten daadwerkelijk door de activiteit kwamen. Dit wordt ook wel attributie genoemd. Meer hierover in hoofdstuk 2.7 en 3.3. Niet alle impact is positief. Sommige goededoelenorganisaties hebben bijvoorbeeld gerapporteerd dat hun activiteiten niet de gewenste uitkomsten hadden. Voorbeelden hiervan zijn dat de mentale gesteldheid van de doelgroep is verslechterd ondanks de voor hen georganiseerde activiteiten, of dat de kennis en bewustwording bij de doelgroep over een bepaalde ziekte juist waren afgenomen ondanks de gevoerde campagnes. Dit kan liggen aan (onbedoelde) bijeffecten of de invloed van externe factoren die roet in het eten gooien. Impact gaat verder dan de specifieke doelgroep waarvoor de activiteit in beginsel is bedoeld en kijkt ook naar de effecten op maatschappelijk niveau. Een voorbeeld ter verduidelijking van de diverse interpretaties van het woord impact in de praktijk van goededoelenorganisaties: een groot gezondheidsfonds heeft zijn impact laten meten ten aanzien van het herkennen en behandelen van beroertes. Hiertoe is uitgebreid onderzoek verricht naar de effecten van het gezondheidsfonds op directe en indirecte gezondheidskosten (bestaande uit ziekenhuiskosten, kosten gemaakt in de andere schakels in de zorgketen en de kosten van extra mantelzorg), het productiviteitsverlies, de kwaliteit van leven van patiënten en de levensduur van patiënten (Maas et al., 2011). De uitkomsten van dit onderzoek geven inzicht in de geschatte maatschappelijk impact van het gezondheidsfonds ten aanzien van het herkennen en behandelen van beroertes, onder meer uitgedrukt in het aantal euro s dat de maatschappij bespaard wordt door de activiteiten van deze goededoelenorganisatie. Dit alles met de kanttekening dat er vele partijen van invloed zijn op dit thema en de resultaten niet volledig aan het gezondheidsfonds kunnen worden toegewezen. Daarnaast spreekt bijvoorbeeld een klein cultuurfonds zich uit over zijn impact bij de aankoop van een aantal belangrijke historische kunstwerken, zonder daar een gedegen onderzoek naar uit te voeren om deze impact concreet te maken. Het zal duidelijk zijn dat de context en lading van het woord impact anders is in deze twee voorbeelden. Wellicht is er in dit laatste voorbeeld eerder sprake van directe resultaten (ook wel output genoemd) en is nog geen inzicht gegeven in verdere effecten van de aankoop, zoals bijvoorbeeld het stimuleren van cultureel aanbod, en wat dit betekent op maatschappelijk niveau (impact) Wat zijn resultaat- en impactmeting? Een centrale vraag voor organisaties in het toepassen van resultaat- en impactmeting is: Wat willen we bereiken en wat is onze strategie om ons doel te bereiken? Aan het begin van dit proces zullen strategische plannen gemaakt worden om te bepalen waar middelen worden ingezet, welke activiteiten zullen worden uitgevoerd en waar, voor wie, waarom etc. Aan het einde van het proces dient duidelijk te worden of de beoogde doelstellingen zijn behaald. Het gehele proces van organisatie-inrichting, processen bewaken, gegevens verzamelen en bijhouden tot en met het rapporteren en strategische doelen bijstellen, wordt ook wel monitoren en evalueren genoemd. Resultaat- en impactmeting zijn het deel van het evalueren waarbij onderzoek wordt uitgevoerd naar de resultaten en interne en externe effecten van activiteiten met als doel inzicht te krijgen in hetgeen er is bereikt. Waarom een onderscheid tussen het meten van resultaat en impact? Omdat er een onderscheid kan worden gemaakt tussen enerzijds onderzoek naar concrete, directe, meetbare resultaten en anderzijds de langetermijneffecten als gevolg van een activiteit de impact op de doelgroep en maatschappij. Bij een meting kan onderscheid gemaakt worden tussen onderzoek op het niveau van separate programma s, projecten en activiteiten en onderzoek op het niveau van de gehele organisatie. Door verschillende soorten gegevens te verzamelen en deze te analyseren, kan worden aangetoond wat de resultaten en het effect van de resultaten van een project of organisatie zijn geweest op de doelgroep, de maatschappij en de organisatie zelf en wat in de toekomst beter kan. In deze publicatie zullen verschillende stappen, raamwerken en methoden worden geïntroduceerd die goededoelenorganisaties op weg kunnen helpen in het handen en voeten geven aan resultaat- en impactmeting. 20 ACHTERGROND

23 1.5. Waarom resultaat- en impactmeting? Men zou kunnen zeggen dat het meten van en rapporteren over de resultaten en effecten van activiteiten voor goededoelenorganisaties een strategische noodzaak is. Er kunnen zowel interne als externe doelen mee behaald worden. Op het interne vlak kunnen metingen leiden tot het verbeteren van eigen prestaties op organisatie- en projectniveau en het verhogen van het kennisniveau over een specifiek thema of gebied. De uitkomsten maken het voor organisaties mogelijk beter onderbouwde keuzen te maken in activiteiten. Het uitvoeren van een gedegen meting helpt organisaties om de eigen meerwaarde aan de maatschappij te bepalen en preciezer vast te stellen waar de organisatie het verschil kan maken. Het helpt de sterke en zwakke punten te identificeren, meer inzicht te krijgen in wat werkt en wat niet en waarom, en te leren hoe prestaties verbeterd kunnen worden. Resultaat- en impactmeting zijn een manier om processen en activiteiten te verbeteren en efficiënter te maken. Op het externe vlak kunnen evaluaties leiden tot het verhogen van het effect van activiteiten op de doelgroep en/of maatschappij. Goed onderbouwde resultaatmeting kan ook leiden tot meer draagvlak bij en aandacht en vertrouwen van institutionele gevers en individuele donateurs die het steeds belangrijker vinden om te weten wat er met hun donaties gebeurt en of het goede doel transparant is (Midgley, 2012). Met name institutionele gevers, zoals financiers en subsidieverstrekkers, vragen steeds meer naar inzicht in resultaten. Misschien is voor individuele donateurs het goede gevoel wel het belangrijkst, maar ook binnen deze groep donateurs groeit het belang van transparantie en inzicht in wat goede doelen bereiken. Dit blijkt ook uit onderzoek in het Verenigd Koninkrijk, waar goededoelenorganisaties die voornamelijk gefinancierd worden vanuit overheidssubsidies in toenemende mate inzetten op het meten van resultaten en impact. Goededoelenorganisaties die voornamelijk gefinancierd worden door individuele donoren zijn veel minder extern gedreven om impact te meten (Ní Ógáin et al., 2012). De huidige bezuinigingen op ontwikkelingshulp, bijvoorbeeld, hebben grote gevolgen voor de budgetten van goededoelenorganisaties. Voorheen hadden veel ontwikkelingsorganisaties één belangrijke financier: de overheid. Nu halen deze organisaties hun geld bij andere donateurs, zoals de Verenigde Naties, internationale overheden, (vermogens)fondsen, bedrijven en andere instellingen. Zowel de overheid als deze nieuwe institutionele gevers vragen meer op het gebied van projectbeschrijvingen, rapportages, monitoring en controle. Analyse op het gebied van resultaat en impact kan zowel goededoelenorganisaties als institutionele gevers helpen om beter te worden in wat ze doen, maar kan ook helpen om deze alternatieve financieringsbronnen aan te boren. Breng uw potentiële financieringsbronnen in kaart en vergelijk welke verwachtingen zij hebben ten aanzien van het inzichtelijk maken van uw impact. De beweegreden voor resultaat- en impactmeting is van belang voor de verdere opzet en invulling van de evaluatie. Wanneer de nadruk meer ligt op verantwoording kan het zijn dat er meer harde cijfers en bewijzen gevraagd worden, terwijl een evaluatie waarbij de nadruk ligt op leren wellicht meer oplevert als juist de verhalen achter de cijfers worden bestudeerd. Het is belangrijk om verantwoorden en leren in goed evenwicht te laten zijn binnen de organisatie. Bedenk van tevoren vanuit welke beweegreden de resultaat- en impactmeting worden uitgevoerd en hoe dit de opzet beïnvloedt Leeswijzer: tien stappen voor resultaat- en impactmeting In deze publicatie worden tien stappen voor resultaat- en impactmeting geïntroduceerd. De gedachte achter dit model is dat iedere organisatie elke stap kan doorlopen, maar dat de mate waarin een stap wordt uitgevoerd, van eenvoudig tot complex, afhangt van de grootte en complexiteit van de organisatie en de activiteit die wordt geëvalueerd. Enkele van de stappen, zoals het formuleren van SMARTdoelstellingen en het opstellen van prestatie-indicatoren, zijn onderdeel van de criteria van het CBF-Keur en CBF- Certificaat. Andere stappen in het hier gepresenteerde model zijn niet verplicht, maar kunnen bijdragen aan de verdere professionalisering van goededoelenorganisaties. ACHTERGROND 21

24 Deze tien stappen zijn verdeeld in drie fasen: voorbereiden (hoofdstuk 2), meten (hoofdstuk 3) en verantwoorden (hoofdstuk 4). De hoofdstukken zijn ingedeeld in paragrafen. Vaak vormen twee of meerdere paragrafen samen één stap uit het model. Stap 1: paragraaf 2.1 en 2.2 Stap 2: paragraaf 2.3 en 2.4 Stap 3: paragraaf 2.5 en 2.6 Stap 4: paragraaf 2.7 Stap 5: paragraaf 2.8 Stap 6: paragraaf 3.1 Stap 7: paragraaf 3.2 t/m 3.5 Stap 8: paragraaf 4.1 Stap 9: paragraaf 4.2 Stap 10: paragraaf 4.3 en 4.4 STAP Hoofdstuk II Voorbereiden 1 Keuze wat evalueren + wat wil ik bereiken (Theory of Change) 2 SMART-doelstellingen + prestatie-indicatoren 3 Nulmeting en betrekken belanghebbenden hierbij 4 Context en attributie: wat doen anderen en wat is mijn bijdrage 5 Meetmodel beschrijven Hoofdstuk III Meten 6 Meetinstrument kiezen 7 Gegevens verzamelen en analyseren Hoofdstuk IV Verantwoorden 8 Evaluatie rapportage 9 Leren van evalueren 10 Communiceren van de bevindingen aan belanghebbenden 22 ACHTERGROND

25 Hoofdstuk II Voorbereiden van resultaat- en impactmeting Resultaat- en impactmeting beginnen met de basisvraag: waarom wil ik impact meten en wat wil ik doen met de resultaten? Meten om het meten is zinloos. Ondanks dat het niet altijd eenvoudig is om resultaten meetbaar te maken, is dit geen reden om er niet aan te beginnen! Sterker nog: het is voor iedereen binnen een organisatie zeer aantrekkelijk om na te denken over het nut en de impact van de organisatie en het zichtbaar maken van dat nut en die impact. Het dwingt een organisatie na te denken over de missie en strategie en om concrete doelen te stellen. STAP Hoofdstuk II Voorbereiden 1 Keuze wat evalueren + wat wil ik bereiken (Theory of Change) 2 SMART-doelstellingen + prestatie-indicatoren 3 Nulmeting en betrekken belanghebbenden hierbij 4 Context en attributie: wat doen anderen en wat is mijn bijdrage 5 Meetmodel beschrijven In dit tweede hoofdstuk worden de eerste vijf stappen van resultaat- en impactmeting benoemd. Deze stappen zijn gebaseerd op de Quality at Entry -onderdelen van de Inspectie Ontwikkelingssamenwerking en Beleidsevaluatie van het ministerie van Buitenlandse Zaken (interview met prof. dr. R. Ruben, 26 februari 2013) en de Handleiding evalueren van NONIE (Leeuw en Vaessen, 2009). Hoofdstuk III Meten 6 Meetinstrument kiezen 7 Gegevens verzamelen en analyseren Hoofdstuk IV Verantwoorden 8 Evaluatie rapportage 9 Leren van evalueren 1. Impact meten begint met het maken van de keuze of er wordt geëvalueerd op project-, programma- of organisatieniveau (Paragraaf 2.1), gevolgd door het beschrijven van het denkmodel hoe de beoogde veranderingen tot stand gaan worden gebracht. Dit heet ook wel de verandertheorie, veranderboom of Theory of Change (paragraaf 2.2). 2. De tweede stap is het formuleren van SMART-doelstellingen (Paragraaf 2.3) en het benoemen van prestatieindicatoren (Paragraaf 2.4). 10 Communiceren van de bevindingen aan belanghebbenden VOORBEREIDEN 23

26 3. De derde stap bestaat uit het bepalen van de beginsituatie middels een nulmeting (Paragraaf 2.5) en het betrekken van belanghebbenden daarbij (Paragraaf 2.6). 4. De vierde stap bestaat uit het omschrijven van de context waarin de meting wordt verricht in vergelijking tot anderen en het nadenken over welk aandeel van de veranderingen aan de activiteiten zouden kunnen worden toegeschreven (attributie) (Paragraaf 2.7). 5. De vijfde stap is het beschrijven van hoe de resultaten en impact zullen worden gemeten in een meetmodel (Paragraaf 2.8) Evalueren op project-, programma- of organisatieniveau? Het meten van resultaten en impact is een grote uitdaging. Des te meer programma s, projecten en activiteiten een organisatie heeft, des te complexer het meten van resultaten op strategisch organisatieniveau wordt. Activiteiten kunnen daarnaast uiteenlopen van eenvoudige initiatieven tot complexe beleidsvraagstukken waar diverse belanghebbenden bij zijn betrokken. Ook is het mogelijk om naast activiteiten ten behoeve van de doelstelling, de resultaten van fondsenwervende of marketingactiviteiten te meten. Zeker wanneer er niet zoveel middelen ter beschikking zijn, is het van belang om te beginnen met een enkel project dat een niet te grote omvang en complexiteit kent. Pas wanneer de resultaten en impact van een enkel project of activiteit zijn gemeten en er voldoende middelen zijn, kan men overgaan tot het meten van de resultaten en impact van meerdere en/of complexere projecten. Door metingen een integraal onderdeel uit te laten maken van projecten, activiteiten en programma s, kunnen tot slot uitspraken worden gedaan over de resultaten en impact van de gehele organisatie, alhoewel hier wel ook meer bij komt kijken. Voorbeeld over meten op verschillende niveaus Stichting Projecten Zuid-Afrika (SPZA) richt zich op kansarme kinderen en jongeren die opgroeien in townships en op boerderijen in Zuid-Afrika. SPZA wil deze kinderen en jongeren door beter onderwijs een kansrijke toekomst bieden. De activiteiten van SPZA zijn verdeeld over drie programma s: Programma Buitenschoolse Opvang (BSO) Programma Beter Basisonderwijs Programma Studiefinanciering Binnen deze programma s worden diverse projecten van partnerorganisaties uit Zuid-Afrika ondersteund. SPZA evalueert resultaten en impact op het niveau van afzonderlijke projecten en op het niveau van programma s. Daarvoor maakt SPZA gebruik van de informatie die Zuid-Afrikaanse partners aanleveren. Het meten van impact op het niveau van de projecten kan met name voor de partnerorganisaties administratief zeer belastend zijn. SPZA is zich ervan bewust dat de inspan- Het is belangrijk om, voor dat met het project wordt aangevangen, de keuze te maken welk project zal worden geëvalueerd. Voor aanvang kan men namelijk nog eerst in kaart brengen wat de doelstellingen precies zullen zijn, hoe deze gemeten kunnen worden en wat de beginsituatie is voordat het project nog enige invloed heeft gehad op de doelgroep of populatie. ning die geleverd moet worden voor de resultaat- en impactmeting in verhouding moet staan tot die voor het project zelf en de hoogte van de financiële bijdrage. Interview met Riekje de Vries, Stichting Projecten Zuid- Afrika. Naschoolse opvang in Zwelihle (foto: SPZA) 24 VOORBEREIDEN

27 Het is ook mogelijk om op organisatieniveau impact te meten. Hier komt echter meer bij kijken dan de optelsom van afzonderlijke projecten en programma s. Organisaties hebben ook andere effecten op hun omgeving, niet alleen op de doelgroep. Denk bijvoorbeeld aan het verschaffen van werkgelegenheid en opleidingsplekken aan jongeren of de grootte van de ecologische footprint als graadmeter voor milieu-impact Theory of Change Goededoelenorganisaties zullen veelal met hun activiteiten een verandering (verbetering) of instandhouding nastreven op sociaal, ecologisch, politiek of ander gebied. Er zal ook altijd een logica, een denkmodel, zitten achter de na te streven verandering. Voordat wordt begonnen met het uitvoeren van een activiteit is het aan te raden om dit denkmodel uit te schrijven. Soms gebeurt dit ook al in (meerjaren)beleidsplannen. Het denkmodel beschrijft de expliciete en impliciete veronderstellingen over het project of de activiteit. Als een organisatie de resultaten, effecten en impact van haar projecten en activiteiten wil bepalen, dient het eerst duidelijk zijn hoe de effecten zijn te bereiken. Het denkmodel beschrijft met welke middelen (inputs), activiteiten en resultaten (outputs) de doelstelling van het project kan worden bereikt. Het model is van doorslaggevende betekenis voor het bepalen en analyseren van successen en uitdagingen of leerpunten. Zelfs als de prestaties in de eerste plaats worden gemeten op het outputniveau, is er behoefte aan een redenering (hypothese) die beschrijft welke effecten er kunnen zijn op de doelgroep (outcomes). En daarna wat de netto-effecten (positieve, negatieve, bedoelde, onbedoelde, directe en indirecte) kun- nen zijn en of deze kunnen worden toegeschreven aan de organisatie (impact). Dit wordt ook wel Theory of Change genoemd of logisch model: een complex geheel van veronderstellingen en verwachtingen hoe activiteiten kunnen leiden tot bepaalde resultaten en welke verdere effecten deze weer kunnen hebben op de doelgroep en de maatschappij. Het betreft in feite een invulling van de impactwaardeketen. Meer informatie hierover vindt u op Vaak is het lastig om effecten duidelijk toe te schrijven aan een specifieke activiteit, zeker op de lange termijn. Het is echter wel van belang een aannemelijke uitleg te formuleren over hoe het project zou kunnen bijdragen aan het bereiken van een (langetermijn)doelstelling en hoe aannemelijk kan worden gemaakt wat de bijdrage van de organisatie hieraan is geweest. Daarbij is het van belang om ook aandacht te besteden aan de invloed van andere partijen en ontwikkelingen (externe factoren) op de te verwachte resultaten en impact. Het meten van resultaten en impact kan in gradaties gaan. Zo zal een kleine organisatie die net begint met enkele projecten niet meteen uitgebreid investeren in een impactmeting, maar eerst beginnen met het bepalen van de directe resultaten (output). En pas later, wanneer de organisatie is gegroeid en er meer budget is, ook aandacht gaan geven aan de verdere effecten (outcomes) of andere bijkomstige en/of blijvende effecten van haar activiteiten op de doelgroep en maatschappij (impact). Daarnaast zal het ene instrument of aanpak meer geschikt zijn voor de ene goede- doelenorganisatie dan voor de andere. Met andere woorden: het specifieke niveau van een organisatie heeft invloed op welke aanpak van meten het meest geschikt of van toepassing is. Het is belangrijk om te meten op de manier die past bij de organisatie en de context en om zo veel mogelijk gebruik te maken van bestaande methodieken, maar ook te zoeken naar maatwerk. Organiseer een brainstormsessie met uw personeel en/of belanghebbenden om per activiteit of project de verwachte inputs, outputs, outcomes en impact te bedenken. Laat iedereen ideeën op post-its schrijven en plak deze op. Zo ontstaat een Theory of Change-schema. Gebruik bijvoorbeeld ook informatie uit projectvoorstellen en andere beleidsdocumenten als input. Ook is van belang dat het gewenste niveau van resultaat- en impactmeting in het meetmodel wordt benoemd VOORBEREIDEN 25

28 2.3. SMART-doelstellingen De tweede stap in het meten van resultaten en impact is het vertalen van de missie, visie en strategie van de organisatie in concrete, meetbare doelen. Het doel van een project vormt de schakel tussen de directe resultaten en effecten en de overkoepelende organisatiedoelen. Het doel van een project beschrijft de outcome van een project: de positieve verandering die wordt verwacht ten bate van de doelgroep (mensen, onderzoeken, flora, fauna e.d.). De woorden Het project zal bijdragen aan... worden hier vaak gebruikt. Het effect en de impact van een project of activiteit kunnen alleen worden beoordeeld en geverifieerd als duidelijk is welke geplande effecten van het project voor ogen worden gehouden en als er meetbare doelstellingen zijn geformuleerd. Bron: (Rechthebbenden kunnen zich melden bij het CBF.) Bron: category/uncategorized/page/2/ De doelstelling beschrijft de uitkomst(en) van het project: de beoogde en directe, korte- en middellangetermijneffecten op de doelgroep. De doelstelling van het project moet binnen de scope van het project liggen, zodat een organisatie de effecten direct toe kan schrijven aan het project. Hiervoor is het noodzakelijk dat in de doelstelling van het project ook het beoogde effect voor de doelgroep is opgenomen. In de praktijk is het vaak niet zo eenvoudig de effecten van een project te onderscheiden van de directe resultaten. Goed geformuleerde doelstellingen voor effect en impact van het project zijn daarom van groot belang voor betekenisvolle resultaat- en impactmeting. 26 VOORBEREIDEN

29 Goede voorbeelden van SMART-doelstellingen: Om resultaten goed te kunnen vaststellen is het nodig SMART-doelstellingen te formuleren. De letters van SMART staan voor: Specifiek: is de doelstelling eenduidig? Meetbaar: onder welke (meetbare/observeerbare) voorwaarden of vorm is het doel bereikt? Acceptabel: is deze acceptabel (wenselijk) genoeg voor de doelgroep en/of de organisatie? Realistisch: is het doel haalbaar? Tijdgebonden: wanneer of binnen welke tijdsperiode dient het doel bereikt te zijn? In plaats van Acceptabel wordt ook vaak Aanvaardbaar, Ambitieus (bewerkstelligt het doel wel een echte verandering?), of Aanwijsbaar (wie wijs je aan die het doel nastreeft?) gebruikt. In plaats van Realistisch wordt ook wel Resultaatgericht gehanteerd. Sector gezondheid: het aantal geregistreerde patiënten met hart- en vaatziekten in 2013 in Nederland terugdringen met 5%. Specifiek: het aantal geregistreerde patiënten met hart- en vaatziekten in 2013 in Nederland. Meetbaar: meting naar aanleiding van de registratie van patiënten met hart- en vaatziekten; minimaal -5% is de streefwaarde. Acceptabel: alle betrokken partijen kunnen zich vinden in de doelstelling en willen hiermee aan de slag. Realistisch: met de inzet en middelen van de betrokken partijen is het mogelijk om de doelstelling te behalen. Tijdgebonden: de periode waarin de doelstelling bereikt moet worden, is duidelijk afgebakend (het jaar 2013). Sector natuur & milieu: Het terugdringen van de uitstoot van fijnstof door de Nederlandse industrie met 25% tussen 2012 en 2015 zodat de luchtkwaliteit verbetert. Specifiek: de uitstoot van fijnstof door de Nederlandse industrie tussen 2012 en Meetbaar: meting van de uitstoot van fijnstof door de industrie. Acceptabel: alle partijen zien het belang van de doelstelling in en deze past binnen het kader van de betreffende Europese richtlijn. Realistisch: gezien de huidige technologische veranderingen op het gebied van luchtzuivering is het mogelijk om de uitstoot van fijnstof terug te dringen. Tijdgebonden: de periode waarin de doelstelling bereikt moet worden, is duidelijk afgebakend (tussen 2012 en 2015). Fondsenwerving: In % meer inkomsten werven bij institutionele donateurs. Specifiek: inkomsten van institutionele donateurs. Meetbaar: meting van de toename in de inkomsten uit een specifieke bron, namelijk institutionele donateurs. Acceptabel: alle partijen zien het belang van de doelstelling in. Realistisch: gezien de beschikbare gelden bij institutionele fondsen en de nieuw aangestelde fondsenwerver zou het mogelijk moeten zijn om de inkomsten uit deze bron in geringe mate te verhogen. Tijdgebonden: de periode waarin de doelstelling bereikt moet worden, is duidelijk afgebakend (het jaar 2013). VOORBEREIDEN 27

30 Slechte voorbeelden van SMART-doelstellingen: Sector natuur & milieu: het beschermen van natuurgebied de Veluwe. Specifiek: nee. Het is wel duidelijk om welk gebied het gaat, maar niet om welke aspecten van het gebied, zoals de stand van bepaalde flora of fauna, de bodemkwaliteit, luchtkwaliteit of in hoeverre er afval in het gebied te vinden is. De manier waarop uiting kan worden gegeven aan beschermen wordt niet gespecificeerd. Meetbaar: nee. Het is niet duidelijk hoe kan worden gemeten dat de bescherming heeft plaatsgevonden en bescherming van wat precies. Acceptabel: ja. De betrokken partijen zullen het belang zien van de bescherming van dit natuurgebied, dat voor zowel mens als natuur een belangrijke functie vervult. Realistisch: nee. Beschermen is een breed begrip en hier kan van alles onder vallen. Bovendien hebben veel partijen belang bij de bescherming, op welke wijze dan ook, van dit gebied en dit maakt het niet realistisch om het doel uit te voeren. Tijdgebonden: nee. Er is geen tijdsperiode genoemd. Sector welzijn: zoveel mogelijk mensen bewustmaken van het belang van cultureel erfgoed. Specifiek: nee. Er wordt geen specifieke groep mensen aangeduid, zoals kinderen tussen 12 en 18 jaar of alle pensioengerechtigden. Noch wordt aangeduid hoeveel mensen bereikt dienen te worden, bijvoorbeeld minimaal kinderen op basisscholen of het geregistreerd museumbezoek 10% verhogen. Meetbaar: nee. Er wordt geen meetlat genoemd waar de verhoging tegen kan worden afgezet en gemeten. Acceptabel: ja. Het is aannemelijk dat veel partijen het belang van de doelstelling inzien. Realistisch: ja. Zoveel mogelijk mensen kan nooit niet gehaald worden, want wat mogelijk is, dat is mogelijk. Tijdgebonden: nee. Er is geen tijdsperiode genoemd. Fondsenwerving: het werven van een zo groot mogelijke achterban dit jaar. Specifiek: niet geheel. Alhoewel het duidelijk is dat het gaat om de achterban van de organisatie, is onduidelijk om welke doelgroep(en) het gaat. Tevens is niet duidelijk wat de organisatie van de achterban wil: een bepaalde hoeveelheid fondsen werven, de vrijwillige inzet verhogen of maatschappelijk draagvlak creëren? Meetbaar: nee. Er wordt geen meetlat genoemd waar de verhoging tegen kan worden afgezet en gemeten. Acceptabel: ja. Dit is een belangrijk middel voor de maatschappelijke verankering en financiering van goededoelenorganisaties en daarmee een belangrijk aspect van fondsenwerving. Realistisch: ja. Een zo groot mogelijk aantal mensen kan nooit niet gehaald worden, want wat mogelijk is, dat is mogelijk. Tijdgebonden: enigszins. Er is geen concrete tijdsperiode genoemd, maar wel dat het het huidige jaar (van het jaarplan of iets dergelijks) betreft. 28 VOORBEREIDEN

31 Voor de ene soort activiteit zal het makkelijker zijn om SMART-doelstellingen te formuleren dan voor de andere. Zo zal de doelstelling van een activiteit als het verlenen van noodhulp in vrij concrete (tastbare) bewoordingen te formuleren zijn, in de vorm van bijvoorbeeld het aantal mensen dat noodhulp zal ontvangen en welke noodhulp zij gaan ontvangen. Aan de andere kant zal bijvoorbeeld het formuleren van SMART-doelstellingen voor langetermijnonderzoek naar een behandelmethode voor een ongrijpbare ziekte minder voor de hand liggend zijn. Met andere woorden, er is voor goededoelenorganisaties een verschil tussen tastbare en minder tastbare activiteiten. Dit wil echter niet zeggen dat het niet mogelijk of de moeite waard is om voor minder tastbare activiteiten een heldere SMART-doelstelling te formuleren. In het voorbeeld van onderzoek naar een behandelmethode voor een bepaalde ziekte kan wellicht niet realistisch worden ingeschat dat er bijvoorbeeld een nieuwe behandelmethode of direct toepasbare kennis over preventie uit het onderzoek gaat komen, maar men kan wel subdoelen stellen om een minimaal aantal publicaties te realiseren, een leerstoel op te richten, een PhD-student af te laten studeren en/of om het kennisniveau van de onderzoekers op een bepaald gebied te verhogen. Dit zijn aspecten die in meetbare eenheden, zoals aantallen en percentages, uit te drukken zijn. Ook zou een beschrijving van de beoogde langetermijndoelstellingen (zoals een nieuwe behandelmethode) met een update van de progressie en de uitdagingen hierbij complementair kunnen zijn aan de meer tastbare doelstellingen. Zoals later zal worden beschreven, is een combinatie van meetbare en beschrijvende uitkomsten het meest informatief. Een ander voorbeeld van een activiteit, waarbij het belangrijk is om SMART-doelstellingen te formuleren, is op het gebied van bewustwording, voorlichting, preventie en dergelijke. Het creëren van meer bewustwording klinkt heel vaag en dit kan concreter worden geformuleerd als precies wordt genoemd op welke gebied men bewustwording wil creëren. Als men weet wat de beginsituatie was (het kennisniveau voor aanvang van de voorlichtingsactiviteit), dan kan ook worden aangegeven hoeveel procent meer kennis van een onderwerp de doelgroep beoogd wordt te hebben na de activiteiten/campagne of hoeveel mensen dienen te worden bereikt in diverse leeftijdscategorieën. Er zijn diverse onderzoeksmethoden om te onderzoeken of er een verandering is opgetreden in bijvoorbeeld het kennisniveau of gedrag van de doelgroep op een bepaald gebied, bijvoorbeeld door met vragenlijsten te werken. Meer informatie over onderzoeksmethoden volgt in Hoofdstuk 3. Met doelstellingen die SMART zijn, kan relatief objectief een oordeel vastgesteld worden door de prestaties te meten. Als een doelstelling niet SMART is geformuleerd, is objectief managen op prestaties lastig. Er zal dan vertrouwd moeten worden op het subjectieve gevoel van de uitvoerende organisatie ten aanzien van prestaties en effecten. Organisaties kunnen bovendien leren door het formuleren van SMARTdoelstellingen. Om als organisatie het werk te willen verbeteren, is het belangrijk om te weten wat er te verbeteren valt en daarvoor is eerlijke en betrouwbare informatie nodig. Voorbeelden van SMART-doelstellingen voor minder tastbare activiteiten: Voorlichting: het kennisniveau op het gebied van ziekte X onder mensen tussen 45 en 65 jaar in Nederland vergroten met 25% op minimaal drie van de tien aspecten van onze bewustwordingscampagne in 2013, vergeleken met het kennisniveau in Preventie: het aantal geregistreerde gevallen van tanderosie onder kinderen van 6-12 jaar met 10% terugdringen in 2013, vergeleken met het aantal in Onderzoek: in de komende vijf jaar ( ) minimaal drie (vervolg- of PhD-)onderzoeken naar ziekte Y financieren, op het gebied van het ontstaan en de sociale en emotionele aspecten van de ziekte en de patiëntenomgang met de ziekte Prestatie-indicatoren Een van de kernvragen van resultaat- en impactmeting is: Wat moeten we meten om te weten of we de doelstelling bereikt hebben? Het is daarom nodig aan SMARTdoelstellingen prestatie-indicatoren te koppelen. Een belangrijk kenmerk van een prestatie-indicator is dat het informatie bevat over de bron en de methode voor het verzamelen van data omtrent resultaten. Dit zorgt ervoor dat de doelstelling meetbaar wordt. Prestatie-indicatoren zijn variabelen om prestaties van organisaties, beleid, programma s, projecten of activiteiten te analyseren. Aan de hand van VOORBEREIDEN 29

32 (SMART-)doelstellingen kan een organisatie beoordelen of zij er in slaagt om de geplande strategie waar te maken. Met behulp van prestatie-indicatoren kan de organisatie de voortgang van haar prestaties meten en beoordelen. Goededoelenorganisaties kennen een aantal activiteiten zoals voorlichting, fondsenwerving, en onderzoek. Prestatieindicatoren kunnen gekoppeld worden aan deze activiteiten. Een prestatie-indicator is een meetbaar getal dat aangeeft of de doelstellingen worden behaald. Voorbeelden van prestatie-indicatoren zijn: een bedrag, een percentage, een aantal of een tijdseenheid. Het is belangrijk dat prestatie-indicatoren betrekking hebben op degenen/datgene voor wie of wat het project bestemd is en om de prestatie-indicatoren op het juiste schaalniveau te formuleren. Dit dient het niveau te zijn waar de activiteit nog invloed op heeft. Bijvoorbeeld, een natuurbeschermingsproject heeft ten doel om de biodiversiteit in een lokaal bos te verhogen. Mogelijke indicatoren voor verhoogde biodiversiteit zijn dan bijvoorbeeld het aantal bepaalde dier- of plantensoorten per hectare in dat specifieke stuk bos. Het is dan van belang dat de prestatie-indicator betrekking heeft op de diersoorten in dat specifieke stuk bos en niet op het aantal van een bepaalde diersoort in de aangrenzende weilanden, kwelders, provincie of nog wijdere omgeving. Een tweede voorbeeld: Een ontwikkelingsorganisatie heeft ten doel het verlagen van het uitvalpercentage van meisjes. Goede voorbeelden van prestatie-indicatoren: % basisschoolkinderen dat een lespakket heeft ontvangen Aantal ex-gedetineerden dat een opleiding heeft afgerond Aantal minuten dat nodig is om medische voorzieningen te bereiken Inkomsten in uit een bepaalde inkomstenbron Aantal bezoekers van een natuurgebied % mensen in een bepaalde wijk dat een sportschool bezoekt Aantal vogels van een bepaalde soort per hectare Aantal nieuwe donateurs Aantal telefonische en schriftelijke informatieverzoeken Aantal artikelen gepubliceerd in relevante wetenschappelijke vakbladen naar aanleiding van onderzoek De prestatie-indicator dient dan ook te zijn het uitvalpercentage meisjes op een bepaalde school en niet het uitvalpercentage meisjes in het hele dorp of de regio. Er kan onderscheid worden gemaakt in een aantal typen prestatie-indicatoren (Ahaus, 2005): Resultaatindicatoren en procesindicatoren Enkelvoudige of samengestelde prestatie-indicatoren Objectieve en subjectieve prestatie-indicatoren Een prestatie-indicator kan resultaat- en procesgericht zijn, zoals: het uitvoeren van een X-aantal onderzoeken in het komende jaar (resultaatgericht) of de doorlooptijd van een subsidieaanvraag (procesgericht). Een prestatie-indicator kan ook samengesteld zijn uit meerdere indicatoren, zoals het uitvoeren van vijf wetenschappelijke onderzoeken over de sociale en maatschappelijke opvang van dak- en thuislozen gedurende de looptijd van het project. Een prestatie-indicator kan zowel subjectief zijn, bijvoorbeeld de tevredenheid van de bezoekers van de binnenstad over het winkelaanbod, als objectief, bijvoorbeeld het aantal werkzame personen in een bepaalde sector. Het kan noodzakelijk zijn om een aantal prestatie-indicatoren voor een doelstelling te definiëren. In de praktijk worden hierbij vaak kwantitatieve (uitgedrukt in getallen) en kwalitatieve (uitgedrukt in woorden, beschrijvend) prestatie-indicatoren gecombineerd. Wanneer blijkt dat het verzamelen van gegevens omtrent een prestatie-indicator moeilijk uitvoerbaar is, kan de indicator worden vervangen door een vereenvoudigde of kan overwogen worden voor het verzamelen van data Slechte voorbeelden van prestatie-indicatoren: Leefomstandigheden op het platteland Natuurgebruik ter recreatie Historische panden aankopen Meer mensen bewustmaken Zoveel mogelijk bijbels verstrekken 30 VOORBEREIDEN

33 een beroep te doen op bestaande informatiebronnen zoals nationale statistieken of gegevens van partnerorganisaties. In de praktijk worden de termen doelstelling en prestatieindicator vaak verschillend gedefinieerd en gebruikt. Ter illustratie zijn enkele voorbeelden weergegeven van de wijze waarop onderscheid gemaakt kan worden tussen doelstelling en prestatie-indicator op het niveau van resultaten, effecten en impact. Tabel 1: Voorbeeld van gebruik doelstelling en prestatie-indicator Voorbeeld 1 Doelstelling Prestatie-indicator Impact In 2015 is de kindersterfte minder dan 15% Kindersterfte (cijfer) Effect (Outcome) 90% van de huishoudens in land X heeft in 2015 toegang tot schoon drinkwater % van huishoudens in land X dat toegang heeft tot een waterput op minder dan 15 minuten loopafstand Resultaat (Output) Het creëren van 100 waterputten Aantal waterputten dat in gebruik is Idealiter komen de doelstellingen en prestatie-indicatoren die worden benoemd samen in meerjarenbeleidsplannen en jaarplannen. Een van de belangrijkste instrumenten van het bestuur om de doelstelling van de instelling gericht na te streven, is het vaststellen van het beleid. Door te verlangen dat het beleid wordt vastgelegd in een beleidsplan krijgt het beleidsplan een functie bij het nemen van verantwoordelijkheid door het bestuur. Toegevoegde waarde van een meerjarenbeleidplan is dat het inzicht geeft in de continuïteit van de activiteiten, de effectiviteit daarvan en in voorkomende gevallen aangeeft waarom bepaalde activiteiten zijn gestaakt. Door de realisatie van het beleid te toetsen krijgt men inzicht of de doelstellingen behaald zijn. Tabel 2: Voorbeeld van gebruik doelstelling en prestatie-indicator Voorbeeld 2 Doelstelling Prestatie-indicator Impact In 2015 is de algehele volksgezondheid in Nederland verbeterd met 5% Status volksgezondheid (Nationaal Kompas Volksgezondheid, RIVM) Effect (Outcome) De structurele sportparticipatie in Nederland % van de Nederlanders dat structureel sport is in 2015 gestegen naar 75% Resultaat (Output) 10% van de Nederlanders ouder dan 15 jaar aan het sporten krijgen Aantal Nederlanders ouder dan 15 dat in het betreffende jaar is begonnen met sporten VOORBEREIDEN 31

34 2.5. Bepalen van de beginsituatie: de nulmeting De derde stap betreft het bepalen van de beginsituatie waarin de doelgroep of populatie zich bevindt. Dit aspect is van vitaal belang in resultaat- en impactmeting, want de beginsituatie geldt als referentiepunt van waaruit activiteiten worden toegepast en uitgevoerd. Door het bepalen van de beginsituatie wordt ook inzicht verkregen in de wijze waarop de activiteit kan worden aangepakt, welke middelen nodig zijn om de activiteit uit te voeren en wat de verwachtingen zijn. Op basis van de beginsituatie kan achteraf beter worden bepaald welke veranderingen als gevolg van de activiteit hebben plaatsgevonden bij de doelgroep of in de maatschappij. Auke Herrema Het bepalen van de beginsituatie kan gedaan worden aan de hand van een nulmeting. De techniek die gebruikt wordt bij nulmetingen kan variëren van oriënterend tot gevorderd en vergevorderd. Dit kan een behoeftepeiling onder de doelgroep zijn, het verzamelen van basisgegevens over de doelgroep of een omgevingsanalyse naar omstandigheden op basis van informatie van derden of samenwerkingspartners. Heifer Nederland heeft een eigen format voor het meten van impact ontwikkeld waarin voor alle projecten standaard een baseline-onderzoek, een mid-termevaluatie en een end-term-evaluatie wordt uitgevoerd. Samen met partnerorganisaties ter plaatse en op basis van (wetenschappelijke) kennis en ervaring wordt de beginsituatie (baseline) voorafgaand aan het project bepaald. Een mid-term-evaluatie wordt doorgaans intern uitgevoerd en de eindevaluatie (end-term-evaluatie) wordt doorgaans, zeker bij grote projecten, door een externe partij ter plaatse uitgevoerd. Daarnaast rapporteren de partnerorganisaties die verantwoordelijk zijn voor de uitvoering van de projecten structureel aan Heifer Nederland. Iedere drie maanden krijgt Heifer Nederland een financiële rapportage van haar partnerorganisaties. Ieder half jaar volgt een voortgangsrapport waarin staat welke activiteiten zijn uitgevoerd, wat de huidige situatie is en wat de uitdagingen zijn. Ieder jaar vullen partnerorganisaties het impactmeting-format in en rapporteren ze over de resultaten (gaan er bijvoorbeeld meer kinderen naar school of is de positie van vrouwen verbeterd?). Heifer Nederland heeft het format dat zij gebruikt om impact te meten ontwikkeld vanuit haar eigen kennis en ervaring en heeft hierbij gebruik gemaakt van het Logframe model. Interview met Rian Fokker van Heifer Nederland over het bepalen van de beginsituatie. Send a Cow-project in Oeganda (foto: Heifer Nederland) 32 VOORBEREIDEN

35 De organisatie voert haar projecten en activiteiten uit met als doel een verandering ten opzichte van de beginsituatie, vóór aanvang van de activiteit, tot stand te brengen. Om te bepalen of deze veranderingen hebben plaatsgevonden, wordt halverwege of na afloop van het project een eenmeting uitgevoerd, ofwel een eerste resultaat- en impactmeting. Het is ook mogelijk om met regelmaat, bijvoorbeeld jaarlijks, een meting uit te voeren of bijvoorbeeld één, twee en/of vijf jaar na afloop van het project, om er achter te komen wat de blijvende effecten van het project zijn. Voor een goede vergelijkbaarheid zijn de aspecten waarop een nulmeting wordt uitgevoerd gelijk aan de aspecten waarop ook de (eind)evaluatie wordt uitgevoerd. Bedenk daarom goed van tevoren hoe de te verwachten resultaten kunnen worden gemeten en houdt deze structuur vast Betrekken van belanghebbenden en doelgroep In het ideale geval speelt het betrekken van de belanghebbenden bij de projectcyclus een belangrijke rol; van de definitie van een strategie en het bepalen van de doelstellingen, via de planning en uitvoering van activiteiten, tot en met de evaluatie van de resultaten en het toepassen van de geleerde lessen. Het is daarom van belang om de belanghebbenden te identificeren, hun verwachtingen en informatiebehoefte te kennen en betrokkenheid te creëren. Ook is het belangrijk om in kaart te brengen welke impacts als waardevol worden gezien en wiens waarden als basis dienen om een oordeel te geven over de toegevoegde waarde en kosten van een activiteit (Leeuw en Vaessen, 2009). Een voorbeeld van een goededoelenorganisatie die actief in dialoog is gegaan met haar belanghebbenden, is Pink Ribbon. Om de rol van Stichting Pink Ribbon voor de toekomst te bepalen zijn van januari tot april 2012 meer dan zestig gesprekken gevoerd met stakeholders, waaronder borstkankerpatiënten, wetenschappers op het gebied van oncologie, medewerkers van Nederlandse kankerzorgcentra en verschillende patiëntenverenigingen. Dit om een goed beeld te krijgen van de visie van belanghebbenden op Stichting Pink Ribbon. Ook wilden we met deze gesprekken de huidige Nederlandse situatie en trends op het gebied van borstkanker in kaart brengen en de behoeften van de verschillende partijen inventariseren. (Pink Ribbon, 2011: 6) Belanghebbenden zijn individuen of organisaties die als gevolg van de activiteiten van de organisatie positief of negatief beïnvloed worden of die invloed kunnen uitoefenen op de organisatie. Denk hierbij bijvoorbeeld aan (potentiële) donateurs, werknemers, collectanten, patiënten, wetenschappers, de doelgroep van de activiteit, de media, institutionele financiers en overheden, maar ook aan belanghebbenden die niet direct betrokken zijn bij of beïnvloed worden door de activiteiten, zoals dorpsbewoners die niet deelnemen aan de activiteiten van de organisatie. Het is van groot belang dat een goededoelenorganisatie duidelijk weet wie de belanghebbenden en/of doelgroep van de organisatie zijn voordat met een resultaat- en impactmeting wordt gestart, zodat zij vanaf het begin kunnen worden betrokken bij de organisatie, uitvoering en evaluatie van de activiteiten. Auke Herrema VOORBEREIDEN 33

36 Er zijn diverse modellen om te bepalen wie de belangrijkste (primaire) belanghebbenden zijn, bijvoorbeeld aan de hand van hoeveel invloed zij op de organisatie kunnen uitoefenen (macht), of zij de organisatie legitimiteit geven om activiteiten uit te voeren (legitimacy) en hoe belangrijk het is gezien de timing en de aard van een claim op de organisatie om aan de belanghebbenden aandacht te schenken (urgency) (Mitchell et al., 1997). Daarnaast zijn er diverse manieren, methodieken en instrumenten die gebruikt kunnen worden voor het erbij betrekken van belanghebbenden en in het bijzonder de doelgroep. Het verzamelen van informatie met betrekking tot de belanghebbenden/doelgroep kan zo simpel zijn als een deelnemer te bevragen, of zo complex als het organiseren en uitvoeren van een focusgroep. Een aantal manieren om informatie te verzamelen zijn: via vragenlijsten per post, , internet of telefoon; één-op-één interviews; focusgroepen (ook wel groepsinterviews genoemd); bijeenkomsten en workshops; informatie uit registratie en dossiers en participerende technieken volgens het concept van de Participatory Rural Appraisal en/of Participatory Approach. Deze en andere methoden zullen in het volgende deel worden toegelicht Context en nagaan van attributie De vierde stap in de voorbereidende fase, het nadenken over de context van de meting en hoe aannemelijk zou kunnen worden gemaakt dat de impact daadwerkelijk het gevolg is van de activiteiten, is voor veel goededoelenorganisaties wat minder voor de hand liggend. Vóór het uitvoeren van een evaluatie is het raadzaam om na te gaan wat andere organisaties die vergelijkbare activiteiten uitvoeren al hebben gedaan en gemeten op dit gebied. Er verschijnen steeds regelmatiger rapporten van studies in (wetenschappelijke) vakbladen over de effecten van bepaalde activiteiten (zie bijvoorbeeld Ministerie van Buitenlandse Zaken, 2011; Maas et al., 2011). Door gebruik te maken van informatie die al voorhanden is, kunnen tijd en kosten Doel b bespaard worden. Als immers al bekend is dat bepaalde activiteiten niet of minder goed werken of alleen onder bepaalde voorwaarden of omstandigheden, kan dit een waardevolle aanvulling zijn bij het voorbereiden en uitvoeren van activiteiten en evaluaties. Om na te gaan of veranderingen daadwerkelijk toe te schrijven zijn aan een activiteit van de organisatie (attributie) zijn twee componenten van belang: 1. Vergelijking van de situatie vóór en nadat de activiteit plaatsvindt (analyse van verschil in de tijd). 2. Vergelijking van de situatie met en zonder activiteit (analyse van verschil tussen groepen). Dit is weergegeven in de onderstaande figuur. a c Met activiteit Zonder activiteit Voor Na Tijd Figuur 3: Twee aspecten van impact meten: over de tijd en met of zonder de activiteit (gebaseerd op Leeuw en Vaessen, 2009) 34 VOORBEREIDEN

37 Doel a Met activiteit c Zonder activiteit De vergelijking voor en na de activiteit kan door de situatie vóór dat met het project is begonnen gemeten met een nulmeting (zie Hoofdstuk 2, paragraaf 5) te vergelijken met de situatie na afloop van het project. Het vergelijken van de uitkomsten met of zonder activiteit doet men door dezelfde gegevens te verzamelen onder deelnemers van het project (de projectgroep) en degenen die geen deel uit hebben gemaakt van het project (de controlegroep). Dit wordt ook wel een counterfactual analyse genoemd. Het woord counterfactual betekent zoveel als situatie zonder de activiteit (Leeuw en Vaessen, 2009). In de voorbereidende fase is het daarom van belang om niet alleen te bepalen wat de projectgroep of doelgroep is, maar ook welke groep (mensen, flora, fauna e.d.) een geschikte controlegroep zou kunnen vormen. Een controlegroep hoeft zeker niet altijd een groep mensen of dieren te zijn. Bij het bepalen van het effect op de projectgroep kan een controlegroep bijvoorbeeld ook gevormd worden door uitkomsten van onderzoeken die niet zijn gefinancierd door de goededoelenorganisatie die de evaluatie uitvoert. Door de niet-gefinancierde onderzoeken te volgen kan geobserveerd worden wat er gebeurt als de activiteit niet zou zijn uitgevoerd. Worden dan dezelfde of andere resultaten geboekt als bij de door de desbetreffende goededoelenorganisatie gefinancierde (wetenschappelijke) onderzoeken? Of vinden de niet-gefinancierde onderzoeken wellicht niet plaats? En bij natuurbeschermingsprogramma s kan de controlegroep een vergelijkbaar niet-beschermd natuurgebied of niet-schoongemaakt stuk strand zijn. b Ter verduidelijking volgen enkele voorbeelden van hoe de resultaten voor de projectgroep en controlegroep zouden kunnen worden weergegeven. Voor Na Vergelijking voorafgaand en na afloop van het project Figuur 4 beschrijft hoe de doelgroep van een project of programma zich ontwikkelt, bijvoorbeeld van het begin tot het einde van het project of programma. Bijvoorbeeld: 70% van de plattelandsbevolking in regio X woont aan het einde van het project op 15 minuten loopafstand van drinkwater, terwijl dit bij het begin van het project slechts 10% was. Start Halverwege Eind Figuur 4: Ontwikkeling doelgroep (Stiftung ZEWO, 2011) Tijd Doelgroep VOORBEREIDEN 35

38 Start Halverwege Eind Vergelijking met controlegroep In figuur 5 wordt een vergelijking gegeven van de situatie van de doelgroep met de situatie van een controlegroep op een bepaald moment in de tijd. Bijvoorbeeld: 90% van de kinderen in regio X, die lijden aan diarree, heeft een succesvolle medische behandeling gekregen. In de controlegroep in regio Y heeft slechts 60% van de kinderen een succesvolle medische behandeling gekregen. Doelgroep Doelgroep Controlegroep Controlegroep Start Halverwege Eind Start Halverwege Eind Figuur 5: Vergelijking ontwikkeling doelgroep en controlegroep (Stiftung ZEWO, 2011) Vergelijking ontwikkelingen doelgroep en controlegroep voorafgaand en na afloop Figuur 6 vergelijkt de ontwikkeling van de doelgroep met de ontwikkeling van de controlegroep voorafgaand en na afloop van het project of programma. Bijvoorbeeld: 90% van de kinderen in regio X, die lijden aan diarree, heeft een succesvolle medische behandeling gekregen. Dit is meer dan bij de start van het project. Maar de situatie van de controlegroep laat over dezelfde periode een nog grotere verbetering zien zonder dat hier een activiteit heeft plaatsgevonden. Start Start Halverwege Halverwege Eind Eind Doelgroep Doelgroep Controlegroep Controlegroep Figuur 6: Vergelijking ontwikkeling doelgroep en controlegroep voorafgaand en na afloop (Stiftung ZEWO, 2011) 36 VOORBEREIDEN

39 Een vergelijking met een controlegroep heeft alleen betekenis, en is daarom beter geschikt om een project te legitimeren, zolang een geschikte controlegroep beschikbaar is of kan worden gevormd, en zolang er geen ethische bezwaren zijn. Het gebruik van controlegroepen kan vooral raadzaam zijn in gevallen waarin er een gebrek is aan gegevens over de uitgangssituatie of deze alleen kunnen worden verkregen tegen hoge kosten. In het ideale geval worden de deelnemers van een evaluatie (of de populatie flora en fauna bij milieustudies), zowel de projectgroep als de controlegroep, willekeurig geselecteerd (dit heet ook wel a-select of random ), zodat de verdeling van kenmerken van de populatie geen invloed heeft op de uitkomsten van het onderzoek. Bij het meten van effecten van activiteiten van goededoelenorganisaties geldt dat er Voorbeeld van het werken met controle- en doelgroepen. In sommige projecten wordt in de baseline ook een nulmeting gedaan bij mensen die niet meedoen in het project (controlegroep). Maar dat gebeurt niet in alle projecten. Het blijft lastig, want we hopen juist dat mensen in de omgeving ook bereikt worden met het project en de initiatieven uit het project gaan overnemen, dus de controlegroep wordt dan al snel de doelgroep. Interview met Rian Fokker, Heifer Nederland niet altijd gebruik gemaakt kan worden van zuivere controlegroepen. Werken met controlegroepen kan problemen opleveren wanneer de controlegroep de doelgroep is en vice versa, wat wordt geïllustreerd door het onderstaande voorbeeld. Probeer de doelgroep zoveel mogelijk homogeen te houden. Wanneer er sprake is van grote verschillen in de doelgroep, focus dan op subdoelgroepen. Door de groepen waarmee gewerkt wordt in de evaluatie zo homogeen mogelijk te houden, kan men beter bepalen of de effecten op de doelgroep daadwerkelijk toe te wijzen zijn aan de activiteiten van de organisatie of dat andere, niet-geobserveerde verschillen tussen de doelgroep en de controlegroep een verklaring voor de gevonden uitkomsten vormen (Webbink, 2011). (foto: Ben Langdon) Besteed in de resultaat- en impactmeting aandacht aan het vergelijken van overeenkomsten en verschillen, bijvoorbeeld tussen projectgroep en controlegroep, tussen nulmeting en eenmeting, tussen eigen resultaten en die van een vergelijkbare organisatie of situatie en/of tussen de vorige en huidige keer dat de activiteiten zijn uitgevoerd Ontwikkelen van een meetmodel De laatste stap in de voorbereiding van resultaat- en impactmeting is het ontwikkelen van een meetmodel. De kernvragen hierbij zijn: wat wordt gemeten en hoe? Het meetmodel geeft meer duidelijkheid in wat de organisatie wil meten, welke methode of welk instrument zij daarvoor wil gebruiken, of resultaat- en impactmeting haalbaar zijn en waarover de organisatie wil communiceren. Door hier van tevoren informatie over in te winnen, is het beter mogelijk een goede inschatting te maken van de middelen die nodig zijn om de resultaat- en impactmeting uit te voeren (inzet van medewerkers, kosten, enzovoort). Een meetmodel kan zowel grafisch als schriftelijk worden vormgegeven. Een belangrijk onderdeel van het meetmodel is het bepalen of de gegevens die nodig zijn voor de evaluatie bereikbaar of beschikbaar zijn of hoe men hier aan kan komen. Zoals gezegd, kan gebruik worden gemaakt van bestaande gegevens, gegevens die anderen verzameld hebben en van het zelf verzamelen van gegevens. Voor het verzamelen VOORBEREIDEN 37

40 van gegevens zijn diverse methoden beschikbaar, zoals interviews, focusgroepen, vragenlijsten en dossieronderzoek. Meer informatie over onderzoeksmethoden vindt u in Hoofdstuk 3, Paragraaf 2. U kunt uitschrijven welke methoden van gegevens verzamelen zullen worden gebruikt en hoe u de diverse bronnen (documenten, respondenten) kunt bereiken. Het wordt aanbevolen om meerdere methoden van gegevens verzamelen te gebruiken binnen de resultaat- en impactmeting, dit heet de mixed methods approach. Door meerdere methoden te gebruiken om gegevens te verzamelen, kunnen de uitkomsten elkaar bevestigen of uitsluitsel geven in het geval van ontbrekende of moeilijk te interpreteren gegevens (Leeuw en Vaessen, 2009). Bovendien leveren niet alle methoden en evaluaties dezelfde uitkomsten op. Bepaal ook wanneer de gegevens dienen te worden verzameld. Als inderdaad een nulmeting onder een projectgroep (en controlegroep) wordt uitgevoerd, moet dit gebeuren vóór aanvang van het project. Daarnaast dient zich de keuze aan welk meetinstrument wordt gehanteerd. In het volgende hoofdstuk worden diverse meetinstrumenten en methoden genoemd en toegelicht. Soms geven financiers aan welke methode moet worden gebruikt. Het kan ook wenselijk zijn om te beschrijven of er additionele fondsen dienen te worden geworven voor de evaluatie en welke mogelijkheden en verwachtingen hiervoor zijn. Het is niet ongebruikelijk dat een deel van het beschikbare budget gereserveerd wordt voor evaluatie. Dit valt dan meestal onder de kosten voor de doelstelling of eventueel onder de kosten beheer en administratie, maar niet onder de kosten voor fondsenwerving. Gemiddeld genomen wordt zo n 0,5% -1% van het activiteitenbudget gespendeerd aan evaluatie bij de wat grotere ontwikkelingprojecten in grote landen, maar bij kleinere programma s zo n 2% - 5% (OECD, 2007). Bij kleine projecten waar enkele tienduizenden euro s aan budget is, lijkt het niet logisch om 2% - 5% aan evaluatie te besteden, want van zo n klein bedrag kan nauwelijks een impactevaluatie uitgevoerd worden. Het is dan ook de vraag of voor zulke lage bestedingen een uitgebreide resultaat- of impactmeting haalbaar of relevant is. Wel kunnen bij dergelijke financieel kleinere projecten beschrijvingen worden gegeven van de verwachte en geobserveerde uitkomsten. Als de activiteiten tot doel hebben om te experimenteren, is het verdedigbaar dat hier een aanzienlijk deel, bijvoorbeeld wel tot een derde van het budget, aan evaluatie wordt gespendeerd, maar indien de activiteiten worden uitgevoerd omdat de organisatie de (gefundeerde) verwachting heeft dat de activiteiten succesvol zullen zijn, dan hoeft er ook niet veel te worden besteed aan evalueren. Denk dan aan zo n 1% - 2% voor de gehele organisatie. Het is dan ook aan te bevelen om van tevoren te onderzoeken of er informatie bekend is over te verwachten resultaten en impact van de uit te voeren activiteiten (interview met prof. dr. R. Ruben, 26 februari 2013). Verken tijdig wie de resultaat- en impactmeting gaat uitvoeren. Zijn de benodigde tijd, geld en kennis voorhanden om zelf een meting uit te voeren of is hiervoor een externe partij en/of additionele financiering nodig? 38 VOORBEREIDEN

41 Hoofdstuk III Meten van resultaten en impact In dit deel wordt ingegaan op de tweede fase: het meten. In deze fase vallen twee van de tien geïdentificeerde stappen. STAP Hoofdstuk II Voorbereiden 1 Keuze wat evalueren + wat wil ik bereiken (Theory of Change) Resultaat- en impactmeting kunnen op verschillende manieren worden geïmplementeerd en kunnen zowel door projectmanagers zelf (zelfevaluatie) als door onafhankelijke derden (externe evaluatie) worden uitgevoerd. Men zou kunnen zeggen dat zelfevaluatie met name geschikt is wanneer resultaat- en impactmetingen worden uitgevoerd ten behoeve van intern leren of wanneer de middelen van de organisatie beperkt zijn. Zelfevaluatie is zeer geschikt voor het analyseren van processen en om na te gaan welke verbeteringen waar nodig zijn. Het verdient aanbeveling om de evaluatie uit te laten voeren door een specifiek daarvoor aangewezen evaluatiemanager of programmamanager die over de juiste opleiding en kennis beschikt. Externe evaluaties zijn vooral geschikt wanneer resultaat- en impactmetingen worden uitgevoerd teneinde een programma, project of activiteit van een organisatie te legitimeren. Externe evaluatie kan ook worden ingezet wanneer de kennis over meten en evalueren binnen de organisatie beperkt is. Om onafhankelijkheid te garanderen is het aan te bevelen om voor de evaluatie van activiteiten ten behoeve van belanghebbenden een onafhankelijke derde in te schakelen, zoals een consultant of onderzoeksbureau. 2 SMART-doelstellingen + prestatie-indicatoren 3 Nulmeting en betrekken belanghebbenden hierbij 4 Context en attributie: wat doen anderen en wat is mijn bijdrage 5 Meetmodel beschrijven Hoofdstuk III Meten 6 Meetinstrument kiezen 7 Gegevens verzamelen en analyseren Hoofdstuk IV Verantwoorden 8 Evaluatie rapportage 9 Leren van evalueren 10 Communiceren van de bevindingen aan belanghebbenden Er is niet één specifieke manier waarop resultaat en impact gemeten kunnen worden. Zoals in het eerste hoofdstuk al is geconstateerd, is het zelfs maar de vraag of het mogelijk is om in alle situaties impact te meten, alleen al omdat METEN 39

42 zoveel externe factoren van invloed zijn op het uiteindelijke resultaat, dat het nauwelijks mogelijk lijkt resultaten toe te schrijven aan sec de activiteit van één instelling. Om een concrete basis aan te bieden volgen hieronder enkele veelgebruikte meetinstrumenten voor goededoelenorganisaties, die structuur en vorm kunnen geven aan resultaat- en impactmeting. Als eerste wordt ingegaan op stap 6: welke instrumenten goededoelenorganisaties zouden kunnen gebruiken (Paragraaf 3.1). Daarna volgen meer praktische aspecten van het meten, die samen stap 7 vormen, zoals welke onderzoeksmethoden er zijn (Paragraaf 3.2) en hoe onderzoeksgegevens geïnterpreteerd kunnen worden (Paragraaf 3.3), waarbij aandacht is voor de invloed van externe factoren en de rol van correlatie en causaliteit. Er wordt ingegaan op hoe goededoelenorganisaties om kunnen gaan met positieve, negatieve, bedoelde en onbedoelde effecten (Paragraaf 3.4). Tot slot wordt kort ingegaan op de uitdagingen die organisaties tegen kunnen komen in het meetproces (Paragraaf 3.5) Meetinstrumenten Er zijn talloze instrumenten voorhanden om de prestaties en resultaten van een organisatie inzichtelijk te maken. Veel van deze instrumenten komen uit de private sector, zoals de Balanced ScoreCard, de Return On Investment (ROI) en rapportage-instrumenten van private fondsen en internationale organisaties. Er zijn diverse methoden ontwikkeld door en voor non-profit- of overheidsorganisaties. Andere methoden zijn met name ontwikkeld voor, en worden gebruikt door, bedrijven. Hoewel een methode aanvankelijk ontwikkeld - Outcome Mapping: doelgroep participeert bij het meten van gedragsverandering. - Theory Based Evaluation: toetsen van de Theory of Change en externe invloeden in kaart brengen. - Benchmarking: cijfermatige analyse van de efficiëntie van organisaties en processen. - Randomized Controlled Trial (RCT): statistisch impact meten van grootschalige activiteiten met behulp van willekeurig geselecteerde controlegroepen. - Quasi-experimentele Methoden: statistisch impact meten van grootschalige activiteiten met behulp van bewust geselecteerde controlegroepen. Niet één lijst geeft een volledig overzicht en uitwerking van de beschikbare meetinstrumenten, want er zijn tientallen gedocumenteerde methoden en verwanten van methoden om evaluaties uit te voeren. Organisaties ontwikkelen ook hun eigen manieren en methoden. Alhoewel in deze publicatie een aantal meetinstrumenten extra aandacht krijgt, is het geenszins de bedoeling om goededoelenorganisaties hiermee het idee te geven dat deze de beste zijn of om meetinstrumenten voor te schrijven aan goededoelenorganisaties. Maas (2009) en Maas en Liket (2010), onderzoekers verbonden aan het Erasmus Center for Strategic Philanthropy aan de Erasmus Universiteit Rotterdam, hebben in hun onderzoeken een dertigtal bekende methoden voor resulkan zijn voor een bepaald type organisatie kan de werkwijze worden gebruikt en aangepast door andere typen organisaties. Een voorbeeld hiervan is de Social Return on Investment (SROI). Deze methode werd in eerste instantie ontwikkeld voor non-profit organisaties maar wordt momenteel in toenemende mate gebruikt door bedrijven. In het Jubileumnummer van Vice Versa, vakblad over ontwikkelingssamenwerking (jaargang 46, zomer 2012), worden elf evaluatiemethoden omschreven die gebruikt worden bij het evalueren van ontwikkelingssamenwerkingsprojecten. Deze worden hieronder kort genoemd, waarbij het centrale uitgangspunt van de methoden wordt samengevat. - Most Significant Change Method: verhalen verzamelen over de belangrijkste veranderingen. - Timeline Analysis: met verhalen een grafische tijdslijn construeren van de ontwikkelingen. - Social Return on Investment: monetaire waarde toekennen aan resultaten. - Participatory Assessment of Development (PADEV): met verhalen veranderingen, externe factoren en causale verbanden in kaart brengen. - Logical Framework: lineair model in een matrix voor plannen, bijsturen en evalueren. - Result Chain Analysis: terugredeneren wanneer input, output, outcome en impact zijn behaald. 40 METEN

43 taatmeting bekeken, waarvan uiteindelijk bij acht sociale of maatschappelijke impact wordt gemeten. Alle methoden hebben verschillende sterke en zwakke punten en zijn beter of meer geschikt voor bepaalde doeleinden dan andere en afhankelijk van de groeifase van de organisatie. Vijf instrumenten, ontleend aan het werk van Maas (2009), die van toepassing zijn op de goededoelensector de overige modellen zijn specifiek ontwikkeld voor bedrijven worden in de volgende paragrafen afzonderlijk beschreven. Hieraan is het veelgebruikte Logical Framework toegevoegd: Social Return on Investment (Paragraaf 1.1) Social Impact Assessment (Paragraaf 1.2) Public Value Scorecard (Paragraaf 1.3) Participatory Impact Assessment (Paragraaf 1.4) Base of the Pyramid Impact Assessment Framework (Paragraaf 1.5) Logical Framework (Paragraaf 1.6) Social Return on Investment Een populair instrument in de goededoelensector is Social Return on Investment (SROI), waarbij een financiële waarde wordt toegekend aan de gemeten sociale effecten en resultaten. Hoewel de term SROI al langer bestond in kosten-batenanalyses, werd een methodologie voor het berekenen van het sociale rendement op investeringen in het kader van sociaal ondernemen voor het eerst gedocumenteerd in 1996 door REDF (voorheen de Roberts Enterprise Development Fund), een filantropisch fonds dat langetermijnsubsidies ter beschikking stelt aan sociale ondernemingen. Social Return on Investment is een methode om te begrijpen hoe bepaalde activiteiten meerwaarde kunnen genereren en hoe deze in een economische en/of monetaire waarde omgezet kunnen worden. Net als Return on Investment (ROI) is het een manier om de waarde die gecreëerd is ten opzichte van de initiële investering te schatten. Een institutionele financier kan een goededoelenorganisatie bijvoorbeeld vragen om de (maatschappelijke) waarde van een investering of schenking te kwantificeren. SROI is in de kern gebaseerd op zeven principes (The SROI Network, 2012): Betrekken van belanghebbenden Begrijpen wat er verandert vanuit het standpunt van belanghebbenden Resultaten en effecten van activiteiten waarderen Richten op relevante en significante zaken Niet teveel (willen) claimen Transparantie over keuzen in de analyse Verifiëren van financiële aannamen en resultaten De SROI kent twee verschillende toepassingen: Evaluerend, waarbij de methode achteraf wordt ingezet om de maatschappelijke waarde van de activiteiten te meten op basis van feitelijke resultaten. Voorspellend, waarbij de methode vooraf wordt ingezet om te voorspellen hoeveel maatschappelijke waarde kan worden gecreëerd als de activiteiten worden uitgevoerd. Voorspellende SROI s zijn vooral nuttig bij de planning van een activiteit. Ze kunnen helpen bij het laten zien in welke mate een investering kan leiden tot een maximale impact. Deze SROI s zijn ook nuttig voor het identificeren van wat er gemeten dient te worden zodra het project is gestart. Binnen de methode van SROI gaat maatschappelijke impact over een verandering die voor (een groep) mensen of het milieu gerealiseerd wordt. Uitgangspunt is dat er een probleem of gebrek is waarvoor een oplossing nodig is. In een verandermodel of logisch model wordt de relatie tussen inputs, outputs en outcomes omschreven als: wat is het (sociale of milieu-) probleem, wat is de urgentie, wat is de omvang, welke oplossing wordt geboden en met welk doel? Impact is de optelsom van verschillende resultaten en effecten. Daarnaast betrekt de SROI de inbreng van belanghebbenden (stakeholders) bij de totstandkoming van de impact. De inbreng van stakeholders is bepalend voor de uitkomst van een SROI-analyse. Door gesprekken te voeren met alle stakeholders in een project en hun mening samen met hen te vertalen in effecten, indicatoren en een financiële waarde, maakt SROI impact zichtbaar. METEN 41

44 Exodus heeft onderzocht of het geconstateerde positieve effect van projecten en activiteiten van Exodus op het algemene recidivecijfer vertaald kan worden in maatschappelijke kosten en baten. Exodus heeft twee keer een onderzoek voor een Exodushuis laten uitvoeren door een extern onderzoeks- en adviesbureau, in Amsterdam en Utrecht. Er zijn onderzoeken bekend over de maatschappelijke kosten van een gemiddelde recidivist. Wanneer je het positieve verschil in recidivefactor hiermee vermenigvuldigt, dit verrekent met de kosten van een Exodushuis en het begeleidingsprogramma, en dit vermenigvuldigt met de jaarlijkse uitstroom, dan weet je globaal wat je op jaarbasis realiseert aan besparingen. Dit levert voor de huizen in Amsterdam en Utrecht positieve cijfers op, hoewel wel sterk uiteenlopend omdat de aannamen grotendeels de uitkomst bepalen. De SROI-methode bestaat uit zes fasen en diverse onderliggende stappen. Fase 1: Omvang en stakeholders Vaststellen van de omvang van de SROI-analyse. Een SROI-analyse kan specifiek worden uitgevoerd op activiteit-, project- of programmaniveau of op een meer generiek organisatieniveau. Identificeren van stakeholders en bepalen van de wijze waarop stakeholders betrokken worden. Stakeholders kunnen betrokkenen zijn (partijen die investeren) en/of de doelgroep zijn (partijen die effecten ondervinden) van de organisatie en haar programma s, projecten en Waarde toekennen aan inputs. Hoe belangrijk vinden stakeholders dat de organisatie haar activiteiten, projecten en programma s uitvoert en welke tegenprestatie willen zij leveren? Welke prioriteiten stellen zij? Kortom, welke inputs zijn van cruciaal belang voor het realiseren van activiteiten en aan welke stakeholders zijn deze gekoppeld? Omschrijven van beoogde resultaten en effecten (outputs en outcomes). Fase 3: Dataverzameling Bepalen van prestatie-indicatoren. Door relevante prestatie-indicatoren te ontwikkelen en deze te implementeren binnen de organisatie, kan de maatschappelijke waarde van programma s, projecten en activiteiten worden gemeten en gemonitord. Dataverzameling. Het verzamelen van data (gegevens) op basis van de door de organisatie bepaalde prestatie-indicatoren. Data kunnen verkregen worden uit bestaande of nieuwe bronnen. Bepalen van effecten en de termijn waarop effecten waarneembaar kunnen zijn. Op basis van verzamelde data bepalen wat de effecten van de activiteiten zijn en het bepalen van de termijn waarop de effecten (nog) waarneembaar kunnen zijn. Bepalen van de waarde van de effecten. Het toekennen van een monetaire waarde aan de effecten van activiteiten. Hiervoor worden financiële benaderingen gebruikt om een schatting te maken van de maatschap- Interview met Rien Timmer van Vereniging Exodus Nederland over de maatschappelijke waarde van goededoelenorganisaties. Battle of the Houses 2012 (foto: Exodus Nederland) activiteiten. Een analyse van de stakeholders geeft inzicht in wie ze zijn, wat ze inbrengen, wat ze doen en wat zij er voor terug verwachten. Fase 2: Beoogde input, resultaten en effecten Ontwikkelen van een Impact Map van beoogde input, activiteiten, resultaten en effecten. Centraal in de SROI-analyse staat de Impact Map. Deze geeft een beschrijving van de middelen (inputs) die gebruikt worden voor het uitvoeren van activiteiten, het resultaat (outputs) van deze activiteiten en het effect van deze activiteiten (outcomes) op de doelgroep en andere stakeholders. 42 METEN

45 pelijke waarde van de activiteiten voor verschillende stakeholders. Fase 4: Impact bepalen Het bepalen en berekenen van impact, rekening houdend met spontane effecten, attributie en uitval. Het bepalen van de mate waarin de effecten toe te wijzen zijn aan of geïsoleerd kunnen worden voor de inzet van de organisatie en niet veroorzaakt worden door spontane effecten. Dit is wat SROI bedoelt met de term impact. Het bepalen van de impact is belangrijk omdat dit het risico op overclaimen vermindert en het de activiteiten van de organisatie geloofwaardig maakt. Spontane effecten zijn effecten die zouden hebben plaatsgevonden indien de activiteiten niet zouden zijn uitgevoerd. Door het meten van al deze factoren kan bepaald worden wat de impact van een activiteit is. Fase 5: Social Return on Investment bepalen In deze fase wordt de Social Return on Investment berekend op basis van de kwalitatieve en kwantitatieve informatie die is verzameld. De SROI is de verhouding tussen de financiële waarde van de investering en de financiële waarde van de maatschappelijke kosten en baten. Hierbij wordt rekening gehouden met verwachtingen, analyse van de gevoeligheid van aannamen over effect en impact en eventuele terugverdientijden. Fase 6: Rapporteren en integreren De laatste fase in de SROI-methode betreft de rapportage, de verificatie van de rapportage en de communicatie richting de doelgroep en andere belanghebbenden. Daarnaast wordt in deze fase aandacht besteed aan het toepassen en verankeren van het analyseproces en de uitkomsten in beleid en activiteiten van de organisatie. Een SROI-rapport dient voorzien te zijn van veel meer dan alleen de kwantitatieve resultaten en de kwantitatieve maatschappelijke waarde. In een SROI-rapport worden activiteiten, besluiten en verwachte resultaten continu gedocumenteerd. Een goede registratie is dus essentieel om een succesvolle SROI-analyse uit te voeren. De SROI is toepasbaar voor een breed scala van gebruikers, zowel taal als toepassingsmethoden zijn gemakkelijk te vervangen afhankelijk van de gebruiker. Meer informatie over de toepassing van de SROI-methode via de website van Social Evaluator: Social Impact Assessment (SIA) Een zeer breed instrument om vele vormen van sociale, economische en ecologische impact in kaart te brengen is de Social Impact Assessment, welke uitgaat van dynamisch impactmanagement waarbij vanaf de beginfase van een project- of beleidsplan rekening wordt gehouden met het realiseren van impacts. Social Impact Assessment (SIA) omvat het proces van analyseren, bewaken en beheren van de bedoelde en onbedoelde, positieve en negatieve sociale gevolgen van geplande activiteiten en de sociale veranderingen die hierdoor zijn ontstaan. De Inter-organisational Committee on Guidelines and Principles for Social Assessment (1994) heeft sociale veranderingen of sociale effecten gedefinieerd als de gevolgen van publieke of particuliere acties voor mensen en de manier waarop mensen leven, werken, spelen, zich tot elkaar verhouden, zich organiseren en deel uitmaken van de samenleving. Sociale problemen ontstaan grotendeels door conflicten tussen economische ontwikkeling en het gebruik van natuurlijke hulpbronnen. Economische verliezen en sociale kosten van aantasting van het milieu komen vaak lang nadat de economische voordelen van de ontwikkeling zijn gerealiseerd. Ontwikkelingsprojecten dragen bij aan economische ontwikkeling en een betere leefomgeving, maar kunnen ook negatieve invloed hebben op de lokale bevolking. SIA helpt inzicht te krijgen in (de mate van) deze gevolgen en veranderingen. SIA is expliciet ontwikkeld voor activiteiten van organisaties in het kader van economische en sociale ontwikkeling in een internationale context en kan in verschillende situaties en voor verschillende doeleinden worden uitgevoerd. Er is daarom extra aandacht voor een conventioneel begrip van deze methodiek. In een internationale context spelen diverse overwegingen een rol. De wet- en regelgevende context varieert, de culturele en religieuze context varieert en de sociale en economische prioriteiten voor ontwikkeling variëren. Dit kan leiden tot moeilijkheden bij het vaststellen en evalueren van effecten en impact. In SIA wordt een breed scala aan effecten meegenomen, waaronder esthetische, archeologische, demografische, institutionele, psychologische en toerisme-effecten, maar ook gevolgen voor de ontwikkeling van de gemeenschap, de rechten van inheemse volkeren, toegang tot en eigendom van grondstoffen, gezondheid, armoede, en economische, politieke, fiscale en infrastructurele gevolgen. Sociale, METEN 43

46 economische en ecologische effecten van activiteiten zijn volgens SIA inherent en onlosmakelijk met elkaar verbonden. Verandering in het ene domein leiden automatisch tot veranderingen in andere domeinen, waardoor rekening dient te worden gehouden met een hogere mate van impact en cumulatieve of meervoudige impact (Vanclay, 2003). Ensure monitoring with active stakeholder involvement and modify it 7 1 De SIA-methode is een proces om te waarborgen dat ontwikkelingsactiviteiten (a) gebaseerd zijn op en rekening houden met relevante maatschappelijke issues, en (b) voorzien in deelname van een breed scala aan belanghebbenden. De SIA-methode bestaat uit een aantal fasen die in onderstaande figuur zijn weergegeven. Analyse project context 2 Identify stakeholders Perform stakeholder analysis De afzonderlijke fasen van de SIA-methode zijn: 1. Bepalen van de omvang en de context van het project. 2. Identificeren van stakeholders en het uitvoeren van een stakeholderanalyse. 3. Identificeren van sociale factoren (wat zijn de belangrijkste sociale issues?). 4. Analyseren van data en bepalen van doelstellingen en prioriteiten. 5. Betrekken van stakeholders en ontwikkelen van het project. 6. Uitvoering van en deelname aan het project. 7. Monitoren van het project, betrekken van stakeholders en bijsturen project. Implement mitigation plan and public participation 6 Social Assesment Process Consult stakeholders and Develop mitigative plans Figuur 7: Social Assessment Process (Centre for Good Governance, 2006, gebaseerd op Rietberg-McCracken en Narayan, 1998) Identify social factors/ variable Analyse data and assess priorities Voor meer informatie over de Social Impact Assessmentmethode: Centre for Good Governance (2006) Public Value Scorecard De Public Value Scorecard is in 2003 ontwikkeld door Robert Kaplan en is gebaseerd op het concept van de Balanced Scorecard, toegespitst op non-profit organisaties. Een aantal uitgangspunten van de Balanced Scorecard dient tevens als basis voor de Public Value Scorecard. Beide instrumenten erkennen dat het meten van niet-financiële resultaten en effecten belangrijk is, zoals ook het evalueren van het proces minstens zo belangrijk is als het meten van uitkomsten en effecten. Het proces van meten en het gekozen meetinstrument ondersteunen de onderliggende organisatiestrategie. 44 METEN

47 Drie belangrijke uitgangspunten voor goededoelenorganisaties zijn weergegeven in onderstaande figuur. Legitimacy & Support Organizational Capabilities Social Mission Figuur 8: Uitgangspunten goededoelenorganisaties Public Value Scorecard (Moore, 2003) Social Mission: Welke waarde wil de organisatie creëren, welke doelstellingen wil de organisatie bereiken? Bijvoorbeeld: het bieden van noodhulp aan mensen die dit acuut nodig hebben, het verbeteren van de sociale omstandigheden van een bepaalde doelgroep of in een bepaalde regio. Hoewel deze doelstellingen niet altijd worden samengevat in of vertaald naar financiële waar- den, is het voor de instelling van belang dat deze doelen expliciet gemaakt worden om succesvol de strategie van de organisatie te kunnen bepalen en te managen. Legitimacy and support: Publieke waarde versus financiële waarde en de rol van donoren. Goededoelenorganisaties ontvangen donaties van verschillende soorten donateurs, ook van donateurs die niet direct profiteren van de activiteiten van de organisatie. Ze ontvangen subsidies of worden ingehuurd door overheden om projecten en activiteiten ten behoeve van de samenleving te realiseren. Voor deze organisaties is de publieke waarde van de activiteiten en de effecten ervan vermoedelijk belangrijker dan de financiële waarde. Het belangrijkste verschil met bedrijven is dat de waarde die ze krijgen een maatschappelijke waarde is die aansluit bij het doel van de organisatie, in plaats van een particuliere financiële return die afkomstig is van de verkoop van een product of dienst boven de kostprijs. Organizational capacities: Operationele capaciteit. Heeft de organisatie voldoende mogelijkheden om de gewenste doelen te bereiken? Wanneer goededoelenorganisaties proberen sociale effecten te bereiken, hebben zij vaak hulp nodig van andere organisaties. Ze zijn zelden groot genoeg om belangrijke maatschappelijke doelen helemaal zelf te bereiken en hebben dus behoefte aan partners of coproducenten. Dit betekent dat goededoelenorganisaties vaak belangrijke keuzen dienen te maken over hoeveel middelen zij besteden aan zichzelf en hoeveel zij gebruiken voor het mobiliseren van samenwerkingspartners. METEN 45

48 Moore (2003) geeft tevens een schematische weergave van de organisatieprocessen (linker deel) en de waardeketen (rechter deel) van goededoelenorganisaties. Inputs Organization Activities Processes Procedures Programs Partners and Co-Producers Outputs Figuur 9: Organisatieprocessen Public Value Scorecard (Moore, 2003) Ook in dit model leiden middelen (inputs) tot directe resultaten (outputs) en wordt samen met partnerorganisaties bereikt dat de activiteiten voor de doelgroep toegevoegde waarde hebben, welke ook weer verdere effecten (outcomes) hebben. Voor meer informatie over de Public Value Scorecard: Moore, M.H. (2003) C l i e n t s a t i s f a c t i o n O u t c o m e s Participatory Impact Assessment (PIA) Een instrument dat uitgaat van een actieve participatie van de doelgroep bij evaluatie is de Participatory Impact Assessment (PIA), ontwikkeld door het Feinstein International Center. Dit instrument past de participatieve methodologie toe in het analyseren van resultaten en effecten in vergelijking met de oorspronkelijke organisatiedoelstellingen. De centrale vraag in deze aanpak is: welk verschil maken wij? Het gaat hierbij niet alleen om het bepalen van de impact op de leefomstandigheden, maar ook om het vormgeven van organisatieprocessen en hoe om te gaan met het ontbreken van informatie over de beginsituatie. De PIA-methode biedt niet alleen een handig hulpmiddel voor het bepalen van de verandering die is opgetreden, maar ook een manier voor het begrijpen waarom deze heeft plaatsgevonden. De PIA-methode biedt geen gedetailleerde stap-voorstapformule of set van instrumenten voor het uitvoeren van effectbeoordelingen, maar beschrijft acht stadia van het proces en geeft voorbeelden van hulpmiddelen die kunnen worden toegepast in verschillende contexten. PIA is ontwikkeld om in tegenstelling tot traditionele resultaat- en impactmethoden die in de humanitaire sector worden gebruikt, nadruk te leggen op echte impact gebaseerd op lokale uitgangspunten en indicatoren. De PIA-methode is een uitbreiding van de Participatory Rural Appraisal (PRA) en past participatieve instrumenten in combinatie met conventionele statistische benaderingen toe om de impact van humanitaire hulp en ontwikkelingsprojecten op de levens van mensen te meten. De aanpak benadrukt de betrokkenheid van de doelgroep en de 46 METEN

49 leden van de gemeenschap bij het beoordelen en meten van resultaten, effecten en impact. Het gaat hierbij om de positieve en negatieve veranderingen die worden waargenomen. Drie kernvragen staan centraal: Welke veranderingen hebben in de lokale gemeenschap plaatsgevonden sinds de start van het project? Welke van deze veranderingen zijn toe te wijzen aan het project, of zijn veroorzaakt door het project? Welke verschillen hebben deze veranderingen gemaakt in het leven van mensen in de lokale gemeenschap? In tegenstelling tot traditionele methoden heeft de PIAmethode als doel de daadwerkelijke effecten van een project op het leven van mensen te meten. PIA meet naast de resultaten van een project (welke diensten zijn geleverd met welke input) in welke mate de veranderingen, die de doelgroep ervaart als gevolg van een project, toe te wijzen zijn aan de specifieke projectactiviteiten. Impact wordt gemeten op basis van kwalitatieve indicatoren zoals veranderingen in status en welzijn of veranderingen in het niveau van participatie door de bevolking gedurende het project. Het gebruik van participatieve rangschikking en scoringsmethoden vertaalt de kwalitatieve resultaten, vaak gebaseerd op meningen of percepties, naar numerieke scores. Voor projecten in de humanitaire-hulpsector is het vaak lastig de beginsituatie vast te stellen, met name wanneer het gaat om noodhulp. Daarnaast kan het gebruik van een controlegroep in deze setting vaak onpraktisch of zelfs onethisch zijn. Om te kunnen bepalen of veranderingen zijn toe te wij- zen aan het specifieke project of de organisatie, worden de numerieke scores met behulp van de PIA-methode gerangschikt en vergeleken met andere factoren die van invloed zijn op de waargenomen veranderingen. De acht fasen van de PIA-methode zijn in onderstaande figuur weergegeven. Eight Stages of a Participatory Impact Assesment Stage 1: Define the questions to be answered Stage 2: Define the geographical and time limits of the project Stage 3: Identify and prioritize locally-defined impact indicators Stage 4: Decide wich methods to use, and test them Stage 5: Decide wich sampling method and sample size to use Stage 6: Assess project attribution Stage 7: Triangulate Stage 8: Feedback and verify the results with the community Figuur 10: Fasen Participatory Impact Assessment-methode (Catley et al., 2007) Fase 1: Bepaal welke vragen beantwoording behoeven. Het definiëren van vragen voor het beoordelen van impact is vergelijkbaar met het definiëren van de doelstellingen van het project. Fase 2: Bepaal de omvang van het project (ruimte en tijd). Het definiëren van de grenzen van het project in omvang en tijd heeft tot doel om ervoor te zorgen dat iedereen begrijpt binnen welke kaders impact wordt beoogd. Fase 3: Identificeer prestatie-indicatoren voor het project. Het identificeren van indicatoren voor het meten van impact. Fase 4: Methoden. Het bepalen van de methode of methoden die gebruikt worden om de impact van het project op de leefomstandigheden van mensen te meten. Fase 5: Steekproef. Afhankelijk van de tijd en de middelen die beschikbaar zijn, wordt een keuze gemaakt voor de grootte van de steekproef op basis waarvan impact wordt gemeten. Fase 6: Beoordelen van projectattributie. In elke gemeenschap of lokale omgeving waar een project wordt uitgevoerd, zullen in de tijd veranderingen plaatsvinden. Welke veranderingen treden op als gevolg van het project en kunnen toegeschreven worden aan de specifieke projectactiviteiten en welke veranderingen zouden hebben plaatsgevonden ongeacht het project? Fase 7: Triangulatie. Triangulatie is een cruciale fase in het meten van impact en gaat om het gebruik van andere informatiebronnen (eerdere studies en rapporten, externe onderzoeken, enzovoort) voor een vergelijking en controle van de resultaten van de participatieve methoden die zijn gebruikt. Fase 8: Feedback en validatie. Deze laatste fase betreft het rapporteren en communiceren over de resultaten van deze PIA-analyse naar de lokale gemeenschap. METEN 47

50 Een voorbeeld van een participatieve methode die veel wordt gebruikt in de ontwikkelingssamenwerking is outcome mapping. Deze methode is ontwikkeld door het Canadese International Development Research Centre (IDRC) Ook bij deze methode staat niet zozeer het meten centraal als wel de gedragsverandering. Gedurende de looptijd wordt de voortgang gemonitord en geven de deelnemers van het project zelf aan hoe ver zij in het proces zijn van gedragsverandering. The World Economic Pyramid 0.5 billion 2 billion Individual annual income (2005 USD in Purchasing Power Parity) Mature markets: > $20,000 Emerging markets: $3,260 to $20,000 Voor meer informatie over de Participatory Impact Assessment-methode: sites.tufts.edu/feinstein/ Voor meer informatie over de outcome mapping-methode: 4 billion Survival markets: <$3, Base of the Pyramid Impact Assessment Framework Het Base of the Pyramid Impact Assessment Framework is ontwikkeld om impact te meten en uit te dragen, de organisatiestrategie vorm te geven en betere investeringsbeslissingen mogelijk te maken. De Base of the Pyramid, ook wel Bottom of the Pyramid of BoP genoemd, is een economisch model dat de wereldbevolking in drie welvaartsgroepen verdeelt. Population Most companies focus on mature and emerging markets, while the huge market of 4 billion people living on less then $3,260 a year goes largely untapped. World Resources Institute Figuur 11: The World Economic Pyramid (World Resources Institute, 2007) De top van de piramide vertegenwoordigt ongeveer een half miljard mensen, die in grote welvaart leven, meestal in de rijke landen waar de markten zich volledig hebben doorontwikkeld. Daaronder zit de groep van ongeveer twee miljard mensen met een inkomen tussen de en METEN

51 dollar per jaar per hoofd. In de onderste groep, de bodem van de piramide, zitten ongeveer vier miljard mensen met een gemiddeld inkomen onder de dollar per jaar. Van deze groep is een kwart erg arm, met een inkomen van twee dollar per dag of minder. Dit is de belangrijkste doelgroep voor hulporganisaties. De resterende drie miljard mensen hebben gemiddeld enkele tot negen dollar per dag uit te geven. Dit is de BoP-markt. Deze mensen scharrelen meestal hun kostje bij elkaar in de informele economie en kleinschalige landbouw. Vaak leven ze van hand tot mond : er is nauwelijks spaargeld, ze hebben geen bankrekening en bezitten vaak niet de woning of de grond van hun huisje. Het geld gaat naar de meest basale levensbehoeften. Het Base of the Pyramid Impact Assessment Framework of BoP Impact Assessment Framework is ontwikkeld in Het doel van het BoP Impact Assessment Framework is om te begrijpen wie wordt beïnvloed door (investerings-)projecten en -activiteiten en in welke mate. Het kader is ontwikkeld om investeringsbeslissingen in de BoP-markt te evalueren en de effecten van deze beslissingen op armoedebestrijding te bepalen. De methode gaat uit van de drie belangrijkste lokale stakeholders: (1) kopers, (2) verkopers en (3) lokale gemeenschappen, en drie factoren in armoedebestrijding: (1) welzijn, (2) economische capaciteit en (3) de wijze waarop mensen en organisaties zich in een lokale gemeenschap tot elkaar verhouden. Use findings to enhance business model design Business model of BoP venture Assess business model to understand who is ompacted Use BoP Impact Assessment Framework to generate an in-depth understanding of the povertyr alleviation implications of the venture Identify most salient potential positive and negative impacts (based on a assessment of magnitude and likelihood) Determine data collection methodology and data analysis strategy Develop the data collection instrument invluding indicators for the most salient impacts Design and implement a field-based process for data collection Use findings to enhance business model design Strategic Analysis Performance analysis Evaluate the data collected Use findings to design process for tracking impact Use findings to enhance process for tracking impact Figuur 12: BoP Impact Assessment-methode (London, 2008) Een BoP Impact Assessment begint met een strategische analyse van alle te verwachten positieve en negatieve effecten van het project op de lokale belanghebbenden, de verwachte omvang van deze effecten en de relatieve waarschijnlijkheid dat deze effecten zullen plaatsvinden. De strategische analyse biedt informatie om de opzet van het project aan te scherpen of te verbeteren en het project zodanig uit te voeren dat de positieve effecten maximaal zijn en de negatieve effecten beperkt. De volgende fase betreft de prestatieanalyse. Korte- en langetermijnprestatie-indicatoren worden geformuleerd waarmee de meest opvallende effecten gemeten kunnen worden en er wordt een strategie bepaald voor de dataverzameling. In deze strategie voor dataverzameling is zowel aandacht voor het vaststellen van de doelgroep als voor een controlegroep met belanghebbenden die niet worden bereikt met het project. Het primaire doel van het BoP Impact Assessment Framework is een gestandaardiseerd instrument en proces voor continue evaluatie en verbetering van investeringen en projecten die bijdragen aan het bestrijden van armoede. Door deze methode toe te passen worden zowel investeringen (input) en resultaten (output) als positieve en negatieve effecten op belanghebbenden (impact) systematisch vastgelegd. De METEN 49

52 methode heeft specifiek aandacht voor het erkennen van wat er fout is gegaan, wat de geleerde lessen zijn en de mogelijkheden voor verbetering. Voor meer informatie over het Base of the Pyramid Impact Assessment Framework: Logical Framework Het gebruik van zogenaamde Logical Frameworks is een manier om de relatie zichtbaar te maken tussen de middelen die nodig zijn om projecten en programma s uit te voeren (inputs), de activiteiten die worden uitgevoerd, de resultaten (outputs) en de effecten (outcomes/impact) die bereikt worden. De essentie van deze Logical Frameworks is de focus op de veronderstelde causale verbanden: dat als een bepaalde activiteit wordt ondernomen deze ook leidt tot bepaalde resultaten (outputs), wat vervolgens leidt tot het behalen van bepaalde effecten (outcomes) en uiteindelijk een bepaalde impact op de doelgroep. Na de oorspronkelijke ontwikkeling van het Logical Framework door onder andere Weiss, Wholey en anderen in de jaren 70 (zie Weiss, 1972), zijn veel verbeteringen en variaties toegevoegd aan het basisconcept. Het meest bekende en gebruikte Logical Framework is de Logical Framework Analysis (Logframe). this will contribute to the goal. we anticipate the purpose will result. If the pupose is achieved, then we produce the outputs. If we produce the outputs, then If we do the activities, then The logframe is a SUMMARY of the project, to answer the questions WHY the project is being done, and WHAT IMPACT the project will have. Hierarchy of Objectives Verifiable Indicators Means of Verification Assumptions Goal Usually not necessary as What record will be kept. What must hold true for the 1 too general and hard to rationale to work. Broad. measure in limited time What methods of data and Project contributes to the period. information gathering will What risks exist to not overall goal. be used? achieving ultimate goal. Purpose Explains the extent of the Eg. baselines surveys, What must hold true for the 1 (2 if necessary). resuls at end-of-project. government records, purpose to result from the The use/result/immediate QQT: quality, quantity, minutes of neetings, outputs. impact of the project. time. trip reports, training Include beneficiaries in Used for evaluating the evaluations. statement. project. Outputs Express the scope of the As above. What conditions must 1-4 project. remain valid for the activities What we produce. How many? What type? to result in the outputs. What the management is Use for monitoring the responsible for archieving. project. Activities Summary of Inputs Conditions Precedent 1-4 for each output. Mention total budget Agreements or inputs What we actually do. and inputs of various necessary to begin project. participants. Policy or activity of other agencies required. The question of HOW the project should be implemented should be addressed in the NARRATIVE, ACTIVITY SCHEDULE and BUDGET of the proposal. Figuur 13: Logframe model (IDSS, 1999) 50 METEN

53 De basis van het Logframe-model is de waardeketen (Hierachy of Objectives). De activiteiten die worden uitgevoerd leiden tot bepaalde uitkomsten of resultaten (outputs). Deze resultaten dragen bij aan het realiseren van de doelstelling (purpose). Het realiseren van de doelstelling draagt vervolgens bij aan het bereiken van een algemeen maatschappelijk effect (goal). De indicatoren (Verifiable Indicators) beschrijven hoe maatschappelijke effecten, doelstelling en resultaten worden bereikt in termen van kwantiteit, kwaliteit, doelgroep, plaats en tijd. Ook worden de middelen benoemd die nodig zijn om de activiteiten uit te voeren. De informatiebronnen (Means of Verification) geven aan waar en op welke manier de gegevens gevonden kunnen worden die aangeven of de doelstellingen en resultaten behaald zijn. Als er aan de randvoorwaarden voor het project is voldaan kunnen de activiteiten beginnen. Wanneer op de verschillende niveaus de condities (Assumptions) zijn vervuld, zullen activiteiten leiden tot resultaten en zullen deze resultaten bijdragen aan het realiseren van de doelstelling en het bereiken van het algemeen maatschappelijke effect. Het Logframe-model wordt nu wereldwijd gebruikt door vele overheidsinstellingen en NGO s. Het is een verplicht kader voor organisaties die overheidsfinanciering ontvangen in het kader van ontwikkelingssamenwerking in verschillende landen, waaronder Australië, Canada, Nieuw-Zeeland en de Europese Unie Keuze welk meetinstrument Een belangrijke vraag die veel goededoelenorganisaties en bedrijven en overheden hebben, is welk meetinstrument het meest geschikt is voor de organisatie en de voorwaarden die aan de evaluatie zijn gesteld. Sommige financiers zullen voorschrijven welk meetinstrument dient te worden gehanteerd. Dit kan zijn om de vergelijkbaarheid van aangeleverde evaluaties te verhogen, systematisch evaluatiedata te verzamelen en/of een efficiënte beoordeling via een uniform rapportageformat mogelijk te maken. Resultaat- en impactmeting zijn een van de moeilijkste vormen van onderzoek omdat resultaten sterk beïnvloed worden door de context en de benadering die wordt gebruikt. De in dit hoofdstuk beschreven meetinstrumenten voegen elk een aparte dimensie toe aan het vormgeven en structureren van resultaat- en impactmeting. Een indeling van meetinstrumenten en/of methoden naar functie kan helpen bij het bepalen welke soort instrument(en) gebruikt kunnen worden. De onderstaande onderverdeling komt van onderzoekers Clark et al. (2004): Procesmethoden zijn instrumenten en methoden die gericht zijn op het volgen van de efficiëntie en effectiviteit van resultaten, variabelen of indicatoren, die het management gebruikt om lopende operationele processen bij te houden. Effecten (outcomes) kunnen vervolgens worden geëvalueerd door de mate waarin ze correleren (statistisch verband houden) met de gewenste maatschappelijke resultaten. Impactmethoden zijn instrumenten die meetbare resultaten (outputs) en effecten (outcomes) met elkaar proberen te verbinden en die proberen om de toegevoegde waarde van de activiteit te bewijzen ten opzichte van de beste alternatieve activiteit (vrij vertaald vanuit het Engels, Clark et al. 2004:8). Monetaire methoden zijn gericht op het vertalen van resultaten en effecten naar een economische of monetaire waarde. Deze drie categorieën meetinstrumenten vullen elkaar aan en hebben elkaar nodig. Men kan geen gebruik maken van gegevens van effectbeoordeling tenzij ze procesmatig zijn uitgevoerd. Ook andere methoden zijn volledig afhankelijk van gedegen processen voor dataverzameling, zoals veronderstellingen over de economische waarde van resultaten en andere externe gegevens. De meeste meetinstrumenten die in dit hoofdstuk zijn uitgewerkt zijn procesmethoden. De Social Impact Assessment, de Participatory Impact Assessment, Base of the Pyramid Impact Assessment Framework en het Logical Framework zijn daarnaast eveneens te kenmerken als impactmethoden. De Social Return on Investment is een monetaire methode. Niet alle instrumenten passen bij alle goededoelenorganisaties en het is daarom belangrijk om inzicht te krijgen in de diverse instrumenten alvorens de juiste te kiezen om toe te passen. Een andere manier om te bepalen welk meetinstrument het meest geschikt is voor een organisatie kan zijn door te kijken naar welke aspecten van de in Hoofdstuk 2 beschreven vijf stappen worden meegenomen in de meetinstrumenten. METEN 51

54 Tabel 3: Kenmerken van meetinstrumenten Stap 1: Theory of Change Stap 2: SMART/ Stap 3: Beginsituatie Stap 4: Context/Attributie Stap 5: Meetmodel indicatoren SROI SIA PVS Er is geen beste meetinstrument voorhanden. Alleen door trial and error en experimenteren kan een goededoelenorganisatie ondervinden welk model wel of niet werkt of kan een eigen weg worden gevonden. Beargumenteer altijd waarom voor een bepaalde methode wordt gekozen of waarom eventueel wordt gestopt met het toepassen van een methode. PIA BoP Logframe Op basis van de kenmerken in de tabel lijkt de Participatory Impact Assessment (PIA) het hoogst te scoren op de kenmerken van de vijf stappen die een organisatie dient te doorlopen alvorens te beginnen met resultaat- en impactmeting. Echter, zoals beschreven is deze methode met name geschikt voor voortgangs- en evaluatieonderzoek onder doelgroepen die kunnen participeren in het onderzoek. Een milieuorganisatie die zich richt op het behoud van flora en fauna heeft hier weinig aan. De tabel met de kenmerken van de diverse meetinstrumenten kan ook gebruikt worden om andere meetinstrumenten en modellen te beoordelen op geschiktheid. Nogmaals, het is niet de bedoeling om de in deze paragraaf beschreven meetinstrumenten voor te schrijven of aan te bevelen. Zij dienen eerder ter illustratie van wat er aan modellen voorhanden is. Het valt op dat de meeste meetinstrumenten die in deze paragraaf zijn besproken hun oorsprong vinden bij en van toepassing zijn op de ontwikkelingssamenwerking. Elementen uit deze modellen kunnen ook toepasbaar zijn op organisaties in de gezondheids-, welzijns- of milieusector. Daarnaast valt op dat in de meetinstrumenten wel de logische stappen staan beschreven die een organisatie dient te doorlopen, maar dat de daadwerkelijke meting en rapportage daarover ook nog andere methodieken, vaardigheden en inspanningen vergen. Daar wordt in de volgende paragrafen op ingegaan Kwalitatieve en kwantitatieve onderzoeksmethoden Stap zeven betreft het verzamelen en analyseren van gegevens. Deze stap valt uiteen in vier paragrafen (3.2. tot en met 3.5.). Nadat doelstellingen en prestatie-indicatoren zijn geformuleerd, een nulmeting van de beginsituatie is gedaan, een meetinstrument is gekozen om de resultaat- en impactmeting vorm te geven en het project is uitgevoerd, kunnen gegevens worden verzameld over de resultaten en eventuele verdere effecten en impact van het project (of programma). We spreken van evaluatie als een manier om te begrijpen wat er veranderd is door activiteiten van de organisatie. Die verandering kan worden gemeten aan de hand van de gekozen prestatie-indicatoren, welke de inhoudelijke leidraad vormen voor de meting. Bij meten wordt al gauw in getallen 52 METEN

55 gedacht, maar het meten van resultaat en impact beperkt zich hier niet toe. De gegevens die gebruikt worden in een evaluatie kunnen zowel kwalitatief als kwantitatief van aard zijn of een combinatie van beide. Kwalitatief onderzoek is verbaal, beoordelend en opiniërend, waarbij het begrijpen van de belevingswereld van de onderzochten in een bepaalde situatie centraal staat. De uitkomsten van kwantitatief onderzoek zijn getallen, zoals aantallen, scores, percentages, tijdreeksen of geldbedragen. Typisch kwalitatieve methoden van onderzoek zijn het verzamelen van verhalen (storytelling) middels informele gesprekken, visitaties en observaties met individuele deelnemers of met groepen deelnemers. Dit kan in de vorm van interviews of bijeenkomsten, workshops en focusgroepen. Bij focusgroepen worden groepen van zo n maximaal deelnemers uitgenodigd om te praten over het project en welke veranderingen de deelnemers hebben waargenomen. Vaak gaat dit aan de hand van enkele vragen, die structuur geven aan het gesprek, maar dit kan ook ongestructureerd plaatsvinden door de deelnemers volledige ruimte te geven zelf hun verhaal te vertellen. Het is tevens mogelijk om de deelnemers een kwantitatieve waarde, zoals een score of cijfer, te laten geven aan bijvoorbeeld hun welzijnsniveau of mate van (positieve of negatieve) verandering op een bepaald thema. Hierdoor kunnen de verhalen omgezet worden in kwantitatieve waarden, die vervolgens weer geanalyseerd kunnen worden, zoals bijvoorbeeld het percentage deelnemers dat een verandering heeft ervaren of een score voor de mate waarin het project heeft bijgedragen aan een verandering. Speciaal voor ontwikkelingsprojecten vormen participatieve methoden of instrumenten voor resultaat- en impactmeting, zoals de Participatory Impact Assessment (PIA) en Participatory Rural Appraisal een alternatieve en complementaire aanpak. Deze methoden richten zich spelenderwijs op het bevragen van de doelgroep op de veranderingen die zich hebben voorgedaan, welke dit zijn en door welk project deze veranderingen zijn ontstaan. Technieken die hiervoor gebruikt kunnen worden zijn bijvoorbeeld gebaseerd op sport en spel, theater en drama-opdrachten, visualisaties, het maken van collages en dergelijke. Kwalitatieve data kunnen veel informatie opleveren, soms zelfs zoveel dat het lastig is structuur en prioriteiten aan te brengen in de veelheid aan informatie. Bijvoorbeeld: het gegeven dat honderd mensen gebruik hebben gemaakt van een dienst vertelt alleen een deel van het verhaal en is te beperkt om te kunnen bepalen of deze dienst effect heeft gehad op deze mensen, de kwaliteit. Typisch kwantitatieve onderzoeksmethoden zijn het zelf afnemen of laten invullen van vragenlijsten en enquêtes. Het gaat hierbij om vragen die niet zozeer open van aard zijn, als wel gesloten en gericht op aantallen. Bijvoorbeeld hoe groot de veestapel voor en na het project is, hoe hoog het inkomen is, hoeveel hectare landbouwgrond wordt bebouwd of wat het kennisniveau op een schaal van 1-10 is over een bepaald onderwerp. Ook het analyseren van informatie uit registratie en dossiers kan cijfermatige gegevens opleveren. Daarnaast kunnen observaties, van bijvoorbeeld een vogeltelling, kwantitatieve gegevens opleveren. Ook kan gebruik worden gemaakt van (internationale) ranglijsten of indexen, zoals de Human Development Index, rekentechnieken zoals Daly Adjusted Life Years (DALYS) en andere cijfermatige bronnen om resultaten te meten en tegen af te zetten. Bedenk of u simpele of complexere onderzoeksmethoden wilt gebruiken. Dit hangt onder andere af van de omvang en complexiteit van de te evalueren activiteit, beschikbare middelen (tijd, geld, kennis) en welke mogelijkheden er zijn om gegevens te verzamelen. Gebruik een combinatie van kwalitatieve en kwantitatieve onderzoeksmethoden, zodat de resultaten hieruit elkaar kunnen bevestigen en verklaren. Laat de geformuleerde SMART-doelstellingen en prestatie-indicatoren terugkomen in de evaluatievragen, zodat datgene dat wordt gemeten aansluit bij de gestelde doelen. METEN 53

56 Het is van belang om te realiseren dat de kwaliteit van uitkomsten van een evaluatie mede wordt bepaald door de kwaliteit van de verzamelde gegevens, oftewel garbage in is garbage out. Het spectrum van onderzoeksmethoden kent gradaties, variërend van een vragenlijst als evaluatie voor bezoekers van een lotgenotendag tot het organiseren van focusgroepen en verder. Het één is niet beter of slechter dan het ander. Verder kunnen kwantitatieve gegevens worden gebruikt ter bevestiging van hetgeen door deelnemers is gezegd in bijvoorbeeld interviews en bijeenkomsten. Aan de andere kant kunnen de kwantitatieve gegevens van deelnemers meer Tabel 4: Kwalitatieve en kwantitatieve onderzoeksmethoden Kwalitatieve onderzoeksmethoden Storytelling Bijeenkomsten en workshops Informele gesprekken Visitaties Observaties, beschrijvend Eén-op-één interviews, gestructureerd of semi-gestructureerd Focusgroepen Participatieve methoden inzicht geven in de verhalen achter cijfers die tevoorschijn komen na analyse van de vragenlijsten en enquêtes. Veel organisaties vinden het lastig om de impact te meten voor grote thema s als het bevorderen van homorechten, voorlichting over HIV/AIDS of het creëren van persvrijheid in een land. In dit geval is het, zeker voor kleine organisaties, aan te raden om dergelijke grote thema s te reduceren tot afgebakende, SMART-geformuleerde doelstellingen en ook een kleine, afgebakende doelgroep te willen bereiken, bijvoorbeeld alleen de mensen in een bepaald dorp, of zelfs daar binnen weer een kleiner geheel zoals een school, bedrijf of stuk landbouwgrond. Dat maakt het ook mogelijk Kwantitatieve onderzoeksmethoden Vragenlijsten per post, , internet of telefoon Door de onderzoeker afgenomen enquêtes Informatie uit registratie Informatie uit dossiers en documenten Observaties, tellend Vertalen van verhalen naar scores, cijfers, percentages Indexen, ranglijsten Hou de evaluatie zo klein en eenvoudig mogelijk. Verzamel gericht gegevens, want te veel gegevens is ook niet goed. Maak zoveel mogelijk gebruik van gegevens die al voorhanden zijn, bijvoorbeeld uit registraties. Dit bespaart kosten en tijd. Voor het opstellen van effectieve, beknopte vragenlijsten en antwoordcategorieën zijn handleidingen voorhanden. Het is aan te raden hier meer over te lezen, zodat de juiste vragen kunnen worden geformuleerd. Via websites als en kunnen gratis in beperkte oplage online vragenlijsten worden gemaakt en verspreid. Een interview kan ongestructureerd, semi-gestructureerd of gestructureerd zijn. Soms kan het juist de nodige informatie opleveren door de geïnterviewde zelf een verhaal te laten vertellen en daarbij te sturen met slechts enkele hoofdvragen. Als zeer specifieke informatie nodig is, werken gerichte vragen beter. Een attentie of beloning vooraf kan helpen om meer mensen bereid te vinden om mee te werken, bijvoorbeeld in de vorm van een uitnodiging voor een evenement, voedsel of (gesponsorde) korting. 54 METEN

57 om de veranderingen op het thema waar de organisatie zich mee bezighoudt, te meten. Dan kan gemakkelijker aan de doelgroep gevraagd worden wat zij vinden dat hun situatie is (nulmeting), wat de organisatie voor hen kan betekenen, welke effecten en veranderingen voor hen wenselijk en realistisch zijn (Theory of Change) en hoe hun situatie na de uitvoering van het project is veranderd (resultaat- en impactmeting). Het stellen van de juiste vragen is hierbij cruciaal. Idealiter zijn de onderwerpen en indicatoren waarover vragen worden gesteld in de nulmeting dezelfde als die in de resultaat- en impactmeting. Zo kan de situatie voor en na het uitvoeren van het project goed worden vergeleken. Voorbeelden van vragen die kunnen worden gesteld als onderdeel van een impactmeting: Bent u tevreden met het nieuwe [schooltje, klimrek, fietspad door de duinen, etc.] en waarom wel/niet? Kunt u een rapportcijfer geven van 1 tot 10 hoe tevreden u bent over [naam project]? Wat zijn de belangrijkste veranderingen die het project tot stand heeft gebracht? Kunt u aangeven op een schaal van 1 tot 10 hoe [de relatie met de overheid, uw kennis van onderwerp X, de positie van vrouwen in je dorp, uw inkomen, de veiligheid op straat, etc.] is veranderd na afloop van het project vergeleken met voor de start van het project? Hoeveel [opbrengst, oogst, kuddedieren, uitval van schoolkinderen, kennis over ziekte X op de volgende zes deelgebieden etc.] was er in het jaar voordat het project startte en hoeveel [...] was dat na het project? Komt de verandering door het project of door andere oorzaken, zoals economische vooruitgang, invloed van de overheid of het werk van andere organisaties? Waren er ook minder goede gevolgen van het project? 3.3. Interpreteren en analyseren van de gegevens Een belangrijke stap in het doen van metingen is het interpreteren en analyseren van de verzamelde gegevens, zowel kwantitatief als kwalitatief. Vaak zal voor de verwerking van kwantitatieve gegevens databasesoftware worden gebruikt, zoals Excel of voor gevorderden een programma als SPSS. Bij de verwerking van kwalitatieve gegevens verdient het aanbeveling om deze in te delen in categorieën, bijvoorbeeld per onderzoeksvraag of thema. Het proces van data-analyse is een ingewikkeld proces, dat dient te worden uitgevoerd door iemand die bekend is met het construeren van verhaallijnen, grafieken en tabellen en het analyseren van gegevens. Het simpel optellen van scores of een gemiddelde score uitrekenen is niet zo veelzeggend. Veel interessanter is om te kijken welke verschillen er bestaan tussen groepen (van verschillende leeftijden, sekse, geloofsovertuiging, geografisch gebied of ras/soort in het geval van flora en fauna) en wat de samenhang tussen gegevens is. Het meest interessant is om te bekijken of de gevonden verschillen en effecten statistisch significant zijn. Significant wil zeggen dat er sprake is van een waargenomen resultaat of effect dat niet door toeval is ontstaan, maar door iets anders (bijvoorbeeld de activiteiten van de organisatie). Een opmerking hierbij is dat de term significant alleen gebruikt mag worden na het evalueren van een voorspelling (hypothese) over de beoogde uitkomsten. Na het overstappen op een andere activiteit mag men niet achteraf concluderen dat die andere activiteit significant betere resultaten geeft dan de eerste activiteit. Significantie kan worden berekend met behulp van het programma SPSS. De nauwkeurigheid van een statistisch significant resultaat wordt uitgedrukt in een p-waarde, een getal tussen 0 en 1. Als deze p-waarde 0,05 of minder bedraagt, dan kan worden gesteld dat de kans dat het gevonden verschil of samenhang op toevalligheden berust, minder dan 5% is. Dit betekent dat met 95% zekerheid kan worden gesteld dat de activiteiten van een goededoelenorganisatie een bepaald effect hebben gehad. Het gaat echter te ver voor deze publicatie om dieper in te gaan op dergelijke statistische kennis. Bedenk voordat een vragenlijst wordt gemaakt hoe de gegevens zullen worden verwerkt en of de eventueel benodigde software beschikbaar is. METEN 55

58 Attributie en externe factoren Bij het analyseren en interpreteren van onderzoeksgegevens is het van belang dat goededoelenorganisaties zich ervan bewust zijn dat wellicht niet alle resultaten direct het gevolg zijn van hun activiteiten. Met andere woorden: dat resultaten niet altijd geclaimd kunnen worden als effect van een specifieke activiteit. Het toewijzen (attributie) van effecten op de doelgroep op korte of lange termijn aan de organisatie kan erg lastig zijn. Er zijn namelijk vaak externe factoren van invloed op het resultaat. Hierbij valt te denken aan sociale, politieke, economische en technologische veranderingen, oorlogen en ecologische invloeden (zoals droogte of overstroming). Dit zijn factoren waarop de organisatie veelal geen directe invloed heeft. Daarnaast is vaak een groot aantal andere organisaties in dezelfde sector of in hetzelfde gebied werkzaam, waardoor resultaten überhaupt lastig te claimen zijn als resultaat van sec de activiteit van de betreffende organisatie. Hoe breder de bijeffecten en hoe meer externe factoren de doelgroep beïnvloeden, hoe complexer het meten van prestaties en de attributie wordt. Ieder goed doel en iedere activiteit dient geplaatst te worden in een grotere maatschappelijke context waarbij diverse factoren een rol spelen. Hierdoor kunnen resultaten worden beïnvloed en worden de effecten van de werkzaamheden van de organisatie niet juist gemeten. Het is wellicht nog te ingewikkeld om te bepalen wat het effect van een activiteit van de organisatie is geweest op de doelgroep in situaties waarin externe effecten een rol spelen. Het meten van impact van de gehele organisatie is wellicht te complex om in één rekenkundig model te vatten. Het meest van belang lijkt te zijn dat organisaties zo goed mogelijk op voor hen passende wijze laten zien wat ze bereikt hebben met hun investeringen en welk effect ze daarbij hebben gehad op de doelgroep, de maatschappij en de eigen organisatie. Door Voorbeeld van invloed externe factoren: impactmeting door The Nature Conservancy naar een natuurbeschermings- en ontwikkelingsproject in de Gobiwoestijn van Mongolië. De doelen die het project onder meer beoogde, waren om de herders alternatieve bronnen van inkomsten te bieden zodat zij minder afhankelijk werden van hun kudde, en de kuddegrootte van de nomadische herders te verkleinen, waardoor het schaarse woestijngras niet verder zou verdorren en er minder verwoestijning zou optreden. Uit de evaluatie van het project bleek dat de graslanden rondom de projectgebieden in slechte staat waren en dat de gemiddelde kuddegrootte niet was afgenomen. Men zou hieruit de conclusie kunnen trekken dat de slechte conditie van het gras kwam door overbegrazing. Na statistische analyse bleek dat de overbegrazing slechts gedeeltelijk de oorzaak was en dat het verdorren van het gras met name werd veroorzaakt door de extreme winterse kou en droogte die het land geteisterd hadden. Ondanks de bijeenkomsten met herders om hen uit te leggen dat zij omwille van hun natuurlijk leefgebied beter minder dieren konden houden, was de gemiddelde kuddegrootte niet afgenomen. alleen al te beschrijven welke externe factoren en partijen ook invloed hebben gehad op de doelgroep en de uitkomsten van de activiteiten, kan al een beter en eerlijker beeld gecreëerd worden van de bijdragen van de goededoelenorganisatie aan de doelgroep dan wel maatschappij. Het bleek uit de interviews dat een grote kudde status geeft aan de bezitter. Een project, ook al duurt het meerdere jaren, kan dergelijke tradities niet altijd doorbreken. Esther Ten Hoorn, masterthesis VU Amsterdam (Ten Hoorn, 2010). Landbouwproject in de Gobiwoestijn, Mongolië (foto: Esther Ten Hoorn) 56 METEN

59 Correlatie en causaliteit Om er zeker van te zijn dat de veranderingen komen door de ontplooide activiteiten en niet door iets anders of door toeval zijn ontstaan, is het raadzaam om dit verder te onderzoeken. Voor veel goededoelenorganisaties blijft het tonen van de uitkomsten van een evaluatie wellicht bij een overzicht van de verzamelde resultaten in grafieken, tabellen en verhalen, zonder analyse of interpretatie. Zoals een beschrijving bij hoeveel procent van de doelgroep een verandering heeft plaatsgevonden naar aanleiding van de ontplooide activiteiten. Als men een stap verder wil en kan gaan, kan ook worden onderzocht of tussen de resultaten en effecten van activiteiten en andere (omgevings)factoren die van invloed kunnen zijn op de doelgroep een statistisch verband kan worden gemeten. Het verband tussen deze twee aspecten (variabelen) wordt ook wel correlatie genoemd in de statistiek. Correlatie geeft lineaire samenhang aan, met andere woorden: of een vermeerdering of vermindering van de ene variabele een constante verandering van een andere variabele met zich meebrengt. Er kan bijvoorbeeld samenhang zijn tussen etnische afkomst van kinderen en een achterstand op school. Of er kan een verband zijn tussen het aantal vogels dat wordt geteld in een bepaald gebied en de aanwezigheid van snelwegen. verwerkingsprogramma. Dit zal te ver gaan voor goededoelenorganisaties die aan het begin staan van resultaat- en impactmeting. Zij gebruiken veelal geen statistische verwerkingsprogramma s maar beschrijven hun resultaten in verhalen en beelden ondersteund door een beperkte hoeveelheid cijfermatige gegevens. Organisaties die daarvoor de middelen en kennis beschikbaar hebben, kunnen met behulp van een statistische analyse de samenhang tussen hun activiteiten en de resultaten, effecten en impact nog beter onderbouwen. Enkel het vaststellen dat er een samenhang is, zegt niet altijd evenveel, want het is veel interessanter om de samenhang te verklaren. Wellicht zijn er ook andere factoren die invloed hebben op de doelgroep of worden de gevonden resultaten ook nog door andere factoren veroorzaakt. Wat te doen als de onderzoeksresultaten onduidelijk of niet overtuigend zijn? Presenteer de onderzoeksresultaten dan op een neutrale manier en geef aan dat er geen eenduidige conclusies kunnen worden getrokken op basis van de verzamelde gegevens. Laat de lezer zelf conclusies trekken uit de gepresenteerde verhalen, grafieken, foto s, film en dergelijke. Als het vermoeden bestaat dat de onduidelijkheid komt door de wijze van gegevensverzameling, analyse van de gegevens of organisatorische zaken, zoals een personeelswisseling, beschrijf dan in het evaluatierapport hoe dit in de toekomst beter kan. (EvaluativeThinking, 2013.) Door een statistische analyse uit te voeren kan een betrouwbaarder inzicht worden gegeven in de ontplooide activiteiten en oorzaken voor effecten. Het vaststellen of er sprake is van correlatie (statistisch gemeten verband) tussen twee variabelen kan worden gedaan met behulp van een statistisch METEN 57

60 Voorbeeld van het aantonen van samenhang Vereniging Exodus Nederland heeft vanaf 2002 onderzoek uitgevoerd naar waar de begeleidingsaanpak van Exodus toe leidt. Het eerste onderzoek gaf een positief beeld. Het algemene beeld is dat ca. 70% van de mensen na zes jaar recidiveert en terugkeert in detentie. Van de mensen die door Exodus zijn begeleid en positief uitstromen, recidiveert minder dan 50%. Een significant verschil. Er was wel kritiek op het onderzoek, vooral met betrekking tot de gebruikte definities en de tijdshorizon, en het feit dat we niet hetzelfde meetinstrument als de rijksoverheid hebben gebruikt. In de loop der tijd is de maatschappelijke aanvaarding van wat Exodus doet echter wel toegenomen. Dat heeft ertoe geleid dat het tweede onderzoek in 2010 gebruik heeft gemaakt van hetzelfde meetinstrument als in het eerdere onderzoek van de rijksoverheid. Dit meetinstrument kijkt naar persoonskenmerken. Daarmee kun je objectiever vaststellen of de recidivefactor van een groep met dezelfde persoonskenmerken in een Exodusprogramma lager of hoger is dan de recidivefactor van een groep met dezelfde persoonskenmerken die dit programma niet heeft gevolgd. Rekening houdend met de persoonskenmerken, zien we dat het verschil met het algemene recidivecijfer minder groot is maar nog steeds substantieel. Het verschil neemt bovendien positief toe naarmate de begeleiding intensiever is en langer duurt. Hiermee zou je de effecten dus toe kunnen wijzen aan programma s en activiteiten van Exodus. Daarnaast kijken we ook naar nieuwe onderzoeken om effect en impact nog meer te kunnen staven. Zo vermoeden we bijvoorbeeld dat er een link zit tussen een lager recidivecijfer en de thema s die in begeleidingsprogramma van Exodus aan de orde komen, zoals zingeving. Maar dit is wel lastig hard te maken. In hoeverre kun je zeggen dat het feit dat je het hebt over zingeving leidt tot minder recidive? Interview met Rien Timmer, Vereniging Exodus Nederland. Exodus League 2010 (foto: Exodus Nederland) Voorbeeld van verschil correlatie en causaliteit Is er een oorzakelijk verband tussen het risico op dementie en weinig sporten? Dit heeft vaak genoeg in de krant gestaan met koppen als Sporten doet risico op dementie verminderen. Maar het zou ook kunnen dat beginnende dementie ervoor zorgt dat men weinig sport. Of dat een externe factor van invloed is op dementie. Zo gaat ongezond leven (roken, veel alcohol drinken, vet eten) vaak samen met weinig sporten en bovendien is dit een risicofactor voor dementie. In dit voorbeeld kan wellicht wel sprake zijn van een statistisch verband (correlatie) tussen sporten en dementie, maar geen oorzakelijk verband (causaliteit) dat sporten leidt tot minder dementie. Het wil niet zeggen dat als er een verband lijkt te bestaan tussen twee zaken, dat het een wordt veroorzaakt door of het gevolg is van het ander. Oorzakelijkheid wordt in de statistiek ook wel causaliteit genoemd. Niet alle waargenomen (significante) correlaties rechtvaardigen de conclusie dat er een causaal verband zou zijn tussen de betrokken variabelen. Wees daarom altijd voorzichtig met het claimen van verbanden en oorzakelijkheid. 58 METEN

61 Uit het voorgaande voorbeeld blijkt dat het wel degelijk mogelijk is om verbanden (correlatie) aan te tonen tussen bepaalde aspecten (variabelen). Aan de andere kant is het erg lastig om causaliteit aan te tonen en het is ook de vraag of dit van goededoelenorganisaties te verwachten is. Dit komt onder meer doordat vaak externe factoren of storende factoren optreden tussen oorzaak en het beweerde effect. Storende factoren zijn bijvoorbeeld tussentijdse gebeurtenissen of ontwikkelingen bij belanghebbenden en de omgeving. Zo heeft de Wetenschappelijke Raad voor het Regeringsbeleid uit een evaluatie van Nederlandse ontwikkelingshulp gevonden dat de geboden hulp weliswaar op projectniveau succesvol is, maar dat er geen simpel causaal schema bestaat dat het mogelijk maakt goed te begrijpen wat het precieze effect van activiteiten is. Ontwikkeling, opgevat als versnelde modernisering, is een uiterst ingewikkeld fenomeen. Het heeft te maken met een complexe interactie tussen de economische infrastructuur, de kwaliteit van de overheid, het functioneren van het politieke systeem en de wijze waarop sociale verbanden vorm krijgen. Het lukt soms, en dan meestal pas achteraf, om delen van die complexiteit in kaart te brengen, maar dat levert geen mooie causale modellen op (WRR, 2010: 109). Daarnaast concludeerde de WRR dat de diverse landen die ontwikkelingshulp hadden ontvangen, niet altijd vergelijkbaar waren en dat levert, naast de aanwezigheid van externe factoren, ook meetproblemen op. Dergelijke uitgebreide evaluaties, die oorzaak-gevolg proberen aan te tonen tussen de activiteiten van goededoelenorganisaties en de mogelijke effecten van die activiteiten voor de doelgroep gaan voor de meeste goededoelenorganisaties veel te ver. Voorbeeld over de grenzen van het aantonen van impact Er zit natuurlijk een risico aan een deel van het onderzoek dat we doen, zoals onderzoek naar het verband tussen recidive en zingeving. Dit verband bleek moeilijk aan te tonen. Een organisatie kan dan het risico lopen om de eigen doelstelling onderuit te halen als de resultaten niet gemeten kunnen worden. Dit geldt ook voor het effect van vrijwilligerswerk op de doelgroep. We hebben in onderzoeken ook gezien dat de inzet van vrijwilligers naast betaalde medewerkers als positief wordt gezien door bewoners en een motiverende factor is. Het is echter een illusie om te zeggen dat de inzet van mevrouw Jansen bij gedetineerde X één op één tot minder recidive heeft geleid. We voelen aan dat er ergens een relatie is maar dat is moeilijk meetbaar te maken. We slaan denk ik wel door in het meetbaar maken van alles. Het is de vraag of de kosten en baten van het meten met elkaar in verhouding staan. Interview met Rien Timmer, Vereniging Exodus Nederland. Woonkamer Exodushuis (foto: Exodus Nederland) METEN 59

62 3.4. Positieve en negatieve, bedoelde en onbedoelde effecten De meeste methoden en instrumenten zijn alleen gericht op het meten van de positieve en bedoelde (of verwachte) resultaten ten behoeve van de doelgroep. Dit gebeurt vooral wanneer goededoelenorganisaties zich alleen richten op het behalen van organisatorische doelen of doelstellingen. Hierbij wordt geen rekening gehouden met onverwachte veranderingen, positief of negatief. Echter, positieve en negatieve uitkomsten en bedoelde en onbedoelde resultaten en effecten zijn allemaal relevant om de maatschappelijke waarde van een programma, project of activiteit te kunnen bepalen. Onbedoelde of onverwachte uitkomsten kunnen positief zijn en in sommige gevallen zelfs belangrijker voor de doelgroep dan de beoogde resultaten (zie voorbeeld). Impactmeting onderscheidt zich juist van directe resultaten en outcomes door het langetermijneffect van alle positieve, negatieve, directe, indirecte, bedoelde en onbedoelde effecten of doordat deze effecten zijn toe te wijzen aan de activiteit (attributie). Soms is het mogelijk om de negatieve effecten op te tellen bij de positieve effecten en tot een netto-effect te komen. Bijvoorbeeld als vijftig deelnemers aan een microkredietprogramma er in inkomsten op vooruit zijn gegaan, dertig dezelfde inkomsten hebben als vóór het programma en twintig deelnemers erop achteruit zijn gegaan omdat de buurman de lening niet heeft afbetaald aan de groep, dan kun je simpel gezegd stellen dat het netto-effect positief is geweest voor dertig deelnemers (50 minus 20). Uiteraard is het in de praktijk complexer dat deze rekensom, omdat in dit voorbeeld onder andere geen rekening is gehouden met de hoogte van de stijging of daling van het inkomen en er verondersteld wordt dat de verandering toe te wijzen is aan de activiteit. In andere gevallen kan het minder voor de hand liggend zijn om de positieve en negatieve effecten bij elkaar op te tellen en zo tot een netto-effect te komen. Dan kunnen de positieve en negatieve effecten worden beschreven aan de hand van voorbeelden. Onbedoelde of onverwachte uitkomsten kunnen zoals gezegd ook negatief zijn. Een onbedoelde verandering vindt bijvoorbeeld plaats wanneer de activiteit van de organisatie er voor zorgt dat het probleem dat diende te worden aangepakt zich verplaatst. Zo kan bijvoorbeeld een focus op het verminderen van criminaliteit in wijk X er voor zorgen dat de criminaliteit zich verplaatst naar de aangrenzende wijk Y. In dit geval zijn dus ook de bewoners van wijk Y een belangrijke doelgroep van de organisatie waar rekening mee moet worden gehouden. En het kan ook betekenen dat de organisatie het hoe, wat en waarom van haar activiteiten opnieuw moet vaststellen. Een ander voorbeeld is van een klein particulier initiatief dat hoorde van de ouders in een Afrikaans dorp dat het zo vervelend was dat hun kinderen enkele kilometers moesten lopen van en naar school. Daarop is een school gebouwd in het dorp zelf. Toen aan de kinderen werd gevraagd of ze blij waren met de nieuwe school antwoordden bijna alle kinderen: Nee, want toen we nog een paar kilometer moesten lopen, konden we lekker spelen onderweg en nu komen we eerder thuis en moeten we allerlei klussen doen van onze ouders. Deze reactie leidde tot veel verbazing bij de initiatiefnemers en de financiers van het project. Daarom wordt nu samen met de ouders en de kinderen gepraat om te zoeken naar een acceptabele situatie voor iedereen. Auke Herrema Juist de negatieve uitkomsten geven goededoelenorganisaties informatie over wat er nog niet helemaal goed is gegaan en wat beter kan. Daarom kan het goed zijn om negatieve uitkomsten van evaluaties niet te negeren, maar deze in elk geval intern te analyseren en er lering uit te trekken. Het kan ook voordelen opleveren om belanghebbenden te laten zien wat er nog verbeterd kan worden en hoe lastig het kan zijn om de beoogde resultaten te bereiken. Het inzicht geven in 60 METEN

63 Voorbeeld van onbedoelde effecten: impactmeting door The Nature Conservancy van een GTZnatuurbeschermings- en ontwikkelingsproject in de Gobiwoestijn van Mongolië. Tijdens een uitgebreide impactmeting in Mongolië werd aan lokale nomadische herders gevraagd, tijdens focusgroep bijeenkomsten met 10 verschillende groepen, of de deelnemers van het project meer inkomsten hadden na afloop van het project. De deelnemers gingen uitgebreid in op de verschillende technieken die zij hadden geleerd om dierlijke producten te verwerken, hoe ze geleerd hadden gewassen te verbouwen en dat ze nu beter samenwerkten bij het verbouwen van diervoer, zodat hun kuddes een grotere overlevingskans hadden in het zware woestijnklimaat. Men gaf aan dat de verkoop van dierlijke producten en verbouwde gewassen voor extra inkomsten zorgden, dat de samenwerking tussen de nomaden onderling en met de lokale overheid verbeterd was en dat met name de vrouwen een betere positie in de gemeenschap hadden gekregen, omdat met name zij zich bezighielden met de verwerking van dierlijke producten en het verbouwen van groenten. Naast de focusgroepen zijn in dezelfde nomadische gemeenschap ook vragenlijsten afgenomen bij een groter aantal deelnemers. Vragen die zijn gesteld, betreffen onder meer hoeveel de inkomsten bedroegen voor en na het project en uit welke bronnen de inkomsten bestonden (verkoop van diverse soorten levende dieren, vlees, huiden en kasjmier, verkoop van groenten, illegaal mijnwerken, etc.). Deze vragen zijn ook gesteld aan nomaden die rondom de projectgroepen verbleven, maar die geen deel uitmaakten van het project, de controlegroepen. Na statistische analyse van de antwoorden bleek dat er nauwelijks significante verschillen in inkomsten waren tussen de projectgroepen en de controlegroepen. Weliswaar hadden de projectgroepen meer diverse inkomstenbronnen, doordat zij binnen het project bepaalde vaardigheden hadden geleerd voor verwerken van dierlijke producten en het verbouwen van gewassen, maar de extra inkomsten hieruit waren zeer klein vergeleken met de traditionele inkomsten van nomaden, namelijk de verkoop van vlees, huiden en kasjmier. De les die geleerd is, is dat het project zeer waardevolle bijdragen heeft geleverd aan de doelgroep, maar dat dit niet zozeer was op het gebied van de doelstelling, namelijk het verhogen van inkomsten, maar eerder op allerlei andere gebieden op het sociale vlak. Esther Ten Hoorn, masterthesis VU Amsterdam (Ten Hoorn, 2010; Hess et al., 2010) Focusgroepgesprek in Mongolië (foto: Esther Ten Hoorn) METEN 61

64 negatieve uitkomsten of bijeffecten kan ervoor zorgen dat duidelijker wordt in welk complex speelveld de goededoelenorganisatie zich bevindt en welke factoren van invloed zijn op het slagen van de activiteiten en de verdere effecten ervan. Door hierover een realistisch beeld te creëren, kunnen belanghebbenden een sympathieker en betrouwbaarder beeld krijgen van de goededoelenorganisatie. Dit zal niet altijd het geval zijn, mede afhankelijk van hoe de uitkomsten worden gepresenteerd (zie Hoofdstuk 4). Bij negatieve effecten of het niet hebben behaald van de gestelde doelen is het belangrijk om goed uit te leggen wat deze resultaten precies betekenen en redenen te geven waarom deze negatieve resultaten zijn behaald. Beschrijf daarbij concrete plannen hoe het de volgende keer beter kan. Het heeft weinig zin om ieder negatief resultaat te compenseren met een positief resultaat. Negatieve resultaten kunnen ook komen door miscommunicaties of slechte organisatie; in dat geval hoef je de negatieve resultaten niet extern te communiceren, maar moet je ze wel intern analyseren. (EvaluativeThinking, 2013.) 3.5. Uitdagingen bij het meten van resultaten en impact Ondanks de vele instrumenten en adviezen die voorhanden zijn om resultaten en impact te meten, blijft het een uitdaging om het evaluatieproces op te zetten en uit te voeren. Er komt namelijk nog veel meer bij kijken. Iedere organisatie die met resultaat- en impactmeting aan de slag gaat, zal tegen bepaalde zaken aanlopen. Men zou kunnen stellen dat goededoelenorganisaties onder meer worden geconfronteerd met de volgende drie soorten problemen bij het meten van hun impact (gebaseerd op Poortvliet et al., 2012): Praktische uitdagingen rond de doelstellingen en activiteiten van de organisatie: het verzamelen van gegevens, het aantal mensen dat bereikt wordt met de activiteiten, het meten van verbeteringen in zachte en indirecte uitkomsten en het ontwikkelen van een cultuur van meting binnen een organisatie. Systematische uitdagingen die voortkomen uit de focus van goededoelenorganisaties op één specifiek werkgebied of (deel)sector wanneer zij denken over het meten van resultaat en impact ten behoeve van donateurs. Zowel bij institutionele donoren, goededoelenorganisaties intern als in de samenwerking tussen goededoelenorganisaties ontbreekt duidelijkheid en consistentie rond de wijze waarop resultaat- en impactmeting uitgevoerd en in rapportages gecommuniceerd moeten worden. Ethische uitdagingen rond de vraag in hoeverre het verantwoord is om mensen die onder de doelgroep vielen maar die toch om de een of andere reden niet bij het project betrokken zijn geweest, de controlegroep, toch te betrekken (lastig te vallen) bij het evaluatieonderzoek. Veel goededoelenorganisaties zullen zich na het lezen van dit hoofdstuk nog steeds afvragen hoe ze de stappen kunnen zetten van prestatie-indicatoren en meetmodellen naar een concreet rapport met alle resultaten en effecten. De goededoelenorganisatie kan het evaluatieproces zelf voorbereiden door het opstellen van doelstellingen e.d. en een cultuur van evalueren en leren te creëren. Het evalueren zelf is een vakgebied op zich dat een organisatie niet simpelweg kan uitvoeren door een stappenplan of checklist te doorlopen, er zijn tot op bepaalde hoogte toch ook (onderzoeks)vaardigheden voor nodig om gegevens op een solide manier te vergaren en analyseren en gedegen conclusies te trekken. 62 METEN

65 Hoofdstuk IV Verantwoording en leren van resultaat- en impactmeting In dit vierde hoofdstuk wordt de derde fase beschreven, die van verantwoording. De derde fase bestaat uit drie stappen, die worden beschreven in vier paragrafen. Twee belangrijke redenen voor goededoelenorganisaties om te evalueren zijn (1) het afleggen van verantwoording aan belanghebbenden en (2) het leren van ervaringen. Dit zijn twee kanten van dezelfde evaluatiemedaille. In toenemende mate kiezen goededoelenorganisaties ervoor om hun belanghebbenden te informeren over en betrekken bij de uitkomsten van evaluaties. In dit vierde hoofdstuk zal worden ingegaan op verschillende mogelijkheden voor rapportage (Paragraaf 4.1) en hoe de goededoelenorganisatie kan leren van de uitkomsten van de resultaat- en impactmeting (Paragraaf 4.2). Ook de externe communicatie van de uitkomsten van de evaluatie met belanghebbenden (Paragraaf 4.3) en specifiek met donateurs (Paragraaf 4.4) wordt in dit deel verder toegelicht. STAP Hoofdstuk II Voorbereiden 1 Keuze wat evalueren + wat wil ik bereiken (Theory of Change) 2 SMART-doelstellingen + prestatie-indicatoren 3 Nulmeting en betrekken belanghebbenden hierbij 4 Context en attributie: wat doen anderen en wat is mijn bijdrage 5 Meetmodel beschrijven Hoofdstuk III Meten 6 Meetinstrument kiezen 7 Gegevens verzamelen en analyseren Hoofdstuk IV Verantwoorden 8 Evaluatie rapportage 9 Leren van evalueren 10 Communiceren van de bevindingen aan belanghebbenden VERANTWOORDEN 63

66 4.1. Rapporteren van evaluatie-uitkomsten Stap acht is het rapporteren van de bevindingen van de resultaat- en impactmeting. Nadat de evaluatie is uitgevoerd en de uitkomsten bekend zijn, komt de vraag op wat kan worden gedaan met alle bevindingen. Wat is de beleidsrelevantie van de bevindingen? Dit hangt af van de betrokkenheid van de beleidsmakers bij de evaluaties maar ook van de aard van de bevindingen. Sommige bevindingen zullen meer procesgeoriënteerd zijn en inzicht geven in hoe activiteiten en interne processen beter of efficiënter georganiseerd kunnen worden. Andere bevindingen zullen iets zeggen over de effectiviteit van de activiteiten, welke directe resultaten zijn behaald en/of welke effecten de resultaten verder hebben gehad. Het is van groot belang om alle uitkomsten van een evaluatie goed te documenteren en hierbij rekening te houden met een aantal aspecten. Als de resultaat- en impactmeting zijn uitgevoerd door de goededoelenorganisatie zelf, dan kunnen de uitkomsten geïntegreerd worden in het algemene rapportagesysteem van de organisatie. Als de resultaat- en impactmeting zijn uitgevoerd door externe deskundigen, dan zullen zij in het algemeen de uitkomsten rapporteren in een schriftelijk verslag of presentatie. De uitkomsten van een externe analyse kunnen eveneens worden opgenomen in het algemene rapportagesysteem van de organisatie. Er is geen eenduidige manier om te rapporteren over evaluaties. Veel evaluatierapporten vormen de samenvoeging van deelstudies. Deze kunnen samen de eindrapportage vormen. Een evaluatierapportage kan het beste een combinatie zijn van zowel beschrijvende (kwalitatieve) informatie als cijfermatig gemeten (kwantitatieve) gegevens. Aan de ene kant kunnen anekdotes, foto s en verhalen van de doelgroep, vrijwilligers, lokale projectmanagers en dergelijke worden bevestigd of ondersteund door cijfers. Aan de andere kant kunnen de cijfermatige resultaten worden toegelicht of verklaard door anekdotes en verhalen. Wanneer wij op organisatieniveau over impact rapporteren dan doen we dat nu voornamelijk anekdotisch. We geven de resultaten en cijfers en larderen dat vervolgens met persoonlijke verhalen. (Rian Fokker, Heifer Nederland) Het is belangrijk om in de eindrapportage aandacht te geven aan de vraag in hoeverre de vooraf bedachte Theory of Change in de praktijk is waargemaakt, met verwijzing naar de van tevoren opgestelde doelstellingen en prestatieindicatoren. Afhankelijk van hoeveel ervaring de goededoelenorganisatie heeft met resultaat- en impactmeting, kan een evaluatierapportage meer of minder uitgebreid zijn wat betreft de beschreven resultaten (outputs) en verdere analyse naar effecten van de resultaten (outcomes) en impact. Uit toetsingen van de jaarverslaggeving door het CBF ontstaat het beeld dat de meeste goededoelenorganisaties overwegend rapporteren over directe resultaten (outputs). Een klein deel van de instellingen rapporteert daarnaast over de vermoedelijke effecten (outcomes) van hun activiteiten. Een zeer beperkt aantal instellingen heeft de vermoedelijke effecten ook daadwerkelijk onderzocht. In een aantal rapportages wordt gesproken over de behaalde impact. De interpretatie van het begrip impact is echter in de rapportages niet eenduidig. Specifiek voor evaluaties die zijn uitgevoerd met behulp van de SROI-methode is het van belang om in de rapportage niet te veel waarde te hechten aan de monetaire waarde die eruit is gekomen, dus hoeveel euro s iedere euro oplevert. Een beschrijving van hoe de behaalde veranderingen tot stand zijn gekomen en beschrijvingen van participanten zeggen veel meer dan enkel die monetaire ratio (Nicholls et al., 2009). Het kenmerk van een goed rapport is dat het antwoord geeft op de belangrijkste vragen op een duidelijke, feitelijke en begrijpelijke wijze. In een goed rapport wordt het evaluatieproces volledig transparant beschreven en worden de relevantie en betrouwbaarheid van de resultaten besproken. Conclusies dienen te worden gemotiveerd en aanbevelingen kunnen bijvoorbeeld gericht zijn op de resultaten, het beleid van de organisatie en haar belanghebbenden. Om maatschappelijk draagvlak te creëren kan belanghebbenden de mogelijkheid worden geboden opmerkingen te maken over de bevindingen, de conclusies en de aanbevelingen. Goededoelenorganisaties hebben zelf de keus om de bevindingen van een evaluatie te rapporteren, zowel als het gaat om verwachte of onverwachte, positieve en negatieve bevindingen. Het is belangrijk om in een rapportage voldoende informatie te geven over hoe het evaluatieonderzoek is uitgevoerd: Wat De centrale evaluatievraagstelling Waarom Het doel van de evaluatie 64 VERANTWOORDEN

67 Wie Informatiebronnen voor de evaluatie, de meeteenheid (aantal hectares, mensen etc. die mee hebben gedaan met de evaluatie) en indien van toepassing de respons (hoeveel mensen percentueel gezien bereid waren mee te werken aan de evaluatie) Hoe De onderzoeksmethoden die zijn gebruikt om data te verzamelen Waar De locatie waar de data voor de evaluatie zijn verzameld Wanneer De tijdsperiode waarin de data verzameld zijn. Bij het opstellen van een rapportage is het tevens van belang om, naast de essentiële gegevens over de organisatie en haar projecten, informatie op te nemen die aansluit bij de behoefte van potentiële lezers. Zo is het aan de ene kant handig om inzicht te hebben in hoe kritisch de lezer van het rapport zal zijn. Indien het rapport ook wordt gelezen door zeer kritische mensen of lezers met zeer specifieke gedetailleerde kennis over het betreffende onderwerp, dan is het aan te bevelen om meer details in het rapport op te nemen. Bijvoorbeeld, als er een onderzoek onder de doelgroep heeft plaatsgevonden waarbij de deelnemers een vragenlijst hebben ingevuld, voeg dan informatie toe over hoe de deelnemers voor het onderzoek geselecteerd zijn, hoeveel mensen aan de activiteit hebben deelgenomen en hoeveel van hen hebben deelgenomen aan de evaluatie. Aan de andere kant, als de bevindingen van een evaluatie aan het algemeen publiek worden gepresenteerd, bijvoorbeeld via de website of nieuwsbrief, dan kan het juist de leesbaarheid ten goede komen om bepaalde details over de achtergrond van de evaluatie achterwege te laten, indien dergelijke informatie wel voor intern gebruik ergens wordt opgeslagen. Op de verantwoording over resultaat- en impactmeting naar verschillende typen donateurs wordt later in dit hoofdstuk ingegaan (zie paragraaf 4.4). Voorbeeld van een opzet van een evaluatierapport (gebaseerd op Stiftung ZEWO, 2011): I. Samenvatting II. Uitgangspunten i. Doel en doelstelling van de evaluatie ii. Omvang van de evaluatie iii. Belangrijkste evaluatie- of onderzoeksvragen iv. Context van de evaluatie v. Wie heeft de evaluatie uitgevoerd (intern of extern) III. Aanpak i. Welke methode is gebruikt ii. Welke informatiebronnen zijn geraadpleegd iii. Wat is de kwaliteit van de onderzoeksgegevens iv. Welke belanghebbenden zijn geconsulteerd IV. Uitkomsten i. Uitkomsten per evaluatie- of onderzoeksvraag. Wat zijn de uitkomsten van de evaluatie en hoe zijn de uitkomsten van invloed op de organisatie en de manier waarop zij werkt. VERANTWOORDEN 65

68 Voorbeeld van een externe rapportage: Resto VanHarte voerde het laatste kwartaal van 2010 een klanttevredenheidonderzoek uit onder 808 gasten op 23 locaties van Resto VanHarte. Het onderzoek levert de volgende conclusies op: Profiel gasten Meer vrouwen dan mannen bezoeken Resto VanHarte: van de bezoekers is 71 procent vrouw en 29 procent man. De gemiddelde leeftijd van de bezoeker ligt hoog: tussen de 55 en 65 jaar. 73 procent van de bezoekers van Resto VanHarte is alleenstaand en woont alleen. 63 procent van de gasten komt via vrienden of bekenden in contact met Resto VanHarte. Veel waardering voor Resto VanHarte Uit de enquête blijkt dat de Restogasten zowel de sfeer binnen het Resto als de geleverde maaltijd als zeer goed beoordelen. De samenstelling van de maaltijden wordt door 94 procent van de gasten als goed tot zeer goed beoordeeld. 97 procent van de gasten geeft aan dat er voldoende rekening wordt gehouden met smaak en/of wensen ten aanzien van een bepaalde allergie/dieet. 91 procent van de gasten vindt de prijs van de maaltijd goed, 3 procent te duur en 5 procent te goedkoop. De bereikbaarheid en toegankelijkheid van de Resto s wordt ook als goed tot zeer goed beoordeeld. Van de gasten van Resto VanHarte beoordeelt 96 procent de sfeer als goed tot zeer goed. De ontvangst wordt door 97 procent van de Restogasten als goed tot zeer goed beoordeeld. De bediening in de Resto s wordt door 98 procent van de gasten als goed tot zeer goed beoordeeld. 99 procent van de Restogasten vindt dat het personeel goed tot zeer goed met de gasten omgaat. De hoge waardering van Resto VanHarte door de gasten blijkt uit de frequentie van hun bezoek: het merendeel van de gasten (bijna 80 procent) eet een of twee keer per week bij Resto VanHarte. Resultaat van bezoek Het frequente bezoek aan Resto VanHarte leidt tot een steviger sociaal netwerk van de gasten: 93 procent van de gasten zegt contact te hebben met andere gasten; 69 procent van de gasten zegt nieuwe vrienden gemaakt te hebben bij Resto VanHarte; 33 procent van de bezoekers zegt wel eens activiteiten te ondernemen met nieuwe vrienden en kennissen uit het netwerk van Resto VanHarte; 57 procent zegt door Resto VanHarte in contact te komen met andere culturen; 86 procent zegt door Resto VanHarte in contact te komen met mensen van verschillende leeftijden; 61 procent van de ondervraagden zegt door het bezoek aan Resto VanHarte vaker de deur uit te komen; 51 procent van de bezoekers zegt zich door het bezoek aan Resto VanHarte minder eenzaam te voelen. De grote tevredenheid van de gasten leidt ertoe dat 97 procent van de bezoekers Resto VanHarte bij anderen zou willen aanbevelen. Bron: geraadpleegd 29 januari Zet een goed verhaal neer, in duidelijke taal, dat voor een breed publiek aantrekkelijk is om te lezen en te zien. 66 VERANTWOORDEN

69 4.2. Leren van evalueren Stap negen gaat over het leren van de uitkomsten van de resultaat- en impactmeting. Naast de verantwoording aan bijvoorbeeld financiers kan een andere waardevolle doelstelling van evalueren ook zijn om te leren wat wel en wat minder goed werkt in de praktijk. Evalueren heeft nog meer toegevoegde waarde wanneer er iets wordt gedaan met de uitkomsten. Deze laatste stap het leren van evalueren wordt vaak overgeslagen in evaluatietrajecten, terwijl het leren van evaluaties juist kan helpen om te komen tot een betere of vernieuwde uitvoering van activiteiten en projecten in de toekomst. Paul Mattessich, et al Information Gold Mine: Innovative Uses of Evaluation. Fieldstone Alliance, an imprint of Turner Publishing Company: Nashville, Tennessee. Used with permission. Door het gebruik van resultaat- en impactmeting kunnen goededoelenorganisaties activiteiten zowel sturen in de richting van effecten en impact, als legitimeren voor de doelgroep, donateurs of samenwerkingspartners en zich zo onderscheiden van anderen. Het evalueren van resultaten en effecten geeft inzicht in de mate waarin doelen en (SMART-)doelstellingen zijn gehaald, welke doelstellingen (nog) niet zijn gehaald en welke resultaten langetermijneffecten hebben en/of toe te wijzen zijn aan de organisatie (impact). Hierbij kan dus ook aandacht zijn voor het benoemen van minder goed geslaagde aspecten van projecten en programma s. Het is zeer leerzaam om zo zorgvuldig mogelijk te rapporteren over de dingen die minder goed zijn gegaan en wat er met deze negatieve resultaten wordt gedaan, zodat hierop kan worden voortgebouwd in toekomstige projecten. De bevindingen vormen een goede basis om niet alleen activiteiten en projecten, maar ook organisatieprocessen en de strategische richting van de organisatie te verbeteren en te vernieuwen (ZonMw-website). De lessen voor de toekomst qua interne organisatie liggen met name op het gebied van taken, bevoegdheden en verantwoordelijkheden in interne communicatie. (Resto VanHarte-website) Goededoelenorganisaties kunnen het gebruik van de uitkomsten van evaluaties het beste vanaf het begin integreren in het organisatieproces en bij de ontwikkeling en uitvoering van projecten. Door het verankeren van resultaat- en impactmeting in het gehele organisatieproces kan sneller een vinger op de succes- en pijnpunten van programma s, projecten en activiteiten van de organisatie worden gelegd. Daardoor is de organisatie beter in staat te leren en te innoveren. Goed gebruik van evaluaties geeft goededoelenorganisaties de mogelijkheid efficiëntere en effectievere keuzen te maken voor toekomstige en duurzame activiteiten. Conclusies uit eerdere onderzoeken hebben wel geleid tot aanpassingen in de aanpak van Exodus, bijvoorbeeld bij de registratie van bewoners. (Rien Timmer, Vereniging Exodus Nederland) De uitkomsten van resultaat- en impactmeting zijn tevens een goede basis voor het volgende jaarplan en meerjarenbeleidsplan, zodat er op consistente wijze voortgebouwd kan worden op de eerder behaalde resultaten en de terugkoppeling met doelen en beleid helder wordt vastgelegd. Het kan zijn dat zich lastige vraagstukken opwerpen bij het interpreteren van de bevindingen en dat er pijnlijke beslissingen worden genomen om de organisatieactiviteiten te verbeteren. Wat, bijvoorbeeld, als blijkt dat activiteit A het meest effectief is geweest? Dient dan te worden gestopt met activiteit B en C? Of wat als activiteit A twee jaar achter elkaar niet gemeten effectief is geweest? Dient activiteit A dan te worden beëindigd? Zo kwam een gezondheidsfonds er na de evaluatie van een voorlichtingscampagne achter dat het kennisniveau van de doelgroep lager was ná de VERANTWOORDEN 67

70 campagne (die als doel had om de kennis over ziekte X te vergroten). Dit leidt aan de ene kant tot de vraag of de campagne beter op een andere manier had kunnen worden uitgevoerd, aan de andere kant kan het zijn dat omgevingsfactoren een grotere invloed hebben gehad op de doelgroep dan welke campagne dan ook zou kunnen hebben. Voor een weloverwogen beleidsbeslissing is een gedegen inzicht in alle facetten van de uitkomsten van een meting dan ook relevant. Daarentegen hoeven niet alle beleidsbeslissingen rationeel te zijn, zeker in de goededoelensector. Zo stelde bijvoorbeeld de Gates Foundation zich ten doel om polio de wereld uit te krijgen. Naar verhouding zijn de kosten om de laatste poliopatiënten te genezen en de ziekte uit te bannen veel hoger dan het helpen van de eerdere groepen poliopatiënten. Toch werd voor deze doelstelling gekozen en niet voor één die naar verhouding hogere opbrengsten en lagere kosten heeft. Evaluaties kunnen spontaan, ongepland en ongestructureerd plaatsvinden. De waarde van deze evaluaties is veelal beperkt omdat het leren is overgelaten aan het toeval. Leren van evalueren kan veel effectiever door het goed voor te bereiden, te structureren en te richten op een bepaald doel. Door daar anderen bij te betrekken kan het leren effectiever plaatsvinden. Hierbij is het van belang om te weten wie binnen de organisatie alleen kennis willen nemen van de uitkomsten, bij wie het nodig is om bewustwording te creëren van bepaalde uitkomsten en eventueel gedragsverandering en welke personen daadwerkelijk actie dienen te ondernemen naar aanleiding van de resultaat- en impactmeting. Leren van evalueren kan vorm krijgen door brainstormsessies, discussiebijeenkomsten of workshops met medewerkers en belanghebbenden van de organisatie te organiseren. Betrokken partijen kunnen in deze bijeenkomsten samen bespreken wat goed ging, waar problemen zijn ontstaan en wat redenen voor succes en falen waren en oplossingen en verbeteringen aandragen (Stiftung ZEWO, 2011). Meer informatie over leren van evalueren vindt u bijvoorbeeld in Kusters et al. (2011). Evaluaties worden onder meer uitgevoerd ter verantwoording naar financiers en besluitvormers. Het is daarom logisch dat de uitkomsten van een evaluatie tegemoetkomen aan de informatiebehoeften van deze financiers en besluitvormers, en dat de evaluatie een terugkoppeling geeft over de effectiviteit van activiteiten. Meestal is dit echter niet het geval. Veel evaluatierapporten eindigen op een kastplank zonder dat er nog iemand naar omkijkt. Redenen hiervoor kunnen zijn dat: Er geen antwoord wordt gegeven op de belangrijkste vragen van besluitvormers, beleidsmedewerkers, programmamanagers of financiers. De resultaten en aard van het evaluatieonderzoek op zodanige wijze worden gecommuniceerd dat de lezer het niet echt goed begrijpt. De evaluatierapportage is opgesteld zonder dat duidelijk was wie het zou gaan lezen. De timing van het evaluatierapport niet overeenkomt met de timing van politieke of interne besluitvorming. De uitkomsten van de evaluatie zodanig zijn beschreven dat deze als een (te) grote uitdaging worden gezien door belanghebbenden, waardoor deze zich verzetten tegen het implementeren van de uitkomsten. Om het leren van evalueren succesvol te laten zijn, is het belangrijk dat de uitkomsten van de resultaat- en impactmeting terug worden gekoppeld aan alle betrokken partijen en belanghebbenden. Hierdoor zal draagvlak ontstaan voor de uitkomsten van het onderzoek en de impact op de doelgroep en de maatschappij (Stiftung ZEWO, 2011). De Development Assistance Committee (DAC) van de OECD heeft begin jaren 90 een aantal algemene beginselen en principes voor evaluatie vastgelegd. De DAC definieert evaluatie als de systematische en objectieve beoordeling van het ontwerp, de uitvoering en de resultaten van een lopend of beëindigd project, programma of beleid. De principes werden verfijnd tot vijf criteria die op grote schaal worden gebruikt bij de evaluatie van initiatieven voor ontwikkelingssamenwerking. De vijf criteria hebben betrekking op de relevantie, effectiviteit, efficiëntie, impact en duurzaamheid van initiatieven (OECD-DAC, 2010). Relevantie Relevantie is de mate waarin de activiteit geschikt is voor de doelgroep, de ontvanger en de financier (institutionele of individuele donor). Effectiviteit Effectiviteit is de mate waarin met de betreffende activiteit de beoogde doelstellingen worden bereikt. Efficiëntie Efficiëntie is de mate waarin kwantitatieve en kwalitatieve resultaten (outputs) worden behaald in relatie tot 68 VERANTWOORDEN

71 de inputs die nodig zijn geweest voor de betreffende activiteit. Het is een economische term die gebruikt wordt om te bepalen hoe met beperkte middelen het grootste gewenste resultaat bereikt kan worden. Dit vereist meestal het vergelijken van alternatieve benaderingen voor het bereiken van de betreffende resultaten (outputs) om te zien of de meest efficiënte benadering is gehanteerd. Impact Impact is de positieve en negatieve verandering die door een activiteit, direct of indirect, bedoeld of onbedoeld, is ontstaan. Het gaat om de belangrijkste gevolgen en effecten van de activiteit op de lokale sociale, economische, ecologische en andere ontwikkelingsindicatoren. Om impact te bepalen worden zowel de gewenste als ongewenste resultaten meegenomen en wordt rekening gehouden met zowel positieve als negatieve effecten van externe factoren. Duurzaamheid In dit model is sprake van duurzaamheid wanneer de activiteit langetermijneffecten heeft. Zijn de effecten op lange termijn blijvend, ook wanneer omstandigheden, zoals bijvoorbeeld financiering door institutionele en individuele donors, veranderen? Goededoelenorganisaties kunnen deze vijf principes gebruiken om te bepalen of de resultaat- en impactmeting relevant zijn geweest, of deze informatie hebben gegeven over effectiviteit en efficiëntie, of daadwerkelijk impact is gemeten en of de activiteit langetermijneffecten heeft gehad. Voorbeeld Heifer Nederland Op projectniveau meten we resultaten, effecten en impact en formuleren we de lessons learned. We delen deze lessen met de betreffende partner en gebruiken de resultaten en effecten voor het formuleren van vervolgprojecten. We verzamelen de geleerde lessen ook centraal om er als organisatie van te leren en ze in andere programma s toe te passen. Zo kunnen partners ook van elkaar leren. Interview met Rian Fokker, Heifer Nederland Voorzitter met koe (foto: Heifer Nederland) 4.3. Communiceren met belanghebbenden Stap tien betreft het communiceren van de uitkomsten van de resultaat- en impactmeting. Een aantal goededoelenorganisaties heeft wel enige ervaring met het meten van resultaten en impact maar communiceert hier vaak nog niet extern over. Meestal zijn wel anekdotes en beelden te zien, bijvoorbeeld op de websites of in de jaarverslaggeving, waarin nog weinig aandacht is voor het meten van impact. De mate waarin goededoelenorganisaties aandacht besteden aan resultaat- en impactmeting hangt ook af van de betreffende sector en activiteit (Ebrahim and Kasturi Rangan, 2010). Het lijkt er op dat rapportage- en evaluatie-eisen vanuit de overheid en andere financiers invloed hebben op de mate van resultaatmeting en hoe vergevorderd organisaties hierin zijn. Goededoelenorganisaties dienen zelf de afweging te maken of en op welke wijze over de resultaten van impact wordt gecommuniceerd. De communicatie van veel goededoelenorganisaties is voornamelijk gericht op (potentiële) donateurs. Communicatie over resultaat- en impactmeting is daarentegen vooral gericht op de doelgroep en de eigen organisatie. Veel goededoelenorganisaties houden de uitkomsten van hun evaluaties liever intern. Echter, door externen inzicht te geven in de uitkomsten van evaluaties, kunnen dezen beter geïnformeerde keuzen maken. Daarnaast zou het communiceren van uitkomsten bij kunnen dragen aan het verzamelen van bewijs welke activiteiten beter of minder goed werken, waardoor binnen de sector betere keuzen gemaakt kunnen worden in welke activiteiten te investeren en kunnen besparingen gerealiseerd worden. Daarnaast kunnen de uitkomsten van evaluaties een goede aanvulling VERANTWOORDEN 69

72 zijn in het afleggen van verantwoording over bestedingen, resultaten en effecten van activiteiten en projecten aan belanghebbenden. Dit kunnen belanghebbenden binnen de eigen organisatie zijn, zoals medewerkers en directie, of belanghebbenden buiten de organisatie, zoals donateurs, de overheid en de doelgroep. Door de opgedane kennis en ervaring vast te leggen in geleerde lessen, goede voorbeelden en toegepaste methoden en instrumenten en hierover te communiceren, maken goededoelenorganisaties zichtbaar wat ze hebben gedaan en wat ze hebben geleerd. Een veelgehoorde reactie is dat inzicht in resultaat- en impactmeting kan leiden tot een betere keuze door externe belanghebbenden. Belanghebbenden kunnen diverse individuen of organisaties of groepen van individuen en organisaties zijn, zoals institutionele en individuele donateurs, beneficianten, beleidsmakers, medewerkers, het bestuur van de goededoelenorganisatie, samenwerkingspartners en het brede publiek. Belanghebbenden kunnen behoefte hebben aan informatie met betrekking tot de resultaten van het programma, het project of de activiteit, de impact van de activiteiten op de doelgroep en de maatschappij of informatie over de besteding van fondsen. Daarnaast kunnen ze geïnteresseerd zijn in de relatie van de activiteiten met andere projecten of programma s van de goededoelenorganisatie en andere organisaties. Waar vullen projecten, programma s en organisaties elkaar aan en waar overlappen ze? Afhankelijk van het type belanghebbende kunnen communicatie-uitingen over resultaten en impact aan de informatiebehoefte van belanghebbenden worden aangepast. Goededoelenorganisaties kunnen zichzelf in ieder geval een aantal vragen stellen alvorens te communiceren over resultaten, effecten en impact met belanghebbenden: Wat is het doel van de communicatie? Wie zijn de belanghebbenden? Wat zijn de belangrijkste boodschappen van de evaluatie? En welke belanghebbende moet wat weten? Hoe kunnen de belanghebbenden het best worden bereikt? Wat is de informatiebehoefte van de belanghebbenden? Hoe gaat de organisatie om met het delen van gevoelige of negatieve resultaten? Betrek financiers en andere belangrijke belanghebbenden bij het bepalen van het gewenste evaluatieniveau: zijn directe resultaten (outputs) voldoende of is het wenselijk en haalbaar om ook outcomes en/of impact te meten? Communicatie over resultaten en impact kan op talloze manieren plaatsvinden, verschillende doelen dienen en op verschillende belanghebbenden gericht zijn. Communicatie van de resultaten hoeft zich niet te beperken tot het publiceren van een rapport. Communicatie over resultaat en impact kan bijvoorbeeld ook aan de hand van casestudy s, verhalen, evaluatieverslagen, videofilmpjes of presentaties. Er zijn diverse manieren voor het verspreiden van resultaten, effecten en impact van activiteiten naar belanghebbenden. Voorbeelden zijn: (evaluatie)rapporten, jaarverslagen, nieuwsbrieven, vergaderingen, seminars, conferenties, via de website of via . Afhankelijk van op wie de informatie gericht is en waar de informatie toe dient, kunnen verschillende manieren van communiceren worden gebruikt. Het gecombineerd of gelijktijdig inzetten van verschillende communicatie-instrumenten kan een organisatie helpen om sneller en effectiever haar communicatiedoelstellingen te bereiken. De informatie die gecommuniceerd wordt, zou in ieder geval volledig, te begrijpen, accuraat en toegankelijk moeten zijn. 70 VERANTWOORDEN

73 Voorbeeld over communiceren met belanghebbenden Belanghebbenden zoals individuele donateurs en vermogensfondsen vragen vooral om inzicht in het resultaat van projecten. Speciaal voor hen maken we verslagen per programma waarin we onder andere ingaan op input, output en outcome. In die verslagen verwijzen we ook naar ons impactdossier dat we regelmatig actualiseren. In dat impactdossier lichten we toe welke methoden we gebruiken. Aan de hand van citaten geven we inzicht in de bereikte resultaten, met speciale focus op doelgroep en maatschappij. We citeren uitspraken van staf en medewerkers van organisaties en scholen, van kinderen en jongeren en van hun ouders. We zijn er trots op dat de Transparantprijs onze wijze van impactmeting al enkele jaren noemt als best practice Communiceren met donateurs* Het vertrouwen van het publiek in maatschappelijke instituties staat onder druk. Ook het vertrouwen in goededoelenorganisaties is de laatste jaren gedaald. Tot dusver heeft deze daling nog niet geleid tot een sterke vermindering van het door de goededoelenorganisaties ontvangen donatievolume. Een veelgehoorde reactie om het dalende publieksvertrouwen terug te winnen is het beter inzichtelijk maken van de impact van goededoelenorganisaties. De onderliggende gedachte is dat het meten van de impact zal leiden tot beter Programmaverslagen en impactdossier staan op onze website en zijn voor iedereen toegankelijk. Deelname aan de Transparantprijs en de Trouw Goede Doelen Monitor past in ons beleid van transparantie en lerende organisatie. Interview Riekje de Vries, Stichting Projecten Zuid-Afrika. McGregor Waldorfschool (foto: SPZA) inzicht en tot betere keuzen door de donateurs. Meten is weten, nietwaar? En weten is een randvoorwaarde voor vertrouwen. Een veelgehoorde kritiek op deze denkwijze is dat impactmeting kan leiden tot lastendruk en dat niet bewezen is dat impactmeting daadwerkelijk leidt tot verhoging van het publieksvertrouwen of de inkomsten uit donaties. Het traditionele geven kenmerkt zich door het geven vanuit het hart met veelal een basishouding gebaseerd op: Doe goed en zie niet om. Voor de traditionele gevers zal impactmeting van minder belang zijn voor vergroting van het vertrouwen. In deze groep ontstaat erosie van het vertrouwen vooral door irritatie over meer commerciële werkwijzen, minder aansluiting bij verwachtingen van de donateurs en de incidenten in de goededoelensector. Investering in impactmeting vervangt niet de noodzaak om daarnaast te werken aan zaken als een beter incidentmanagement en aansluiten bij de wensen van donateurs om vertrouwen terug te winnen. Niet alle donateurs zijn gelijk. Het traditionele geven kan gekenmerkt worden doordat het geefgedrag vooral gebaseerd is op emotie en dat de persoonlijke, directe contacten met de goededoelenorganisatie relatief laag zijn. Mede door de ontkerkelijking en opkomst van modernere vormen van het steunen van goede doelen onder jongeren zal het aantal traditionele gevers verder afnemen en zal het nieuwe geven toenemen. Bij het nieuwe geven kunnen drie typen donateurs onderscheiden worden. Dit zijn de betrokken donateur, de sturende donateur en de calculerende donateur. De communicatie over de resultaten en impact zal mede afhankelijk zijn van het type donateur. Hieronder wordt voor deze drie nieuwe typen donateurs aangegeven welke communicatievraagstukken met betrekking tot resultaat- en impactmeting zullen ontstaan. *Gebaseerd op de tekst van het Verslag Fondsenwerving 2010 (CBF, 2011). VERANTWOORDEN 71

74 Geven vanuit de ratio Geven vanuit het hart Lage betrokkenheid De Calculerende Donateur Kern is de tegenprestatie met eigenbelang De Traditionele Donateur Kern is gelegen in doe goed en zie niet om Hoge betrokkenheid De Sturende Donateur Kern is de wil om invloed uit te oefenen De Betrokken Donateur Kern is het delen van inspiratie gericht op kwalitatieve informatie en op het benadrukken van de zingeving van het geven aan het goede doel. De calculerende donateur: Beloon me Voor calculerende donateurs geldt vooral de vraag: What s in it for me? De calculerende donateur stelt zich op als consument en benadert de goededoelenorganisatie als marktpartij. Al speelt emotie wel een rol, de ratio is bij de calculerende donateur belangrijker dan bij het traditionele geven vanuit het hart. Voor calculerende donateurs is de rationele binding met de goededoelenorganisaties belangrijk en deze groep zoekt vooral naar concrete prestaties waar ze iets aan hebben. De communicatie is vooral gericht op kwantitatieve informatie en het benadrukken wat de toegevoegde waarde is voor de donateurs. Goededoelenorganisaties dienen de afweging te maken of en op welke wijze over de resultaten en impact wordt gecommuniceerd. Afhankelijk van de soort belanghebbenden dienen communicatie-uitingen over de resultaten en impact te worden aangepast. Verantwoorden over resultaat en impact kan bijvoorbeeld aan de hand van casestudy s, verhalen of evaluatieverslagen, welke kunnen worden geuit via de website, sociale media, nieuwsbrief of in het jaarverslag. Elke goededoelenorganisatie dient transparant te zijn over de bestedingen. Gezien de complexiteit van het meten van resultaten en impact is het belangrijk dat goededoelenorganisaties hier op voor hen passende wijze aan werken. Figuur 14: Communicatievraagstukken resultaat- en impactmeting typen donateur (CBF, 2011) De betrokken donateur: Inspireer me Betrokken donateurs hebben een positiefkritische blik op hun favoriete goededoelenorganisaties. Het oude paradigma Doe goed en zie niet om is veranderd in Doe goed en doe het de volgende keer beter. De betrokken donateurs zijn graag bereid om feedback te geven aan de goededoelenorganisatie. Sociale media zijn hiervoor een geschikt middel. Voor betrokken donateurs is de emotionele binding met hun favoriete goededoelenorganisatie belangrijk en deze groep zoekt vooral inspiratie. De communicatie is vooral De sturende donateur: Betrek me Sturende donateurs geven vanuit een verlichte ratio. De betrokkenheid bij de goededoelenorganisatie is relatief hoog en een belangrijke kernvraag is: What s in it for society? Deze donateurs willen meedenken met de wijze waarop het geefgeld wordt besteed en de gift wordt niet altijd ongebonden gegeven, maar gaat vergezeld van allerlei voorwaarden. Soms is er sprake van actieve betrokkenheid bij de uitvoering van het project. Voor deze groep donateurs is resultaat- en impactmeting het meest relevant. Deze donateurs verwachten sociale resultaten en zijn bereid te coproduceren bij resultaat- en impactmetingen. 72 VERANTWOORDEN

75 Hoofdstuk V Discussie en aanbevelingen Het laatste hoofdstuk van deze publicatie over resultaat- en impactmeting voor goededoelenorganisaties betreft een behandeling van de verschillende gradaties in het meten van resultaten en impact (Paragraaf 5.1) en aanbevelingen voor het toepassen van resultaat- en impactmeting in de praktijk en de rol die verschillende partijen hierbij hebben (Paragraaf 5.2). Tot slot volgt in de laatste paragraaf een toelichting op het perspectief van het CBF op resultaat- en impactmeting (Paragraaf 5.3) Gradaties van resultaat- en impactmeting Veel goededoelenorganisaties vinden het moeilijk resultaat en impact te meten en evaluaties uit te voeren. Een uitgebreide evaluatie kan tijdrovend en kostbaar zijn en niet iedere organisatie zal hiervoor de middelen of de kennis hebben. Daarnaast bestaat wellicht niet voor iedere organisatie de noodzaak om een uitgebreide impactmeting te doen. Zoals eerder opgemerkt, kunnen beginnende of kleinere goededoelenorganisaties prima uit de voeten met een eenvoudige vorm van resultaatmeting om te laten zien wat hun toegevoegde waarde is. Een organisatie die begint met resultaaten impactmeting zal in eerste instantie vooral gebruikmaken van vragenlijsten of bijeenkomsten met belanghebbenden. Pas wanneer een organisatie meer bedreven is in het uitvoeren van resultaat- en impactmeting of hiervoor de kennis en de middelen heeft, kan bijvoorbeeld ook gebruik worden gemaakt van focusgroepen en statistische analyses naar correlatie en causaliteit. De indruk die na het lezen van deze publicatie kan zijn ontstaan, is dat het opzetten en uitvoeren van resultaat- en impactmeting vooral erg ingewikkeld is en wellicht minder haalbaar is voor beginnende of kleinere goededoelenorganisaties. Weliswaar hebben organisaties met een minder omvangrijk budget een extra uitdaging in het meten van hun resultaten, toch kunnen ook zij aan de slag gaan met dit onderwerp. Bijvoorbeeld, door te beginnen met het gestructureerd formuleren van doelstellingen, prestatie-indicatoren, verwachte resultaten en de mogelijke effecten daarvan. En door het geleidelijk verzamelen van (verhalende en gemeten) gegevens over de directe resultaten en de effecten daarvan op de doelgroep. Er is niet één enkele methode voor resultaat- en impactmeting. Elke goededoelenorganisatie zal een methode of aanpak ontwikkelen die past bij de eigen organisatie en de specifieke context van de organisatie Aanbevelingen Het CBF wil graag enkele aanbevelingen meegeven aan diverse partijen die zich in de goededoelensector bezighouden met resultaat- en impactmeting, zoals de goededoelenorganisaties zelf, wetenschappers en financiers en sectororganen. Aanbeveling 1: Veranker resultaat- en impactmeting in de organisatiecultuur Het zal uit deze publicatie duidelijk zijn geworden dat het voorbereiden, implementeren en uitwerken van resultaat- en impactmeting inspanningen vraagt van diverse afdelingen en personen binnen de organisatie: vanaf het opstellen van doelstellingen en prestatie-indicatoren tot het doordenken van een meetmodel en het organisatiebreed leren van de uitkomsten zullen waarschijnlijk diverse personen betrokken zijn. Om deze personen te ondersteunen, motiveren en in dezelfde richting te bewegen, is het van groot belang dat resultaat- en impactmeting een geaccepteerd en breed gedragen aspect van de werkzaamheden wordt of blijft. Het evalueren van en rapporteren over resultaten en effecten kan leiden tot het verbeteren van de eigen activiteiten en projecten. Dit kan alleen als er binnen de organisatie een structuur is die het mogelijk maakt om continu en gestructureerd activiteiten en projecten te evalueren, te leren van deze evaluaties en vervolgens activiteiten en projecten te verbeteren. Aandacht voor resultaat- en impactmeting kan daarom het beste vanaf het begin in activiteiten en projecten worden meegenomen. Daarnaast zouden organisaties vaker ook de negatieve uitkomsten van een evaluatie kunnen laten zien. Voor het zelfstandig uitvoeren van resultaat- en impactmeting zijn voldoende kennis en middelen belangrijke voorwaarden. Door de beschikbare kennis op dit gebied te verankeren, kan die kennis in de organisatie behouden blijven en verdwijnt deze niet bij een wisseling van personeelsleden, iets wat geregeld aan de orde is in de goededoelensector. Met name op het gebied van kennisvergroting en -uitwisseling ziet het CBF ook een rol weggelegd voor de wetenschap en brancheorganisaties. Aanbeveling 2: Maak budget vrij voor resultaat- en impactmeting Naast voldoende kennis zijn met name ook de (financiële) middelen noodzakelijk om resultaat- en impactmeting te kunnen (laten) uitvoeren. Dit kan op meerdere manieren. Vanuit DISCUSSIE 73

76 atierapporten, checklists, tips en modellen. Aan de andere kant richten de meer wetenschappelijke publicaties zich met name op de complexe aspecten van evaluaties, zoals het definiëren van begrippenkaders, methodieken en statistische discussies. Het toepassen van de huidige, door de wetenschap ontwikkelde, methoden en instrumenten voor resultaaten impactmeting lijkt voor beginnende en kleine organisaties vaak een enorme opgave. Zo kan het zijn dat de wetenschap voorschrijft dat evaluatieonderzoek onder zowel de projectgroep als een controlegroep dient te worden uitgevoerd. Maar wat als de organisatie geen tijd of financiering heeft voor deze mogelijkheid? Of als er geen kennis en ervaring kan worden ingekocht en evaluaties niet kunnen worden uitbesteed? Houden de mogelijkheden dan op? Er lijkt een behoefte te zijn aan wetenschappelijk gefundeerde, maar praktisch toepasbare kaders en instrumenten waar ook kleine en beginnende organisaties mee kunnen werken. Ook een casuïstiekgerichte wetenschappelijke analyse van de ervaringen van goededoelenorganisaties met resultaat- en impactmeting zou waardevolle inzichten kunnen geven aan goededoelenorganisaties en andere partijen in de goededoelensector. Zo kan bijvoorbeeld ook onderzocht worden welke activiteiten het meest effectief zijn in welke sectoren (milieu, ontwikkelingssamenwerking, welzijn, gezondheid) en of deze ook in andere sectoren zouden kunnen werken, wat succesfactoren en valkuilen zijn. Aanbeveling 4: Leer van elkaars ervaringen en werk samen Ondanks de uitdagingen waarmee goededoelenorganisaties worden geconfronteerd, zijn er vele en goede voorde goededoelenorganisaties zelf kan expliciet budget en tijd vrij worden gemaakt voor resultaat- en impactmeting. Zij kunnen ook additionele fondsen werven door in een projectvoorstel of begroting ruimte hiervoor op te nemen. Daarnaast is ook een belangrijke rol weggelegd voor institutionele financiers en vermogensverschaffers door financiering mogelijk te maken voor resultaat- en impactmeting, bijvoorbeeld als opzichzelfstaande aanvraag of als onderdeel van een project- of activiteitenaanvraag. Ook zouden institutionele financiers en vermogensverschaffers aan aanvragers een heldere leidraad kunnen verschaffen hoe zij in hun projectaanvraag aandacht kunnen schenken aan aspecten van resultaat- en impactmeting, zoals het bepalen van de uitgangssituatie, het formuleren van doelstellingen en prestatieindicatoren voorafgaand aan het project en het meten van resultaten, effecten en impact, gedurende en na afloop van het project. Institutionele financiers en vermogensverschaffers kennen ieder een eigen verantwoordingsformat. Dit is lastig voor goededoelenorganisaties die vaak met meerdere financiers te maken hebben. Een gezamenlijk initiatief van financiers of een eenduidiger verantwoordingsformat zou hier een positieve bijdrage aan kunnen leveren. Aanbeveling 3: Zet ook eenvoudige instrumenten en best practices op de onderzoeksagenda In de zoektocht naar methodieken en ervaringen met resultaat- en impactmetingen door goededoelenorganisaties, zien veel (beginnende en kleine) goededoelenorganisaties door de bomen het bos niet meer. Aan de ene kant is er een overvloed aan informatie beschikbaar in de vorm van evalu- Voorbeeld over samenwerken en leren van elkaar We willen de kennis over transparantie en resultaaten impactmeting graag delen met andere organisaties, zowel in Nederland als in Zuid-Afrika. Bij ons tienjarig bestaan hebben we een symposium georganiseerd voor collega-particuliere initiatieven die net als wij actief zijn in Zuid-Afrika. Dat bleek zo n succes dat we sindsdien jaarlijks een netwerkbijeenkomst organiseren waar netwerken, delen en van elkaar leren centraal staan. Daarnaast zijn we moderator van de Netwerkgroep Zuid-Afrika op LinkedIn waar ook kennis en informatie wordt gedeeld. Interview met Riekje de Vries, Stichting Projecten Zuid-Afrika Netwerkdag (foto: SPZA) 74 DISCUSSIE

77 beelden waar organisaties van kunnen leren. Bijna alle goededoelenorganisaties proberen hun impact en invloed echter geïsoleerd van elkaar te meten. Zij praten zelden met collega-organisaties over de uitdagingen waarmee zij worden geconfronteerd. De gehanteerde benaderingen en expertise worden nauwelijks gedeeld. Toch is resultaat- en impactmeting een gebied waarin goededoelenorganisaties succesvol kunnen samenwerken en van elkaar kunnen leren. Organisaties die werkzaam zijn in dezelfde sectoren hebben vaak een soortgelijke aanpak en overeenkomstige doelstellingen, wat betekent dat de processen en instrumenten die ze nodig hebben voor het meten van resultaten en impact dezelfde zullen zijn. Samenwerking kan leiden tot het ontwikkelen van een gedeeld kader om de belangrijkste resultaten en impact te meten. Ook de brancheorganisaties kunnen hierin een belangrijke rol spelen. Zij kunnen informatie geven aan of trainingen organiseren voor goededoelenorganisaties. Brancheorganisaties hebben daarnaast een rol als het gaat om het communiceren over uitkomsten van resultaat- en impactmeting. In samenwerking met de media kunnen brancheorganisaties donateurs voorlichten en dilemma s met betrekking tot resultaat- en impactmeting voor goededoelenorganisaties laten zien. Er is een genuanceerde vorm van communicatie nodig. De achtergronden van resultaat- en impactmeting en de resultaten en effecten van de organisatie zijn immers minstens zo belangrijk als de cijfers CBF-perspectief Het doel van deze publicatie is om een bijdrage te leveren aan de verdere professionalisering van resultaat- en impactmeting en organisaties te helpen bij het nadenken, ontwikkelen en implementeren hiervan teneinde bestedingen nog beter te kunnen verantwoorden. Het CBF heeft deze uitgave en de in 2012 verschenen folder Bouwstenen voor Resultaat- en Impactmeting tevens gerealiseerd om instrumenten te bieden die keurmerkhouders kunnen gebruiken bij de verantwoording over de bestedingen. Een vereiste van het CBF-Keur. Tevens tracht het CBF hiermee tegemoet te komen aan de wens van, met name institutionele, donateurs om de rapportage over impact verder te ontwikkelen binnen de goededoelensector. Vanuit de ervaringen bij het beoordelen van keurmerkhouders acht het CBF het nodig dat er meer helderheid ontstaat over de gebruikte begrippen en kaders die vaak de revue passeren. Alhoewel evaluaties een belangrijk onderdeel uitmaken van het CBF-Keur en CBF-Certificaat voor kleine goededoelenorganisaties, zal het CBF op dit aspect van impact vooralsnog geen vergaande inhoudelijke eisen stellen aan goededoelenorganisaties die het CBF-Keur of CBF-Certificaat toegekend hebben gekregen. Het is wel een vereiste dat er procesmatig aan het meten van resultaten en impact gewerkt wordt en dat men laat blijken hoe men dat doet. Organisaties blijven vrij in de manier waarop zij invulling geven aan evaluaties binnen hun processen en activiteiten en de mate waarin zij hierin investeren en er extern over communiceren. Als toezichthouder handhaaft het CBF het criterium dat fondsenwervende goededoelenorganisaties verantwoording af dienen te leggen over hoe de fondsen zijn besteed. En verantwoorde keuzen vragen deskundigheid en inzicht. Er dient daarentegen ook erkend te worden dat de wetenschap niet op alle vragen een antwoord heeft en dat goededoelenorganisaties die grote inspanningen leveren om hun resultaten en impact te meten en dit methodisch goed willen doen ook te maken hebben met vele factoren die niet te overzien of te beïnvloeden zijn. Dit dient onze sector ook te accepteren. Het CBF wenst alle instellingen veel succes bij het verder ontwikkelen en uitvoeren van resultaat- en impactmeting. DISCUSSIE 75

78 76

79 Visies en ervaringen uit de sector Wilde Ganzen Wat doet Wilde Ganzen? Wilde Ganzen (WG) is specialist op het gebied van concrete projecten in ontwikkelingslanden. Wij stellen mensen in staat om initiatieven ter bestrijding van armoede zelf uit te voeren. Het gaat om kleinschalige en lokale projecten: investeringen in basisvoorzieningen om bijvoorbeeld onderwijs en gezondheidszorg te verbeteren of om schoon drinkwater beschikbaar te stellen. In 2012 bedroeg het totale volume aan Wilde Ganzen-financieringen 11 miljoen, verdeeld over 321 projecten, waarvan meer dan de helft plaatsvonden in Afrika. Wij hanteren een bijzondere formule, doordat wij samenwerken met Particuliere Initiatieven (PI) in Nederland. Dit zijn lokale Nederlandse stichtingen, verenigingen, serviceclubs, kerken of migrantenorganisaties die projecten indienen. Deze projecten worden uitgevoerd en geleid door lokale organisaties in ontwikkelingslanden, zoals scholen, klinieken, vrouwengroepen of dorpsgemeenschappen, die wij als de Project Eigenaren beschouwen. Het zwaartepunt ligt dus in het buitenland, waar de Project Eigenaren (PE) het beste weten wat prioriteit heeft en wat voor hen haalbaar is. Een PE geeft aan dat er dringend behoefte is aan bepaalde investeringen (bijvoorbeeld een uitbreiding van de schoolgebouwen of medische apparatuur voor de kliniek) en stelt hiertoe samen met het PI een plan op. Als Wilde Ganzen het plan goedkeurt, gaat het PI in Nederland middels lokale acties geld werven. Wilde Ganzen voegt aan de totale actie-opbrengst een premie van 55% toe. De totale som wordt door Wilde Ganzen overgemaakt aan de Project Eigenaar in het buitenland. Behalve deze financiële bijdrage biedt Wilde Ganzen ook advies en capaciteitsversterking. Resultaatmeting, transparantie en heldere communicatie naar donateurs en het publiek toe zijn essentieel. Toch moeten er, gegeven dat de projecten een gemiddelde begroting hebben van minder dan , realistische verwachtingen worden gesteld aan resultatenrapportages. Ook moet bedacht worden dat zowel de realisering van het project als het verzamelen van de informatie erover het product zijn van veel vrijwilligerswerk van zowel de PE als PI. Zonder dit vrijwilligerswerk zou ons werk niet kunnen bestaan. Resultaat- en impactmeting bij Wilde Ganzen Wilde Ganzen zet in op toenemende transparantie en heldere communicatie van projectresultaten. In het voorjaar van 2013 gaan wij hierover op de website rapporteren, met een korte schets plus enkele foto s van wat er gerealiseerd is. Nu al koppelen wij projectresultaten terug in de kwartaalmagazines. Daarnaast heeft Wilde Ganzen begin 2013 CIDIN, een wetenschappelijk onderzoeksinstituut, gecontracteerd om een onafhankelijk onderzoek in vier ontwikkelingslanden te verrichten naar de duurzaamheid van afgeronde projecten. Dit onderzoek zal Wilde Ganzen meer inzicht geven in de voorwaarden die ex ante vervuld moeten zijn om de kans op duurzame impact van projectinvesteringen te vergroten. Daarbij leert het ons aan welke capaciteitsversterking Project Eigenaren behoefte hebben. De resultaten van dit onderzoek worden in 2014 verwacht. Iedere aanvraag van Project Eigenaren en Particuliere Initiatieven is voor Wilde Ganzen een nulmeting. Deze geeft informatie over de situatie van de doelgroep voorafgaand aan het project. Hierbij wordt onder andere gekeken naar de context- en probleemanalyse, concrete benodigdheden, geplande activiteiten, de hoeveelheid begunstigden, welke Millenniumdoelen zullen worden bereikt en hoe het project duurzaam kan worden voortgezet. Na afloop van het project kan gemeten worden welke verbeteringen zijn gerealiseerd ten opzichte van de beginsituatie. Na realisatie van het project, stuurt de PE Wilde Ganzen een financieel en inhoudelijk verslag dat volgens een vastgesteld stramien geschreven is, met een aantal foto s. Na de interne beoordeling en goedkeuring door een projectmedewerker wordt het dossier afgesloten. De projectmedewerker vergelijkt de verwachte bijdrage aan de realisatie van de Millenniumdoelen met de gerealiseerde resultaten. Volgens het Impact Value Change Model ligt de focus van de Wilde Ganzen-resultaatmeting voornamelijk op het niveau van inputs, activiteiten en outputs. Kortom, wat is er gedaan en wat is er feitelijk gerealiseerd. Op korte termijn is er minder zicht op de outcomes: de langeretermijneffecten. Wilde Ganzen maakt de aanname dat succesvolle realisatie van de outputs, zoals het bouwen van een extra klaslokaal, met hoge waarschijnlijkheid zal bijdragen aan de outcome dat de leerlingen hierdoor betere schoolprestaties halen. Hopelijk is de langetermijnimpact dat zij later beter in hun VISIES 77

80 levensonderhoud zullen kunnen voorzien. Het nieuwe CIDINimpactonderzoek zal ons hierover meer inzichten verschaffen. Waterproject in India (foto: Wilde Ganzen) Monitoren en resultaatmeting in de praktijk is altijd effectiever dan alleen op papier. Daarom reizen Wilde Ganzenprojectmedewerkers af naar een bewust gekozen selectie van projecten. Deze live observaties en impressies worden breed gedeeld in verslagen. Het doel is om de PE en PI advies, ondersteuning en expertise op positieve en constructieve manier aan te bieden. Ook hiervoor werkt Wilde Ganzen zeer nauw samen met Particuliere Initiatieven. PI s bezoeken hun projecten veel regelmatiger. Zij kunnen hierdoor veel waardevolle informatie verzamelen voor de resultaat- en impactmeting. Waar nodig worden lokale con- sultants ingeschakeld. Ook deze informatie gebruiken wij in de resultaatmetingen. Tot slot In een klimaat waarin ontwikkelingssamenwerking herhaaldelijk in twijfel wordt getrokken en waarin donateurs kritische vragen stellen, is goed omgaan met de vraag naar resultaaten impactmetingen voor goededoelenorganisaties van groot belang. Daarom moet het adequaat verzamelen, bewerken en communiceren van informatie over de positieve (en minder positieve) effecten van hun werk deel uitmaken van hun core business. Maar realiteitszin en bescheidenheid is wel geboden: de prijs voor het verkrijgen van deze informatie moet in verhouding staan tot de waarde van het project. En, zoals de CBF-studie zeer terecht opmerkt, de achterban van goededoelenorganisaties is zeer divers en de resultateninformatie moet dus doelgroepspecifiek worden aangeboden. Goededoelenorganisaties, groot en klein, zouden er zeer mee geholpen zijn als er een consensus zou komen over wat nog redelijk is, en wat niet meer, met betrekking tot de informatie over resultaten en de kosten om die te meten en te communiceren. Het CBF zou een voortrekkersrol kunnen spelen bij het bereiken van een dergelijke consensus. Hierdoor zouden goededoelenorganisaties een beter antwoord kunnen hebben op de steeds verdergaande vraag om resultaten in detail te etaleren. Fabio Poelhekke Senior beleidsmedewerker Wilde Ganzen Heuvellaan JN Hilversum Telefoon: info@wildeganzen.nl 78 VISIES

81 Erasmus Centre for Strategic Philanthropy Erasmus Universiteit Rotterdam Impact is de maatschappelijke waarde die je creëert. Door te focussen op impact kun je meer verschil maken. Op impact focussen betekent dat je nadenkt over de impact die je wilt hebben en hoe je deze het beste kunt bereiken. Vervolgens verzamel je informatie over de daadwerkelijke impact die je bereikt. Deze informatie gebruik je om van te leren, wat er goed werkte en wat er beter kan, en om dit te communiceren naar stakeholders zoals je donateurs. Impact gaat dus over monitoren en evalueren, maar gaat ook verder dan dat: het is een mindset in de organisatie, en de basis van strategisch denken over het goede dat je wilt doen. Je kunt de daadwerkelijk behaalde impact echter alleen vaststellen met een evaluatie. Veel goededoelenorganisaties begrijpen dat het belangrijk is om impact te evalueren en zijn op zoek naar manieren om dit te doen. Dit is niet makkelijk: er is veel verwarring over wat impact nou precies betekent, hoe het anders is dan outcome- of outputeffecten, en er zijn normatieve debatten over de methoden of zelfs indicatoren waarmee de impact geëvalueerd zou moeten worden. Het ECSP definieert impact als de maatschappelijke waarde die je creëert. Deze maatschappelijke waarde kan zich manifesteren op verschillende dimensies (sociaal, economisch en milieu) en op verschillende niveaus (mensen en organisaties, de omgeving, en sociale systemen en instituties). Output-effecten zijn de diensten en producten (dit kunnen ook lobbyactiviteiten of campagnes zijn) die je verleent, zoals bijlessen geven op school voor achterstandsjongeren. Outcome-effecten zijn de directe maatschappelijke waarden die het resultaat zijn van jouw projecten, zoals verbeterde testresultaten op school. Impact is de maatschappelijke waarde die je creëert, zoals een verbeterd zelfbeeld of economische groei, waar je het perspectief van de organisatie inruilt om te kijken naar je resultaten vanuit het perspectief van de maatschappij. Er zijn in de goededoelensector veel mythes over impact en het evalueren van impact. Het evalueren van impact vergt een heuse verschuiving van de manier van werken in de sector, waar het oordeel over de waarde van een organisatie of project verplaatst van intentie naar resultaat. Deze mythes hebben een negatief effect op de houding van goededoelenorganisaties (en hun donateurs) ten aanzien van impact en het evalueren van impact. ECSP zet zich daarom in om deze mythes te ontmaskeren en te ontkrachten. Een aantal voorbeelden: Impact evalueren is duur. Het ECSP adviseert dat middelen voor impactevaluatie worden gereserveerd aan de start van projecten. In sommige gevallen is een impactevaluatie niet nodig, omdat er al voldoende evaluaties zijn gedaan naar de impact van een project. De kosten van een impactevaluatie hangen af van de keuzen die gemaakt worden t.a.v. de informatie die men mee wil nemen en de zekerheid waar- mee men de resultaten kan interpreteren. Dit is een afweging die iedere organisatie maakt, afhankelijk van het doel van de impactevaluatie in samenwerking met haar stakeholders en dit zal per project verschillen. Impact evalueren kan alleen op lange termijn en donateurs willen na 1, 2 of 3 jaar resultaten zien. De tijdspanne van een impactevaluatie hangt af van de termijn waarop de maatschappelijke waarde zich manifesteert. Dit kan op zeer lange termijn zijn, bijvoorbeeld als het doel van een project is om economische groei te bevorderen. In deze gevallen kunnen korte- of middellangetermijnindicatoren gebruikt worden om de bedoelde impact te benaderen. Een aantal goede plekken voor inspiratie zijn: wikivois.org, iris.thegiin.org en urban.org/center/cnp/projects/outcomeindicators.cfm. Impact evalueren geeft vaak teleurstellende resultaten. Maatschappelijke waarde creëren is niet gemakkelijk. Er zijn succesverhalen zoals de rol van goededoelenorganisaties in de strijd tegen polio, maar het nauwkeurig evalueren van de impact laat vaak ook zien dat de logica achter de manier waarop een project zou leiden tot de gewenste impact niet klopt. De doelgroep gebruikt de muggennetten niet, het gefinancierde onderzoek zou zonder filantropisch geld ook uitgevoerd zijn of de private sector had bij afwezigheid van de goededoelensector het internet toch wel beschikbaar gemaakt. Goededoelenorganisaties zijn vaak bang om gestraft te worden door donateurs voor teleurstellende resultaten. Daarnaast kampen vermogensfondsen en subsidieverstrekkers in hun eigen organisaties met dezelfde VISIES 79

82 teleurstellingen van negatieve resultaten. Het ECSP draagt bij aan de benodigde cultuurverschuiving, waar impactevaluaties en negatieve resultaten omarmd worden als kansen om te leren en verbeteren. Het ECSP benadrukt daarom het belang voor impactevaluaties om verder te gaan dan de vraag wat is onze impact? naar de vraag hoe vergoten wij onze impact?. Deze benadering helpt organisaties door een verbetervraag centraal te stellen bij impactevaluaties. ECSP doet onderzoek, geeft opleidingen en is betrokken bij projecten op dit gebied, zodat organisaties kunnen leren van resultaten en deze op de juiste manier naar stakeholders kunnen communiceren. Alleen van kwantitatieve effecten kan impact geëvalueerd worden. In principe is alles te evalueren. De ware uitdaging van het evalueren ligt in het duidelijk definiëren van wat de toegevoegde maatschappelijke waarde is. In vele gevallen is het gemakkelijker om impacteffecten met een monetaire waarde zoals economische groei of belastingbesparing te evalueren omdat hiervoor al voldoende data voorhanden zijn en deze niet meer verzameld hoeven te worden. Er zijn echter talloze instrumenten zoals vragenlijsten en gevalideerde indicatoren om kwalitatieve effecten, zoals gezondheid, geluk en eenzaamheid, te kunnen evalueren. Het ECSP is een onafhankelijk onderzoeks- en kenniscentrum. Dit betekent dat het ECSP opereert zonder winstoogmerk of promotie van specifieke services, producten of methodologieën. Het ECSP gebruikt kennis uit de weten- schap om praktisch waardevolle antwoorden te formuleren op de urgente vragen rondom impact, zoals: Wanneer is een impactevaluatie waardevol? Hoe weten we wat we moeten evalueren? Welke methodologie moeten we gebruiken om te evalueren? Hoe interpreteren we onze resultaten? Het ECSP is zowel als onderzoekend, uitvoerend, adviserend en onderwijzend orgaan bezig met impactevaluatie. Het ECSP voert met regelmaat impactmetingen uit voor instellingen en organisaties. Daarnaast stelt het ECSP zich ook op als adviseur door impactgerelateerde vragen van organisaties te beantwoorden. Hierbij kijken we naar het concept van impact, evaluatiemethodieken, resultaten en andere gerelateerde thema s. Ook houdt het ECSP zich bezig met de rol van impactinformatie op het niveau van het filantropische eco-systeem en draagt zij proactief bij aan het verbeteren van de beschikbare informatie over de impact van projecten of organisaties. Een voorbeeld is de Performance Prediction Scan (PPS) die het ECSP ontwikkelde voor de Kennisbank Filantropie. De PPS is een set van criteria waarvan we weten dat zij bijdragen aan de potentie van organisaties om goed te presteren. ECSP onderzoekt niet alleen vraagstukken die betrekking hebben op impact. Er wordt ook aandacht besteed aan vraagstukken op gebieden zoals governance, bedrijfsvoering, opschaling, etc. De onderwijsactiviteiten van het ECSP richten zich vooral op professionals die de ambitie hebben om in hun werkzame leven maatschappelijke waarde te leveren. ECSP biedt hen verschillende waardevolle opleidingsprogramma s, van discussieavonden, masterclasses en summer schools tot meerdaagse opleidingen. Kellie Liket, PhD student Karen Maas, Assistant Professor ECSP Burgemeester Oudlaan 50 H-Gebouw, kamer H10-34 Postbus 1738 NL 3000 DR Rotterdam Telefoon: VISIES

83 Samenwerkende GezondheidsFondsen / Hersenstichting Impact bepalen is grote uitdaging De goede dingen doen Als goede doelen voeren we allerlei activiteiten uit ten behoeve van onze doelgroep. We leggen onze ziel en zaligheid erin! Waar we misschien te weinig over nadenken is of we daarmee ook de goede dingen doen. Dragen de activiteiten waar we zo naarstig aan werken uiteindelijk bij aan een betere wereld voor onze doelgroep en dus voor iedereen? Een belangrijke vraag, want uiteindelijk is dit onze diepste drijfveer en de reden waarom onze donateurs ons steunen. Maar ook een vraag waarop het niet eenvoudig is een goed antwoord te geven. Het verschil maken Impact aantonen is het verschil inzichtelijk maken tussen de toestand die bestaat mét en zonder de interventies van het goede doel. Onder impact wordt dan verstaan de bedoelde en onbedoelde effecten van die interventies voor de doelgroep en de samenleving als geheel. Er is een begintoestand (een probleem), dit leidt tot weer een interventie met bepaalde activiteiten, hetgeen weer leidt tot een nieuwe eindtoestand. Er is iets veranderd door de interventie! Door De problemen met het meten van impact worden algemeen erkend. Bij de Hersenstichting richten we ons bij het bepalen van de impact vooral op het effect van onze interventies voor de diverse doelgroepen. Een van de manieren waarop je deze impact kan bepalen, is het bevragen van de doelgroepen naar ervaringen in de huidige toestand vergeleken met die van vroeger. Hersenstichting Nederland, onze missie en strategie Hersenstichting Nederland wil de hersenen beter begrijpen om hersenaandoeningen te helpen voorkomen en genezen. 1. Wij stimuleren en financieren continu hersenonderzoek met vooraf vastgelegde doelen en programma s. 2. We stellen nieuwe inzichten uit onderzoek op een begrijpelijke en praktisch toepasbare manier beschikbaar via brede voorlichtingsactiviteiten. 3. Wij gaan samenwerkingsverbanden aan met andere relevante partijen om zo kennis te kunnen delen en de beschikbare financiële middelen gezamenlijk in te zetten. 4. Wij zijn zo de schakel tussen de hersenwetenschap, donateurs en individuele personen voor het gezond functioneren van onze hersenen en kwaliteit van leven. 5. Onze fondsenwervende activiteiten zijn er op gericht om financiële middelen te verwerven om de strategie uit te voeren en de missie te volbrengen. Successen in kaart brengen In 2011 hebben we onze successen van de afgelopen jaren in kaart gebracht. We hebben gekeken naar vordede begintoestand en de eindtoestand te vergelijken kun je uitspraken doen over de impact. Hier komt al een levensgroot probleem om de hoek kijken, nl. dat je voor het bepalen van impact eigenlijk jezelf moet wegdenken. Activiteiten leiden tot impact en dus kun je stellen dat elk goed doel impact heeft. Maar het gaat natuurlijk vooral om de beoogde impact, impact in het verlengde van je doelstelling, je missie. Donateurs steunen jouw organisatie immers niet omdat je voor een stuk werkgelegenheid zorgt, wat wel degelijk impact heeft. Ze steunen je omdat ze ervan uitgaan dat jouw activiteiten het effect hebben, dat ze de situatie van je doelgroep verbeteren. Impact aantonen Er is een groot verschil tussen impact hebben en impact aantonen. Hoe meer andere partijen zich met soortgelijke activiteiten bezighouden, hoe lastiger vast te stellen is wat de specifieke bijdrage van jouw interventies en activiteiten is op de beoogde eindtoestand. Dit geldt voor veel goede doelen, en zeker ook voor GezondheidsFondsen die onder andere door middel van wetenschappelijk onderzoek een ziekte willen oplossen. Wereldwijd worden duizenden onderzoeken uitgevoerd die allemaal een steentje hieraan bijdragen. De bijdrage van het onderzoek door jouw organisatie is lastig vast te stellen. Bij monocausale en lineaire activiteiten is de impact veel eenvoudiger vast te stellen. De NS is monopolist op het belangrijkste spoornetwerk in Nederland. Valt de NS uit, dan is de impact hiervan redelijk gemakkelijk vast te stellen. VISIES 81

84 ringen in de wetenschap en naar (verbeterde) behandelingen van patiënten die we specifiek op ons conto kunnen schrijven. We hebben daar een apart project van gemaakt, waarbij o.a. gesproken is met de diverse belanghebbenden. Uit het project kwamen vele resultaten, maar uiteindelijk hebben we drie belangrijke effecten van ons werk kunnen identificeren. Resultaten uit wetenschappelijk onderzoek die de behandeling van de patiënten belangrijk verbeterden en waar we echt het verschil maakten. Hersenonderzoek autisme (foto: Hersenstichting) Balanced Scorecard Verder is een belangrijke ontwikkeling dat we medio 2012 een Balanced Scorecard (BS) hebben samengesteld. De BS is een strategisch hulpmiddel voor de besturing van de Hersenstichting. Het is een set indicatoren, kengetallen, die er in hun onderlinge samenhang toe leiden dat de beoogde effecten gehaald worden. Het verband tussen de indicatoren en impact berust op een aantal aannamen. Elk kwartaal wordt de status quo van deze indicatoren verzameld. Overigens bevat de BS ook indicatoren die slechts eenmaal of tweemaal per jaar kunnen worden vastgesteld. In 2012 hebben we geëxperimenteerd met deze vorm van sturing. In 2013 hebben we de diverse indicatoren van de BS nog weer eens onder de loep genomen en deze opnieuw samengesteld. In principe moet dit fine-tunen elk jaar gebeuren. De BS 2013 omvat 16 indicatoren, verdeeld over verschillende rubrieken en gericht op diverse stakeholders. Impactstudie onderzoeksactiviteiten Uit de BS volgen metingen die indicaties geven van impact. Op het terrein van het onderzoek dat de Hersenstichting laat uitvoeren hebben we eind 2012 een impactstudie afgerond van de zogenaamde kleine subsidies. Dit zijn bijdragen voor onderzoek en studie naar specifieke aspecten van de hersenen of hersenaandoeningen. In de impactstudie waren alle wetenschappelijke onderzoeken en studies betrokken die de Hersenstichting mogelijk maakte en die in respectievelijk 2011, 2009 en 2007 zijn afgerond. De evaluatie is uitgevoerd op basis van de informatie uit de eindrapportages en een schriftelijke enquête met aanvullende vragen. Voor de bepaling van de Impact is gekeken naar de volgende twee primaire vraagstellingen: 1. Wat was de looptijd van het gesubsidieerde onderzoek van start- tot eindrapportagedatum? 2. Wat heeft de gesubsidieerde studie uiteindelijk aan spin off opgeleverd? Hierbij is gekeken naar de publicaties [1], patenten, vervolgsubsidies en/of voortzetting onderzoekslijn, en carrièrestappen van de onderzoeker (hoogleraarschap) en zijn medewerkers (promoties). Publicaties zijn de voornaamste uitkomstparameter van de spin off, omdat in het wetenschappelijke veld het aantal, de kwaliteit en impact van publicaties de norm zijn. Wetenschappers worden hierop afgerekend en daarnaast zijn publicaties ook een belangrijk medium voor de verspreiding van de kennis. De publicaties zijn aan de hand van nadere parameters verder geanalyseerd. Daarbij gaat het om zaken als het aantal publicaties en de impact van een publicatie aan de hand van Web of Science, Journal Citation Reports. Resultaatmetingen Op het terrein van de voorlichting die we geven, meten we verschillende elementen van de tevredenheid van de gebruiker: 1. De informatie die we aanbieden via onze website. Bruikbaarheid, begrijpelijkheid, informatiewaarde. 2. De tevredenheid over de patiëntenvoorlichting. 3. De tevredenheid over het schriftelijke materiaal (Bron: onderzoek Hersenstichting) [1] Dit is een indicator voor de BS. 82 VISIES

85 Het effect van onze interventies op de samenleving als geheel krijgen we niet scherp in kaart. Wij zijn (voorlopig) tevreden met zicht op onze impact voor onze stakeholders! Centre for International Development Issues (CIDIN) Radboud Universiteit Nijmegen Peter Schoof Directeur Hersenstichting Nederland Hersenonderzoek malapractice (foto: Hersenstichting) Het gaat hierbij om continue metingen na toezending van de verstrekte informatie. Ook onze donateurs worden als een belangrijke groep stakeholders beschouwd en dus is ook hun mening over en ervaringen met de Hersenstichting van belang. Van tijd tot tijd meten we de Nettopromotorscore van de donateurstevredenheid. Uit het laatste onderzoek (december 2012) kwam een NPS van 32,7 [2] als resultaat op tafel. Conclusie Om impact te kunnen meten moet je indicatoren vaststellen die berusten op redelijke aannamen. Door de indicatoren regelmatig te meten kun je aannemelijke uitspraken doen over de impact voor je stakeholders. [2] 0=goed, >50=excellent Samenwerkende GezondheidsFondsen (SGF) Stationsplein 127 (3e etage) 3818 LE Amersfoort Telefoon: Hersenstichting Koediefstraat CG Den Haag Postbus CD Den Haag Telefoon: info@hersenstichting.nl Resultaat- en impactmeting van projecten in ontwikkelingslanden is al jaren een kernactiviteit van CIDIN. Centraal in ons impactonderzoek staat Participatory Impact Assessment (PIA), zoals beschreven in paragraaf 2.4 van dit boek. Een gelijknamig pilotproject loopt al sinds 2007 met Cordaid. Daarin evalueren we op huishoudniveau de activiteiten van zes Cordaid-partners in Peru, Ghana en India. Een steekproef van de doelgroep wordt over een periode van vijf jaar gevolgd en vergeleken met een steekproef uit een samen met de partnerorganisatie gekozen controlegroep. Onder beide groepen is een nulmeting en een eindmeting verricht om attributie van effecten (wat is veroorzaakt door wat?) mogelijk te maken. Daarnaast gaan we meestal via groepsdiscussies met de leden van doelgroepen in gesprek over de onderwerpen waar het project zich op richt. Dat levert de nodige informatie op over de context waarin het project zich afspeelt, maar ook over de manier waarop lokale belanghebbenden naar het project kijken. Deze kwalitatieve component biedt tevens de mogelijkheid om de door de organisatie gehanteerde theory of change van het project tegen het licht te houden: hoe en waarop denkt de orga- VISIES 83

86 behorende tot de laagste kaste nauwelijks profiteerden van een project waarin een boerencoöperatie was opgezet, ondanks het feit dat de ledenlijst een redelijke afspiegeling van de lokale kastestructuur vormde. Lagekasteleden werden echter systematisch buiten de informatiestroom gehouden, of hielden zich bewust afzijdig omdat zij dergelijke praktijken verwachtten. Zodoende waren ze niet op de hoogte van nieuwe landbouwmethoden en afzetmogelijkheden voor hun producten. Dit was niet voorzien door de betreffende organisatie. Ze waren toch immers lid van de coöperatie? De impactanalyse leidde hiermee tot het besef dat village politics, oftewel de politiek en de machtsverhoudingen op dorpsniveau, ten onrechte waren veronachtzaamd. (foto: CIDIN) Een ander voorbeeld betreft het opzetten van rurale gezondheidscentra in Ghana. Dit leidde tot verbeterde toegang tot zorg, maar gaf niet de verwachte afname in malarianisatie verandering tot stand te brengen en wat zijn de visies van de doelgroep en andere belanghebbenden daarop? In onze impactstudies besteden we veel aandacht aan het opsporen van onbedoelde effecten, hetzij in positieve hetzij in negatieve zin, en trachten we een inschatting te maken van de duurzaamheid van de gerealiseerde resultaten. Is in de doelgroep een wezenlijke mentaliteitsverandering opgetreden waardoor effecten onomkeerbaar zijn, of bestaat het gevaar dat bij beëindiging van het project de doelgroep weer terugkeert naar business as usual? Centraal in onze aanpak staat ook kennisoverdracht. Dit bereiken we door lokale projectuitvoerders nauw bij de impactmeting te betrekken (bijvoorbeeld door samen intensief op zoek te gaan naar de juiste indicatoren om succes aan af te lezen) en de uitkomsten van de impactanalyse op laagdrempelige wijze terug te koppelen naar de doelgroep. Verder betrekken wij ook lokale onderzoekers bij onze evaluaties, vanwege hun kennis van de lokale situatie, cultuur en talen, maar ook om lokaal evaluatiecapaciteit op te bouwen en onze kennis daarvan over te dragen. CIDIN heeft de sterke overtuiging dat de kwaliteit en relevantie van impactmeting verhoogd kunnen worden door kwantitatieve en kwalitatieve methoden op een slimme manier te combineren, zoals het gebruik van de nulmeting voor de identificatie van de juiste informanten voor interviews en groepsdiscussies. Een dergelijke mixed methods -benadering helpt om te begrijpen welke omgevingsfactoren van invloed zijn op het succes van een project, zodat de interventiestrategie daarop kan worden aangepast. Zo bleek in India dat boeren gevallen te zien. Uit groepsdiscussies bleek dat de gelijktijdige introductie van een ziektekostenverzekering door de overheid de behandeling van malaria nog toegankelijker maakte, waardoor gezinnen minder geneigd waren om preventieve maatregelen te nemen, zoals het gebruik van een klamboe. Dit ongewenste neveneffect heeft de betreffende organisatie aangespoord om preventiecampagnes en voorlichtingsactiviteiten te intensiveren om zo de perverse prikkels van betere behandelende zorg te neutraliseren. Naast de voordelen van PIA, die vooral liggen in het leerpotentieel en de kritische reflectie op de eigen theory of change, is er ook een beperking te noemen. Zo is het niet eenvoudig om effecten van verschillende projecten, of vergelijkbare projecten in verschillende landen, bij elkaar op te tellen en zo richting donateurs of sponsoren een overall-indicatie van value for money te geven. De unieke context per projectlocatie wreekt zich hier. De methode is veeleer geschikt om de effectiviteit van innovatieve projecten te toetsen (voor eventuele opschaling) en om op basis van uitgevoerde activiteiten ideeën voor vervolgprojecten te genereren. Hoewel CIDIN ook onderzoek verricht naar de impact van grootschalige interventies, zoals het Millennium Village Project in Kenia, een programma in Bangladesh dat op zoek is naar de meest effectieve manier om kindhuwelijken tegen te gaan, en de effecten van certificering van koffie op boereninkomens, bestaat onze expertise voornamelijk in effectmeting van kleinschaligere projecten uitgevoerd door verschillende typen maatschappelijke organisaties. Goede 84 VISIES

87 relaties en onderzoekservaring met gevestigde ontwikkelingsorganisaties, en in toenemende mate ook corporate foundations en particuliere initiatieven, zijn hiervan de achtergrond. Momenteel voert CIDIN impactanalyses uit voor Agriterra in Burundi, The Hunger Project in Benin en Solidaridad in Ethiopië, Kenia en Oeganda. Selectie van CIDIN-impactstudies: Debebe, Z.Y., Kempen, L. van & Hoop, T.J. de (2012). A perverse net effect? Health insurance and ex-ante moral hazard in Ghana. Social Science & Medicine, 75(1), Hoop, T. de, Kempen, L. van, Eerdewijk, A. van & Linssen, R. Women s autonomy and subjective well-being in India: how village norms shape the impact of self-help groups. Verschijnt binnenkort in Feminist Economics. Wanjala, B. & Muradian R. Can Big Push interventions take small-scale farmers out of poverty? Insights from the Sauri Millennium Village in Kenya. Verschijnt binnenkort in World Development. Luuk van Kempen en Lau Schulpen Researchers/Lecturers 1%CLUB / AmLab Open Impact- en Resultaatmeting Sinds 2008 zijn er via het platform van 1%CLUB 400 kleinschalige ontwikkelingsprojecten succesvol van start gegaan. Projecten van mensen met slimme ideeën uit ontwikkelingslanden die via crowdfunding en crowdsourcing hun idee werkelijkheid willen laten worden. Crowdfunding en crowdsourcing kan alleen succesvol zijn als vervolgens het resultaat van deze projecten gedeeld wordt met de mensen die het project ondersteund hebben. Het tonen van resultaten is dus voor deze kleinschalige projecten van cruciaal belang. Maar we weten ook dat het aantonen van resultaat en het meten van impact vanuit een kleinschalig project niet makkelijk is. Voor een goede impactmeting is kennis en capaciteit op het gebied van evaluatie nodig. Iets dat vaak ontbreekt bij deze projecten. Daarnaast worden de data vaak op zulke verschillende manieren verzameld, dat een vergelijking tussen deze verschillende kleine projecten niet mogelijk is. Samenwerking is hierbij van groot belang. Om dit mogelijk te maken is 1%CLUB op zoek gegaan naar samenwerkingspartners die binnen AmLab als snel gevonden waren. En met deze nieuwe partners zijn ook de ambities groter geworden. Deze makkelijke en toegankelijke manier van impact- en resultaatmeting moet niet alleen mogelijk zijn voor kleinschalige ontwikkelingsprojecten maar zou juist omarmd moeten worden door de gehele ontwikkelingssector. AmLab staat voor een nieuwe manier van Impact- en Resultaatmeting. Het gaat een stap verder dan accountability en transparantie. Het gaat over een paradigmaverandering van top down naar bottom up, van wisdom of the experts naar wisdom of the crowd, van verantwoording naar samenwerking en leren en van transparantie naar open. Van open datasets naar een open inclusief model van samenwerking waarbij de eindgebruikers centraal staan. CIDIN Thomas van Aquinostraat GD Nijmegen Telefoon: cidin@maw.ru.nl Een goede reden voor 1%CLUB om op zoek te gaan naar een nieuwe manier van monitoring en evalutie voor kleinschalige projecten. Met de inzet van nieuwe technologieën als SMS en smart phones wordt het een stuk gemakkelijker om data te verzamelen en zichtbaar te maken en kan evalueren gemakkelijk geïntegreerd worden in de dagelijkse praktijk. (foto: 1%Club) VISIES 85

88 Het zal het werk van goededoelenorganisaties tot een proces maken dat minder een interventie in het onbekende is en meer een beter onderbouwd pad naar inclusieve duurzame ontwikkeling. Waarbij ruimte is om fouten te maken. Waarbij snelle 360-graden-feedbackloops leiden tot permanent bijstellen van de uitgezette koers. Fail fast. Learn Fast. Ook worden de interventies die tot een positieve sociale ontwikkeling hebben geleid op deze manier zichtbaarder en traceerbaarder. En last but not least: efficiency, herhaalbaarheid en schaalbaarheid zullen toenemen. Resultaat- en impactmeting zijn hierbij geen bijzaak meer maar structureel onderdeel van iedere organisatie en daarbij van cruciaal belang. efficiënter, effectiever te werken, meer open en transparant te zijn en de crowd erbij te betrekken. Marianne Gybels Manager Program development 1% CLUB s Gravenhekje 1a 1011 TG Amsterdam Telefoon: info@1procentclub.nl We hebben hiervoor een methode en set van tools ontwikkeld die real time reporting mogelijk maken. We maken het mogelijk om met behulp van simpele tools als SMS, video, blogs en interviews via smart phones projecten in beeld te brengen en te monitoren. Deze monitoring is rechtstreeks zichtbaar op de online-omgeving van het project waardoor er een constante stroom van persoonlijke rapportage van de eindgebruikers zichtbaar is. Deze rapportages samen zorgen ervoor dat er een impactmeting per project kan worden gedaan. Op het moment dat deze manier van monitoring en evaluatie wordt gecombineerd met de beschikbare open data is het mogelijk om van micro- tot macroniveau zichtbaar te maken wat het effect van de goededoelenorganisatie is. En het geeft de mogelijkheid om projecten te vergelijken op regionaal, nationaal en internationaal niveau. (foto: 1%Club) De uitgangspunten zijn simpel. Het moet vanuit de gebruikers gedragen worden, het moet meerdere invalshoeken belichten, het moet een gesprek zijn waarbij de focus ligt op mensen en niet op instituties. Daarnaast gaat het niet om controle maar om vertrouwen van mensen onderling en is leren de belangrijkste doelstelling. Het belangrijkste uitgangspunt: het is een open systeem. Iedereen kan input leveren en van elkaars ervaringen leren. Open source software die open data verzamelt. Dat is volgens AmLab de toekomst van impact- en resultaatmeting. AmLab (kort voor Amsterdam Lab) bestaat uit Akvo, Text to Change en 1%CLUB. AmLab ontwikkelt gezamenlijk innovatieve tools for Social Change die het mogelijk maken om Partners AmLab: TTC: Akvo: 86 VISIES

89 Partos Branchevereniging voor Internationale Samenwerking Partos is de branchevereniging voor Internationale samenwerking in Nederland. De vereniging behartigt de belangen van 120 Nederlandse particuliere ontwikkelingsorganisaties die actief zijn op terreinen als armoedebestrijding, humanitaire hulpverlening, mensenrechten en duurzame ontwikkeling. De overkoepelende doelstelling van Partos is om de effectiviteit van de aangesloten lidorganisaties te ondersteunen. Hiertoe bevordert Partos onder andere kennis, kwaliteit en transparantie van lidorganisaties. Bevorderen van kennis Goede planning, monitoring en evaluatie (PME) zijn cruciaal om programmaresultaten te bereiken, inzichtelijk te maken en hiervan te leren. Partos draagt actief bij aan de professionalisering van lidorganisaties op dit gebied door PME-cursussen aan te bieden in samenwerking met derden. Daarnaast organiseert Partos informatie- en uitwisselingsbijeenkomsten over strategisch belangrijke thema s en bevordert het gezamenlijk leren van onderzoek. Zo is Partos nauw betrokken bij de gezamenlijke MFS-II-evaluaties waaraan meer dan zestig ontwikkelingsorganisaties (georganiseerd in negentien allianties) deelnemen. De gezamenlijke MFS- II-evaluaties zijn een direct gevolg van de eisen die het ministerie van Buitenlandse Zaken heeft gesteld aan MFS-II- allianties. Zo moet er in tegenstelling tot voorgaande jaren een nulmeting plaatsvinden om de situatie voorafgaand aan een interventie in kaart te brengen. Ook dienen uitkomsten bij doelgroepen vergeleken te worden met uitkomsten bij controle- of referentiegroepen. De resultaten van de evaluaties worden eind 2014/begin 2015 bekend gemaakt. Bevorderen van kwaliteit Door de relatie met effectiviteit en doelmatigheid is organisatiekwaliteit een belangrijk aandachtspunt van Partos. De ISO 9001 is een norm die kwaliteitseisen stelt aan het kwaliteitsmanagementsysteem van een organisatie. Partos heeft een sectorspecifieke toepassing van de ISO 9001 ontwikkeld. Deze sectorspecifieke toepassing ( de Partos 9001 ) houdt rekening met de specifieke omstandigheden van Internationale Samenwerking. Leden worden actief gestimuleerd om de Partos 9001 te implementeren. Daarnaast committeren Partos-lidorganisaties zich aan de Partosgedragscode. Deze code geeft algemeen geldende waarden weer die door Partosleden worden onderschreven als basis voor hun handelen. Voor alles wat in deze code staat beschreven, geldt dat het is geformuleerd vanuit het belang van effectieve Internationale Samenwerking. Zo schrijft de Gedragscode voor dat lidorganisaties de kwaliteit van hun organisatie regelmatig extern laten toetsen. Bevorderen van transparantie Op verschillende manieren bevordert Partos transparantie van de lidorganisaties. Het International Aid Transparency Initiative (IATI) hanteert internationale standaarden voor het openen van data over de bijdrage aan, de voortgang op en de resultaten van Internationale Samenwerking. Partos bevordert transparantie in overeenstemming met de IATIstandaarden, vanuit de overtuiging dat open (lees: machineleesbare en vrij toegankelijke) data een belangrijke bijdrage kunnen leveren aan de effectiviteit van Internationale samenwerking. Tijdens de jaarlijkse kennis- en netwerkbijeenkomst Partos Plaza, wordt de Briljante Mislukkingen Award uitgereikt. Een Briljante Mislukking is een goed voorbereid project dat anders is gelopen dan gepland en waarvan vervolgens door de organisatie is geleerd. Het doel van het uitreiken van deze prijs is het lerend vermogen, de innovatiekracht en de transparantie in de sector bevorderen. Partos Plaza (foto: Rebke Klokke) Resultaat- en impactmeting Partos bevordert het strategisch inrichten van de organisatie en organisatieprocessen bij leden om een positief effect op VISIES 87