Transcriptie

1 Performance Prediction Scan (PPS) Succesfactoren voor maatschappelijke prestatie Onderzoeksrapport Abstract: Dit rapport geeft inzicht in de ontwikkeling van de nieuwe webtool van het Erasmus Centre for Strategic Philanthropy (ECSP) in samenwerking met het Centraal Informatiepunt voor Goede Doelen (CIGD). De methodiek heeft als doel het inzichtelijk maken en verhogen van de positieve maatschappelijke impact van goede doelen organisaties, voor zowel de organisaties zelf als voor de donateurs. Dit doel wordt bereikt door de ontwikkeling van een methodiek die bestaat uit een collectie van criteria, die ieder de kans dat een goede doelen organisatie een grote positieve maatschappelijke prestatie heeft, doet vergroten. Deze zijn gebaseerd op kennis en ervaringen uit de praktijk en de wetenschap. Auteurs: Kellie Liket, PhD Studente* ECSP, Erasmus Universiteit Rotterdam Karen Maas, Assistant Professor ECSP, Erasmus Universiteit Rotterdam Milou Klasen, Junior Onderzoeker ECSP, Erasmus Universiteit Rotterdam *Correspondentie via 1

2 Dankwoord De auteurs willen in de eerste plaats alle goede doelen organisaties bedanken die aan dit onderzoek meegewerkt hebben. De inzichten die zij gaven waren de cruciale aanvullingen om de leringen uit de literatuur te vertalen naar de praktijk. Ook het CIGD, Viola Lindeboom en haar team, speelde een onmisbare begeleidende rol in dit onderzoek en het opstellen van dit rapport. Tevens zijn wij dank verschuldigd aan het gehele team van het Erasmus Centre for Strategic Philanthropy (ECSP): Manuela Ettekoven, Charles Erkelens, Ellen Oberink, Jos Hooft, Amara Goeree en de rest, dank voor jullie inzichten en ondersteuning. 2

3 Inhoudsopgave 1. Inleiding Maatschappelijke Impact...5 Wat is impact?...5 Impact meten Bestaande Methodieken Ontwikkeling Methodiek De toegevoegde waarde van de PPS De pijlers van de PPS...19 Transparantie...22 Organisatie...26 Activiteit...33 Referenties...38 Bijlagen... 3

4 1. Inleiding Zowel goede doelen organisaties (GDO s) als donateurs zijn op zoek naar meer inzicht in de maatschappelijke impact van de charitatieve sector. Inzicht in de effecten van de activiteiten van GDO s levert cruciale informatie op. Enerzijds om te gebruiken bij strategische vraagstukken en besluitvorming, anderzijds om duidelijk, transparant te communiceren naar de donateurs. De ontwikkelde Performance Prediction Scan (PPS) helpt GDO s om de verwachte effecten van hun activiteiten te vergoten en op transparante, vergelijkbare wijze te communiceren. Het doel van de PPS is om inzicht te geven in de kans op een grote positieve maatschappelijke impact van GDO s, voor de donateur, de GDO s zelf en de sector. De PPS is een webtool die kosteloos gebruikt kan worden door alle GDO s in Nederland. De PPS evalueert niet de prestaties van GDO s op basis van resultaten uit het verleden (ex- post), maar bestaat uit de beoordeling van de aanwezigheid van een set criteria die, indien succesvol geïntegreerd, de kans op een grote positieve maatschappelijke impact van de GDO verhoogt (ex- ante). De PPS geeft inzicht in de verwachting, op basis van organisatie- en proceskenmerken, dat een GDO een grote positieve maatschappelijke impact zal hebben. De resultaten van de PPS zijn op verschillende manieren bruikbaar voor GDO s en donateurs. Ten eerste maakt het de kans op een grote positieve maatschappelijke impact van GDO s voor de donateur inzichtelijk. Op basis hiervan kan een donateur een beter geïnformeerde keuze maken. Ten tweede kunnen GDO s leren van elkaar door de resultaten van andere gelijksoortige GDO s te bestuderen. Ten derde kunnen de GDO s de resultaten gebruiken voor interne ontwikkeling en professionalisering. Door inzicht in de criteria kunnen de GDO s zich verder ontwikkelen om positieve maatschappelijke impact te vergroten. Het huidige landschap van keurmerken en charity ratings In het laatste decennium zijn GDO s, nationaal en internationaal, overspoeld met vragenlijsten voor keurmerken en databases. Het CBF- keurmerk, de nationale goede doelen test, de CHAMP- methodiek, de social e- valuator maar ook internationale initiatieven zoals Guidestar (UK), Charity Watch (USA), BBB Better Business Bureau (USA), vallen allen onder deze paraplu. Hiernaast ontwikkelen consultancies, zoals NPC New Philanthropy Capital en FSG Social Impact Advisors, regelmatig nieuwe monitoring & evaluation technieken en impact- frameworks. Dit scala aan initiatieven kan tot zware administratieve lasten leiden voor GDO s, vooral voor de kleinere organisaties. Een nieuw initiatief moet daarom een zeer weloverwogen besluit zijn. In dit rapport wordt uiteengezet waarom de PPS een unieke positie inneemt in het reeds bestaande scala aan methodieken en 4

5 initiatieven, die antwoord geeft op de vraag naar meer inzicht in de maatschappelijke prestaties van de charitatieve sector. In hoofdstuk 2 worden de gebruikte definities uiteengezet. In hoofdstuk 3 worden de bestudeerde methodieken kort besproken en wordt aangegeven hoe en waar de PPS de huidige methodieken aanvult. Hoofdstuk 4 gaat gedetailleerd in op de ontwikkeling van de PPS. In hoofdstuk 5 wordt de toegevoegde waarde van de PPS uitgelegd en in hoofdstuk 6 worden de gebruikte criteria verantwoord en uitgelegd. 2. Maatschappelijke Impact Voordat wordt ingegaan op de bestaande methodieken en de ontwikkeling van de PPS, wordt het concept van maatschappelijke impact uitgelegd. Wat is impact? Impact is een op vele wijzen gebruikte term. Het ontbreken van een eenduidige definitie ligt hieraan ten grondslag. Wel wordt impact consistent gebruikt om te refereren aan de waarde die wordt gecreëerd voor de doelgroep, of de maatschappij als geheel, als gevolg van een ondernomen activiteit (Emerson, Wachowicz, & Chun, 2000). In de literatuur wordt deze basisdefinitie uitgebreid met een aantal elementen: 1. Impact is het effect dat wordt ervaren door de doelgroep en andere betrokkenen. Impact kan dan ook alleen in kaart worden gebracht door middel van een participatief proces waarbij het perspectief wordt verlegd van de organisatie naar deze betrokkenen (Kolodinsky, Stewart, & Bullard, 2006) 2. Impact is de som van zowel bedoelde en onbedoelde effecten en positieve en negatieve effecten (Wainwright, 2002) 3. Impact is het effect ten opzichte van what would have happened anyway (Clark, Rosenzweig, Long, & Olsen, 2004) Ad 1. Kolodinsky et al. (2006) stelt dat maatschappelijke impact per definitie een ervaring is van de doelgroep. Vanuit een sociologisch oogpunt kan het sociaal constructivisme gekoppeld worden aan waardecreatie; (maatschappelijke) waarde is een sociaal construct. Het sociaal constructivisme houdt in dat personen hun beslissingen en acties niet baseren op een objectieve realiteit, maar op overtuigingen over de realiteit (Berger & Luckman, 1966). Begrip van deze overtuigingen is dus noodzakelijk om waarde te bepalen. Wanneer de maatschappelijke waarde van (een activiteit van) een GDO bepaald wordt, dienen derhalve alle geraakten betrokken te worden bij het bepalen van deze waarde. 5

6 Ad 2. Wainwright (2002) maakt een duidelijk onderscheid tussen impact en ouput of outcome. Waar men bij output en outcome kijkt naar de zogenaamde deliverables, zoals aantal scholen gebouwd of aantal condooms uitgedeeld, kijkt men bij impact naar alle effecten van de activiteit, zoals de veranderingen in het leven van kinderen door educatie of veranderingen in seksueel gedrag. Deze omvatten niet alleen de bedoelde positieve effecten, maar ook de onbedoelde positieve effecten en de (on)bedoelde negatieve effecten. Men kan pas spreken over impact als alle effecten, ook de effecten op andere groepen dan de doelgroep, worden meegenomen (Wainwright, 2002; Burdge & Vanclay, 1996). Dit kan worden verhelderd met behulp van de zogenaamde impact keten (Clark et al., 2004). Deze loopt van input via output en outcomes naar impact. Input zijn de hulpmiddelen die een organisatie nodig heeft om te kunnen handelen, zoals geld, tijd en kapitaal. Input leidt tot output. Dit zijn direct te meten consequenties van het handelen. Voorbeelden hiervan zijn aangepaste speeltoestellen, een bepaald aantal trainingen voor artsen, een bepaald aantal voorlichtingsbrochures. Outcome omvat meer dan dit, het vertaalt de output naar de mate waarin zij bijdragen aan de doelstelling van de organisatie. Een outcome is het voordeel of de verandering voor personen of groepen door de activiteiten van de GDO. Input Activities Output Outcome Goal s alignment Changes to social systems - What would have happened anyway = IMPACT Figuur 1. Impact Value Chain (Clark et al., 2004) Ad 3. Clark et al. (2004) beargumenteert de noodzaak van een benchmark. De definitie die zij van maatschappelijke impact hanteren luidt als volgt: The portion of the total outcome that happened as a result of the activity, above and beyond what would have happened anyway. Dit houdt in dat men - naast een beeld van alle effecten die een GDO heeft gehad op alle betrokkenen - ook een benchmark tot haar beschikking moet hebben om impact te meten. Centraal staat de vraag: Hoe is het welzijn van de direct (doelgroep) of indirect geraakten veranderd door de activiteit ten opzichte van de situatie wanneer deze niet had plaatsgevonden?. Deze benchmark is nodig om met zekerheid te kunnen vaststellen of de verandering inderdaad toe te schrijven is aan bepaalde activiteiten van de GDO s en niet is veroorzaakt door andere factoren. Daarom luidt de ware impactvraag in 6

7 het ideale geval als volgt: Hoe zou het welzijn van de direct (doelgroep) of indirect geraakten veranderd zijn wanneer de activiteit niet had plaatsgevonden?. Impact meten De definitie die in dit rapport wordt gebruikt van maatschappelijke impact bevat alle drie van de beschreven elementen. Maatschappelijke Impact Criteria Maatschappelijke impact is de waarde die een ondernomen activiteit heeft op de gehele maatschappij, 1. Zoals deze waarde ervaren wordt door de doelgroep en de andere geraakten. 2. Gecorrigeerd voor bedoelde en onbedoelde, positieve en negatieve effecten. 3. Ten opzichte van een benchmark van wat er sowieso gebeurd zou zijn zonder de ondernomen activeit. Vandaag de dag bestaat er geen methodiek die volgens deze definitie de maatschappelijke impact van GDO s waarheidsgetrouw in kaart kan brengen. Er zijn wel verschillende methodieken die het meten van impact volgens bovenstaande definitie benaderen. In hoofdstuk 3 worden deze beschreven. 7

8 3. Bestaande Methodieken Er bestaan al verschillende methodieken die prestaties van GDO s inzichtelijk proberen te maken en/of trachten te meten. 2 Onderverdelingen: 1. Ex- Ante versus Ex- Post methodieken 2. Casus versus Vergelijkende methodieken De huidige methodieken die iets zeggen over het presteren, de (maatschappelijke) impact of de kwaliteit van GDO s zijn onder te verdelen op basis van een tweetal kenmerken. Enerzijds is er onderscheid tussen ex-ante versus ex-post methoden. Ex- ante is Latijn voor van te voren en behelst dus een voorspellende methode. Ex- post is Latijn voor achteraf of na afloop en omvat derhalve een evaluatieve methode. Uit de analyse van de verscheidene methodieken is gebleken dat de bestudeerde casus methodieken nagenoeg allemaal ex- post (evaluerende) methodieken zijn, terwijl de bestudeerde vergelijkende methodieken juist ex- ante (voorspellende) methodieken zijn. Anderzijds is er onderscheid tussen methoden die iedere GDO als uniek beschouwen, de zogenaamde casus methodieken versus methodieken die een grote groep organisaties onder een bepaalde norm of standaard scharen, de vergelijkende methoden. Ex-ante versus Ex-post methodieken Ex-ante methodieken Tot ex- ante methodieken behoren methodieken die een GDO of een groot aantal GDO s beoordelen op basis van een voorspelling. Er wordt hierbij uitspraak gedaan over de verwachte output, outcome of impact van GDO s. Maar ook methodieken die een minder concreet doel nastreven, bijvoorbeeld het op een prospectieve wijze borgen van kwaliteit van een sector, vallen onder deze noemer. Ex- ante methodieken beoordelen GDO s dus op voorhand en niet op basis van behaalde resultaten. Ex-post methodieken Met behulp van ex- post methodieken wordt de GDO achteraf beoordeeld. Dit is in de vorm van evaluaties; het achteraf meten van output, outcome of impact. Het meten van de prestaties achteraf is een cruciale, maar tijdrovende taak die vaak (externe) expertise of het gebruik van kostbare methodieken vraagt. Omdat maatschappelijke impact een kwalitatieve ervaring is van de begunstigden en de omgeving, verschilt zij per context. In het ene land kan een nieuwgebouwde fabriek bijvoorbeeld voor moderniteit en vooruitgang staan, terwijl het in het andere land als landschapsvervuiling wordt ervaren. Dat maakt 8

9 de maatschappelijke impact die men per project meet, moeilijk vergelijkbaar tussen verschillende projecten. De vergelijking kan wel tot stand komen wanneer de zogenaamde units of measurement gelijk zijn aan elkaar. Dit is het geval wanneer men een aantal projecten met elkaar vergelijkt die allen hetzelfde doel hebben, zoals het verhogen van het aantal schoolgaande kinderen of het verhogen van het inkomen. Let wel, de vergelijking die in dit geval wordt gemaakt is op project- of activiteitenniveau. Doordat organisaties vaak meerdere activiteiten ondernemen is er in eerste instantie al een dilemma hoe deze voor een organisatie opgeteld kunnen worden op een betekenisvolle manier. Vervolgens is het zaak om bij die totale organisatie impact te vergelijken met de totale impact van een andere organisatie. Dit laat zien dat een waardevolle vergelijking op basis van ex- post of evaluatieve metingen van maatschappelijke impact nagenoeg onmogelijk is. Wanneer men toch een waardevolle vergelijking wil maken tussen een groot aantal GDO s, die allerlei verschillende activiteiten ondernemen, is een ex- ante methodiek de enige mogelijkheid. Een dergelijke methodiek kijkt naar de aanwezigheid van plan en actie, niet naar de daadwerkelijke uitkomst. Daardoor geeft zij dus geen uitsluitende vergelijking van GDO s op basis van daadwerkelijk presteren, zij stelt slechts de kans van een GDO op een grote positieve maatschappelijke impact vast. In tabel 1 worden de voor- en nadelen voor ex- ante en ex- post methodieken schematisch weergegeven. Categorieën Vergelijken Toepasbaarheid Flexibiliteit Kosten Ex- ante methodieken Ex- post methodieken Tabel 1. Ex-ante en Ex-post methodieken Casus- versus Vergelijkende methodieken Casusmethodieken Kenmerkend voor casusmethodieken is dat deze zijn toegespitst op een casus - een activiteit of een organisatie - rekening houdend met de omgeving waarin die GDO opereert of het project wordt uitgevoerd. Casusmethodieken bevatten een actief leerelement omdat de organisatie veranderingen kan doorvoeren naar aanleiding van de bevindingen. De casusmethodieken hebben als belangrijk voordeel dat ze het participatief verzamelen van data toelaten. Idealiter heeft iedere GDO een eigen casusmethodiek ontwikkeld, aangezien het de enige manier is om haar eigen prestatie te meten en daarbij dus ook haar eigen strategie op deze informatie te funderen. Een ander voordeel van casusmethodieken is dat elke methodiek kan worden aangepast aan de organisatie of het project waar de beoordeling of impactmeting op toegepast zal worden. Hierdoor kan de meting zorgvuldiger en vollediger uitgevoerd worden en kunnen alle criteria die voor het project of de GDO in 9

10 kwestie van belang zijn worden meegenomen. Het nadeel van deze methodieken is echter dat de GDO zelf haar criteria moet definiëren. Dit vergt (externe) kennis en tijd. Ook kan dit leiden tot subjectieve en onvolledige criteria. Een ander nadeel van de casusmethodieken is dat ze niet tot vergelijkbare resultaten leiden. Zoals ook eerder al besproken komt dit door de verscheidenheid aan de unit of measurements. Alleen wanneer deze gelijk is, bijvoorbeeld bij een eenduidig doel zoals het verminderen van sociaal isolement of het verhogen van sociale cohesie, kunnen verschillende activiteiten met elkaar vergeleken worden die hetzelfde doel hebben. Echter leidt dit nog niet tot de mogelijkheid om verschillende organisaties met elkaar te vergelijken; bijna alle organisaties hebben verschillende activiteiten met verschillende doelen (kennisontwikkeling van kanker, verlichting van de pijn van familieleden van iemand met kanker). De maatschappelijke impact van deze activiteiten is vervolgens moeilijk bij elkaar op te tellen. Dat maakt het onmogelijk om de maatschappelijke impact van verschillende organisaties met elkaar te vergelijken. Vergelijkende Methodieken Anderzijds zijn er methodieken, zoals keurmerken, die een grote groep GDO s onder een standaard trachten te scharen. Een nadeel van deze methodieken is dat de beoordeling vaak niet plaatsvindt op basis van effecten, laat staan impact. Vaak richten zij zich op elementen van de bedrijfsvoering en niet op de activiteiten. Ook op organisatieniveau kijken deze methodieken niet naar effecten, output of impact, maar naar criteria die iets zeggen over de wijze waarop GDO s zijn georganiseerd en hoe zij opereren. Het CBF- keurmerk bijvoorbeeld richt zich expliciet op vijf criteria: 1) bestuur, 2) beleid, 3) fondsenwerving, voorlichting en communicatie, 4) besteding van middelen, 5) verantwoording. Het CBF keurmerk kan hierdoor beter gezien worden als een code van goed gedrag, maar geeft geen enkele garantie voor een positieve maatschappelijke impact van de GDO. De vergelijkende methodieken stellen, doordat ze meestal publiekelijk toegankelijk zijn, donateurs in staat organisaties binnen een sector met elkaar te vergelijken. Hoewel de vergelijking dan alleen betrekking heeft op het gebied van bedrijfsvoering draagt dit bij aan transparantie naar de donateur. Tevens draagt zo een methode bij aan transparantie binnen de sector waardoor organisaties zich onderling kunnen vergelijken. Wanneer concurrenten een keurmerk hebben motiveert dit ook andere organisaties om aan de standaarden te voldoen. Een nadeel echter van keurmerken is dat het soms erg kostbaar is om een keurmerk aan te vragen. 10

11 De onderstaande tabel (tabel 2) geeft de resultaten van een analyse van verscheidene relevante methodieken weer. In bijlage B wordt iedere methodiek kort omschreven Casus Vergelijkend Methodieken Criteriaontwikkeling Ex- ante Ex- post Ex- ante Ex- post Bedrijfs- voering Impact Bedrijfs- voering Impact Bedrijfs- voering Impact Bedrijfs- voering Impact PPS Std x x Social Value GDO x x/- Ass. Tool Keurmerk Std x Goede Doelen SROI GDO x CHAMP GDO x PIA GDO x CBF Std x BBB Std x ANBI Std x Transparantieprijs Std x GRI (NGO Std x x supplement) Tabel 2. Methodiekvergelijking Uitleg Tabel Criteriaontwikkeling. Wanneer een methodiek gestandaardiseerde, dus vooraf opgestelde, criteria voor beoordeling gebruikt wordt dit weergegeven in de tabel met de afkorting Std. Wanneer de criteria afhankelijk zijn van de organisatie of het project en dus samen met de GDO worden opgesteld, dan staat dit aangegeven met de afkorting GDO. Casus Vergelijkend. In de tabel wordt verschil gemaakt tussen methodieken die zich richten op het beoordelen van een casus - een project of een organisatie en methodieken die als doel hebben vergelijkingen te maken tussen organisaties. Deze vergelijkende methodieken worden ook wel als sectormethodieken aangeduid. Methodieken die hieronder vallen zijn dusdanig ontworpen, dat organisaties in een sector met een gelijk doel die de methode toepassen, vergeleken kunnen worden op basis van bepaalde indicatoren voor presteren. 11

12 Ex- ante. Dit zijn methodieken die het presteren of de capaciteit van de organisatie voorspellen. Er wordt een onderscheid gemaakt tussen impactmethodieken, waarvan het doel daadwerkelijk het voorspellen van de waarde van de GDO s is en bedrijfsvoeringethodieken, die zich op de wijze waarop de organisatie ingericht is focussen. Ex- post. Dit zijn evaluerende methodieken die achteraf uitspraak doen over het presteren van de organisatie. Hier wordt eveneens het onderscheid tussen impact- en bedrijfsvoeringmethodieken aangehouden. In tabel 2 staat aangegeven welke methodieken ex- ante of ex- post maatschappelijke impact in kaart brengen. In tabel 3 staat gespecificeerd aan de hand van welke criteria deze methodieken maatschappelijke impact meten (zie pagina 8). Waar een vraagteken staat vermeld, is het opnemen van dat element afhankelijk van de criteria die ontwikkeld worden wanneer de methodiek wordt toegepast. Een vraagteken staat dus vermeld bij die methodieken waarbij de GDO zelf de criteria ontwerpt. In dat geval zijn de vragen of er een criterium wordt meegenomen gericht op participatie, de som van effecten en het hebben van een counterfactual is dus afhankelijk van de invulling van deze criteria door de GDO. Participatief Som van effecten Counterfactual PPS x X Social Value Ass. X x Tool Keurmerk Goede X Doelen SROI??? CHAMP?? x PIA x?? GRI (NGO supplement) x Tabel 3. Methodieken en de criteria voor maatschappelijke impact X 12

13 4. Ontwikkeling Methodiek Stap 1 In kaart brengen huidig landschap aan methodieken Alvorens het ontwerpen van een nieuwe methodiek is grondig onderzoek uitgevoerd naar het bestaande landschap aan methodieken, zoals omschreven in hoofdstuk 3. Deze betreffen zowel casus- als vergelijkende methodieken die zich direct op impact richten, maar ook de methodieken die naar de bedrijfsvoering of organisatiecapaciteit kijken. Uit de analyse komt naar voren dat er een behoefte is aan een vergelijkende methodiek die op een eenvoudige, toegankelijke wijze impact van GDO s in kaart brengt. Stap 2 Maatschappelijke prestatie vergelijkbaar maken met een ex- ante model De charitatieve sector onderscheidt zich van de publieke en private sector in de zin dat efficiëntie - met zo min mogelijk middelen zoveel mogelijk output creëren - niet de meest belangrijke onderliggende drijfveer is. GDO s zijn vrij te kiezen voor een missie, hoe inefficiënt ook ten opzichte van het creëren van de grootste waarde voor zo veel mogelijk mensen (drijfveer publieke sector) of het vinden van een prijs die het toelaat met winst het grootste aantal mensen een product te verkopen (drijfveer private sector). In de specialistische non-profit literatuur wordt dit kenmerk van de GDO al jaren uitgelegd aan de hand van de three-failures theory (Weisbrod, 1975), duidende op de tekortkomingen van de private-, publieke- en de charitatieve sector om aan alle behoefte van de maatschappij te voldoen. Waar de belangrijkste tekortkoming van de private sector het stellen van een vergelijkende prijs is waardoor vele consumenten door imperfecte informatie buitengesloten worden, is de belangrijkste tekortkoming van de publieke sector dat zij zich altijd inzet voor de grootste waarde voor zoveel mogelijk mensen. Beiden leiden regelmatig tot een gebrek aan producten en diensten voor specifieke doelgroepen of vlakken. Het is de charitatieve sector die deze groepen voorziet van diensten en producten. Dit heeft als gevolg dat zij vaak relatief inefficiënt is, aangezien zij hard werkt voor een specifiek doel dat louter waarde creëert voor een kleine groep mensen. Deze eigenschap van GDO s compliceert het evalueren van de effecten tussen de verschillende GDO s. Waar overheidsprogramma s altijd geëvalueerd kunnen worden ten opzichte van de dimensie de grootste waardecreatie voor zoveel mogelijk mensen en de activiteiten in de private sector ten opzichte van de dimensie winst, kunnen GDO s met hun grote verscheidenheid aan missies niet met een standaard vergeleken worden. Wanneer GDO s geëvalueerd zouden worden op de grootste waardecreatie voor zoveel mogelijk mensen, dan zouden alle GDO s die een gecompliceerde missie nastreven voor een kleine doelgroep relatief slechter presteren. Dit maakt het 13

14 evalueren en vergelijken van GDO s zeer complex. Men kan geen vergelijkende indicatoren opstellen, zoals het aantal mensen wiens gezondheid is verbeterd, of het aantal mensen wiens psychologisch welzijn is verbeterd. Dit vergt een compromis; doordat de uitkomsten van de evaluaties achteraf (ex-post) te divers zijn, moet het model een ex-ante (voorspellende) vorm aannemen. Dit betekent niet dat het zich niet op impact kan richten. Wel betekent het dat het louter de kans op een grote, positieve maatschappelijke impact in kaart kan brengen en niet de daadwerkelijk plaatsgevonden impact. Doordat het een voorspellende methodiek is, vermindert de nauwkeurigheid. De voor- en nadelen van een ex- ante versus een ex- post model worden uitgebreid besproken in hoofdstuk 3. Stap 3 Ontwikkelen criteria in ex- ante model Het ontwikkelen van de criteria in het ex- ante model is een complex proces. Het startte met zogenaamd desk-research, waar de kennis uit de wetenschap en praktijk, voor zover verkrijgbaar via publieke en wetenschappelijke bronnen, op een rij gezet zijn. Hier werd gezocht naar kennis over processen en systemen in organisaties, meestal specifiek toegepast op GDO s, die de kans op een grote positieve maatschappelijke impact vergroten. Ondanks dat deze kennis erg verspreid en talrijk is, is er een duidelijke consensus te ontdekken in de belangrijkste dimensies. Allen zijn ingesloten in deze methodiek, mits zij toelieten bevraagd te worden door middel van een online vragenlijst. De resultaten van het desk- research zijn eerst getest met behulp van een zogenaamde focus group. Dit was een bijeenkomst van een aantal experts uit de sector, die zelf een functie vervult binnen GDO s of andere organisaties in de sector en zich bezig houdt met het meten van effecten of het aansturen van een organisatie voor een grotere, positieve maatschappelijke impact. De groep was zeer divers en bevatte mensen van zowel kleine als grote organisaties. Deze groep creëerden samen, onder leiding van een van de onderzoekers, een ex- ante model voor een grote, positieve maatschappelijke impact. Zij begonnen dus compleet blanco en puzzelden samen een set aan criteria bij elkaar, 1 desk research 2 focus group tal experts 4 test met 4 GDO s waarvan zij dachten dat ieder criterium verband hield met het vergroten van de positieve maatschappelijke impact van een GDO. De criteria die zij tezamen opstelden kwamen zeer nauw overeen met de uitkomsten van het desk- research. Nadat de bevindingen van het desk- research en de focus group samengevoegd waren is een eerste versie van de vragenlijst op basis van de bevonden set aan criteria opgesteld. Bij het opstellen van de online vragenlijst is gebruik gemaakt van het boek Mail and Internet Surveys van Dillman (2007). Vervolgens heeft een veertigtal aan experts uit zowel de praktijk als de wetenschap deze vragenlijst bestudeerd en voorzien van commentaar en ideeën. Deze zijn allen zorgvuldig geïntegreerd in de methodiek. Waar nodig zijn deze experts gebeld of ontmoet om samen de methodiek te bekijken en aan te passen. 14

15 De uiteindelijke vragenlijst omvat verschillende elementen om wenselijke antwoorden zoveel mogelijk te voorkomen, waaronder het aanleveren van voorbeelden of controleren met behulp van bronnen. Eveneens zijn er controlevragen ingebouwd. Op deze wijze wordt getracht de validiteit (het daadwerkelijk meten wat wordt beoogd) en de betrouwbaarheid (de consequentheid van de methodiek) te garanderen. De laatste en belangrijkste stap besloeg het testen van de methodiek met vier diverse GDO s. Deze verschilden in grootte, in activiteiten die zij ondernemen en in professionaliteit en bestaansduur. Dit gaf de onderzoekers de gelegenheid om te zien of de vragenlijst moeilijk in te vullen was, wat de invulduur was, of er onduidelijkheden waren en wat het voor de GDO betekende om met al deze informatie geconfronteerd te worden. Stap 4 Pilot- studie; 554 GDO s in de gezondheidssector De laatste versie van de methodiek is vervolgens in de vorm van een online vragenlijst uitgestuurd naar een sample van 554 GDO s die in de CIGD database tot de gezondheidssector behoorden. Deze zijn allen eerst aangeschreven met een , waarin een link naar de vragenlijst vermeld stond. Vervolgens hebben de organisaties na twee weken een herinnering ontvangen, waarin nogmaals duidelijk uitgelegd werd wat de opmaak van de vragenlijst was en hoeveel tijd deze in beslag neemt. Een laatste herinnering is gestuurd na 3 weken, met vermelding van de deadline van 10 april Organisaties hebben de vragenlijst volledig Stap 5 ingevuld. Met de data van de pilotstudie kan de vragenlijst gevalideerd worden. Deze validatie Validaties methodiek bestaat uit een aantal elementen. Eerst wordt er met behulp van een statistische analyse gekeken naar de kwaliteit van de vragenlijst. Doordat er in de eerste versie van de vragenlijst een grote hoeveelheid controlevragen waren ingebouwd, zoals de vraag naar voorbeelden en linken naar websiteadressen of andere bronnen, konden nagenoeg alle antwoorden gecontroleerd worden. Op basis hiervan konden de onderzoekers een zogenaamd waarheidsratio opstellen. De analyse liet duidelijk zien dat wanneer men het onjuiste antwoord had gegeven, dit in bijna alle gevallen (meer dan 95%) kwam door de onduidelijke vraagstelling. Verder is er ook een analyse gedaan naar de best scorende en slechts scorende organisaties om de vraag te beantwoorden of het scoren op de methodiek makkelijker zou zijn voor grote versus kleine organisaties, of organisaties met een bepaalde activiteit. Dit was niet het geval. Stap 6 Launch Webtool Op basis van de resultaten is er een laatste versie van de methodiek opgesteld. Deze is nogmaals getest met een divers aantal GDO s om te zien of de vragenlijst eenvoudig in te vullen is. De uiteindelijke versie van de vragenlijst is vervolgens 15

16 geïntegreerd met de CIGD database, zodat de GDO s veranderingen aan kunnen brengen wanneer zij zaken aanpassen binnen hun organisatie die effect hebben op hun kans op maatschappelijke impact volgens de criteria uit de PPS. Het voordeel van een databasesysteem is dat er geen vaststaande resultaten zijn, zodat de organisaties voortdurend veranderingen kunnen doorvoeren. Daardoor is de methodiek een dynamische wijze om inzichten te geven aan de donateur, GDO s en andere geïnteresseerden. Als een GDO, naar aanleiding van bijvoorbeeld de vragenlijst, een nieuw aspect integreert in haar organisatie (zoals het betrekken van de doelgroep bij de opzet van een activiteit), kan dit simpelweg doorgevoerd worden in het systeem en wordt dit inzichtelijk op de webtool. Dit gebeurt echter wel nadat de veranderingen gecontroleerd zijn op correctheid, door middel van zowel het gebruik van een steekproef waar de organisaties bij invulling toezegging voor geven als door middel van het nakijken van de relevante publieke bronnen (zoals website, jaarverslag etc.). 16

17 5. De toegevoegde waarde van de PPS De PPS meet geen maatschappelijk impact, zij voorspelt louter dat de kans groter is dat een GDO een positieve maatschappelijke impact zal hebben. Op basis van nauwkeurig opgestelde criteria bepaalt de PPS welke GDO s waarschijnlijker zijn een grote positieve maatschappelijke impact te hebben. Maatschappelijke impact wordt hier gezien zoals in hoofdstuk 2 uitvoerig omschreven staat. De PPS begeeft zich expliciet niet op het terrein van normatief verschillende waarden koppelen aan doelstellingen van GDO s. Bij iedere GDO wordt gekeken naar haar proces in het behalen van een grote positieve maatschappelijke impact, waarbij de relevantie van de missie zelf niet wordt beoordeeld (de redenering hierachter wordt duidelijk uitgelegd in hoofdstuk 4). Het is belangrijk te benadrukken dat deze methodiek geen maatschappelijke impact meet, vandaar dat de term scan in de titel staat. Het gaat hier om een organisatiescan, die de kans op een grote positieve maatschappelijke impact van de GDO weergeeft. Op deze wijze maakt de PPS het mogelijk om verschillende GDO s te vergelijken. Performance Prediction Scan (PPS) De waarschijnlijkheid (ex- ante) van een grote positieve maatschappelijke impact Tabel 2 in hoofdstuk 3 toont dat een aantal methodieken zich ook richt op het in kaart brengen van de impact van GDO s waarbij de resultaten vergelijkbaar zijn. Het Keurmerk Goede Doelen is onzes inziens de meest waardevolle methodiek. De PPS verschilt op een aantal vlakken van het Keurmerk Goede Doelen. Het grootste verschil zit in de mate van transparantie die de PPS verschaft. Doordat de PPS geen gebruik maakt van een keurmerk, krijgen GDO s geen stempel, maar wordt alle informatie waarop de methode gebaseerd is weergegeven aan zowel de donateur als de GDO zelf. Dit geeft meer inzicht dan enkel het wel of niet voldoen aan een keur op basis van onzichtbare achterliggende criteria. Verder zijn bij de PPS alle fondsenwervende GDO s zichtbaar, niet alleen GDO s die aan de criteria voldoen. De informatie wordt dus niet opgeteld tot een score, of tot een waarde keur of geen keur. Zo is er dus van alle GDO s informatie zichtbaar, ook van de GDO s die zich nog verder kunnen ontwikkelen op bepaalde criteria. Het is dan aan de donateur om een keuze te maken over de belangrijkheid van ieder criterium. Bij het Keurmerk Goede Doelen wordt dit inzicht niet publiekelijk verschaft, wat ten koste gaat van de relatieve transparantie van de methodiek. Omdat de webtool van de PPS een soort database is en geen momentopname, kunnen de GDO s hun informatie steeds updaten wanneer er veranderingen zijn doorgevoerd. Dit is echter vaak bij een keurmerk ook het geval, al zijn daar 17

18 meestal wel kosten aan verbonden. Tenslotte levert de PPS een methodiek die alle GDO s kan beoordelen met een gelijke standaard. Dit voorkomt dat zij specifieke GDO s zal benadelen, zoals kleine GDO s, GDO s met een complexe missie of GDOs die een activiteit ondernemen die pas op een langere termijn impact genereren. 18

19 6. De pijlers van de PPS De PPS bestaat uit een verzameling van criteria die een voorspellende waarde hebben voor de maatschappelijke impact van GDO s. Ieder criterium kan als volgt gelezen worden: Indien uw organisatie voldoet aan criterium X, is er een grotere kans dat uw organisatie een grote positieve maatschappelijke impact levert. De criteria zijn, zoals beschreven in hoofdstuk 4 van dit rapport, zorgvuldig opgesteld en gevalideerd. Doordat de methodiek een webtool is die op een eenduidige wijze alle ± fondsenwervende GDO s in Nederland moet kunnen bevragen zijn er echter ook bepaalde criteria niet meegenomen. Vaak was dit doordat de criteria niet te bevragen waren in de format van de webtool, of omdat zij op geen enkele wijze te controleren zouden zijn. Andere bekende criteria zijn niet meegenomen omdat, ondanks hun populariteit of gebruik in sommige Nederlandse en internationale keurmerken en charity ratings, er geen wetenschappelijk bewijs is dat deze criteria enig verband hebben met hoe effectief een GDO haar missie kan bereiken. Het salaris van de CEO/directeur van de GDO is hier een klassiek voorbeeld van. Dit salaris kan in sommige gevallen een reflectie zijn van de (on)ethische houding van de persoon die de GDO leidt en op die wijze een negatief effect hebben op de waarschijnlijke grootte van de positieve maatschappelijke impact van de GDO. Echter kan het ook een reflectie zijn van de kennis en kunde van de persoon, die de positieve maatschappelijke impact van de GDO gigantisch doet vergroten. Een ander voorbeeld is de overhead ratio, of, zoals men in Nederland zegt, het gedeelte dat aan de strijkstok blijft hangen. Deze ratio brengt in kaart welk percentage van de inkomsten van de GDO uitgegeven wordt aan de administratieve taken van de GDO en welk deel uitgegeven kan worden aan de activiteit zelf. Echter laat onderzoek zien dat dit ratio niets zegt over de effectiviteit van het percentage dat aan de activiteit uitgegeven wordt. Natuurlijk is het belangrijk dat een GDO op een efficiënte wijze opereert, maar daar geeft de overhead ratio geen inzicht in. Zij zegt echter hoe duur het was om een activiteit op poten te zetten, wat logischerwijs drastisch verschilt tussen verscheiden activiteiten. Wanneer de missie van een GDO bijvoorbeeld is dat mensen met een chronische ziekte in contact met elkaar komen in groepsessies onder begeleiding van professionele hulp. Ook is er een aantal criteria waarover nog veel (wetenschappelijke) discussie bestaat, zoals het aantal vrijwilligers, waardegedreven leiderschap en organisatiereputatie, niet geïntegreerd in de methodiek. De methodiek is dan ook niet uitputtend. Het geeft inzicht in de kans dat een GDO een grote, positieve maatschappelijke impact heeft, maar geeft geen garanties. 19

20 De criteria kunnen geschaard worden onder één van de volgende drie pijlers: Transparantie Organisatie Activiteiten Deze pijlers zijn de drie basiselementen die bepalend zijn voor het leveren van maatschappelijke impact. Dit wordt weergegeven in figuur 2. Organisatie doelstelling Besluitvorming Activiteit Activiteit Activiteit Transparantie Controle Controle Controle Maatschappelijke Impact Figuur 2. De drie componenten die de drie pijlers vormen: transparantie, organisatie en activiteiten Binnen iedere pijler is er een aantal thema s waaronder de set aan criteria is gecategoriseerd. De thema s worden bevraagd op basis van twee tot vijf criteria. De pijlers, thema s en criteria worden weergegeven in het tabel 4. De criteria verwijzen naar de vragen uit de vragenlijst. 20