Impactmeting: een 10 stappenplan

Transcriptie

1 Impactmeting: een 10 stappenplan

2 Stap 1: De probleemanalyse De eerste stap in een impactmeting omvat het formuleren van de zogenaamde probleemanalyse welke tot stand komt door antwoord te geven op de volgende vijf vragen die al (deels) zijn toegespitst op de scope (organisatie, project, interventie) van het onderzoek: a) Wat is het maatschappelijke probleem? Wat is de huidige ongewenste situatie? b) Wat is de urgentie om dit probleem aan te pakken? En voor wie (stakeholders)? Wie zou welke gevolgen ondervinden als er niets aan het probleem wordt gedaan? c) Wat is de omvang van dit probleem? Hoeveel mensen hebben hiermee te maken? Zijn er subdoelgroepen te onderscheiden? d) Welke oplossing is hiervoor ontwikkeld? e) Wat zijn de maatschappelijke doelen (ofwel de verwachte outcomes )? Stap 2: Vaststellen van de stakeholders Vervolgens dient te worden besloten welke stakeholders er in de analyse worden opgenomen. Stakeholders zijn alle organisaties en personen waarop het beleid, programma/project of organisatie/onderneming een effect heeft. Om te bepalen welke stakeholders dienen te worden opgenomen in de analyse wordt er uitgegaan van het zogenaamde materialiteitsprincipe dat afkomstig is uit het boekhouden. In boekhoudkundige termen is iets materieel als het de potentie heeft de keuzes van een stakeholder of bijvoorbeeld de lezer van een rapport de beïnvloeden. Het betreft informatie dat, wanneer het wordt weggelaten uit de analyse, een onjuist of onvolledig beeld geeft van de activiteiten die worden geanalyseerd. Het toepassen van het materialiteitsprincipe bij het vaststellen van de key-stakeholders zorgt ervoor dat de relevante stakeholders in de analyse worden opgenomen, terwijl personen of organisaties die nauwelijks relevante en significante veranderingen ondervinden erbuiten worden gelaten. Let er hierbij op dat stakeholders die relevante negatieve effecten ondervinden of veroorzaken ook in de analyse moeten worden opgenomen om te voorkomen dat er ten onrechte een te positief beeld wordt geschetst. Stap 3: Vaststellen van de geleverde input per stakeholder Nu duidelijk is geworden wie de key-stakeholders zijn, is het tijd om voor al deze stakeholders vast te stellen of ze een input leveren, en zo ja: welke. Op deze manier wordt duidelijk welke bijdrage iedere stakeholder levert. Inputs zijn alle bijdragen van stakeholders en kunnen zowel financieel als niet-financieel van aard zijn. Per stakeholder doorloop je de volgende stappen door: 1. Stel vast of een bepaalde stakeholder een input levert of niet. 2. Benoem voor elke stakeholder die een input levert welke input dat dan precies is en bepaal of het om een financiële of niet-financiële input gaat. Bij een 2

3 financiële input kan er worden gedacht aan een subsidie of een inkoopbedrag, terwijl een tijdsinvestering (het aantal uren), geleverde kennis, materialen, et cetera voorbeelden zijn van niet-financiële input. 3. Als een laatste stap kan er een waarde worden toegekend aan elke input: a. De waarde van financiële input, zeker als het om een eenmalige financiële bijdrage gaat, is over het algemeen eenvoudig vast te stellen. Onthoud hierbij wel dat het belangrijk is om de kosten die worden gemaakt om de input te leveren in het totaalbedrag dienen te worden meegenomen. b. Bepaal of er een financiële waarde moet worden toegekend aan een niet-financiële input, onder andere op basis van professionele afwegingen. Een aantal belangrijke opmerkingen: - Let erop dat alle inputs die worden geregistreerd ook daadwerkelijk worden gebruikt. Met andere woorden: is of was de input noodzakelijk om de opdracht uit te kunnen voeren? - Let erop dat de opdracht niet afhankelijk is van bijdragen van elders uit de organisatie waarmee geen rekening is gehouden. - Let erop dat input niet dubbel wordt geteld! Stap 4: Definiëren van de activiteiten per stakeholder In de volgende stap wordt voor iedere stakeholder in kaart gebracht wat er precies wordt gedaan met de geleverde input: de activiteiten. Dit is bijvoorbeeld een product/dienst, programma, een interventie, et cetera. Het is belangrijk om duidelijk te maken welke activiteiten er voor iedere stakeholder volgen uit de geleverde input, aangezien deze activiteiten bepalen welke effecten er voor iedere stakeholder uiteindelijk zullen optreden. Stap 5: Vaststellen van de outputs per stakeholder Het vaststellen van de outputs per stakeholder volgt op het in kaart brengen van de activiteiten. Outputs omvatten alle korte termijnresultaten van de ontplooide activiteiten en zijn in feite een kwantitatieve samenvatting van deze activiteiten. Als de activiteit bijvoorbeeld het leveren van producten/diensten betreft, zou het aantal productieafspraken dat daaruit voortkomt een mogelijke output kunnen zijn. Stap 6: Vaststellen van de effecten (outcomes) per stakeholder Een van de belangrijkste onderdelen van een impact analyse betreft het vaststellen van de outcomes : alle veranderingen die, als gevolg van de activiteiten, op de (middel)lange termijn optreden voor de in de analyse opgenomen stakeholders. Het is 3

4 essentieel om er hierbij rekening te houden dat het gaat om alle relevante effecten, ongeacht of deze positief, negatief, bedoeld of onbedoeld zijn. Om dit te kunnen doen is het van belang om de opgetreden veranderingen te bekijken vanuit het perspectief van de stakeholder. Het in kaart brengen van (mogelijke) effecten per stakeholder kan effectief worden gedaan door stakeholders simpelweg te vragen welke veranderingen zich hebben voorgedaan (of naar verwachting gaan voordoen). Vaak staan effecten niet op zichzelf, maar komen deze voor in een zogenaamde keten van gebeurtenissen. Dat wil zeggen: gebeurtenis X leidt tot gebeurtenis Y, die weer leidt tot gebeurtenis Z. Het is belangrijk om voor iedere stakeholder een keten van gebeurtenissen te maken, zodat inzichtelijk wordt hoe een activiteit tot een bepaald effect leidt. Zo n keten kan vaak erg lang worden door een groot aantal opeenvolgende effecten. Bij ieder effect dient u zich af te vragen of deze nog wel is toe te schrijven aan de activiteiten. Op basis daarvan kan dan worden bepaald welk effect er gemeten gaat worden in de analyse: effect 2, effect 3, of wellicht alleen het eindeffect? Houd hierbij in gedachte dat u het veroorzaken van een effect alleen kunt claimen als u dat ook daadwerkelijk kunt meten. Een voordeel van het werken met effectenketens is dat het helpt te voorkomen dat effecten dubbel worden gemeten. In iedere effectenketen mag namelijk maar één effect in de analyse worden opgenomen. Stap 7: Vaststellen van de gemaakte impact voor iedere stakeholder Nu de effecten zijn vastgesteld, rest de vraag welk aandeel van de veranderingen daadwerkelijk door de activiteiten is veroorzaakt. Doorgaan zijn niet alle effecten voledig toe te schrijven aan de organisatie waar wordt ingekocht. Het corrigeren van andere elementen die hierin een rol spelen gebeurt door middel van een zogenaamde impact claim die als volgt is opgebouwd: - Deadweight : het deel van een outcome dat sowieso zou hebben plaatsgevonden, zelfs als de activiteit niet had plaatsgevonden. Hoe hoger het deadweight percentage is, hoe kleiner het aandeel van de activiteit in het opgetreden effect. - Displacement : in hoeverre heeft het effect andere effecten vervangen? Het gaat hierbij mogelijk om een verplaatsing van het probleem. - Attributie: het deel van de verandering (de outcome ) dat is veroorzaakt door andere personen of organisaties. Hierbij gaat het erom dat u zich ervan bewust bent dat de activiteit mogelijk niet de enige is die een bepaald effect te weeg brengt. - Drop-off : het deel van een effect dat in de toekomst wordt beïnvloed door andere factoren, waardoor het effect in de loop der tijd afneemt. Aan elk van deze elementen kan een percentage worden gekoppeld dat corrigeert in hoeverre effecten toe te schrijven zijn aan het beleid, programma/project of organisatie. 4

5 Deze percentages kunnen op verschillende manieren worden verzameld, namelijk: - Door het inzetten van een controlegroep. - Door het te vragen aan de stakeholders: In hoeverre heeft deze activiteit ertoe bijgedragen dat effect x is bereikt 0%, 25%, 50%, 75% of 100%? ; Welke andere partijen of gebeurtenissen hebben hieraan bijgedragen? - Door een aanname te doen op basis van andere partijen en gebeurtenissen die plaats gaan vinden of hebben gevonden. Indien u een prognose maakt kunt u vervolgens gaan monitoren of deze aanname correct was. In plaats van gebruik te maken van deadweight, displacement, attributie en dropoff om uw impact claim te bepalen, kan er ook voor worden gekozen om één percentage te hanteren voor de totale impact claim. Stap 8: Bepalen van indicatoren om effecten te meten Bij het uitvoeren van een impactmeting is het belangrijk te weten in hoeverre bepaalde effecten zijn opgetreden. Dit wordt gedaan door gebruik te maken van indicatoren, die aangeven of een effect is opgetreden en hoe groot dat effect was. Indicatoren bevatten dan ook vaak woorden als minder, meer, hoger of lager. Voor iedere outcome dienen er een of meerdere indicatoren te worden opgesteld die geschikt zijn om verandering te meten. Deze indicatoren kunnen zowel objectief (afname van het aantal bijstandsuitkeringen) als subjectief (sterker gevoel van eigenwaarde) zijn. Waar mogelijk wordt de voorkeur gegeven aan het combineren van beide soorten indicatoren, zodat er een zo compleet mogelijk beeld ontstaat. Houd er bij het vaststellen van de indicatoren allereerst rekening mee dat ze meetbaar moeten zijn. Alleen dan zijn ze immers bruikbaar. Bovendien moeten ze te meten zijn binnen de gesteld tijd voor het onderzoek en met de beschikbare middelen. Stap 9: Waarderen (optioneel) Het uitdrukken van effecten in een geldwaarde is een optionele stap van een impactmeting. Afgezet tegen de input (die ook in een geldwaarde uitgedrukt kan worden) leidt dit tot een kwantitatieve maatstaf om bijvoorbeeld het maatschappelijk rendement zichtbaar te maken. Maar hoe kunnen effecten in een geldwaarde worden uitgedrukt? Er zijn grofweg twee verschillende soorten methods te onderscheiden: 1. Effecten die leiden tot een kostenbesparing, zoals: Uitkeringen bespaard Lagere kosten door minder aanraking met justitie Zorgkosten bespaard 5

6 2. Effecten die leiden tot een beleefde waarde, zoals: Meer zelfvertrouwen Zelfredzaamheid Sociaal netwerk opgebouwd Beide groepen waarderingsmethoden omvatten diverse specifieke methoden die afhankelijk van het type effect kunnen worden toegepast. Met behulp daarvan kan uiteindelijk een waarde aan de outcomes worden toegekend. Echter, er kan worden besloten om aan bepaalde effecten geen financiële waarde toe te kennen. Stap 10: Implementatie: monitoring, evaluatie en rapportage De laatste stap is de implementatie van een impact analyse waarin keuzes gemaakt worden ten aanzien van: Monitoring o Bij welke stakeholders wordt data verzameld? o Op welke manier wordt bij deze stakeholders data verzameld (via een online enquete in Sinzer, interviews, focusgroepen, etc.) o Steekproefomvang en samenstelling: bij hoeveel en welke personen wordt data verzameld? o Wat is de meetfrequentie: 4 wekelijks, maandelijks, per kwartaal, half jaar / jaar? o Regie: wie gaat de meting uitvoeren? Evaluatie o Wie analyseert de resulten? o Hoe worden de resultaten beoordeeld? o Wat zijn de consequenties? Rapportage o Wat is de doelstelling van de rapportage? o Wie is de lezer van het rapport? o Wat betekent de informatie (data analyse)? En wat zijn de consequenties? o Wat is het gewenste vormgeving en presentatie? In het uiteindelijke rapport worden niet alleen de resultaten vermeld, maar speelt ook het proces een belangrijke rol. Hierin wordt verantwoord welke keuzes er zijn gemaakt, en waarom. Dit draagt bij aan de transparantie van de analyse. 6

7 7