Introductie in Impact Management Koninklijke Bibliotheek 17 december 2018 Kirsten van Reisen
Voorstelronde Your opinion
Sinzer - impact experts Impact strategie Impact onderzoek Impact management
Onze klanten
Agenda Wat is er nodig om als organisatie met maatschappelijke effecten aan de slag te gaan? Introductie Wat is impact management? Waarom is het belangrijk? Aan de slag Scope van de meting Insteek en grondigheid van de meting Waar begin je? Aan de slag met casussen
Focus op impact
Impact volgens Sinzer Veranderingen voor stakeholders of de maatschappij als gevolg van een interventie, project of beleid. Bedoeld en/of onbedoeld Positief en/of negatief Additioneel
Belanghebbenden (stakeholders) > Personen of partijen die verandering ervaren als gevolg van het initiatief Wie bedien je? (met je activiteit vs. met je onderzoek) Primaire doelgroep vs. overige stakeholders Karakteristieken van deelnemers
Veranderpad - Theory of Change Input Activiteiten Output Korte - Outcome - Lange Impact Dat wat je er in steekt. Bijv. tijd, geld Dat wat JIJ doet. Bijv. cursussen organiseren De resultaten, vaak kwantitatief. Bijv. aantal cursussen en cursisten De effecten, verandering(en) op korte en/of langere termijn. Bijv. meer kennis De effecten die je kunt toeschrijven
Hoe succes wordt gedefinieerd Wat we doen De verandering die we creëren
Niet alle impact is gelijk Impact Waardevolle impact Positieve verandering voor mens of milieu Positieve verandering voor mens of milieu Wat is geen impact? Meer outputs = meer impact So what? Verandert perspectief en kansen Verandering blijft
Impact management Ad hoc & anekdotisch Impact Management Consistent & systematisch Beetje impact voor sommigen Waardevolle impact voor iedereen
Waarom impact managen?
Verantwoordingsgrens Verantwoordingsgrens Activiteit Outputs Korte termijn outcome Lange termijn outcome Activiteit Outputs IMPACT Activiteit Outputs Korte termijn outcome Lange termijn outcome
Materialiteitsprincipe >> Materiële outcomes Relevant Significant >> Dermate belangrijk dat het beslissingen en acties beïnvloedt
Principes van Impact Management Analyse 1. Waardeer de juiste dingen - wat is belangrijk voor je stakeholders? 2. Begrijp wat er verandert 3. Betrek stakeholders 4. Betrek alleen het materiële - wat beïnvloedt je beslissingen? Rapportage 5. Niet over-claimen 6. Transparantie 7. Verifieer de resultaten
Impact management Analyseren, rapporteren & verbeteren Strategie & definitie Meten & monitoren
Impact en Impact Management Impact: Veranderingen voor stakeholders of de maatschappij als gevolg van een interventie, project of beleid. (Bedoeld en onbedoeld, positief en negatief, additioneel) Impact management: het proces van onderzoeken welke veranderingen materieel (van voldoende betekenis en omvang) zijn; en op basis daarvan proberen het negatieve te voorkomen en het positieve te vergroten.
Waarom is impact management belangrijk?
Een impactvolle interventie 1.000 om te investeren in onderwijs-gerelateerd project Doel: kinderen langer naar school
Een impactvolle interventie
Doelen van impact management Managementinformatie: - Effecten begrijpen - Betere besluiten nemen - Verbeteringen doorvoeren en impact maximaliseren >> Maar ook: - Verantwoording afleggen en claims onderbouwen - Marketing en communicatie - Financiering aantrekken
Probleemanalyse 1. Wat is het maatschappelijk probleem waar het initiatief zich op richt? 2. Hoe urgent is dit probleem voor de doelgroep? Hoeveel verschil kan worden gemaakt? 3. Wat is de omvang van dit probleem? 4. Welke oplossingen biedt het initiatief? Waarom zijn dit oplossingen? 5. Welke doelstellingen heeft het initiatief, op welke termijn? 6. Hoe belangrijk zijn deze veranderingen?
Wat gaan we doen? Aan de slag!
Stap 1 Scope! Begin altijd met scope: Wat bestudeer je (project, programma, organisatie)? Doel Publiek Grondigheid en informatiebehoefte
Scope: Wat bestudeer je? Gaat het over: Gehele organisatie Programma Project Activiteit En: Hoe verhoudt je onderzoek zich tot de overkoepelende impact agenda van je organisatie als geheel?
Scope: Doel Managementinformatie: - Effecten begrijpen - Betere besluiten nemen - Verbeteringen doorvoeren en impact maximaliseren Extern: - Verantwoording afleggen en claims onderbouwen - Marketing en communicatie - Financiering aantrekken
Scope: doel Voorbeelden: Investeerder wil keuze maken tussen verschillende opties Interne strategie: deden we het dit jaar beter dan vorig jaar? Bestuur wil kiezen tussen verschillende projecten Financieel mgt: beoordeling prestaties vs. budget Projectmanager: wat verandert er voor wie? Welke verandering is het meest belangrijk? Hoe kunnen we onze impact vergroten? Welke werkwijze behaalt doel het beste? Kan het beter? Meerdere doelen tegelijk is mogelijk!
Scope: publiek Intern of extern? Management, bestuur, financier, breder publiek? Hoe is de impact cultuur daar? Gericht op leren en verbeteren of evalueren? Continu of eenmalig achteraf Welke stakeholders betrek je?
Scope: informatiebehoefte Wat willen zij weten? Outputs, outcomes, impact? Cijfers en/of verhalen? Vooraf bepaalde meetdoelen of open vragen? Hoe zeker willen zij het weten? It is better to be vaguely right than precisely wrong (John M. Keynes) Meetperiode Tijd, geld en menskracht
Tijd, geld, menskracht En andere contextfactoren... - Commitment van management/bestuur voor impact management proces - Budget - Tijd vrijgemaakt in agenda s van sleutelfiguren? - Helder tijdspad? - Verantwoordelijkheden: Bij wie is het belegd (stagiair, finance & admin, communicatie? - Is er draagvlak breder (aan de input lever kant of output gebruikerskant) en helderheid over tijdspad? - Gecheckt welke info al beschikbaar is: worden er al zaken gemeten die je kunt gebruiken?
Meten Meten Photo by Charles Deluvio
Insteek en grondigheid We hebben de scope bepaald: Waar gaat je meting over? Doel van onderzoek Publiek/lezer Informatiebehoefte Nu moeten we de grondigheid bepalen: Materiële vragen: welke verandering(en) ga je meten? Stakeholders: wie betrek je op welke manier in het onderzoek? Tijdsduur: wanneer en hoe lang na einde ga je meten? Wat is goed genoeg in lijn met doel en publiek?
Gewenste grondigheid Hoe verder je publiek van de interventie zit, hoe grondiger je moet zijn: Minst grondig Meest grondig Interne planning Management rapport Financier rapport Publieksrapport
Data verzamelen Storytelling is een mooie methode als je doelstelling met name een communicatie focus heeft. Focusgroepen zijn goed om aannames te testen of te verifiëren. Diepte interviews geven gedetailleerde ervaringen en quotes. Lastiger te verwerken in bijvoorbeeld een infographic. Surveys zijn systematischer en hebben een meer kwantitatieve focus. Gemakkelijk om veel mensen te bevragen, (statistisch) analyseren vraagt om expertise. Welke steekproefgrootte is nodig voor je doel en publiek? Literatuuronderzoek voor onderbouwing, wekt vertrouwen
Design Twee belangrijke zaken: Bron: waar haal je de data vandaan? Design: pre - post, evaluatief, vergelijkend? Wat is gewenst voor je doel en publiek? Welk niveau van grondigheid is haalbaar?
Mogelijke drempels en de realiteit Begint waar je bent, het is een groeipad Het is geen rocket science Het is een proces Je bent afhankelijk: in hoeverre zit het al in het DNA van je organisatie?
Impact management Analyseren, rapporteren & verbeteren Strategie & definitie Meten & monitoren
IMPACT MANAGEMENT: VOLWASSENHEIDSMODEL IMPACT STRATEGIE 1 Een goede basis - Probleemanalyse uitgevoerd - Stakeholders gedefinieerd - Impactdoelstelling geformuleerd 2 Van probleem naar theorie - Uitgewerkte en gevalideerde Theory of Change - Zicht op te verwachten effecten - Werkzame mechanismen zijn helder 3 Van theorie naar strategie - Haalbaarheidsstudie / business case - Scenario Planning en risicoanalyse - Tijdslijn en targets IMPACT RAAMWERK 1 Zicht op directe resultaten - Activiteiten zijn helder - Outputs geformuleerd 2 Zicht op beoogde impact - Outcomes zijn helder gedefinieerd - Meetbare outcome-indicatoren - Focus op primaire doelgroep 3 Zicht op netto impact - Aandacht voor onbedoelde effecten - Aandacht voor negatieve effecten - Aandacht voor bredere stakeholders DATA COLLECTIE 1 Beschrijvend en ad-hoc - Dataverzameling gebeurt ad-hoc - Met name anekdotische data - Cijfers beperkt tot output-data 2 Structureel en gestructureerd - Dataverzameling gebeurt structureel - Dataverzameling gebeurt volgens een plan - Mixed-methods en triangulatie 3 Geavanceerd en representatief - Verzamelde data is representatief - Gevalideerde meetinstrumenten - Gerandomiseerd onderzoek met controlegroep ANALYSE & RAPPORTAGE 1 Eenmalig en beschrijvend - Incidentele impactrapportages - Anekdotische resultaten 2 Structureel en diepgaand - Periodieke impactrapportages - Statistische analyses - Benchmarking en trendanalyse 3 Real time en continu - Gebruik van real-time data - Data-science en geavanceerde analyses - Attributie-analyse en prognoses IMPACT MAXIMALISATIE 1 Impact cultuur - organisatiebreed commitment en draagvlak voor het belang van verzamelen en gebruiken impact data 2 Sturen op impact - continue monitoring van impactresultaten - ingebed proces van analyseren en leren - periodieke bijsturing op basis van data 3 Impact boekhouding - is even belangrijk als fin. boekhouding - Systeem voor impactboekhouding is ingericht - en wordt structureel bijgehouden
Indicatoren Waar begin je?
De case voor vandaag: impactonderzoek voor jouw casus Interventie en doel van interventie = Doel van onderzoek = Publiek voor onderzoek = Informatiebehoefte van publiek = Gewenste insteek = Oefening (15 minuten)
Casus 1 1. Activiteit: Wekelijks taalcafé in jullie bibliotheek voor mensen voor wie het Nederlands niet de moedertaal is, die moeite hebben met de Nederlandse taal en die de spreekvaardigheid willen verbeteren. Zij kunnen in een informele en ontspannen setting oefenen. 2. Situatie: Jullie hebben een divers publiek, en als bibliotheek onvoldoende zicht op wat het taalcafé mensen oplevert. Jullie twijfelen of de mensen die er zitten de juiste mensen zijn, en of jullie voldoen aan hun behoeften. Sommigen volgen ook al taaltrainingen elders.
Casus 2 1. Activiteit: Als bibliotheek hebben jullie 15 verschillende projecten op sociaal domein, o.a. Taalcafes, voorleesavonden, workshops, speciale pc s 2. Situatie: Jullie willen weten welke projecten het beste werken, want er is steeds minder subsidiegeld. Jullie willen dus kiezen op welke projecten je blijft inzetten en welke afvallen. Ook willen jullie meer geld krijgen van financiers.
Casus 3 1. Activiteit: Wekelijks taalcafé in jullie bibliotheek voor mensen voor wie het Nederlands niet de moedertaal is, die moeite hebben met de Nederlandse taal en die de spreekvaardigheid willen verbeteren. Zij kunnen in een informele en ontspannen setting oefenen. 2. Situatie: Jullie hebben steeds minder geld om de taalcafés te blijven aanbieden, maar denken wel dat dit een belangrijke taak is voor de bibliotheek en zien dat sommige deelnemers er echt van op lijken te knappen. Jullie willen dus bewijzen dat het werkt en daarmee extra financiering aantrekken.
Checklist bij start onderzoek Beginfase Buy-in van management Budget gekregen Onderzoeksteam samengesteld Gecheckt welke info al beschikbaar is Tijd gemaakt in agenda s Scope bepalen van je onderzoek Probleemanalyse is helder Impactdoelstelling van organisatie/activiteit is helder Stakeholders bepaald Scope van onderzoek bepaald Doel van onderzoek bepaald Publiek + informatiebehoefte bepaald Insteek van onderzoek bepaald Grondigheid van onderzoek bepaald
Scope bepalen van je impact onderzoek Wat ga je onderzoeken (organisatie>project>activiteit) Doel van onderzoek (Intern: plannen, monitoren? Extern: communicatie, fondsenwerving?) Publiek voor onderzoek (1 of meer groepen?) Informatiebehoefte van publiek (verschillend per publieksgroep?) Gewenste insteek (hoe rigoureus,
www.sinzer.org