Van impact management naar maximalisatie. KB landelijke dag effectmeting 17 december 2018 Emma Verheijke

Transcriptie

1 Van impact management naar maximalisatie KB landelijke dag effectmeting 17 december 2018 Emma Verheijke

2 Kennismaking

3 Sinzer - impact advies Impact strategie Impact onderzoek Impact management

4 Onze klanten

5 Impact volgens Sinzer Veranderingen voor stakeholders of de maatschappij als gevolg van een interventie, project of beleid. Bedoeld of onbedoeld Positief of negatief

6 Logisch model Input Activiteit Output Outcomes Impact Organisatie Context

7 Impact meten management Impact management: het proces van onderzoeken welke veranderingen materieel (van voldoende betekenis en omvang) zijn; en op basis daarvan proberen het negatieve te voorkomen en het positieve te vergroten.

8 Doelstellingen Managementinformatie: - Effecten begrijpen - Betere besluiten nemen - Verbeteringen doorvoeren en impact maximaliseren >> Maar ook: - Verantwoording afleggen en claims onderbouwen - Marketing en communicatie - Financiering aantrekken

9 Nog te vaak Definieren (Theory of Change) Meten Lineair Monitoring & evaluatie (M&E) Passief en retrospectief Verantwoording & communicatie >> Prove impact Rapporteren

10 Bijvoorbeeld 80 personen Niet meer verslaafd 100 deelnemers Organisatie doel: mensen van alcoholverslaving helpen 20 personen Nog steeds verslaafd

11 Impact management: cyclisch en iteratief Analyseren, rapporteren, verbeteren Strategie & definitie Cyclisch en iteratief Planning, monitoring, evaluatie & leren (PMEL) Actief en continu Management informatie (naast: verantwoording & communicatie) Meten & monitoren >> Improve impact

12 Impact data gebruiken voor leren en verbeteren

13 Wat zegt de data je?

14 Wat zegt de data? Voorbeeld 1: VSB Fonds Voorbeeld 2: Post NL en st. Lezen & Schrijven Toename in ondersteuningsvragen bij gemeente en publieke instanties gemeten onder de doelgroep, zoals: begeleiding in omgaan met schulden subsidie voor taalondersteuning begeleiding vanuit de Wmo

15 Duidingsvragen >> Het duiden van de data en informatie is cruciaal om impact te maximaliseren Wat wilde je weten? Hoe sterk is je bewijs? Had het beter gekund? Wat is er nog meer gebeurd? Waar kan en wil je op managen?

16 Wat wilde je weten?

17 Wat wilde je weten? Theory of Change Wat was/waren de impact doelstelling(en)? Wat wilde je weten en meten? Zijn die doelstellingen behaald conform verwachting? Zicht op attributie? Input Activiteit Output Outcome Impact

18 Hoe sterk is je bewijs?

19 Indicatoren >> Stukje informatie dat ons vertelt of verandering is opgetreden (of niet); >> en zo ja, hoeveel verandering Kernvraag: Wat voor bewijs is nodig voordat je gelooft dat een verandering is opgetreden?

20 Geloof-je-het test Zegt de indicator echt iets over de outcome?

21 Geloof je dat [outcome] omdat [indicator]?

22 Praktijkvoorbeeld Outcome: Indicator: Taalniveau Aantal keren taalcafé bezocht Geloof je dat iemand s taalniveau is verhoogd omdat hij/zij een paar keer naar een taalcafé is gekomen?

23 Praktijkvoorbeeld Outcome: Indicator: een baan vinden en houden zelfgerapporteerd zelfvertrouwen Geloof je dat iemand een baan kan vinden en behouden omdat zijn/haar zelfvertrouwen is toegenomen?

24 Objectieve en subjectieve indicatoren: combineren Objectieve indicatoren gaan over feiten Subjectieve indicatoren gaan over beleving Aantal doktersbezoeken Zelfgerapporteerde gezondheid Maandelijks inkomen Beleefde kwaliteit van leven Oogst in ton per hectare Ervaren veiligheid in een buurt

25 Hoe sterk is je bewijs: overige elementen >> Onderdelen in je management process die bepalen hoe betrouwbaar je informatie is: Onderzoeksontwerp: retrospectief, nul- en nameting, vergelijkend Wijze van onderzoek: kwantitatief, kwalitatief, mixed-method, triangulatie Populatie vs representatieve steekproef

26 Had het beter gekund?

27 Wat is een target? >> Doelstelling van beoogd resultaat op een bepaalde indicator Voorbeeld: 100 deelnemers Target: 80 deelnemers verhogen hun taalniveau

28 Hoe bepaal je een target? >> Elementen om te verwachten veranderpotentieel te bepalen: Baseline: wat is de nulsituatie? Benchmark & attributie: waar zetten we het tegen af? Wat zou er gebeuren zonder ons? Risico analyse: welke risico s verhinderen mogelijk realisatie van de outcome?

29 Werkvoorbeeld: Van Hulley - Targets Praktijkvoorbeeld Factoren Populatie: 20 vrouwen per jaar Baseline: 0 vrouwen hebben een baan Benchmark: vergelijken met een situatie zonder Van Hulley: vrouwen zouden thuis blijven Risico s: 10% van de vrouwen viel vorig jaar uit gedurende het traject Indicatoren & targets >> Van de 20 deelnemers halen 18 het eind van het traject (90%). Korte termijn: 75% van die vrouwen vindt aan het einde van het traject een baan: 14 vrouwen Langere termijn: > 50% van die vrouwen heeft 6-12 maanden later nog steeds een baan: 7 vrouwen

30 Wat is er nog meer gebeurd?

31 Check buiten je Theory of Change >> Wat is er nog meer gebeurd? Check: >> Let op: ToC focust vaak alleen op beoogde en positieve effecten. Zijn er negatieve (niet beoogde) effecten opgetreden? Zijn er niet beoogde positieve effecten opgetreden? Zijn deze materieel: moet je er op managen?

32 Materialiteitsprincipe >> Materiële outcomes Relevant Significant >> Dermate belangrijk dat het beslissingen en acties beïnvloedt

33 Voorbeeld: negatief en onbedoeld 80 personen Niet meer verslaafd - Meer zelfvertrouwen - Betere gezondheid - Betere band met gezin 100 deelnemers Organisatie doel: mensen van alcoholverslaving helpen Geen onderdeel van ToC. Materieel? 20 personen Nog steeds verslaafd - Gevoel gefaald te hebben - In de put en depressief - Toename alcoholgebruik

34 Waar kan en wil je op managen?

35 Stuurinformatie >> Indien resultaten anders zijn dan verwacht: hoe komt dit? Factoren buiten je invloed (uitval door overlijden of verhuizing) Factoren binnen je invloed (implementatie activiteiten) Doelgroep: bedien je je beoogde doelgroep of niet?

36 Waarom meten? Wel support van familie 80 personen Niet meer verslaafd - Meer zelfvertrouwen - Betere gezondheid - Betere band met gezin 100 deelnemers Organisatie doel: mensen van alcoholverslaving helpen 20 personen Nog steeds verslaafd - Gevoel gefaald te hebben - In de put en depressief - Toename alcoholgebruik Géén support van familie

37 Kernvragen >> Van resultaten naar verbeteracties: Welke verbeterslagen zijn evident uit de resultaten, en kun je tot acties omzetten? Wat is daar nog voor nodig? Welke resultaten leiden tot vragen voor vervolgonderzoek?

38 Communicatie en rapportage

39 Aan wie, wat en waarom? Wie is je publiek? Welke informatie naar wie, met welk doel? Tip: maak een gebruikersoverzicht NB, bepaal: Transparantie over keuzes en aannames Alleen positief? Of ook negatief met duiding en verbeterpotentieel

40 Visualisatie en rapportage opties >> Verschillende publieken en doelstellingen vragen mogelijk om verschillende formats: Uitgebreid onderzoeksrapport Infographic Dashboards Film

41 Onderzoeksrapport

42 Infographic

43 Dashboard: voorbeeld Age UK

44 Cultuur

45 Impact cultuur >> Impact management cultuur in je organisatie: 2 kern elementen Commitment & verantwoordelijkheid Systemen & data

46 Commitment & verantwoordelijkheid >> Factoren die succes bepalen: Is er commitment van management of bestuur voor doelstelling leren en verbeteren? Bij wie is verantwoordelijkheid belegd binnen de organisatie? Is er draagvlak binnen de lagen van de organisatie die de data moeten gebruiken of die input moeten leveren? Hoeveel budget is er beschikbaar? Is impact informatie een vast onderdeel van overleggen en beslissingen?

47 Systemen & data >> Impact boekhouding: zijn er systemen ingericht die de impact management cultuur ondersteunen? Waaruit informatie makkelijk kan worden gehaald door degenen die het moeten gebruiken? (bijv. MT) Waarin informatie efficiënt kan worden ingevoerd? (bijv. projectleiders en begeleider)

48 Impact volwassenheid

49 Waar staat jouw organisatie, en wat wordt de volgende stap? Waar staat jouw organisatie ten aanzien van management voor maximalisatie? Wat zie je als grootste uitdaging? Wat zou een gewenste volgende stap zijn? Wat is er nodig om die stap te zetten?

50 Wrap up

51 Wrap up: Impact Management Gaat primair over het maximaliseren van maatschappelijke impact Vraagt focus: focus op de dingen die er toe doen, en die beter gaan doen Is geen extraatje bestaat idealiter uit een impact boekhouding waarvoor gedeelde commitment en verantwoordelijkheid is van iedereen in de organisatie

52 Einde sessie! Vragen? Feedback?

53 53