WERKEN MET DE NIEUWE EFFECTENMONITOR Landelijke Dag Meten Maatschappelijke Opbrengsten, 17 december 2018 DESAN karin.rutten@desan.nl Koninklijke Bibliotheek marianne.hermans@kb.nl
Effectmeting: output naar outcome, strategisch, praktisch, instrument, implementatie WAT GAAN WE VANDAAG DOEN? 2
DESAN Research Solutions full-servicebureau sinds 1986 verzamelen, bewerken & rapporteren data voor beleids-en opinieonderzoek onderzoeksmethoden: - telefonisch - face-to-face - schriftelijk - online 3
DESAN Research Solutions certificeringen & keurmerken ISO 20252, 27001, ESOMAR, MOA, RKG ad hoc en continu onderzoek (semi)overheid & non-profit sector grootschalig, kwantitatief 4
DESAN Research Solutions benchmarks online rapportages web portals monitoren zoals onder meer: 5
Wat voor verandering wil je teweeg brengen (en meten?) EFFECTEN METEN 6
Effectmeting bibliotheekprogramma s Wat staat er in de huidige werkplannen? Welke plannen voor effectmeting in de komende periode? In hoeverre zijn jullie er reeds mee bezig? Waar loop je tegenaan? 7
Logisch Model Input Activiteit Output Outcome Impact Investering: Tijd Geld Expertise Uren etc. Geleverde diensten Aantal bereikte personen Aantal afgenomen diensten Verandering individu of gemeenschap Doorwerking in dagelijks leven en omgeving Gepland werk Resultaten 8
Digisterker Input Activiteit Output Outcome Impact Vrijwilligers (#uur / ) Specialist (#uur) Cursusruimte Materialen Inloop Spreekuren Lessen # bijeenkomsten # deelnemers # diploma s # beantwoorde hulpvragen. Begrijpen Kunnen Zelf informatie opvragen Zelfvertrouwen Contacten Schuldhulpverlening Armoede Isolement.. 9
Landelijke werkgroep MMO en lokale bibliotheken ONTWIKKELING EFFECTENMONITOR 10
Klankbordgroep lokale bibliotheken Klankbordgroep lokale bibliotheken Ervaringen met effectmeting Verwachtingen omtrent landelijk instrumentarium Behoefte aan hulp en ondersteuning Keuze voor sociaal-educatieve domein 11
Stap 1: Afbakening Welke diensten en effecten Focus: maatschappelijk educatieve dienstverlening (sociaal domein) 12
Stap 2: Reflectie op meetinstrumenten Systematisch meten Eenvoudig maar doordacht Op niveau van de eindgebruiker / cursist Laaggeletterdheid, Digitale Vaardigheden, Digisterker 13
Stap 3: Kwalitatief onderzoek Woorden en verhalen (i.p.v. cijfers en meeteenheden) Kwalitatief onderzoek taal- en digitale vaardigheden 14
Effectenmonitor Monitor met 4 modulen Basis internet 0 en 1-meting Vragenlijsten vergelijkbare opbouw E-overheid (Digisterker) Effectenmonitor Sociale media Zelfde look & feel Jaarlijks lokaal en landelijk rapport NL Taal (lezen, schrijven, spreken) 15
Basis internet Gezin en opvoeding Zorg en welzijn Digi-sterker Effectenmonitor Sociale media Juridisch en financieel NL Taal (lezen, schrijven, spreken) Werk en inkomen 16
Uitgangspunten Synergie in verschillende instrumenten Uniform format vragenlijsten en rapportages : deelbaar en vergelijkbaar Balans informatiebehoefte en complexiteit Dataverzameling zo eenvoudig mogelijk Persoonlijke rapportages Geaggregeerde analyse en benchmark Aandacht voor implementatie 17
Doel van de workshop Wat is nodig om zelfstandig met effectmeting aan de slag te gaan? EFFECT METEN: HOE ORGANISEER JE DAT? 18
Hoe maken we van effectmeting een vast onderdeel binnen onze organisatie? - Wie moet ik overtuigen? - Hoe krijg ik hen mee? - Hoe maak ik resources vrij? - Wie heeft belang bij de resultaten? 19
Welke stappen moet je zetten op strategisch niveau om effectmeting te implementeren? Wat Stap Stap (met) wie? Wat? (met) wie? Stap Wat? (met) wie? 20
Wat is er praktisch nodig om gegevens te verzamelen? - Hoe krijg ik toegang? - Wat voor werkzaamheden voorzie ik? - Hoe plan ik activiteiten in? - Wie moet wat doen? 21
Welke rollen moet je benoemen op coördinerend /uitvoerend niveau om effectmeting te implementeren? Wat Stap Stap (met) wie? Wat? (met) wie? Stap Wat? (met) wie? 22
Daarom Begin met een helder doel voor ogen Doorloop de stappen met het hele team Benoem een procesbewaker = verbinder strategische en operationele laag Draagvlak begint bij de directie Zorg voor voldoende kennis binnen de organisatie (of haal deze van buiten) Maak gebruik van landelijk onderzoek, instrumenten en resultaten Waar nodig: vul aan met eigen waarnemingen 23
Systematisch gegevens verzamelen: hoe krijg ik iedereen mee? Meten als vast onderdeel van de programmering Wat wordt uit handen genomen? Wat moet je zelf doen? Hoe kan mijn bibliotheek meedoen? Wat is daarvoor nodig? IMPLEMENTATIE 24
Implementatie aanmelding bibliotheek kan nu al middels mail aan: effectenmonitor@desan.nl (hiermee ga je nog geen verplichting aan) je ontvangt mail t.b.v. verdere registratie bij openstelling monitor (Q1) centrale digitale infrastructuur: 1) registratie monitorcoördinator (MC) 2) uitrol van dataverzameling 3) rapportage resultaten 25
Implementatie 1) registratie monitorcoördinator (MC) - welke modulen - welke cursussen - aanmelding cursusdeelnemers (handmatig / upload) - verdere informatie over monitor (FAQ, handleiding, planning etc.) 26
Implementatie 2) uitrol van dataverzameling - 0-meting en 1-meting - online of schriftelijke deelname - geautomatiseerd proces met automatische koppeling metingen - helpdesk voor praktische & inhoudelijke vragen (mail & telefonisch) - monitoring voortgang 27
Resultaten 3) rapportage resultaten - lokale rapportage bibliotheek niveau (real-time) - grafieken & tabellen - landelijke rapportage (jaarlijks) 28
Hoe kunnen bibliotheken meedoen? Wanneer gaat de monitor van start? MEEDOEN? 29
Effectenmonitor in 2019 2019 instapjaar = gratis maar niet vrijblijvend Inschrijven = meedoen Start inschrijving: februari 2019 Op de hoogte blijven of alvast aanmelden? effectenmonitor@desan.nl 30
Vragen? marjolein.oomes@kb.nl karin.rutten@desan.nl 31