EFFECTMETING SOCIAAL EDUCATIEVE DIENSTVERLENING Landelijke Dag Basisvaardigheden, 8 november 2018 DESAN karin.rutten@desan.nl Koninklijke Bibliotheek marianne.hermans@kb.nl
Wie doet er al aan effectmeting? Taalhuis Taalcafé Wie werkt er bij een bibliotheek? Wie is er van plan om effectmeting te doen? Klik & Tik Digisterker? Wie is directielid? 2
KB & DESAN Meten van Maatschappelijke Opbrengsten (MMO) Regie: samenwerking en synergie Logisch Framework Landelijke instrumenten voor lokale metingen Onderzoeksresultaten & Kennis delen 3
Bibliotheekinzicht
DESAN Research Solutions full-servicebureau sinds 1986 verzamelen, bewerken & rapporteren data voor beleids-en opinieonderzoek onderzoeksmethoden: - telefonisch - face-to-face - schriftelijk - online 5
DESAN Research Solutions certificeringen & keurmerken ISO 20252, 27001, ESOMAR, MOA, RKG ad hoc en continu onderzoek (semi)overheid & non-profit sector grootschalig, kwantitatief 6
DESAN Research Solutions benchmarks online rapportages web portals monitoren zoals onder meer: 7
Wat voor verandering wil je teweeg brengen (en meten?) EFFECTEN 8
Logisch Model Input Activiteit Output Outcome Impact Investering: Tijd Geld Expertise Uren etc. Geleverde diensten Aantal bereikte personen Aantal afgenomen diensten Verandering individu of gemeenschap Doorwerking in dagelijks leven en omgeving Gepland werk Resultaten 9
Digisterker Input Activiteit Output Outcome Impact Vrijwilligers (#uur / ) Specialist (#uur) Cursusruimte Materialen Inloop Spreekuren Lessen # bijeenkomsten # deelnemers # diploma s # beantwoorde hulpvragen. Begrijpen Kunnen Zelf informatie opvragen Zelfvertrouwen Contacten Schuldhulpverlening Armoede Isolement.. 10
Hoe kunnen we lokale metingen uitvoeren met een landelijke monitor? EFFECTENMONITOR 11
Stap 1: Afbakening Welke diensten en effecten Focus: maatschappelijk educatieve dienstverlening (sociaal domein) 12
Welke programma s wil je meten? Taal Digitaal E-overheid Taalcafé Conversatieles (samen)leesclub Taalmaatje/-coach Cursus (social media, basis computer en internet) Tabletcafé Cursus Digisterker Belastingdienstspreekuur Bestaande monitors 13
Stap 2: Reflectie op meetinstrumenten Systematisch meten Eenvoudig maar doordacht Op niveau van de eindgebruiker / cursist Laaggeletterdheid, Digitale Vaardigheden, Digisterker 14
Digisterker Intake en evaluatie Focus op achtergronden van deelname en tevredenheid Minder effectmeting Digitale vaardigheden Voor- en nameting Focus op verbetering specifieke vaardigheden, tevredenheid, minder bredere effecten op leven Modules: Computer & internet Sociale media Tabletcafé 15
Stap 3: Kwalitatief onderzoek Woorden en verhalen (i.p.v. cijfers en meeteenheden) Kwalitatief onderzoek taal- en digitale vaardigheden 16
Uitgangspunten Synergie in verschillende instrumenten Uniform format vragenlijsten en rapportages : deelbaar en vergelijkbaar Balans informatiebehoefte en complexiteit Dataverzameling zo eenvoudig mogelijk Persoonlijke rapportages Geaggregeerde analyse en benchmark Aandacht voor implementatie 17
Effectenmonitor Monitor met 4 modulen Basis internet 0 en 1-meting Vragenlijsten vergelijkbare opbouw E-overheid (Digisterker) Effectenmonitor Sociale media Zelfde look & feel Jaarlijks lokaal en landelijk rapport NL Taal (lezen, schrijven, spreken) 18
Basis internet Gezin en opvoeding Zorg en welzijn Digi-sterker Effectenmonitor Sociale media Juridisch en financieel NL Taal (lezen, schrijven, spreken) Werk en inkomen 19
Systematisch gegevens verzamelen: hoe krijg ik iedereen mee? Meten als vast onderdeel van de programmering Wat wordt uit handen genomen? Wat moet je zelf doen? Hoe kan mijn bibliotheek meedoen? Wat is daarvoor nodig? IMPLEMENTATIE 20
Implementatie aanmelding bibliotheek kan nu al middels mail aan: effectenmonitor@desan.nl (hiermee ga je nog geen verplichting aan) je ontvangt mail t.b.v. verdere registratie bij openstelling monitor (Q1) centrale digitale infrastructuur: 1) registratie monitorcoördinator (MC) 2) uitrol van dataverzameling 3) rapportage resultaten 21
Implementatie 1) registratie monitorcoördinator (MC) - welke modulen - welke cursussen - aanmelding cursusdeelnemers (handmatig / upload) - verdere informatie over monitor (FAQ, handleiding, planning etc.) 22
Implementatie 2) uitrol van dataverzameling - 0-meting en 1-meting - online of schriftelijke deelname - geautomatiseerd proces met automatische koppeling metingen - helpdesk voor praktische & inhoudelijke vragen (mail & telefonisch) - monitoring voortgang 23
Resultaten 3) rapportage resultaten - lokale rapportage bibliotheek niveau (real-time) - grafieken & tabellen - landelijke rapportage (jaarlijks) 24
Wat is nodig om lokale effectmeting volgens landelijke monitor te laten plaatsvinden? AAN DE SLAG 25
Strategisch Coördinatie en Uitvoering Hoe maken we de effectmeting een vast onderdeel binnen onze organisatie? - Wie moet ik overtuigen? - Hoe krijg ik hen mee? - Hoe maak ik resources vrij? - Wie heeft belang bij de resultaten? Wat is er praktisch nodig om gegevens te verzamelen? - Hoe krijg ik toegang? - Wat voor werkzaamheden voorzie ik? - Hoe plan ik activiteiten in? - Wie moet wat doen? 26
Stappenplan Welke stappen moeten er op strategisch en operationeel vlak worden gezet om effectmeting te implementeren? Waar voorzie je drempels? Wat Wat? Stap 1 (met) wie? Stap 2 (met) wie? Waar is (wat voor) ondersteuning nodig? Stap 3 Wat? (met) wie? 27
Conclusie Begin met een helder doel voor ogen Doorloop de stappen met het hele team Benoem een procesbewaker = verbinder strategische en operationele laag Draagvlak begint bij de directie Zorg voor voldoende kennis binnen de organisatie (of haal deze van buiten) Maak gebruik van landelijk onderzoek, instrumenten en resultaten Waar nodig: vul aan met eigen waarnemingen 28
Wordt vervolgd Landelijke Kennisdag over effectmeting: 17 december, Ede AANMELDEN 17 DECEMBER: www.kb.nl/aanmeldformulier-bijeenkomst-meten-maatschappelijke-opbrengst AANMELDEN MONITOR: effectenmonitor@desan.nl 29