Impact meten Data en enquêtes Masterclass impact 7 juni 2018
Programma Doel: concreet maken wat je wilt meten voor jouw instelling passende methodiek(en) vinden - hoe operationaliseren meten: enquêtes
Van impact naar vragen Impact: studenten zijn intercultureel vaardig Hoe kan je dat vaststellen?
Te meten impact Wat wil je weten? Van daaruit: ontwikkelen van indicatoren hoe concreter hoe beter Van daaruit is het een relatief kleinere stap om naar concrete vragen te komen
Van impact naar vragen Drie stappen 1. Abstract begrip opdelen in specifiekere dimensies 2. Dimensie omzetten in meetbare indicator(en) 3. Indicatoren omzetten in concrete vragen Centraal begrip Dimensies Meetbare indicator(en) Enquête-vragen Interculturele vaardigheden
Van impact naar vragen Drie stappen 1. Abstract begrip opdelen in specifiekere dimensies 2. Dimensie omzetten in meetbare indicator(en) 3. Indicatoren omzetten in concrete vragen Centraal begrip Dimensies Meetbare indicator(en) Enquêtevragen Interculturele vaardigheden Respect voor anders zijn Nieuwsgierigheid naar andere culturen Als iemand heel anders denkt dan ik, ben ik benieuwd wat daarachter zit Empathie Verplaatsen in drijfveren Ik kan me goed inleven in wat andere mensen beweegt Flexibiliteit Omgaan met onverwachte situaties Als een situatie niet loopt zoals ik gedacht had, kan ik mijn plan snel aanpassen
Goede enquêtevragen Kort, eenduidig en neutraal Veel gemaakt fouten: Dubbele ontkenning Suggestieve vragen Multi-interpretabele vragen Twee vragen in één vraag Zie: http://www.survalyzer.com/nl/de-juiste-vraag-stellen Baarda, De Goede & Kalmijn. Basisboek enquêteren. https://www.cbs.nl/nr/rdonlyres/f8fb2360-c9a3-4379-8314-9c13c2938fce/0/2010x3705pub.pdf
Hoe meten? Bestaande gegevens Verrijken van bestaande gegevens Nieuwe enquête
Participant reports Wat concludeer je hier? Wat niet? I am more able to cooperate with people from other backgrounds and cultures 8% 11% 81% Fictieve resultaten Agree Neutral Disagree
Participant reports Ook: andere surveys achteraf, of gecodeerde verslagen Uit Mobility Tool+, bijv. draaitabel Vergelijken: Jaren Groepen lang/kort, type activiteit, etc. (en meer als je toevoegt) Vragen Binnenkort: benchmark op erasmusplus.nl
Participant reports Ook: andere surveys achteraf, of gecodeerde verslagen Voorbeelden: I am more able to cooperate with people from other backgrounds and cultures 79% 85% 81% 80% 79% 82% % rather / strongly agree 2014/15 2015/16 2016/17 2017/18 Niveau 3 Niveau 4
Participant reports Downloaden in Mobility Tool+
Bestaande enquêtes Lopend, bijvoorbeeld: Alumni, MTO, JOB-monitor, Vragen toevoegen Minimaal én Deelname aan activiteiten (I@H, IBPV, studiereis, e-twinning) Indicatoren voor impact Eventueel Tevredenheid proces Belemmeringen...
Koppelen met data Studenten I@H IBPV Keuzedeel Geen Studieresultaten Cijfers Studieduur Diploma Uitval Doorstoom MBO HBO werk
Bestaande informatie Ga na: Wat loopt er al? Wat doe je ermee? Is er ruimte om wat toe te voegen?
Vergelijken (niet)deelnemers Wat concludeer je hier? Wat niet? Uit een enquete onder mbo-afgestudeerden niv. 4 Afgenomen 1,5 jaar na afstuderen Kans op doorstuderen na mbo 43% Wel ipbv/studie 34% Geen ipbv/studie Fictieve resultaten 0% 10% 20% 30% 40% 50%
Voor- en nameting Wat concludeer je hier? Wat niet? Enquêtes onder deelnemers aan een studiereis: voor en na Ik heb er vertrouwen in dat ik een gesprek met een klant in het Engels kan voeren 52% 64% Fictieve resultaten Bij aanmelding % eens 3 maanden na terugkomst
Aantal/timing metingen Wanneer wil je meten? En hoe vaak? 52% 64% Bij aanmelding Wanneer meten? Opbrengst Wat mist 1x na % vergelijken groepen Meer keren na bovenstaande + ontwikkeling impact 3 maanden na terugkomst opbrengst activiteit (objectief) opbrengst activiteit (objectief) Vóór en 1x na opbrengst activiteit ontwikkeling impact Vóór een meer keren na opbrengst activiteit + ontwikkeling impact Activiteit
Aantal/timing metingen De levensloop van impact wanneer meet je wat? Succesvolle projecten met Duitse studenten??? Betere arbeidskansen voor studenten net over de grens
Het summum: controlegroep Wat concludeer je hier? Wat niet? 40% 35% 30% Stelling: ik krijg weleens ruzie met mensen die heel anders over dingen denken dan ik (% eens) 28% 28% 25% 20% 15% 22% 17% Geen studiereis Wel studiereis 10% 5% 0% Voor 6 maanden na Fictieve resultaten
Checklist meten (1) Operationaliseren Welke concrete indicatoren zijn er om de impact vast te stellen? Over welke doelgroepen moet ik dan informatie hebben? (relevante perspectieven) Welke vragen moet ik hen daarvoor stellen? Kan ik het aan hun concrete gedrag zien? Hoe? Wanneer kan ik impact zien, of eerste signalen daarvan? Hoe time ik metingen?
Checklist meten (2) Beschikbaarheid gegevens Zijn vragen die ik bij het operationaliseren ontwikkeld heb al eens aan de doelgroep gesteld? (enquetes, verslagen, etc.). Is deze informatie beschikbaar en bruikbaar genoeg voor mijn doel? Welke bronnen die ik kan aanpassen heb ik al in huis? Welke extra vragen moet ik wanneer stellen om deze geschikt(er) te maken? Kan ik bestaande informatie aanvullen/koppelen met andere informatie?
Checklist meten (3) Zelf gegevens verzamelen Bij welke (doel)groepen wil ik impact meten? Wil ik ook inzicht in de stand van zaken of ontwikkeling bij niet-deelnemers? (controlegroep) Wil ik ook inzicht in de ontwikkeling van impact? Wat zijn dan relevante momenten om te gaan meten? Is de voorsituatie daarbij van belang? Op welk moment? (nulmeting) Algemeen Wat wil/kan ik eerst doen, en wat komt later?
Aan de slag! Voor nu: de checklists Algemeen MSC Meten Kies en denk samen na over de vragen. Raadpleeg ons. Ondersteuningsaanbod: Strippenkaart voor 2 uur feedback (vragen stellen, plan voorleggen) Tot 1 november geldig! Mail: mbo-ve@erasmusplus.nl o.v.v. masterclass impact mbo
Bijlagen
Impactmodel
Overzicht Controle groep Voor-/ nameting Voorbeeld Pro Contra Nee Na Participant reports Enq. mobiele alumni Ja Na Alumnisurvey breed Beschikbaar (PR) Uitvoerbaarheid Geeft indruk (vrnl. relatief) Referentiegroep Uitvoerbaarheid Zelfrapportage Geen referentiegroep Zelfselectie? Nee Voor en na Survey vóór en na IBPV Objectief beeld van ontwikkeling Geen referentiegroep Ja Voor en na Panelonderzoek Objectief beeld van ontwikkeling Referentiegroep Uitvoerbaarheid
Schema Beoogde impact Indicator(en) Vragen Wanneer meten? Bij wie? (controle groep?) Bron Ambitie (target in 2020)