Skillslab en programmatisch toetsen NVMO_PMO 17 januari 2018 Femke Jongen-Hermus, Skillslab, FHML, Maastricht University, The Netherlands f.jongen@maastrichtuniversity.nl 1
Skillslab en OSCE Implementatie Prog. Toetsen Skillscoaches and Teacher Feedback Sessions Examen Klinische Vaardigheden Uitdagingen Vragen? 2
Waar komen we vandaan? OSCE sinds 1981 positief Level show how Betrouwbaar maar Stressvol, moment-opname Op checklist niveau stimuleert reductionistisch leren Beperkte (quantitatieve) feedback 3
Verandering naar progr. toetsen assessment OF learning assessment FOR learning* * Vleuten ea. A model for programmatic assessment fit for purpose. Med Teacher. 2012, 34; 205-214. 4
Programmatisch toetsen Skillslab: longitudinaal programma Bachelor - Doel: het stimuleren van studenten tot leren en bewustwording van eigen leerproces Meerdere keren per jaar een low stake, formatieve toetsing - Feedback stimuleert leren Toetsing en jaarbeoordeling uit elkaar gehaald - Geen zak/slaag besluit op 1 moment Ken je student als beoordelaar - Ontwikkeling van student Integratie in Portfolio (bachelor) VO FHMLg 2016 5
Organisatie Teams Skillscoaches Student-group VO FHMLg 2016 6
Organisatie: jaarcalendarium Jaar 1: 3 docent feedback sessies Jaar 2: 2 docent feedback sessies Voor en na elke DFS Team- bijeenkomst Jaar 3: Examen Klinische Vaardigheden VO FHMLg 2016 7
Docent Feedback Sessie Tweetal vanuit studententeam 20-30 minuten per tweetal Eigen Skillscoach Feedback belangrijk Narratief, mondeling en schriftelijk (e-portfolio) 4 subcompetenties (CanMEDS): Vaardigheid (Professional and Medical Expert), Communicatie (Communicator) Kennis over vaardigheden (Medical Expert) Professionaliteit en Organisatie (Professional/Manager) Plus: Algeheel oordeel (rubrics) 8
Integratie met Portfolio Student reflecteert o.b.v. ervaringen in trainingen, DFS betekenisvolle doelen en acties Bespreken met mentor Student neemt contact op met Skillscoach (of vice versa) (tussentijdse begeleiding) 9
Beoordeling Klin Vaardigh. jaar 1/2 Jaarbeoordeling: - 3/2 DFS - Skills Team advies - extra info: b.v. tussentijdse begeleiding (doelen + actieplan) meerdere datapunten Goed, voldoende of onvoldoende (in e-portfolio) Onvoldoende: remedieringsprogramma 10
Ervaringen + resultaten jaar 1 en 2 Vergelijkbare resultaten OSCE en nieuwe format (jr 1: 94% 88%; jr 2: 91% 88%) Studenten: Initieel ontevreden over communicatie (3.3/5) Erg positief over leerzaamheid (4.1/5) Eens over ontvangen feedback(4.4/5) Docenten: Initieel twijfel: subjectiviteit + steekproef erg smal Geeft een meer representatieve weergave van het niveau van de student * Lotte Ewalds, Elise Oosterman, Marjo Hoogendorp- Franssen, Marijke van Santen, Maarten Verwijnen, Annemarie Spruijt & Jan van Dalen. Levensecht toetsen van vaardigheden: ervaringen van studenten 11 en docenten. 2016 NVMO posterpresentatie
Examen Klinische Vaardigheden Summatief Brug tussen jaar 1/2 en masterfase 4 stations (20 min + 5) Beoordelaar is een clinicus (MUMC+) Algeheel oordeel: Criteria: Toont deze student in dit station aan dat hij de vaardigheden beheerst op een niveau zoals dat van een beginnend co-assistent verwacht mag worden? Beoordeling + Feedback op competenties (rubrics + open invulvelden) 12
Ervaringen + resultaten Jaar 3 EKV De zak/slaag percentages van OSCE en EKV verschillen niet significant (5,7% - 3,6%) Het was de student van tevoren duidelijk wat hij/zij kon verwachten 3,7/5 Het EKV sluit goed aan bij Vaardighedenprogramma en studentenpoli (3,9/5, 4,1/5) De feedback tijdens het EKV was waardevol: 4,2/5 Tevredenheid over het niveau van kennis en vaardigheden van de studenten: 3,9/5 (observator) * Wolters LJM, Krauss M, Nelissen S, Freens P, Dunselman G, Weert M, Van Zandvoort M, Van den Heuvel R, Jongen-Hermus FJ,. E xamen Klinische Vaardigheden: Van checklist naar competentiemodel. Posterpresentatie MVMO/EBMA 2017 13
Conclusies Succesvol, tevreden Intensief voor organisatie Intensief voor docenten + administratie (m.n. jaar 1 en 2) Leren omgaan met kaders en individuele afwegingen 14
Uitdagingen Uitkristalliseren (communiceren, intervisie van teams) Exploreren mogelijkheden van meer datapunten in jaar 1 en 2 Digitale beoordeling EKV feedback integreren in Portfolio competentieontwikkeling + brug naar masterfase 15
Vragen 16