E-Portfolio inzet / programmatisch toetsen Master Diergeneeskunde SURF Seminar E-portfolio s in het hoger onderwijs 1 juni 2018 Dr. F. Herman Jonker
Kennismaken Herman Jonker Dierenarts (afgestudeerd in 1981) Europees specialist Voortplanting (ECAR) Universitair docent Diergeneeskunde Departement Gezondheidszorg Landbouwhuisdieren Voorzitter Beoordelingscommissie Eportfolio Diergeneeskunde Docent-expert Electronisch toetsen Educate-it.
Climbing the pyramid Does Shows how Knows how Knows Performance assessment in vivo: Portfolio, multi-source feedback, peer-assessment,... Performance assessment in vitro: Assessment centers, OSCE, simulation patients Scenario or case-based assessment: MCQ, write-ins, oral, Fact-oriented assessment: MCQ, write-ins, oral
Competeny Based Education veterinare professional I Master plan for assessment FD 2010 1. Alle toetsen in de master dienen maximaal bij te dragen aan het leren van de student 2. Op basis van het toetsprogramma dient er een zo robuust mogelijk besluit genomen te kunnen worden over het functioneren van de student Alle toetsmomenten leveren zinvolle feedback op die door de student gebruikt kunnen worden ter verbetering van het functioneren Van belang dat er een overkoepelend raamwerk gebruikt wordt om op zinvolle wijze betekenisvolle data uit de verschillende toetsmomenten te kunnen aggregeren
Competeny Based Education veterinare professional I Meer algemeen: Longitudinale toetsing o formatief en o summatief beoordelingscommissie Gedefinieeerde competenties Creeëren van relevante leermomenten
Wetenschappelijke onderbouwing Validiteit: veelheid van methodes Reliability: veel (combineerde) informatie Learning impact: assessment geeft (longitudinal) betekeningsvolle information voor het leren Programmatisch toetsen
E-portfolio: assessment of progress Toetsinformatie gezien als pixels High-stakes beoordelingen vragen om veel datapunten (pixels)!
Competentie ontwikkeling veterinair professional: invulling Kennis en inzicht (30% eindcijfer major gedifferentieerd) Afrondende bloktoetsen (MCQ s) Competenties (vaardigheden): het e-portfolio (epass) (70% van het eindcijfer) Werkplekleren: individuele evaluatie / feedbackmomenten Integratie van kennis, inzicht en vaardigheden onder verschillende werkomstandigheden Longitudinaal: ontwikkeling in de tijd Dit wordt vastgelegd in het portfolio (e-portfolio (epass))
Competenties veterinare professional
Competentie ontwikkeling veterinaire professional De 7 competenties Veterinair handelen Communiceren Samenwerken Ondernemerschap Gezondheid & Welzijn Wetenschappelijk handelen Persoonlijk handelen Instrumenten KPBs MSF EBCR POP Minimale vereisten per masteronderdeel in afstudeereisen (examenprogramma)
Theory to Practice Assessment program Utrecht Klinische co-schappen (Major = 2jr) KPB MSF EBCR POP Formatieve beoordeling (tutor) Summatieve beoordeling
Competenties veterinair professional Beoordeling competenties ten opzichte verwacht eindniveau Schaal 1 tot 5 met globale ankerpunten Algemene beoordeling ten opzichte van verwacht niveau moment van opleiding Verwacht, onder of boven Vastleggen in robust systeem Bij Diergeneeskunde: EPASS (Mateum, Maastricht) Electronisch portfolio Database voor formele en informal feedback Zorgt voor een snel overzicht van geaggregeerde informatie Gebruiksvriendelijkheid blijkt cruciaal (mobiele versie/toegankelijkheid)
Beoordeling Epass diergeneeskunde Beoordeling Master jaar 1 Master jaar 2 Master jaar 3 Cijfer range Boven verwachting 3 4 5 9-10 Volgens verwachting 2 or 3 3 4 6-8 Beneden verwachting 1 or 2 1 or 2 3 4-5 410VNschaal ( 410 expected level scale ) (Ten Cate et al.) Beneden verwachting: remedieering Individueel programma Afhankelijk van deficienties
Competentiebeoordeling
E-portfolio:beoordeling voortgang
Beoordeling competentie ontwikkeling veterinare professional 3 beoordelingsmomenten Alle 7 competenties moeten voldoende zijn; geen compensatie mogelijk. Door tutor ± na 1 jaar en (half)jaarlijks: (formatief) Major gedifferentieerd (± na 2 jaar) summatief door beoordelingscommissie Klinische Track (na 3 jaar) summatief door beoordelingscommissie toetsingsmethode: 2 onafhankelijke assessors per portfolio; Verschil in resultaat: derde assessor ± 45 min / portfolio / assessor
Competenties veterinair professional Beoordelingsprocedure Belangrijke rol tutor Commissie beoordeling portfolio master diergeneeskunde (11 leden) 2 maal een summatief oordeel 2 beoordelaars per portfolio, bij een verschil 3e beoordelaar Cijfer 410VNschaal (Ten Cate et al.) onder verwachting (4-5) volgens verwachting (6-8) boven verwachting (9-10) Indien onvoldoende: remediëring
Tips and Tricks what can we learn from vet med De rijkheid van de informatie (kwalitatieve feedback) is het fundament van programmatic assessment Stimuleer onmiddellijke feedback, bij voorkeur samen met student Creëren van tijd en ruimte voor observatie en feedback essentieel Training deelnemers Reguleer minimale input Start gelijk met beoordelen formatief / summatief
Portfolio inzet / programmatisch toetsen Master Diergeneeskunde Dank voor uw aandacht Vragen? F.h.jonker@uu.nl