Het Maastrichtse Model

Transcriptie

1 Het Maastrichtse Model EEN ALTERNATIEF? REFLECTIE OP EEN MODEL

2 Toetsen van competenties Longitudinale toetsing en toetsprogramma: doelbewust gepland arrangement van toetsing t ingebed in leerprogramma 3 doelen worden nagestreefd: Toetsing als leermoment (Assessment for Learning) Aandacht voor zelfsturing Beslissingen over studievoortgang moeten robuust zijn Toetsing als evaluatie van het curriculum

3 Toetsen van competenties Frequente toetsing (formele feedback) Focus op kwalitatieve, narratieve informatie (betekenisvol) Elk individueel toets moment is beperkt in kwaliteit (betrouwbaarheid, validiteit, leerwaarde..) Mix van toetsmethoden en instrumenten Uitspraken over professionele competentie: niet op basis van werkplekbeoordelingen alleen Voor gestandaardiseerde toetsing (kennis bijv.) kan de kwaliteit ingebouwd worden met kwaliteitszorg in toetssamenstelling en - afname Validiteit van werkplekbeoordelingen wordt vooral bepaald door de gebruikers van de instrumenten

4 Toetsen van competenties Het menselijk oordeel is onvermijdelijk voor beoordeling van complexe vaardigheden en wanneer informatie moet worden gecombineerd. Kwaliteit van beslissing g( (robuust): Steekproeftrekking (inhoud, beoordelaar, context, methode) Zorgvuldige procedures (due process) Wat er op het spel staat (stakes) is een continuüm (formatief f = low stakes; tk summatief = high h stakes) tk Hoe meer er op het spel staat, hoe meer informatie nodig is

5 Reflectieve activiteit door lerende - Interpretatie van feedback - Planning nieuwe doelen en leertaken ONTWERP Leer- / werkactiviteiten v v Bekwaamverklaring beheersingstaak (vaardigheid), of Kennistoets Toetsactiviteiten PORTFOLIO Begeleidingsactiviteiten Individuele toets of beoordelingsvorm (één datapunt) - Maximaal fit for purpose - Kan elk niveau van Miller zijn - Leergericht, informatierijk, betekenisvol (met name kwalitatief, eventueel kwantitatief), gedocumenteerd - Er staat weinig op het spel (low stakes) Tijd Ondersteunende sociale interactie - Coaching/mentoring/supervisie - Peer interactie (intervisie)

6 v v Leer- / werkactiviteiten Toetsactiviteiten Begeleidingsactiviteiten Tussentijdse beoordeling Tijd - Geaggregeerde informatie geëvalueerd tegen een standaard - Groep van beoordelaars: scheid docentrol van beoordelaarsrol l - Besluitvorming: diagnostisch, therapeutisch, prognostisch - Gericht op remediering, - Informatief - Longitudinaal - Er staat meer op het spel (intermediate stake)

7 Leeractiviteiten Toetsactiviteiten Begeleidings- activiteiten v v v v Tijd

8 v v v v v v Eindbeoordeling Tijd - Geaggregeerde informatie geëvalueerd tegen een standaard -Groep van onafhankelijke beoordelaars - High stakes besluit over studievoortgang - Gebaseerd op veel toetsmomenten, beoordelaars, in verschillende contexten en rijke informatie - Verdedigbaarheid van de beslissing geoptimaliseerd door procedurele maatregelen

9 9 Van der Vleuten et al. (2010). Clinical Obstetrics and Gynaecology Best Practices & Research, 24(6),

10 v v v v v v Tijd Training Activities v v v v v v Assessment Activities Supporting Activities Tijd

11 Kernpunten Expliciete verwachtingen / standaarden Individuele toetsmomenten: Focus op leren Focus op narratieve feedback (tegen de achtergrond van de standaard) d) Documenteer Zorg voor betekenisvolle aggregatie Beslissen op basis van rijke informatie Door een groep beoordelaars Op basis van zorgvuldige procedures

12 DANK VOOR UW AANDACHT

13 Kwaliteit van de beslissing Strategie ter Mogelijke Verhoging van de Aanpak verdedigbaarheid Criterium (voorbeeld) Credibility Prolonged engagement Trainen van beoordelaars Geloofwaardige beoordelaars Triangulation Gedoseerde toename van oordelen gebaseerd op de mate van onzekerheid in de informatie Peer examination Member checking Benchmarking van beoordelaars Betrekken van de mening van de lerende Structural coherence Nagaan van inconsistenties in informatie / commissie beslissingen Transferability Time sampling Oordeel over veel datapunten Thick description Motivering van besluiten; narratieve feedback Dependability Stepwise replication Gebruik van meerdere beoordelaars die geloofwaardigheid hebben Confirmability Audit Beroepsmogelijkheid; externe assessoren

14 Why bother? Correlatie tussen kennistoetsen en performance in de praktijk, tot 10 jaar na registratie = Ramsey et al., 1989 / Tamblyn et al., 2002 / Wenghofer et al., 2009 Toetsscores communicatieve vaardigheden voorspellen kwaliteit van zorg / klachten, tot 12 jaar na registratie i Tamblyn et al., 2007 / Wenghofer et al., 2009 Professioneel gedrag tijdens opleiding voorspelt kwaliteit van zorg / patienttevredenheid Papadakis et al., 2005/McLeod et al., 1994

15 Reflection-on on-assessment 7 / 10 9 / 10 8 / 10 4 / 10 7 / 10 8 / 10

16 Reflection-on on-assessment 7 / 10 8 / 10 9 / 10 4 / 10 7 / 10 8 / 10 16

17 Toetsen van competenties Toetsinstrumenten / -vormen kennistoets 360-graden feedback (project)opdracht observatie in de praktijk stationstoets Co mpete enties 1 Communicatie 2 Samenwerken 3 Medisch handelen 4

18 Leerproduct of artefact - Product artefacten: Producten van leertaken - Proces artefacten: Leer- of werkactiviteiten Leeractiviteiten Toetsactiviteiten Begeleidingsactiviteiten v v Leertaak -PGO casus - Consult met patiënt - Operatie -Project - College - Zelfstudie Tijd

19 Bekwaamheidverklaring van een beheersingstaak - Rescuscitatie - Normale bevalling Leeractiviteiten Toetsactiviteiten Begeleidingsactiviteiten v v Tijd Individuele toets of beoordelingsvorm (één datapunt) t) - Maximaal fit for purpose - Kan elk niveau van Miller zijn - Leergericht, informatierijk, betekenisvol (kwantitatief en kwalitatief), gedocumenteerd - Er staat weinig op het spel (low stakes)