Beoordelen van Beoor co co--assistenten assistenten Praktijk ve Praktijk v rsus theorie Marjan Govaerts

Transcriptie

1 Beoordelen van co-assistenten Praktijk versus theorie Marjan Govaerts

2

3 Waar hebben we het over?

4 Why Bother? Frequente feedback, op basis van Frequente toetsing Oefening en follow-up Ericsson, Academic Medicine 2004

5

6 Toetsen om van te leren Veilig leerklimaat Kwaliteit van feedback en supervisie Inbedden in dagelijkse werkroutines: vaak doen! Maak van leermomenten geen beslismomenten Scores zijn betekenisloos Performance is taak- en contextafhankelijk Focus op (narratieve) feedback Van feedback naar feed-forward Helder beschreven performance standaarden Gezamenlijk geformuleerde, concrete leerdoelen Govaerts et al., AHSE 2005; Bindal et al., Medical Teacher 2011 Sabey & Harris, Education for Primary Care 2011; Delandshere & Petrovsky, Ed. Res. 1998

7 Toetsen om van te leren Actieve rol van de lerende in proces van toetsen / feedback Bouw vormen van zelf- en/of peer-beoordeling in Congruentie tussen leren en feedback Gedetailleerde, gestandaardiseerde criterialijsten hebben slechts zeer beperkt nut Documenteer regelmatig (portfolio) Competentie-ontwikkeling: self-efficacy, reflectie Zorgvuldige, geloofwaardige besluitvorming Govaerts et al., AHSE 2005; Watling et al., Medical Education 2008; Bindal et al., 2011; Overeem et al., Medical Education 2010; Hounsell, 2007

8 Not everything that counts can be measured. Not everything that can be measured counts. Stephen J. Gould Albert Einstein By yputting a number on something that cannot be quantified (e.g. intelligence).. an incredible transformation takes place. Because the concept has now got a number everybody assumes that the concept must be measureable and therefore the concept must be valid.

9

10 Toetsen om te beslissen Veilige scores Gebrekkige documentatie Onduidelijke standaarden Wie ben ik om te oordelen? Coach versus examinator? The Scream by E. Munch

11 Expertoordelen en toetsen op de werkplek Kenmerken toetssysteem Doelen Instrumenten Procedures. Beoordelaar Performance theorie Doelen Opvattingen Attitude Stemming. Beoordeelde Performance Cognitieve processen Beoordelaar Persoonlijk oordeel Kenmerken organisatie Normen, waarden Accountability Feedback cultuur Facilitering (tijd, training, beloning) Publiek oordeel Score Feedback Govaerts et al., 2007 AHSE

12 Expertoordelen: oordelen in context Beoordelaarsgedrag wordt bepaald door persoonlijke doelstellingen. Percepties van het toetssyteem (acceptatie, vertrouwen, accountability) Verwachte consequenties van gedrag (affectief, emotioneel) Publieke oordelen wijken (soms sterk) af van persoonlijke oordelen en/of feedback aan beoordeelde. Beoordelaarsgedrag wordt bepaald door interacties tussen individuen en de sociale context.

13 Expertoordelen: oordelen in context Beoordelaars zijn actieve informatieverwerkers, geen passieve meetinstrumenten. Expertoordelen zijn professional judgments Processen vergelijkbaar met klinisch redeneren, beslissen Oordelen worden bepaald door het cognitieve filter van de individuele beoordelaar

14 Expertoordelen: focus op cognitie Ervaren beoordelaars verschillen significant van onervaren beoordelaars Kwaliteit Feedback Accuratesse oordeel Beoordelaars gebruiken verschillende cognitieve schema s Algemene performance schema s ( theorieën ) Taakspecifieke k performance schema s Persoonschema s Elke beoordelaar doet dit op eigen, unieke manier Training, ervaring, socialisatie bepalen uitkomsten van assessment Ervaren beoordelaars: meer gedifferentieerde schema s Govaerts et al., 2011 AHSE; Govaerts et al., submitted

15 Implicaties Kenmerken toetssysteem toetsing op basis van heldere leerplannen; expliciete verwachtingen zorg voor inbedding in werkroutines: vaak doen, veel feedback focus op (narratieve) feedback, score is minder belangrijk documenteer regelmatig: portfolio neem beslissingen op basis van geaggregeerde informatie individuele toetsmomenten zijn geen beslismomenten neem beslissingen op basis van kritische dialoog neem beslissingen als groep bouw zelf- (en/of peer-) assessment in Beoordelaars - coaches zorg voor training performance theorie; performance standaarden feedback, supervisie; omgaan met duale rol organisatie: g inbedding van toetsing in het werk zorg voor coaching en feedback: intervisie, dialoog met peers (mentoring?)

16 Implicaties Beoordeelden - lerenden zorg voor training eliciting feedback, goal setting zelf- en peer assessment voeren van functioneringsgesprekken Ondersteunende maatregelen bouw procedures t.b.v. accountability in voor beoordelaar en beoordeelde: kwaliteitszorg in een veilige leer- en werkomgeving gebruiksvriendelijke tools (e-folio s?) Neem de tijd voor de cultuurverandering

17 Toetsen van performance op de werkplek