De leerkansen die comparatief beoordelen biedt Maarten Goossens 8/11/2018 1
Comparatief beoordelen 8/11/2018 2
Beoordelingsfamilies (Coertjens, 2017) Holistisch beoordelen het geheel is meer dan de som van de delen Betrouwbaarheid 3
Beoordelingsfamilies (Coertjens, 2017) Gray scale Description 1 White 2 Slightly darker than white 3 Between white and gray 4 Almost gray 5 Gray 6 Slightly darker than gray 7 Dark gray 8 Slightly darker than dark gray 9 Almost black 10 Black 4
Beoordelingsfamilies (Coertjens, 2017) Analytisch beoordelen Criterialijsten, rubrics opgedeeld staat netjes Betrouwbaarheid Validiteit 5
Beoordelingsfamilies (Coertjens, 2017) Analytisch beoordelen Criterialijsten, rubrics opgedeeld staat netjes Betrouwbaarheid Validiteit Absoluut (per product) Holistisch beoordelen het geheel is meer dan de som van de delen Betrouwbaarheid Comparatief Vergelijkende methoden Paarsgewijs vergelijken vergelijken is puur natuur 6
Comparatief beoordelen VS Welke papers is de beste? VS 7
Data Feedback Sterke punten Werkpunten Beoordelaar A Zeer relevante onderzoeksvraag. Deze paper draagt echt nieuwe wetenschappelijke inzichten aan. Volgens mij kan je nog verder gaan in je praktische implicaties. Denk bv aan Beoordelaar B Schitterend gebruik van mixed methode. Ik zou je vervolg onderzoek nog meer in de verf zetten. Kijk eens naar (hupeldepup, 2012) Beoordelaar C Must read! 8
Data Rangorde Kwaliteitsscores (in logits) met betrouwbaarheidsinterval Scale Separation Reliability Geeft schatting van interbeoordelaars betrouwbaarheid (Verhavert, 2017) Misfit data voor beoordelaars Welke beoordelaars hebben een andere kijk (in vergelijking met de gedeelde consensus van beoordelaars?) Misfit data voor representaties Welke representatie(s) zijn moeilijk te beoordelen? SSR=.80 9
Leerkansen van comparatief beoordelen 8/11/2018 10
Leerkansen studenten (Bouwer, Goossens, Mortier, Lesterhuis & De Mayer, 2018) Vergelijken Feedback formuleren Feedback krijgen Sterke en verbeterpunten Positie in rangorde Voorbeelden Mediërende rol docent 11
Professionalisering Misfit beoordelaars Feedback Tegen-logische keuzes Aangehaalde argumenten in feedback Sterke punten Werkpunten Beoordelaar A Spelling Lay-out Apa Beoordelaar B Beoordelaar C Schitterend gebruik van mixed methode. Must read! Ik zou je vervolg onderzoek nog meer in de verf zetten. Kijk eens naar (hupeldepup, 2012) 12
Professionalisering Misfit beoordelaars Misfit representaties Tegen-logische keuzes Aangehaalde argumenten in feedback 13
Professionalisering Voorbeeld Ahovoks 9 interne beoordelaars 16 externe beoordelaars 37 teksten Pre-test: 5 misfits Professionaliseringsdag Post-test: 1 misfit Data externe 1 Rangorde internen Data externe 2 Data externe 14
Kwaliteitszorg beoordelingen Bijvoorbeeld op departementen/academies Groeien we over de jaren heen naar elkaar toe als beoordelaars? Hoe evolueert dit als er mensen de instelling verlaten/bijkomen? Is er genoeg diversiteit? Hoe verhouden we ons als docenten tot het werkveld? Benchmarks Rangorde jaar 1/ klas A/ Rangorde jaar 2/ Klas B/ 15
Leerwinstmonitoring Benchmarks/schalen hergebruiken Over opdrachten heen (zelfde competentie) Over jaren heen 16
Centrale toetsing Representatieve schalen, b.v. schrijfvaardigheid Vlaanderen, Nederland Individuen, klassen, jaren, scholen, inschalen op representatieve schaal bewaken standaard tendensen en evoluties op niveaus succesvolle interventies? 17
Conclusie Comparatief beoordelen genereert rijke data die leerkansen biedt op alle niveaus en zou daarom een plaats moeten krijgen in elk evaluatiebeleid 18
Referenties Bouwer, R., Goossens, M., Mortier, A., Lesterhuis, M., & De Maeyer, S. (2018). Een comparatieve aanpak voor peer assessment : leren door te vergelijken. In D. Sluijsmans & M. Segers (Eds.), Toetsrevolutie : naar een feedbackcultuur in het hoger onderwijs (pp. 92 106). Phronese. Coertjens, L., 2017: Key-note op D-PAC event. UAntwerpen Lundstrom, K., & Baker, W. (2009). To give is better than to receive: The benefits of peer review to the reviewer's own writing. Journal of second language writing, 18(1), 30-43. Rollinson, P. (2005). Using peer feedback in the ESL writing class. ELT journal, 59(1), 23-30. 19
www.d-pac.be maarten.goossens@uantwerpen.be 20