Comparative judgment within online assessment: exploring students feedback reactions 15.10.2015 SIG (Digitaal) Toetsen en Leren Integreren Anneleen V. Mortier, Marije Lesterhuis, Peter Vlerick, Sven De Maeyer www.d-pac.be Anneleen.Mortier@UGent.be
2 Inhoud 1 Comparative Judgment 2 Wat is comparative judgment? Waarom comparative judgment? Hoe geef je feedback bij CJ? 3 4 Onderzoeksvragen Studie Design Resultaten Implicaties Mogelijks Verder onderzoek
Comparative Judgment Wat is het? 3 Klassieke methode: rubrics/criteria
Comparative Judgment Wat is het? 4 Comparative judgment: Welke paper is de beste op de competentie verklarend schrijven?
Comparative Judgment Wat is het? 5 Wanneer we dit vele keren doen:
Comparative Judgment Wat is het? 6 Demo: https://nomoremarking.com/demo1
Comparative Judgment Waarom? 12 1 Rubrics = artificieel opdelen van de competentie Bepaalde overlap Pollitt, 2012
Comparative Judgment Waarom? 13 2 Het geheel is meer dan de som van de delen Verklarend schrijven = ondersteuning + taal + structuur + ontwikkeling + indeling + conventies + spelling? Sadler, 2009
Comparative Judgment Waarom? 14 3 Soms worden er andere zaken meegenomen bij het beoordelen: Layout? Crisp, 2007
Comparative Judgment Waarom? 15 4 Beoordeling van 1 beoordelaar kan afhangen van zijn moodstoestand: Bejar, 2012
Comparative Judgment Waarom? 17 5 Scoren is ook een vergelijking maken Laming, 2004
Comparative Judgment Feedback naar studenten 18 Geen onderzoek naar hoe beoordeelden deze methode zien en of ze dit aanvaarden. Welke paper is de beste op de competentie verklarend schrijven?
Comparative Judgment Feedback naar studenten 19 Hoe moet je dit voorstellen en hoe komt dit binnen?
Study Onderzoeksvragen 20 RQ 1 RQ 2 Eerlijk? Relevant? Betrouwbaar? RQ 3
Study Research Questions 21 RQ 4: Hebben specifieke tips een meerwaarde? Algemene feedback Werk aan je structuur Specifieke feedback Goodman & Wood, 2004
22 Study Design - Studenten 185 studenten van 10 scholen in Vlaanderen 5 de jaar middelbaar 3 papers voor argumentatief schrijven (feedback op 1 paper)
23 Study Design - Beoordelaars 65 beoordelaars Leerkrachten in opleiding, leerkrachten, AKOV, andere experts. Beoordeling in een gecontroleerde omgeving
Study - Design 24 CJ met D-PAC
Study - Design 25 CJ met D-PAC http://demo.d-pac.be/tool/ demo@d-pac.be demo
26 Study Beoordelaars Taak beoordelaars - Kies een paper - Waarom heb je deze paper gekozen? (Whitehouse, 2012) Data - 1223 vergelijkingen - 1208 gesteunde vergelijkingen - 3739 uitspraken gerelateerd aan competentie
Argumenten van beoordelaars 27 Argumentatie 24% Structuur 30% Taal 21% Inhoud 24% Irrelevant 1% Similar to Huot (1993), Vaughan (1991)
Argumenten van beoordelaars 30 irrelevante aspecten in totaal (0,79%) 28 Het is geschreven in een ongelooflijk irritant lettertype om te lezen (Vergelijking 344) Ze waren beiden niet goed. Maar de rechtse paper maakte mij ten minste aan het lachen door de argumenten die de student heeft gebruikt. (Vergelijking 621) Similar to Whitehouse (2012)
Study - Design 29 Na de vergelijkingen: benchmark (6 de jaar) werd vastgelegd door een groep van experts. Niet-geslaagd Geslaagd Na de vergelijkingen: specifieke tips
Study Design Semi-gestructureerd interview 30 20 studenten 20 studenten Algemene feedback Werk aan je structuur Specifieke feedback
31 Study Design Feedbackrapport bestond uit: Informatie over de procedure
32 Study Design Feedbackrapport bestond uit: Informatie over de sample Informatie over de beoordelaars
33 Study Design Feedbackrapport bestond uit: Ranking
34 Study Design Feedbackrapport bestond uit: Ranking Slaaggrens
35 Study Design Feedbackrapport bestond uit: (specifieke tips)
36 Study Design Feedbackrapport bestond uit: Eigen taak
37 Study Design Feedbackrapport bestond uit: Beste taak
38 Study Analyse Nvivo 10 Thematische aanpak (Braun & Clarke, 2009) Codes gebaseerd op onderzoeksvragen Subcodes gebaseerd op antwoorden Verschillen tussen algemene feedback en specifieke tips
39 Study Resulten RQ1 Eerlijk RQ 1 Eerlijk? Meestal gezien als eerlijk Vergelijking Beoordeling is hetzelfde voor iedereen Veel beoordelaars Beoordelaars zijn consistent Het was anoniem Niet gezien als eerlijk omdat Score is afhankelijk van de klas Beoordelaars nemen de leercurve niet mee Score is niet genuanceerd (geslaagd of niet geslaagd)
Study Resulten RQ1 Eerlijk 40 RQ 1 Eerlijk? Laagst scorende studenten: - Meer als oneerlijk - Leercurve wordt niet meegenomen Hebben wel de grootste groeimogelijkheid! Hoog scorende studenten: - Beoordelaars kunnen niet allemaal dezelfde mening hebben - Niet genuanceerd
41 Study Results RQ2 Relevantie RQ 2 Meestal gezien als irrelevant Procedure Beoordelaars sample Studenten sample Maar: gemengde gevoelens Relevant? Werd nooit gezien als irrelevant Ranking & benchmark
Study Results RQ2 Relevantie 42 RQ 2 Relevant? Laagst scorende studenten: - Goed dat we onze resultaten kunnen vergelijken (voorbeeldpaper) Hoog scorende student: - Best scorende paper is overbodig
43 Study Results RQ3 Betrouwbaarheid RQ 3 Meestal gezien als betrouwbaar Vergelijking Vele beoordelaars die er iets van kennen Anoniem Betrouwbaar? Niet betrouwbaar want: Niet representatief Hoe hebben de beoordelaars de taken beoordeeld?
44 Study Resultaten RQ4 Specifieke tips Werk aan je structuur Studenten met specifieke tips gaven dit als argument voor betrouwbaarheid en eerlijkheid. Tips werden altijd gezien als relevant. Studenten met specifieke tips gaven aan dat ze meer hebben geleerd van hun feedbackrapport.
45 Study - Implicaties Over het algemeen zien studenten deze feedback als eerlijk, betrouwbaar en relevant. Potentieel gebruik in de praktijk Leg de methode goed uit
Study - Implicaties 46 Specifieke tips zijn belangrijk om te leren en het feedbackrapport te zien als eerlijk en betrouwbaar! Werk aan je structuur Belangrijkheid van een score Kunnen we dit implementeren?
Study Mogelijks Verder Onderzoek 47 Resulteert feedback echt in leren? Feedbackreacties in specifieke populaties? - Bvb. studenten met dyslexie Veralgemeenbaarheid naar andere competenties?
Coenen, T., Coertjens, L., De Maeyer, S., Donche, V., Lesterhuis, M., Mortier, A.V., Vanhoof, J., Van Gasse, R., Van Petegem, P., Verhavert, S., & Vlerick, P.
Demo: http://demo.d-pac.be/tool/ username: demo@d-pac.be password = demo Contacteer ons! http://www.d-pac.be Try-outs zijn mogelijk!
Type van beoordelaars Bronnen Voorkennis Lay-out Argumentatie Grammatica Structuur Geen specifieke focus Leerkrachten Taal Leerkrachten Taal AKOV Leerkrachten in opleiding Nt sign Nt sign Nt sign Sign
51 Lopend onderzoek: Benchmark categorisatie Hoe bepaal ik nauwkeurig in welke categorie een representaties behoort? Voorbeeld: taalkennis B2 B1