SIG (Digitaal) Toetsen en Leren Integreren

Transcriptie

1 Comparative judgment within online assessment: exploring students feedback reactions SIG (Digitaal) Toetsen en Leren Integreren Anneleen V. Mortier, Marije Lesterhuis, Peter Vlerick, Sven De Maeyer

2 2 Inhoud 1 Comparative Judgment 2 Wat is comparative judgment? Waarom comparative judgment? Hoe geef je feedback bij CJ? 3 4 Onderzoeksvragen Studie Design Resultaten Implicaties Mogelijks Verder onderzoek

3 Comparative Judgment Wat is het? 3 Klassieke methode: rubrics/criteria

4 Comparative Judgment Wat is het? 4 Comparative judgment: Welke paper is de beste op de competentie verklarend schrijven?

5 Comparative Judgment Wat is het? 5 Wanneer we dit vele keren doen:

6 Comparative Judgment Wat is het? 6 Demo:

7 Comparative Judgment Waarom? 12 1 Rubrics = artificieel opdelen van de competentie Bepaalde overlap Pollitt, 2012

8 Comparative Judgment Waarom? 13 2 Het geheel is meer dan de som van de delen Verklarend schrijven = ondersteuning + taal + structuur + ontwikkeling + indeling + conventies + spelling? Sadler, 2009

9 Comparative Judgment Waarom? 14 3 Soms worden er andere zaken meegenomen bij het beoordelen: Layout? Crisp, 2007

10 Comparative Judgment Waarom? 15 4 Beoordeling van 1 beoordelaar kan afhangen van zijn moodstoestand: Bejar, 2012

11 Comparative Judgment Waarom? 17 5 Scoren is ook een vergelijking maken Laming, 2004

12 Comparative Judgment Feedback naar studenten 18 Geen onderzoek naar hoe beoordeelden deze methode zien en of ze dit aanvaarden. Welke paper is de beste op de competentie verklarend schrijven?

13 Comparative Judgment Feedback naar studenten 19 Hoe moet je dit voorstellen en hoe komt dit binnen?

14 Study Onderzoeksvragen 20 RQ 1 RQ 2 Eerlijk? Relevant? Betrouwbaar? RQ 3

15 Study Research Questions 21 RQ 4: Hebben specifieke tips een meerwaarde? Algemene feedback Werk aan je structuur Specifieke feedback Goodman & Wood, 2004

16 22 Study Design - Studenten 185 studenten van 10 scholen in Vlaanderen 5 de jaar middelbaar 3 papers voor argumentatief schrijven (feedback op 1 paper)

17 23 Study Design - Beoordelaars 65 beoordelaars Leerkrachten in opleiding, leerkrachten, AKOV, andere experts. Beoordeling in een gecontroleerde omgeving

18 Study - Design 24 CJ met D-PAC

19 Study - Design 25 CJ met D-PAC demo@d-pac.be demo

20 26 Study Beoordelaars Taak beoordelaars - Kies een paper - Waarom heb je deze paper gekozen? (Whitehouse, 2012) Data vergelijkingen gesteunde vergelijkingen uitspraken gerelateerd aan competentie

21 Argumenten van beoordelaars 27 Argumentatie 24% Structuur 30% Taal 21% Inhoud 24% Irrelevant 1% Similar to Huot (1993), Vaughan (1991)

22 Argumenten van beoordelaars 30 irrelevante aspecten in totaal (0,79%) 28 Het is geschreven in een ongelooflijk irritant lettertype om te lezen (Vergelijking 344) Ze waren beiden niet goed. Maar de rechtse paper maakte mij ten minste aan het lachen door de argumenten die de student heeft gebruikt. (Vergelijking 621) Similar to Whitehouse (2012)

23 Study - Design 29 Na de vergelijkingen: benchmark (6 de jaar) werd vastgelegd door een groep van experts. Niet-geslaagd Geslaagd Na de vergelijkingen: specifieke tips

24 Study Design Semi-gestructureerd interview studenten 20 studenten Algemene feedback Werk aan je structuur Specifieke feedback

25 31 Study Design Feedbackrapport bestond uit: Informatie over de procedure

26 32 Study Design Feedbackrapport bestond uit: Informatie over de sample Informatie over de beoordelaars

27 33 Study Design Feedbackrapport bestond uit: Ranking

28 34 Study Design Feedbackrapport bestond uit: Ranking Slaaggrens

29 35 Study Design Feedbackrapport bestond uit: (specifieke tips)

30 36 Study Design Feedbackrapport bestond uit: Eigen taak

31 37 Study Design Feedbackrapport bestond uit: Beste taak

32 38 Study Analyse Nvivo 10 Thematische aanpak (Braun & Clarke, 2009) Codes gebaseerd op onderzoeksvragen Subcodes gebaseerd op antwoorden Verschillen tussen algemene feedback en specifieke tips

33 39 Study Resulten RQ1 Eerlijk RQ 1 Eerlijk? Meestal gezien als eerlijk Vergelijking Beoordeling is hetzelfde voor iedereen Veel beoordelaars Beoordelaars zijn consistent Het was anoniem Niet gezien als eerlijk omdat Score is afhankelijk van de klas Beoordelaars nemen de leercurve niet mee Score is niet genuanceerd (geslaagd of niet geslaagd)

34 Study Resulten RQ1 Eerlijk 40 RQ 1 Eerlijk? Laagst scorende studenten: - Meer als oneerlijk - Leercurve wordt niet meegenomen Hebben wel de grootste groeimogelijkheid! Hoog scorende studenten: - Beoordelaars kunnen niet allemaal dezelfde mening hebben - Niet genuanceerd

35 41 Study Results RQ2 Relevantie RQ 2 Meestal gezien als irrelevant Procedure Beoordelaars sample Studenten sample Maar: gemengde gevoelens Relevant? Werd nooit gezien als irrelevant Ranking & benchmark

36 Study Results RQ2 Relevantie 42 RQ 2 Relevant? Laagst scorende studenten: - Goed dat we onze resultaten kunnen vergelijken (voorbeeldpaper) Hoog scorende student: - Best scorende paper is overbodig

37 43 Study Results RQ3 Betrouwbaarheid RQ 3 Meestal gezien als betrouwbaar Vergelijking Vele beoordelaars die er iets van kennen Anoniem Betrouwbaar? Niet betrouwbaar want: Niet representatief Hoe hebben de beoordelaars de taken beoordeeld?

38 44 Study Resultaten RQ4 Specifieke tips Werk aan je structuur Studenten met specifieke tips gaven dit als argument voor betrouwbaarheid en eerlijkheid. Tips werden altijd gezien als relevant. Studenten met specifieke tips gaven aan dat ze meer hebben geleerd van hun feedbackrapport.

39 45 Study - Implicaties Over het algemeen zien studenten deze feedback als eerlijk, betrouwbaar en relevant. Potentieel gebruik in de praktijk Leg de methode goed uit

40 Study - Implicaties 46 Specifieke tips zijn belangrijk om te leren en het feedbackrapport te zien als eerlijk en betrouwbaar! Werk aan je structuur Belangrijkheid van een score Kunnen we dit implementeren?

41 Study Mogelijks Verder Onderzoek 47 Resulteert feedback echt in leren? Feedbackreacties in specifieke populaties? - Bvb. studenten met dyslexie Veralgemeenbaarheid naar andere competenties?

42 Coenen, T., Coertjens, L., De Maeyer, S., Donche, V., Lesterhuis, M., Mortier, A.V., Vanhoof, J., Van Gasse, R., Van Petegem, P., Verhavert, S., & Vlerick, P.

43 Demo: username: password = demo Contacteer ons! Try-outs zijn mogelijk!

44 Type van beoordelaars Bronnen Voorkennis Lay-out Argumentatie Grammatica Structuur Geen specifieke focus Leerkrachten Taal Leerkrachten Taal AKOV Leerkrachten in opleiding Nt sign Nt sign Nt sign Sign

45 51 Lopend onderzoek: Benchmark categorisatie Hoe bepaal ik nauwkeurig in welke categorie een representaties behoort? Voorbeeld: taalkennis B2 B1