Alternatief vr giscrrectie dat niet nadelig is vr risicschuwe studenten Tinne De Laet, Jef Vanderst, Riet Callens, Js Vandewalle
Inleiding 2
Prbleemschets multiple chice examens manier m kennis te meten veel gebruikt, zeker vr grte grepen kunnen autmatisch en snel gequteerd wrden gkken wrdt als een prbleem beschuwd verschillende manieren m multiple chice examens te scren 3
Prbleemschets 4
Giscrrectie: van waar de cmmtie? Wat is giscrrectie? er is maar 1 crrect antwrd er zijn N alternatieven + mgelijk vr blanc te laten he gescrd: als je... het enige crrect alternatief aanduidt: +1 1 van de N-1 incrrecte alternatieven aanduidt: 1 de blanc ptie aanduidt: 0 Wat is de temperatuur in deze kamer (tt p 0.5 C nauwkeurig)? 5-9.5 C 10-14.5 C 15-19.5 C 20-24.5 C 25-29.5 C blanc...... N 1 5
Giscrrectie: van waar de cmmtie? uit de literatuur: + vermindert het randm gkken + het verstandig elimineren van antwrden wrdt aangemedigd - negatieve bestraffingsmethde - nadelig vr risicschuwe studenten mét giscrrectie scren studenten met hge gistendens beter deze studenten zijn niet geneigd m te gkken en laten meer vragen blanc - nadelig vr gede studenten (hge ability) - zelfs als er verschillende alternatieven kunnen geëlimineerd wrden met er tch ng gegkt wrden 6
Giscrrectie: van waar de cmmtie? ijkingstets ingenieurswetenschappen juli 2013 september 2013 juli 2014 september 2014 ttal female male gemiddeld aantal blanc antwrden (van de 35 vragen) 4,69 6,07 4,35 standaard deviatie 3,76 3,82 3,67 p-value T-test M vs F 6,15E-06 significant gemiddeld aantal blanc antwrden (van de 35 vragen) 6,60 7,88 6,18 standaard deviatie 3,40 3,40 3,34 p-value T-test M vs F 6,20E-03 significant gemiddeld aantal blanc antwrden (van de 35 vragen) 6,27 7,22 5,98 standaard deviatie 4,20 4,26 4,14 p-value T-test M vs F 7,70E-04 significant gemiddeld aantal blanc antwrden (van de 35 vragen) 9,42 11,09 9,00 standaard deviatie 4,89 4,86 4,82 p-value T-test M vs F 3,57E-03 significant 7
Centrale vraag Is er een alternatief vr giscrrectie dat gkken tegengaat en tch risicschuwe studenten niet benadeelt? Uitgangspunten gkken is ngewenst gedrag dat we willen ntmedigen risicschuwe studenten mgen niet benadeeld wrden 8
9 Alternatieven vr giscrrectie
Standard setting Wat is standard setting? er is maar 1 crrect antwrd er zijn N alternatieven (geen blanc) he gescrd: als je... het enige crrect alternatief aanduidt: +1 1 van de N-1 incrrecte alternatieven aanduidt: 0 maar de cesuur ligt hger: bvb 12/20 alternatief: je start van -2/20 Wat is de temperatuur in deze kamer (tt p 0.5 C nauwkeurig)? 5-9.5 C 10-14.5 C 15-19.5 C 20-24.5 C 25-29.5 C..... 10
Standard setting: dé plssing? uit de literatuur: + niet nadelig vr risicschuwe studenten + het verstandig elimineren van antwrden wrdt aangemedigd - je dwingt de student m te gkken dit is het gedrag dat je net wil vermijden 11
Eliminatie testing Wat is eliminatie testing? student elimineert alternatieven dr aan te duiden welke alternatieven nmgelijk zijn he gescrd: vr elk geëlimineerd fut alternatief (+ 1 N 1 ) als je het enige crrect alternatief elimineert (-1) niets elimineert = blanc antwrd(0) Wat is de temperatuur in deze kamer (tt p 0.5 C nauwkeurig)? 5-9.5 C 10-14.5 C 15-19.5 C 20-24.5 C 25-29.5 C nmgelijk O O O O O mgelijk M M M M M 12
Eliminatie testing: dé plssing? uit de literatuur: - cmplexer - vraagt meer inspanning van de student m de blletjes in te kleuren - belnt k gedeeltelijke kennis hgere scres (k alternatief uitgewerkt) - niet standaard ndersteund dr bestaande sftware systemen + elimineert de nd m te gkken + laat te m twijfel te tnen + belnt gedeeltelijke kennis OPGELOST + minder nadelig vr risicschuwe studenten 13
Instructies studenten Wat als?! 1. ik denk het enige juiste antwrd te weten (bvb. C) duid het juiste alternatief als mgelijk aan duid fute alternatieven als nmgelijk aan punten als C juist is punten als C niet juist is (en A wel) +1/3 +1/3 +0 +1/3 = +1-1 +1/3 +0 +1/3 = -1/3
Instructies studenten Wat als?! 2. ik twijfel tussen verschillende antwrden a) ik twijfel tussen twee antwrden (bvb. A & C) duid de alternatieven waar je tussen twijfelt als mgelijk aan duid uitgeslten alternatieven als nmgelijk aan punten als A f C juist is punten als A nch C juist zijn (en B wel) +0 +1/3 +0 +1/3 = +2/3 +0-1 +0 +1/3 = -2/3
Instructies studenten Wat als?! 2. ik twijfel tussen verschillende antwrden b) ik twijfel tussen drie antwrden (bvb. A, C & D) duid de alternatieven waar je tussen twijfelt als mgelijk aan duid uitgeslten alternatieven als nmgelijk aan punten als A, C f D juist is punten als A, C nch D juist zijn (en B wel) +0 +1/3 +0 +0 = +1/3 +0-1 +0 +0 = -1
Instructies studenten Wat als?! 3. ik het niet weet duid alle alternatieven als mgelijk aan punten in alle gevallen +0 +0 +0 +0= +0
Instructies studenten Wat als?! 4. ik een verkeerd blletje heb gekleurd crrigeer nauwgezet!
Onderzeksmethde 1. Experimentele analyse naar eliminatie testing 2. theretisch analyse naar verschillende alternatieven vr giscrrectie dr middel van prspect thery 19
Experimentele analyse 20
Experimentele analyse vak in 1 ste bachelr Ingenieurswetenschappen Elektrische netwerken situatie: examen was al multiple chice maar met giscrrectie Twee stappen: 1. naangeknde prefrnde+ enquête 2. examen met eliminatie testing 21
Experimentele analyse 1. prefrnde del: uittesten van nieuwe prcedure vr eliminatie testing uittesten van zelf ntwikkelde sftware vr het quteren dmv eliminatie testing studenten naar hun mening vragen frmaat: naangekndige test in laatste uur van de les 20 `eenvudige vragen 22
Experimentele analyse 1. prefrnde bevindingen: studenten scren slecht geen cnclusie naar punten nieuwe prcedure en autmatische crrectie werkt! Meerkeuze met eliminatie zal resulteren in een lagere scre dan meerkeuze met giscrrectie 160 140 120 100 80 60 40 20 0 6 helemaal akkrd 22 114 134 akkrd nbeslist niet akkrd 36 helemaal niet akkrd 19 blanc 160 140 120 100 80 60 40 20 0 Er is een hgere kans m juist te antwrden bij meerkeuze met giscrrectie helemaal akkrd akkrd nbeslist niet akkrd helemaal niet akkrd blanc 23
Experimentele analyse 1. try-ut meerkeuze met eliminatie is minder stresserend dan meerkeuze met giscrrectie 160 140 120 100 80 60 40 20 0 helemaal akkrd akkrd nbeslist niet akkrd helemaal niet akkrd blanc ik verkies belnd te wrden vr vlledig en gedeeltelijke kennis 200 150 100 50 0 helemaal akkrd akkrd nbeslist niet akkrd helemaal niet akkrd blanc 24
Experimentele analyse 1. try-ut 160 140 120 100 80 60 40 20 ik verkies meerkeuze met eliminatie bven meerkeuze met giscrrectie 0 helemaal akkrd akkrd nbeslist niet akkrd helemaal niet akkrd blanc 25
Experimentele analyse 2. examen aantal studenten 425 maximale scre 20 gemiddelde scre 12,12 mediaan 13 standaard deviatie 4,6 % geslaagd 68,47 26
Experimentele analyse 2. examen alle (hg en laag scrende) studenten gebruiken de mgelijkheid m gedeeltelijke kennis te uiten 11% van de antwrden duidt p miscncept=> er is maar weinig gkgedrag student gebruikt vaak valide redeneringen m alternatieven uit te sluiten zals verwacht ligt de gemiddelde scre hger Scre Analyse van juni-examen % van vragen met deze scre 1,00 57% perfecte kennis 0,67 9% 0,33 4% gedeeltelijke kennis 0,00 19% geen kennis -0,33 9% -0,67 2% -1,00 0% miscncept ttaal miscncept 27
Experimentele analyse nze evaluatie Vr studenten extra inspanning vr het invullen van de antwrden (4 x meer blletjes te kleuren) minder stresserend dan giscrrectie studenten kunnen gedeeltelijk kennis uitdrukken Vr dcent: extra inspanning vr het zeken naar gede alternatieven (als er te veel makkelijk te elimineren zijn dan kan student punten sprkkelen) extra inspanning vr het crrigeren van examens (als de autmatische crrectie geen uitsluitsel geeft) deze methde vereiste de ntwikkeling van nieuw eigen sftware OPGELOST 28
Theretische analyse 29
Theretische analyse dmv prspect thery prspect thery mdel vr beslissen nder nzekerheid uit ecnmie laat te m huding ten pzichte van risic s in kaart te brengen idee: iedereen prbeert de value van een beslissing te ptimaliseren iedereen handelt anders nder nzekerheid: een bepaald verwachte winst/verlies kan leiden tt een andere beslissing
Theretische analyse dmv prspect thery methdlgie simulaties van verschillende niveaus van risicschuwheid (λ) vr elke λ: Mnte Carl simulatin met 500 examens (25 MPQs) karakteristieken van echt examen (11% miscncept, 13% partiële kennis, number f questins,...)
Theretische analyse dmv prspect thery eliminatie testing is nadelig vr risiczekende studenten giscrrectie is nadelig vr risicschuwe studenten risicschuwheid
Eliminatie testing znder hgere scre? Wat is eliminatie testing? student elimineert alternatieven dr aan te duiden welke alternatieven nmgelijk zijn he gescrd: als je... het enige crrect alternatief elimineert (altijd 1 ) N 1 N-1 fute alternatieven elimineert (+1) N-2 fute alternatieven elimineert ( 1 N 1 ) N-3 fute alternatieven elimineert (... niets elimineert = blanc antwrd(0) 1 (N 1) 2) 33
Eliminatie testing znder hger scre? eliminatie testing is nadelig vr risiczekende studenten alternatief vermindert de hgere scre giscrrectie is nadelig vr risicschuwe studenten risicschuwheid
Besluit 35
Besluit eliminatie testing is geschikt vr multiple chice examens in een technisch 1ste bachelr Ingenieurswetenschappen vak. Studenten zijn in staat m de methde te gebruiken en gebruiken de mgelijkheid van eliminatie testing m hun gedeeltelijke kennis te tnen. Studenten prefereren eliminatie testing bven giscrrectie Dcenten meten extra inspanning leveren vr het zeken naar gede alternatieven, studenten wrden immers belnd vr gedeeltelijke kennis. De theretische analyse dr middel van prspect thery ndersteunt de experimentele bevindingen dat eliminatie testing minder nadelig is vr risicschuwe studenten dan giscrrectie. 36
Dankwrd OWP IJkingPRO (prmtr: Tinne De Laet, prjectmedewerker Jef Vanderst, kernteam Js Vandewalle en Riet Callens) LESEC: Leuven Engineering and Science Educatin Center 37