Gerard J.J.M. Straetmans Symposium De Logica van Mondelinge Toetsing Zutphen, 21 september 2012 G.J.J.M. Straetmans
Beslissingen nemen over onderwijsdeelnemers onderwijs Beslissing over toelating en plaatsing Beslissing over voortgang Beslissing over certificering of diplomering
Beslissingen nemen over onderwijsdeelnemers Effectiviteit Betrouwbare en valide scores Efficiëntie Kosten en baten in verhouding
Betrouwbaarheid houdt in dat een toets bij een herhaalde afname min of meer dezelfde toetsscores laat zien. 1 e afname 2 8 14 20 26 32 38 44 50 56 62 2 e afname
Nauwkeurigheid van individuele toetsscores Score kandidaat: 23 Cesuur: 30 Beslissing: gezakt Betrouwbaarheid = 0,45 5 10 15 20 25 30 35 40 Betrouwbaarheid = 0,80
Onzekere zak-/slaagbeslissingen G.J.J.M. Straetmans
Validiteit houdt in dat de toetsscore op zinvolle en verantwoorde wijze geïnterpreteerd en gebruikt kan worden met het oog op de te nemen beslissing.
Wat draagt bij aan de betrouwbaarheid? Veel vragen/opgaven;
Betrouwbaarheid G.J.J.M. Straetmans Relatie toetslengte en betrouwbaarheid 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1 0 10 14 18 22 26 30 34 38 42 46 50 Aantal vragen/opdrachten
Wat draagt bij aan de betrouwbaarheid? Waarom Veel vragen/opgaven; bepaalt het KNMI elk uur de temperatuur op een Transparante groot aantal vraagstelling; meetpunten? Nadruk op waarom: dat levert nuttige informatie op voor boeren en tuinders. Nadruk op KNMI: dat behoort tot de taken van dat instituut. Nadruk op elk uur: dat levert een grotere betrouwbaarheid van de meting op in vergelijking met een kleiner aantal meetmomenten. Nadruk op temperatuur: voor het doen van een goede weersvoorspelling zijn temperatuurgegevens onmisbaar. Nadruk op een groot aantal meetpunten: temperaturen kunnen van plaats tot plaats nogal verschillen.
Wat draagt bij aan de betrouwbaarheid? Veel vragen/opgaven; Transparante vraagstelling; Objectieve beoordeling; G.J.J.M. Straetmans
Obstakels voor een objectieve beoordeling De beoordeling gebeurt door een mens; Er is geen sluitende omschrijving van het correcte antwoord; Het scoringssysteem is niet vastgelegd en/of niet eenduidig. G.J.J.M. Straetmans
Wat draagt bij aan de betrouwbaarheid? Veel vragen/opgaven; Transparante vraagstelling; Objectieve beoordeling; Standaardisatie van afname. G.J.J.M. Straetmans
Standaardisatie afname Elke kandidaat moet dezelfde kans krijgen om te laten zien wat hij/zij weet of kan. Dezelfde dan wel gelijkwaardige vragen/opgaven; Dezelfde instructie/informatie over de toets; Dezelfde handelwijze bij onduidelijkheden en/of onregelmatigheden.
Wat draagt bij aan de validiteit? Validiteit zit in de eerste plaats in de kwaliteit van de vragen/opgaven waaruit een toets bestaat.
Formuleer vragen zó dat de verlangde cognitieve verrichting t.a.v. de gewenste leerstof wordt uitgelokt. Voorbeeld slechte vraagstelling Geef aan waarin de aanloop naar de Eerste Wereldoorlog verschilde van die naar de Tweede Wereldoorlog. Verbeterde vraagstelling Waarin verschilden de sociale en politieke omstandigheden in Duitsland vóór de eerste Wereldoorlog vergeleken met die vóór de tweede wereldoorlog? Richt je op een periode van 10 jaar voorafgaand aan de oorlog.
Wat draagt bij aan de validiteit? Validiteit zit in de eerste plaats in de kwaliteit van de vragen/opgaven waaruit een toets bestaat. Daarnaast moeten de vragen/opgaven een representatieve steekproef vormen uit het te meten leerstofdomein. G.J.J.M. Straetmans
Voorbeeld niet-representatieve en dus niet valide toets Geschiedenis leerstofonderdelen Meerkeuze vragen A B C D E F G H I J K L cognitieve verrichtingen herkennen/herinneren 3 20 5 28 begrijpen/inzicht 12 12 analyseren 2 kritisch denken/evalueren AANTAL VRAGEN IN TOETS 3 22 12 40
Kwaliteit van mondelinge toetsing (1) Mondelinge interactie als medium (THEORIE-TOETS) X als doelstelling (PRAKTIJK-TOETS)
Theorie-toets: toetsvormen Gesloten Meerkeuze Schriftelijk Open Lang-antwoord Open Essay Toetsvormen Mondeling
Kwaliteit van mondelinge Motivatie: toetsing (2) Duur mondeling: tussen 20 en 40 min. Aantal vragen dat gesteld kan worden hangt af van de cognitieve processen die men wil oproepen. Bij lagere orde processen: 30 vragen haalbaar. Toetslengte Transparante Bij hogere orde processen: Objectiviteit Standaardi- 10 tot 15 vraagstelling vragen beoordeling zijn haalbaar. satie afname Vergelijking m.b.t. aspecten betrouwbaarheid meerkeuze vragen ++ ++ ++ lang-antwoord vragen - - + essay -- -- - + mondeling /- + -- --
Kwaliteit van mondelinge toetsing (2) Vergelijking m.b.t. aspecten Motivatie: betrouwbaarheid Bij een mondeling hoeft geen enkele kandidaat te gissen naar de bedoelingen van de examinator. Toetslengte Transparante vraagstelling Objectiviteit beoordeling Standaardi- satie afname meerkeuze vragen ++ ++ ++ lang-antwoord vragen - - + essay -- -- - + mondeling /- + -- --
Kwaliteit van mondelinge Motivatie: toetsing (2) Anoniem beoordelen is onmogelijk; Sociaal vaardige en welbespraakte kandidaten lijken in het voordeel te zijn; Beoordeling door een 2 e examinator is lastig te realiseren. Vergelijking m.b.t. aspecten betrouwbaarheid Toetslengte Transparante vraagstelling Objectiviteit beoordeling Standaardi- satie afname meerkeuze vragen ++ ++ ++ lang-antwoord vragen - - + essay -- -- - + mondeling /- + -- --
Motivatie: Kwaliteit Dezelfde vragen/opgaven van mondelinge voor alle kandidaten is vanwege toetsing het na-elkaar- (2) toetsen niet haalbaar. Vergelijking Gelijkwaardige vragen/opgaven m.b.t. aspecten is lastig realiseren. betrouwbaarheid Uit onderzoek is gebleken dat docenten moeite hebben om de moeilijkheidsgraad van vragen in te schatten. Afnamecondities kunnen van kandidaat tot kandidaat meer fluctueren dan bij schriftelijke toetsen waar alle kandidaten gelijktijdig getoetst worden. Toetslengte Transparante vraagstelling Objectiviteit beoordeling Standaardi- satie afname meerkeuze vragen ++ ++ ++ lang-antwoord vragen - - + essay -- -- - + mondeling /- + -- --
Kwaliteit van mondelinge toetsing (3) Vergelijking m.b.t. aspecten validiteit Oproepen gewenste gedrag bij lagere-orde doelen Oproepen gewenste gedrag bij hogere-orde doelen Representativiteit t.o.v. te toetsen leerstofdomein meerkeuze vragen + - ++ lang-antwoord vragen + essay n.v.t. + -- mondeling
Kwaliteit van mondelinge toetsing (3) Motivatie: Vergelijking m.b.t. aspecten validiteit Examinator kan voortdurend bijsturen om de vragen/opgaven bij de kandidaat de gewenste cognitieve verrichtingen uit te laten lokken. Oproepen gewenste gedrag bij lagere-orde doelen Oproepen gewenste gedrag bij hogere-orde doelen Representativiteit t.o.v. te toetsen leerstofdomein meerkeuze vragen + - ++ lang-antwoord vragen + essay n.v.t. + -- mondeling ++ ++
Kwaliteit van Motivatie: mondelinge toetsing (3) Aantal vragen/opgaven vaak te weinig om de Vergelijking m.b.t. leerdoelen aspecten dekken. validiteit Doorvragen en hulpvragen benadelen de representativiteit extra. Test-wise en sociaal vaardige kandidaten weten de toetsafname op inhoud te sturen. Oproepen gewenste gedrag bij lagere-orde doelen Oproepen gewenste gedrag bij hogere-orde doelen Representativiteit t.o.v. te toetsen leerstofdomein meerkeuze vragen + - ++ lang-antwoord vragen + essay n.v.t. + -- mondeling ++ ++ -
Efficiëntie: vergelijking van de kosten tussen meerkeuzetoets en mondelinge toets G.J.J.M. Straetmans constructietijd (uur) per vraag - meerkeuze 0,5 - mondeling? aantal items meerkeuzetoets 40 kosten /uur docent 35 kosten /uur surveillant 17,5 correctietijd (min/item) meerkeuzetoets 0,166667 afnametijd (min/item) meerkeuze 2 afnametijd (min/toets) mondeling 40
Efficiëntie: vergelijking van de kosten tussen meerkeuzetoets en mondelinge toets G.J.J.M. Straetmans constructietijd (uur) per vraag - meerkeuze 0,5 - mondeling? aantal items meerkeuzetoets 40 kosten /uur docent 35 kosten /uur surveillant 17,5 correctietijd (min/item) meerkeuzetoets 0,166667 afnametijd (min/item) meerkeuze 2 afnametijd (min/toets) mondeling 40
Samenvatting Sterkste punten mondelinge toetsing: Relatief eenvoudig om hogere-orde doelstellingen te toetsen; Vragen/opgaven zijn altijd transparant (te krijgen). Zwakste punten mondelinge toetsing: Beoordeling is lastig objectief te krijgen; Moeizame standaardisatie van toetsinhoud en afname; Tijd vaak te kort voor representatieve toetsing; Duur bij grote aantallen kandidaten.
Conclusie Mondelinge toetsing is interessant als: Het aantal te toetsen kandidaten gering is en er relatief veel hogere-orde doelstellingen in het geding zijn. Extra maatregelen zijn nodig omwille van een objectieve beoordeling en vergelijkbaarheid van toetsinhoud en afnamecondities, zeker bij zwaarwegende beslissingen.
Tot slot: de beste strategie voor kandidaten