De ideale toetsvraag. vanuit toetsdeskundig en psychometrisch perspectief. Monika Vaheoja en Marije Fagginger Auer

Transcriptie

1 De ideale toetsvraag vanuit toetsdeskundig en psychometrisch perspectief Monika Vaheoja en Marije Fagginger Auer

2 Voorstellen

3 Programma Doel en nut Psychometrische analyse: van toets naar cijfer Opdracht Reflectie

4 Doel en nut 1. Je weet wat een p- en rir-waarde inhouden en wat die betekenen voor de kwaliteit van de toetsvraag. 2. Je kunt verklaren waarom een toetsvraag zich goed of niet goed gedragen heeft in de toets. 3. Je kunt slecht scorende toetsvragen op basis van de psychometrische gegevens aanpassen. 4. Je werkt samen met collega s van het eigen vak aan de verbetering en constructie van nieuwe toetsvragen van de eigen opleiding en van andere opleidingen. 5. Je hebt er plezier in om je kennis en kunde over het construeren en verbeteren van toetsvragen te vergroten.

5 Van toets naar cijfer Toetsafname (Student) Cesuurbepaling (Normeringspanel) Data-analyse (Hoofdredacteur) Goedkeuring cesuuradvies (Raad voor Kwaliteitsborging van de landelijke kennistoetsen) Vaststelling cesuur (Vaststellingscommissie) Opstellen cijfer en domeinscores (10voordeleraar) Versturen cijferlijsten (10voordeleraar) Communicatie naar student (Hogeschool) 5

6 Toetsdata Student vraag 1 vraag 2 vraag 3 vraag 100 totaal p-waarde 0,19 0,77 0,56 0,44 rir-waarde 0,43 0,17 0,22 0,12 6

7 p-waarde indicatie van moeilijkheidsgraad vraag proportie studenten die vraag goed beantwoordt, bijv.: p = % heeft vraag goed relatief makkelijke vraag p = % heeft vraag goed relatief moeilijke vraag bespreken met hoofdredacteur: p is lager dan 0.40 (moeilijk) p is hoger 0.95 (erg makkelijk)

8 rir-waarde (item-rest-correlatie) samenhang score op vraag en score op rest van de toets gewenst: positieve samenhang, bijv.: rir = 0.36 studenten die het voor de rest goed doen hebben deze vraag ook vaker goed ongewenst: afwezige of zelfs negatieve samenhang, bijv.: rir = studenten die het voor de rest goed doen hebben deze vraag juist vaker fout bespreken met hoofdredacteur: rir is lager dan 0.10

9 grafische weergave p- en rir-waarde p = 0.55 rir = 0.45 A1: 7% A2: 2% A3: 36% A4: 55%

10 Data-analysegesprek: keuzes per vraag Besluitopties a. Niets veranderen aan de vraag. 34 b. De vraag in deze toets laten meetellen, maar de vraag wel aanpassen voordat de vraag in een volgende toets wordt gebruikt. c. Bij de vraag een ander antwoordalternatief naast het goede antwoord ook goed rekenen. De vraag wordt aangepast voordat de vraag in een volgende toets wordt gebruikt. d1. De vraag in deze toets laten vervallen. De vraag telt dan niet mee in de uitslagbepaling van deze toets. De vraag wordt aangepast voordat de vraag in een volgende toets wordt gebruikt. d2. Vraag laten vervallen op basis van een lage p- waarde (onder de gokkans). De vraag telt dan niet mee in de uitslagbepaling van deze toets. De vraag wordt aangepast voordat de vraag in een volgende toets wordt gebruikt. e. Bij de vraag alleen een ander antwoordalternatief goed rekenen. Het antwoord dat in het QMP-systeem als juist staat, wordt fout gerekend (sleutelfout). De vraag wordt aangepast voordat de vraag in een volgende toets wordt gebruikt. * Alleen de meta-tag van de vraag wijzigen (vraag gaat niet naar de revisie structuur). Aantal keer 9 7 Totaal bekeken 50

11 Data-analysegesprek: verslag Vraag Vraagcode p-waarde item-rest Analyse psychometricus Normeringspanel NT a- v01$mak Tt0815 0,716 0,238 NT a- v01$mai Tt15 0,942 0,026 NT a- v01$mai T1415 0,868 0,226 NT a- v01$mak Tt ,588 0,193 NT a- v01$mai Tt0515 0,739 0,147 Lage rir wordt waarschijnlijk veroorzaakt doordat de vraag door de deelnemers als (te) gemakkelijk wordt ervaren. Het gegeven is niet helder. Formulering van de vraag met het woord effect. Besluit HR a b Motivatie Makkelijke, maar correcte vraag. Mee eens, dat het woord effect hier typisch gekozen is. Het heeft geen invloed op het juist beantwoorden van de vraag, maar het woord wordt aangepast.

12 Rapport feedback itemontwikkeling

13 Opdracht in drietallen Opdracht (35 minuten): erg makkelijk p-waarde >.95 moeilijk p-waarde <.40 lage samenhang met rest toets rir < In hoeverre voldoen de toetsvragen aan de criteria die in de schrijfwijzer staan? Noteer je antwoorden op het opmerkingsformulier. 2. Schrijf op welke vraag jullie als groep nog graag klassikaal willen bespreken. 3. Wat heeft deze opdracht je opgeleverd? Wat neem je mee naar je dagelijkse praktijk? Schrijf jouw antwoorden op kaartjes en prik ze op het prikbord in het Bovenplein (de ontvangstruimte).

14 Reflectie