VALIDITEIT EN BETROUWBAARHEID VAN TOETSEN. Johan Jeuring Informatica Voorzitter toetsadviescommissie

Transcriptie

1 VALIDITEIT EN BETROUWBAARHEID VAN TOETSEN Johan Jeuring Informatica Voorzitter toetsadviescommissie

2 WAAROM TOETSEN? Om de student feedback te geven over zijn of haar vorderingen Om te bepalen of een student (een deel van) de leerdoelen van een vak beheerst Om te bepalen of een student voldoet aan de eindtermen van een opleiding

3 DEZE WORKSHOP Introductie begrippen die een rol spelen bij validiteit en betrouwbaarheid Met name bij toetsen die door grotere groepen studenten worden gemaakt Geïllustreerd aan de hand van een analyse van een toets bij mijn bachelorvak

4 RECHTVAARDIGHEIDSEISEN BIJ TOETSEN Validiteit Betrouwbaarheid Objectiviteit: van de nakijker, maar ook van het beoordelingsvoorschrift Transparantie (voor de student): welke onderwerpen komen aan de orde, en op welk niveau? Hoeveel vragen komen aan de orde in hoeveel tijd? Hoe worden de toetsen nagekeken? Normering: is het verschil tussen een 5 en een 6 te verdedigen gegeven de doelstellingen van het onderwijs?

5 VALIDITEIT Validiteit heeft te maken met de betekenis, de bruikbaarheid en de juistheid van de conclusies die uit de toetsscores worden getrokken. Leerdoel: je leert programma s algoritmisch te analyseren en evalueren Toetsvraag: beschrijf het KMP algoritme voor patroonherkenning Belangrijke categorieën: Inhoudsvaliditeit: de toets toetst de onderwerpen uit de leerdoelen Begripsvaliditeit: op het gewenste niveau

6 LANGUAGES AND COMPILERS Bachelor, niveau 3. I to describe structures (i.e., formulas ) using grammars; I to parse, i.e., to recognise (build) such structures in (from) a sequence of symbols; I to analyse grammars to see whether or not specific properties hold; I to understand the concept of compositionality; I to apply these techniques in the construction of all kinds of programs; I to familiarise oneself with the concept of computability.

7 TOETSING IN TALEN EN COMPILERS 2 toetsen: 1 halverwege, en 1 aan het eind 3 praktikumopgaven: zet een ontwerp op voor implementeer een programma dat

8 SPECIFICATIETABEL VOOR DE EINDTOETS

9 HOE KUN JE DE VALIDITEIT VAN EEN TOETS METEN EN WAARBORGEN?

10 BETROUWBAARHEID VAN TOETSEN Betrouwbaarheid geeft aan in hoeverre je de toets als meting kan vertrouwen, ongeacht de inhoud. Hertoetsen geeft hetzelfde resultaat, of kan je net zo goed dobbelen? Betrouwbaarheid is een vereiste voor validiteit. Zonder betrouwbaarheid kan je niets met de uitslag van een toets

11 HOE BEOORDEEL JE BETROUWBAARHEID EN WELKE VORMEN VAN HET METEN VAN BETROUWBAARHEID ZIJN ER?

12 PSYCHOMETRISCHE ANALYSE Psychometrische analyses zijn nuttig om signalen te geven Doen geen uitspraak over de kwaliteit van een toets Vereist invoeren van deelresultaten van een toets in een spreadsheet Mijn toets: 55 (aantal deelnemers) x 15 (aantal vragen) = 825 cijfers. 1,5 uur. Pay-off: vier mistellingen, waarbij 1 student een 0,5 punt te veel heeft gekregen P-waarde (moeilijkheid) Rit (onderscheidingsvermogen) Cronbach alpha (betrouwbaarheid)

13 P-WAARDE Moeilijkheid van een toetsvraag Tussen 0 (iedereen fout) en 1 (iedereen goed) Bij weinig deelnemers, of weinig antwoorden van deelnemers, minder betekenis Wenselijke waarde bij summatieve toetsen: 0,5 bij open vragen tussen 0,5 en 0,75 bij gesloten vragen (afhankelijk van aantal alternatieven) Berekening bij open vraag: gemiddelde van de resultaten gedeeld door max aantal punten Berekening bij gesloten vraag: gemiddelde minus correctie voor gokken (1 gemiddelde gedeeld door (aantal alternatieven 1))

14 P-WAARDE EINDTOETS

15 PROBLEMEN MET P-WAARDE? P-waarde is bijna 1: makkelijke vraag, en/of uitstekend onderwijs. Vraag discrimineert niet P-waarde bijna 0: moeilijke vraag. Als het een onderscheidende vraag is (alleen goede studenten geven goede antwoord), dan niet noodzakelijk een probleem. Als p-waarde ideaal is voor alle vragen, en we willen dat aanzienlijk meer dan de helft van de studenten slaagt, dan moeten we niet scores optellen en delen door maximale score, maal 10

16 RIT (RIR) Onderscheidingsvermogen van een vraag ``Elke toetsvraag moet zo goed mogelijk onderscheid maken tussen studenten met een hoge en lage eindscore Tussen -1 (negatief verband) en 1 (positief verband) >0,35: goed; <0,15: slecht Bereken door de correlatie tussen de antwoorden op een vraag en de eindscore (eventueel zonder de vraag zelf daar in mee te nemen)

17 RIR EINDTOETS

18 PROBLEMEN MET RIR? R-waarde negatief. Meestal iets vreemds aan de hand. Vaak het beste om de vraag uit de toets(scores) te verwijderen R-waarde < 0.15: nadere analyse: is p-waarde ook laag, mogelijk weghalen. Maar als iedereen de vraag goed beantwoordt, kan het ook zo zijn dat studenten de leerdoelen beheersen.

19 CRONBACH ALPHA Betrouwbaarheid zouden we kunnen testen door direct na de toets een vergelijkbare toest af te nemen. Nee! Relateert de standaarddeviatie van de vragen aan de standaarddeviatie van de totaalscores Tussen 0 (niet betrouwbaar) en 1 (volledig betrouwbaar) >0,8: OK, <0.7: kijk uit Vooral goed te gebruiken bij toetsen met veel vragen, die vergelijkbare competenties meten Minder goed inzetbaar bij weinig, geclusterde, vragen, en bij `prestatie binnen de tijd Berekenen: k/(k-1) x (1-(ΣSDi^2/SDx^2)) k = aantal vragen, SDi = standaarddeviatie vragen, SDx = standaarddeviatie totaal

20 CRONBACH ALPHA EINDTOETS 0.68, dus niet betrouwbaar? Mogelijke verklaringen: geclusterde vragen relatief weinig vragen heterogene vragen (zonder vraag 15: 0.71)

21 PROBLEMEN MET CRONBACH ALPHA? Is Cronbach alpha van toepassing? <0.7: toetsuitslag als formatief beschouwen >0.7 en <0.8: als studenten ook op andere manier worden getoetst, dan niet verontrustend

22 CONCLUSIE Betrouwbaarheid en validiteit zijn belangrijke kwaliteitsaspecten van toetsen Analyse van een toets vergt werk, maar is goed om eens een keer te doen Meer informatie: Henk van Berkel, Anneke Bax (red): Toetsen in het hoger onderwijs. Bohn Stafleu Van Loghum Anthony T. Nitko, Susam M. Brookhart: Educational Assessment of Students. Pearson D. N. M. de Gruijter: Toetsing en toetsanalyse %20Toetsanalyse.pdf