Kwantitatieve analyse toetskwaliteit

Transcriptie

1 Kwantitatieve analyse toetskwaliteit Auteur: Rob Kayzel Aan de hand van de resultaten van het tentamen (de scores van de studenten) is het mogelijk om de kwaliteit van het tentamen onderzoeken. De analyse kan plaats vinden op twee niveaus, namelijk het individuele item (vraag, opdracht) en het tentamen als geheel. ANALYSE VAN INDIVIDUELE ITEMS Bij alle toetsvormen kan informatie over de scores van studenten worden verzameld. Onderstaand gaan we in de p-waarde, a-waarde en de Rit waarde. P-waarde De basis van de analyse is de vraag welk percentage van de studenten de vraag goed heeft beantwoord of aan het criterium voldoet (p-waarde). Bij een multiple choice vraag kan worden vastgesteld hoeveel procent van de studenten het goede antwoord heeft aangekruist. Bij een open vraag waarbij een student een aantal punten kan halen, kan het percentage goede antwoorden worden vastgesteld door het aantal behaalde punten op te tellen en af te zetten tegen het maximaal aantal te behalen punten. Bij het resultaat van een opdracht of vaardigheidstoets die wordt beoordeeld aan de hand van een aantal criteria, kan per criterium vastgesteld worden welk percentage van de studenten aan het criterium voldoet. Voor de analyse van multiple choice tentamens zijn programma s als Sonate beschikbaar. Omdat maar een klein deel van het toetsprogramma bestaat uit multiple choice tentamens en multiple choice toetsen weinig zeggen over kennis, vaardigheden, attitudes en competenties op een hoger niveau (zoals analyseren, evalueren, ontwerpen, probleem oplossen, redeneren) is het voor de borging van de kwaliteit van de toetsing nodig dat alle tentamens worden geanalyseerd op basis van de resultaten. 1

2 Bij het beoordelen van de kwaliteit van een item moet worden vastgesteld wat de ideale p- waarde is (de norm). De norm is geen statistisch gegeven. Ze is ten eerste gebaseerd op verwachtingen over het studiegedrag van studenten en ten tweede afhankelijk van het doel van het tentamen. Als het tentamen concurreert met andere tentamens of onderwijsactiviteiten zal een deel van de studenten zich onvoldoende voorbereiden op het tentamen. De mogelijkheid om het tentamen snel te herkansen leidt ook tot meer studenten die zich onvoldoende voorbereiden. Als er geen sprake is van concurrentie, er een strenge herkansingsregeling is en het onderwijs de student motiveert dan mag verwacht worden dat de meeste studenten zich goed voorbereiden. In het laatste geval kan een hoge p-waarde als norm worden genomen. De norm wordt ten tweede bepaald door de vraag hoe betrouwbaar het tentamen moet zijn. Als één tentamenmoet selecteren tussen geschikte en ongeschikte studenten moet het tentamen voldoen aan hoge kwaliteitseisen. Als de selectie plaats vindt op basis van meerdere (deel)tentamens met de mogelijkheid te compenseren of wanneer het gaat om formatieve toetsen, dan kunnen de kwaliteitseisen minder streng zijn. Een lage p-waarde kan verschillende oorzaken hebben. Ten eerste moet worden nagegaan of het item (de vraag en antwoordalternatieven, de vraag en het antwoordmodel, het criterium) helder en eenduidig is geformuleerd. Als hier geen probleem is te vinden dan is het item te moeilijk voor de (meeste) studenten of heeft een aanzienlijk deel van de studenten zich onvoldoende op dit onderwerp voorbereid. Een opdracht omvat een onderzoeksgedeelte. Bij het onderzoeksgedeelte is het formuleren van goede onderzoeksvragen een beoordelingscriterium. Het blijkt dat zestig procent van de studenten niet aan dit criterium voldoet (p-waarde 0.40). De lage p-waarde is aanleiding voor nader onderzoek. Is de opdracht goed geformuleerd? Zijn de beoordelingscriteria bekend bij studenten? Hebben studenten voldoende kunnen oefenen met het formuleren van onderzoeksvragen? Is het criterium te hoog gegrepen in deze fase van de opleiding? Enzovoort. Voorbeeld lage p-waarde bij de beoordeling van een opdracht In de hoofdfase van een opleiding, waarbij studenten door de propedeuse zijn geselecteerd op geschiktheid is een hoge p-waarde (0.80 of 0.90) de norm. Alleen te weinig inzet, persoonlijke omstandigheden of tekortkomingen in het onderwijs kunnen een oorzaak zijn van een lagere p-waarde. In de propedeuse kan het tentamen ook de functie hebben om de geschiktheid van de student vast te stellen en kan bijvoorbeeld een norm van 0.70 worden gesteld. 2

3 A-waarde Bij meerkeuzevragen kan gekeken worden naar de afleiders (de a-waarden). Bij andere toetsvormen kan dat niet. De a-waarden geven aan hoe vaak een afleider is gekozen. Als een afleider niet of nauwelijks is gekozen, dan is de kwaliteit daarvan waarschijnlijk onvoldoende. opgave p-waarde O/D frequentie alternatieven A B C D 11 0, * 12 0, * , * , * 10 8 Het alternatief met een * is het goede antwoord. O/D is het percentage studenten dat meerdere alternatieven of geen alternatief heeft aangekruist. Vraag 11 voldoet aan de ideale p-waarde voor een toets in de propedeuse. Alle alternatieven zijn door een kleine groep studenten gekozen, hetgeen betekent dat ze even plausibel waren. De p-waarde van vraag 12 is laag. Dat de afleiders en het goede antwoord dezelfde waarde hebben kan duiden op gokgedrag. Deze indruk wordt versterkt door het feit dat 10% van de studenten meerdere alternatieven of geen alternatieven heeft aangekruist. Dit item is misschien te moeilijk of te verwarrend. Bij vraag 13 kiezen veel meer studenten voor het foute antwoord C dan het goede antwoord A. Alternatief B is waarschijnlijk geen goede afleider, omdat geen enkele student deze heeft gekozen. Met dit item is duidelijk iets aan de hand. Opgave 14 geeft een beeld dat waarschijnlijk makkelijk is te veranderen. Misschien is hier een fout gemaakt met de sleutel en is door een vergissing antwoord B als het goede antwoord aangegeven Voorbeelden p-waarden en a-waarden bij een MC-toets Rit-waarde Naast de analyse van de p-waarden kan per item ook het onderscheidend vermogen (Rit) worden bekeken. Statistische maten als Rit en betrouwbaarheid zijn alleen betekenisvol bij voldoende grote aantallen studenten. Meestal wordt als norm meer dan vijftig studenten aangehouden. 3

4 Een vraag heeft een hoog onderscheidend vermogen (Rit meer dan 0.25) als studenten met een hoge score de vraag goed maken en de studenten met een lage score fout. Het item differentieert tussen de goed presterende en minder goed presterende studenten. Als studenten van alle niveaus hetzelfde scoren op een vraag dan is er geen onderscheidend vermogen (Rit is 0). Als laagscorende studenten de vraag goed hebben en hoogscorende studenten niet (Rit is negatief), dan is er waarschijnlijk iets aan de hand, zoals een foute sleutel of bij een open vraag of opdracht een onduidelijke formulering. Hoge(re) p-waarde, hoge Rit Makkelijk item, die door een kleine groep laag scorende studenten fout is gemaakt Lage(re) p-waarde, hoge Rit Moeilijk item, die alleen door de goed scorende studenten goed is gemaakt Kwaliteit is voldoende Hoge(re) p-waarde, lage Rit Makkelijk item, die geen onderscheid maakt tussen beter en minder goed presterende studenten Lage(re) p-waarde, lage Rit Moeilijk item, die geen onderscheid maakt tussen beter en minder goed presterende studenten Twijfel aan de kwaliteit Onderzoek van p-waarde en Rit per item ANALYSE VAN HET TENTAMEN ALS GEHEEL Bij de analyse van het tentamen als geheel kan gekeken worden naar de volgende kengetallen: 1. Percentage voldoendes 2. Gemiddelde score van de 5% beste studenten 3. Betrouwbaarheid (KR-20 of coëfficiënt alfa) 4. Verschillen tussen beoordelaars Percentage voldoendes Bij het percentage voldoendes speelt de vraag hoeveel (on)voldoendes normaal wordt gevonden. Volgens een lang geleden uitgevoerd onderzoek vinden docenten het aanvaardbaar dat driekwart van de studenten slaagt en een kwart van de studenten zakt (Posthumus, 1940). De veronderstelling daarbij is dat in iedere fase van de opleiding een 4

5 deel van de studenten zich onvoldoende inspant of ongeschikt is. A.D. de Groot (1966) zet hierbij de nodige vraagtekens. Als studenten vanwege hun vooropleiding (bijvoorbeeld havo) of laatste examen (propedeuse) geschikt zijn bevonden voor de opleiding, dan zouden ze allemaal voor een tentamen moeten slagen. Het percentage onvoldoendes wordt veroorzaakt door studenten die zich onvoldoende hebben ingespannen en door tekortkomingen in het tentamen of in het onderwijs. In de propedeuse wijst een tentamen met meer dan 30% onvoldoendes op niet student gerelateerd tekortkomingen in het tentamen of in het voorafgaande onderwijs. In de hoofdfase zou 90% van de studenten voor een tentamen moeten slagen. Gemiddelde score van 5% beste studenten Bij een goed tentamen zouden de beste studenten (bijna) alle vragen goed moeten hebben. Omdat de beste student een uitschieter kan zijn is de gemiddelde score van de 5% beste studenten een goede indicatie voor de kwaliteit van het tentamen. Als de beste studenten er niet in slagen (bijna) alle vragen goed te beantwoorden, dan is er waarschijnlijk een probleem met het tentamen of het onderwijs. De cesuurbepaling van Cohen-Schotanus, waarbij de gemiddelde score van de 5% beste studenten als referentiepunt wordt genomen, corrigeert voor dit probleem. Een toets bestaat uit 60 invulvragen. Alle vragen wegen even zwaar. De gemiddelde score van de 5% beste studenten is 54 goed antwoorden. De cesuur wordt gelegd bij 55% van 54, dat is 30 goede antwoorden. Voorbeeld Cesuurbepaling Cohen Schotanus Er zijn meerdere manieren om de cesuur te bepalen. De cesuurbepaling van Cohen- Schotanus wordt door toetsexperts vaak aanbevolen als een compromis tussen de relatieve en absolute cesuurbepaling. De methode is, zoals het voorbeeld laat zien, ook relatief eenvoudig toe te passen. Bij mutiple choice tentamens moet nog rekening worden gehouden met de raadkans. Betrouwbaarheid De betrouwbaarheid van een tentamen geeft antwoord op de vraag in welke mate studenten bij twee gelijkwaardige tentamens hetzelfde zouden scoren. Een hoge betrouwbaarheid betekent dat het tentamen de werkelijke kennis en vaardigheid van de student goed heeft gemeten. De norm voor de betrouwbaarheid van een tentamen is 5

6 afhankelijk van het doel van het tentamen. Als het tentamen bedoeld is om de geschiktheid van een student te bepalen is een betrouwbaarheid van 0.80 of hoger gewenst. Dit is van toepassing als alle tentamens met een voldoende moeten worden afgesloten en compenseren niet mogelijk is. Als het gaat om formatieve toetsen, die het leren te ondersteunen en stimuleren en de prestaties van studenten te meten en van feedback te voorzien, is een betrouwbaarheid van 0.60 voldoende. Dit is ook het geval bij een compensatorische examenregeling. Een betrouwbaarheid van 0.80 betekent dat 80% van de variantie van de scores kan toegeschreven worden aan de werkelijke verschillen tussen studenten en 20% van de variantie aan het toeval. Er zijn een aantal kanttekeningen te plaatsen bij de betrouwbaarheid als kengetal voor de kwaliteit van een tentamen: De betrouwbaarheid is lager naarmate het tentamen heterogener is, dat wil zeggen verschillende soorten kennis en vaardigheden meet; De betrouwbaarheid wordt lager naarmate de groep studenten homogener is, dat wil zeggen als de verschillen in niveau van studenten klein zijn. Dat is vast te stellen door het verschil in scores tussen de 5% beste en 5% slechtste studenten. Het kengetal voor de betrouwbaarheid is de laagste ondergrens. In werkelijkheid kan de betrouwbaarheid hoger zijn. Als de betrouwbaarheid bijvoorbeeld 0.50 is, dan is tenminste 50% van de variantie tussen studenten toe te schrijven aan het tentamen, maar dit kan hoger zijn. Helaas is niet vast te stellen of dit het geval is. De betrouwbaarheid wordt groter als het tentamen meer items omvat. Bij het beoordelen van de kwaliteit van een tentamen is het belangrijk om te realiseren dat een deel van de studenten onterecht een onvoldoende (en onterecht een voldoende) heeft gehaald. Het percentage van deze misclassificaties wordt hoger naarmate de betrouwbaarheid lager is en is afhankelijk van de cesuur. De regel is dat hoe meer studenten een onvoldoende halen, hoe meer studenten een onterechte onvoldoende halen. Bijvoorbeeld, bij een betrouwbaarheid van 0.70 en een cesuur bij 70% geslaagde studenten is het percentage misclassificaties rond 20%. Onterechte onvoldoendes leiden tot onnodige studievertraging. Dit is ongewenst voor zowel de student als voor de opleiding. Bij de conjunctieve examen- of tentamenregelingen leidt dit tot een groot percentage onterecht ongeschikt bevonden studenten en (zeer) lage examenrendementen. MOGELIJKE MAATREGELEN 6

7 Op basis van de resultaten van een tentamen kunnen uiteenlopende maatregelen worden genomen. De meest ingrijpende beslissing is het ongeldig verklaren van het tentamen. Als een tentamen een oordeel moet geven over de geschiktheid van een student, dan dient deze van goede kwaliteit te zijn en tenminste een betrouwbaarheid te hebben van 0.80 of meer. Ook de afzonderlijke items moeten aan de kwaliteitsnorm voldoen. Als het tentamen (net) niet voldoet aan de norm dan kan door middel van de keuze van een relatieve of gecombineerde methode van cesuurbepaling worden voorkomen dat te veel studenten een onterechte onvoldoende krijgen. Een andere maatregel is het schrappen van items die na analyse niet voldoen aan de kwaliteitsnorm. Het schrappen van items bergt het risico in zich dat de validiteit van het tentamen achteruit gaat omdat er als gevolg van het schrappen over bepaalde onderdelen van de leerstof geen of onvoldoende vragen worden gesteld. Naast de maatregelen die direct genomen kunnen worden, zoals het afkeuren van een tentamen, de keuze voor een andere methode van cesuurbepaling en het schrappen van items, is het belangrijk om te werken aan de voortdurende verbetering van de tentamens door de resultaten van de analyse te bespreken met de voor de verantwoordelijke maker(s) van het tentamen. Mogelijke aanpak van de evaluatie van de toetskwaliteit op basis van de resultaten Het evalueren van de kwaliteit van het tentamen vergt het nodige werk. Multiple choice tentamens kunnen met een softwareprogramma als Sonate worden geanalyseerd. De analyse van tentamens met open vragen, resultaten van opdrachten, vaardigheidstoetsen, assessments enz. vragen een handmatige invoer van de tentamenresultaten. Om de efficiëntie te vergoten kunnen tentamens in verschillende stappen worden geëvalueerd aan de hand van de volgende regels. Daarbij is het voorkomen van onterechte onvoldoendes - de cesuurbepaling - het eerste doel. Het op goede manier differentiëren tussen studenten (geven van cijfers) is het tweede doel. Het continu verbeteren is het derde doel. 1. Selecteer de tentamens met een (te) hoog percentage onvoldoendes (meer dan 30%). 2. Pas bij deze tentamens, als gebruik is gemaakt van een absolute methode van cesuurbepaling, een andere methode van cesuurbepaling toe om het aantal onterechte onvoldoendes te verminderen. 7

8 3. Als een tentamen wordt afgenomen door meerdere examinatoren wordt gekeken naar het aantal gezakte studenten per examinator. Bij grote verschillen (20% of meer) dan is nader onderzoek nodig, bijvoorbeeld aan de hand van de beoordelingsresultaten (gemiddelde en spreiding van de gegeven cijfers). 4. Selecteer de tentamens met een te lage betrouwbaarheid (bij compensatiemogelijkeden 0.60, anders 0.80). 5. Ga na of er items van slechte kwaliteit in het tentamen zitten (lage P-waarde en lage Rit waarde). 6. Onderzoek mogelijke oorzaken. 7. Repareer eventuele fouten of verwijder items. 8. Controleer het effect van het schrappen van items op de betrouwbaarheid en het percentage onvoldoendes. 9. Ga aan de hand van de Rit-waarden na welke items goed differentiëren tussen studenten en welke minder. 8