Onderzoek naar toetsvragen die effectief discrimineren tussen studenten, en het verwerken van inzichtsvragen in meerkeuze toetsen.

Transcriptie

1 Voorblad Naam auteur(s) Vakgebied Titel Onderwerp Profiel Opleiding Doelgroep Sleuteltermen Bibliografische referentie Drs. L.H.Helder Maatschappijwetenschappen Discriminerend Toetsen Onderzoek naar toetsvragen die effectief discrimineren tussen studenten, en het verwerken van inzichtsvragen in meerkeuze toetsen. Ontwikkelaar Interfacultaire Lerarenopleidingen, Universiteit van Amsterdam Sectie Communicatiewetenschap Hogeschool Betrouwbaarheid toetsvragen, gesloten toetsen, maatschappijwetenschappen Helder, L.H. (2013). Discriminerend Toetsen: Interfacultaire Lerarenopleidingen UvA. Studentnummer Begeleider(s) Opdrachtgever drs. M. van Riessen Sectie Communicatiewetenschap, Hogeschool Datum Juni 2013

2 Abstract & Verantwoording 1. Doelstelling De Hogeschool waar ik werkzaam ben, ontwikkelt momenteel een nieuw curriculum voor het propedeuse jaar. Voor het nieuwe curriculum zijn nieuwe multiple choice toetsen nodig die aansluiten bij de nieuwe literatuur en leerdoelen. Hierbij wordt een hoge toetskwaliteit beoogd. De eerstejaars tentamenvragen bij het vak Communicatiewetenschap richten zich nu nog hoofdzakelijk op kennis vragen waarbij de studenten feiten moet herkennen, of feiten met elkaar in verband moet brengen. Intellectuele vaardigheden als interpretatie, analyse, synthese en evaluatie komen daardoor in mindere mate aan bod. Dit zijn echter vaardigheden die in het nieuwe curriculum wel gevraagd worden. De nieuwe MC toetsen dienen daarom ook complexe cognitieve niveaus te bevatten, zoals inzichtsvragen. Het onderzoek beoogd bij te dragen aan een hoge toetskwaliteit door inzichtelijk te maken hoe vragen met een hoog onderscheiden vermogen zijn opgesteld, en hoe vaardigheden als interpretatie, analyse, synthese en evaluatie verwerkt kunnen worden in MC vragen. De vragen die ten grondslag liggen aan deze doelstelling zijn: Aan welke eisen moeten MC tentamenvragen voldoen ten einde een hoge toetskwaliteit te borgen? Op welke manieren kunnen docenten MC tentamenvragen ontwerpen die een hoog onderscheidend vermogen hebben ten aanzien van de studenten die de stof wel en niet beheersen? Op welke manieren kunnen docenten MC tentamenvragen ontwerpen die het inzicht van studenten toetsten?

3 2. Product Het eerste product betreft een inhoudsanalyse van toetsvragen die discrimineren tussen studenten met een hoog en laag kennisniveau: hoe zijn deze vragen geconstrueerd? Het tweede product is een handleiding die als een checklist kan fungeren voor het maken van meerkeuzetoetsen. Het is opgebouwd uit: 1. Good practices voor het maken van meerkeuzetoetsvragen 2. Een hulpmiddel voor het maken van inzichtsvragen 3. Voorbeelden van inzichtsvragen A. Psychometrische toetsanalyse Middels een statistische psychometrische toetsanalyse van 8 toetsen van ieder 60 vragen is eerst een kwaliteitsanalyse gemaakt van de sterke en zwakke kanten van een toets. Een statistische psychometrische toetsanalyse is een computergestuurde toets- en itemanalyse van de vragen. Middels deze kwaliteitscontrole kunnen achteraf de zwakke en sterke kanten van een toets aan het licht komen door de vraag statistisch te analyseren. Teneinde inzicht te krijgen in de kwaliteit van een toets zijn er drie kwaliteitsindicatoren: - De moeilijkheid van de toetsvraag (p-waarde) - Het onderscheidend vermogen van de toetsvraag (Rit,) - De betrouwbaarheid van de gehele toets (coëfficiënt alpha) Teneinde het discriminerend vermogen van een vraag te kunnen berekenen is de score bij een bepaalde vraag gerelateerd aan de eindscore van een student. Hiervoor zijn minstens 50 toetsdeelnemers nodig. Vragen die door studenten met een lage eindscore in gelijke mate goed worden beantwoord, zijn vragen die de twee groepen niet van elkaar onderscheiden. Een vraag die goed discrimineert heeft zoals gezegd een positieve correlatiecoëfficiënt Rit : item-testcorrelatie.

4 Een vraag die te makkelijk is, heeft geen onderscheidend vermogen. Deze vragen worden geduid met de P-waarde in de psychometrische analyse. De P-waarde varieert van 0 (iedereen fout) en 1 (iedereen goed). De wenselijke score is tussen 0,5 en 0,75 bij gesloten vragen. P-waarde is bijna 1: makkelijke vraag. De vraag discrimineert dan niet. De vragen bij Communicatiewetenschap bevatten steeds drie potentiele antwoorden waarvan er één juist is. Een tentamen bestaat uit 60 vragen. De psychometrische analyses van acht tentamens zijn bekeken. Dit zijn allen tentamen die afgenomen zijn bij gemiddeld 100 studenten. De Rit waarde is alleen betrouwbaar bij groepen studenten groter dan 50. B. Inhoudsanalyse van psychometrische resultaten Deze statistische resultaten zijn vervolgens geanalyseerd op item niveau, en specifiek de constructie onderzocht van vragen met een positieve correlatiecoëfficiënt Rit : itemtestcorrelatie, en een P-waarde van bijna 1. Vragen met een positieve correlatiecoëfficiënt Rit: Dit zijn vragen met een hoog onderscheidend vermogen : ze maken een onderscheid tussen studenten die de stof beheersen en studenten die de stof onvoldoende beheersen. De kans voor laatstgenoemden om een vraag onjuist te beantwoorden moet groter zijn. Vragen moeten dus discriminerend werken c.q. dat hoog onderscheidend vermogen hebben. Tevens is een inhoudsanalyse gemaakt van vragen met een hoge p-waarde (bijna 1) zijn vragen zonder onderscheidend vermogen: deze vragen zijn te makkelijk. Ik let hierbij op de volgende criteria die ontleend zijn aan o.m. Dousma en Horsten (1980) en relevant zijn voor het onderscheidend vermogen van een vraag:

5 Heeft de vraag direct betrekking op de lesstof? (code VR1) Is het item zakelijk en kort geformuleerd? (code VR2) Is het item specifiek: moet de student de stof kennen om het item te kunnen beantwoorden. (code VR3) Kan het item ook beantwoord worden zonder kennis van het onderwerp (door bijvoorbeeld aanknopingspunten in de vraag) (code VR4) Binnen welk cognitief niveau vallen de vragen: denkvraag, toepassingsvraag, begripsvraag, inzichtsvraag? (code VR5) Is slechts één antwoord goed? (code SL1) Zijn de antwoorden allen geloofwaardig/plausibel. Wanneer antwoorden niet even plausibel zijn, vallen de zwakke alternatieven meteen af. (code AF2) Overlappen antwoorden elkaar in betekenis? Daardoor kan een antwoord meteen worden geëlimineerd (code AF2) Worden er absolute termen gebruikt in het antwoord zoals: nooit, altijd, zeker etc. Dat soort termen wijzen er meestal op dat het antwoord onjuist is. (code AF3) zijn de alternatieven van gelijke lengte (studenten hebben de neiging het langste antwoord te kiezen omdat dit veelal juist is). (code AF4) De tentamenvragen zijn getoetst aan bovenstaande criteria en gecodeerd. Een criterium heeft betrekking op de vraag (VR), de stam (ST) van de vraag, de sleutel (SL) en/of de afleiders (AF). De stam bevat het probleem van de vraag. De afleiders vormen de alternatieven waaruit een student kan kiezen en de sleutel is het juiste antwoord. Bij elk criterium hoort een code. Dit systeem kan overigens ook handig worden toegepast bij het beoordelen van tentamenvragen van collegae/ sectiegenoten.

6 C. Literatuuronderzoek Daarbij is literatuuronderzoek verricht naar de constructie van MC vragen die het inzicht (begrip- en toepassingsvragen) kunnen toetsen. Uit deze inhoudsanalyses en literatuuronderzoek is als tweede product de handleiding voortgekomen 3. Bevindingen inhoudsanalyse Ik had verwacht dat de moeilijke vragen het beste discrimineren tussen studenten dat is echter niet per definitie het geval. Bij de vragen die een hoog onderscheidend vermogen hebben (positieve correlatiecoëfficiënt Rit) valt het volgende op: De toetsvragen zijn kort en bondig geformuleerd. Deze vragen bevatten zelden contextuele informatie. Een vraag over een theorie of wetenschapper wordt niet ingeleid met achtergrondinformatie over het onderzoek. En wanneer dit wel gebeurd is het kort en bondig. De kans wordt hierdoor verkleint dat de slecht scorende student uit de extra informatie (eventuele aanknopingspunten of aanwijzingen) in de vraag het correcte antwoord makkelijker kan raden, zonder specifieke kennis van het onderwerp. De vragen met een hoog onderscheidend vermogen toetsen ook de complexere cognitieve niveaus. Het zijn veelal toepassingsvragen en begripsvragen. Dit vereist een diepere kennis van het onderwerp omdat de student met een concrete situatie wordt voorgesteld, of hij/zij moet aantonen verder dan de geleerde stof te kunnen denken. De vragen zijn erg specifiek gericht op een onderwerp, en de potentiele antwoorden allen plausibel, waardoor het lastig is voor studenten zonder kennis van het onderwerp om het juiste antwoord te raden. De antwoorden zijn kort en heel kennis specifiek. Er wordt geen toelichting geboden. Studenten moeten daardoor zeer specifieke kennis hebben van de termen om het juiste antwoord te kunnen onderscheiden van de foutieve.

7 Voorbeeld van een vraag met hoge Rit waarde: Welke van de volgende theorieën is van toepassing op de invloed die actiegroeperingen vaak via de media willen uitoefenen? De Agenda-setting theorie. De Culturele Indicatoren benadering. Mediumdeterminisme. De vragen die een laag onderscheidend vermogen (hoge p-waarde) hebben worden gekenmerkt door het volgende: Deze vragen bieden potentiele antwoorden waarvan slechts één antwoord plausibel is. De alternatieve antwoorden zijn bijvoorbeeld te absoluut geformuleerd, waardoor één of twee alternatieven meteen afvallen. De studenten hoeft hierdoor geen specifieke kennis te hebben van het onderwerp. Deze vragen informeren veelal naar reeds bekende leerstof: het voegt dus niets toe. Bijvoorbeeld omdat er een sterke overlap is met een ander vak. Het gevraagde vormt dan eigenlijk een herhaling van reeds elders geleerde stof. De laag scorende vragen zijn hoofdzakelijk kennisvragen die toetsen of de student feiten of definities kan herkennen. De cognitieve inspanning ten aanzien van deze vragen betreft dus een lagere intellectuele activiteit en een minder diepe verwerking van de materie. In de vragen zit veel achtergrondinformatie verwerkt en zijn minder vaak kort en bondig geformuleerd.

8 Voorbeeld van vraag die met een laag onderscheidend vermogen (Zie rode markering: te veel aanknopingspunten en afleiders zijn te absoluut geformuleerd): Communicatiewetenschapper Berelson deed in 1949 een uitspraak die erg vaak geciteerd is, nl.: 'Some kinds of communication on some kinds of issues, brought to the attention of some kinds of people under some kinds of conditions have some kinds of effects'. Wat bedoelt hij met deze zinsnede? Communicatiewetenschappers weten precies wat de invloed is van de massamedia op het publiek. Het effect van de massamedia is uiteindelijk altijd te onderzoeken. De media blijken toch minder machtig te zijn dan men denkt.

9 4. Bevindingen literatuuronderzoek De literatuurstudie maakt duidelijk hoe toetsvragen betrouwbaar, valide en objectief geconstrueerd kunnen worden. Van Berkel (1999), Dousma en Horsten (1984) en Teelen (2011) wijzen op overeenkomstige criteria voor het bereiken van kwaliteit. Relevantie, objectiviteit, specificiteit en efficiëntie noemen zij allen als belangrijke kwaliteitseisen. Teneinde deze waarden te bereiken dient er voldaan te worden aan constructie eisen voor de vragen. De eisen die relevant zijn met betrekking tot het bereiken van een hoog onderscheidend vermogen heb ik toegepast op mijn analyse van de items (zie het boven genoemde overzicht). Het ontwikkelen van inzichtsvragen Er zijn meerdere doelen die gehanteerd kunnen worden bij het toetsen van studenten, bijvoorbeeld: het kunnen reproduceren van kennis, inzicht tonen en toepassen van de kennis (Bloom, 1972). Bloom heeft een bekende classificatiemethode ontwikkeld, die van belang is voor het leerproces: Feitenkennis Samenvatten Toepassen De volgorde geeft een rangorde aan: de student loopt van een laag naar een steeds hogere intellectuele activiteit. Analyseren Synthetiseren Evalueren De volgorde geeft een rangorde aan: de student loopt van een laag naar een steeds hogere intellectuele activiteit.

10 Het typen vragen dat we kunnen onderscheiden zijn: Kennisvragen, begripsvragen, toepassingsvragen en denkvragen. Bij kennis vragen hoeft de student het geleerde slechts weer te geven: de vraag toetst of de studenten feiten, definities en/of observaties kan herkennen of reproduren. Toepassingsvragen informeren of de student in staat is geleerde kennis en regels aan een concrete situatie te koppelen. De kennis wordt dus in verband gebracht met de buitenwereld. Begripsvragen richten zich op de doelstellingen te toetsen waarbij het erom gaat dat de student bewijst meer te weten dan in de leerstof in feite gegeven is. De student wordt hier gevraagd nieuwe informatie te produceren. De geleerde kennis wordt gebruikt om tot nieuwe kennis te komen. Hieronder valt: conclusies strekken, effecten van een theorie beschrijven en in eigen woorden vorm kunnen geven aan de leerstof. Denkvragen toetsen of de studenten oplossingen kan verzinnen in nieuwe situaties. Kennis moet hierbij vertaald worden naar bijvoorbeeld een oplossingsplan, bewijsmateriaal, of een onderzoeksplan. Een tentamen toetst bij voorkeur meerdere intellectuele vaardigheden en bijvoorbeeld niet alleen feitenkennis. Vragen die het inzicht van de student spelen daarbij een belangrijke rol want deze vragen doen een beroep op het vermogen te analyseren, interpreteren, synthetiseren en te evalueren. Van Berkel (1999) geeft aan op welke manier deze vaardigheden getoetst kunnen worden met gesloten vragen. Ten einde studenten te laten analyseren middels een gesloten meerkeuze vraag dient de student de antwoorden bijvoorbeeld te ontrafelen of te relateren aan een gegeven, om tot het juiste alternatief te komen. Categoriseren, samenvatten en synthetiseren zijn overige taken die verwerkt kunnen worden in MC vragen. En vragen waarbij studenten moeten interpreteren, rechtvaardigen, vergelijken, concluderen, valideren of contrasteren, testen de capaciteit tot evalueren. Dit zijn slechts enkele voorbeelden van intellectuele vaardigheden die ik verwerkt heb in mijn product: een bondige handleiding met voorbeeld tentamenvragen, gericht op het toetsen van het inzicht.

11 5. Reflectie Het onderzoek liep niet helemaal volgens het geplande tijdpad. Door mijn werk en andere verplichtingen is er aan het begin vertraging opgetreden. Ik heb het product ook enigszins aangepast: in plaats van een toets te produceren heb ik gekozen voor een korte handleiding met voorbeelden. Uiteindelijk lijkt mij dat een instrument waar de sectie op de lange termijn meer aan heeft dan een enkele toets. Het onderzoeksproces liep verder goed. Het onderwerp heeft mijn interesse en ik ben ook van plan dit onderwerp verder te onderzoeken. Ik heb een veel duidelijker beeld gekregen van de zwakke kanten van toetsen en waarom bepaalde resultaten uit de psychometrische analyses komen. Door mijn nieuwe inzicht in de constructieregels van MC vragen ben ik in staat kwalitatief betere tentamenvragen te ontwerpen. Het onderwerp leeft op school doordat we op zeer korte termijn nieuwe toetsen moeten ontwikkelen. Mijn input kan helpen bij een effectieve werkwijze. De reactie van de opdrachtgever is positief en zij zien aanleiding om dit onderwerp verder uit te werken en nader onderzoek te doen.

12 6. Literatuur Berkel, H.J.M. van, & Bax, A.E. (1993). Beoordelen in het onderwijs : een handleiding voor het construeren van toetsen en het evalueren van leerdoelen en onderwijsvormen. Houten : Bohn stafleu Van Loghum. Berkel, H.J.M. van (1999). Zicht op Toetsen. Assen: Van Gorcum. Berkel, H.J.M. van, & Bax, A.E. (2006). Toetsen in het hoger onderwijs. Houten: Bohn Stafleu van Loghum. Bloom, B.S. (ed.) (1972). Taxonomy of Educational objectives. New York: David McKay. Cluitmans, J.J. 2000) Toetsing en zelfstandig leren : gevarieerd toetsen binnen probleemgestuurd onderwijs en projectonderwijs in het HBO en het MBO. Nuenen : Onderwijsadviesbureau Dekkers, 2000 Dousma, T, & Horsten, A. (1980) Tentamineren. Groningen: Wolters-Noordhoff Teelen, kennismanagment. (2011) Toetsontwikkeling in de praktijk. Hoe maak ik goede vragen en toetsen? Twello: Teelen bv. Vleuten, C.P.M. van der, & Driessen, E.W. (2000). Toetsing in probleemgestuurd onderwijs. Groningen: Wolters-Noordhoff