In welke provincie ligt Wijgmaal?

Transcriptie

1 Meerkeuzevragen Omschrijving Een meerkeuzevraag is een vraag waar de student niet zelf het antwoord formuleert maar het juiste antwoord of antwoorden moet aanvinken in een reeks met antwoordmogelijkheden. Een meerkeuzevraag bestaat uit een stam met de vraag en een aantal antwoordmogelijkheden of alternatieven. Naast het juiste antwoord of de juiste antwoorden, zijn er een aantal niet-correcte antwoordmogelijkheden: de afleiders. Voorbeeld In welke provincie ligt Wijgmaal? = stam - Waals-Brabant = afleider - Vlaams-Brabant = juist antwoord - Limburg = afleider - Antwerpen = afleider Er bestaan verschillende types van meerkeuzevragen, afhankelijk van het aantal antwoordmogelijkheden: één of meerdere juiste antwoorden, juist/foutvraag, Ontwikkeling Vertrek bij het ontwikkelen van meerkeuzevragen van de leerresultaten/ competenties/ leerdoelen. Om te bewaken of je toets deze leerdoelen dekt, kan je gebruik maken van een toetsmatrijs (zie fiche Toetsmatrijs). Overweeg, indien hiervoor de nodige technische, organisatorische en onderwijskundige mogelijkheden aanwezig zijn, om meerkeuzevragen digitaal aan te bieden (Toledo, Question Mark Perception, ). Digitaal toetsen met meerkeuzevragen biedt voordelen op vele vlakken: tijdswinst bij het verbeteren, minder kans op menselijke fouten, gebruik van beeld- en videomateriaal, Neem volgende elementen in overweging bij de vormgeving van een meerkeuzetoets: De stam De stam is de basis van een meerkeuzevraag. Op basis van de stam moet het voor een student duidelijk zijn wat je wil weten. Houd daarom rekening met de volgende aandachtspunten: Zorg dat de stam één duidelijk probleem, feit of idee bevat (en niet meer). Vermijd een stam die geen focus heeft. Formuleer de stam als vraag of eindig de stam met een vraag. Neem in de stam/vraag alles op dat anders in elk alternatief herhaald moet worden. OOF-project Toetskoffer: startbagage voor toetscommissies

2 Vermijd ontkenningen en zeker dubbele ontkenningen. Is een ontkenning niet te vermijden, wijs de student dan op de negatieve formulering (onderlijnen, in vet, ). Vermijd vragen waarin een mening vervat zit. Vermijd strikvragen die studenten op het verkeerde been zetten. De antwoordmogelijkheden (alternatieven) Een goede meerkeuzevraag bevat naast een stam ook verschillende alternatieven. Eén of meerdere van deze alternatieven is of zijn juist, de overige alternatieven zijn slechts afleiders. Houd bij het formuleren van de alternatieven rekening met de volgende aandachtspunten: Aantal Een algemene vuistregel: een meerkeuzevraag bevat best meestal drie alternatieven: één juiste en twee afleiders. De tijd en moeite die je moet steken in een vierde antwoordmogelijkheid, is waarschijnlijk de investering niet waard. Gebruik minder of meer dan drie alternatieven als dat logischer is. Je hoeft ook niet kost wat kost bij elke vraag hetzelfde aantal alternatieven te gebruiken in één examen. Inhoud Formuleer eerst het juiste antwoord en vervolgens de afleiders. Goede afleiders vind je door aan studenten de vraag als een open vraag te stellen en te kijken wat vaak gemaakte verkeerde redeneringen zijn. Vermijd letterlijke zinnen uit de cursus/ lessen die de student kan aanduiden louter op basis van herkenning. Wees voorzichtig met geen enkele van de bovenstaande opties is juist. Hoewel er volgens de literatuur geen enkele van de bovenstaande opties is juist gebruikt mag worden zolang het goed wordt gebruikt, wordt er wel afgeraden om dit antwoordalternatief te gebruiken door minder ervaren toetsontwikkelaars. Vermijd het complexe type van de meerkeuzevraag. Dit is een format waarbij studenten antwoordalternatieven moeten combineren als juist antwoord. Voorbeeld Welke van de volgende elementen behoort tot de categorie Fruit? 1. Kersttomaten 2. Bosbessen 3. Granaatappel A. 1 & 2 B. 2 & 3 C. 1 & 3 D. 1 & 2 & 3 Vermijd alle bovenstaande opties zijn juist. Maak de alternatieven ongeveer even lang. Maak alle afleiders geloofwaardig. OOF-project Toetskoffer: startbagage voor toetscommissies

3 Zorg voor inhoudelijk relevante verschillen tussen de alternatieven. Zorg dat de alternatieven elkaar niet overlappen. Leg de vragen voor aan collega s, werkveld, oudere studenten, en baseer je op hun antwoorden voor het formuleren van alternatieven. Vermijd overlap tussen vragen. Vorm Vermijd vage termen als veel, soms, effectief, belangrijk, groot en klein. Vage termen zijn relatie, geven een vage grens aan en krijgen pas betekenis als ze in vergelijkende zin worden gehanteerd. Vermijd absolute termen zoals altijd, nooit, zeker, in alle gevallen, enz. Zorg dat alle alternatieven grammaticaal aansluiten op de stam/ vraag. Zorg voor gelijkenis in grammaticale structuur van de antwoordmogelijkheden. Plaats alternatieven altijd in eenzelfde logische volgorde (vb. alfabetisch, cijfers in oplopende volgorde, ). Zorg voor een duidelijke lay-out. Laat voldoende witruimte tussen de stam en de alternatieven, voldoende witruimte tussen de vragen, Samenstellen Wanneer de stam en de alternatieven geformuleerd zijn, is het belangrijk om de vragen als een geheel samen te stellen. Net als bij de het formuleren van de stam en de alternatieven, zijn er hierbij enkele tips: Zorg dat de vragen onafhankelijk van elkaar zijn. Het beantwoorden van één meerkeuzevraag mag niet afhangen van het antwoord op een andere meerkeuzevraag. Een algemene richtlijn is minstens 30 à 40 vragen voor een examen met 4 antwoordmogelijkheden dat enkel uit meerkeuzevragen bestaat. Hoe minder antwoordmogelijkheden, hoe meer vragen je nodig hebt. Plaats de meerkeuzevragen in een logische volgorde (per samenhangend geheel (cfr. toetsmatrijs), per vraagtype etc.). Voorbereiding van studenten Geef studenten voldoende informatie tijdens de lessen over de organisatie en de inhoud van het meerkeuze-examen. Zorg ervoor dat studenten voldoende vertrouwd zijn met meerkeuzevragen. Werk tijdens de lessen met meerkeuzevragen. Ook als je - al dan niet - giscorrectie toepast, zorg je dat studenten weten hoe ze best meerkeuzevragen beantwoorden. Zonder giscorrectie kunnen studenten best altijd een meerkeuzevraag beantwoorden, met giscorrectie moeten ze bij twijfel altijd de afweging maken of ze wel zullen gokken.. OOF-project Toetskoffer: startbagage voor toetscommissies

4 Afname Neem verder de volgende aandachtspunten mee: Laat studenten altijd hun identiteit bewijzen op een afnamemoment met een surveillant die de studenten niet kent. Maak afspraken wie de examens naar het lokaal brengt. Maak afspraken indien er meerdere surveillanten betrokken zijn zodat de evaluatie in vergelijkbare omstandigheden uitgevoerd of afgenomen wordt. Zorg voor zo rustig mogelijke afname-omstandigheden (bv. geen telefoon, geen doorgang voor mensen, niet te veel externe prikkels, niet te warm/koud, goede ventilatie, ). Op deze manier kunnen studenten zich beter concentreren. Stel de student zo veel mogelijk op zijn gemak. Studenten vinden examens erg stresserend, hun zelfvertrouwen en vlotheid verbetert als je hen hartelijk verwelkomt bij het binnenkomen. Overloop indien mogelijk met de student de instructies zodat hij goed weet wat en hoe hij juist moet antwoorden, handelen, doen,. Informeer de student, over de afname-omstandigheden: - de duur; een algemene richtlijn is dat de overgrote meerderheid van de studenten alle vragen moeten kunnen beantwoorden in de toegewezen tijd; - eventuele te gebruiken hulpmiddelen (woordenboek, ); - welke tools studenten niet mogen gebruiken; - afspraken over praten en vragen stellen tijdens de afname; - specifieke afspraken (vb. kladbladen, ); - Zorg dat de docent die eindverantwoordelijk is bereikbaar is. Zorg voor een opstelling die spieken zo veel mogelijk ontraadt (voldoende ruimte, opstelling, verschillende reeksen, ) Zorg bij digitaal toetsen dat er een technische ondersteuner bereikbaar is bij technische problemen. Wees op de hoogte van studenten met specifieke examenfaciliteiten en neem de nodige maatregelen. Deel de studenten op gepaste momenten mee hoeveel tijd er nog is, maar overdrijf daar niet in. Beoordeling en beslissing Om te vermijden dat studenten door gokgedrag toch nog goed zouden scoren, kan je een giscorrectie toepassen. Formule voor giscorrectie (n staat voor het aantal alternatieven): goed antwoord = + 1, fout antwoord = - 1/ n-1, geen antwoord = 0 Antwoordt de student goed, dan krijgt hij een 1, antwoordt hij niet, een 0 en duidt hij het verkeerde antwoord aan, wordt er (wanneer er 3 alternatieven zijn) 1/2 punt afgetrokken. Eventuele andere mogelijkheden om effecten van gokken te vermijden zijn: OOF-project Toetskoffer: startbagage voor toetscommissies

5 - geen giscorrectie, maar meerdere vragen opnemen; - een giscorrectie toepassen waarbij voor elke student afzonderlijk een giscorrectie toegepast wordt, rekening houdend met de verhouding tussen juiste en foute antwoorden. - een hogere zak/slaaggrens (cesuur). Verder is het belangrijk om een duidelijke cesuur (zak/slaaggrens) vast te leggen. Voor meer informatie hierover raadpleeg je best de fiche Cesuur bepalen. Terugkoppeling Koppel naar studenten niet enkel het cijfer terug maar, indien mogelijk, ook de juiste antwoorden. Bij inzagerecht kan je dieper ingaan op de juiste antwoorden en bespreken waarom de student al dan niet fout geantwoord heeft. Tips & tricks Overweeg psychometrische analyses na de afname als je met meerkeuzevragen werkt. Deze geven je informatie over de moeilijkheidsgraad, interne consistentie, discriminatievermogen, van de toets en de toetsvragen. Op basis hiervan kan je de vragen bijsturen voor een volgende afname en/of minder goede vragen weglaten. Bouw geleidelijk aan een itembank van meerkeuzevragen uit. Dit gebeurt best in samenwerking met collega s, uit dezelfde of andere hogescholen, waarbij je de goede vragen selecteert voor de itembank. Indien je aankondigt aan studenten dat giscorrectie wordt toegepast, moet je dit behouden ook al valt het resultaat tegen. Meerkeuzevragen zijn voor dyslectische leerlingen best te mijden. Ze verliezen namelijk sneller hun concentratie bij langere leesinspanningen en hebben moeite met voegwoorden, die ze vaak overslaan bij het lezen. Een mogelijke oplossing voor hen is het mondeling voorlezen van de vragen en antwoordmogelijkheden. Als je werkt met een itemdatabank, is het mogelijk om snel en eenvoudig verschillende vragenbladen te voorzien. Op deze manier kan je eenvoudig afkijken voorkomen. Pro & Contra Pro - economisch - haalbaar voor grote groepen - objectief: antwoord is juist of fout en vraagt geen interpretatie van de beoordelaar - maakt het mogelijk om een groter geheel van de leerdoelen te coveren - kan digitaal afgenomen én beoordeeld worden - toetsen van hogere vaardigheden is mogelijk Contra - moeilijk om te maken: goede meerkeuzevragen maken vraagt de nodige tijd en deskundigheid - is minder authentiek OOF-project Toetskoffer: startbagage voor toetscommissies

6 Meer weten en doen? Baldiga (2012), Gender Differences in Willingness to Guess and the Implications for Test Scores. Clement, M. & Laga, R. (Red.), (2005) Steekkaarten doceerpraktijk. Antwerpen: Garant (geraadpleegd op: Sabbe, E., & Lesage, E. (2012). Meerkeuzetoetsen. Antwerpen - Apeldoorn: Garant. Vandebosch, N. (2010). Digitale voortgangstoets. Van concept tot implementatie. Antwerpen: Garant. OOF-project Toetskoffer: startbagage voor toetscommissies