Opstellen van een toets

Transcriptie

1 Toetsen meten hoofdzakelijk cognitieve doelstellingen. Zij worden aangewend om de beginsituatie, de tussentijdse vorderingen of de eindprestaties na te gaan. Dergelijke toetsen kunnen een groot gedeelte van de leerstof omvatten (examens, proefwerk), maar het kan ook gaan om kleine overhoringen of diagnostische toetsen die in het lesgebeuren worden ingebouwd. Een toets is een verzameling van vragen items genoemd die ter beantwoording worden voorgelegd aan de leerlingen om hun kennis en cognitieve vaardigheid te meten. 1.1 Ontwerpen van een toets Bij het ontwerpen van een toets moet een leerkracht er zich van bewust zijn dat de gegevens die hij over de leerlingen verzamelt, direct afhankelijk zijn van de kwaliteit van de gebruikte instrumenten: vragen en toetsen moeten aan een aantal eisen voldoen. Bovendien moet de leerkracht zich bezinnen over een aantal technische keuzes i.v.m. de toets Selectie van doelstellingen Eerst moet de leerkracht doelstellingen selecteren die getoetst moeten worden. Welke doelstellingen dit zullen zijn, is afhankelijk van het soort evaluatie dat men wil doorvoeren. Een formatieve toets zal alle doelstellingen van een beperkte leerstof bevatten. Een summatieve toets daarentegen bevat enkele doelstellingen uit de totale leerstof. De vraag die hier gesteld moet worden is: zijn die doelstellingen representatief voor alle doelstellingen van die leerstof? Zijn de verschillende niveaus van de cognitieve taxonomie vertegenwoordigd? Betreffen de gekozen doelstellingen de hele leerstof? Samengevat: een toets moet inhoudsvalide of representatief zijn en dus meten wat zij beoogt te meten Technische keuzes maken Eens de doelstellingen gekozen, moet de leerkracht een aantal technische keuzes maken: - is de toets open-boek of gesloten-boek? - wordt de toets mondeling of schriftelijk afgenomen? - moeten de leerlingen onder tijdsdruk werken? - bevat de toets open en/of gesloten vragen? (zie bijlage soorten vraagvormen)

2 1.1.3 Verzamelen en selecteren van vragen Vervolgens worden de vragen verzameld en geselecteerd. De leerkracht kan gebruik maken van bestaande vragen of zelf vragen formuleren. In beide gevallen gelden twee eisen: De eis van begripsvaliditeit De toetsvragen moeten nauwkeurig overeenstemmen met de doelstellingen die de leerkracht heeft geselecteerd. M.a.w. toetst de leerkracht met een bepaalde vraag wat hij/zij vanuit een doelstelling wil toetsen. Een toets is immers geen verrassingsaanval of een intelligentietest, maar wel een controle van onderwijs- en leerrendement. De eis van betrouwbaarheid Hier gaat het om de vraag: hoe nauwkeurig meet mijn evaluatiemiddel? Een hoge betrouwbaarheid impliceert weinig meetfouten, weinig storende invloeden of ruis. Een leerling mag m.a.w. niet ten onrechte mislukken (pech) of slagen (geluk). De betrouwbaarheid kan vergroot worden door: - vragen duidelijk en eenduidig te formuleren; - voldoende vragen te voorzien met een aangepaste moeilijkheidsgraad; - verschillende vraagvormen in een toets te combineren Ordenen van vragen De leerkracht moet dan zijn vragen ordenen. Al bestaat er geen ideale ordening, toch mag de leerkracht niet lukraak te werk gaan. Er zijn verschillende ordeningscriteria die kunnen aangewend worden: - de inhoud: vragen worden per hoofdstuk geordend; - de vraagvorm: eerst worden de gesloten vragen aangeboden, dan de open of omgekeerd; - de moeilijkheidsgraad: eerst komen de gemakkelijke vragen, dan de moeilijke Afdrukken van toets Tenslotte moeten de vragen van een toets ook afgedrukt worden. Het toetsblad moet verzorgd en ordelijk zijn. Concreet betekent dit dat de vraag integraal op dezelfde pagina geformuleerd staat. Verder kunnen we naargelang de vraagvorm een aantal specifieke richtlijnen geven m.b.t. de lay-out van vraag en/of antwoordruimte. Voor de gesloten vraagvorm kan de leerkracht: - ofwel een apart antwoordblad voorzien waarop het juiste alternatief of nummer wordt genoteerd. Deze handelswijze vergemakkelijkt het corrigeren maar bevordert ook het spieken. Bovendien is deze

3 manier van werken enkel mogelijk wanneer de toets ofwel enkel gesloten vragen bevat ofwel duidelijk opgesplitst is in twee soorten vraagvormen; - ofwel het juiste antwoord laten omcirkelen op het toetsblad zelf. Voor de open vragen kan de leerkracht kiezen uit volgende mogelijkheden: - na elke vraag een antwoordruimte voorzien. Deze werkwijze heeft het voordeel dat de leerling een idee heeft van de lengte van het gevraagde antwoord. - een apart blad voorzien waarop de leerling moet antwoorden. Deze werkwijze werkt het spieken in de hand. 1.2 Afname van de toets Bij de afname van een toets speelt vooral de eis van betrouwbaarheid een rol: willen de behaalde resultaten een juiste weergave zijn van het prestatieniveau van de leerling, dan moet ook in deze fase aan een aantal voorwaarden voldaan zijn. Schriftelijke toets - oefen toezicht uit; - plaats leerlingen op voldoende afstand van elkaar; - zorg voor voldoende lucht en licht; - om zoveel mogelijk storing te vermijden: - overloop de vragen eerst samen met de leerlingen (in BSO-klassen kan dit zinvol zijn); - laat leerlingen afgeven op het afgesproken tijdstip; - breng de leerlingen op de hoogte dat het einde van de antwoordtijd in zicht is. Mondelinge toets - zorg voor voldoende licht en lucht; - plaats de leerlingen op voldoende afstand van elkaar bij voorbereidingstijd; - laat de voorbereidingstijd rustig verlopen; - zorg voor een efficïent rolbeurtsysteem; - laat de leerling zijn voorbereidingsblad houden tijdens de beantwoording; - benader de leerling neutraal-positief; - neem notities, gebruik hiervoor een modelantwoord waarop je aanwijzingen aanbrengt; - bereid hulpvragen voor.

4 1.3 Corrigeren en scoren Met corrigeren wordt bedoeld het nakijken van de toets en het tellen van de foute en goede antwoorden. Wanneer de leerkracht gesloten vragen gebruikt, zal het verbeteren op een vlotte en objectieve manier gebeuren. Het probleem van objectiviteit stelt zich vooral bij open vragen. Bij de beschrijving van de verschillende vraagvormen (zie bijlage soorten vraagvormen) worden een aantal richtlijnen vermeld die de correctie van open vragen zo objectief mogelijk laten verlopen. Bij het scoren kent de leerkracht punten toe aan goede of foute antwoorden, zonder al een waardeoordeel uit te spreken over de behaalde score. De meest gebruikte scoreregel voor gesloten vragen en korte-antwoordvragen is: een goed antwoord = 1 punt, een fout antwoord = o punten. Bij het scoren van open vragen moet de leerkracht gebruik maken van een aantal punten die hij op voorhand heeft vastgelegd: - het maximaal aantal punten dat met een vraag behaald kan worden; - de puntenverdeling over de aspecten van één vraag, bijv. zoveel punten op de definitie en zoveel op een illustratie; - het aantal punten dat per type fout wordt afgetrokken, bijv.- ¼ voor een taalfout uit slordigheid (vienden i.p.v. vrienden), -1/2 voor een dt-fout, -1 voor overtollige informatie. Het hanteren van een vooraf opgestelde correctiesleutel is hierbij een noodzakelijk hulpmiddel.

5 Bijlage: soorten vraagvormen Inleiding In dit gedeelte bespreken we de verschillende vraagvormen naar formulering, gebruik en correctie van antwoorden. 1 Open vragen Bij open vragen moet de leerling het antwoord zelf formuleren. Men onderscheidt twee soorten: de korte-antwoordvraag en de essay-vraag. 1.1 De korte-antwoordvraag Hier is de lengte van het antwoord beperkt tot een getal, een woord, een zinsdeel of een zin. In welk jaar werd Napoleon geboren? Geef de stelling van Pythagoras. De hoofdstad van België is... Welke ingrediënten heb je nodig om pestosaus te maken? Korte-antwoordvragen zijn geschikt voor het meten van geheugenkennis. Voor de hogere cognitieve doelen (inzicht, toepassing..) is deze antwoordvorm minder geschikt. Het grote voordeel van korte-antwoordvragen is dat ze gemakkelijk op te stellen en te verbeteren zijn. Het raden wordt vermeden. Wanneer deze vraagvorm te veel wordt gebruikt, kan dit leiden tot minder goede studiemethoden bij de leerlingen. Het is belangrijk dat de vragen specifiek worden geformuleerd, zodat maar één antwoord mogelijk is. - niet: Koning Boudewijn stierf in... - wel: Koning Boudewijn stierf in het jaar...

6 1.2 De essay-vraag Bij essayvragen moet de leerling het antwoord volledig zelf produceren. Daarbij heeft hij een zekere vrijheid in de manier waarop hij dat doet. Deze antwoordvrijheid kan echter verschillen naar gelang van de wijze waarop aan het antwoord beperkingen werden opgelegd. - Beschrijf in het kort de drie voornaamste oorzaken van indigestie. - Noem vier oorzaken waarom de agrarische beroepsbevolking in ons land sterk is teruggelopen. Essayvragen kunnen gebruikt worden voor alle niveaus van cognitieve operaties. Bovendien zijn ze relatief gemakkelijk op te stellen (rechtstreeks af te leiden van lesdoelstellingen). Veel leerkrachten beschouwen deze vragen als eerlijker en zinvoller dan gesloten vragen omdat het immers niet mogelijk is (of heel moeilijk) het antwoord te raden. Bovendien kunnen de leerlingen in de antwoorden iets van henzelf kwijt. Voor de leerkracht is het ook mogelijk het oplossingsproces van de leerling te analyseren en aanknoping te vinden voor remediëring. Het nadeel van deze vraagvorm is dat verbeterwerk een hele karwei is. Vaak is de beoordeling niet objectief; er wordt bijvoorbeeld soms meer taalvaardigheid beoordeeld dan echt kennis van de leerstof. Om deze nadelen te ondervangen kunnen enkele tips nuttig zijn: - leg vooraf een modelantwoord vast, denk goed na wat je als fout aanrekent en hoeveel punten je ervoor aftrekt (ze ook onder , corrigeren en scoren); - kijk bij het verbeteren niet naar de namen; - verbeter horizontaal; - schud de antwoordbladen regelmatig; - laat eventueel collega s je toets eens corrigeren en scoren; - geef geen punten op overtollige informatie. Enkele tips voor het opstellen van essayvragen: - formuleer de vragen duidelijk en eenduidig; - zorg ervoor dat de leerlingen voldoende tijd krijgen om het antwoord te formuleren; - voorzie voldoende vragen; - overweeg of het zinvol is antwoordruimten te voorzien; - reserveer de essayvragen voor cognitieve doelen van hogere orde en/of voor doelen i.v.m. schriftelijke taalvaardigheid; - stel de vraag zo specifiek mogelijk, bv. niet Vertel wat je weet over..., maar wel vergelijk... of geef originele voorbeelden van... of geef de verschilpunten tussen... enz...

7 2 Gesloten vragen Bij gesloten vragen moet de leerling het antwoord niet zelf formuleren, maar moet hij kiezen tussen gegeven antwoordmogelijkheden. 2.1 De waar/niet waar vraag (of juist/onjuist) Deze vraagvorm is gemakkelijk op te stellen, gemakkelijk te verbeteren en objectief te scoren. Ze kan gebruikt worden om feitenkennis, inzicht en convergente toepassing te toetsen. Om de kans op raden te elimineren of te verkleinen kan men best -naast het omcirkelen van het juiste antwoord- naar een motivering vragen (niet mogelijk bij het peilen naar zuivere feitenkennis). bijv. De eerste president van de V.S.A. was A. Lincoln. WAAR NIET WAAR Enkele richtlijnen voor het opstellen van waar/niet waar vragen: - een item moet onbetwistbaar waar of niet waar zijn. Overleggen met collega s is aan te raden! - het antwoord mag enkel duidelijk zijn voor diegene die de leerstof beheerst; - het mag geen verborgen aanwijzingen bevatten; - gebruik geen negatieve of absolute formuleringen of woorden als niet, niemand, altijd, nooit, enz De rangschikvraag Hier krijgt de leerling een reeks voorgelegd die hij -op basis van een bepaald criterium (bv. chronologisch)- in de juiste volgorde moet plaatsen. De volgende gebeurtenissen staan in een verkeerde tijdsvolgorde. Geef de juiste volgorde met een cijfer aan (1-5). *slag om Stalingrad *D-day * Battle of Britain *slag bij El-Alamein *aanval op Pearl Harbour

8 Rangschikvragen zijn hoofdzakelijk geschikt om feitenkennis te toetsen. 2.3 De sorteervraag De leerling moet juiste combinaties uit twee rijen bij mekaar plaatsen. Welke stad ligt in welk land? 1. Oslo a. Italië 2. Sint Petersburg b. België 3. Milaan c. Zwitserland 4. Barcelona d. Rusland 5. Genève e. Spanje 6. Dublin f. Noorwegen 7. Lyon g. Frankrijk h. Ierland i. Portugal De sorteervraag wordt gebruikt om feitenkennis te toetsen. Ze is vrij gemakkelijk op te stellen en te verbeteren. Zoals uit het voorbeeld blijkt, is het wenselijk de ene lijst langer te maken dan de andere, zodat de leerling ook bij de laatse combinatie nog moet kiezen tussen mogelijke alternatieven. 2.4 De meerkeuzevraag: (multiple choice) Deze vraagvorm bestaat uit twee delen: de itemstam: de vraag, de uitspraak of de opdracht... de alternatieven: de keuzemogelijkheden, waarvan één het juiste antwoord is, de andere zijn de zogenaamde afleiders. Naar welke persoon werd Amerika genoemd? -(a) Magellan -(b) Barendts -(c) Vespucci

9 - (d)columbus Een speelgoedwinkel houdt opruiming. Alles wordt verkocht tegen 75% van de vroegere verkoopprijs. Een treintje kost nu 150 frank. Wat was de vroegere verkoopprijs? -(a) 112,4 frank -(b) 200 frank -(c) 225 frank -(d) 262,5 frank De meerkeuzevragen kunnen gebruikt worden om doelstellingen te toetsen op niveau van reproductie, begrijpen en convergent toepassen. Op korte tijd kunnen veel leerdoelen worden getoetst en bij een proef met voldoende items is het neveneffect van raden grotendeels uitgeschakeld (zie verder onder corrigeren en scoren). De meerkeuzevraag heeft tevens als voordeel dat het verbeteren snel en efficiënt kan gebeuren en dat aan de eis van objectiviteit wordt voldaan. Bovendien kunnen de antwoorden belangrijke diagnostische informatie geven. In bovenstaand voorbeeld over de opruiming in de speelgoedwinkel, zijn de afleiders opgesteld op grond van een didactische foutenanalyse: de leerkracht inventariseert de fouten die leerlingen maken bij dergelijke opdrachten of bedenkt welke mogelijke fouten een leerling kan begaan en die worden als afleiders gebruikt. In het bovenstaande voorbeeld wordt in het eerste geval (a) 75% van 150 genomen, bij (c) telt men 75 fr. op bij 150 en bij (d) wordt 75% genomen van 150 en dit bedrag wordt bij 150 geteld. Na de toets kan de leerkracht zien welke denkfouten de leerlingen maken en zijn didactisch handelen hierop afstemmen. Vaak wordt het raden als nadeel van gesloten vragen gezien. Dit geldt vooral voor de waar/niet waar vragen en soms ook voor de meerkeuzevragen. Voor waar/niet waar vragen kan men dit oplossen door -zoals eerder reeds is gezegd- ook naar een motivering te vragen. Bij een toets die volledig uit meerkeuzevragen bestaat, kan het raden worden tegengegaan door de raadcorrectieformule toe te passen met de volgende formule: F S = J K-1

10 S staat voor score en deze wordt berekend door van het aantal juiste antwoorden (J) het aantal foute antwoorden (F), gedeeld door het aantal keuzemogelijkheden (K) -1 af te trekken. Bedenk wel dat de raadcorrectieformule vooral de betere leerlingen benadeelt. Het is dus van belang dat de leerkracht op voorhand beslist of hij al dan niet de raadcorrectieformule zal toepassen. Tot slot geven we enkele richtlijnen voor het opstellen van meerkeuzevragen: - voorzie een voldoende aantal vragen; - formuleer de stam eenduidig en duidelijk; - gebruik dezelfde grammaticale constructie voor de alternatieven; - sluit indicatoren uit; - zorg ervoor dat slechts één antwoord correct is en dat hierover geen discussie mogelijk is; - vermijd woorden als nooit, meestal, altijd, het best, enz..; - zorg ervoor dat er geen overlapping is tussen de alternatieven; - bedenk zinvolle afleiders: afleiders moeten aantrekkelijk zijn voor leerlingen die de leerstof niet (goed) beheersen. Echter: het percentage leerlingen dat het juiste antwoord kiest, moet altijd groter zijn dan het percentage dat een foute keuze maakt; foute keuzes die te veel aantrekking hebben, moeten kritisch bekeken worden; - zorg ervoor dat de vragen onafhankelijk zijn van elkaar.