Eerste Hulp Bij Toetsen Grip op toetskwaliteit Literatuurverwijzingen Eerste Hulp Bij Toetsen: Grip op Toetskwaliteit Literatuurverwijzingen Nathalie Maassen & Dorien den Otter Universiteit Twente Cito
Eerste Hulp Bij Toetsen Grip op toetskwaliteit Literatuurverwijzingen Auteurs: Nathalie Maasen & Dorien den Otter (Universiteit Twente/Cito) september 2017 (herziene versie), oorspronkelijke uitgave 2015 ToetsWijzer Stichting Cito Instituut voor Toetsontwikkeling info@toetswijzer.nl www.toetswijzer.nl
Inhoud INTRODUCTIE 3 KWALITEIT VAN TOETSEN 3 OVER DEZE TOETSSPECIAL 3 1. A. GEBRUIKSDOEL 4 1. B. TOETSDOELEN 4 2. TOETSVORM 5 3. A. DEKKING 6 3. B. MOEILIJKHEID 6 3. C. SPECIFICITEIT 7 4. TRANSPARANTIE 8 5. KWALITEIT TOETSMATERIAAL 9 6. TOETSLENGTE 10 7. EERLIJKHEID 11 8. A. BEOORDELINGSSCHEMA 12 8. B. OBJECTIVITEIT 12 9. NORMERING EN CESUUR 13 10.FEEDBACK 14 COLOFON 15 2 ToetsSpecial Eerste Hulp bij Toetsen Literatuuroverzicht
Introductie In het voortgezet onderwijs is toetsing aan de orde van de dag. Het is van groot belang dat de kwaliteit van de gebruikte toetsen goed is. De uitslagen van toetsen kunnen namelijk zeer bepalend zijn voor de onderwijscarrière van leerlingen. Gaan ze over naar de volgende klas? Halen ze een voldoende score voor hun proefwerken en examens? Daarnaast worden toetsen gebruikt om beslissingen te nemen over de precieze invulling van het onderwijsleerproces. Kwaliteit van toetsen De brochure Eerste Hulp Bij Toetsen biedt ondersteuning aan leraren in het voortgezet onderwijs bij het maken, afnemen, beoordelen en evalueren van toetsen. In de brochure komen de volgende aspecten van toetskwaliteit aan bod: Gebruiksdoel Toetsdoelen Toetsvorm Dekking Moeilijkheid Specificiteit Transparantie Kwaliteit toetsmateriaal Toetslengte Eerlijkheid Beoordelingsschema Objectiviteit Normering en cesuur Feedback Over deze ToetsSpecial Deze ToetsSpecial bevat als aanvulling op de brochure per aspect verwijzingen naar artikelen en boeken ter verdieping. ToetsSpecial Eerste Hulp Bij Toetsen - Literatuuroverzicht 3
1. A. Gebruiksdoel De keuze van het gebruiksdoel bijvoorbeeld summatief of formatief is bepalend voor de aspecten waar u op moet letten tijdens het maken, afnemen, beoordelen en evalueren van een toets. Hoofdstuk Is het verschil tussen summatief en formatief toetsen u nog niet helemaal helder? Dit korte hoofdstuk legt het u in andere bewoording nogmaals uit. Hoofdstuk 2 Schooltoetsen: Beek, A. ter, & Rijken, R. (1998). In: Meetinstrument Kwaliteit Schooltoetsen. s-hertogenbosch: KPC Onderwijs Innovatie Centrum. Hoofdstuk Summatief toetsen is de meest gebruikelijke manier van toetsen in het voortgezet onderwijs. Dit hoofdstuk legt uit waarom formatief toetsen ook erg belangrijk is, op welke manieren dit kan worden ingezet en welke rol u als docent hierin speelt. Hoofdstuk 8 Formatief toetsen: Berkel, H. van, Bax, A., & Joosten-Ten Brinke, D. (2014). In: Toetsen in het hoger onderwijs (3e ed). Houten: Bohn Stafleu van Loghum. 1. B. Toetsdoelen Nadat u weet met welk gebruiksdoel u toetst, kunt u dit concretiseren tot toetsdoelen. Toetsdoelen geven antwoord op vragen als: Waarover moet de toets gaan? Wat moet de toets meten? Wat moeten leerlingen (uiteindelijk) beheersen? Toetsdoelen komen voort uit de leerdoelen. Hoofdstuk Met concrete voorbeelden wordt de stap gemaakt om van het opleidingsdoel (doel van uw vak) te komen tot een leerdoel en uiteindelijk een toetsdoel. Dit laatste is een leerdoel inclusief de minimumprestatie en voorwaarden. Hoofdstuk 2 Leerdoelen en toetstermen gebruiken: Teelen Kennismanagement. (2004). In: Toetsontwikkeling in de praktijk: Hoe maak ik goede vragen en toetsen? Nijkerk: Drukkerij Van Hout BV. Instrument In dit document op de SLO-website 'Cursus Curriculumontwerp' worden handvatten aangereikt om leerdoelen te formuleren. SLO Leerdoelen formuleren. http://cursuscurriculumontwerp.slo.nl/toolkit > Leerdoelen formuleren. 4 ToetsSpecial Eerste Hulp bij Toetsen Literatuuroverzicht
2. Toetsvorm Met behulp van een toets kunt u het beoogd leereffect meten. De keuze van een toetsvorm is bepalend voor de mate waarin u echt meet wat u graag wilt meten en weten. Boek In dit boek wordt in verschillende hoofdstukken ingegaan op bepaalde toetsvormen zoals toetsen met gesloten en open vragen, toetsen met korte casussen, toetsen met een mondelinge toets, toetsen van schriftelijke werkstukken en toetsen van groepswerk. Berkel, H. van, Bax, A., & Joosten-Ten Brinke, D. (2014). Toetsen in het hoger onderwijs (3e ed). Houten: Bohn Stafleu van Loghum. Hoofdstuk en artikel Hoe kunt u de leerlingen individueel waarderen als zij een groepsopdracht hebben gemaakt? Een hoofdstuk in het boek 'Toetsen in het hoger onderwijs' gaat specifiek in op het beoordelen van groepsproducten. Een korte versie van dit hoofdstuk is te vinden in het tijdschrift 'Examens'. Hoofdstuk 24 Toetsen van groepswerk: Berkel, H. van, Bax, A., & Joosten-Ten Brinke, D. (2014). In: Toetsen in het hoger onderwijs (3e ed). - Houten: Bohn Stafleu van Loghum. Bax, A. E. (2004). Beoordelingsmethoden voor het toekennen van individuele cijfers aan groepsproducten: Loon naar werken. In: Examens, 4, 18-21. ToetsSpecial Eerste Hulp Bij Toetsen - Literatuuroverzicht 5
3. A. Dekking Aan de hand van een toetsmatrijs zorgt u ervoor dat de toetsinhoud dekkend is voor de te toetsen leerstofdomeinen. Op die manier kunnen er juiste conclusies over leerlingen worden getrokken. Hoofdstuk Hoe ziet een goede toetsmatrijs eruit? Hier vindt u een toetsmatrijs die u ter illustratie kan gebruiken voor uw eigen toetsmatrijs. Hoofdstuk 3.3 Voorbeeld van een toetsmatrijs: KPC Groep (1998). In: Meetinstrument kwaliteit schooltoetsen. Hoofdstuk Dit hoofdstuk biedt meer achtergrondinformatie over de toetsmatrijs en de voordelen ervan. Hoofdstuk 4 Een toetsmatrijs gebruiken: Teelen Kennismanagement (2004). In: Toetsontwikkeling in de praktijk: Hoe maak ik goede vragen en toetsen? Nijkerk: Drukkerij Van Hout BV. 3. B. Moeilijkheid Om juiste beslissingen te maken over een leerling moeten de toetsopgaven niet te moeilijk of te makkelijk zijn. Het niveau van de leerling moet alleen afhangen van zijn of haar kennis of vaardigheid, niet van de moeilijkheid van een toets. De indeling in kennis-, toepassings- en inzichtvragen kan daarbij helpen. Artikel De indeling kennis-toepassing-inzicht is een veelgebruikte indeling. Er zijn ook andere mogelijkheden. In dit artikel worden verschillende taxonomieën besproken, zoals Bloom, OBIT en RTTI. Knevel, R. (2013). Taxonomieën zijn hot... en handig. In: Toets!, 1, 1-10. Checklist In dit document op de SLO-website 'Cursus Curriculumontwerp' worden handvatten aangereikt om de taxonomie van Bloom te gebruiken. Deze taxonomie onderscheidt lagere leerniveaus (kennis, inzicht, toepassing) en hogere leerniveaus (analyse, synthese, evaluatie). SLO - Checklist taxonomie Bloom. http://cursuscurriculumontwerp.slo.nl/toolkit > Checklist taxonomie van Bloom. Artikel Hoe kunt u toetsen construeren? Dit artikel geeft concrete informatie. In stap 1 en 2 wordt ingegaan op het maken van een specificatietabel met onderscheid tussen kennis-, toepassings- en inzichtvragen. Voorbeeldstartzinnen geven houvast bij het formuleren van vragen op het juiste niveau. Berkel, H. J. M. van, Draaijer, S. (2011). Gids voor toetsontwikkeling. In: Examens, 1, 1-8. 6 ToetsSpecial Eerste Hulp bij Toetsen Literatuuroverzicht
3. C. Specificiteit Met behulp van een toets wilt u een uitspraak doen over het niveau van een leerling. Daarom moet de toets onderscheid maken tussen leerlingen met een voldoende en onvoldoende niveau. Dit betekent dat er onderscheidende, specifieke vragen moeten worden gesteld. Hoofdstuk In dit hoofdstuk worden belangrijke kwaliteitseisen van vragen behandeld, zoals specificiteit. Met behulp van voorbeeldvragen wordt weergegeven hoe het niet moet, maar vooral hoe het wel moet. Hoofdstuk 5.3.2. Kwaliteitseisen en constructievoorschriften: Teelen Kennismanagement (2004). In: Toetsontwikkeling in de praktijk: Hoe maak ik goede vragen en toetsen? Nijkerk: Drukkerij Van Hout BV. Hoofdstuk In dit hoofdstuk leest u meer in detail over het analyseren van een toetsvraag: wanneer is deze onderscheidend? Dergelijke analyses zijn vooral geschikt bij een toetsafname van meer dan 50 leerlingen. Hoofdstuk 7.3.3 Een toets- en itemanalyse interpreteren: Teelen Kennismanagement (2004). In: Toetsontwikkeling in de praktijk: Hoe maak ik goede vragen en toetsen? Nijkerk: Drukkerij Van Hout BV. ToetsSpecial Eerste Hulp Bij Toetsen - Literatuuroverzicht 7
4. Transparantie Het is belangrijk dat elke leerling een eerlijke kans heeft om goed voorbereid de toets te kunnen maken, zodat de prestatie op een toets niet afhangt van andere aspecten dan het niveau van de leerling. Hoofdstuk In deze paragrafen wordt uitgebreid ingegaan op alle elementen waaraan u moet denken om transparant te zijn voor uw studenten. Met concrete tips weet u wat u aan uw studenten moet melden over de toets. Hoofdstuk 5.1-5.4 Toetsinstructie, Invulinstructie, Scoring- en uitslaginstructie, Algemene regelingen: Berkel, H. van (1999). In: Zicht op toetsen: Toetsconstructie in het hoger onderwijs. Assen: Van Gorcum. Hoofdstuk In dit hoofdstuk wordt toegelicht op welke aspecten u moet letten bij het opstellen van een toetsinstructie en ziet u hiervan een voorbeeld. Hoofdstuk 6.7 De toetsconstructie opstellen: Teelen Kennismanagement (2004). In: Toetsontwikkeling in de praktijk: Hoe maak ik goede vragen en toetsen? Nijkerk: Drukkerij Van Hout BV. 8 ToetsSpecial Eerste Hulp bij Toetsen Literatuuroverzicht
5. Kwaliteit toetsmateriaal Als leerlingen worden afgeleid door de kwaliteit van het toetsmateriaal, kunnen zij hun niveau niet goed tonen. Er ontstaat ruis: u meet andere dingen dan de dingen die u wilt meten. Hoofdstuk De kwaliteit van het toetsmateriaal is van belang. In deze paragraaf worden enkele tips gegeven voor het bereiken van een goede lay-out. Hoofdstuk 5.5 Lay-out van de toets: Berkel, H. van (1999). In: Zicht op toetsen: Toetsconstructie in het hoger onderwijs. Assen: Van Gorcum. Onderzoek In dit onderzoek is een toets aan de hand van verschillende criteria verbeterd. Dit zorgde voor een hogere waardering van leerlingen. Er worden voorbeelden gegeven die u kunt gebruiken bij het maken van een toets. Dijkstra, M. (2010). Toetssteen der wijzen: Op weg naar betere toetsen in het schoolexamen Nederlands. Unpublished master s thesis, Universiteit Utrecht, Utrecht, The Netherlands. ToetsSpecial Eerste Hulp Bij Toetsen - Literatuuroverzicht 9
6. Toetslengte Enerzijds is een toets met veel vragen meestal betrouwbaarder dan een toets met weinig vragen. Hoe meer vragen, hoe kleiner de kans dat een leerling toevallig een goed antwoord geeft. Anderzijds kan een toets niet eindeloos worden verlengd, omdat vermindering van concentratie en tijdnood leidt tot minder presteren. Hoofdstuk Dit hoofdstuk gaat dieper in op de afweging van het aantal vragen met betrekking tot de toetstijd. Er worden handvatten aangereikt om toe te passen in het geval er nog leerlingen bezig zijn met de toets terwijl de toetstijd is verstreken. Hoofdstuk 2.1 Aantal vragen en toetstijd: Berkel, H. van (1999). In: Zicht op toetsen: Toetsconstructie in het hoger onderwijs. Assen: Van Gorcum. Artikel Dit artikel behandelt in een aantal stappen hoe toetsen kunnen worden geconstrueerd. In de eerste stap wordt ingegaan op de antwoordtijd van verschillende typen open en gesloten vragen. Berkel, H. J. M. van, Draaijer, S. (2011). Gids voor toetsontwikkeling. In: Examens, 1, 1-8. Hoofdstuk In dit hoofdstuk wordt uitgelegd wat betrouwbaarheid van toetsscores is en hoe die berekend kan worden. In de laatste paragraaf wordt ingegaan op de manier waarop de lengte van de toets kan bijdragen aan de betrouwbaarheid. Hoofdstuk 3 Betrouwbaarheid: Sanders, P. (2013). In: Toetsen op school. Arnhem: Stichting Cito Instituut voor Toetsontwikkeling. 10 ToetsSpecial Eerste Hulp bij Toetsen Literatuuroverzicht
7. Eerlijkheid Door te zorgen voor gestandaardiseerde omstandigheden worden de leerlingen niet bevoordeeld of benadeeld. Als een leerling de toets op een ander moment maakt, dan zou het resultaat hetzelfde moeten zijn. De toets is dan eerlijk afgenomen en het resultaat is vergelijkbaar. Hoofdstuk In dit hoofdstuk leest u meer over de toetsruimte, mogelijke verstoringen en de verantwoordelijken tijdens de toets. Dit hoofdstuk is gericht op het hoger onderwijs, maar kan ondersteunen bij het zien van mogelijke oorzaken van oneerlijkheid. Hoofdstuk 5.6 Toetsorganisatie: Berkel, H. van (1999). In: Zicht op toetsen: Toetsconstructie in het hoger onderwijs. Assen: Van Gorcum. Hoofdstuk Dit hoofdstuk gaat specifiek in op fraudemaatregelen. Dit hoofdstuk is gericht op het hoger onderwijs, maar kan ook docenten in het voortgezet onderwijs ondersteunen bij het zien van mogelijke oorzaken van oneerlijkheid. Hoofdstuk 5.7 Maatregelen tegen fraude: Berkel, H. van (1999). In: Zicht op toetsen: Toetsconstructie in het hoger onderwijs. Assen: Van Gorcum. ToetsSpecial Eerste Hulp Bij Toetsen - Literatuuroverzicht 11
8. A. Beoordelingsschema Als u iedere leerling volgens uw beoordelingsschema beoordeelt, komen de toetsresultaten op dezelfde manier tot stand. U kunt de leerling nu precies uitleggen waarom hij/zij dat cijfer heeft gekregen. Hoofdstuk In de constructiefase maakt u al een antwoordmodel. Dit model moet voldoen aan verschillende eisen. In dit hoofdstuk worden deze eisen behandeld. Ook wordt er een voorbeeld gegeven van een antwoordmodel. Hoofdstuk 2.4 Antwoordmodellen: Berkel, H. van (1999). In: Zicht op toetsen: Toetsconstructie in het hoger onderwijs. Assen: Van Gorcum. Artikel Dit artikel geeft achtergrondinformatie over het gebruiken van een beoordelingsmodel om tot een objectieve beoordeling te komen. Geelen, A., & Heij, K. (2014). Het belang van een goed toetsmodel: Waarom heb ik een onvoldoende en hij niet? In: Toets!, 2, 32-35. Stappenplan Aan de hand van een kort stappenplan wordt uitgelegd waarom u kunt kiezen voor een beoordelingsschema, wat erin moet komen en hoe u dit precies moet doen. Er wordt afgesloten met inzichten in hoe u het beoordelingsschema in de praktijk kunt inzetten. Toetstip 9: Beoordelingsmodellen: praktisch. CNaVT, 2011. 8. B. Objectiviteit Elke leerling moet dezelfde kans krijgen en hetzelfde worden beoordeeld. Een leerling mag alleen een lager cijfer krijgen dan een andere leerling, als hij/zij de toets slechter heeft gemaakt. Uw objectiviteit tijdens het nakijken van een toets is dus belangrijk. Hoofdstuk In deze paragraaf wordt kort ingegaan op de term objectiviteit en de manier waarop objectiviteit kan worden bereikt. Hoofdstuk 1.4.3 Objectiviteit: Berkel, H. van (1999). In: Zicht op toetsen: Toetsconstructie in het hoger onderwijs. Assen: Van Gorcum. Hoofdstuk Subjectiviteit kan ontstaan door verschillende oorzaken. Op pagina 287-289, in het hoofdstuk 'Beoordelaarseffecten', worden belangrijke oorzaken toegelicht zoals het contaminatie-effect, het haloeffect, het horn-effect, normverschuiving en restriction-of-range. Beoordelaarseffecten: Berkel, H. van, Bax, A., & Joosten-Ten Brinke, D. (2014). In: Toetsen in het hoger onderwijs (3e ed). Houten: Bohn Stafleu van Loghum. 12 ToetsSpecial Eerste Hulp bij Toetsen Literatuuroverzicht
9. Normering en cesuur Een goede normering en cesuur zijn van belang bij het nemen van de juiste beslissing over een leerling. Er zijn verschillende manieren om het cijfer en de zak/slaaggrens te bepalen. Deze manieren moeten echter altijd inzichtelijk, controleerbaar en verdedigbaar zijn. Hoofdstuk Een toetsscore kan beoordeeld worden door de toetsscore te vergelijken met de toetsscores van andere leerlingen uit de doelgroep (relatief normeren) of door de toetsscore te vergelijken met een standaard, aangeduid als cesuur of norm (absoluut normeren). Dit hoofdstuk gaat achtereenvolgens in op: relatief normeren, absoluut normeren, het toekennen van cijfers aan toetsscores en het scoren van meerkeuzevragen. Hoofdstuk 9 Het beoordelen van toetsscores: Sanders, P. (2013). In: Toetsen op school. Arnhem: Stichting Cito Instituut voor Toetsontwikkeling. Hoofdstuk Bij normeren kan een absolute en een relatieve methode worden gehanteerd. Dit hoofdstuk biedt meer informatie over beide methodes. Het geeft voorbeelden van beide methodes en laat zien hoe je gokkansen kan verwerken in de cesuur. Hoofdstuk 6.6 Een cesuur vaststellen: Teelen Kennismanagement (2004). In: Toetsontwikkeling in de praktijk: Hoe maak ik goede vragen en toetsen? Nijkerk: Drukkerij Van Hout BV. Artikel In dit artikel wordt uitgelegd wat de moeilijkheid is bij cijfers geven. Het verschil tussen absoluut en relatief normeren wordt in een schema weergegeven. Berkel, H. J. M. van (2004). Zoeken naar normen: het geven van cijfers blijft een probleem. In: Examens, 1(4), 9-11. ToetsSpecial Eerste Hulp Bij Toetsen - Literatuuroverzicht 13
10. Feedback Feedback is vooral belangrijk wanneer u de ontwikkeling van een leerling wilt volgen door middel van een toets en zijn/haar niveau naar het gewenste niveau wilt brengen: formatieve toetsen. U kunt het leerproces en uw eigen lesgeven met behulp van feedback bijsturen en aanpassen aan de ontwikkeling van de leerling. Hoofdstuk Feedback geven kan op verschillende momenten en op verschillende manieren. In dit hoofdstuk worden tips aangereikt voor het feedback moment, feedback niveau en de feedback formulering. Hoofdstuk 5.5 Feedback geven: Teelen Kennismanagement (2004). In: Toetsontwikkeling in de praktijk: Hoe maak ik goede vragen en toetsen? Nijkerk: Drukkerij Van Hout BV. Artikel "Goed zo!" is onvoldoende. Dit artikel gaat in op de vraag wat feedback leerbevorderend maakt. Voerman, L., & Faber, F. (2010). Goed zo!" is onvoldoende. In: Van Twaalf Tot Achttien, 3, 52-55. 14 ToetsSpecial Eerste Hulp bij Toetsen Literatuuroverzicht
Colofon Eerste Hulp Bij Toetsen is een uitgave van Stichting Cito (2015). De brochure Eerste Hulp Bij Toetsen behandelt belangrijke onderdelen wat betreft de kwaliteit van toetsen. De brochure wil docenten in het voortgezet onderwijs inzicht geven in de factoren van toetskwaliteit en behulpzaam zijn in het daar waar mogelijk verbeteren van de kwaliteit van toetsen. Eerste Hulp Bij Toetsen is gebaseerd op het onderzoeksrapport Kwaliteit van toetsen binnen handbereik: een reviewstudie van onderzoek en onderzoeksresultaten naar de kwaliteit van toetsen. Dit onderzoek is uitgevoerd door het Research Center voor Examinering en Certificering (RCEC) en gefinancierd door het Nationaal Regieorgaan Onderwijsonderzoek (NRO), projectnummer 405-14-535. Het onderzoek geeft een breed beeld over de kwaliteitsaspecten die van belang zijn voor toetsen in het onderwijs. Auteurs Eerste Hulp Bij Toetsen is ontwikkeld door Nathalie Maassen (Universiteit Twente, Cito) en Dorien den Otter (Universiteit Twente, Cito). Het onderzoek is tevens uitgevoerd door Saskia Wools (Cito), Bas Hemker (Cito), Gerard Straetmans (Saxion, Cito) en Theo Eggen (Universiteit Twente, RCEC, Cito). Publicaties - Eerste Hulp Bij Toetsen: grip op toetskwaliteit (brochure voor docenten) - Kwaliteit van toetsen binnen handbereik : een reviewstudie van onderzoek en onderzoeksresultaten naar de kwaliteit van toetsen - Kwaliteit van toetsen binnen handbereik : welke kwaliteitsaspecten zijn van belang bij een goede toets? (brochure voor docenten) - 'Huh, moesten we dat ook leren? : over toetskwaliteit in het onderwijs' / Nathalie Maassen en Dorien den Otter. - In: Van 12 tot 18, januari 2015, pag. 36-37 - De ene goede toets is de andere niet : kwaliteitscriteria voor toetsen variëren (NRO-nieuwsbericht, 19 december 2014) Copyright ToetsWijzer Stichting Cito Instituut voor Toetsontwikkeling Het auteursrecht op de ToetsSpecial 'Eerste Hulp Bij Toetsen' berust bij Stichting Cito. Overname van de inhoud van de special is uitsluitend toegestaan na toestemming van de redactie van Toetswijzer. Verzoeken tot overname van de inhoud dienen te worden gericht aan de redactie van Toetswijzer, onder vermelding van het medium, de oplage en de doelgroep. Meer informatie www.toetswijzer.nl ToetsSpecial Eerste Hulp Bij Toetsen - Literatuuroverzicht 15
Over deze ToetsSpecial Deze ToetsSpecial dient als bijlage bij de brochure Eerste Hulp Bij Toetsen: Grip op Toetskwaliteit. De special bevat verwijzingen naar artikelen en boeken ter verdieping en is bedoeld ter ondersteuning van leraren in het voortgezet onderwijs bij het maken, afnemen, beoordelen en evalueren van toetsen.