Faculteit Ontwerpwetenschappen Handleiding Opstellen van een toetsmatrijs Versie 15/04/2015

Transcriptie

1 Faculteit Ontwerpwetenschappen Handleiding Opstellen van een toetsmatrijs Versie 15/04/2015 FOW Handleiding toetsmatrijzen 1

2 Inhoud Woord vooraf... 3 DEEL 1: Theoretische achtergrond Kwaliteitsvol toetsen Toetsmatrijs... 5 DEEL 2: Praktische leidraad... 6 FOW Handleiding toetsmatrijzen 2

3 Woord vooraf Dit document is opgesteld in het kader van UFOO-project (UAntwerpen Fonds voor Onderwijsontwikkeling) toetsbeleid van de Universiteit Antwerpen. Deze handleiding biedt een leidraad voor docenten bij het opstellen van toetsmatrijzen voor hun opleidingsonderde(e)l(en). Deze handleiding is in elektronische vorm te vinden op blackboard.uantwerpen.be (na inloggen), onder de organisatie CIKO Ontwerpwetenschappen, in de map UFOO toetsbeleid. Indien er nog vragen of problemen zijn kan u steeds contact opnemen met de UFOO of CIKO (Cel voor Innovatie en Kwaliteitszorg Onderwijs) verantwoordelijke van de faculteit. CIKO davina.baeyens@uantwerpen.be UFOO nele.simons@uantwerpen.be FOW Handleiding toetsmatrijzen 3

4 DEEL 1: Theoretische achtergrond 1 1. Kwaliteitsvol toetsen Onderwijs is niet willekeurig: we doen niet zomaar wat in het onderwijs, maar willen bepaalde en realiseren. Leerdoelen geven aan wat studenten van het onderwijs moeten opsteken. De en vormen dan ook het uitgangspunt voor het bepalen van de gepaste werkvormen en het samenstellen van een toets. Idealiter worden alle nagestreefde en getoetst zodat voor elke student een juist oordeel uitgesproken kan worden over de mate waarin het opleidingsonderdeel met succes is doorlopen. Naast deze congruentie tussen en, werkvormen en evaluatievormen zijn er drie belangrijke pijlers voor het opstellen van een kwaliteitsvolle toets: 1. Validiteit Dit is de mate waarin je meet wat je wil meten. Een valide toets is een evenwichtige toets, namelijk een toets waarin de en in een representatieve mate aan bod komen in relevante vragen en waarin er naar verschillende niveaus van kennisverwerking gepeild wordt. Een toetsmatrijs is een handig hulpinstrument om tot een valide toets te komen bij theoretische opleidingsonderdelen. 2. Betrouwbaarheid Dit is de mate waarin een test nauwkeurig meet. Het resultaat van studenten op een evaluatie mag zo min mogelijk door toevallige omstandigheden worden bepaald. Hoe geringer de invloed van toevalsfactoren op de evaluatie, hoe betrouwbaarder de uitkomst van de evaluatie. Een evaluatie wordt betrouwbaar genoemd als het er niet toe doet wie de toets heeft afgenomen (inter-beoordelaar), met welke vragen of opdrachten een vaardigheid wordt gemeten (inter-taak) of op welk moment de evaluatie plaatsvindt (test-hertest). Instrumenten die kunnen bijdragen tot een verhoogde nauwkeurigheid en consistentie bij evalueren zijn bijvoorbeeld een verbetersleutel (test-hertest betrouwbaarheid) of beoordelaarsinstructies (inter-beoordelaarsbetrouwbaarheid). 3. Transparantie Dit is de mate van duidelijkheid. Duidelijke informatie en communicatie verhogen de transparantie en daardoor ook de aanvaardbaarheid van de toets. Manieren om de transparantie te vergroten zijn bijvoorbeeld duidelijk gecommuniceerde evaluatiecriteria of voorbeeldvragen. 1 Gebaseerd op Expertisecentrum Hoger Onderwijs (2013), Vijftig onderwijstips, Antwerpen: Garant; Van Petegem, P. (2009), Praktijkboek activerend hoger onderwijs, Tielt: Lannoo. FOW Handleiding toetsmatrijzen 4

5 2. Toetsmatrijs Een toetsmatrijs is een overzichtstabel waarin wordt aangegeven welke en van een opleidingsonderdeel geëvalueerd moeten worden in welke mate en op welk niveau. De toetsmatrijs geeft een overzicht op 3 vlakken: Volledigheid: worden alle en getoetst; Gewicht: worden de belangrijkste en het meest getoetst; Beheersingsniveau: wordt er op verschillende s getoetst. 1 30% 10% 20% 30% 2 30% 5% 10% 15% 30% 3 40% 20% 20% 40% 15% 30% 35% 20% 100% Examens van theoretische vakken situeren zich op het cognitief domein. Daarbij worden vier s onderscheiden: 1. Kennis is het kunnen reproduceren of herinneren van eerder geleerd materiaal, variërend van specifieke feiten tot complete theorieën. Het antwoord op een kennisvraag staat letterlijk in. 2. Inzicht is meer dan onthouden; op dit niveau gaat het om begrip, het doorgronden van betekenis. Er wordt bijvoorbeeld gevraagd om een eigen voorbeeld te geven of een verband tussen verschillende topics te bespreken. Het antwoord op de vraag kan niet letterlijk in de cursus worden gevonden. 3. Toepassen is het kunnen gebruiken van eerder geleerd materiaal in nieuwe en concrete situaties. De student moet de juiste kennis koppelen aan een gegeven situatie. 4. Probleem oplossen is het analyseren van een complexe situatie en er de juiste kennis en inzichten aan koppelen. Voordelen van het werken met een toetsmatrijs bij het opstellen van toetsen: Het instrument helpt voorkomen dat en worden over- of onderbevraagd. Het instrument helpt voorkomen dat bepaalde s worden over- of onderbevraagd. Een goed opgestelde toetsmatrijs geeft ook handvaten om te komen tot vergelijkbare examens voor verschillende examenperiodes (bijvoorbeeld juni- en septemberperiode) én voor verschillende studenten (bijvoorbeeld bij mondelinge examens). Werken met een toetsmatrijs verhoogt de validiteit van een toets en daardoor ook de transparantie en aanvaardbaarheid van de toets. FOW Handleiding toetsmatrijzen 5

6 DEEL 2: Praktische leidraad Stap 1: Verdeel alle en/eindcompetenties/onderwerpen van het opleidingsonderdeel over de eerste kolom Stap 2: Bepaal het gewicht van ieder in het opleidingsonderdeel. De tijd die men als docent tijdens de lessen aan elk van de onderwerpen besteedt, en/of de uitgebreidheid waarmee de onderwerpen besproken worden in het studiemateriaal, zijn hierbij richtinggevend. Sommige en zullen in de toets dus meer gewicht krijgen dan andere. Het totaal van de gewichten moet 100% zijn. 1 30% 2 30% 3 40% Stap 3: Geef bij ieder aan op welk wordt getest. Het kruisen van de percentages per en per levert een beeld op van de verdeling van de vragen over de toets. 1 30% 10% 20% 2 30% 5% 10% 15% 3 40% 20% 20% FOW Handleiding toetsmatrijzen 6

7 Stap 4: Tel de percentages op per (kolom rechts) en per (onderste rij) en controleer of de verhouding van de gewichten overeenkomt met wat in de lessen aan bod kwam. Deze percentages geven een goed beeld van het relatieve belang dat de verschillende onderwerpen en de verschillende s moeten krijgen in de toets. Dit relatieve belang kan zich afspiegelen in het aantal vragen en/of in de puntenverdeling. Het totaal van de gewichten moet 100% zijn. 1 30% 10% 20% 30% 2 30% 5% 10% 15% 30% 3 40% 20% 20% 40% 15% 30% 35% 20% 100% Voorbeeld van een ingevulde toetsmatrijs voor een examen op 100 punten 1 20% 4 x 5 pt 20 pt 2 30% 2 x 5 pt 2 x 10 pt 30 pt 3 40% 2 x 10 pt 2 x 10 pt 40 pt 4 10% 1 x 10 pt 10 pt 100% 30 pt 40 pt 20 pt 10 pt 100 pt Tips: Bij mondelinge examens is het aan te raden om te werken met vragenfiches waarop een combinatie van vragen per en per zorgvuldig is samengebracht. Als studenten verschillende vragenkaartjes moeten trekken met daarop telkens één vraag, is er immers veel minder controle over de validiteit van de toets als geheel. Bij essayvragen is het niet altijd mogelijk om alle onderwerpen met aparte vragen te toetsen. Een mogelijke oplossing is vragen gebruiken waarbij meerdere onderwerpen en/of s geïntegreerd aan bod komen. Daarbij kan dan nog steeds rekening gehouden worden met de gewichten via de puntentelling van de vragen. FOW Handleiding toetsmatrijzen 7