Kwaliteit van Toetsen. Dr C.G.Groot

Transcriptie

1 Kwaliteit van Toetsen Dr C.G.Groot

2 Er was eens. - Vragen niet correct - Toets geen afspiegeling van de stof - Procedures onduidelijk - Mondeling (in dit geval) niet objectief 2

3 Wettelijk kader - Wet op het Hoger Onderwijs en Wetenschappelijk Onderzoek (1992 -> heden) - Wet Versterking Besturing - Meer expliciete beschrijving van taken en verantwoordelijkheden Examencommissies - Buzz (rendement, studiesucces, kwaliteitsborging, studieduurverkorting, etc. 3

4 Kwaliteit van. - de toetsprocedures (organisatie) - de toets zelf (inhoud, vorm, dekking etc.) 4

5 Actiepunten vanuit AZ Examinatoren o Per onderwijsonderdeel examinator/en aangewezen o Lijst van examinatoren schriftelijk vastgelegd o Studenten op de hoogte van examinatoren o Medewerkers op de hoogte van examinatoren Kwaliteit eindwerkstukken o Procedure tweede beoordelaar Ba- werkstuk vastgelegd o Procedure tweede beoordelaar Ma- werkstuk vastgelegd o Beoordelingscriteria Ba-werkstuk vastgesteld en gecommuniceerd o Beoordelingscriteria Ma-werkstuk vastgesteld en gecommuniceerd o Beoordelingsformulier Ba-werkstuk vastgesteld en gecommuniceerd o Beoordelingsformulier Ma-werkstuk vastgesteld en gecommuniceerd o Procedure check op afdoend ingevuld beoordelingsformulier bij vaststelling dat de student aan de vereisten voor het diploma heeft voldaan o Steekproefsgewijze evaluatie van de beoordeling van de Ba-werkstukken door de examencommissie o Steekproefsgewijze evaluatie van de beoordeling van de Ma-werkstukken door de examencommissie Kwaliteit van tentamens o Kwaliteitseisen tentamens gecommuniceerd o Werken met een antwoordformulier/model geïntroduceerd o Beoordeling van opgaven en antwoordmodel van enkele BA-tentamens o Nader onderzoek naar de kwaliteit van de toetsing van een vak op grond van behaalde resultaten (cijfers, aantal onvoldoendes, en dergelijke), bijvoorbeeld in geval van klachten van studenten, sterk afwijkende resultaten (positief of negatief) o Ondersteuning van examinatoren bij het opstellen van beoordelingscriteria m.b.v van een antwoord- of beoordelingsformulier o Ondersteuning van examinatoren bij het met één of meer collega s gezamenlijk opstellen van tentamen- en beoordelingscriteria Registratie en archivering o Afspraken over bewaren gemaakte schriftelijke tentamens door studenten o Afspraken over digitaal bewaren van eindwerkstukken + beoordelingsformulieren o Schriftelijk vastleggen van besluiten van examencommissies d.m.v. besluitenlijst o Afspraken over het vastleggen van besluiten van een daartoe gemandateerd lid van de examencommissie o Jaarlijks verslag examencommissie aan het faculteitsbestuur 5

6 Onderwijsdriehoek Leerdoelen leerstijl voorkennis student docent doceerstijl Werkvormen Beoordeling Leeromgeving (randvoorwaarden) 6

7 Beoordelen en toetsen: Waarom? Doel Selectie Leermiddel Voorgangscontrole Kwalificatie Functie Toelating Sturing Bijsturen Niveaubepaling 7

8 Toetsen: Hoe? Schriftelijk/digitaal Show Mondeling Vragen (open/gesloten) Casus Werkstuk/scriptie Portfolio Proefschrift Etc. Vaardighedentoets Overall toets Stage Deelname wg Tentamen Portfolio 8

9 Een paar voorbeelden: Wat vindt u van de volgende vragen: 9

10 Beschrijf de aanleiding tot de Eerste Wereldoorlog. 10

11 Welke waren de 3 belangrijkste diplomatieke gebeurtenissen in Europa tussen 1870 en 1914, die een directe invloed hadden op het uitbreken van de Eerste Wereldoorlog? 11

12 Algerije a. heeft een overwegend zwarte bevolking b. is een voormalig Franse kolonie c. heeft een landklimaat 12

13 Algerije is een voormalige kolonie van.. a. Frankrijk b. Portugal c. Spanje 13

14 Waarom bepaalt het KNMI elk uur de temperatuur op een groot aantal meetpunten? 14

15 Het KNMI bepaalt elk uur de temperatuur van een groot aantal meetpunten. a. Geef één reden waarom dat elk uur gebeurt. b. Geef één reden waarom dat op een groot aantal meetpunten gebeurt. 15

16 De vraagvorm bepaalt voor een belangrijk deel de kwaliteit van de toets! Kennis over vraagvormen is dus noodzakelijk, zowel bij de examencommissie als bij de examinator!! 16

17 Vraagvormen MC Open eind Essay Invul Matching Hotspot Ordening Luister Video 17

18 Alternatieven.. - Casus toetsen - Open boek tentamens - Papers - Project rapporten - Presentaties - Peer assessment - Werkplek beoordelingen (in vele vormen) - Portfolio 18

19 Soorten leerdoelen - Kennis - Begrip - Toepassen - Probleem oplossen Wat kunnen we zeggen over het verband tussen deze soorten leerdoelen? 19

20 Een tentamen is een steekproef - Een steekproef uit het totaal van de stof 1.Je kan niet alles bevragen 2.De steekproef moet dus verantwoord/representatief zijn! - Hoe doe je dat?? 20

21 Toetsmatrijs Leerdoel onderwerp kennis begrip/ inzicht toepassen probleemoplossen attitude totaal A Vraag nr 1,4, 26 Vraagnr 3, 8, 16 Etc. B C etc. totaal Evenredige verdeling over alle vragen 21

22 Bij elke toetsvorm - Bepaal het doel van de toets/opdracht ( Waarom wil je toetsen? ). - Stem de toets/opdracht af op (leer)doelen studieonderdeel ( Wat wil je toetsen? ). - Vindt een goede aansluiting bij werkvormen studieonderdeel ( Hoe wil je toetsen? ) - Bepaal de gewenste mate van validiteit, betrouwbaarheid en bruikbaarheid en onderneem stappen om deze te bereiken (toetsmatrijs, antwoordmodel, beoordelingsformulier met criteria en norm/standaard, beoordelingsprocedure). - Bepaal wie toetst/beoordeelt. - Vindt een goede aansluiting bij het moment in het studieonderdeel, en in het curriculum ( Wanneer wil je toetsen? ). 22

23 Cesuurbepaling Absolute cesuurbepaling - vooraf - vanuit de leerstof wordt een minimale beheersingsstandaard vastgesteld Relatieve cesuurbepaling - achteraf - uitgaande van de resultaten van de groep 23

24 Voordelen absolute cesuur - onderwijskundig +: docent bepaalt de norm/stelt standaard vast - hanteerbaar bij kleine groepen - hanteerbaar bij herkansingstoetsen - mogelijkheid tot normhandhaving - studieinspanning beïnvloedt slaagkans - vooraf explicitering cesuur 24

25 Nadelen absolute cesuur - met de kwaliteit van de toets wordt geen rekening gehouden. - studiebelasting en studieprogrammering beïnvloeden de slaagpercentages. - de kwaliteit van het onderwijs beïnvloedt de slaagpercentages. 25

26 Voordelen relatieve cesuur - studiebelasting en studieprogrammering hebben geen invloed op de slaagpercentages - kwaliteit onderwijs geen invloed op slaagpercentages - moeilijkheidsgraad toets geen invloed op slaagpercentages - altijd gemiddelde slagingspercentages 26

27 Nadelen relatieve cesuur - onderwijskundig -: groep studenten bepaalt norm/standaard - niet hanteerbaar bij kleine groepen - niet hanteerbaar bij herkansingstoetsen - cesuur te beïnvloeden door studenten 27

28 Checklists - Open vragen - MC vragen - Geschreven tekst (Essay, scriptie) - Gebruik van antwoordmodellen - Etc. 28