RICHTLIJNEN TOETSKWALITEIT RECHTSGELEERDHEID 2016-2017 1. Algemene bepalingen 1.1 Binnen een cursus zijn de cursuscoördinator en de betrokken hoogleraar dan wel universitair hoofddocent eindverantwoordelijken voor de toetskwaliteit. 1.2 Bij het maken van een toets zijn meerdere docenten betrokken. 2. Bepalingen betreffende de validiteit van een toets 2.1 De toetsvorm en de toetsinhoud sluiten aan op de leerdoelen zoals die zijn verwoord in de onderwijscatalogus. De relatie tussen de toetsvorm, de toetsinhoud en de leerdoelen wordt vastgelegd in een toetsmatrijs. 2.2 De toetsing binnen een cursus sluit aan op de leerdoelen en is representatief voor de voorgeschreven stof. De vragen, opgaven en/of opdrachten gaan de onderwerpen die tijdens de cursus aan de orde zijn gesteld niet te buiten. 2.3 Het niveau van de toetsing is in overeenstemming met het niveau van de cursus. 3. Bepalingen betreffende de betrouwbaarheid van een toets 3.1 De vragen, opgaven en/of opdrachten zijn duidelijk en bevatten voldoende aanwijzingen voor de vereiste detaillering van de antwoorden en/of de uitvoering van de opdracht. 3.2 De beoordeling van toetsen geschiedt aan de hand van beoordelingscriteria die zijn gebaseerd op de leerdoelen van de cursus. 3.3 Ingeval bij de beoordeling van een toets meer dan één examinator is betrokken, beoordelen alle examinatoren aan de hand van dezelfde beoordelingscriteria. 4. Bepalingen betreffende de transparantie van een toets 4.1 Studenten worden tijdig op de hoogte gebracht van de vorm en de weging van de toets en van de beschikbare tijd. 4.2 De onderwerpen die bij de toets aan de orde kunnen worden gesteld, worden voor de aanvang van het onderwijs in hoofdzaak bekendgemaakt. 4.3 De studenten wordt tijdig en eenduidig meegedeeld welke materialen zij tijdens de toets mogen gebruiken. 4.4 De wijze van beoordeling is zodanig dat de student kan nagaan hoe het oordeel over zijn toets tot stand is gekomen. De studenten krijgen feedback op de door hen gegeven antwoorden. 4.5 De feedback op een deeltoets wordt in beginsel voorafgaand aan de eindtoets gegeven. 4.6 De feedback wordt in beginsel gegeven door de studenten een antwoordindicatie te verstrekken en een inzage- en nabesprekingsmogelijkheid te bieden. 1
TOELICHTING 1. Inleiding Het behoeft geen betoog dat de kwaliteit van de toetsing van groot belang is voor de kwaliteit van een opleiding. Om deze kwaliteit verder te waarborgen, bepaalt de WHW sinds 1 september 2010 dat de examencommissie verantwoordelijk is voor de borging van de kwaliteit van tentamens en examens. Dit betekent dat de examencommissie de toetskwaliteit zal moeten controleren. De examencommissie bachelor en de examencommissie master hebben daarom gezamenlijk een commissie Toetskwaliteit (of toetscommissie ) ingesteld voor de uitvoering van deze taak. Deze toetscommissie bestaat uit: Mr. dr. S.A. Kruisinga (voorzitter) Dr. U.R.M.T. de Vries (vice-voorzitter) Dr. M.J.J.P. Luchtman Mr. dr. A.G. Veldman Mr. M.C. Weber (tot 1 september 2017) Mr. dr. A.P.W. Duijkersloot (tot 1 september 2017) Ambtelijk secretaris van de commissie is drs. L.H.L. Kips. De commissie wordt bij haar werkzaamheden ondersteund door toetsdeskundigen van het Centrum voor Onderwijs en Leren van de UU. De toetscommissie zal de kwaliteit van toetsing binnen het onderwijs beoordelen aan de hand van richtlijnen die daarvoor door de examencommissies zijn opgesteld. Aan de formulering van deze richtlijnen is een betrekkelijk lange voorbereidingstijd vooraf gegaan. Uiteindelijk is een conceptversie van de richtlijnen voorgelegd aan de diverse afdelingen. Van die zijde zijn veel vragen gekomen en suggesties gedaan voor verandering. Dit heeft ertoe geleid dat wij de richtlijnen opnieuw zorgvuldig tegen het licht hebben gehouden, rekening houdende met de reacties zoals die door de afdelingen naar voren waren gebracht. Het resultaat hiervan ligt nu voor u. Mede naar aanleiding van de reacties en ook om te zorgen dat de examencommissies de beoordeling van de toetskwaliteit voortvarend ter hand kunnen nemen, bevatten de vastgestelde richtlijnen aanzienlijk minder en minder gedetailleerde bepalingen. Deze bepalingen hebben primair betrekking op de meest voorkomende toetsvorm, te weten de schriftelijke toets met open vragen, al dan niet in casusvorm, maar zijn mutatis mutandis toepasbaar op andere toetsvormen. In zoverre zijn de bepalingen ook als richtsnoer daarvoor bedoeld. Bepalingen met betrekking tot de toetskwaliteit die op dit moment zijn opgenomen in de reglementen van de examencommissies en/of de Onderwijs- en Examenregeling (OER) zullen daar vooralsnog blijven staan. Wel geven de eerdergenoemde reacties van de afdelingen aanleiding om deze bepalingen aan een nadere beschouwing te onderwerpen. De toetscommissie zal bezien of en zo ja, in hoeverre deze bepalingen aanpassing behoeven. De richtlijnen toetskwaliteit zijn primair gericht tot de docenten en verwoorden hetgeen in overwegende mate al praktijk is bij het vervaardigen, het afnemen en het beoordelen van toetsen. In zoverre veranderen de richtlijnen niets en leiden zij niet tot een grotere werklast. Dat doet niet af aan het belang van de vaststelling en van de kennisgeving van de richtlijnen. Zij maken duidelijk met behulp waarvan de examencommissies de kwaliteit van de toetsen zullen beoordelen en bieden de docenten houvast. De status van de richtlijnen heeft tot diverse vragen geleid. Opgemerkt zij dat het in het bijgevoegde document gaat om richtlijnen. Deze benaming wil tot uitdrukking brengen dat het niet om volledig bindende regels gaat. Afwijking van in de richtlijn opgenomen bepalingen is mogelijk. Voor een afwijking zullen echter wel goede redenen moeten worden aangevoerd. Hierna wordt eerst aandacht besteed aan de achtergrond van de richtlijnen. Het gaat hierbij om een korte weergave van de verschillende kwaliteitsaspecten die blijkens de literatuur bij 2
toetsing van belang zijn. Vervolgens wordt een artikelsgewijze toelichting op de richtlijnbepalingen gegeven. Daarna wordt ingegaan op de praktische gang van zaken bij de beoordeling van de toetskwaliteit door de toetscommissie. 2. Kwaliteitsaspecten van toetsing De kwaliteitseisen waar een toets aan moet voldoen zijn vaak algemeen geformuleerd. Zij zijn daarom geconcretiseerd in een aantal richtlijnen zoals die in dit document zijn opgenomen. De examencommissies zullen met behulp van deze richtlijnen de toetskwaliteit binnen het departement Rechtsgeleerdheid controleren. Hieronder worden belangrijke kwaliteitsaspecten toegelicht zoals deze in de literatuur zijn opgenomen. 1 Validiteit; De validiteit van een toets heeft te maken met de betekenis, de bruikbaarheid en de juistheid van de conclusies die uit de toetsscores worden getrokken. Er zijn drie typen validiteit te onderscheiden: - Inhoudsvaliditeit; De mate waarin de toets representatief is voor datgene wat men met de toets wil nagaan. Dit betekent onder andere dat ieder belangrijk onderwerp uit de leerstof in de toets moet worden bevraagd. - Begripsvaliditeit; De mate waarin de toetsscore kan worden beschouwd als een maat voor het bedoelde theoretische begrip. Zo is het niet valide om inzicht te toetsen door te vragen naar een uit het hoofd geleerde definitie. - Criteriumvaliditeit; De mate waarin de toetsscore samenhangt met soortgelijke metingen buiten de toets. Zo dienen bijvoorbeeld scores op toetsen over hetzelfde onderwerp aan elkaar te zijn gerelateerd (dit begrip speelt in de praktijk geen rol, behoudens uitzonderingen die hier niet aan de orde zijn). Betrouwbaarheid; De betrouwbaarheid van een toets geeft aan in hoeverre er vertrouwen kan zijn in de toets als meting, ongeacht de inhoud van de toets. Transparantie; In een toetssituatie spreekt men van transparantie indien alle informatie voorhanden is die de best denkbare voorbereidings- en antwoordstrategie voor studenten mogelijk maakt. Bruikbaarheid; De criteria ten aanzien van de bruikbaarheid van toetsen hebben betrekking op de mate waarin het instrument (de toets) aan een aantal, deels praktische, eisen moet voldoen. De hierbij te hanteren criteria zijn efficiëntie, eerlijkheid en beschikbare tijd. 2 3. Artikelsgewijze toelichting Artikel 1.1 Deze bepaling beoogt aan te sluiten bij de bestaande situatie. Van belang is dat duidelijk is wie binnen een cursus eindverantwoordelijk is voor de inhoud en kwaliteit van toetsen. Voor de examencommissies casu quo de toetscommissie is dan ook duidelijk wie het aanspreekpunt is. Elke cursus heeft een cursuscoördinator. In sommige gevallen kan dit echter een junior docent zijn, die soms nog onvoldoende ervaring heeft om eindverantwoordelijke te zijn. Daarom is gekozen voor de huidige formulering waarbij zowel de cursuscoördinator als de betrokken hoogleraar/universitair hoofddocent verantwoordelijk is. Dit in de veronderstelling dat er (ook) bij cursussen met een junior docent als cursuscoördinator altijd een hoogleraar of universitair hoofddocent betrokken is. Als bij de cursus geen hoogleraar of universitair hoofddocent is betrokken, is alleen de cursuscoördinator eindverantwoordelijk. Artikel 1.2 1 Toetsen in het hoger onderwijs (2006), Henk van Berkel en Anneke Bax, Bohn Stafleu van Loghum 2 Tentamineren (1997), T.Dousma, A.Horsten, J.Brants, Hoger Onderwijs Reeks, Wolters-Noordhof 3
Dit is een van de belangrijkste richtlijnen. Vanuit een oogpunt van toetskwaliteit is het zeer belangrijk dat bij het ontwikkelen van een toets altijd meer dan één docent is betrokken. Toetsvragen die onduidelijk zijn geformuleerd en/of die voor meer dan één interpretatie vatbaar zijn, kunnen op deze manier tijdens het opstellen van de toets aan het licht komen. Dat bij het ontwikkelen van een toets meer dan één docent betrokken moet zijn, hoeft niet te betekenen dat docenten de toets samen moeten opstellen. Mogelijk is ook dat één docent de toets opstelt en dat deze ter beoordeling aan een andere docent voorlegt. Het is ook niet vereist dat beide docenten (evenveel) kennis hebben van het betreffende vakgebied. Het kan ook (zeer) nuttig zijn wanneer een collega-docent met een andere blik naar de toetsvragen kijkt. Zie ook de toelichting op artikel 3.1. Artikel 2.1 Deze bepaling brengt tot uitdrukking dat de leerdoelen van een cursus zoals die in de Onderwijscatalogus zijn opgenomen, doorslaggevend zijn bij het bepalen van de toetsvorm en de toetsinhoud. Doel van de toetsing binnen een cursus is vast te stellen of de leerdoelen zijn bereikt. Goed beschouwd spreekt dit voor zich. Is mondeling presenteren een leerdoel, dan kan met uitsluitend een schriftelijke toets niet worden vastgesteld of dit leerdoel is bereikt. Inhoudelijk zal de toetsing ook moeten aansluiten op het niveau van de kennis en/of het inzicht dat de cursus de studenten wil bijbrengen. Is het verkrijgen van inzicht door de student een leerdoel binnen de cursus, dan kan niet worden volstaan met een toets die alleen om een reproductie van kennis vraagt. Om de vereiste nauwe relatie tussen de leerdoelen en de toetsvorm en toetsinhoud te waarborgen, zal deze relatie zichtbaar moeten worden gemaakt met behulp van een toetsmatrijs. In een eerdere versie van deze richtlijn was een toetsmatrijs in beginsel voorgeschreven. Gebleken is echter dat een goed ingevulde toetsmatrijs onontbeerlijk is voor een beoordeling van de toetskwaliteit, niet alleen voor de toetscommissie, maar primair voor de docenten die de toets ontwerpen dan wel controleren/beoordelen. Bij een aantal vakken is dit ook al gebruikelijk. Toetsmatrijzen worden op verschillende manieren vormgegeven. De keuze op dit punt is aan de docenten. De ervaring heeft geleerd dat de invulling van een toetsmatrijs in het begin behoorlijk wat tijd vergt en diverse vragen kan oproepen. Ook hier geldt: oefening baart kunst. Voorts merkt de commissie uitdrukkelijk op dat zij voor zichzelf niet alleen, en op termijn uiteindelijk ook niet primair, een taak ziet weggelegd bij de beoordeling van afgenomen toetsen, maar nadrukkelijk ook in het voortraject. De docent die vragen heeft over toetskwaliteit, moet en kan deze voor advies aan de toetscommissie voorleggen. Dat geldt uiteraard ook voor vragen betreffende de toetsmatrijs. Artikel 2.2 Het is van belang dat de belangrijke onderwerpen, zoals genoemd in de leerdoelen, in de toetsing aan bod komen. Pas wanneer dit in voldoende mate het geval is kan een valide conclusie worden getrokken over de mate waarin de student de leerdoelen heeft bereikt. Een toets die gaat over de gehele leerstof zal dus deze onderwerpen in voldoende mate aan de orde moeten stellen. Gegeven de veelal beperkte tijd die voor toetsen beschikbaar is, is het praktisch onmogelijk om elk leerdoel te toetsen. Maar het ligt niet in de rede dat de evident belangrijke onderwerpen bij de toetsing in het geheel niet, dus in geen enkele deeltoets, aan bod komen. Artikel 2.3 Dat het niveau van de toetsing in overeenstemming moet zijn met het niveau van de cursus, betekent dat bijvoorbeeld in een cursus op masterniveau de nadruk dient te liggen op vragen voor de beantwoording waarvan inzicht en toepassing zijn vereist en niet of slechts in beperkte mate zuivere kennisvragen worden gesteld, voor de beantwoording waarvan de student kan volstaan met een reproductie van uit het hoofd geleerde stof. Een en ander laat onverlet dat, zoals hierboven bij de behandeling van artikel 2.1 al uitdrukkelijk is opgemerkt, 4
de leerdoelen leidend zijn bij de keuze voor de toetsvorm en de vaststelling van de toetsinhoud. Opgemerkt zij, dat de term toetsing moet worden onderscheiden van de term toets. De laatste term ziet op een individuele toets. Met toetsing wordt het geheel van toetsen binnen een cursus bedoeld. Artikel 3.1 Een van de aspecten die van belang zijn voor de betrouwbaarheid van een toets is de objectiviteit van de vraag. De vraag moet niet voor verschillende interpretaties vatbaar zijn (eenduidig) en moet zo gesteld worden dat het juiste antwoord niet verraden wordt in de vraag (objectief). Daarnaast zal de vraag voldoende specifiek moeten zijn, zodat de student weet wat er van hem verwacht wordt. Zie ook de toelichting op artikel 1.2. Artikelen 3.2 en 3.3 Een ander aspect dat van belang is voor de betrouwbaarheid van een toets is de objectiviteit van de beoordelaar. Een identiek antwoord zal bij verschillende beoordelaars hetzelfde aantal punten op moeten leveren. Maar ook wanneer slechts één docent het werk van de studenten beoordeelt, moet deze beoordeling plaatsvinden aan de hand van vaste criteria. Een en ander betekent dat de beoordeling van schriftelijke toetsen moet geschieden met behulp van tevoren schriftelijk vastgelegde en eventueel naar aanleiding van de beoordeling bijgestelde beoordelingscriteria. Deze criteria moeten voldoende concreet zijn en gebaseerd zijn op de leerdoelen van de cursus zodat de leerdoelen van de cursus daadwerkelijk worden getoetst. Bij schriftelijke toetsen met open vragen zullen de beoordelingscriteria veelal ook zijn opgenomen in de antwoordindicatie (of een soortgelijk document), waarin ook de puntenwaardering per deelvraag is vermeld. Zie hierover ook de toelichting op artikel 4.4. Artikel 4.1 en 4.2 De student moet zich goed kunnen voorbereiden op een toets en moet daarom van te voren weten wat hij kan verwachten. Meestal zal dit al duidelijk zijn door hetgeen in de papieren reader en/of op Blackboard staat. Het spreekt voor zich dat het bij artikel 4.2 gaat om onderwerpen die bij de toetsing aan de orde kunnen worden gesteld. Van te voren bekend maken welke onderwerpen in een toets wel en welke niet aan de orde zullen worden gesteld, ligt niet in de rede. Met de weging van de toets wordt bedoeld in welke mate het cijfer voor de toets bijdraagt aan het eindresultaat voor de cursus. Artikel 4.3 Het spreekt voor zich dat het voor studenten volstrekt duidelijk moet zijn wat zij wel en niet mogen gebruiken tijdens het maken van de toets. Artikelen 4.4 e.v. Een toets, en met name een tussentoets, heeft in zekere mate als doel de student inzicht te geven in zijn vorderingen met betrekking tot de leerdoelen van de cursus. Daarom is het belangrijk dat de student feedback op zijn werk krijgt, althans een gelegenheid wordt geboden om die feedback te krijgen, en dat deze feedback bij een tussentoets wordt gegeven voordat de eindtoets wordt afgenomen, op een zodanig moment dat de student met deze feedback redelijkerwijs rekening kan houden bij zijn voorbereiding voor de eindtoets. Wanneer in een cursus verschillende deeltoetsen verschillende leerdoelen toetsen, kan hier van worden afgeweken. Een goede antwoordindicatie, waaruit blijkt wat voor een goed antwoord in ieder geval is vereist, helpt de studenten te leren van de fouten die zij hebben gemaakt. In combinatie met een inzage- en een nabesprekingsmogelijkheid, die ons inziens een onlosmakelijk verband met 5
elkaar hebben, stelt het de studenten ook in staat om te beoordelen of de beoordeling van hun werk op de juiste manier heeft plaatsgevonden. Tevens is daarvoor vereist dat de studenten weten hoeveel punten zij per (deel)vraag maximaal kunnen behalen. Overigens leert de praktijk dat een antwoordindicatie ook een zeefwerking kan hebben. Vragen die bij studenten rijzen naar aanleiding van de beoordeling van hun werk en die in de antwoordindicatie worden beantwoord, worden tijdens een nabesprekingsmogelijkheid niet meer voorgelegd aan de docenten. In artikel 4.4 wordt met eindtoets de laatste reguliere deeltoets bedoeld. 4. De beoordeling van de toetskwaliteit Per onderwijsperiode zal de commissie de kwaliteit van toetsing van vooralsnog in ieder geval twee bachelorcursussen en één mastercursus beoordelen. Afhankelijk van de ervaringen hiermee zal dit aantal worden uitgebreid. De toetscommissie zal in beginsel aan het begin van een periode de betrokken cursuscoördinator informeren over het feit dat de kwaliteit van toetsing binnen de cursus zal worden beoordeeld. De commissie kan echter ook incidenteel besluiten de toetsing van een bepaalde cursus (alsnog) te beoordelen, bijvoorbeeld naar aanleiding van de resultaten van een cursusevaluatie. Voorts kan een kritisch oordeel met betrekking tot de toetsing binnen een cursus aanleiding zijn om de toetsing van deze cursus de eerstvolgende keer opnieuw te controleren. De cursuscoördinator zal gevraagd worden om de volgende bescheiden aan de toetscommissie toe te sturen: - de cursusdoelen; - alle toetsen van de cursus (dus inclusief inhaal- en reparatietoets); - een ingevulde toetsmatrijs per toets; - per toets een indicatie van moeilijke(re) en makkelijke(re) vragen volgens de maker(s) van de toets; - de bij deze toetsen gebruikte beoordelingscriteria en de puntenwaardering per vraag en per deelvraag; - de antwoordindicatie; - indien beschikbaar een rapportage met betrekking tot de cursusevaluatie, bij voorkeur inclusief de docentreactie daarop; - informatie over het slagingspercentage van de cursus; - een overzicht van de cijfers per deeltoets en de eindcijfers; - een korte beschrijving van de ontwerp- en nakijkprocedure van de toets(en); - een toetsanalyse (of: tentamenanalyse). Dit kan een statistische analyse zijn, maar mag ook een kort verslag van de cursuscoördinator zijn. In het verslag benoemt hij de zaken die opvallen aan het tentamen, zoals vragen die door veel studenten slecht of juist heel goed zijn gemaakt, en welke maatregelen er worden genomen naar aanleiding hiervan. Wanneer er vragen zijn naar aanleiding van de toegestuurde bescheiden, zullen de voorzitter en de secretaris van de commissie deze bespreken met de cursuscoördinator en/of betrokken hoogleraar of universitair hoofddocent. Van dit gesprek wordt een verslag gemaakt dat aan de gesprekspartners wordt voorgelegd. De toetscommissie formuleert vervolgens schriftelijk haar beoordeling van de kwaliteit van de toetsing binnen de cursus, op basis van de schriftelijk en mondeling gegeven informatie. De cursuscoördinator en/of de betrokken hoogleraar of universitair hoofddocent worden van deze beoordeling op de hoogte gesteld. De toetscommissie brengt per semester verslag uit aan de gezamenlijke examencommissies. De gezamenlijke examencommissies delen hun bevindingen mee aan de Onderwijsdirecteur. Een verslag van de werkzaamheden van de toetscommissie wordt opgenomen in het Jaarverslag van de examencommissies. 5. Slotopmerkingen 6
De voorliggende richtlijnen cum annexis zullen (uiteraard) worden geëvalueerd en zo nodig worden aangepast. Ook zullen zij in de loop van de komende studiejaren waar nodig worden uitgebreid met bepalingen over andere toetsvormen dan de toetsvorm waarop zij thans primair betrekking hebben. Als voorbeelden van dit soort bepalingen kan gedacht worden aan: - het verstrekken van een oefentoets bij toetsen met open vragen. - een minimum aantal vragen bij multiple choice-toetsen (in verband met de betrouwbaarheid hiervan) en het gebruik van de toetsanalyse die wordt verstrekt door het COLUU. - minimaal twee examinatoren bij het afnemen van een individuele mondelinge toets. 7