Toetsbeleid; een goed plan voor toetsbekwaamheid 1. Ontwikkelen van toetsbeleid is niet eenvoudig Een veelvoorkomende denkfout bij het ontwikkelen van toetsbeleid is dat men vanaf nul begint. Er worden kaders geschapen en doelen gesteld die het ideale toekomstbeeld vertegenwoordigen. Maar toetsing is aan de orde van de dag sinds de oprichting van een onderwijsinstelling. Doordat het toetsproces in de dagelijkse praktijk doorloopt, is het vaak moeilijk om toetsbeleid te ontwikkelen dat daarmee meebeweegt. Om de dynamiek van de dagelijkse toetspraktijk bij te kunnen houden, beschrijven we drie niveaus om met toetsbeleid aan de slag te gaan: op microniveau (op het niveau van een individuele toets van een individuele docent), op mesoniveau (de samenhang van de verschillende toetsen van een individuele docent) en op macroniveau (de samenhang op curriculumniveau). Het is niet verstandig om op alle drie de niveaus tegelijk aan de slag te gaan. Dat veroorzaakt verwarring en weerstand binnen de organisatie. Wij pleiten voor een aanpak die bottom-up is georganiseerd: Begin met het verbeteren van de kwaliteit van de individuele toetsen van de individuele docenten door hen toetstechnische kennis aan te reiken. U zult zien dat hiermee een verbetertraject wordt ingezet dat als vanzelf naar een steeds hoger niveau wordt uitgerold, totdat kan worden gesproken van een toetsbekwame organisatie. Dit betekent niet dat u achterover kunt leunen zodra u uw docenten hebt gefaciliteerd in het verwerven van toetstechnische kennis. In tegendeel, het is cruciaal dat het proces dat hieruit voortvloeit goed wordt gefaciliteerd en begeleid door degenen die het toetsbeleid daadwerkelijk ontwikkelen. Daarnaast is het essentieel dat het toetsbeleid parallel aan dit proces wordt ontwikkeld, zodat het steeds aan de praktijk kan worden getoetst en kan worden bijgesteld. Het ontwikkelen van toetsbeleid vereist brede en diepgaande toetstechnische én onderwijskundige kennis en tevens een goed inzicht in de eigen organisatie. Daarnaast moet de onderwijsvisie zijn doorleefd. Het is niet ongebruikelijk dat toetsbeleid wordt ontwikkeld door meer personen, elk vanuit hun eigen discipline. Het team bestaat minimaal uit een toetsdeskundige en iemand die de onderwijsinstelling of faculteit en de onderwijsvisie goed kent. De toetsdeskundige hoeft niet uit de eigen organisatie te komen. Een kenmerk van toetsdeskundigheid is dat deze inhouds- en niveau-onafhankelijk is. Het voordeel van een externe toetsdeskundige is dat deze geen (emotionele) binding heeft met de organisatie en dus meer onafhankelijk en objectief kan adviseren. In deze whitepaper beschrijven we wat zo n team van toetsbeleidsmakers kan doen om op alle niveaus te faciliteren en te begeleiden, zodat hun toetsbeleid een succes wordt.
2. Toetsbekwaamheid op microniveau Tot voor kort (2008) was tentamineren en examineren vooral het terrein van de docent, die naar eer en geweten tentamens en examens (hierna spreken we over toetsen, als we beide bedoelen) samenstelde en afnam. En dat ging jarenlang goed. Goed, omdat ze niet beter wisten. Want waar hebben docenten geleerd wat goede toetsen zijn en hoe die moeten worden ontwikkeld? Nergens. En nog steeds is het geen vak binnen lerarenopleidingen op enkele uitzonderingen na. Niet voor niets verscheen in 2009 het rapport Boekhouder of wakend oog van de Inspectie van het onderwijs, werd in 2010 de WHW (Wet op het hoger onderwijs en wetenschappelijk onderzoek) aangepast op het punt van kwaliteitsborging van examens en liet de Vereniging Hogescholen (toen nog de hbo raad) in 2012 de commissie Bruijn een rapport uitbrengen met aanbevelingen voor het verbeteren van de toetskwaliteit in het hbo. Aanleiding voor de rapporten en de aanpassing van de wet waren problemen die naar buiten kwamen met het niveau van verschillende opleidingen en met de kwaliteit van toetsen. Hadden Boekhouder of wakend oog en de WHW met name aandacht voor de examencommissie, Vreemde ogen dwingen van de commissie Bruijn richt zich nadrukkelijk op de toetsbekwaamheid van docenten en op het delen van kennis en ervaring tussen verschillende hogescholen door aan te bevelen gebruik te maken van elkaars toetsen. Daarnaast zijn verschillende hoger onderwijsinstellingen al enkele jaren geleden begonnen met het investeren in de toetsbekwaamheid van hun docenten. Door docenten toetstechnische kennis aan te reiken van de constructie van toetsen (gesloten vragen, open vragen en alle overige toetsvormen) wordt getracht de toetskwaliteit naar een hoger plan te tillen. Het past nog steeds bij de rol van de docent dat hij zijn studenten de maat neemt. Hij is immers inhoudelijk en didactisch deskundig, kortom vakbekwaam. We hebben alleen ontdekt dat hij ook toetstechnisch bekwaam moet worden, en dat een georganiseerde aanpak een kaderscheppende voorwaarde blijkt te zijn. Bij het professionaliseren van docenten op het gebied van toetskwaliteit, ontstaat als het ware een gemeenschappelijke toetstaal. Docenten gaan denken in termen van toetsmatrijzen, toetstermen, taxonomieniveaus, validiteit, betrouwbaarheid, constructievoorschriften, beoordelingscriteria et cetera. Daarmee wordt een verandering in gang gezet. Docenten gaan hun eigen toetsen door een hele andere bril bekijken. Ze zien waar verbeteringen nodig zijn en willen daar zelf wat aan doen. Ze worden van onbewust onbekwaam, bewust onbekwaam. Zorg ervoor dat docenten niet bewust onbekwaam blijven. Laat het daarom niet bij het organiseren van een enkele scholingsdag of het aanschaffen van een boek over toetsontwikkeling, maar zorg ervoor dat er daarna nog regelmatig intervisie plaatsvindt waarbij docenten elkaars toetsen kunnen bekijken en bespreken. Kies daarbij steeds een
(ander) specifiek thema waarop wordt ingezoomd, zodat de toetstechnische kennis op peil wordt gehouden. Maak ook afspraken met docenten over peer review voordat een toets wordt afgenomen, zodat ook op het niveau van de individuele toetsen de kwaliteit wordt geborgd en kwaliteitscontrole onderdeel wordt van het dagelijks werk. 3. Toetsbekwaamheid op mesoniveau De volgende stap op weg naar toetsbekwaamheid op instellingsniveau is de samenhang tussen toetsen. Docenten zullen merken dat goede toetsen ontwikkelen tijd kost. Met hun overvolle agenda zullen zij zich al snel gaan afvragen of al die (deel)toetsen die zij afnemen wel nodig zijn. Begeleid docenten in hun zoektocht naar de juiste balans tussen efficiënt toetsen en effectief toetsen. Het is niet wenselijk om te veel aparte toetsen te hebben en toetsen die veel ontwikkel-, afname- en beoordeeltijd vergen. Gezamenlijk toetsen (opleidings-, faculteits- of instellingsoverstijgend) en digitaal toetsen behoren dan tot de mogelijkheden. Ook het terugdringen van het aantal deeltoetsen binnen een onderwijseenheid zal als idee opborrelen bij docenten, die willen investeren in de kwaliteit van hun toetsen maar tegelijkertijd ook merken hoeveel tijd het maken van een goede toets kost. Het schrappen van deeltoetsen met beperkte toegevoegde waarde kan dan een goede oplossing zijn. De optie om van meer deeltoetsen over te stappen op één eindtoets moet echter met de nodige voorzichtigheid worden afgewogen. We zien in alle onderwijssectoren dat men steeds meer terugkomt van toetsing met één integratieve eindtoets, en weer meer neigt naar een methodemix van bijvoorbeeld kennistoetsen, praktijktoetsen en/of portfoliobewijzen. Een toets blijft immers een momentopname en het is toetstechnisch wenselijk om op meer momenten te toetsen en dat te doen met verschillende toetsvormen. Bovendien moet ook rekening worden gehouden met de verschillende functies die een toets kan hebben. Toetsen hebben namelijk niet alleen een summatieve functie (tentamens en examens). Toetsen hebben ook als doel om te bekijken hoe ver studenten zijn in hun ontwikkeling (welke onderwerpen beheersen ze goed, welke minder goed en zelfs slecht), zodat de docent én de student hun doceren en leren beter kunnen richten (de formatieve functie). Daarnaast weet iedereen die ooit zelf student is geweest, dat een formatieve toets ook gewoon een stok achter de deur is om te leren. Studenten leren nu eenmaal bij voorkeur wat wordt getoetst en niet meer dan dat. Toetsen met verschillende doelen (summatief en formatief), meer toetsmomenten en verschillende toetsvormen worden bewust vervlochten met het leren. Dit is meer een didactisch proces dan een toetstechnisch proces. Ondersteun docenten in dit proces en probeer keuzes te formaliseren door vast te leggen dat bij een onderwijseenheid van 5 EC s
bijvoorbeeld twee summatieve deeltoetsen, één summatieve eindtoets en minimaal twee formatieve toetsen worden afgenomen. Op deze manier beginnen dan binnen het curriculum langzaamaan de contouren te ontstaan van een toetsprogramma. 4. Toetsbekwaamheid op macroniveau Als vanuit het curriculumdenken is vastgesteld dat bijvoorbeeld voor een onderwijseenheid twee summatieve deeltoetsen en een summatieve eindtoets van toepassing zijn, dan is vervolgens de vraag of een onvoldoende op één van de deeltoetsen mag worden gecompenseerd met de andere summatieve deeltoets, en hoeveel keer mag worden herkanst. Ook moet ergens vastliggen dat als een docent of een aantal docenten met elkaar een toets heeft/hebben ontwikkeld, wie de vragen in de toets dan formeel vastlegt (toetstechnisch goedkeurt). En hoeveel procent van de toetsen door een examencommissie wordt beoordeeld, al dan niet vooraf of achteraf op basis van een statistische analyse. Dit soort vraagstukken liggen niet meer op docentniveau, maar op facultair niveau en soms ook op instellingsniveau. Sturing van bovenaf is hierbij dan ook een vereiste. Tevens wordt duidelijk dat voor het ontwikkelen, vaststellen, afnemen en borgen van de kwaliteit procedures, planningen en dergelijke nodig zijn. Voor toetsen met gesloten en open vragen moet worden afgewogen of digitaal toetsen een oplossing kan zijn, en of dat centraal en grootschalig moet worden georganiseerd op instellingsniveau of dat faculteiten daar zelf leidend in zijn. Er dient dus aandacht te zijn voor een toetsorganisatie die zich op verschillende hiërarchische niveaus bevindt. Omdat ook uitgangspunten moeten worden vastgelegd d ie passen bij de onderwijsvisie in relatie tot de toetsfunctie, en keuzes moeten worden gemaakt zoals hiervoor beschreven, ontstaan geleidelijk de kaders voor toetsbeleid. 5. Inhoud van het toetsbeleid Toetsbeleid gaat verder dan wat in de OER (Onderwijs en Examenregeling) over toetsen staat. De OER is meer gericht op de procedures rond toetsen en minder op toetskwaliteit. Daarnaast is de OER gericht op tentaminering en examinering en niet op de formatieve functie van toetsen. Toetsbeleid diept juist de onder wijskundige, inhoudelijke, toetstechnische en organisatorische kant van toetsen uit. Het maakt uit of toetsbeleid op instellingsniveau wordt ontwikkeld of alleen op facultair niveau of nog lager alleen op opleidingsniveau. De keuze hiervoor heeft te maken met de aard van de organisatie en de autonomie die bijvoorbeeld faculteiten van oudsher hebben. Gelet op voorbeelden uit het verleden waarbij een hogeschool ongeveer dertig procent van haar studenten verloor door negatieve media-aandacht voor het niveau van het
afstudeerwerk, ligt het voor de hand dat een onderwijsinstelling niet zonder een toetsbeleid op instellingsniveau kan. Overigens heeft een onvoldoende niveau van een opleiding niet alleen betrekking op de toetsfunctie, maar ook op het curriculum en de organisatie rondom de opleiding. Maar een goed ontwikkelde toetsfunctie had een onvoldoende niveau van de opleiding wel kunnen en ook moeten voorkomen. Hoe lager het niveau in de organisatie waarop toetsbeleid wordt ontwikkeld (instellings-, facultair- en/of opleidingsniveau), hoe concreter en toetstechnischer het toetsbeleid wordt. Toetsbeleid is altijd maatwerk. Niet alleen qua niveau, maar ook qua aansluiting bij de organisatie. Denk alleen maar aan de visie op leren. Toch zijn er wel onderwerpen die altijd moeten voorkomen in een toetsbeleid. We noemen de belangrijkste: uitgangspunten voor toetsbeleid; niveau van het toetsbeleid; onderwijsvisie en -missie; integratie van toetsen en leren (via het curriculum); organisatorische aspecten: ontwikkelen en vaststellen; afnemen; beoordelen; examenbureau. toetstechnische aspecten; digitaal toetsen; professionalisering van ontwikkelaars, vaststellers, beoordelaars (examinatoren) en leden van de examencommissie; borging van toetskwaliteit. Afhankelijk van het niveau en de mate van detaillering beslaat een toetsbeleidsplan enkele tot tientallen pagina s. De inhoud van een toetsbeleid is voor de betrokkenen niet vrijblijvend. Toetsbeleid is niet iets dat eenmalig wordt ontwikkeld. Het ontwikkelt zich in de loop der jaren en beweegt als het ware mee met de toenemende toetsbekwaamheid van de medewerkers en de organisatie. Zo n proces kan al gauw een jaar of vijf duren. En dat is nog best snel weten we uit ervaring. Deze whitepaper is geschreven door Harry Molkenboer en Ashra Sugito, Teelen Kennismanagement. Gelieve alleen informatie uit deze whitepaper over te nemen na overleg met één van hen.