1 / 6 Notitie project De Toetsing Getoetst Van: Tamara van Schilt-Mol (associate lector Toetsen en Beoordelen, Kenniscentrum Kwaliteit van Leren), Annemieke Peeters en Linda Jakobs (Service Unit Onderwijs en Onderzoek) Aan: Deelnemers aan de werkconferentie De Toetsing Getoetst en geïnteresseerden in de methodiek De Toetsing Getoetst Betreft: Beknopt projectvoorstel voor de pilot De Toetsing Getoetst', een methodiek voor analyse, verbetering en borging van de kwaliteit van toetsing Datum: 25 maart 2014 Inleiding De afgelopen jaren is de kwaliteit van toetsing in het hoger onderwijs aan een kritisch oog onderworpen. De behoefte aan hogere toetskwaliteit is inmiddels omgezet in een aantal concrete acties. Zo is in september 2010 de wet Versterking Besturing in werking getreden. Ook is het nieuwe accreditatiestelsel in januari 2011 in werking getreden waarbij Toetsing en gerealiseerde eindkwalificaties als aparte standaard is opgenomen. Daarnaast is het rapport Vreemde ogen gepubliceerd onder leiding van commissie Bruijn. Deze commissie heeft een aantal adviezen geformuleerd over de externe validering van de kwaliteit van toetsen. Ondanks de vele plannen en acties zijn er ook veel vragen: Wat betekent kwaliteit van toetsing? Wanneer is het systeem van toetsing adequaat? Hoe goed is ons systeem van toetsen? Waar liggen verbeterpunten? Hoe houden we eigenaarschap over ons systeem van kwaliteitszorg? Om een antwoord te kunnen geven op deze vragen is in 2011 door de Faculteit Educatie en SU O&O het initiatief genomen om een methodiek te ontwikkelen waarmee betrokkenen in het hoger onderwijs (management, examencommissies, ontwikkelaars, docenten, studenten en werkveld) de kwaliteit van toetsing kunnen analyseren, verbeteren en borgen. Op basis van wetenschappelijke en praktische bevindingen over toetskwaliteit en analysemodellen voor kwaliteit is door het Kenniscentrum Kwaliteit van Leren en de SU O&O gewerkt aan een prototype van de methodiek. Kwaliteit van toetsing is in de methodiek geoperationaliseerd aan de hand van de kwaliteitspiramide van toetsen en beoordelen. Binnen iedere piramidelaag (toetsbeleid, toetsprogramma, toetsen, toetstaken, toetsorganisatie en toetsbekwaamheid) zijn vijf fasen van kwaliteit onderscheiden en beschreven. Daarbij wordt per fase van kwaliteit een onderscheid gemaakt naar de elementen ontwerp, criteria en borging. Uitgangspunt bij de beschrijving van de fasen van kwaliteit is het AISHE-model, waarbij een ontwikkeling van activiteiten-georiënteerd naar maatschappij-georiënteerd handelen centraal staat. De methodiek biedt opleidingen de mogelijkheid om, vanuit eigen verantwoordelijkheid van opleidingsteams, te werken aan een gegarandeerde basiskwaliteit die voortdurend wordt gemeten. De methodiek voorziet namelijk in een cyclisch proces waarin de kwaliteit van het toetsbeleid, het toetsprogramma, toetsen/toetsitems, de toetsorganisatie en de toetsbekwaamheid voortdurend centraal staan. De methodiek geeft opleidingen daarmee de mogelijkheid kwaliteit van toetsing vanuit een breed perspectief te beoordelen en verbeteren, de borging verder vorm te geven, toetsexpertise te vergroten en zich gericht voor te bereiden op accreditaties en interne audits. Vervolg vaststellen van de validiteit, betrouwbaarheid en bruikbaarheid van de methodiek Nu de ontwikkeling van het prototype is afgerond vinden gelijktijdig een aantal activiteiten plaats. Op de eerste plaats wordt momenteel, onder redactie van Dominique Sluijsmans (in 2011 betrokken bij de ontwikkeling van de methodiek), Desirée Joosten (ontwikkelaar van de kwaliteitspiramide van toetsing, die als uitgangspunt gehanteerd is bij de ontwikkeling van de methodiek) en Tamara van Schilt-Mol (als associate lector toetsen en beoordelen verantwoordelijk voor het onderzoek naar de validiteit, betrouwbaarheid en bruikbaarheid van de methodiek) een boek geschreven over kwaliteit van toetsing en de wijze waarop de methodiek bij kan dragen aan de monitoring en verbetering van 1
2 / 6 deze kwaliteit. Dit boek, dat uitgegeven zal worden bij Garant, en dat behalve bijdragen van de redactie ook bijdragen bevat van Annemieke Peeters en Linda Jakobs (initiatiefnemers voor de ontwikkeling van de methodiek), Liesbeth Baartman, Cees van der Vleuten, Silvester Draaijer, Veronica Bruijns, Marianne Kok, Paul van Deursen, Els van Zijl en Antoinette van Berkel, verschijnt naar verwachting in het najaar van 2014. Op de tweede plaats vinden de voorbereidingen plaats voor een pilot die zal starten in studiejaar 2014-2015 en die als doel heeft de validiteit, betrouwbaarheid en bruikbaarheid van het instrument vast te stellen. Idealiter worden verschillende opleidingen van verschillende hogescholen betrokken bij deze pilot. Op deze manier wordt zowel nagegaan of het instrument aansluit bij de behoeften vanuit het veld als onderzocht of de methodiek breed bruikbaar en inzetbaar is. Hoewel het opleidingen uiteraard vrij staat om met behulp van de nog te verschijnen publicatie zelf aan de slag te gaan met de methodiek, biedt deelname aan de pilot opleidingen de mogelijkheid om, onder begeleiding van toetsexperts uit het lectoraat Toetsen en Beoordelen en de Service Unit Onderwijs & Onderzoek, een betekenisvolle dialoog over de kwaliteit van toetsing in gang te zetten. De toetsexperts begeleiden zowel de consensusgesprekken waarin de analyse van de huidige kwaliteit van toetsing plaatsvindt, als de gesprekken waarin de gezamenlijke ambitie wordt vastgesteld ten aanzien van de gewenste mate van kwaliteit op de onderdelen toetsbeleid, toetsprogramma, toetsen, toetstaken, toetsorganisatie en toetsbekwaamheid. Hierbij vindt tevens coaching plaats van de personen uit de opleiding die na afronding van de pilot de positie- en ambitiebepalingsgesprekken zullen gaan leiden. Desgewenst kunnen de experts ook ondersteunen bij het schrijven van plannen van aanpak om de benoemde ambities te bereiken en het uitvoeren van de in deze plannen uitgewerkte activiteiten. De pilot bereikt hiermee gelijktijdig drie doelen: op de eerst plaats wordt binnen de deelnemende opleidingen een dialoog gestart over de kwaliteit van toetsing waardoor een verbetering van deze kwaliteit tot stand gebracht wordt, op de tweede plaats vindt implementatie plaats van de methodiek in de pdca-cyclus die binnen de opleiding wordt gehanteerd (waarbij aandacht is voor het (leren) leiden van consensusbijeenkomsten) en op de derde plaats wordt de methodiek gevalideerd. In deze notitie wordt beknopt beschreven op welke wijze een gelijktijdige implementatie en validatie vormgegeven wordt en welke tijdsinvestering dit van deelnemende opleidingen vraagt. Opzet project algemeen Het project bestaat uit 6 stappen, de uitvoering hiervan start in studiejaar 2014-2015. Deze stappen zijn: 0. Voorbereiding 1. Analyseren kwaliteit van toetsing 2. Vaststellen ambitie en doelen 3. Uitwerken doelen en activiteiten 4. Uitvoeren en monitoren van activiteiten 5. Analyseren van verbeterde kwaliteit van toetsing Stap 0 wordt uitsluitend uitgevoerd in het implementatiejaar. De stappen 1 en 2 worden in het implementatiejaar direct hierna uitgevoerd. In het tweede jaar worden deze stappen bij voorkeur uitgevoerd in de maanden voorafgaand aan een nieuw studiejaar, zodat bij de bestaffing voor het nieuwe studiejaar rekening gehouden kan worden met de uitvoering van de stappen 3, 4 en 5. Gezien het cyclisch proces van de methodiek is stap 5 tevens stap 1 in een nieuwe kwaliteitscyclus.
3 / 6 Voorbereiding analyseren (verbetering) kwaliteit van toetsing uitvoeren en monitoren activiteiten kwaliteitscyclus analyse, verbetering en borging toetsing vaststellen ambitie en doelen uitwerken doelen en activiteiten De kwaliteitscyclus van De Toetsing Getoetst: analyse, verbetering en borging van de kwaliteit van toetsing In deze beknopte projectbeschrijving zijn alle stappen hieronder kort beschreven. Opgemerkt moet worden dat in de begroting en planning uitsluitend stap 0, 1 en 2 zijn opgenomen. Immers, de exacte invulling van stap 3, 4 en 5 en daarmee ook de planning en begroting is afhankelijk van de opbrengsten van stap 1 en 2. Ten aanzien van de activiteiten die uitgevoerd zullen gaan worden in stap 4 kan op voorhand worden opgemerkt dat dit hoogstwaarschijnlijk voor een groot deel activiteiten betreft die reeds uitgevoerd zouden gaan worden. Zo kunnen bijvoorbeeld reeds gestarte verbetertrajecten een plaats krijgen binnen de systematiek van De Toetsing Getoetst en kunnen verbetertrajecten die gestart zouden gaan worden (zoals bijvoorbeeld een curriculumherziening of professionalisering op het gebied van toetsing) gekoppeld worden aan De Toetsing Getoetst zodat structureel, systematisch en cyclisch gewerkt wordt aan de totale kwaliteit van toetsing. 0. Voorbereiding: Tijdens de voorbereiding wordt vastgesteld welke personen betrokken worden bij het vaststellen van de kwaliteit van toetsing. Per opleiding nemen maximaal 14 afgevaardigden deel van ten minste de volgende (of vergelijkbare) gremia: de examencommissie, de toetscommissie, de opleidingscommissie, het MT, netwerk toetsing, in- en externe examinatoren en docenten. In een eerste bijeenkomst met alle deelnemers staat de vraag centraal of de methodiek door de deelnemers wordt begrepen zoals bedoeld. Hierbij staan de invulling van de fasen van kwaliteit in de verschillende lagen en onderliggende elementen en het gebruik van de methodiek centraal. Bij de vaststelling van de invulling van de fasen van kwaliteit wordt aangesloten bij de context van de deelnemende opleiding(en). Stap 0 resulteert onder meer in de volgende opbrengsten: Gelijke beelden over invulling van het begrip kwaliteit op de lagen van de kwaliteitspiramide; Inzicht in welke personen (per piramidelaag) moeten worden betrokken bij stap 1. De uitvoering van stap 0 vindt plaats in de eerste maand na de start van het project. 1. Analyseren kwaliteit van toetsing: In de eerste stap wordt door individuele deelnemers aan de hand van de methodiek gescoord wat de huidige fase van de mate van kwaliteit is 3
4 / 6 van de zes lagen en de onderliggende drie elementen. Zij verwijzen hierbij naar bijvoorbeeld gehanteerde werkwijzen, documentatie, ervaring, reeds ingezette verbetertrajecten etc.. Vervolgens wordt in twee consensusbijeenkomsten onder leiding van de gespreksleider (de moderator), en op basis van de individuele scores, per laag en element een door alle deelnemers onderschreven oordeel geformuleerd over de huidige fase van kwaliteit. Aan deze stap nemen vanuit de opleiding maximaal 10 personen deel, de samenstelling hiervan kan wisselen per consensusbijeenkomst (afhankelijk van de te bespreken lagen van de piramide). Stap 1 resulteert onder meer in de volgende opbrengsten: Consensus over de huidige mate van kwaliteit per laag en element; Beknopte rapportage waarin de mate van kwaliteit per laag en element is verantwoord. De uitvoering van stap 1 vindt plaats in de tweede maand na de start van het project. 2. Vaststellen ambitie en doelen: Vervolgens wordt met de deelnemers op basis van de in de eerste stap vastgestelde huidige fase van kwaliteit van toetsing een gezamenlijk gedragen beschrijving ontwikkeld van de gewenste fasen van kwaliteit per piramidelaag. Aan deze stap nemen dezelfde personen deel als aan stap 1. Deze vastgestelde gewenste fasen van kwaliteit per piramidelaag dienen als uitgangspunt bij het opstellen van doelen om van de huidige mate van kwaliteit te komen tot de gewenste mate van kwaliteit. Tot slot wordt binnen deze stap vastgesteld welke doelen prioriteit hebben. Stap 2 resulteert onder meer in de volgende opbrengsten: Consensus over de ambitie ten aanzien van de mate van kwaliteit per laag en element en de doelen die hiertoe gesteld moeten worden; Consensus over de prioritering van de doelen; Rapportage waarin ambities en geprioriteerde doelen ten aanzien van de mate van kwaliteit beschreven worden; Verdere aanscherping van het gebruik van de methodiek in het kwaliteitszorgsysteem. De uitvoering van stap 2 vindt plaats in de derde maand na de start van het project. 3. Vaststellen en prioriteren verbeterstappen: Op basis van de in stap 2 benoemde en geprioriteerde doelen worden verbeteracties geformuleerd en plannen van aanpak geschreven. Waar mogelijk wordt hierbij zo veel mogelijk aangesloten bij reeds gehanteerde werkwijzen, documenten, ervaring, etc.. De verbeterplannen worden gepresenteerd aan de examencommissie. Stap 3 resulteert onder meer in de volgende opbrengsten: Plan(nen) van aanpak met daarin aandacht voor alle lagen van de kwaliteitspiramide. De planning van activiteiten die uitgevoerd worden binnen deze stap is afhankelijk van de opbrengsten van stap 1 en 2. 4. Uitvoeren en monitoren verbeterstappen: In stap 4 worden de geprioriteerde verbeteracties uitgevoerd. De examencommissies monitoren de uitvoering van deze verbeteracties en sturen waar nodig bij. Zowel de exacte invulling van deze stap als het bepalen van de uitvoerders is in grote mate afhankelijk van de opbrengsten van stappen 1 tot en met 3. Stap 4 resulteert onder meer in de volgende opbrengsten: Uitvoering van in stap 3 geprioriteerde verbeteracties; Monitoring door examencommissie. De planning van activiteiten die uitgevoerd worden binnen deze stap is afhankelijk van de opbrengsten van stap 1 en 2. 5. Analyseren (verbetering) kwaliteit van toetsing: In de laatste stap wordt vastgesteld wat het (tussentijdse) effect is van de uitvoering van de verbeteracties. Hiertoe wordt weder-
5 / 6 om gescoord wat de (dan) huidige fase van de mate van kwaliteit is van de vijf lagen en de onderliggende drie elementen,en hoe deze zich verhoudt tot de gestelde ambities (eerst individueel en daarna in twee consensusbijeenkomsten). Net als in stap 1 nemen vanuit de opleiding maximaal 10 personen deel. Stap 5 resulteert onder meer in de volgende opbrengsten: Per laag en per element consensus over de mate van kwaliteit (na uitvoering verbeterplannen) en de mate waarin ambities zijn bereikt; Rapportage over de opbrengsten van het doorlopen van de eerste cyclus van de methodiek; Input voor een later te organiseren bijeenkomst voor het vaststellen van nieuwe ambities. De planning van activiteiten die uitgevoerd worden binnen deze stap is afhankelijk van de opbrengsten van stap 1 en 2. Deelname Aan de implementatie van De Toetsing Getoetst neemt een kernteam van 14 personen deel, daarnaast wordt 1 ondersteuner betrokken voor de praktische organisatie van de verschillende bijeenkomsten. Dit kernteam bestaat idealiter uit 1 of 2 leden van het examencommissie, een vertegenwoordiging van de toetscommissie, het MT, de opleidingscommissies en (in- en externe) examinatoren, afgevaardigden uit het werkveld, een kwaliteitszorgmedewerker, en eventueel een vertegenwoordiger namens de studenten. Hierbij kan een persoon uiteraard vanuit meerdere functies deelnemen aan het kernteam. Ieder lid van het kernteam heeft specifieke kennis over de stand van zaken van ten minste één piramidelaag, per piramidelaag zijn ten minste vijf personen deskundig over deze betreffende laag. Planning, tijdsinvestering en kosten externe inzet Ten aanzien van de planning en tijdsinvestering zijn de volgende uitgangspunten gehanteerd: De uitvoering start in studiejaar 2014-2015. Uiteraard geldt voor een eventueel vervolgtraject dat de uitvoering van de stappen van de methodiek idealiter parallel loopt aan de beleidsmatige cyclus binnen de opleiding. In deze offerte zijn uitsluitend stap 0 en stap 1 en 2 uitgewerkt en opgenomen in de begroting. De exacte invulling van stap 3, 4 en 5 en daarmee ook de planning en begroting is immers afhankelijk van de opbrengsten van stap 1 en 2. Deelnemende opleidingen zijn uiteraard niet verplicht na uitvoering van stap 0, 1 en 2 ook stap 3 en 4 uit te voeren. Indien opleidingen besluiten na de positie- en ambitiebepaling (respectievelijk stap 1 en 2) niet te participeren in het vervolg van de pilot, zal deze opleidingen gevraagd worden om circa 10 maanden na afronding van stap 2 deel te nemen aan een groepsinterview waarin gesproken zal worden over de effecten die deelname aan stap 1 en 2 heeft gehad op de kwaliteit van toetsing binnen de opleiding. Bij de begroting is in onderstaande tabel uitgegaan van een kernteam van 14 personen waarvan steeds 8 personen (in wisselende samenstelling) deelnemen aan de consensusbijeenkomsten. Indien het kernteam bestaat uit minder personen (bijvoorbeeld bij kleine opleidingen) is de tijdsinvestering in uren voor de opleiding uiteraard lager, indien aan iedere consensusbijeenkomst meer dan 8 personen deelnemen uiteraard iets hoger. Begeleiding van de consensusbijeenkomsten wordt uitgevoerd door de toetsexperts van het lectoraat Toetsen en Beoordelen en de Service Unit Onderwijs & Onderzoek. Rapportage van de consensusbijeenkomsten is in onderstaande tabel begroot als activiteit die uitgevoerd wordt door de toetsexperts, uiteraard kan deze activiteit ook uitgevoerd worden door betrokkenen van de opleiding. De methodiek Toetsing Getoetst is, zoals beschreven in de inleiding, een prototype. Dat betekent dat er, naast implementatie van de methodiek, ook onderzoeksmatige activiteiten uitgevoerd dienen te worden om de validiteit en bruikbaarheid van de methodiek vast 5
Studiejaar 2014-2015 6 / 6 te stellen. Deze zijn opgenomen in stap 2. Voor de onderzoeksmatige activiteiten geldt dat deze uitgevoerd worden door het lectoraat Toetsen en Beoordelen (Hogeschool Arnhem en Nijmegen), de Service Unit Onderwijs & Onderzoek (Hogeschool van Arnhem en Nijmegen) en het lectoraat Professioneel Beoordelen (Zuyd Hogeschool). Totale planning en begroting Stappen Planning Uren in te zetten vanuit de oplei- In te zetten én te bekostigen externe uren uren euro s Stap 0 Maand 1 38 10 1.250 Stap 1 Maand 2 95 36 4.500 Stap 2 Maand 3 53* 30 3.750 Stap 3 Maand 4 Nvt Nvt Nvt Stap 4 Maand 5-9 Nvt Nvt Nvt Stap 5 / 1 Maand 10 Nvt Nvt Nvt Totaal implementatietraject in 186 uur** 76 9.500 uren en euro s * inclusief 5 uur deelname aan focusgroep interview ** te verdelen over 15 personen (14 kernteamleden en 1 ondersteuner); dit is gemiddeld 12,4 uur per persoon uit te voeren in 3 maanden. Informatie en aanmelden Mocht u meer informatie willen over de totstandkoming van de methodiek De Toetsing Getoetst, dan verwijzen wij u graag naar het artikel dat hierover is verschenen in OnderwijsInnovatie (http://bit.ly/qf1dmy). Mocht u meer informatie willen over deelname aan de pilot of direct een opleiding aan willen melden, dan kunt u hiervoor contact opnemen met Tamara van Schilt-Mol, projectleider van de pilot De Toetsing Getoetst (tamara.vanschiltmol@han.nl en/of 06-10 96 16 15).