Handreiking opstellen beleid voor digitaal toetsen v0.7

Transcriptie

1 Handreiking opstellen beleid voor digitaal toetsen v0.7 7 december 2015 Inleiding Steeds meer hogeronderwijsinstellingen zetten digitaal toetsen op de agenda of zijn daar al enige tijd mee bezig. SURF krijgt regelmatig vragen van instellingen over het opzetten van digitaaltoetsbeleid. Deze handreiking is bedoeld om instellingen te ondersteunen in hun eigen proces van het ontwikkelen van digitaaltoetsbeleid. Dit document bestaat uit een toelichting en een schrijfhulp voor het vormgeven van digitaaltoetsbeleid. De schrijfhulp biedt handvatten om de inhoud van het digitaaltoetsbeleid te schrijven aan de hand van hulpvragen, en het bevatverwijzingen naar achtergrondinformatie en voorbeelden. Verantwoording Deze handreiking is gerealiseerd samen met de Denktank digitaaltoetsbeleid. De deelnemers zijn afkomstig van verschillende hogescholen en universiteiten en hebben meegeschreven vanuit hun expertise en praktijkervaring met het ontwikkelen van digitaaltoetsbeleid. Deelnemers denktank digitaaltoetsbeleid : Karin van Bakel (De Haagse Hogeschool) Joost Dijkstra (Universiteit Maastricht) Michiel van Geloven (SURFnet) Wil de Groot-Bolluijt (Hogeschool Rotterdam en SIG digitaal toetsen) Vincent Kalis (Tilburg University) Gert-Jan Los (Stenden) Ludo van Meeuwen (Technische Universiteit Eindhoven) Annette Peet (SURFnet) Carmen Ros Parra (Hogeschool Utrecht) Chris Rouwenhorst (Universiteit Twente) Marie-Christine Sprengers (NHL Hogeschool) Handreiking digitaaltoetsbeleid concept 5 1/21

2 1. Deel 1 Vragen vooraf Dit deel helpt bij de gedachtenvorming over de vraag waarom digitaaltoetsbeleid nodig is, hoe het zich verhoudt tot ander beleid, wie je nodig hebt, etc. Waarom digitaaltoetsbeleid? Toetsing is een bedrijfskritisch proces: het is van belang voor zowel kwaliteitszorg als de borging van het niveau van studenten. Een structurele invoering van digitaal toetsen is een verandering van betekenis: het verandert verschillende werkprocessen. Daarnaast gaat het om een substantiële investering en treedt een verschuiving op in de exploitatiekosten (zie: whitepaper Businesscase van digitaal toetsen ). Digitaaltoetsbeleid in relatie tot toetsbeleid De eerste vraag die je kunt stellen is: moet digitaaltoetsbeleid in een apart beleidsdocument opgenomen worden? Digitaaltoetsbeleid is immers een verbijzondering van toetsbeleid en zou als zodanig onderdeel kunnen uitmaken van het gewone toetsbeleid. Op het moment dat het algemene toetsbeleid herzien wordt, lijkt het logisch digitaal toetsen hierin te integreren. Als het toetsbeleid reeds is vastgesteld voor een aantal jaren, dan is het opnemen van de digitale component in een addendum een oplossing tot een nieuw toetsbeleid wordt opgesteld. Wie betrekken? Digitaal toetsen is een multidiscplinair terrein. Daarom is het verstandig bij het ontwikkelen van digitaaltoetsbeleid tijd in te ruimen om de verschillende actoren en belanghebbenden te betrekken: College van Bestuur management: faculteits-/academie-/school-directeuren, opleidingsmanagers/-directeuren 1 examencommissies examinatoren docenten studenten toetsbureau, academie/faculteitsbureau, onderwijsbureau ICT-afdeling onderwijskundigen en toetsdeskundigen informatiemanagement (o.a. security en architectuur) bureau planning&control Daarnaast kunnen de wensen met betrekking tot digitaal toetsen sterk verschillen per domein. Zo is er bijvoorbeeld binnen de beta-vakken behoefte aan een toetsprogramma dat wiskundige formules ondersteunt en in de humaniora veel meer behoefte aan software die het beoordelen van teksten ondersteunt. Een goede aanpak is hierbij, dat één persoon (vaak een beleidsadviseur) de lead neemt in het proces en de dialoog met de betrokkenen organiseert. Dit proces wordt gemakkelijker als er een duidelijke opdrachtgever is dat met voldoende mandaat heeft. Omdat toetsen zich in het hart van het primaire proces bevindt, is een vertegenwoordiger vanuit het onderwijs een goede keuze als opdrachtgever (bijv. een faculteits- of academiedirecteur). 1 de benamingen van deze functies verschillen per instelling Handreiking digitaaltoetsbeleid concept 5 2/21

3 Hoe verandert digitalisering het toetsen? Digitaal toetsen raakt de gehele toetsketen. Sommige stappen in de keten worden explicieter geraakt dan andere, afhankelijk van de keuzes die een instelling maakt. 1. Bij het ontwerp van de toets wordt de aansluiting op het curriculum en het onderwijsconcept geborgd en vastgelegd in de toetsmatrijs. Dit kan desgewenst gebeuren in toetssoftware. Beleidsmatig kan het een keuze zijn om al in de basis de toetskwaliteit te willen borgen en daarvoor een passend instrumentarium in te zetten. 2. De constructie van de toets gaat over het opstellen van de toetsvragen. Als dit in toetssoftware gebeurt, kan er een workflow worden ingericht waarmee de kwaliteitsborging wordt geregeld en vastgelegd (bijv. het vier-ogenprincipe). Consequente toepassing van een dergelijke aanpak leidt tot het ontstaan van een itembank. Het ontwikkelen van items en itembanken kan ook in samenwerking met andere opleidingen of instellingen gebeuren. De keuze voor itembanken vereist de beschikbaarheid van toetssoftware waarvan de invoering en keuze al snel om beleid vraagt. 3. De toetsafname is bij digitaal toetsen echt een ander proces: in plaats van een werkstroom via de repro en met enveloppen die door surveillanten worden verspreid en weer terugkomen, is er een goede planning en roostering en beveiliging nodig voor digitale afname. De logistiek daaromheen vraagt om zorgvuldig beleid. 4. Het nakijkproces wordt bij digitaal toetsen ook anders: meerkeuzevragen worden automatisch en direct nagekeken, essayvragen kunnen digitaal worden gedistribueerd naar verschillende docenten en de correctie ervan wordt gemakkelijker door een betere leesbaarheid. Dit kan impact hebben op de taakbelasting van docenten en daarmee een onderwerp op de beleidsagenda worden. 5. De toetsanalyse wijkt inhoudelijk niet wezenlijk af van de analyse van gescande schrapkaarten, maar kan meestal met een druk op de knop worden gerealiseerd. In veel toetssoftware is de analyse geïntegreerd, waardoor de analyses nog gemakkelijker te maken zijn en de resultaten eenvoudig kunnen worden toegevoegd aan de itembank 6. Het rapporteren omvat de inzage door studenten en het vaststellen en verstrekken van de cijfers. In beginsel heeft digitalisering van het toetsproces niet veel invloed op het beleid rondom toetsinzage. Een Handreiking digitaaltoetsbeleid concept 5 3/21

4 koppeling tussen het toetssysteem en het SIS kan wel meerwaarde bieden, omdat de toetsresultaten dan na analyse en verwerking tot cijfers geautomatiseerd in het SIS kunnen worden ingevoerd. 7. Toetsevaluatie wordt niet intrinsiek anders door digitalisering. Doordat er vaak meer analyseresultaten beschikbaar zijn, kan de evaluatie wel rijker zijn. Handreiking digitaaltoetsbeleid concept 5 4/21

5 2. Deel 2- Schrijfhulp digitaaltoetsbeleid Dit deel heeft de vorm van een schrijfhulp om aan de slag te gaan met digitaaltoetsbeleid. Als kapstok hebben we gekozen voor een mogelijke inhoudsopgave voor digitaaltoetsbeleid. Instellingen voor hoger onderwijs zullen gezien hun specifieke situatie, onderwijsvisie, -beleid en toetsbeleid op hun eigen manier invulling willen geven aan digitaaltoetsbeleid. De mogelijke inhoudsopgave is dus bedoeld als checklist waarin alle elementen zijn gedefinieerd die relevant zijn voor digitaaltoetsbeleid. Iedere paragraaf behandelt een element en biedt handvatten voor het schrijven door middel van hulpvragen en verwijzing naar bronnen. Handreiking digitaaltoetsbeleid concept 5 5/21

6 Mogelijke inhoudsopgave 1. INLEIDING 1.1. Aanleiding 1.2. Samenhang met ander beleid en regelgeving 1.3. Definitie van digitaal toetsen 1.4. Scope 1.5. Voor wie is dit document? 1.6. Status 2. VISIE 2.1. Waarom digitaal toetsen? 2.2. Wat wil de instelling bereiken met digitaal toetsen? 2.3. Business case 3. STRATEGIE 3.1. Aanpak 3.2. Doelen 3.3. Eigenaarschap digitaal toetsen 3.4. Samenwerking buiten de instelling 4. DESKUNDIGHEID 4.1. Doelgroepen 4.2. Doelstelling 4.3. Aanpak en verankering 5. ONDERWIJSKUNDIGE ASPECTEN 5.1. Formatief en summatief toetsen 5.2. Kwaliteit en kwaliteitsborging 5.3. Voorzieningen voor functiebeperkingen 6. INFRASTRUCTUUR 6.1. De keuze voor toetssoftware 6.2. De keuze voor hardware 6.3. Beveiliging en fraudepreventie 7. ORGANISATIE 7.1. Rollen en verantwoordelijkheden 7.2. Ondersteuningsinfrastructuur en dienstverlening kadertje met voorbeelden van nieuwe rollen ihkv dt 7.3. Regelgeving, reglementen en procedures 8. REALISATIE 8.1. Programma digitaal toetsen 8.2. Roadmap/fasering Handreiking digitaaltoetsbeleid concept 5 6/21

7 1. INLEIDING In dit hoofdstuk neem je de lezer mee in de aanleiding om een digitaaltoetsbeleid op te stellen. Je maakt duidelijk hoe het digitaaltoetsbeleid zich verhoudt tot andere beleidsdocumenten, maakt duidelijk wat er in dit document onder digitaal toetsen wordt verstaan, bakent de scope af en maakt duidelijk voor wie dit document is bedoeld. 1.1 Aanleiding De aanleiding om beleid voor digitaal toetsen op te stellen kan heel verschillend zijn. Het kan zijn dat je instelling vanaf nul wil beginnen om digitaal toetsen in te voeren, en dat het digitaaltoetsbeleid inzichtelijk maakt waarom en hoe dit vorm krijgt. Een andere reden kan zijn dat er in de instelling al veel gebeurt op het terrein van digitaal toetsen, maar nog weinig vanuit een visie en weinig gecoördineerd. Het digitaaltoetsbeleid kan er dan op gericht zijn om de organisatie en procedures op orde te krijgen. Of je instelling werkt al langere tijd met digitale toetsen en vindt het tijd voor een grondige vernieuwing. Dit zijn wat voorbeelden, uiteraard kan er in jouw instelling nog weer een andere aanleiding mogelijk zijn. Wat is de aanleiding dat jouw instelling beleid wil opstellen voor digitaal toetsen? Wat is de concrete opdracht die je hebt gekregen? Wie is de opdrachtgever en wie wordt de eigenaar van het digitaaltoetsbeleid? 1.2 Samenhang met ander beleid en regelgeving Digitaaltoetsbeleid hangt samen met of maakt onderdeel uit het algemene toetsbeleid in de instelling. Het is niet los te zien van onderwijsvisie en -beleid, uitvoeringsrichtlijnen en wet- en regelgeving rondom toetsen (zie onderstaande figuur); ook het informatiebeleid is invloed. In het kort komt dit erop neer, dat a) toetsbeleid moet aansluiten op de onderwijsvisie b) toetsbeleid complementair is aan het onderwijsbeleid c) wet- en regelgeving (zoals de WHW en de NVAO-standaarden) als gegeven geldt d) informatiebeleid uitspraken doet over eisen aan software, informatiebeveiliging, infrastructuur, etc. e) het toetsbeleid doorgaans geen operationele aanwijzingen bevat (bijv. surveillance-instructies en tentamenreglementen), die uiteraard wel nodig zijn Maak duidelijk hoe het digitaaltoetsbeleid aansluit op andere documenten van de instelling en verwijs daarnaar. Hoe verhoudt het digitaaltoetsbeleid zich tot het toetsbeleid van de instelling? Handreiking digitaaltoetsbeleid concept 5 7/21

8 Hoe verhoudt het digitaaltoetsbeleid en de onderwijsvisie en het onderwijsbeleid? Waar moet je rekening mee houden gegeven het informatiebeleid? 1.3 Definitie van digitaal toetsen Digitaal toetsen is een breed begrip, waar niet iedereen hetzelfde beeld bij heeft. Maak daarom duidelijk waarover je het hebt. Een voorbeeld van een definitie (afkomstig van TiU) is het vormgeven en ondersteunen van (het proces van) toetsen en beoordelen met behulp van informatie- en communicatietechnologie. Een dergelijke definitie maakt duidelijk dat er meer onder verstaan wordt dan alleen het digitaliserenof alleen digital afnemen van toetsen. Het kan hierbij dus ook bijvoorbeeld gaan om het toetsen van een praktijksituatie via een mobile device of om het digitaal beoordelen van een digitaal ingediend werkstuk. Welke definitie van digitaal toetsen hanteer je in dit document? Welke vormen van digitaal toetsen en beoordelen heb je voor ogen? 1.4 Scope Beleid voor digitaal toetsen kun je formuleren voor de hele instelling, voor een faculteit of zelfs voor een kleinere eenheid (bijv. een opleiding). Of het kan zijn dat de focus ligt op bacheloropleidingen en niet op de masters. Daarnaast is ook van belang om aan te geven hoe dit document bedoeld is. Is het een projectplan voor digitaal toetsen? Of is het juist bedoeld om kaders weer te geven voor digitaal toetsen? Tot slot kan het zinvol zijn aan te geven wat de verwachte periode is waarvoor het beleid geldt (3-4 jaar komt vaak voor). Op welk(e) organisatieonderde(e)l(en) richt dit plan zich? Op welke opleidingen/type opleidingen richt dit plan zich? Op welk tijdvak richt het beleid zich? 1.5 Voor wie is dit document? Maak helder voor wie dit beleidsdocument is geschreven. Wie moeten iets van dit document vinden? Wie moeten er straks mee aan de slag? Tot wie richt dit document zich? Van wie wordt welke (re)actie verwacht? 1.6 Status Geef hier aan hoe dit document tot stand is gekomen, wie het heeft vastgesteld en hoe het nu verder gaat. Wie is de opdrachtgever van dit document? Wie heeft het opgesteld? Welke personen en afdelingen zijn betrokken geweest bij de totstandkoming? Wie is verantwoordelijk voor de realisatie van dit beleid? Handreiking digitaaltoetsbeleid concept 5 8/21

9 2 VISIE In dit hoofdstuk geef je antwoord op de vraag waarom jouw instelling digitaal toetsen wil inzetten en wat de instelling daarmee wil bereiken. Deze visie kun je onderbouwen door een Business Case uit te werken. 2.1 Waarom digitaal toetsen? Beschrijf hier hoe de visie van de instelling op onderwijs zich vertaalt naar de inzet van de digitale component in toetsing. Bijvoorbeeld als in de visie op onderwijs staat dat studenten activerend onderwijs ontvangen, dan zou voor het digitaaltoetsbeleid een vertaalslag kunnen zijn dat er veel gebruik wordt gemaakt van digitale toetsvormen met een formatieve functie, peer-feedback en digitale porfolio's. Wat is binnen jouw instelling de visie op onderwijs? Wat is de visie op toetsen? Wat is de visie op blended learning en de bijdrage van digitale toetsing daaraan? Hoe kan digitaal toetsen bijdragen aan het verwezenlijken van deze visie? Welke bijdrage kan digitaal toetsen leveren aan de realisatie van de visie op onderwijs en toetsen? Thema-uitgave Toetsen in open en online onderwijs (SURF) Kansen voor hoger onderwijs: inzicht in effecten van digitaal toetsen a.d.h.v ervaringen in programma TTL (SURF) 2.2 Wat wil de instelling bereiken met digitaal toetsen? In deze paragraaf beschrijf je welke doelen de instelling wil realiseren met digitaal toetsen. Daarbij kun je een onderscheid maken in kwalitatieve en kwantitieve doelen. N.B. het gaat hier om meer globaal geformuleerde, lange termijn doelstellingen, nog niet om SMART geformuleerde doelstellingen (zie daarvoor hoofdstuk 3). Welke kwalitatieve doelen wil je behalen? Bijvoorbeeld: - het verhogen van toetskwaliteit - het verbeteren van het toetsproces - het versterken van feedback aan studenten - het borgen van rechtmatigheid - het verbeteren van aansluiting toetsing op onderwijs -... Welke kwantitatieve doelen wil je behalen? Bijvoorbeeld: - het verlagen van de werkdruk rond toetsafname - het verhogen van de efficiëntie van het toetsproces - het verbeteren van studiesucces - het verlagen van uitvalpercentage van studenten -... SURFmagazine-artikel, p.4: Samenwerken aan digitaal toetsen verhoogt de kwaliteit Kansen voor hoger onderwijs: inzicht in effecten van digitaal toetsen a.d.h.v ervaringen in programma TTL (SURF) Handreiking digitaaltoetsbeleid concept 5 9/21

10 Business case Een businesscase geeft antwoord op de vraag: waarom willen we dit eigenlijk? Het is daarmee een onderbouwing van een te nemen besluit. Een alternatief doel van de businesscase kan zijn: zorgen dat iedereen begrijpt waarom het project belangrijk is. Een businesscase is niet bedoeld om uitsluitend een financiële afweging te maken. Een goede businesscase betrekt nadrukkelijk ook kwalitatieve overwegingen in de beoordeling. Een aspect als kwaliteitsverbetering kan voor een instelling heel belangrijk zijn, terwijl het zuiver financiële gewin daarvan nauwelijks te bepalen is, zeker niet op de korte termijn. Whitepaper De business case van digitaal toetsen (SURF) Handreiking digitaaltoetsbeleid concept 5 10/21

11 3. STRATEGIE Nadat je in hoofdstuk 2 hebt aangegeven waarom digitaal toetsen wordt ingezet en wat je ermee wilt bereiken, geef je in dit hoofdstuk weer hoe je dit wilt bereiken. 3.1 Aanpak Beschrijf de aanpak die je op hoofdlijnen voor ogen hebt. Ter inspiratie: in de praktijk van het Nederlandse hoger onderwijs zien we beleid voor digitaal toetsen op verschillende manieren tot stand komen <bron>: 1. top-down: het CvB wil digitaal toetsen en zet het op de kaart (mogelijke casus: UU, UvA/HvA, TU/e) 2. bottom-up: een opleiding wil digitaal toetsen en vraagt het CvB dit op de kaart te zetten (mogelijke casus: EUR) 3. organisch: enkele individuen (of opleidingen) beginnen gewoon en langzaamaan wordt dit op een hoger niveau verder uitgewerkt (mogelijke casus: HHS?) 4. als logisch vervolg op organische groei: het CvB ziet allerlei initiatieven die op zich wellicht goed lopen, maar waar synergie te halen is en risicobeperking wenselijk (UvA/HvA, TU/e) 5. in een programma: in het kader van een (groot) programma van onderwijsvernieuwing wordt ook digitaal toetsen als belangrijk thema geadresseerd (UU, EUR) Voor de uitwerking in detail, zie 8.2 Welke aanpak heb je voor ogen (op hoofdlijnen) Welke prioriteiten zijn gesteld? Werk je bottom-up of top-down? Begin je klein (bijvoorbeeld eerst bij een opleiding) of groot (hele instelling)? Kies je ervoor om eerst laaghangend fruit te plukken? Of kies je voor een route om stap voor stap te werken aan een gedegen inrichting van digitaal toetsen? Of kies je voor een combinatie? Wat wil je op korte termijn bereiken en wat op langere termijn? 3.2 Doelstellingen Formuleer welke concrete doelstellingen voor een afgebakende termijn. Waar mag je wanneer op afgerekend worden? Bijvoorbeeld: - Over 1 jaar wordt 80% van de meerkeuze vragen van faculteit x digitaal afgenomen - Over 2 jaar wordt 75% van de bachelorwerkstukken digitaal ingeleverd en beoordeeld. Dit soort doelstellingen impliceren dat je weet wat de stand van zaken is op dit moment. Om daar grip op te krijgen kan het zinvol zijn een nulmeting en een nameting te houden (bijvoorbeeld na 1, 2 of 5 jaar, afhankelijk van hoe je het doel hebt geformuleerd). Wat wil je bereiken met digitaal toetsen, binnen welke termijn? Welke KPI s (kritische prestatie indicatoren) kun je opstellen? Dit beketent dat je concrete SMARTdoelstellingen moet formuleren: Specifiek, Meetbaar, Acceptabel, Realistisch en Tijdgebonden. 3.3 Eigenaarschap digitaal toetsen Een belangrijke succesfactor in je strategie is het beleggen van het eigenaarschap van digitaal toetsen. Afhankelijk van de aard en inhoud van je toetsbeleid kan je keuze daarin verschillen. En uiteraard heb je ook te maken met de wensen en eisen van je opdrachtgever. Een voorbeeld: bij Saxion is ervoor gekozen het Handreiking digitaaltoetsbeleid concept 5 11/21

12 onderwijs eigenaar te maken van toetsen en is een van de academiedirecteuren verantwoordelijk voor de gehele toetsketen. Bij een meer technocratische benadering van digitaal toetsen kan het ook mogelijk zijn de manager ICT of een andere dienstdirecteur eigenaar te maken van toetsen. Wie is de meest logische eigenaar? Welke TBV s (taken, bevoegdheden en verantwoordelijkheden) heeft de eigenaar nodig om zijn werk te kunnen doen? 3.4 Samenwerking buiten de instelling Afhankelijk van de situatie kan het relevant zijn weer te geven hoe samenwerking met andere instellingen en aansluiting op systemen van derden een rol spel en binnen digitaal toetsen en welke afspraken daarvoor nodig zijn. Denk bijvoorbeeld aan de toetsen van 10 Voor de Leraar of de landelijke rekentoets. Ook komt het steeds vaker voor dat instellingen willen samenwerken aan een toets- en vragenbank. Of dat instellingen gebruik maken van de toetsvoorzieningen bij een andere instelling. Welke externe samenwerking is in het kader van digitaal toetsen voor jouw instelling relevant? Wat is de impact van externe samenwerking op de toetsinfrastructuur? Gaat de instelling actief externe samenwerking bevorderen? hoe? met welk doel? Handreiking digitaaltoetsbeleid concept 5 12/21

13 4. DESKUNDIGHEID In dit hoofdstuk omschrijf je hoe je alle betrokkenen op het gewenste competentieniveau gaat krijgen. Toetspiramide Joosten ten Brinke, e.a. 4.1 Doelgroepen en doelstelling Om digitaal toetsen succesvol te laten verlopen is inzet vanuit verschillende rollen en disciplines nodig. De digitale component houdt in dat voor alle betrokkenen iets verandert in de werkwijze, benodigde vaardigheden en kennis. Mogelijke doelgroepen: Doelgroep Aard van verandering Doelstelling deskundigheidsbevordering Docenten Andere werkwijze, verandering onderwijsconcept, toetssyteem tot in de haarvaten kennen, etc Kunnen werken met nieuw toetssysteem Op de hoogte zijn van onderwijsvisie en daaraan gekoppeld de visie op (digitaal toetsen) Weten welke voorzieningen en ondersteuning er zijn Examencommissies in beginsel zeer beperkt begrijpen wat de consequenties zijn van digitaal toetsen voor hun verwantwoordelijkheid Examinatoren vergelijkbaar met die van de docent, plus de nieuwe werkwijze van digitale toetsafname Ondersteuners...Werken met de toetssoftware, andere manier van toetsen inplannen, andere workflow, andere wijze van surveilleren, andere manier van archiveren Studenten in plaats van op papier worden ze nu per computer getoetst introductie in het werken met toetssoftware, aanlsuiten op de onderwijspraktijk waar al met ICT wordt gewerkt Bovenstaande is een voorbeeld. Je kunt ondersteuners bijvoorbeeld nog verder opsplitsen in administratieve krachten, roosteraars, surveillanten, etc. Ook kan het zinvol zijn het management op te nemen als doelgroep. Wat verandert voor welke doelgroepen met de invoering van digitaal toetsen Welke deskundigheid is per doelgroep nodig en wat is nodig om ze op dat niveau te brengen? 4.2 Aanpak en verankering Nu je in 4.1 hebt vastgesteld bij welke doelgroepen je wat wilt bereiken, kun je in deze paragraaf je professionaliseringsaanpak uitwerken. Hoe geef je invulling aan professionalisering en hoe veranker je dit in de organisatie? Kun jij bijvoorbeeld aanhaken op de BKE of op de BKO? Zijn er andere scholingsinitiatieven? Is er een link te leggen met de P&Ocyclus? Handreiking digitaaltoetsbeleid concept 5 13/21

14 Maak in je aanpak onderscheid tussen weten, committeren, doen. Bepaalde doelgroepen zul je in de categorie weten kunnen plaatsen. Zij hebben genoeg aan een voorlichtingsbijeenkomst en verwijzing naar achtergrondinformatie. Als een doelgroep valt in de categorie committeren (docenten, examencommissies, examinatoren, studenten), dan betekent dit dat zij het ook echt eens moeten zijn met de nieuwe manier van toetsen. Deze groepen moet je dus ook betrekken in het proces van beleidsontwikkeling. Doelgroepen in de categorie doen (docenten, ondersteuners) moeten echt anders gaan werken. Zij hebben dus training nodig. De inhoud van deze training verschilt weer per doelgroep. Bron: Handreiking digitaaltoetsbeleid concept 5 14/21

15 5. ONDERWIJSKUNDIGE ASPECTEN 5.1 Formatief en summatief toetsen Bij de ontwikkeling van digitaal toetsenbeleid is het aan de orde om in te gaan op de vraag of digitaal toetsen zich richt op formatief toetsen, summatief toetsen of beide. Dat maakt veel uit, want aan summatieve toetsing worden veel hogere eisen gesteld (vanwege vereiste rechtmatigheid van toetsing). Formatief toetsen wordt in veel onderwijsconcepten steeds belangrijker, en vraagt om goed materiaal dat soms ingekocht kan worden of gezamenlijk ontwikkeld, maar stelt minder hoge eisen aan aspecten als beveiliging en betrouwbaarheid. Wat wil je met toetsen bereiken? En wat voor type (digitale) toetsen heb je daarbij nodig? Als je toetsen vooral formatief wilt inzetten, dan vraagt dat bijvoorbeeld om het inrichten van toets- en vragenbanken met voldoende materiaal. Het is belangrijk om de toetsvorm te bepalen. De toetsvorm kies je op basis van een leerdoel. Zie hiervoor bijlage xx over het formuleren van toetsbare leerdoelen (kennis, houding, toepassen, levels van Bloom?). Documenten x, y, z maken duidelijk hoe verschillende leerdoelen leiden tot verschillende digitale oplossingen. Waar kun je allemaal aan denken: <Tabel invoegen?> Ontwikkelingen in de Delftse Toetspraktijk' - TU Delft Geeft een overzicht van de verschillende functies van toetsen: als diagnose, als leermiddel, als voortgangscontrole, en als kwalificatie. Theoretische kader en concrete casussen en pilots. 2. 'handout - assessment for-of-as learning strategy.docx': 1A4 dat helpt om leerdoelen te vertalen naar toetsvorm <vrij van rechten?> 3. 'Possible assessment methods to suit your desired objectives, learning outcomes and course content' - Overzicht van doelen en bijbehorende toets-/beoordelingsvormen 4. 'Learning objectives Bloom' - leerdoelen bepalen aan de hand van de taxonomie van Bloom 5. Toolbox Universiteit Twente 5.2 Kwaliteit en kwaliteitsborging Toetspiramide? Hoe kun je het vierogenprincipe borgen? Wat is de levensduur van items in je itembank? Wie beoordeelt feedback in formatieve toetsen en welke criteria gelden daarbij Handreiking digitaaltoetsbeleid concept 5 15/21

16 5.3 Voorzieningen voor functiebeperkingen Digitaal toetsen vergemakkelijkt in sommige gevallen de hulp aan studenten met een functiebeperking. Studenten met een visuelebeperking kunnen bijvoorbeeld baat hebben bij het aanpassen van de lettergrootte van een toets op het scherm (als de software dit althans ondersteunt). Daarnaast kunnen studenten met schrijfkramp gebruik maken van een toetsenbord in plaats van pen (op dit moment worden steeds vaker speciale voorzieningen getroffen voor mensen met schrijfkramp). Welke voorzieningen voor functiebeperkingen zijn nodig? Moeten studenten zo veel mogelijk gebruik kunnen maken van voorzieningen voor de hele populatie? Zo ja wat is ervoor nodig, en welke functiebeperkingen kan je daarmee voorzien? En welke niet en hoe ga je die laatste groep studenten bedienen? Handreiking digitaaltoetsbeleid concept 5 16/21

17 6. INFRASTRUCTUUR Wat heb je nodig aan hardware, software en beveiliging om digitaal toetsen in te richten? Is er wel of niet een specifieke zaal voor digitale toetsafname nodig? Ervaringen van de HR met een mobiel toetsstation Businesscase/exploitatiemodel grote toetszaal 6.1 De keuze voor toetssoftware Beschrijf hier hoe je komt tot de keuze voor toetssoftware. Welke eisen stel je aan toetssoftware? Wil je een instellingsbreed software systeem? Heb je dan voldoende aan één product? Een veel gebruikte indeling is: een 'algemeen systeem' waarin veel typen examens zijn af te nemen, een systeem dat geschikt is voor wiskundige formules en een systeem om werkstukken in na te kijken. twee documenten over LTI en QTI ervaringen met toetssoftware overzicht toetssoftware Plan van aanpak voor het kiezen van toetssoftware (Rode Planeet) 6.2 De keuze voor hardware De aanschaf van hardware is een opdracht aan de ICT-afdeling. Van belang is dat de hardware de doelen en wensen vanuit de onderwijs- en toetsvisie moeten ondersteunt. Belangrijke vraag bij het aanschaffen van hardware is hoe flexibel je computers wilt en kunt gebruiken voor afname (BYOD, BACD (Bring A Certain Device), computers van de instelling, vaste plekken of laptop) en of er geschikte ruimtes zijn. Voorbeelden zijn: Toets PC s (afschrijving: 4 jaar) Tafels (afschrijving: 10 jaar) AV-voorzieningen (afschrijving: 4 jaar) Netwerkapparatuur (afschrijving: 5 jaar) Netwerkkabels (afschrijving: 15 jaar) Wireless (afschrijving: 5 jaar) Server (afschrijving: 4 jaar) Hulpvragen hoeveel studenten wil je tegelijkertijd kunnen toetsen welke pc-lokalen zijn geschikt (te maken) voor digitaal toetsen welke zalen kunnen worden omgebouwd tot digitale toetsruimte Overzicht werkbezoeken aan grote toetszalen document 'site configuration tips' - concrete handreiking hoe je PC's klaar moet maken voor toetsafname? <verouderd? Vrij van rechten?> Handreiking digitaaltoetsbeleid concept 5 17/21

18 6.3 Veiligheid (betrouwbaarheid, integriteit en vertrouwelijkheid) Het is van groot belang dat de infrastructuur voor digitaal toetsen veilig is. Breng in kaart hoe het toetsproces (aan de hand van de toetsketen) eruitziet en geef per stap aan wat nodig is aan beveiligingsmaatregelen. Afhankelijk van de wijze waarop je toetsen inzet zul je ook procedures in moeten zetten. Denk daarom bij het zorgen voor veiligheid aan aan... Aanleveren centraal georganiseerde tentamens (Aanleveren, Vermenigvuldigen, Opslag vooraf) Zaaltoekenning Surveillantenwerving Verloop van tentamen (opstartprocedures, monitorprocedures, afsluitprocedures) Plagiaatdetectie Procedures bij falen van techniek/calamiteiten Procedures bij afnames met functiebeperkingen Procedures digitaal nakijken Procedures inzage Opslag gemaakte opgaven Richtsnoer veilige toetsafname diverse (11 in totaal) praktische documenten met procedures voor het afnemen van digitale toetsen (o.a. TU/e, 10VoorDeLeraar, VU, AMC) SURF: Begin volgend jaar kunnen we hier verwijzen naar het 'richtsnoer veilige toetsketen'. Whitepaper Beveiliging Digitaal Toetsen (Teelen Kennismanagement) Beveiliging en fraude bij digitaal toetsen (UU) <rechtenvrij? verouderd?> Handreiking digitaaltoetsbeleid concept 5 18/21

19 7. ORGANISATIE Om het (digitale) toetsproces te organiseren en ondersteunen is een professionele toets- en beheerorganisatie essentieel. Om (gecontroleerd en op grote schaal) digitale toetsen af te nemen is een zorgvuldige voorbereiding, uitvoering en verwerking nodig. Een veelheid aan taken en functies is nodig om digitale toetsing optimaal en efficiënt te ondersteunen. Naast basale ondersteuning door helpdeskmedewerkers en ondersteuners ICT, bestaat de toets- en beheerorganisatie uit een aantal specialisaties, zoals een functioneel beheerder van de toetssoftware, een toetszaalcoördinator, en bij sommige instellingen ook een toetszaal e- surveillant en toetsconstructeur. Nieuwe taken en verantwoordelijkheden moeten worden ingebed in de bestaande beheerorganisatie voor traditioneel toetsen. Administratieve- en logistieke processen van digitaal toetsen moeten goed worden afgestemd op rooster- en planprocessen. 7.1 Rollen en verantwoordelijkheden Digitaal toetsen is bij uitstek een multidiscplinair terrein. Daarom is het verstandig bij het ontwikkelen van digitaaltoetsbeleid tijd in te ruimen om de verschillende actoren en belanghebbenden te betrekken: management: faculteits-/academie-/school-directeuren, opleidingsmanagers/-directeuren examencommissie examinatoren docenten studenten toetsbureau, academie/faculteitsbureau, onderwijsbureau de ICT-afdeling onderwijskundigen en toetsdeskundigen informatiemanagement (o.a. security en architectuur) Hulpvragen Wie is verantwoordelijk voor de toetssoftware? Hoe worden de toetsen ingevoerd, gepland en geanalyseerd en wie is daarvoor verantwoordelijk? Welke nieuwe rollen ontstaan onder invloed van digitaal toetsen? 7.2 Ondersteuningsinfrastructuur en dienstverlening Hoe ziet de ondersteuningsinfrastructuur eruit? Wat is nodig aan functioneel beheer? Welke onderwijskundige expertise moet wanneer en voor wie beschikbaar zijn? Welke technische ondersteuning is er nodig? Wat betekent e.e.a. voor roostering van zalen en colleges? Als meerdere instellingen samenwerken aan een toets- en vragenbank, zijn bovendien afspraken nodig om deze samenwerking te verduurzamen en goed te laten verlopen. kadertje met voorbeelden van nieuwe rollen ihkv dt: omschrijving van een aantal specifieke (nieuwe) functies: Functioneel beheer: De toetsplatformbeheerder is een functioneel (informatie) beheerder die de schakel vormt tussen de gebruikers- en IT-organisatie. Deze beheerder is verantwoordelijk voor de globale inrichting van het toetsplatform, is projectleider tijdens migratieprocessen, de spil in de ondersteuningsorganisatie, aanspreekpunt voor de tweedelijnsondersteuning, en is tot slot de contactpersoon met de softwareleverancier. Toetsconstructeur: De toetsconstructeur helpt de docent bij het opmaken van de toetsmatrijs, voert de vraagitems in, maakt de toets op en stelt de toetsinstellingen in. De toetsconstructeur voert vervolgens een nacontrole uit, waarna de docent een testversie Handreiking digitaaltoetsbeleid concept 5 19/21

20 van de toets te zien krijgt en daarop akkoord geeft. Indien gewenst, dan kan de toetsconstructeur de kwaliteit van toetsen controleren langs vastgestelde richtlijnen, en hierover rapport uitbrengen naar de toetsdeskundigen. Deze kunnen op hun beurt verslag uitbrengen over de toetskwaliteit aan de examencommissies. Toetszaalcoordinator: Het stroomlijnen van de logistieke processen, het roosteren en het kwaliteitsbeheer van de toetszaal vereist een nauwkeurige coördinatie. Dat is een verantwoordelijkheid van de toetszaalcoördinator. Deze kan aantonen dat de toetsen rechtmatig zijn afgenomen en legt verantwoording af aan de examencommissies. De toetszaalcoördinator kan ondersteund worden door de huidige tentamenroosteraars. Toetszaal e-surveillant: De toetszaal e-surveillant controleert het verloop van digitale toetsafnames via beeldschermen. Deze surveillant legt van elke toets vast hoe deze is verlopen. Eventuele afwijkingen ten opzichte van de procedures komen in een proces-verbaal. De toetszaal e-surveillant is betrokken bij de selectie en opleiding van reguliere surveillanten voor digitale toetsafname, en wordt aangestuurd door de centrale surveillantencoördinator. Samenwerkingsvormen en licentiemodellen voor instellingsoverstijgende toets- en vragenbanken Toetsvragen ontwikkelen in 8 stappen. Praktische handleiding om met meerdere partijen samen toetsvragen te ontwikkelen voor een gezamenlijke toets- en vragenbank 7.3 Regelgeving, reglementen en procedures Regelgeving vraagt wellicht ook om aanpassing, denk aan bijvoorbeeld aan het onderwijs- en examenreglement (OER), zaalreglementen en toetsafnameprotocollen. Daarnaast verandert de wijze waarop de toetsinzage als dit digitaal moet plaatsvinden. Wat staat er in de OER over toetsvormen? Is hier een aanpassing nodig om digitaal toetsen mogelijk te maken? Welke procedures rondom het aanleveren van toetsen etc. zijn er, en welke aanpassingen zijn hier nodig? Hoe kan een merge worden gemaakt tussen reglementen voor toetsafname en gedragsregels in PCzalen? diverse (11 in totaal) praktische documenten met procedures voor het afnemen van digitale toetsen (o.a. TU/e, 10VoorDeLeraar, VU, AMC) Handreiking digitaaltoetsbeleid concept 5 20/21

21 8. REALISATIE Hoe kom je van beleid naar resultaat? Werk je aan de hand van projecten of een programma? Hoe ziet een mogelijke roadmap eruit? 8.1 Programma digitaal toetsen In de praktijk van het Nederlandse hoger onderwijs zien we beleid voor digitaal toetsen op verschillende manieren tot stand komen: top-down: het CvB wil digitaal toetsen en zet het op de kaart (mogelijke casus: UU, UvA/HvA) bottom-up: een opleiding wil digitaal toetsen en vraagt het CvB dit op de kaart te zetten (mogelijke casus: EUR) organisch: enkele individuen (of opleidingen) beginnen gewoon en langzaamaan wordt dit op een hoger niveau verder uitgewerkt (mogelijke casus: HHS?) als logisch vervolg op organische groei: het CvB ziet allerlei initiatieven die op zich wellicht goed lopen, maar waar synergie te halen is en risicobeperking wenselijk (UvA/HvA) in een programma: in het kader van een (groot) programma van onderwijsvernieuwing wordt ook digitaal toetsen als belangrijk thema geadresseerd (UU, EUR) Digitaal toetsen is een domein waar onderwijs en ICT elkaar stevig raken; daarom ligt het in de rede dat de respectievelijke portefeuillehouders in het CvB zich daar over ontfermen. Daarnaast kunnen de wensen met betrekking tot digitaal toetsen sterk verschillen per domein. Zo is er bijvoorbeeld binnen de beta-vakken behoefte aan een toetsprogramma dat wiskundige formules ondersteunt en in de humaniora veel meer behoefte aan software die het beoordelen van teksten ondersteunt Team Geld Etc 8.2 Roadmap/fasering Een goede aanpak is hierbij, dat één persoon (vaak een beleidsadviseur) de lead neemt in het proces en de dialoog met de betrokkenen organiseert. Dit proces wordt gemakkelijker, als er een duidelijke opdrachtgever is, mits deze voldoende mandaat heeft. Omdat toetsen zicht bevindt in het hart van het primaire proces, is een vertegenwoordiger vanuit het onderwijs een goede keuze als opdrachtgever (bijv. een faculteits/academiedirecteur). Tilburg University roadmap: Fase 0 Initiëren project Fase 1 Schrijven Project Initiation Document Fase 2 Opstarten werkgroepen en gebruikersgroep Fase 3 Opstellen vraagspecificatie digitale toetsinfrastructuur Fase 4 Aanbesteding uitzetten digitale toetsinfrastructuur Fase 5 Implementeren digitale toetsinfrastructuur Fase 6 Voorbereiden van afname digitale toetsen Fase 7 Afnemen van eerste selectie digitale toetsen Fase 8 Evalueren, nazorg en afsluiten project Projectplan UU? Handreiking digitaaltoetsbeleid concept 5 21/21