SURF SIG Digitaal Toetsen

Meerjarenplan SURF SIG Digitaal Toetsen (periode juni 2011 - jan 2014) Mission statement Bevordering van kwantiteit en kwaliteit van digitale toetsing in het onderwijs, door het bij elkaar brengen van experts en belangstellenden en het uitvoeren van gezamenlijke activiteiten ter bevordering van expertiseontwikkeling op het gebied van digitale toetsing. Alexander Kremers en kernteam SURF SIG Digitaal Toetsen Juni 2011

Inhoudsopgave Missie...3 Doelstelling...5 Organisatie SIG DT...5 Activiteiten...7 Opzetten community...7 Opbouwen Website...7 Werkwijze...8 Doelkoppeling...8 Lobbyen...8 Werkwijze...8 Doelkoppeling...9 White Papers...9 Werkwijze...10 Doelkoppeling...10 Evenementen organiseren...11 Werkwijze...12 Doelkoppeling...12 Congresinformatie...13 Werkwijze...15 Doelkoppeling...15 SIG DT Prijs...15 Werkwijze...16 Doelkoppeling...16 Inzicht in impact van digitaal toetsen...16 Nulmeting...17 Integreren Portfolio en SIGMA...19 Jaarlijkse evaluatie activiteiten en planning...20 Bijlagen...23 2

Missie Bevordering van kwantiteit en kwaliteit van digitale toetsing in het onderwijs, door het bij elkaar brengen van experts en belangstellenden en het uitvoeren van gezamenlijke activiteiten ter bevordering van expertiseontwikkeling op het gebied van digitale toetsing. Aanleiding en achtergrond De Special Interest Groep Digitaal Toetsen (SIG DT) streeft er naar de expertiseontwikkeling op het gebied van digitale toetsing te bevorderen. In het onderwijs wordt nog onvoldoende gebruik gemaakt van de mogelijkheden van het digitale toetsen. Er zijn vele mogelijkheden van geautomatiseerde feedback, geavanceerde toetsmogelijkheden (zoals adaptief toetsen) waardoor men studenten in een vroeg stadium en op flexibele wijze inzicht kan verschaffen in hun studieprestaties en bijspijkerbehoefte. Het gezamenlijk gebruik maken van digitale toetsbanken is tijdsbesparend en men heeft daardoor ook meer mogelijkheden om instituutoverstijgende toetsen te ontwikkelen en landelijke initiatieven te ontplooien. De geavanceerde mogelijkheden voor toetsanalyse en mogelijkheid om innovatieve toetsmogelijkheden toe te passen (denk aan video, 3D foto s, satellietbeelden, rekenkracht van computers, dynamische berekeningen) bieden veel meer mogelijkheden dan papieren toetsen (Toetsing en Toetsgestuurd Leren, SURFfoundation, 2010). De belangstelling voor digitaal toetsen wordt versterkt door de huidige ontwikkelingen rond het examenbeleid. In het huidige accreditatiekader van de NVAO (Beoordelingskaders ten behoeve van het accreditatiestelsel, NVAO, 6 december 2010) is toetsing en gerealiseerde eindkwalificaties als een apart onderwerp opgenomen. De bijbehorende standaard luidt dat de opleiding (in het geval van een opleidingsaccreditatie) moet beschikken over een adequaat systeem van toetsing en aan moet tonen dat de beoogde eindkwalificatie wordt gerealiseerd. In het kader van het onderwerp kwaliteitszorg komt toetsing ook aan de orde. De opleiding moet de kwaliteit bewaken van de beoogde eindkwalificaties, het programma, het personeel, de voorzieningen, de toetsing en de gerealiseerde eindkwalificaties via regelmatige evaluaties (Beoordelingskaders ten behoeve van het accreditatiestelsel, NVAO, 6 december 2010, p.28.) De SIG DT is op zoek naar systemen, expertise, processen en praktijkervaringen om de gestelde eisen omtrent accreditatie van toetsing op een digitale manier vorm te kunnen geven. Digitale toetssystemen bieden de potentie om toetsprocessen te optimaliseren en inzichtelijk te maken. Rol en positionering SIG DT De SIG digitaal toetsen is een zelfstandige groep. De SIG DT bepaalt haar eigen beleid en missie en wordt ondersteund door SURFfoundation. SURF heeft het ontstaan van de SIG mogelijk gemaakt omdat SURF de kennisuitwisseling en community vorming rondom het thema Digitaal Toetsen wil faciliteren. Daarnaast is de SIG is in het leven geroepen om een bijdrage te 3

leveren aan het programma Toetsen en Toetsgestuurd Leren. Vanuit SURFfoundation is met financiële ondersteuning van het ministerie van OCW, het programma TTL opgestart om digitaal toetsen binnen instellingen naar een hoger plan te brengen. Binnen dit programma worden diverse activiteiten uitgevoerd verdeeld over 3 pijlers (zie programmaplan Toetsing en Toetsgestuurd Leren, SURFfoundation, 2010 en Routeboekje Toetsing en Toetsgestuurd Leren 2011). De SIG levert een bijdrage aan de realisatie van pijler 2 uit het programma TTL: het opzetten van een virtueel en fysiek expertisenetwerk voor digitaal toetsen. De rol van de SIG DT bestaat uit de volgende onderdelen: - het fungeren als klankbord (kernteam) - kwaliteitstoets bij op te leveren resultaten (kernteam), - als doelgroep voor deelname aan activiteiten en afnemers van opgeleverde resultaten (alle SIG DT leden) - als opdrachtnemer (een of meerdere individuen uit de SIG DT, kan zowel kernteam als overige SIG leden zijn) wanneer vanuit het programma TTL een projectopdracht wordt uitgezet. De SIG Digitaal Toetsen vormt de spin in het web die alle ontwikkelingen met betrekking tot digitaal toetsen signaleert. Vanuit de SIG kunnen initiatieven worden opgestart en worden experts bij elkaar gebracht. Het doel van het programma van SURFfoundation is de kwaliteit van het onderwijs te verbeteren door digitaal toetsen op een hoger niveau te brengen. De SIG DT doet dit door bijeenkomsten te organiseren en door activiteiten uit te voeren die ervoor zorgen dat de expertise op het gebied van digitaal toetsen toeneemt. De SIG heeft daarnaast een disseminatiedoel; alle opgedane expertise probeert zij aan een zo groot mogelijke groep belangstellenden uit het hoger- en wetenschappelijk onderwijs kenbaar te maken. 4

Doelstelling De SIG Digitaal Toetsen heeft als concreet doel: het bij elkaar brengen van experts, belangstellenden en informatie op het gebied van digitaal toetsen. Door betrokkenen bij elkaar te brengen vergroot de expertisevorming rondom digitaal toetsen. Hiermee wordt een impuls gegeven aan het verbeteren van de kwaliteit van digitaal toetsen en neemt het gebruik van digitaal toetsen in het hoger- en wetenschappelijk onderwijs toe. Het bij elkaar brengen van betrokkenen doet de SIG DT aan de hand van het organiseren van bijeenkomsten, het gezamenlijk bezoeken van congressen en seminars en het uitbrengen van publicaties en white papers. De SIG activiteiten sluiten aan op en versterken de andere activiteiten binnen het programma Toetsing en Toetsgestuurd leren. De bijeenkomsten zorgen voor (docent)professionalisering en voor het verspreiden van kennis en ervaringen waardoor het gebruik van digitale toetsvormen toe kan nemen. Deze doelen kunnen we behalen door: 1. Kennis bundelen: bij elkaar brengen van experts, medewerkers in projecten en docenten in onderwijs. 2. Kennis delen: stimulering van uitwisseling van toetsen en toetsitems en promotie van standaarden die dit mogelijk maken. 3. Kennis verspreiden: opgedane kennis en ervaring over didactiek, organisatie en technologie verspreiden onder belangstellenden. 4. Kennis genereren: monitoren en oriënteren op nieuwe initiatieven (nationaal en internationaal) Organisatie SIG DT In maart 2011 is de SIG DT opgericht en is het kernteam samengesteld. Sinds mei 2011 bestaat het kernteam uit: Alexander Kremers (Saxion) Silvester Draaijer (Vrije Universiteit) Anne-Floor Erdman (SURF) Wil de Groot-Bolluijt (Hogeschool Rotterdam) Andre Heck (Universiteit van Amsterdam) Sharon Klinkenberg (Universiteit van Amsterdam) Marcel Penners (Hogeschool Arnhem en Nijmegen) w.a.kremers@saxion.nl s.draaijer@vu.nl erdman@surf.nl w.de.groot-bolluijt@hr.nl a.j.p.heck@uva.nl s.klinkenberg@uva.nl marcel.penners@han.nl De deelnemers van het kernteam hebben allen een achtergrond in onderwijs, toetsing, organisatie en techniek. Het kernteam vergadert minimaal vier keer per jaar. Alexander Kremers is de Community Manager / Voorzitter en het aanspreekpunt voor belangstellenden en voor SURF. 5

Taakverdeling Alle kernteamleden vervullen een rol in de uitvoering van de activiteiten. Zo worden in 2011 verschillende bijeenkomsten (SURF Academy seminar: Hoe selecteer ik een toetssysteem en een masterclass digitale toetsconstructie- en analyse) georganiseerd door een aantal kernteamleden. Sharon Klinkenberg is redacteur van de website SURFspace, tabblad Toetsing, en tevens werkgroeplid van de werkgroep Realisatie expertisenetwerk digitaal toetsen. Alexander Kremers is de moderator/manager van de LinkedIN groep SURF SIG Digitaal toetsen In maart 2011 is er gestart met een LinkedIn groep en op 27 mei 2011 waren er 108 leden. 6

Activiteiten Opzetten community Het opzetten van de SIG DT community is reeds via LinkedIn voltrokken. Het aantal bestaat op moment van schrijven uit 111 leden. Waar we ons in het komende jaar op zullen richten is het uitbreiden van dit netwerk. De doelgroepen die we hiervoor willen benaderen zijn: SIG DT Leden (Hoe kunnen we deze groep inzetten?) Beleidsmakers Icto-ers / informatiemanagers Docenten Ict-ers Door gebruik te maken van het bestaande netwerk willen we deze community vergroten. We zullen de bestaande community via LinkedIn vragen mogelijke kandidaten uit te nodigen om lid te worden. Tevens zullen we de netwerkdagen en andere evenementen waar we aan deelnemen gebruiken om de LinkedIn community te vergroten. Er zijn aan deze activiteiten geen kosten verbonden. Om het netwerk/de community te kunnen onderhouden worden voor de community bijeenkomsten en activiteiten georganiseerd. Deze activiteiten kunnen gericht zijn op professionalisering, kennisdeling, kennisuitwisseling en netwerkuitbreiding. Alle activiteiten die de SIG organiseert die rechtstreeks ten goede komen aan de doelstellingen van het programma TTL van SURF worden deels of geheel met middelen vanuit het programma TTL bekostigd. Opbouwen Website Om te kunnen profiteren van de bestaande infrastructuur en het al opgebouwde netwerk zullen we SurfSpace als portal gebruiken. SurfSpace zal slechts dienen als etalage voor de SIG digitaal toetsen. Vanuit SurfSpace zullen we doorverwijzen naar onze community pagina op LinkedIn en naar het expertisenetwerk dat door SURF wordt gerealiseerd. Het netwerk zal informatie gaan bevatten over de vele onderwerpen die gerelateerd zijn aan digitaal toetsen. Het is expliciet niet de bedoeling om de al beschikbare informatie hier te gaan verzamelen maar het is wel de bedoeling te verwijzen naar andere sites door middel van korte blogs over de betreffende onderwerpen. In die zin kan er ook gesproken worden over een kennisportaal op het gebied van digitaal toetsen. We zullen proberen om zoveel mogelijk structuur aan te brengen in de onderwerpen. Tevens willen we de site gebruiken om best practices te etaleren. Voor het handhaven van de site en het leveren van content willen we zoveel mogelijk de community betrekken om bijvoorbeeld materiaal of relevante nieuwtjes aan te leveren. Hiervoor 7

zal LinkedIn gebruikt worden om specifieke oproepen te doen aan de leden. De site kan ofwel afzonderlijk gehost worden of in zijn geheel worden ondergebracht onder SurfSpace. Het realiseren van het expertisenetwerk is onderdeel van het programma Toetsing en Toetsgestuurd leren van SURFfoundation. Vanuit het programma is een werkgroep gestart (realisatie expertisenetwerk digitaal toetsen) waarin een lid van het SIG kernteam zitting heeft. De realisatie van het expertisenetwerk valt onder verantwoordelijkheid van SURF, en is voor een groot deel belegd bij de SIG voor de uitvoering. De taken en resultaat en inspanningsverplichting van de werkgroep realisatie expertisenetwerk zijn beschreven in een opdrachtbeschrijving. Werkwijze Aparte aanvraag via TTL Doelkoppeling Kennis genereren Out-of-Pocketkosten Onderdeel van de aanvraag Lobbyen Doelstelling: beleidsmakers in het onderwijs overtuigen van het belang van het digitaal toetsen. De SIG Digitaal Toetsen streeft er naar om herkenbaar te zijn voor beleidsmakers en gezien te worden als een expertgroep waar beleidsmatig deskundig advies verkregen kan worden op het gebied van digitaal toetsen. De SIG Digitaal Toetsen wil een professionele inhoudelijke bijdrage leveren aan besluitvorming en beleidsontwikkeling op strategisch niveau. Doelgroep: Strategisch: bv College van besturen/ SURFbestuur / HBO-raad / NVAO / OC&W Tactisch: bv opleidingsmanagers en directeuren/ landelijke overlegorganen / examencommissies Werkwijze Materiaal verzamelen om boodschap over te brengen zoals: - Aansluiting digitaal toetsen bij huidige beleidsthema s onderwijs. Bijvoorbeeld: kwaliteitsverhoging, tijdsbesparing, aansluiten bij sociotechnologische ontwikkelingen - Overzicht maken van de belangrijkste thema s en aansluiten bij actuele ontwikkelingen - Nieuwsbrieven - Presentaties Voorwaarden voor uitvoering: - Goede website - Goede publicaties/nieuwtjes --- persberichten 8

- White papers Vaststellen doelgroep en top 5 te benaderen groepen of personen Activiteitenplanning 2011-2012 - Contactpersonen overzicht maken / Emaillijst met koppeling leden kernteam - Bijeenkomsten organiseren (ronde tafel beleidsmakers) - Individuele contacten - Op agenda komen bij thema besprekingen doelgroepen - Evaluatie doelstellingen en activiteiten Doelkoppeling Kennis delen / verspreiden / genereren Out-of-Pocketkosten Twee bijeenkomsten voor ongeveer 20 personen per keer. White Papers Een van de expliciete behoeften die vanuit het programma TTL bij de SIG zijn neergelegd is het voorzien in expertiseontwikkeling met betrekking tot een aantal onderwerpen. Deze onderwerpen zijn onderdeel van het te realiseren expertisenetwerk. Op dit moment is over deze onderwerpen onvoldoende informatie om de onderwerpen afdoende af te dekken in het expertisenetwerk. Om die reden is aan het SIG kernteam gevraagd of een of meerdere individuen de opdracht aan willen nemen een white paper over die onderwerpen op te stellen. Een complete lijst met alle te produceren white papers in de periode 2011-2013 is als bijlage opgenomen. De SIG zal een aantal White Papers maken. Deze white papers worden gemaakt door de SIG en toegevoegde leden die optreden als experts op dit terrein. Deze white papers moeten beleidsmakers in het voortgezet en hoger onderwijs informeren over de belangrijkste issues met betrekking tot digitaal toetsen en hen in staat stellen om beslissingen te helpen nemen rondom het investeren in digitaal toetsen, het formeren van ondersteuningsorganisaties en het professionaliseren van docenten en ondersteuners. De volgende onderwerpen wil het kernteam gaan behandelen. Voordat er daadwerkelijk gestart wordt met het maken/schrijven van het white paper dient deze te zijn goed gekeurd door het programmamanagement van TTL 9

Voorstellen: Onderwerp A: Toetskwaliteit Verantwoordelijke: W.A. Kremers Saxion Status: Offerte goedgekeurd door TTL Onderwerp B: Inventarisatie van Toetssystemen en gebruik in het HO Verantwoordelijken: Sylvester Draaier en Marcel Penners Status: Offerte is nog niet ingediend bij TTL Onderwerp C: Toetsverwerking Verantwoordelijke: Nog niet toegewezen Status: Zie de bijlage voor de white paper opdrachten die in 2012 en 2013 worden aangeboden vanuit het programma TTL. Werkwijze 3 white papers in jaar 2011 (A, B en C) Voor het schrijven van een Whitepaper wordt vanuit het programma Toetsing en Toetsgestuurd leren van SURFfoundation een opdrachtbeschrijving beschikbaar gesteld. Degene(n) die de opdracht aan willen nemen en het white paper willen schrijven brengen daarvoor een offerte uit aan het programmamanagement. Op basis van die offerte wordt vanuit het programma een vergoeding voor het schrijven beschikbaar gesteld. De goedgekeurde offerte dient als uitgangspunt voor voortgang overleggen met het programmamanagement. De onderwerpen voor de white papers hebben een directe relatie met het expertisenetwerk. De voltooide white papers worden, na akkoord door het programmamanagement, opgenomen in het expertisenetwerk. Alle white papers worden onder Creative Commons licentie opgeleverd. Wanneer de white papers klaar zijn kunnen zij worden verspreid (eventueel in kleinere artikelen) in tijdschriften. Indien relevant worden rondom de voltooiing van de white papers disseminatie activiteiten georganiseerd als een seminar/bijeenkomst om de resultaten te presenteren. Ook is het mogelijk om een white paper in sommige gevallen, indien de publiciteitswaarde voldoende is, als folder/boekje af te drukken en te verspreiden. Het is mogelijk dat de SIG besluit een white paper te schrijven dat geen directe relatie heeft met het expertisenetwerk en het SURF programma Toetsing en Toetsgestuurd Leren. In dat geval bespreekt de SIG apart met het programmamanagement of er voor de oplevering van het white paper al dan niet middelen vanuit het programma beschikbaar worden gesteld. Doelkoppeling Kennis genereren 10

Out-of-Pocketkosten Zie gereserveerde bedragen in de bijlage. De bedragen worden definitief op basis van een offerte die de schrijver (opdrachtnemer) van het white paper opstelt. Evenementen organiseren De SIG initieert/organiseert bijeenkomsten voor toetsbetrokkenen uit instellingen voor hoger- en wetenschappelijk onderwijs. Dit kan de SIG op eigen kracht doen, of in samenwerking met het SURF programma Toetsing en Toetsgestuurd leren, of omdat het programma en-of de SIG DT een bepaald inhoudelijk onderwerp via een bijeenkomst aan de orde wil stellen (zie bijlage). In beide gevallen kan de SIG een beroep doen op SURFacademy, een programma dat faciliteert bij het organiseren van professionaliserings- en disseminatiebijeenkomsten. Eén van de resultaten die het programma Toetsing en Toetsgestuurd Leren samen met de SIG DT oplevert is een ingericht expertisenetwerk rondom digitaal toetsen. Dit netwerk bestaat uit een, digitaal ontsloten, verzameling van producten met betrekking tot digitaal toetsen zoals: onderzoeksresultaten, projectresultaten, leermodules, publicaties, white papers, weblectures etc. Deze producten kunnen eveneens tot stand komen via het organiseren van bijeenkomsten onder de vlag van SURFacademy. De rol van de SIG bij de realisatie van het expertisenetwerk is meervoudig. Enerzijds gebruikt het programmamanagement van het programma TTL de SIG (m.n. het kernteam) als kwaliteitstoets bij op te leveren resultaten. Bijvoorbeeld: het programma stelt een Open Educational resource product op m.b.t. digitaal toetsen (beknopte cursus Digitaal Toetsen). Aan het kernteam wordt gevraagd kritisch mee te lezen en correctievoorstellen te doen. Daarnaast kan het programmamanagement aan de SIG vragen om een opdracht uit te voeren in het kader van het expertisenetwerk (bijvoorbeeld het schrijven van een white paper, het uitvoeren van een onderzoek, het bezoeken en verslag doen van een congres e.d.). Ook wordt aan het kernteam gevraagd om een bijdrage te leveren bij evenementen en bijeenkomsten die vanuit het programma, vaak onder de vlag van SURFacademy, georganiseerd worden. Die bijdrage kan bestaan uit het geven van sessies/trainingen, het aanleveren van documentatie, het actief meeorganiseren en het promoten van de activiteiten in het veld. De SIG leden kunnen, vanuit hun positie, of door het betrekken van andere deskundigen uit het netwerk heel goed aangeven welke onderwerpen zich goed lenen om, ter vervolmaking van het expertisenetwerk, een bijeenkomst aan te wijden en spelen een belangrijke rol in de organisatie van bijeenkomsten. In de bijlage staan alle onderwerpen benoemd die op dit moment belangrijk worden gevonden als onderdeel van het expertisenetwerk. In de loop van de tijd kan deze lijst met inhoudelijke onderwerpen worden aangevuld met nieuwe uit te werken onderwerpen. 11

Werkwijze Onderwerpen en activiteiten waar de SIG aandacht aan meewerkt tot en met augustus 2012 Het selecteren van toetssystemen (seminar is gepland op 13 september, i.s.m. SURFacademy en programmamanagement Toetsing en Toetsgestuurd leren) Digitale itemconstructie en toetsanalyse (masterclass, reeds gepland i.s.m. SURFacademy en programmamanagement Toetsing en Toetsgestuurd leren Seminar Toetstheorie, Toetsprocessen en Educatief beleid/strategie m.b.t. Digitaal Toetsen (allen te organiseren in 2012) Bijeenkomst voor SIG DT leden (Onderwerp en sprekers is afhankelijk van de resultaten / uitkomsten van de enquête) Doelkoppeling Kennis delen Out-of-Pocketkosten Als SIG leden een rol vervullen bij het meewerken aan bijeenkomsten worden of aparte overeenkomsten afgesloten zoals bij de organisatie van de masterclass (inhuur trainers) of worden reiskosten vergoed, of wordt een specifieke opdrachtbeschrijving gemaakt op basis waarvan een vergoeding wordt verstrekt (bijv. dagvoorzitterschap). Er zijn totaalkosten gereserveerd per bijeenkomst (zie bijlage). 12

Congresinformatie Een manier om aan input te komen die verwerkt kan worden tot een nuttig naslagwerk op het expertisenetwerk is het bezoeken van een (internationaal) congres dat een onderwerp behandelt dat relevant is. Doel: 1. SIG leden informeren/uitnodigen over congressen die aansluiten bij het thema (congres agenda) 2. Kennisdissiminatie en verslaglegging (verslagen, white papers, weblectures, linken, presentaties, etc.) Onderstaande conferenties sluiten aan bij de inhoudelijke onderwerpen waar het expertisenetwerk van het programma TTL informatie over wil ontsluiten. Concreet worden de volgende conferenties bezocht (planning 2011-2012) dit betekent echter niet dat per definitie deze conferenties elk jaar bezocht dienen te worden (ligt aan het thema en relevantie). Planning 2011-2012 Conferentie International Conference on Computer Aided Assessment (University of Southampton, UK): 5 en 6 juli 2011, http://caa.ecs.soton.ac.uk/ e-assessment Scotland (University of Dundee, UK): 25 en 26 augustus 2011, http://www.eassessment-scotland.org/ E-ATP (European conference of Association of Test Publishers), 28-30 sept 2011, Tsjechië, http://www.eatpconference.eu.com/ Inhoudelijke thema s SURF 4. International Practices 5. Selectie/implementatie 6. Toetsvormen (portfolio, peerfeedback, MC, toets in beeld, adaptief, etc.) 7. Techniek (beveiliging, infra, toetszalen etc.) 10. Impact (en belangrijke bijeffecten: studiegedrag, samenwerking (boks), BPR) 13. Toetsprocessen, worksflow's 19. Educatief beleid/strategie mbt Digitaal Toetsen van een instelling 4. International Practices 5. Selectie/implementatie 6. Toetsvormen (portfolio, peerfeedback, MC, toets in beeld, adaptief, etc.) 7. Techniek (beveiliging, infra, toetszalen etc.) 10. Impact (en belangrijke bijeffecten: studiegedrag, samenwerking (boks), BPR) 13. Toetsprocessen, worksflow's 19. Educatief beleid/strategie mbt Digitaal Toetsen van een instelling 1. Toetssystemen 7. Techniek (beveiliging, infra, toetszalen etc.) 13

11. Toetsverwerking (alle activiteiten als de toets klaar is) 12. Longitidinaal meten van effecten en resultaten (toetsuitslagen) 14. Itemanalyse (naar het item zelf kijken) (zelfde als 16) 15. Effect van digitaal toetsen en van volgsystemen op korte en lange termijn, benchmarking en learning analytics 17. Normeren, standaarden opstellen (wanneer krijgt iemand een voldoende), kalibreren ATP (Association of Test Publishers, Innovations in Testing), 26-29 feb 2012, Palm Springs, http://www.innovationsintesting.org/ e-assessment in Practice (Cranfield University, UK): 13 en 14 juni 2012, http://www.cranfield.ac.uk/cds/symposia/ea.html 1. Toetssystemen 7. Techniek (beveiliging, infra, toetszalen etc.) 11. Toetsverwerking (alle activiteiten als de toets klaar is) 12. Longitidinaal meten van effecten en resultaten (toetsuitslagen) 14. Itemanalyse (naar het item zelf kijken) (zelfde als 16) 15. Effect van digitaal toetsen en van volgsystemen op korte en lange termijn, benchmarking en learning analytics 17. Normeren, standaarden opstellen (wanneer krijgt iemand een voldoende), kalibreren International Conference on Computer Aided Assessment (University of Southampton, UK): 5 en 6 juli 2011, http://caa.ecs.soton.ac.uk/ 4. International Practices 5. Selectie/implementatie 6. Toetsvormen (portfolio, peerfeedback, MC, toets in beeld, adaptief, etc.) 7. Techniek (beveiliging, infra, toetszalen etc.) 10. Impact (en belangrijke bijeffecten: studiegedrag, samenwerking (boks), BPR) 13. Toetsprocessen, worksflow's 19. Educatief beleid/strategie mbt Digitaal Toetsen van een instelling 14

Werkwijze Bezoek van diverse congressen (5) door SIG DT leden. Iemand die een congres bezoekt krijgt als opdracht het verzamelen van wezenlijk interessante informatie voor het programma TTL in de vorm van een verslag. Dit verslag wordt beschikbaar gesteld aan een breder publiek en komt ter beschikking van het expertisenetwerk (Het verslag wordt gemaakt aan de hand van een vast format, vastgesteld door het kernteam en het programmamanagement vanuit SURF. Voor congresdeelname geldt dat vanuit het programma Toetsing en Toetsgestuurd Leren de kosten voor deelname aan de congressen door het programma worden vergoed (d.w.z.: reiskosten, overnachting en entreekaarten). Doelkoppeling Kennis delen / verspreiden / genereren Out-of-Pocketkosten Bezoeken van 3 conferenties door 1 lid van het kernteam: 3 * EUR 1000,- = EUR 3000 SIG DT Prijs Om te de bekendheid van digitaal toetsen te stimuleren stellen we als SIG DT een prijs ter beschikking. De TISeL prijs (Toetsen is Leuk prijs). Doel: Het vergroten van de bekendheid en acceptatie van digitale toetsing in NL. Initiatieven die voor de prijs in aanmerking kunnen zijn bijvoorbeeld bestaande werkwijzen waarmee aantoonbaar resultaat is verkregen, ideeën voor procesoptimalisatie, kwaliteitsverhoging, studenttevredenheid e.d. Kandidaten, practices of projecten kunnen zichzelf kenbaar maken bij de prijsorganisatie of de organisatie kan zelf een kandidaat zoeken. De ingezonden kandidaten, practices of projecten moeten bij voorkeur aan de volgende criteria voldoen: Het moet een bijdrage leveren aan het verminderen van studie-uitval en/of het verminderen van de werkdruk van de docenten. Het moet innovatief en creatief zijn en mag best leuk zijn Het moet gericht zijn op het verbeteren/verhogen van kwaliteit of kwantiteit van digitaal toetsen binnen het onderwijs. Het moet reëel uitvoerbaar zijn of al ingevoerd. Het idee wordt ingebracht door een SIG DT lid (LinkedIn lid) Wat zijn de randvoorwaarden; 1. De prijs is een bezoek aan één van de genoemde conferenties. 2. De bijdrage is eenmalig en moet gezien worden als een stimulans. 15

3. Tijdens de eerstvolgende SURF Onderwijsdagen wordt de prijs uitgereikt en het idee/practice/project gepresenteerd door de winnaar. 4. Over de uitslag kan niet worden gecorrespondeerd. Werkwijze 1. Het SIG DT lid dient een oplossing in. (virtuele oplossingen/ideeënbus - via SURFsite) 2. Het indienen kan tot 1 jan 2012 3. Per lid mogen meerdere ideeën worden ingeleverd 4. Het intellectueel eigendomsrecht idee blijft eigendom van de inzender. 5. Het kernteam van de SIG DT krijgt hiervan een melding (geautomatiseerd) 6. Het kernteam van de SIG DT plaatst het idee op de website 7. Na 1 januari bepaald de jury de winnaar 8. De jury reikt op de jaarlijkse SURF OWD de prijs uit De jury zal bestaan uit een wisselende samenstelling van 3 personen. De jury heeft 1 vast lid: Alexander Kremers (Voorzitter). De overige 2 leden worden gekozen uit het kernteam. Bij de keuze van de leden wordt er rekening gehouden met de herkomst van de indieners van het idee/oplossing. Doelkoppeling Kennis bundelen Out-of-Pocketkosten De SIG-DT prijs Inzicht in impact van digitaal toetsen De invoering van digitaal toetsen in het Hoger Onderwijs kent vele veronderstellingen. Zo zou het de uitval onder studenten moeten terug dringen en zou het de werkdruk van docenten moeten verminderen. Het economisch voordeel dat hiermee te behalen zou zijn loopt in de miljoenen (Koopmans & Tevens, 2009). De prognoses die door Koopmans en Tevens worden gedaan zullen echter getoetst moeten worden. Tevens zijn er omtrent de implementatie van grootschalig digitaal toetsen veel vragen. Als evaluatie van het TTL programma en het vergroten van het inzicht omtrent implementatie stellen we voor om de brug te slaan tussen de wetenschap en de onderwijspraktijk. Door wetenschapsgebieden als pedagogiek, onderwijskunde, psychometrie en bijvoorbeeld management te informeren over de vragen die zich voor doen zouden we het onderzoek hieromtrent kunnen stimuleren. Vanuit het programma TTL wordt een evaluatieplan opgesteld om het effect van het programma te kunnen meten. De aanpak van deze evaluatie sluit idealiter aan op de aanpak van het Nulmeting onderzoek. Bij het opstellen van de opdrachtbeschrijving en de offerte om het 16

onderzoek uit te voeren sluiten de 2 activiteiten (onderzoek nulmeting en programma-evaluatie) op elkaar aan. Nulmeting Marcel Penners en Silvester Draaijer hebben een plan ontwikkeld om een 0-meting te doen rondom de penetratiegraad van digitaal toetsen in het hoger onderwijs. Dit onderzoek geeft een fundatie voor een white paper over de kosten en opbrengsten van digitaal toetsen. Het programma TTL zal deze nulmeting in de vorm van een uit te voeren opdracht aanbieden. Het programmamanagement TTL treedt op als opdrachtgever. Er wordt een projectplan aangeleverd op basis waarvan het onderzoek kan starten en de white paper kan worden geschreven. De te behandelen onderwerpen daarbij zijn. 1. T.a.v. toetsen met gesloten vragen: welke toets- en itembanksystemen worden op dit moment ingezet in het Hoger Onderwijs. 2. T.a.v. andere toetsvormen: welke andere toetssystemen worden op dit moment ingezet in het Hoger Onderwijs. 3. Wat zijn typische kosten voor licenties, hardware, software en ondersteuning die gerekend worden bij deze systemen. 4. Wat is de bijbehorende opzet van de ondersteuningsorganisatie. 5. Wat is de omvang van de inzet van deze systemen in het onderwijs (aantallen formatieve en summatieve toetsafnames, aantallen vragen in de itembanken). Hoe verhoud dat zich tot de totale hoeveelheden toetsafnames op deze instellingen. 6. Typische ontwikkelinspanning voor digitale toetsen en opbouwen itembanken. 7. Wat zijn de toekomstverwachtingen rondom digitaal toetsen bij deze instellingen. 8. Wat zijn de verwachte effecten rondom digitaal toetsen bij deze instellingen met betrekking tot studiesucces, verminderen van werkdruk en kwaliteitsverhoging. Werkwijze 1. Nader literatuuronderzoek 2. Identificeren van belangrijkste stakeholders bij instellingen voor HO in NL. 3. Online vragenlijst ontwikkelen 4. Online vragenlijst uitzetten t.b.v. dataverzameling 5. Telefonisch interviews met power-users 6. Verwerken van data 7. Ontwikkelen van rapport Doelkoppeling Kennis genereren Out-of-Pocket kosten 17

Er zal getracht worden om de financiering van dit project separaat te realiseren. Schatting van projectkosten: Ongeveer EUR 15.000 18

Integreren Portfolio en SIGMA In 2011 wordt onderzocht in hoeverre het onderwerp Portfolio s aansluit bij het onderwerp digitaal toetsen, zoals dat is afgebakend door de SIG Digitaal Toetsen. Naar verwachting zijn er meerdere raakvlakken te vinden. Er bestaat momenteel een SIG die zich helemaal heeft toegelegd op portfolio s (genaamd: NL Portfolio). De SIG NL Portfolio heeft een jaarplan voor 2011 opgesteld en de activiteiten daarin vastgelegd. Deze activiteiten zal de SIG NL Portfolio ook uitvoeren en Marcel Penners zal vanuit het kernteam van de SIG Digitaal toetsen als linking pin naar de SIG Porfolio functioneren. De SIG SIGMA, voorheen een onafhankelijke SIG, aangesloten bij SURF, is opgeheven. Gezien het feit dat SIGMA zich volledig had toegelegd op digitale toetsing met betrekking tot wiskunde was een opgaan in de nieuwe SIG Digitaal Toetsen een logische vervolgstap. Om het wiskundige en SIGMA gedachtegoed te waarborgen is een kernteamlid (in de persoon van Andre Heck) van SIGMA toegetreden tot het kernteam van de SIG Digitaal Toetsen. Belangrijkste punten van Sigma: 1. schakelmoment van VO naar HBO-WO platform Wiskunde Nederland (hebben onderwijscommissies) 2. digitaal toetsgestuurd leren in het HO ondersteund en vormgegeven kan worden (NKBW, webspijkeren, onbetwist) Belangrijkste punten van de SIG NL Portfolio: 1. In het jaarverslag van de SIG Portfolio staan de activiteiten benoemd 2. Voor de SIG DT is het van belang dat, via de linking-pin, de activiteiten van de SIG Portfolio worden overgedragen aan de SIG DT 19

Jaarlijkse evaluatie activiteiten en planning De SIG DT is geschreven voor de periode juni 2011 t/m jan 2014. Het budget is aangevraagd en gereserveerd voor een periode van een jaar. Het plan wordt in juni 2011 ter goedkeuring aangeboden aan Surf. Nadat het plan is vastgesteld door Surf zal het kernteam de activiteiten jaarlijks evalueren en rapporteren aan de SIG DT leden en SURF. Indien door voortschrijdend inzicht nieuwe relevante en nuttige activiteiten nodig worden geacht dan wordt er een aanvullend plan geschreven voor 2012. Jaarlijks in juni wordt het SIG meerjarenplan opnieuw bekrachtigd door het programma TTL, en een eventuele aanvulling beoordeeld. In de bijlage zijn alle activiteiten weergegeven die vanuit het programma TTL georganiseerd worden en waarbij de SIG DT activiteiten aansluiten en/of een onderdeel zijn. Aan de SIG DT is gevraagd om bij alle SURFacademy activiteiten (3e kolom) de rol op zich te nemen van: Kwaliteitsbewaker met betrekking tot de inhoud Leveren van sprekers/experts Binnen eigen kring promoten van SURFacademy evenementen. In de kolom inventarisatie/onderzoek/publicatie (4e kolom) zijn opdrachten beschreven die vanuit het programma TTL worden uitgezet. Vanuit de SIG bestaat de mogelijkheid deze opdrachten als uitvoerder aan te nemen. Indien een of meer leden uit de SIG een opdracht willen aannemen dan wordt door de uitvoerder een (beknopt) plan van aanpak op gesteld op basis waarvan het programmanagement TTL besluit om de opdracht daadwerkelijk te verlenen. Via de LinkedIn groep Digitaal Toetsen en via mogelijke andere kanalen worden de SIG leden attent gemaakt op de opdrachten die te vergeven zijn. Indien de SIG leden geen van allen gehoor geven aan de te vergeven opdracht dan benadert het programmamanagement andere personen om de opdracht alsnog te kunnen laten uitvoeren. 20

Begroting 2011 Verwachtte SIG kernteamkosten Activiteit Lobbyen Bijeenkomst leden 2100 euro 2500 euro Kosten SIG leden expertisenetwerk Whitepapers Stand van zaken onderzoek (Nulmeting) Toetskwaliteit Toetsverwerking 15.000 euro 3000 euro 1200 euro Bijeenkomsten (onder vlag SURFacademy) Seminar Hoe selecteer ik een digitaal toetssysteem 2500* euro Masterclass Digitale toets- en itemconstructie en analyse 4000* euro Werkgroep Realisatie Expertisenetwerk Vergoeding uren SIG-kernteamlid Activiteiten NL Portfolio 6000 euro 2000 euro Congresbezoeken SIG kernleden Int.Conf.on Comp Aided Assessment Southampton E-ATP (Praag) e-assessment Scotland (Dundee) Totaal: 1500 euro 1500 euro 0 euro* 41.300 euro Toelichting *: dit zijn de totale kosten voor de gehele activiteit. Hiervan komt een deel ten goede aan de SIG leden die betrokken zijn bij de organisatie van de activiteit (De overige kosten gaan op aan logistiek, catering en overige organisatie. Hiervoor is SURF verantwoordelijk, niet de SIG). Voor het seminar Hoe selecteer ik mijn toetssysteem geldt dat de SIG leden die in de werkgroep zitting nemen die het seminar voorbereid reiskosten worden vergoed en eventueel dagvoorzitterschap. Voor de masterclass digitale toetsconstructie geldt dat de kosten voor de participatie van 2 SIG kernteamleden worden vergoed (in totaal 3000 euro aan voorbereidingskosten en trainersvergoeding). Het e-assesment Scotland congres wordt bezocht door de projectmanager van het programma TTL. Kosten hiervoor worden niet in de SIG kostenoverzichten in het jaarplan meegenomen. 21

Indien de te schrijven whitepapers door niet SIG-leden worden uitgevoerd dan vervalt dit budget voor de SIG en wordt het toegekend aan de opdrachtnemers die de whitepapers ook daadwerkelijk schrijven. 22

Bijlagen 1. Overzicht programma TTL incl. SIG DT activiteiten 2011 2. Voorgenomen SIG DT activiteiten 2012 3. Voorgenomen SIG DT activiteiten 2013 23

1. Overzicht programma TTL incl. SIG DT activiteiten 2011 Eindproduct SURF academy activiteit Inventarisatie/ onderzoek/ publicatie Rol SIG Kosten gemaakt door SIG Totaal Toetssystemen lijsten met productbeschrijvingen, beschrijvingen van ervaringen van gebruikers, requirement beschrijvingen, overzicht van wat door welke instelling wordt gebruikt SURFacademy seminar 13 sept Hoe Selecteer ik mijn toetssysteem Kwaliteitsbewaking inhoud en organisatie seminar. PR en communicatie mbt seminar via Linked-in (internationale) practises onderzoeksverslag Opdracht; uitvoeren stavaza in het HO (zie voorstel Silvester Draaier /Marcel Penners) 2 SIG kernleden treden op als trekker kosten uitvoeren onderzoek, 15.000 euro, 15.000 Selectie/implementatie projectplannen, beschrijvingen van ervaringen, overzichten met tips&tricks, uit te delen sjabloon SURFacademy seminar 13 sept Hoe Selecteer ik mijn toetssysteem Kwaliteitsbewaking inhoud en organisatie seminar. PR en communicatie mbt seminar via LinkedIn Congres informatie Verslagen en publicaties van congressen Opdracht; Wordt verzorgd door SIG kernteam Kosten congres bezoek (3 in 2011) kosten per congres, per persoon, 1000 euro 3000 Toetsvormen beschrijvingen van de verschillende vormen. Overzicht van wat waar wordt gebruikt (welke instelling), beschrijving SURFacademy masterclass 21 nov en 6 dec Digitale toetsconstructie Opdracht; literatuur verzamelen, inhuur trainers masterclass 2 kernteamleden treden op als trainer. Voorbereiden en geven training, ca 4000 4000

van toepasbaarheid van elke vorm en analyse Toetskwaliteit publicatie op basis van uitgevoerd onderzoek Opdracht; schrijven whitepaper SIG neemt opdracht aan, schrijft projectplan ter goedkeuring voor programmamnt en schrijft whitepaper. Kosten schrijven whitepaper (uren) 3000 Toetsmateriaal voorbeeldtoetsen/demo's Opdracht; toevoegen aan prototype en def versie exp.netwerk. uit te voeren door werkgroep realisatie exp. netwerk Uren werk groep Toetsverwerking (alle activiteiten als de toets klaar is) Opdracht; Maken materiaal Maken document 1200 Itemconstructie, het schrijven van items Literatuur samenvatten, handleidingen maken, oefenopdrachten (educatief materiaal), syllabus masterclass SURFacademy masterclass 21 nov en 6 dec Digitale toetsconstructie en analyse Opdracht; Maken materiaal Maken materiaal, is onderdeel masterclass 21 nov Overdracht SIG Portfolio aan SIG DT Zie werkplan SIG Porfolio 1 kernteamlid is de Linking Pin Overdracht en kosten voor reeds geplande activiteiten 200200022 2000 Toetsanalyse Literatuur samenvatten, handleidingen maken, oefenopdrachten SURFacademy masterclass 21 nov en 6 Opdracht; Maken materiaal Maken materiaal, is onderdeel 25

(educatief materiaal), syllabus masterclass dec Digitale toetsconstructie en analyse masterclass 21 nov Maken vormgeving, functioneel ontwerp en prototype ex. netwerk prototype Opdracht; Maken prototype 1 kernteamlid neemt zitting in werkgroep die prototype gaat maken. Uren werkgroep Lid; werkgroep realisatie expertisenetwerk 3000 2. Voorgenomen SIG DT activiteiten 2012 Eindproduct SURFacad emy activiteit Bijeenkomst Inventarisatie/ onderzoek/ Publicatie Toetstheorie (CAT, KTTH, Psychometrie IRT, etc.) literatuur, overzicht van cursussen, handleidingen te organiseren in 2012 literatuur verzamelen, seminar voorbereiden Toetsprocessen, worksflow's beschrijvingen van practises, modellen te organiseren in 2012 voor te bereiden voor seminar Portfolio Effect van digitaal toetsen en van volgsystemen op korte en lange termijn, benchmarking en learning publicatie op basis van uitgevoerd onderzoek resultaten presenteren tijdens een bijeenkomst Opdracht: onderzoekspublicatie 26

analytics Educatief beleid/strategie m.b.t. Digitaal Toetsen van een instelling beschrijvingen van business cases (waarom DT), publicatie over strategische relatie tussen DT en educatief instellingsbeleid seminar aan wijden in 2012 Opdracht: schrijven white paper als vertrekpunt voor seminar 3. Voorgenomen SIG DT activiteiten 2013 Eindproduct SURF academy activiteit Inventarisatie/ onderzoek/publicatie Techniek (beveiliging, infra, toetszalen etc.) beschrijvingen van practises, publicatie met tips en tricks, lijsten met producten, kostenmodellen, organisatiemodellen, leveranciersovereenkomsten, scenariobeschrijvingen inoutsourcen, handreiking strategische keuze maken (wat voor software ea) Te organiseren in 2013 Opdracht: whitepaper over schrijven Longitidinaal meten van effecten en resultaten (toetsuitslagen) handleidingen en literatuur Opdracht: onderzoeksopdracht 27

Normeren, standaarden opstellen (wanneer krijgt iemand een voldoende), kalibreren literatuur, overzicht van cursussen, handleidingen Te organiseren in 2013 voor te bereiden voor seminar. Verzamelen en inventariseren Vraag en antwoord dynamische functie van het exp.netwerk Opdracht: Werkgroep realisatie expertisenetwerk neemt deze opdracht aan Lijst met experts dynamische functie van het exp.netwerk Opdracht: Werkgroep realisatie expertisenetwerk neemt deze opdracht aan Maken vormgeving en functioneel ontwerp exp. Netwerk prototype Opdracht: Werkgroep realisatie expertisenetwerk neemt deze opdracht aan Inrichten exp.netwerk Maken duurzaam onderhoudsplan exp.netwerk daadwerkelijk gerealiseerd expertisenetwerk plan van aanpak Opdracht: Werkgroep realisatie expertisenetwerk neemt deze opdracht aan Programmamanagement i.s.m. SIG kernteam 28