Digitaal toetsen; Niet hoe het moet, maar hoe het kan Martijn Hoeke DAS Conferentie, 14 november 2013, Utrecht
UITGANGSPOSITIE Summatief toetsen via Blackboard Formatief/diagnostisch toetsen via Maple T.A. VHL omarmt Question Mark Perception 2
Keuze van een toetssysteem 3
EERSTE KEUS VIEL OP QMP Voorlichting QMP Toetsvragen invoeren Diagnostische toets P4 P1 P2 P3 P4 P1 2011/2012 2012/2013 2013/2014 40 studenten 3 PC-lokalen (16 PCs per lokaal) 4 docenten/surveillanten Beveiligde toetsomgeving (STE) 4
TWEEDE KEUS MAPLE T.A. Voorlichting QMP Toetsvragen invoeren Diagnostische toets P4 P1 P2 P3 P4 P1 2011/2012 2012/2013 2013/2014 Training MapleT.A. 64 studenten 4 PC-lokalen 5 docenten/surveillanten Beveiligde toetsomgeving (Proctored Browser) Toetsvragen invoeren Summatieve toets (2x) Toetsvragen invoeren Summatieve toets (4x) Summatieve toets (2x) 5
QMP vs MAPLE T.A. Gebruikersgemak Beperkt in functies Afgeschermd Minder intuitief Veel opties Volledige controle 6
QMP: eenvoudig in gebruik, maar beperkt in opties Gebruiksvriendelijke/intuitieve interface Voldoende vraagtypen om papieren vragen over te zetten naar digitaal Taken worden docent uit handen genomen Invoeren studenten Klaarzetten toets PCs starten vanzelf op in toetsomgeving Geen volledige controle over eigen vragenbank 7
MAPLE T.A.: ENIGE ZELFSTUDIE NODIG, VOLLEDIGE CONTROLE & VEEL OPTIES Interface kent veel opties, maar went snel Standaard vraagtypen zoals in QMP beschikbaar Kracht Maple T.A. zit in question designer welke gebruik kan maken van algoritmes: Noodzakelijk bij algebra Maar ook handig voor andere vakken Volledige controle over: Eigen vragenbank Beveiligde toetsomgeving Deelnemers in cursus 8
Beveiligde toetsomgeving; Exam Policy 9
NOODZAAK EXAM POLICY Toets in webbased, maar enkel studenten die lijflijk aanwezig zijn maken toets Geen mogelijkheid tot hulplijnen Lock down PC: Geen netwerktoegang Geen USB/Hard disk Beperkte keuze software Ander bureaublad 10
SECURE TEST ENVIRONMENT QMP in combinatie met Secure Test Environment (STE), ook te gebruiken met Word, Excel, SPSS, etc. Van tevoren aan te vragen PCs staren vanzelf op Minder flexibel (lokaal wissel etc.) 11
PROCTORED BROWSER Maple TA heeft zogenaamde Proctored Browser Functionaliteit vergelijkbaar met STE Toetsscherm op voorgrond Andere functies PC niet bruikbaar Docent geeft student ter plekke (remote) toegang 12
Digitaal toetsen, meer dan multiple choice 13
VRAAGTYPEN DIGITAAL TOETSEN Kopregel presentatie vaste voettekst 14
MAPLE T.A. QUESTION DESIGNER: MULTIPLE CHOICE REVISITED Alle vraagtypen (en combinaties) Meerdere response velden mogelijk (a/b/c-deelvragen) Gebruik van algoritmes zorgt voor: Variatie in vraag Variatie in antwoorden (naast random volgorde antwoordvolgorde) 15
MULTIPLE CHOICE REVISITED Een voorbeeld: Drie vragen in één m.b.t. DNA/RNA/eiwit 1 goed antwoord 7 foute antwoorden (at random 4 getoond) 16
TEXT MATCH Vrij in te vullen tekstveld Geschikt om terminologie te toetsen Schrijffouten worden afgestraft Spellings varianten zijn in te geven Handmatig nalopen foutieve antwoorden aan te raden -> nieuw goed antwoord toevoegen 17
OPEN VRAAG / ESSAY Vrij in te vullen tekstveld Nakijken blijft handwerk Handschrift altijd leesbaar 18
ADAPTIVE QUESTION DESIGNER: MULTIPLE CHOICE REVISITED Gegeven antwoord bepaalt vervolg. Vraagstuk te complex? Opgave in stukken aanbieden. Met hint/deelantwoord is nog deel punten te verdienen. 19
Praktische overwegingen digitaal toetsen 20
ENKELE VOORDELEN Tijdwinst bij Samenstellen toets Nakijken toets Publiceren resultaat Nakijken (open vragen) kan blind Vaak dezelfde feedback? -> Copy/paste Toetsen direct gearchiveerd 21
MOGELIJKE BEPERKINGEN Groot gedeelte multiple choice Is hier alles mee te toetsen? Studenten leren niet redeneren. Open vragen nog steeds mogelijk Gedrukte bijlage voor tekenvragen etc. 22
OM REKENING MEE TE HOUDEN: Opbouwen toetsvragenbank kost tijd Enige training toetssysteem gewenst Afhankelijk van techniek/internet Bedenken en invoeren toetsvragen interessanter dan nakijken 23
MEER OM REKENING MEE TE HOUDEN: Lezen van een beeldscherm is intensiever Studenten blij met instand (deel)cijfer 24
HOE OM TE GAAN MET: Nabespreken/inzage digitaal tentamen Klassikaal Individueel Op school Thuis Ieder tentamen is anders (een aantal vragen is at random toegekend) 25
Digitaal toetsen: een investering die zich terug verdient Dank aan: Collega s LS&T, voor aangaan avontuur Metha Kamminga, training/vraagbaak MapleT.A. Dr. M.O. Hoeke; martijn.hoeke@wur.nl; +31 (0)58-2846183 Postbus 1528, 8901 BV Leeuwarden 26
Door mij beoogde situatie 27
Oefenen, toetsen, feedback Formatief 2 verplichte oefentoetsjes (omvang 15 min.; 80% goed; 4 kansen) Thuis te maken, geen tijdsbeperking Toegang tot en bekend met toetssysteem Summatief Grote vragenbank, gerandomiseerde vragen Tentamen Feedback Feedback thuis in te zien 28
ENKELE PRAKTISCHE TIPS Maak voor jezelf ook een account aan met studentrechten, dan kun je de toets ook als student controleren. Maak /doorloop altijd een keer de gehele toets. Reserveer computerlokalen dicht bij elkaar in de buurt. Eén surveillant meer dan computerlokalen. Laptop of tablet voor docent (hoofdsurveillant) om studenten toegang te kunnen geven (snel te verplaatsen tussen lokalen) Rooster de eerste keer (op een later tijdstip) ook een schriftelijke toets in (backup) 29
VOOR MEER INFORMATIE: Digitaal toetsen: Tien valkuilen van digitaal toetsen: www.methakamminga.nl/mapleta/euclidesmaart2011.pdf MapleT.A.: http://www.methakamminga.nl/mapleta/index.html Dr. M.O. Hoeke; martijn.hoeke@wur.nl; +31 (0)58-2846183 Postbus 1528, 8901 BV Leeuwarden 30