4 De mogelijkheden van ICT in het toetsproces

Transcriptie

1 4 De mogelijkheden van ICT in het toetsproces In dit hoofdstuk staat de vraag centraal op welke manier we ICT kunnen gebruiken om toetsvragen en toetsen te ontwikkelen, te beheren, af te nemen en te verwerken. Ook staan we stil bij de vraag aan welke organisatorische voorwaarden daarvoor moet worden voldaan. Bij het ontwikkelen en beheren, en bij het afnemen van toetsen gaan we uitsluitend in op de mogelijke rol van ICT bij gesloten toetsvragen. Pas bij het verwerken van toetsen gaan we ook in op vrije tekstopdrachten. De reden daarvoor is dat ICT alleen bij de verwerking van dit type vragen een betekenisvolle rol kan spelen. 4.1 Gesloten toetsvragen ontwikkelen en beheren in een itembank Het beheer van toetsen en toetsvragen is de verantwoordelijkheid van de toetsmakers en toetsgebruikers. In de toetscyclus neemt het beheer een centrale plaats in (zie ook het toetsfasenmodel in hoofdstuk 2 van dit boek). Vanuit het oogpunt van efficiency en effectiviteit is het het beste om alle vragen en alle toetsen per instelling onder te brengen in één systeem. Te vaak nog hebben docenten al hun vragen in hun eigen computer in Word-bestanden gezet. Het kan makkelijker en beter, bijvoorbeeld met behulp van een itembank. Een itembank is een geautomatiseerd toetssysteem, waarin een groot aantal toetsvragen opgeslagen kan worden. De programmatuur om deze database te vullen, doorzoeken, ordenen en om selecties van toetsvragen te maken het een itembanksysteem. Bij sommige instellingen bevat een itembank meer dan vragen. Het gebruik van een itembank voor de opslag van vragen en het samenstellen van toetsen heeft een aantal belangrijke voordelen (Dousma, Horsten et al. 1997): een vraag hoeft slechts éénmaal te worden ingetypt; een vraag is snel te verbeteren, waardoor typografische fouten voorkomen kunnen worden; kwalitatief slechte vragen zijn snel op te sporen en te verbeteren; er is een goed zicht op de totale itembank en de verdeling naar leerstofonderdelen (eenvoudig te onderhouden); toetsvragen zijn eenvoudig te selecteren voor opname in een toets; meerdere toetsversies, bijvoorbeeld om spieken tegen te gaan, zijn simpel te produceren; opslag van analyseresultaten kan worden geautomatiseerd Een itembank ontwerpen Voordat een itembank op instellings-, opleidings- of disciplineniveau gevuld wordt met toetsvragen, is het van essentieel belang om de hoofdindeling van de itembank vast te leggen. Daarvoor zijn de volgende beslissingen van belang: 1. bepaal de doelen die de itembank moet dienen; 2. bepaal de hoofdstructuur van de itembank en metadatamodel. Het doel van een itembank Om te beginnen is het van belang om na te gaan voor welke functie een itembank in het onderwijs ingezet gaat worden. Gaat het om toetsvragen voor digitaal onderwijsmateriaal, om toetsvragen en toetsen voor zelfstudie en oefendoeleinden, of gaat het om toetsvragen en toetsen voor diagnostische of summatieve doeleinden? Het kan zijn dat binnen één itembank toetsvragen en toetsen worden opgenomen voor al deze functies. Het is echter ook mogelijk om voor elke pagina 60 van 60

2 toepassing een andere itembank op te zetten. Een vuistregel kan zijn om toetsvragen die ingezet worden in digitaal onderwijsmateriaal niet in een itembank op te slaan. De inzet in dergelijk materiaal moet bij voorkeur direct gekoppeld worden aan dat materiaal. Zelfstudie en oefening Gaat het om materiaal voor zelfstudie en oefening, dan kan het lonen om daarvoor een aparte itembank op te zetten. Een itembankfunctionaliteit zoals die beschikbaar is in standaard digitale leeromgevingen kan hiervoor al erg geschikt zijn. De kwaliteitsbewaking van dergelijk toetsmateriaal hoeft aan minder stringente eisen te worden onderworpen en hangt direct samen met de inhoud van een specifieke cursus of vakinhoud. Voor dergelijke toetsbanken is het aan te raden om zo contextrijk mogelijk toetsvragen te ontwikkelen; door contextrijke formulering van de stam van vragen, door te variëren in vraagtype, door plaatjes, geluid of film te gebruiken en goede feedback te formuleren, wordt de inzet van ICT bij toetsing waardevoller. Hiermee komen de didactische voordelen van ICT en beeldschermafname het best tot hun recht. Houd er echter wel rekening mee dat het formuleren van goede feedback de ontwikkeltijd voor toetsvragen erg kan vergroten. Sterker nog, het formuleren van feedback kan net zo veel of zelfs meer tijd kosten dan het maken van een goede toetsvraag. Voor de oefenfunctie kan die inspanning echter zeker de moeite waard zijn. Diagnose en certificering Gaat het om materiaal voor zelfstudie-, formatief-diagnostische of summatieve doeleinden, dan is het aan te raden om deze in één itembank onder te brengen. Gezien de kwaliteitseisen voor dergelijke toetsvragen en toetsen is het dan ook zinvol om die uitgebreid te beheren. Wel is het belangrijk om binnen de structuur van die itembank het onderscheid duidelijk te maken tussen vragen die worden gebruikt voor de enerzijds diagnostische en anderzijds summatieve doeleinden. Toetsvragen die aan studenten voorgelegd worden voor summatieve doeleinden, moeten immers goed beschermd worden zodat deze niet al bekend zijn en verspreid kunnen worden voorafgaand aan dergelijke toetsen. Verder kan gesteld worden dat in itembanken voor diagnostische of summatieve doeleinden meer gestandaardiseerd zou moeten worden op vraagtype. Grote variatie in vraagvormen maakt het namelijk moeilijker om de psychometrische kwaliteit van dergelijke vragen te kunnen. Als we uitgaan van een systematisch proces van toetsvraagontwikkeling, levert veel variatie in vraagvorm bovendien een extra complex proces op voor wat betreft scholing, screening e.d. Ook maakt veel variatie in vraagvorm het moeilijker om gestructureerd toetsmatrijzen te ontwikkelen. Vraagvormen zoals matrixvragen en matchingsvragen bevragen studenten immers op veel informatie en onderwerpen tegelijkertijd. Dat maakt dat het moeilijker wordt om representatieve selecties uit een databestand te maken. De kans op overlap van vragen of de kans dat vragen antwoorden weggeven voor andere vragen, neemt dan sterk toe. Tot slot kan gezegd worden dat de inzet van veel complexere vraagtypes en het gebruik van multimedia bij summatieve beeldschermafname sneller kan leiden tot technische onbetrouwbaarheid van dergelijke systemen. De complexiteit van de techniek maakt dat deze eerder kan falen. Juist om die reden moet het dan ook mogelijk zijn om terug te vallen op schriftelijke afname, waarvoor bij voorkeur vraagtypen worden gekozen die ook op die wijze te beantwoorden en snel nagekeken kunnen worden. Welke primaire vraagvorm kiest u? pagina 61 van 61

3 Ja/nee-vragen: Geschikt voor bevragen van een breed spectrum van onderwerpen doordat certificerende toetsen in het algemeen tussen de 70 en 100 vragen moeten bevatten om enerzijds de toetslengte acceptabel te houden en anderzijds nog een waardevolle toetsanalyse te kunnen doen. Bovendien geschikt voor afname met pen en papier met automatische verwerking zodat beeldschermafname niet per se nodig is. Multiplechoicevragen met vier alternatieven: Geschikt voor bevragen van een smaller spectrum van onderwerpen doordat certificerende toetsen in het algemeen tussen de 40 en 50 vragen moeten bevatten. Dat is nodig om enerzijds de toetslengte acceptabel te houden en anderzijds nog een waardevolle toetsanalyse te kunnen doen. Bovendien geschikt voor afname met pen en papier met automatische verwerking zodat beeldschermafname niet per se nodig is. Multimediale vraagvormen (hot-spot, drag&drop, matching, dropdown, aanvulvragen): dit is meer geschikt voor het bevragen op een hoger cognitief niveau, niet meer geschikt voor pen & papierafname met automatische verwerking. Als summatieve beeldschermtoetsing plaatsvindt zal er een betrouwbare omgeving beschikbaar moeten zijn. Een casusachtige vraagvorm (stam met meerdere vragen of stellingen): deze vorm is meer geschikt voor het bevragen op een hoger cognitief niveau, niet meer geschikt voor pen-en-papierafname met automatische verwerking. Voor itembankdoeleinden met een certificerend karakter veroorzaakt een dergelijke vrijheid een exponentiële toename van de complexiteit om toetsvragen te selecteren. De hoofdstructuur van de itembank bepalen Een itembank moet gezien worden als een relationele database. In die database zitten verschillende toetsvragen met de daarbij behorende gegevens (stam, alternatieven, feedback, teksten, plaatjes, beoordelingscriteria, etc.). Meestal zijn databases zo ingericht dat per vakinhoudelijk onderwerp een subverdeling duidelijk zichtbaar is: domein/competentie, o subdomein/subcompetentie, subsubdomein/subsubcompetentie toetsvraag A toetsvraag B toetsvraag C Het kiezen en afbakenen van deze onderwerp-/domeinindeling is vaak al een moeilijk proces en dient ook op het hoogste niveau bediscussieerd te worden. Vaak komt boven op deze indeling bijvoorbeeld nog een indeling naar organisatorische eenheid, zoals een faculteit of vakgroep, waartoe het domein behoort, en soms zelf een specifieke docent. Dat laatste zou echter vanuit het oogpunt van schaalvergroting en specialisatie ongewenst zijn. Daarnaast bevat een itembank de mogelijkheid om aan toetsvragen metadata te koppelen. Metadata betekent letterlijk: data over data (gegevens over gegevens), het is beschrijvende informatie over eigenschappen van data, in dit geval toetsvragen. Een metadatabeschrijvingsmodel bestaat over het algemeen uit een verzameling van kenmerken, waarbij elk van die kenmerken een (vastgestelde) waarde aan kan nemen. Een kenmerk kan bijvoorbeeld moeilijkheidsgraad zijn en deze kan alleen de vastgestelde waarden gemakkelijk, gemiddeld of moeilijk aannemen. Een metadatamodel kan de volgende kenmerken bevatten: pagina 62 van 62

4 Gebruiksgegevens (bijvoorbeeld wie heeft een vraag het laatst bewerkt of wie is inhoudelijk verantwoordelijk voor een vraag); Validatie (bijvoorbeeld wanneer gescreend en door wie); Bevragingsniveau (bijvoorbeeld kennis, begrip, toepassing of denken); Kenmerken over functie van toetsvraag (bijvoorbeeld oefenen, diagnostisch, summatief ); Inhoudelijke kenmerken of attributen, zoals onderwerpen of trefwoorden; Levenscyclus(bijvoorbeeld wanneer beantwoord en door wie); Vraagvorm (bijvoorbeeld multiple choice, multiple answer, TF en Match); Psychometrische kenmerken (bijvoorbeeld moeilijkheidsgraad van de toetsvraag). Een metadatamodel heeft een verband met de structuur van de itembank. Elk van de kenmerken zou namelijk kunnen resulteren in aparte databestanden, waarbij het gegeven kenmerk de primaire ordeningssleutel is. Over het algemeen is het vakinhoudelijk onderwerp echter de belangrijkste ordeningssleutel. Daaroverheen worden dan metadatagegevens geplaatst. Als de metadata erg uitgebreid zijn, dan zal ook de tijd voor het invoeren en beheren (met name volledigheidscontrole) van de itembank toenemen. Het invoeren zal dan zeker niet meer overgelaten kunnen worden aan individuele docenten. Kader 22 Voorbeeld van een metadatamodel (White 2002) e3an staat voor Electrical and Electronics Engineers Assessment Network. Het e3an-project houdt zich bezig met bouwen en in de lucht houden van een netwerk voor toetsing van engineering assessments voor docenten in Groot-Brittannië. Het project wordt geleid door Su White en is een samenwerking tussen de universiteiten van Southampton, Bournemouth en Portsmouth. Voor dit project zijn richtlijnen geschreven voor de makers van de toetsvragen. Veel van deze richtlijnen hebben betrekking op technische aspecten. In dit voorbeeld zijn het echter de metadata die van belang zijn. In het project wordt aan de makers van toetsvragen een Word-sjabloon aangeleverd 6. Het sjabloon zorgt ervoor dat de metadata gestructureerd ingevoerd worden, waardoor de kwaliteit van de metadata gewaarborgd blijft. Type of Item Time Level Discrimination Cognitive Level Style Theme Subthemes Related Themes Description Keywords Validation question guidelines? Peer Reviewed Reviewer(s) Comments What sort of question? Expected to take in mins Introductory, intermediate, advanced or postgraduate Threshold Students, Good Students, Excellent Students Knowledge, understanding, application, analysis, synthesis, evaluation Formative, Summative, Formative or Summative, Diagnostic Which Subject Theme was this question designed for? What part of that theme? What Other Themes might find this question useful? Free text for use by people browsing the database Free Text, for use by people searching the database. e.g. mention theorem tested Can you confirm that this question has been validated and conforms to the e3an Date of peer review (dd/mm/yyyy) Who was/were the reviewer(s)? Comments made by the reviewer. 6 pagina 63 van 63

5 Veel meer informatie over het opzetten van een gezamenlijke itembank is ontwikkeld in het kader van een project van de Digitale Universiteit Digitale Voortgangstoetsen Tweedegraads Lerarenopleiding. Daarvan komt informatie beschikbaar via de website van de Digitale Universiteit: > Producten > Digitale Toetsen > Digitale Voortgangstoetsen Tweedegraads Lerarenopleidingen > On-line presentatie Digitaal toetsbeheer Individuele docenten zien het beheer van toetsen en toetsvragen in een itembank al snel als een probleem. Het beeld van de docent die al zijn vragen in MS-Word heeft staan is bekend. Het nadeel van uitgebreide toetsbestanden in Word is dat het niet eenvoudig is om vragen toe te voegen of te selecteren. Zonder verdere technologische of organisatorische ondersteuning kunnen deze docenten zo echter wel hun werk uitvoeren. Flexibilisering op dit terrein zou een eerste innovatiestap kunnen zijn. Soms hebben docenten zelf een toetsbank aangelegd in een eenvoudig databasesysteem. De toetsen worden per tentamen geprint. Kader 23 Docenten van de Haagse Hogeschool zetten zelf een Filemaker-bestand in elkaar De Haagse Hogeschool, afdeling Industrieel Productontwerpen, biedt probleemgestuurd onderwijs (PGO). De studenten moeten gedurende een aantal weken werken aan verschillende probleemtaken. De afsluiting bestaat uit een toets over het gehele blok. De toets bepaalt het grootste deel van het eindcijfer. De opleiding heeft bepaald dat deze eindtoetsen altijd moeten bestaan uit ja/nee/-vragen. In elke toets moeten minimaal 80 vragen gesteld worden. Elk jaar staan de docenten weer voor de taak om deze toetsen samen te stellen. Een lastig karwei. Met het programma TIBS kan aan een itembank gewerkt worden, maar de docenten ervaren het als een te grote drempel om dat programma te bemachtigen : Het is in bezit bij specialisten in een andere afdeling en ze moeten op een of andere manier geld krijgen om een dergelijk programma te gebruiken. Twee docenten besluiten daarop om zelf maar een itembankje te maken. Een van de docenten is handig in het werken met het databaseprogramma Filemaker. Hij ontwerpt een eenvoudige itembank, waarin plaatjes en extra kenmerken toegevoegd kunnen worden. Met deze itembank kan gemakkelijk een random selectie van vragen gemaakt kan worden en kan de toets mooi uitgeprint worden. Gedurende één blok besluiten ze onderling om elke week elk 50 toetsvragen te formuleren en in de bank te plaatsen. Zo zullen ze aan het eind van het blok zo n 600 vragen hebben verzameld. Het is een flinke klus, maar ze houden elkaar aan de afspraak. Dan komt de tijd om de toets te maken. Ze maken een random selectie van ongeveer 100 vragen. Ze controleren de uitdraai en verwijderen de pagina 64 van 64

6 slechte vragen, verbeteren de nog overgebleven taalfouten en controleren of onderwerpen niet dubbel voorkomen. Na afloop van de toets verwerken ze de toetsanalyse (die gedaan wordt door een centrale dienst van de instelling) in de itembank. Van elke vraag is dan bekend bij welke toets deze vraag is voorgelegd en welke Rit-waarde bij een vraag hoort. Ongeveer zes jaar achter elkaar volgen ze deze procedure. Een goede investering vinden de docenten zelf! Voor geïnteresseerden is het Filemaker-bestand te vinden in de website van Flexibilisering van Toetsing. Natuurlijk moet individuele docenten op dit moment worden aangeraden om gebruik te maken van eenvoudige programma s zoals Respondus, MicroTest of Diploma (Brownstone) die voor minder dan 100,- te koop zijn. In Nederland stellen bijna alle instellingen een elektronische leeromgeving (zoals Blackboard, N@Tschool! of WebCT) beschikbaar te stellen aan studenten en docenten. Daarin kunnen docenten zelf toetsbanken maken. Binnen die omgevingen hebben de docenten bovendien de vrijheid om zelf te bepalen hoe ze de toetsen aanmaken, beheren en uitleveren. Deze systemen worden steeds meer gebruikt. Ook zijn er (gratis) internetomgevingen beschikbaar om eenvoudige toetsbanken in aan te maken (Quia, TOIA, EDU, WebAssign). Toch zien docenten er vaak tegenop om hun bestaande toetsmateriaal in Word-formaat handmatig om te zetten naar de elektronische leeromgeving, omdat ze denken dat het knip- en plakwerk een tijdrovende bezigheid is. De huidige programma s bieden echter steeds meer faciliteiten om het inlezen van tekstbestanden te vergemakkelijken. Een andere zorg die docenten hebben is dat hun toetsbank niet geconverteerd kan worden naar andere omgevingen. Ze stellen de terechte vraag of hun investering in tijd niet verloren gaat door almaar opkomende nieuwe technologieën en standaarden. De opkomst van de huidige IMS QTIstandaard lijkt echter definitief door te zetten, waardoor dat probleem steeds minder reëel wordt. Bovendien evolueren bestaande eenvoudigere itembankprogramma s zodanig dat ze bijna altijd een uitvoermogelijkheid hebben naar bijvoorbeeld WebCT of Blackboard (Respondus, Diploma, MicroTest). Anders is transport van data via QTI files meestal mogelijk (zie Kader 25). Als het gaat om het opzetten van itembanken op het niveau van vakgroepen, opleidingen of gehele instellingen, dan zijn geavanceerde itembankprogramma s nodig. Te denken valt dan aan programma s zoals TestVision, Etude, Questionmark Perception, FastTest en Examiner. Deze programma s bieden te veel functies voor de docenten die zo nu en dan iets met een itembank willen doen, maar zijn zeker noodzakelijk voor specialisten om dergelijke grote bestanden goed te kunnen beheren. Voorbeeld van succesvol toetsbeheer Een succesvol voorbeeld van het gezamenlijk opbouwen en beheren van een itembank is het Maastrichtse probleemgestuurd onderwijs (zie onderstaande kadertekst). Binnen dat onderwijs wordt door middel van een voortgangstoets alle studenten op eindniveau op hun kennis getoetst. Gedurende hun studieloopbaan moet de score op die toets steeds beter worden. Van cruciaal belang is uiteraard dat de disciplinair ingerichte vragen van de voortgangstoets op het beoogde eindniveau van de opleiding worden geformuleerd. Hierdoor kan de student zijn vorderingen ten opzichte van de gestelde eindtermen evalueren in vergelijking met de resultaten van het jaarcohort. De uitslag geeft studenten verder inzicht in het bereikte kennisniveau in de verschillende (sub)disciplines (Wijnen en Muijtjens 2002; Leunissen 2004). pagina 65 van 65

7 Kader 24 Voortgangstoetsing medische faculteiten Groningen, Maastricht, Nijmegen De Universiteit van Maastricht was de eerste Nederlandse Universiteit die het probleemgestuurd onderwijs (PGO) als integraal onderwijsmodel heeft gebruikt in haar curricula. Vooral bij de medische faculteit is dit een aansprekend succes gebleken. Een belangrijke rol binnen dat PGO was weggelegd voor de voortgangstoets. De voortgangstoets is bedoeld om de voortgang in kennisontwikkeling gedurende de studie te toetsen. De voortgangstoets wordt daartoe vier maal per jaar (in september, december, maart en mei/juni) afgenomen bij alle studenten Geneeskunde van het curriculum Iedere voortgangstoets bestaat uit ongeveer 250 items op het gebied van de geneeskunde, die zijn afgestemd op de eisen van het artsexamen. Voor elke voortgangstoets worden de vragen volgens een vaste verdeelsleutel (de zogenoemde blauwdruk) geselecteerd uit een geautomatiseerd bestand, waarin alle vragen die door de disciplines zijn aangeboden voor gebruik in de voortgangstoets zijn opgeslagen. In de verdeelsleutel is vastgelegd hoeveel vragen er per onderwerp (bijvoorbeeld ademhalingsstelsel; hart- en vaatstelsel) en per vakdiscipline (bijvoorbeeld celbiologie; psychiatrie) gemiddeld per jaar en per toets geselecteerd moeten worden. Deze vorm van voortgangstoetsing bestaat sinds het studiejaar 1999/2000 en is een gezamenlijke onderneming van de geneeskundeopleidingen in Groningen, Maastricht en Nijmegen. Met ingang van het studiejaar 2001/2002 wordt ernaar gestreefd dat Groningen, Maastricht en Nijmegen alle drie ongeveer evenveel vragen per toets aanleveren. Voortgangstoetscommissies Aan elke deelnemende faculteit is een Voortgangstoetscommissie benoemd die bestaat uit vertegenwoordigers van drie disciplineclusters: Basisvakken, Klinische vakken en Gedragswetenschappelijke vakken. De voortgangstoets wordt namens die drie facultaire commissies samengesteld door de Interfacultaire Voortgangstoets Commissie (IVC), die bestaat uit vertegenwoordigers van de drie facultaire commissies. Hoe komt de voortgangstoets tot stand? De disciplines die participeren in het onderwijs in de opleidingen Geneeskunde in Groningen, Maastricht en Nijmegen maken de vragen. Elke discipline is verantwoordelijk voor de inhoudelijke kwaliteit van de geleverde vragen. De vragen worden door de disciplines voorzien van een literatuurreferentie. Dit is een verwijzing voor studiedoeleinden waarmee ook de juistheid van de aangegeven antwoordsleutel gecontroleerd kan worden. Elke vraag die in de itembank voor de voortgangstoetsing wordt opgenomen, wordt eerst beoordeeld door ten minste een van de drie facultaire Voortgangstoetscommissies. De inhoudelijke correctheid wordt onderzocht en de eenduidigheid van de formulering wordt gecontroleerd. Ook wordt gekeken naar de relevantie voor de arts. Zonodig overlegt de commissie met de desbetreffende discipline en wordt de vraag aangepast of uit het bestand verwijderd Automatische toetssamenstelling via een itembank Metadata zijn belangrijk om het overzicht te bewaren van de beschikbare toetsvragen. Ook maken metadata het mogelijk om toetsitems systematisch en efficiënt te ontwikkelen, te vinden en te selecteren. Zeker als toetsen samengesteld moeten worden zijn een goed gekozen metadatamodel en kwaliteitscontrole van de metadata van groot belang. In de meest verregaande vorm van automatisering wordt een summatieve beeldschermtoets immers samengesteld door op basis van een toetsmatrijs willekeurige items uit een bank te trekken. Dat laatste kan dan alleen op grond van zeer betrouwbare metadata. pagina 66 van 66

8 In de praktijk zal dat echter bijna niet mogelijk zijn. Ondanks de nauwkeurige werkwijze kunnen er namelijk snel onverwachte en ongewenste effecten optreden, zoals dat vragen de antwoorden op elkaar verraden (hoewel dit bijvoorbeeld met een itembankfunctie zoals parallelvraag deels kan worden opgelost). In het algemeen is volledige automatisering niet mogelijk en zal bij summatieve toepassing een controle moeten plaatsvinden. Een eerste versie van 'getrokken' toets wordt wel de 'ruwe versie' of 'docentversie' genoemd. Deze wordt voorgelegd aan een toetscommissie of de docent, die de toets helemaal naloopt. Nadat de toets eventueel is aangepast, kan er een studentversie worden uitgedraaid of klaargezet voor beeldschermafname. Kortom, metadata zijn erg belangrijk, want zonder metadata kan niet gewerkt worden met itembanksystemen. Desondanks leveren metadata nog geen sluitend systeem op Itembank bevordert hergebruik en uitwisseling van toetsvragen Een belangrijk aspect bij het opzetten van een itembank is de overweging of de ontwikkelde toetsvragen op langere termijn bruikbaar blijven. Veroudering van toetsvragen Er is een aantal redenen waarom toetsvragen over het algemeen verouderen : door verandering van curricula, door voortschrijdende wetenschappelijke inzichten. Door wijzigen in studieprogramma s, in vakinhouden van cursussen of in leerstofmateriaal (zoals nieuwe drukken van boeken of overstap op andere boeken), kunnen toetsvragen snel niet meer passen bij de inrichting van een curriculum. Ervaringen van de Universiteit Maastricht laten zien dat bijna 80% van de oude vragen bij hernieuwde screening toch moet veranderen of moet vervallen. Dat maakt dat beheer en screening van toetsvragen een zeer intensieve bezigheid kan zijn. Om deze activiteiten toch zo efficiënt mogelijk te kunnen uitvoeren, is het noodzakelijk om een metadatamodel zo te kiezen dat bijvoorbeeld hercodering van vragen relatief eenvoudig is en dat specifieke toetsitems snel gelokaliseerd en aangepast kunnen worden. Verandering van technologie Ook zijn er technologische ontwikkelingen waardoor bij de keuze en inrichting van een itembanksysteem goed nagedacht moet worden over standaardisering en metadata. Door voortschrijdende technische ontwikkelingen en het komen en gaan van toetsprogramma s en hun leveranciers moeten toetsvragen immers zo nu en dan tussen systemen verplaatst worden. Bij het uitwisselen van toetsmateriaal (content) van de ene leeromgeving naar de andere, kan gekozen worden voor de volgende mogelijkheden: 1. Het materiaal kan handmatig overgezet worden, bijvoorbeeld door het te printen en opnieuw in te voeren, of door het digitaal te knippen en plakken tussen de verschillende leer- of toetsomgevingen. Zodra er meer gegevens overgezet moeten worden, zal dit echter al gauw een dure aangelegenheid worden. Hiervoor kunnen bijvoorbeeld uitzendkrachten ingehuurd worden. 2. De verschillende leer- of toetsomgevingen kunnen met behulp van speciaal geschreven stukjes software (interfaces) aan elkaar verbonden worden. Zo kunnen de verschillende omgevingen de beschikbare gegevens met elkaar uitwisselen (voorbeeld Rechten On-line (Gorissen 2003)). 3. Er kan een gezamenlijk format worden afgesproken, waarmee de gegevens uitgewisseld kunnen worden. Het verdient dan de voorkeur om dit uitwisselformaat gezamenlijk op te stellen, onder de verantwoordelijkheid van een neutrale instelling. Dit voorkomt dat het pagina 67 van 67

9 uitwisselformaat te veel toegespitst is op de specifieke situatie van een van de leeromgevingen. Dat zou acceptatie van het uitwisselformaat door de andere leveranciers belemmeren. Op dit moment is IMS-QTI de meest geaccepteerde specificatie. Programma s die op deze specificatie zijn gebaseerd, kunnen in principe elkaars toetsvragen (zonder verdere conversie) gebruiken. In de praktijk geldt dat echter alleen voor de simpeler vraagtypen (Gorissen 2003), maar een begin van een duurzame standaardisering is er. Kader 25 Question and Test Interoperability (IMS ) Het IMS Global Learning Consortium heeft een aantal jaren geleden aangegeven een neutraal uitwisselingsspecificatie, question and test interoperabilty (QTI) te ontwikkelen voor: vragen (items) onderdelen met bij elkaar horende vragen (sections) complete toetsen (assessments) Hiermee wil IMS systemen van verschillende leveranciers integreren en de uitwisseling van toetsvragen en toetsen tussen de verschillende instellingen faciliteren. Hoewel de QTI-specificatie nog geen internationale standaard is, blijkt deze nu stabiel genoeg voor leveranciers om hun software op aan te passen. Vanwege de omvang en complexiteit van de QTI-specificatie is er ook een QTI-Litevariant ontwikkeld. Deze bevat minder mogelijkheden, maar is eenvoudiger te ondersteunen vanuit een applicatie. Er zijn op dit moment al meerdere programma s die QTI-uitwisseling ondersteunen. Voorbeelden hiervan zijn Questionmark Perception, Respondus, WebCT, IMS Assesst Designer, Canvas en Learn Exact. Voor meer specifieke informatie over QTI en de toepasbaarheid daarvan verwijzen we naar andere initiatieven van de Digitale Universiteit en SURF (Gorissen 2003). Op de website van de Digitale Universiteit is daar meer over te vinden: > Publicaties > Quickscan QTI. 4.2 Randvoorwaarden voor digitale toetsafname Naast het ontwikkelen en beheren van toetsen en toetsvragen zijn het afnemen van de toetsen en het terugontvangen van de resultaten belangrijke fasen in het toetsproces. Globaal gezien zijn daarvoor twee mogelijkheden. Studenten krijgen de toets schriftelijk voorgelegd en ze moeten schriftelijk antwoorden (bijvoorbeeld op een voorgeprint invulformulier), of ze krijgen de toets via het beeldscherm aangeboden en kunnen via het beeldscherm antwoorden: beeldschermafname. De vraag die in deze paragaaf wordt beantwoord is op welke manier we ICT kunnen gebruiken om toetsvragen en toetsen via het beeldscherm af te nemen bij studenten en aan welke organisatorische voorwaarden daarvoor moet worden voldaan. Er is op dit moment al veel mogelijk bij het afnemen van zelftoetsen met de computer. Bijna alle standaard digitale leeromgevingen zoals Lotus Learning Space, Blackboard, N@Tschool! en WebCT hebben een ingebouwde toetsomgeving, waarmee het mogelijk is studenten een toets te laten maken op elke willekeurige pc met internetaansluiting. pagina 68 van 68

10 4.2.1 Support en ondersteuning voor docenten Is het noodzakelijk om de toetsen onder enigszins gecontroleerde condities af te nemen, dan is het nodig om docenten actieve ondersteuning te bieden. Zeker vanuit de optiek van summatieve beeldschermtoetsing moeten de omstandigheden waaronder de toets plaatsvindt optimaal zijn. Dat stelt eisen aan de inrichting van de zaal, maar vooral ook aan de bedrijfszekerheid van met name de computers en het toetsprogramma. Verder moeten de bewaking van de resultaten en het ingeleverde materiaal geborgd worden zodat gegevens niet verloren gaan of verminkt raken. Het reserveren van computerzalen en zeker grote zalen met veel pc s is een zeer vervelende klus voor docenten. Zeker als zij zich niet ondersteund voelen door het management, het roosterbureau of hun IT-dienst. Over het algemeen staan bijvoorbeeld systeembeheerders niet te springen om gewone pc-lokalen voor iets anders in te zetten dan voor regulier studentenwerk. Dat brengt namelijk veel werk met zich mee omdat ze dan pc s moeten opschonen, voorzien van specifieke beveiligingssoftware, speciale accounts, etc. De Graaff (2002) geeft tot slot de volgende aanwijzingen voor docenten die overwegen om te tentamineren via het beeldscherm. Commitment Het management of de onderwijsdirectie vindt de inzet van ICT voor toetsing belangrijk en is bereid extra tijd te geven voor pilots en het ontwikkelen van expertise. Het systeembeheer vindt de inzet van ICT voor toetsing belangrijk, wil meewerken en heeft gelegenheid extra tijd en energie daaraan te besteden. Het roosterbureau vindt de inzet van ICT voor toetsing belangrijk en heeft zeggenschap over de inroostering van pc-zalen. Er zijn voldoende collega s die inzet van ICT voor toetsing belangrijk vinden. Er vallen afspraken te maken over de werkverdeling en het beheer van vragenbestanden. De docenten hebben tijd en zijn gemotiveerd. Infrastructuur Is er voor iedere student die getoetst moet worden een pc beschikbaar? En als dat niet zo is, is het dan mogelijk om studenten in twee sessies direct achter elkaar te toetsen, door ze andere of randomvragen aan te bieden? Als u gebruik moet maken van meerdere pc-zalen, is uw opleiding dan bereid om extra surveillanten in te zetten voor tentamens die met ICT worden afgenomen? De pc s dienen geschikt te zijn om de software waarmee het tentamen wordt afgenomen vlot en zonder problemen te draaien. Cursus Studenten moeten van tevoren kunnen oefenen met de manier van tentamineren. Biedt het cursusprogramma ruimte om studenten te laten oefenen? Is er een locatie beschikbaar waar studenten hun tentamenuitslagen kunnen inzien? Biedt de software mogelijkheden om de tentamenresultaten in detail per student door te nemen? Kosten en baten Is er sprake van een vak dat minimaal een aantal jaren gegeven wordt? Is het vakgebied zo stabiel dat de vragen minimaal een aantal jaren bruikbaar blijven? Gaat het om grote groepen studenten? pagina 69 van 69

11 4.2.2 Een bedrijfszekere infrastructuur Zoals we hiervoor beschreven is het belangrijk dat het toetsbeheer uitbesteed kan worden en ondersteund wordt door specialisten om het beslag op tijd en middelen van individuele docenten en opleidingen te minimaliseren. Dat laatste kan alleen als er een (semi-)permanent beveiligde en bedrijfszekere toetsinfrastructuur aanwezig is op centraal instellingsniveau. Met toetsinfrastructuur duiden we aan alle componenten, afspraken en werkwijzen die gezamenlijk een toetsomgeving vormen. De volgende componenten zijn van belang: Toetssoftware De itembanksoftware (administratorfuncties, beheersfuncties, auteursfuncties, studentfuncties, analysefuncties e.d.) De eventuele webserversoftware voor uitleveren van de toetsen Functionarissen Toetsontwikkelaars (docenten e.d.) Toetsdeskundigen Toetsbeheerders Roosteraars Fysieke omgeving Zaal met daarin onder andere pc s, tafels, stoelen, wanden, borden, lampen, klimaatcontrole en afscheidingselementen Netwerkomgeving Pc s waarop studenten de toetsen kunnen doen Netwerksystemen, bekabeling, etc. Procedures en afspraken Handboeken Instructiemateriaal Procedurebeschrijvingen Werkafspraken Het is belangrijk dat de fase van toetsafname en toetsverwerking zonder technische haperingen verloopt. De student heeft immers meestal een beperkte hoeveelheid tijd tot zijn beschikking om een prestatie te leveren. Elke technische storing lijdt tot tijdverlies en tot verlies van concentratie. Wanneer is een toetsinfrastructuur dan betrouwbaar? Als die 99,9% up-time is (100% eigenlijk) Als er directe toetsapplicatie troubleshooting beschikbaar is tijdens toetsafname Als er directe netwerk troubleshooting beschikbaar is tijdens toetsafname Als er directe uitleg van toetsinterface beschikbaar is via bijvoorbeeld surveillanten Als inputacties van studenten direct gelogd en geback-upt worden (zodat bij het uitvallen van de apparatuur of per ongeluk verlaten van een toets de tussenresultaten niet verloren gaan). Als toetsresultaten direct worden vastgelegd. Als er schone pc-systemen zijn met de juiste software en multimediacomponenten die op de juiste wijze geïnstalleerd worden. Bovengenoemde eisen leiden tot een toetsomgeving waarbij sprake is van een robuust toetsprogramma met robuuste onderliggende databases waarin gegevens zijn opgeslagen. Daarnaast leiden de eisen tot de opzet van een infrastructuur waarbij diverse specialisten aanwezig zijn tijdens toetssessies. Dit leidt tot een oplossing waarbij de pc s niet vervuild mogen zijn door pagina 70 van 70

12 ongeautoriseerde gebruikers die systeemconfiguraties kunnen wijzigen (bijvoorbeeld besmetten met virussen of verwijderen van essentiële systeemcomponenten om alle programma s zonder haperingen te kunnen laten functioneren). De pc s moeten met andere woorden onder (streng) toezicht staan. De organisatie moet zich er als geheel voor inspannen om deze condities te creëren Een beveiligde infrastructuur Instellingen mogen van studenten eisen dat ze bij certificerende toetsen een authentieke persoonlijke prestatie leveren. Instellingen moeten daarvoor echter wel randvoorwaarden creëren dat dat mogelijk is. Dat stelt daarom eisen aan de inrichting van de toetsomgeving en aan de netwerkomgeving. Pc s mogen bijvoorbeeld niet zodanig worden geplaatst dat studenten elkaars vragen en antwoorden kunnen zien. Verder mogen studenten geen ongeoorloofde bronnen raadplegen. Dat kunnen traditionele middelen zijn zoals boeken, syllabi of spiekbriefjes, maar ook zeker bij beeldschermtoetsing moderne middelen zoals het internet, en chat- en smsmogelijkheden voor onderling overleg. Beveiliging moet vanuit deze eisen bij verschillende onderdelen van de toetsinfrastructuur worden gerealiseerd. Netwerkbeveiliging Mogelijkheden om het netwerk te beveiligen zijn: De toegang tot het internet of het LAN-netwerk afsluiten in voorkomende gevallen moeten beide echter wel weer selectief toegankelijk zijn voor bepaalde bronnen of programma s om bijvoorbeeld berekeningen te kunnen uitvoeren, specifieke multimediale bronnen te bekijken of specifieke databases te doorzoeken. Chat-, sms- en mailmogelijkheden afsluiten. Ervoor zorgen dat studenten geen toegang hebben tot de itemdatabases. Kader 26 Mogelijkheden om netwerken af te sluiten Er zijn op de markt verschillende programma s beschikbaar om pc s af te sluiten van ongeoorloofd netwerk- of pc-gebruik. De programma s kunnen het internet bijvoorbeeld zo afsluiten dat alleen toegang gekregen kan worden tot de webserver waarop het toetsprogramma staat. Voorbeelden van dergelijke software zijn: Secure-exam Browser (via Winshield Secure PC (via Security Officer (via Questionmark Secure Browser (via Meer algemene oplossingen kunnen gerealiseerd worden binnen de standaard netwerkomgeving zoals Windows Networking of Novell Networking, al dan niet in combinatie met programma s zoals Citrix die werkstations reduceren tot simpele terminals. Fysieke ruimtebeveiliging Om te voorkomen dat studenten kunnen spieken, is het bijvoorbeeld noodzakelijk: de pc s op voldoende afstand van elkaar te plaatsen; de pc s rug-aan-rug op te stellen; de pc s te scheiden door schotten aan te brengen (wat er overigens weer toe kan leiden dat studenten op een andere manier spieken, omdat hierdoor het zicht van de surveillant op de student wordt belemmerd). pagina 71 van 71

13 Figuur 3: Computeropstelling Hanzehogeschool Groningen Figuur 4: Voorbeeld van een computerzaal waarbij de rug-aan-rugopstelling de kans op afkijken vermindert Surveillance en begeleiding moeten goed geregeld worden. Menselijke surveillanten zijn nog steeds noodzakelijk om fraude afdoende tegen te gaan. Er zijn wel vele technische hulpmiddelen beschikbaar; denk aan chipkaartidentificatie, irisidentificatie en vingerafdrukidentificatie. Toch hebben die identificatiemogelijkheden elk slechts een beperkte functionaliteit. Zo kan een student inloggen met de chipcard van een ander. Irisidentificatie kan niet voorkomen dat studenten met elkaar overleggen. Zelfs vingerafdrukken zijn eenvoudig na te maken. Menselijk toezicht blijft daarom noodzakelijk. Ook in de literatuur over dit onderwerp wordt dit bevestigd (Bull en McKenna 2003). De surveillanten dienen goed getraind te zijn in het afnemen van dit soort toetsen. Ze moeten weten welke toetsen gereed zijn, specifieke technische of onderwerptechnische kennis hebben en directe toegang hebben tot systeembeheerders voor als er een systeem uitvalt. Bij voorkeur is een surveillant een IT-toetsdeskundige Een faire infrastructuur Afgezien van de beveiligingsaspecten en betrouwbaarheidsaspecten zijn er nog meer eisen te stellen aan pc-zalen voor summatieve beeldschermtoetsing. Dergelijke zalen zullen aan bepaalde minimale eisen moeten voldoen om een faire toetsafname te kunnen garanderen. Deze eisen zijn: er moet voldoende licht zijn; de lichtval op de computerapparatuur moet goed zijn; er moet weinig lawaai zijn (stille computers); er moet voldoende koeling zijn (warmte van computers moet goed afgevoerd kunnen worden); er moet voldoende ruimte zijn voor studenten om met pen en papier te werken; er moet goed zitmeubilair zijn; de zaal moet goed kunnen worden afgesloten om geluiden van buiten te kunnen voorkomen. Al de bovenstaande eisen zouden kunnen leiden tot de veronderstelling dat summatieve beeldschermtoetsing alleen mogelijk is met speciaal voor dat doel gebouwde pc-zalen. Dat zou ook het mooist zijn, ware het niet dat dat een grote investering zou vergen. In het vorige hoofdstuk zijn we al dieper ingegaan op de financiële consequenties van flexibeler toetsen met behulp van ICT. pagina 72 van 72

14 Een veel minder rigoureuze oplossing voor een goede toetsinfrastructuur zou het gebruiken van de reeds bestaande computerinfrastructuur kunnen zijn. Bijna elke instelling of opleiding heeft wel een zaal waar kleinere of grotere aantallen pc s opgesteld staan. Anders is er wel een studielandschap of een centrale ruimte met pc s. Het moet dan mogelijk zijn om de netwerkomgeving in tentamenperiodes met voorrang beschikbaar te stellen voor het toetsdoeleinden, bijvoorbeeld onder regie van de centrale toetsorganisatie. De verantwoordelijkheid komt dan te liggen bij het centraal toetscentrum, waar de toetsen, de verroostering en de surveillance geregeld worden. De University of Dundee volgt bijvoorbeeld die aanpak. Een probleem is op bijna elke instelling dat het gemiddeld aantal werkstations in pc-zalen vrij klein is. Dit stelt extra eisen aan de toetsafname en vraagt speciale aandacht voor de kwantiteit en de wijze van ter beschikking stellen van de toetsvragen aan studenten. Kader 27 Wat als er veel te toetsen studenten zijn en weinig pc s? Mogelijke oplossingen zijn: Studenten in shifts binnenlaten in de toetsruimte. Als slechts de helft van de studenten tegelijkertijd getoetst kan worden, is het mogelijk de groep te splitsen. De eerste afname wordt dan direct gevolgd door de tweede afname, zodat de studenten elkaar niet kunnen zien of spreken. Denk daarbij aan het ter beschikking stellen van een wachtruimte voor de tweede groep studenten. Communicatie tussen de twee groepen moet voorkomen worden. Toetsen random aanbieden, alternatieven random aanbieden. Beeldschermafname van toetsen maakt het mogelijk om de toetsvragen in willekeurige volgorde per student voor te leggen. Zo kunnen toetsen bestaande uit bijvoorbeeld zestig multiplechoicevragen opgebouwd worden uit groepen van tien vragen. Per groep en per student kunnen dan verschillende varianten van vragen worden getoond. Wilbrink (Wilbrink 1983) geeft als methoden voor het construeren daarvan de itemdelenmethode en de rompvraagmethode. Tot slot zou mogelijk een toevlucht gezocht kunnen worden in adaptief toetsen. Dat is echter niet eenvoudig te realiseren. Zie daarvoor Kader 8. Om flexibilisering van toetsing in de verdere toekomst op bredere schaal mogelijk te maken, zouden IT-diensten en gebouwbeheerdiensten in de planvorming en het ontwerp van toekomstig pc-voorzieningen voor onderwijsinstellingen op voorhand rekening moeten houden met de toepassing als toetsomgeving. Alle eisen die van belang zijn voor die toepassing zouden direct in de uitvoering meegenomen kunnen worden. Kader 28 Voorbeelden van pc-zaal inrichten ten behoeve van beeldschermtoetsing Er is op de markt veel computermeubilair beschikbaar waar pc s op vele verschillende manieren in verwerkt kunnen worden. Pc s kunnen bijvoorbeeld onder tafels worden geplaatst, monitoren op tafels, maar dan zodanig dat deze ook snel weg te werken zijn. Door een pc-zaal met dergelijk meubilair in te richten, kan een zaal eenvoudig en snel voor andere doeleinden worden ingezet zoals voor gewone instructie of een talenpracticum. pagina 73 van 73

15 Dus: Niet zo Maar bijvoorbeeld zo Of zo pagina 74 van 74

16 Of zo Of zo (maar dan met grotere tafels) Als het onderwijs het belang van de toetsen en ICT onderkent, is het noodzakelijk en moet het mogelijk zijn om het totale supportsysteem op te zetten en een grootschalige pc-infrastructuur met voorrang te ontwikkelen en toe te wijzen voor toetsdoeleinden of daar op zijn minst duidelijke procedures voor te hebben. 4.3 Digitale toetsverwerking van gesloten vragen Een belangrijk onderdeel van het toetsproces is het verwerken van de resultaten op een toetsvraag of op een toets als geheel. De meest evidente verwerking van een individuele toetsvraag is of deze pagina 75 van 75

17 goed of fout is beantwoord en welke inhoudelijke feedback gegeven moet worden. Zeker bij beeldschermafname waarbij de student direct terugkoppeling krijgt is dat belangrijk. De verwerking van een gehele toets is echter van een andere orde. De scoregegevens kunnen namelijk statistisch worden verwerkt via een toets- en itemanalyse: een zogenoemde psychometrische analyse. Hieronder gaan we nader in op deze analyse. Daarna beschrijven we het verschil tussen verwerking van schriftelijke en via het beeldscherm afgenomen gesloten vragen Analyseren van toetsen, toetsvragen en resultaten Bij de toets- en itemanalyse kunnen allerlei interessante gegevens berekend worden over de toets als geheel en over de individuele toetsvragen. Het directe oordeel van studenten vormt hiervoor in principe de eerste bron van informatie. Commentaar van studenten Het verdient aanbeveling om na elke toets aan de studenten te vragen wat zij ervan vonden. De vragen die ze op commentaarbriefjes zouden kunnen beantwoorden zijn onder andere: Was de toets een afspiegeling van de leerstof? Waren de vragen moeilijk of gemakkelijk? Hoe vond je de omvang van de toets? Waren de vragen duidelijk? Sloten de antwoordalternatieven elkaar uit? Was er voldoende, te weinig of te veel tijd? Was de toets goed te lezen? Natuurlijk zijn terloopse opmerkingen van studenten ook de moeite van het onthouden waard. Als bijvoorbeeld veel studenten in de koffiepauze klagen over de onduidelijkheid van een bepaalde vraag, is er alle aanleiding een nader onderzoek in te stellen. Het zal voor zich spreken dat het verzamelen van commentaar bij beeldschermtoetsing moeilijker is dan bij schriftelijke toetsing. Zeker als studenten varianten van eenzelfde toets krijgen wordt het moeilijker om deze terugkoppeling te krijgen. Analyse van toetsscores De belangrijkste vragen waarop een toets -en itemanalyse antwoord moet geven zijn: Waren de vragen van het juiste niveau? Maakten de vragen onderscheid tussen studenten die de stof beheersen en studenten die de stof niet beheersen (discriminerend vermogen)? Hoe betrouwbaar was de toets? Analyse van toets en toetsvraag Een toetsanalyse levert meestal een waarde op voor de betrouwbaarheid van een toets als geheel. Deze waarde geeft aan in welke mate een toetsresultaat niet door toeval tot stand komt maar systematisch is en wordt meestal uitgedrukt in de correlatiecoëfficiënt. De waarde kan bepaald worden door bijvoorbeeld de toets te verdelen in twee helften. Als de correlatie tussen beide reeksen toetsscores 0 blijkt te zijn, is de toets onbetrouwbaar. Is hij 1, dan is de toets zeer betrouwbaar: hij meet zeer nauwkeurig! Een typische analyse van een toetsvraag levert over het algemeen de volgende gegevens op: KR20: een schatting van de betrouwbaarheid van een toets. p-waarde: het aandeel studenten dat het juiste alternatief heeft gekozen. a-waarden: het aandeel studenten dat het verkeerde alternatief heeft gekozen en wel de desbetreffende afleider x. pagina 76 van 76

18 Rit-waarden: de mate waarin een vraag onderscheid maakt tussen goede en slechte studenten. Het gaat hier om de correlatie tussen het item en de totale toetsscore: deze kan variëren van +1 (iedereen met een hoge toetsscore heeft dit item goed) en 1 (iedereen met een hoge toetsscore heeft dit item fout). Uitgebreide informatie over deze gegevens en de interpretatie daarvan is te vinden in de literatuur o.a. (Dousma, Horsten et al. 1997; Heijnen en Meeder 1999; Berkel en Bax 2002). Op de website Flexibilisering van Toetsing van de Digitale Universiteit zijn daarnaast andere elektronische bronnen beschikbaar Verschil tussen verwerking van schriftelijke en via het beeldscherm afgenomen gesloten vragen Bij een schriftelijke toets met gesloten vragen wordt er voor studenten in eerste instantie een set formulieren geprint met daarop de vragen. Bekend van die toets is de zogenoemde antwoordsleutel: welk alternatief is voor welke vraag het correcte alternatief? Deze sleutel is over het algemeen digitaal beschikbaar voor gebruik in de digitale toetsanalysesystemen. De studenten moeten hun antwoorden op gesystematiseerde formulieren aangeven. Dat zijn in principe optisch leesbare formulieren. Er zijn verschillende varianten van dergelijke formulieren. De eenvoudigste betreft genormeerde ponskaartachtige formulieren. Daarop zijn alleen de meest elementaire velden aanwezig. De meest vergaande vorm is die waarbij de functie van vragenformulier, antwoordformulier en optisch leesbaar formulier in één hardcopyformaat beschikbaar is. Dit maakt in principe geheel op maat gemaakte toetsen mogelijk. Het is echter zeer bewerkelijk om dergelijke formulieren te maken. Daarom wordt in dat opzicht meestal gekozen voor een middenweg. Het vragenformulier is een apart document (vaak gewoon een Word document). Het antwoordformulier bezit die informatie niet, maar er zijn standaardvarianten voor bijvoorbeeld toetsen met tweekeuzevraagstukken, vierkeuzevraagstukken of ander specifiekere uitvoeringsvormen. Scannen en analyseren De formulieren met de antwoorden van de studenten moeten optisch worden ingelezen. Dit proces bestaat uit twee delen: 1. Het scannen van de formulieren Bij het scannen wordt door middel van een scanapparaat (dit kan ook een kopieerapparaat zijn met een scanoptie) een digitale kopie gemaakt van het scanformulier (meestal in TIF-formaat). 2. Het omzetten naar een analyseerbaar bestand Deze TIF-bestandjes worden vervolgens vergeleken met een sjabloon van het scanformulier. De gegevens die de student heeft ingevuld, worden dan vertaald in ASCII-tekens en opgenomen in een TXT-bestand. Tijdens dit onderdeel van het proces komt het programma scanformulieren tegen die niet compleet, onduidelijk of niet eenduidig zijn ingevuld. Deze formulieren worden op een scherm aangeboden aan iemand die belast is met toetsverwerking. Deze persoon dient dan een beslissing te nemen over wat student heeft ingevuld. Tijdens het analyseren met een extern analysepakket gebeurt er het volgende: het sleutelbestand wordt ingelezen; het antwoordenbestand wordt ingelezen; er wordt door vergelijking van beide bestanden een analyse gemaakt. pagina 77 van 77

19 De antwoorden van de studenten worden vergeleken met de sleutel. Op basis daarvan kan een itemanalyse worden gemaakt, bijvoorbeeld de p- en Rit-waarden. Op basis van deze itemanalyse kan besloten worden bepaalde items die kwalitatief slecht scoren, te verwijderen uit de toets. Ook kan het zijn dat de sleutel verkeerd in de itembank is ingevoerd. Dit kan ook op basis van het commentaar dat studenten hebben kunnen leveren. Nadat items eventueel zijn verwijderd en de sleutel is aangepast, kan er opnieuw een definitieve analyse worden gemaakt. Op basis hiervan worden het gemiddelde en de standaarddeviatie berekend. Deze kunnen de grondslag vormen voor de cesuur (althans bij het gebruik van een relatieve cesuur). Na het invoeren van de cesuur kunnen er uitslagenlijsten worden gegenereerd. Verder is het mogelijk om een feedbackformulier per student af te drukken, waarop zijn score met alle deelnemende studenten wordt vergeleken of met zijn eigen cohort. Soortgelijke informatie kan ook voor attributen worden gegenereerd: zo kan per vak het kwalitatieve aandeel in vergelijking met andere vakken duidelijk worden. Ten slotte is het mogelijk om de analysegegevens van de afzonderlijke items in te voeren in de itembank, zodat deze informatie over de kwaliteit bewaard blijft bij het item en daarmee de kwaliteit van de totale itembank verhoogt. Bij beeldschermafname is de papieren (en analoge) tussenstap verdwenen. Dit heeft als voordeel dat direct na afloop van een toetszitting alle toetsresultaten direct beschikbaar zijn voor zowel de studenten als de docenten. De meeste toetsprogramma voor beeldschermtoetsing hebben een dergelijke analysemodule gewoon ingebouwd. Op dat punt zitten er echter ook wat adders onder het gras in relatie tot summatieve beeldschermtoetsing. Immers, het analyseren van toetsresultaten kan opleveren dat sommige toetsvragen niet goed zijn en uit de toets moeten worden verwijderd. Dit proces vergt nauwkeurige bestudering en afweging en derhalve tijd. Met andere woorden, een score die studenten ontvangen op een toets, direct na een beeldschermafname, is altijd voorlopig en onder voorbehoud. Er kan bovendien gebruik zijn gemaakt van allerlei technieken om studenten verschillende vragen te geven (zoals randomiseren van vragen of antwoorden). Elke student heeft bij een dergelijke afname in principe een unieke toets voorgelegd gekregen. Dat maakt dat toetsanalyse veel ingewikkelder (dan in ieder geval onbetrouwbaarder) is dan met afname met optische formulieren en een vaste set vragen. 4.4 Toepassingsgebied van formatief en summatief toetsen met ICT Als het gaat om het toepassingsgebied van formatief en summatief toetsen met ICT, dan kunnen de figuren 5 en 6 als handreiking dienen. Deze figuren tonen op de horizontale as het aantal toetsafnames dat bij een cursus of onderwerp hoort. Neem daarbij aan dat weinig afnames overeenkomt met ongeveer nul tot vijftig afnames, en dat veel afnames overeenkomt met meer dan duizend afnames. Op de verticale as staat onderaan de situatie weergegeven dat een individuele docent probeert om zonder ondersteuning van ICT iets met toetsing te doen. Iets hoger op de as is de situatie weergegeven dat docenten over eenvoudige itembanksoftware beschikken waarmee ze zelf toetsbanken kunnen opzetten en toetsen kunnen uitprinten (Diploma, MicroTest, Respondus e.d.). In het midden staat de situatie weergegeven waarin de docent de beschikking heeft over een digitale leeromgeving met een ingebouwde toetsmodule (bijvoorbeeld Blackboard). De losse toetsbankprogramma s kunnen (zeker in de toekomst) dan hun toetsvragen via een dergelijke pagina 78 van 78

20 omgeving eenvoudig online aanbieden. Nog hoger op de as staat de situatie aangegeven waarin er een toetsteam beschikbaar is en dat er op instellingsniveau een gespecialiseerd toetsservicecentrum aanwezig is. Het kan ook de situatie voorstellen waarin in groter verband gewerkt wordt aan de ontwikkeling van een itembank. De top van de verticale as representeert de situatie waarin er ook nog eens laagdrempelige voorzieningen zijn om beveiligd summatief te toetsen. Dat levert het volgende beeld op voor de inzet van ICT bij toetsing. Zonder inzet van ICT is een docent min of meer veroordeeld tot schriftelijke afname van toetsen door middel van open vragen of eenvoudige multiplechoicetoetsen. Natuurlijk zal het zo blijven dat open vragen bij weinig afnames de meest effectieve vraagvorm zijn, met of zonder ICT. Als het aantal studenten, en daarmee het aantal toetsafnames echter toeneemt, wordt het steeds lonender om iets met ICT aan te vangen. Bij gemiddelde cursussen in het hoger onderwijs met bijvoorbeeld vijftig studenten begint dit al interessant te worden, zeker als bij gekozen onderwijsmethoden kant-en-klare itembanken beschikbaar zijn. Worden de aantallen nog hoger, dan kunnen ook steeds meer complexe vraagvormen en toetsen worden ontwikkeld en aangeboden aan studenten. Zodra er bovendien ook nog sprake zou zijn een laagdrempelige summatieve toetsomgeving, dan zou ook dat aspect van toetsing met ICT tot volle wasdom kunnen komen. Figuur 5 Toepassingsgebied formatief toetsen Beveiligde toetsomgeivng met toetsservice bureau Figuur 6 Toepassingsgebied summatief toetsen Beveiligde toetsomgeving met serie individuelevaardigheden toetsservice bureau toetsen, online met toetsprogramma in beveiligde serie individuele kennistoetsen, omgeving online met toetsprogramma in beveiligde omgeving Weinig afnames toetsservice bureau serie MC toetsen, online met ELO complexe vaardigheden toetsen met speciaal toetsprogramma Veel afnames Weinig afnames toetsservice bureau serie individuele kennistoetsen, online met toetsprogramma in kleine zaaltjes Veel afnames open vragen Serie MC vragen, pen en papier open vragen Serie MC vragen, pen en papier Individuele docent Individuele docent 4.5 Toetsverwerking van vrije tekstopdrachten Het werken met gesloten toetsvragen in het onderwijs is anders dan het werken met vrije tekstvragen en tekstopdrachten. Toepassingen van open vragen in het onderwijs zijn: Open vragen in tentamencondities: studenten moeten op een gegeven moment onder gecontroleerde condities vragen beantwoorden over een bepaalde vakinhoud. De omvang van gegeven antwoorden bedraagt vaak een kwart tot een heel A4. Tekstopdrachten: studenten moeten in niet gecontroleerde condities grotere hoeveelheden teksten produceren zoals besprekingen van artikelen, practicumverslagen, projectrapporten, het toepassen van theorieën, het analyseren van situaties. De omvang van dergelijke opdrachten is over het algemeen meer dan 2 A4-tjes. Met name het nakijken en beoordelen van open tekstvragen is van een geheel andere orde dan het nakijken van gesloten vragen. Toetsen met multiplechoicevragen worden ook nog vaak analoog, dus handmatig, nagekeken. Docenten kiezen daarvoor omdat ze opzien tegen de logistieke pagina 79 van 79