Toetsing en toetsgestuurd leren

Transcriptie

1 Het verlagen van uitval of werkdruk door digitaal toetsen Toetsing en toetsgestuurd leren Desirée Joosten-ten Brinke In SURF werken hogescholen, universiteiten en onderzoeksinstellingen samen aan grensverleggende ICT-innovaties, met als doel de kwaliteit van het hoger onderwijs en onderzoek te verbeteren. Binnen het themagebied Innovatie in Onderwijs is het programma Toetsing en Toetsgestuurd Leren opgezet. Hierin staan het verhogen van het studiesucces en het verlagen van de werkdruk van docenten centraal. De eerste projecten zijn afgerond of bevinden zich in een afrondende fase. In dit artikel passeert een aantal van deze projecten de revue. Wat hebben ze opgeleverd en wat heeft de praktijk er aan? Inleiding Het verhogen van de rendementen is een belangrijk aandachtspunt bij onderwijsinstellingen. Uit onderzoek blijkt dat toetsing een belangrijke bijdrage kan leveren aan het studierendement (zie ook: van Berkel, Jansen & Bax, 2012). Om ontwikkelingen op het gebied van toetsing te stimuleren heeft SURF in 2010 een programma in het leven geroepen waarmee instellingen uit het hoger onderwijs gesubsidieerd ontwikkel- en onderzoeksprojecten konden uitvoeren. Dit programma maakt deel uit van het thema Innovatie in Onderwijs en kreeg de titel Toetsing en Toetsgestuurd Leren. SURF thema Innovatie in Onderwijs Universiteiten en hogescholen werken samen binnen SURF aan de verbetering van onderwijskwaliteit. Nieuwe ICT-ontwikkelingen en kansen worden gesignaleerd. Instellingen voeren onderwijsexperimenten uit en er ontstaan nieuwe onderwijsdiensten en producten voor het hoger onderwijs als geheel. Binnen het programma Toetsing en Toetsgestuurd Leren voeren universiteiten en hogescholen samenwerkingsprojecten uit rondom digitaal toetsen. Daarnaast denken de instellingen in de special interest group Digitaal Toetsen samen na over de mogelijke inrichting van een gezamenlijke technische infrastructuur voor toetsing. Via dit landelijke expertisenetwerk wordt de ontwikkelde kennis over toetsen gebundeld en beschikbaar gesteld voor het gehele hoger onderwijs. Het programma levert hiermee een belangrijke bijdrage aan het: verhogen van het studiesucces van studenten; verminderen van de werkdruk van docenten; verbeteren van de kwaliteit van digitaal toetsen. SURF coördineert het programma Toetsing en Toetsgestuurd Leren in opdracht van het ministerie van OCW. De financiering is mogelijk gemaakt door de ICT Impuls, een investeringsimpuls van de overheid voor innovatie in maatschappelijke domeinen. Bron: onderwijs/toetsen/pages/programmatoetsingen- ToetsgestuurdLeren.aspx 14 EXAMENS - mei NR 2

2 Universiteiten en hogescholen werken samen aan digitaal toetsen De statistiekfabriek Caspar Groeneveld Projectleider, programmagroep Psychologische Methodenleer UvA. Betrokkenen: Universiteit van Amsterdam (UvA); Universiteit Twente; UMC Utrecht. Het voornaamste doel in dit project - de officiële naam van het project is Computer Adaptieve Monitoring in het statistiekonderwijs - is gerelateerd aan studiesucces, namelijk het effectiever maken van statistiekonderwijs. Statistiek is een bekend struikelblok voor studenten in gamma opleidingen. Het project heeft een inhoudelijk spelprogramma opgeleverd. Dit programma, de Statistiekfabriek, probeert het doel te bereiken door: studenten vanaf dag één van de collegecyclus aan te sporen om te beginnen met studeren waardoor uitstelgedrag tegengegaan wordt en de stof beter wordt bijgehouden; studenten informatie te geven over hun sterke en zwakke kanten, ze te laten oefenen op hun eigen niveau (adaptief) en ze de mogelijkheid te geven om zichzelf te vergelijken met andere studenten uit hun populatie. Zelfinzicht en snelle informatie over niveau en probleemgebieden stimuleert studenten om de stof bij te houden en problemen aan te pakken. Aangezien de Statistiekfabriek ook na de colleges beschikbaar blijft, kunnen studenten hun statistiekvaardigheden ook onderhouden. Het programma is adaptief. Dat wil zeggen dat de items die aan een student aangeboden worden aangepast zijn aan het niveau van die student. Dit CAT algoritme geeft informatie over de gemaakte items terug. Wanneer er voldoende gespeeld wordt, drijven items snel in de richting van hun eigenlijke moeilijkheid. Naast moeilijkheid geeft het systeem ook informatie over de kwaliteit van items. Zo kunnen de items uit de Statistiekfabriek worden gebruikt om bijvoorbeeld tentamens te ankeren en kunnen slechte items geïdentificeerd worden. Docenten kunnen de Statistiekfabriek gebruiken om van de groep studenten te ontdekken waar problemen liggen en die informatie gebruiken in colleges. Ook van individuele studenten kunnen ze zien waar de zwakke plekken liggen. Opleidingen hebben de mogelijkheid om bepaalde onderwerpen uit te zetten binnen de itempool. Zo kan een opleiding besluiten dat bijvoorbeeld opgaven over Grafieken nooit aan de studenten worden aangeboden. Op dit moment wordt de Statistiekfabriek voor het eerst ingezet in het propedeuse onderwijs Statistiek bij Psychologie aan de UvA met circa 500 studenten. De partners zullen het programma in de loop van het jaar gaan gebruiken. Naar verwachting zal de Statistiekfabriek voor andere opleidingen in het hoger onderwijs met vergelijkbaar statistiekonderwijs beschikbaar zijn vanaf september Proberen Probeer de Statistiekfabriek zelf door in te loggen met een testaccount op met als naam: pietjep1 wachtwoord: statistiekfabriek SOAP (Self Organising Assessment Program) Jos Speetjens Projectleider ifontys van Fontys Hogescholen. SOAP is een applicatie die gemaakt is in HTML5 door studenten en docenten binnen het innovatieplatform ifontys van Fontys Hogescholen. Het doel van de applicatie SOAP is te komen tot toetsvragen die zijn ontwikkeld door studenten. Het idee voor de applicatie is gebaseerd op het gegeven dat iemand meer leert van een onderwerp als hij of zij er zelf vragen over kan stellen. De toetsvragen die studenten in de applicatie ontwikkelen kunnen gebruikt worden in een toetsbank. Aangezien het een zelf organiserend instrument is kunnen studenten op elkaars vragen reageren en suggesties ter verbetering doen. De bedoeling is dat de applicatie platform onafhan- EXAMENS - mei NR 2 15

3 Het programma levert een bijdrage aan het verhogen van het studiesucces van studenten kelijk kan draaien. In het project wordt verder het zelf organiserende vermogen van een dergelijke toepassing onderzocht. De eerste bevindingen laten zien dat het voor studenten wel wennen is. Vooraf geeft een van de studenten aan maar als je zelf de toetsvragen maakt, dan weet je al wat er in de toets komt (van den Broek, 2012). Dat het zelf maken van de toetsvragen bijdraagt aan het leren moeten ze nog zelf ervaren. De ambitie van het project is dat SOAP in het voorjaar van 2013 draait op het onafhankelijke platform van SURF en vrij gebruikt kan worden. Binnen Fontys werken meerdere instituten met SOAP als onderdeel van het onderwijs. De ontwikkelingen van dit project zijn te volgen op VGTogether, samenwerken in voortgangstoetsing Jeroen Donkers Projectleider Vakgroep O&O, FHML, Universiteit Maastricht. Betrokkenen: Universiteit Maastricht, UMC Nijmegen; Leiden UMC; UMC Groningen. Het VGTogether project heeft vier doelen: 1. het toevoegen van een auteurssysteem dat de itemproductie en het reviewproces kan ondersteunen, 2. de ICT-infrastructuur centraliseren zodat die beter ondersteund kan worden, 3. een kennisnetwerk rond de VGT inrichten dat wordt ondersteund door een website, 4. een businessplan opstellen waarmee de dienstverlening rond voortgangstoetsen verduurzaamd kan worden. De geneeskundeopleidingen van Maastricht, Nijmegen, Leiden en Groningen (verenigd in de ivtg) organiseren samen een voortgangstoets die vier maal per jaar onder de studenten van alle jaargangen op papier wordt afgenomen (zie Muijtjens, 2013). De toets bestaat steeds uit 200 meerkeuzevragen die het hele kennisdomein dekken. Deze items worden door de vier instellingen samen ontwikkeld en gereviewd. (De VU neemt de toets overigens ook af, maar ontwikkeld niet mee.) Studenten hebben de keuze om een vraag niet in te vullen: de uiteindelijke score is een gewogen goed-fout score. De uitkomst van de toets wordt bepaald aan de hand van de resultaten van de peer-groep van de betreffende student. De voortgangstoets wordt ondersteund door een aantal ICT-middelen. Zo is er een item- en resultatenbank VOSYS waarmee ook de uitkomsten worden berekend, en er is een feedbacksysteem ProF waarmee studenten online hun longitudinale ontwikkeling op de voortgangstoets kunnen inzien en analyseren (zie prof.ivtg.nl). Echter, het logistieke proces rond itemproductie en review wordt voornamelijk via verkeer en word-documenten geregeld. Bovendien zijn de ICT-systemen op dit moment op diverse locaties ondergebracht en is de ondersteuning daarvan te veel afhankelijk van individuen. Tenslotte komen er regelmatig verzoeken om andere organisaties die een voortgangstoets willen opzetten, daarbij te ondersteunen met kennis en ICT. Werkplekbeoordelen in een digitale handomdraai Harold Bok Projectleider Universiteit Utrecht, Faculteit Diergeneeskunde. Betrokkenen: Universiteit Utrecht, Universiteit Maastricht. De centrale doelstelling van dit project is en ter beoordeling van werkplekleren op mobile devices gebruikersvriendelijk toegankelijk maken, waardoor de kwaliteit van toetsing toeneemt en de tijd van docenten efficiënter wordt benut. Leren op de werkplek stelt studenten in staat competenties te ontwikkelen die nodig zijn voor hun latere beroepsuitoefening. Voor de ontwikkeling van deze competenties is longitudinale begeleiding en beoordeling met beoordelingsinstrumenten voor werkplekleren essentieel. De afgelopen jaren zijn door 16 EXAMENS - mei NR 2

4 De werkdruk van docenten kan verminderd worden diverse opleidingen webgebaseerde beoordelingsinstrumenten ontwikkeld en geëvalueerd. Het gebruik van beoordelingsinstrumenten als begeleidings- en toetsinstrument stimuleert studenten tot het actief verzamelen van feedback ter bevordering van hun leren. Echter de evaluaties leren ook dat, door de hoge werkdruk van docenten in combinatie met een beperkte toegang tot online beoordelingsinstrumenten op de werkplek, het geven van feedback en het doorverwijzen van studenten naar aanvullend studiemateriaal, onvoldoende plaatsvindt. Zowel studenten als docenten geven aan dat toegang tot de beoordelingsinstrumenten via mobile devices, zoals tablets en smartphones hen beter in staat zou stellen de instrumenten op de werkplek zelf te gebruiken. Het bereiken van de doelstelling van het project draagt bij aan het realiseren van de ambities van de minitender Tools rond Digitaal toetsen door docenten en studenten op eenvoudige en effectieve wijze toegang te bieden tot beoordelingsinstrumenten op mobile devices. De beschikbaarheid van internetwerkplekken op de werkvloer en de restricties van een internetbrowser zijn hierdoor geen beperkende factoren meer. Het proces van vastleggen van feedback met deze instrumenten, direct volgend op het observatiemoment, wordt hierdoor efficiënter voor docenten. De kwantiteit en kwaliteit van de beoordelingen zal hierdoor toenemen, waardoor studenten een beter inzicht hebben in hun studievoortgang en tijdig remediëring kunnen aanwenden. Het streven is dat hierdoor de werkdruk van docenten wordt verlaagd en studenten meer beoordelingen van hogere kwaliteit op een eenvoudige en intuïtieve manier kunnen verzamelen. Question Design & Analysis tool Nynke Bos 1, Silvester Draaijer 2, Sharon Klinkenberg 3 1 Faculteit der Geesteswetenschappen, UvA; 2 Universiteitsbibliotheek, VU; 3 Faculteit der Maatschappij- en Gedragswetenschappen, UvA. De Question Design and Analysis (QDNA) tool is een combinatie van drie projecten uit de SURF minitender voor de ontwikkeling van Tools rond Digitaal toetsen. De projecten That s the Quest!on van de VU, Test Analyse Tool en STEVIE, beide van de UvA, worden gezamenlijk ontwikkeld en aangeboden in een open source webapplicatie die via github.com beschikbaar wordt gesteld. Hierdoor is doorontwikkeling van de tool eenvoudig te realiseren. De QDNA tool zal, zoals de naam al doet vermoeden, bestaan uit een vraagontwikkel- en een analysedeel. Om de tool voor het hele hoger onderwijs eenvoudig te ontsluiten zal de tool toegankelijk gemaakt worden via SURFconext. Hierdoor kan de gebruiker met zijn instellingsaccount inloggen op de tool. Het vraagontwikkelgedeelte van de tool ondersteunt de toetsontwikkelaar bij het maken van toetsvragen. De kernfunctionaliteit bestaat uit een gebruikersvriendelijke omgeving waarin een docent zelf vragen kan aanmaken en beheren. In eerste instantie wordt gewerkt aan ondersteuning voor juist/onjuist vragen en meerkeuze vragen. Deze vragen kunnen geëxporteerd worden naar een aantal veelgebruikte toetsomgevingen zoals Blackboard en Questionmark Perception (QMP). Het unieke van de tool is dat de docent tijdens het maken van de vragen informatie aangeboden krijgt over manieren om toetsvragen te bedenken en om toetsvragen zo eenduidig mogelijk te formuleren. De tool checkt daarnaast de vragen ook op constructiefouten die door onwetendheid vaak gemaakt worden maar gemakkelijk te vermijden zijn. Denk hierbij bijvoorbeeld aan het gebruiken van ontkenningen of het gebruiken van afleideropties zoals Geen van bovenstaande. Bij de tool wordt een website gemaakt waarmee de informatie ook op een zelfstandige manier is te raadplegen. In de website is tevens een functie voorzien waarmee docenten zich kunnen abonneren op het ontvangen van Tips voor toets- en vraagconstructie. Analyses In het analysegedeelte kan de eindgebruiker ruwe bestanden met toetsresultaten uploaden. De ap- EXAMENS - mei NR 2 17

5 De kwaliteit van digitaal toetsen wordt verbeterd plicatie zal op basis van aanpasbare R-scripts de toets analyseren en vervolgens rapporteren over de kwaliteit van de toets. Tevens biedt de tool een archief voor de uitgevoerde analyses. De applicatie bouwt voort op de analyse applicatie die ontwikkeld is aan de afdeling Psychologie van de Universiteit van Amsterdam in Die applicatie was speciaal ontwikkeld om de resultaten van Teleform scans te analyseren en daarover te rapporteren. In de webapplicatie zal het mogelijk gemaakt worden om resultaten van toetsen uit Blackboard en andere generieke toetsresultaten te uploaden. De rapportage wordt opgebouwd op basis van de Klassieke Test Theorie en bevat standaardgegevens zoals betrouwbaarheid (Cronbach alpha, KR20), Rit, Rir, p-waarde en afleider analyses. Deze resultaten zullen grafisch worden weergegeven via een downloadbaar PDF bestand. Dit bestand is door onderwijsbureaus te gebruiken om de kwaliteit van de afgenomen tentamens te analyseren en te monitoren. Ondersteuning De applicatie kan ook door docenten gebruikt worden om eigen ontwikkelde tentamens te analyseren. Ter ondersteuning van deze docenten zullen ze begeleid worden bij de interpretatie van de gegevens uit de toetsanalyse. Verschillende itemindices worden hierbij voorgeprogrammeerd en de docent doorloopt een stap-voor-stap interpretatieproces. De vragen waarbij afwijkende waarden worden gevonden, zullen aan de docent worden voorgelegd met daarbij een verklaring voor de mogelijke oorzaken voor deze afwijking (verkeerd antwoord goed gerekend, stof niet behandeld tijdens colleges, de vraag is een instinkertje ). De docent kan door middel van deze interpretatie eventueel nog aanpassingen verrichten aan de toets, waardoor de kwaliteit van de toetsuitslag wordt verhoogd en deze zo rechtvaardig mogelijk wordt. Voortgang Het project is nu halverwege. In de komende helft van het project dient de interface technisch gerealiseerd te worden en moet de SURFconext koppeling afgerond worden. Na oplevering zal de tool voor het hele hoger onderwijs via beschikbaar zijn. Meer informatie over de QDNA tool is te lezen op Over Stevie is meer te lezen op Bewust en bekwaam toetsen en beoordelen Desirée Joosten-ten Brinke Projectleider, Fontys lerarenopleiding Tilburg. Betrokkenen: lerarenopleidingen van Fontys (Tilburg), Zuyd Hogeschool, Hogeschool Arnhem en Nijmegen, VU. Gezien het belang van kwalitatief goede toetsing geven lerarenopleidingen aan te willen investeren in het ontwikkelen en onderzoeken van hun bekwaamheid rondom Eigentijds toetsen. Deze intentie wordt in dit projectvoorstel vertaald in de volgende drie doelstellingen: 1. Het ontwerp en ontwikkeling van een zelfbeoordelingsinstrument rondom eigentijds (digitaal) toetsen en beoordelen; 2. Lerarenopleiders bewust maken van de eigen toetskennis en kunde; 3. Verhoogde kwaliteit van toetsontwerpen en meer zicht op professionaliseringsdoelen van lerarenopleiders. Lerarenopleiders van de betrokken instituten hebben aan de hand van een lijst met leerdoelen items geschreven die kennis meten van de vier niveaus van de kwaliteitspiramide voor eigentijds toetsen en beoordelen (Joosten-ten Brinke & Sluijsmans, 2012). Deze niveaus zijn: 1) de items of toetstaken, 2) de toetsinstrumenten, 3) het toetsprogramma en 4) het toetsbeleid. De items zijn ingevoerd in QMP en op basis van deze items kunnen verschillende toetsen samengesteld worden. In januari en februari 2013 hebben ongeveer 90 docenten gewerkt met het instrument. De eerste 18 EXAMENS - mei NR 2

6 SURF coördineert het programma Toetsing en Toetsgestuurd Leren Seminar Digitaal toetsen in de praktijk: waarom en hoe? Tijdens dit seminar op 22 mei presenteren projectleiders de resultaten van de projecten: lessons learned en concrete tools op het terrein van toetsen. Het seminar richt zich op bestuurders, beslissers en adviseurs binnen organisaties voor hoger onderwijs. Het seminar geeft antwoord op de volgende vragen: Wat zijn de te verwachten effecten van digitaal toetsen? Bijvoorbeeld op studiesucces en docentbelasting. Wat zijn overige effecten? Voor welke studenten en in welke gevallen is digitaal toetsen geschikt? Wanneer NIET? Wat komt er kijken bij digitaal toetsen? Wat moet u allemaal organiseren en hoe doet u dat? Wat moet u regelen bij instellingsoverstijgende toetsen? Hoe organiseert u het proces? Hoe organiseert u de inzet van ICT? Hoe zorgt u dat de instelling ermee aan de slag gaat? Zie resultaten tonen aan dat het instrument zinvol is. Docenten vinden het prettig om in hun eigen omgeving zelf aan hun ontwikkeling te kunnen werken. Het onderzoek heeft tevens verschillende verbeterpunten aan het licht gebracht. Deze zullen de komende maanden aangepakt worden. Op dit moment is in ieder geval duidelijk dat het schrijven van toetsitems over toetsing bijdraagt aan het ontwikkelen van toetskennis en toetsbewustzijn. Het schrijven van goede toetsitems met zinvolle feedback bleek een lastige taak te zijn. Na afronding van het project is er een prototype van een (digitaal) zelfbeoordelingsinstrument inclusief ontwikkelingsgerichte feedback voor lerarenopleiders beschikbaar waarmee zij hun percepties, kennis en kunde over toetsen in kaart kunnen brengen. Op basis van de uitkomsten van deze zelfbeoordeling wordt verwacht dat lerarenopleiders komen tot betere toetsontwerpen en zij zich adequaat kunnen professionaliseren. Het instrument zal worden ontsloten via de website die onderdeel uitmaakt van het nationaal expertisenetwerk van SURF. Het instrument is te zien op Wie meer wil lezen over het project en eens in de drie maanden een nieuwsbrief wil ontvangen kan een mail sturen naar info@bewustenbekwaamtoetsen.nl. Literatuur Berkel, H. van, Jansen, E. & Bax, A. (2012). Studiesucces bevorderen: het kan en is niet moeilijk. Bewezen rendementsverbeteringen in het hoger onderwijs. Den Haag: Boom Lemma uitgevers. Broek, A. van den (2012). Zelf de toetsvragen verzinnen? Maar dan weten we de antwoorden toch al? Egoscoop, Joosten-ten Brinke, D. & Sluijsmans, D. (2012). Tijd voor toetskwaliteit: het borgen van toetsdeskundigheid van examencommissies. TH&MA, 19(4), hdl.handle.net/1820/4759. Muijtjens, A. (2013). De voortgangstoets. Examens, tijdschrift voor de toetspraktijk, 10(1), Mw. dr. Desirée Joosten-ten Brinke is redacteur van EXAMENS, lector Eigentijds toetsen en beoordelen bij Fontys lerarenopleiding Tilburg en universitair docent bij de Open Universiteit. desiree.joosten-tenbrinke@ou.nl; d.tenbrinke@fontys.nl. EXAMENS - mei NR 2 19