Rapportage EMP-project Voorwaarden voor de realisering van een papierloos toetstijdperk voor de opleiding GNK en andere opleidingen in en buiten het UMC Utrecht September 2007-september 2008 Projectteam: doo-umcu Willie Hols (projectleider) Anke Bootsma Olle ten Cate IVLOS Robert-Jan Simons Magda Ritzen Versie 1.0, 26 september 2008
2
Samenvatting EMP-rapportage 5 1. Inleiding 6 2. Digitaal toetsen in het UMCU: stand van zaken 8 3. Pilots met digitaal toetsen 9 4. Randvoorwaarden digitaal toetsen in UMCU 12 4.1 Inleiding 12 4.2 Onderwijskundige randvoorwaarden (o.a. itembanken) 12 4.3 Organisatorische randvoorwaarden 12 4.4 Technische randvoorwaarden 13 4.5 Financiele randvoorwaarden 13 4.6 Conclusie (inclusief haalbaarheid binnen UMCU) 13 4.7 Schets van toepassingsscenario elektronische toetsafname 14 5. Mogelijkheden van digitaal toetsen 16 5.1 Intro 16 5.2 Mogelijkheden 16 5.3 Conclusie 24 6. Wensen en beleid in UMCU m.b.t. digitaal toetsen 25 6.1 Algemeen 25 6.2 Medewerkers 25 6.3 Conclusie 26 7. Het vervolg 27 7.1 Uitgangspunten 27 7.2 EMP voorstel Ontwikkeling en invoering Digitaal toetsen 27 Literatuur 29 Bijlage 1 Matrix wel/niet digitaal toetsen 31 Bijlage 2 Verslagen brainstormsessies 41 Bijlage 3 Tips om fraude te voorkomen 44 Bijlage 4 Twelve tips for computer-based assessment in medical education 45 Bijlage 5 Advies inzet stemkastjes als toetsmethode 55 Bijlage 6 Stappenplan implementatie computer based assessment 63 Bijlage 7 Materialen TestVision 70 3
4
Samenvatting EMP-rapportage Naam project Voorwaarden voor de realisering van een papierloos toetstijdperk voor de opleiding GNK en andere opleidingen in en buiten het UMC Utrecht Faculteit/opleiding: doo-umcu Looptijd: september 2008 tot september 2009 Projectresultaat Een rapport dat antwoord geeft op de vragen: 1. aan welke randvoorwaarden moet worden voldaan - financieel, organisatorisch en in ander opzicht om schriftelijke toetsing in de opleiding geneeskunde volledig te verlaten, 2. welke mogelijkheden zijn er om aan die voorwaarden te voldoen, 3. wat is de kosten/baten verhouding en is er draagvlak in en buiten het buiten het UMCU om aan deze overstap te werken? Zie hoofdstuk 4. Het rapport bevat tevens een overzicht gegeven van de toegenomen (onderwijskundige) mogelijkheden van het elektronisch toetsen. Zie hoofdstuk 5. Een plan, waarin de volgende stap naar papierloos toetsen is uitgewerkt. Zie hoofdstuk 7. Ervaringen / lessen voor collega s, bv. opleidingsdirecteuren: Digitaal Toetsen vraagt om investering en veronderstelt een keuze op opleidingsniveau. Investering is nodig in: o aanschaf van toetssoftware, computers, bedrijfszekere en beveiligde infrastructuur. o ondersteuning van docenten (leren werken met toetssoftware, didactische ondersteuning, ondersteuning bij afname). Uitgaan van een gemeenschappelijk ontwerp van een itembank. Inzet van digitale toetsen draagt onder andere bij aan de verbetering van de kwaliteit van de toetsen. Besteed aandacht aan (het ontsluiten en presenteren van) de goede voorbeelden van collega s. Het voorkomen van fraude tijdens afname van toetsen is relatief eenvoudig te realiseren. Zet studenten en co-assistenten in bij de ontwikkeling van een itembank / vervanging van huidige schriftelijke vragen (staflid blijft verantwoordelijk). Stemkastjes zijn niet geschikt voor summatieve toetsing. Producten/documenten: Randvoorwaarden digital toetsen (hoofdstuk 4) Overzicht mogelijkheden digitaal toetsen (hoofdstuk 5) Plan 08/09 Implementatie digitaal toetsen (hoofdstuk 7) Matrix wel/niet digitaal toetsen (bijlage 1) Tips om fraude bij toetsafname te voorkomen (bijlage 3) Twelve Tips for computer-based assessment in medical education (bijlage 4) Advies inzet stemkastjes bij responsiecolleges (bijlage 5) Stappenplan implementatie computer based assessment (bijlage 6) Beknopte handleiding voor de docent bij de uitvoering van Testvision (bijlage 7) Materialen Testvision (bijlage 8) Projectleider: Willie Hols Telefoon: 088-7556350 e-mail adres: w.p.m.hols@umcutrecht.nl 5
1. Inleiding In het EMP-project Voorwaarden voor de realisering van een papierloos toetstijdperk voor de opleiding Geneeskunde en andere opleidingen in en buiten het UMC Utrecht staan de mogelijkheden, wensen en voorwaarden van digitaal toetsen centraal. Het start vanuit het gegeven, dat schriftelijke tentamens al zeer lang de dominante vorm van toetsing in het hoger onderwijs: het is de vraag of de laatste fase hiervan niet is aangebroken. In de literatuur worden verschillende argumenten genoemd voor digitaal te toetsen (Verkroost, 2002; Milius, 2007), zoals verbetering van de kwaliteit van de toetsvragen op basis van de resultaten van toets- en vraaganalyse, tijdwinst door het gebruik van een itembank en het geautomatiseerd nakijken, grotere betrouwbaarheid doordat het gemakkelijker is om verschillende toetsen samen te stellen met een vergelijkbare moeilijkheidsgraad en mogelijkheden om beeld en geluid toe te voegen. Op termijn levert digitaal toetsen tijdswinst op voor de docent (Bull & Stevens 1999) en doordat de student meer inzicht krijgt in de eigen voortgang, verhoogt het de betrokkenheid van studenten (Sambell et all 1999). Toetsing is een proces dat start met een ontwerp, daarna wordt de toets samengesteld, opgeslagen, afgenomen, nagekeken, beoordeeld, geanalyseerd, geëvalueerd en worden de toetsresultaten vrijgegeven. Het ontwerpen, beheren, afnemen en verwerken van toetsen geschiedt al gedeeltelijk en in wisselende mate met elektronische hulpmiddelen, met name voor kleinere groepen studenten en voor toetsen die een formatieve functie vervullen. Formatief digitaal toetsen stelt minder hoge eisen aan beveiliging en voorkoming van fraude dan summatief toetsen. Op dit moment zijn veel instellingen voor hoger onderwijs geïnteresseerd in de mogelijkheden van digitaal toetsen, maar er is terughoudend in het invoeren van digitale summatieve toetsing (zie Daniels & Van der Vleuten, 2002). Deze terughoudendheid heeft te maken met: De hoeveelheid tijd die nodig is om een toetsprogramma te leren kennen en in afstemming met collega s- een vragenbank in te richten en te vullen. Het ontbreken van faciliteiten, dat wil zeggen grote computerzalen (300 studenten). De angst voor een onvoldoende beveiligd netwerk waardoor scores aangepast kunnen worden. Men vreest dat studenten gebruik maken van ongeoorloofde digitale informatiebronnen bij het beantwoorden van de vragen en dat ze inloggen onder een andere naam. Ook is men bang voor uitval van het netwerk op het moment dat studenten de toets maken. Het ontbreken van beleid op dit terrein: in toetsbeleid wordt niet alleen aangegeven waarom en hoe men digitaal wil toetsen, maar ook hoeveel belang men er aan hecht en waarin wordt geïnvesteerd (infrastructuur, faciliteiten en ondersteuning). Hols-Elders e.a. (2008) voegen daar specifiek voor het Nederlandse medisch onderwijs aan toe: Gebrek aan technische kennis en vaardigheden op het terrein van digitaal toetsen bij medische docenten. Gebrek aan tijd en gevoel van noodzaak. Onvoldoende voorzieningen, zoals diverse vormen van ondersteuning en computerfaciliteiten. Het project beoogt antwoord te geven op de vraag aan welke randvoorwaarden moet worden voldaan - financieel, organisatorisch en in ander opzicht om schriftelijke toetsing in de opleiding geneeskunde volledig te verlaten, welke mogelijkheden zijn er om aan die voorwaarden te voldoen, wat is de kosten/baten verhouding en is er draagvlak in en buiten het buiten het UMCU om aan deze overstap te werken? De antwoorden op deze vragen staan in deze rapportage, evenals een overzicht van de toegenomen (onderwijskundige) mogelijkheden van het elektronisch toetsen en een werkplan, waarin de volgende stap naar papierloos toetsen is uitgewerkt. De context van dit project is het onderwijs van het UMC Utrecht, de resultaten zijn eveneens bruikbaar in andere opleidingen van de Universiteit Utrecht. In het project zijn verschillende activiteiten uitgevoerd. De resultaten hiervan zijn per hoofdstuk beschreven. Hoofdstuk 2 bevat een inventarisatie van de huidige stand van zaken op het terrein 6
van toetsing binnen de directie Onderwijs en Opleidingen (doo) van het Universitair Medisch Centrum Utrecht (UMCU): wat wordt getoetst, op welke manier en met welk doel (formatief of summatief). Hoofdstuk 3 beschrijft de resultaten van de pilots die in het kader van dit project zijn uitgevoerd, de pilots zijn uitgezet om het draagvlak, de mogelijkheden en de voorwaarden met betrekking tot digitaal toetsen in kaart te brengen. In hoofdstuk 4 wordt (onder andere naar aanleiding van de pilots) de hoofdvraag van het project beantwoord: aan welke randvoorwaarden moet worden voldaan - onderwijskundig, organisatorisch, technisch en financiëel- om digitaal te toetsen. Via deskresearch is onderzocht welke mogelijkheden er op dit moment zijn op het terrein van digitaal toetsen, de resultaten hiervan zijn samengevat in hoofdstuk 5. Per toetstool zijn voorwaarden geformuleerd. Het afgelopen jaar vonden bij iedere opleiding van de doo brainstormsessies plaats waarin de wensen op het terrein van digitaal toetsen zijn geïnventariseerd. Hierbij waren zowel studenten, als docenten als coördinatoren/managers betrokken. Deze wensen ( draagvlak voor digitaal toetsen ) zijn samengevat in hoofdstuk 6. Hoofdstuk 7 bevat het voorstel voor een vervolgproject op het terrein van digitaal toetsen. Het voorstel is gebaseerd op de resultaten van het huidige project en op de Twelve tips for computerbased assessment in medical education die zijn geformuleerd door Hols-Elders e.a. (in publicatie bij Medical Teacher). 7
2. Digitaal toetsen in het UMCU: stand van zaken Het UMC Utrecht is verantwoordelijk voor de opleidingen geneeskunde (2 opleidingen: CRU 99 en 2006 en SUMMA), de opleiding Gezondheidswetenschappen en, samen met andere faculteiten, Biomedische wetenschappen en Biomedical science Geinventariseerd is hoeveel thans wordt gedaan aan digitale toetsing met een summatief doel. De Geneeskundeopleiding CRU (250-300 studenten per jaargroep) kent 70 toetsen die jaarlijks worden afgenomen (excl herkansingen). Daarvan vinden vier plaats in electronisch vorm. Overigens zijn dit toetsen die meermalen per jaar, bij kleine groepen dan de jaargroep, worden afgenomen. De Geneeskundeopleiding SUMMA (ca 40 studenten per jaargroep) kent geen electronische toetsing De opleiding BMW (ca 180 studenten per jaargroep) heeft circa 45 cursussen die met toetsing worden afgesloten, waarvan één in electronische vorm De Opleiding Gezondheidswetenschappen kent ca 15 toetsen waarvan er één electronische wordt afgenomen. In alle drie deze opleidingen is in het afgelopen jaar geëxperimenteerd met computergestuurde toetsing bij andere studieonderdelen, zij het dat een daadwerkelijke afnamen nog niet heeft plaatsgevonden. 8
3. Pilots met digitaal toetsen Olle neemt hoofdstuk drie voor zijn rekening In 2007-2008 zijn verschillende korte CBA projecten uitgevoerd bij diverse toetsen in het geneeskunde curriculum. TestVision, het programma waarmee al enkele jaren ervaring bestaat in het UMCU is als model gebruikt. I. Invoering van TestVision bij toetsing met hoge frequentie en kleine groepen Het derdejaars studieonderdeel Acute Chirurgie en Perioperatieve Zorg (ACPOZ) wordt 10 maal per jaar voor groepen van 24 studenten verzorgd. Er is 4 maal per jaar een schriftelijke toets waarover de mening verdeeld zijn. Een nadeel is dat de toets voor velen niet direct na het onderwijs volgt en ook is een veelgehoorde klacht dat de aansluiting bij het onderwijsgebrekkig is. De betrouwbaarheid is i.h.a. niet hoog. Mede op verzoek van de coördinator zijn voorbereiding getroffen op met ingang van 2008-2009 de toets met TestVision af te nemen. Deze voorbereiding is voor een belangrijk deel uitgevoerd door twee zesdejaar studenten geneeskunde die dit onderwijs als onderwijsadviesproject tijdens een onderwijsstage hebben uitgevoerd: Elize Berg en Marique Sorel. Als bijlagen (X, XX en XXX) zijn hun verslagen van dit project toegevoegd. De eerste bijlage betreft een algemeen verslag (verdiepingsonderwerp) over de toepassing van computer based assessment van Elize Berg, de beide andere verslag betreffen het eigenlijke adviesproject. Het resultaat van deze pilot is (a) een uitstekende beschrijving van een algemeen stappenplan voor de invoering van CBA, (b) een beknopte handleiding voor de docent bij de uitvoering van een toets met TestVision en (c) een nagenoeg startklare voorbereiding voor de invoering in het ACPOZ blok. De belangrijkste les voor de toekomst is dat een goede centrale bewaking va toetsvraagkwaliteit leidt tot de behoefte aan vervanging van veel vragen. Als voor een dergelijke toets ca 500 vragen beschikbaar komen in een vragenbank, dan kan CBA in een dergelijk blok de huidige schriftelijke toetsing bij alle afnames per jaar goed vervangen. Het inzetten van co-assistenten voor het ontwerpen van vragen is daarbij een goede optie, mits een staflid de vragen mee beoordeelt. Er zijn geen technische belemmeringen. II. Toepassing van TestVision bij toetsing die driemaal per jaar met middelgrote groepen plaatsvindt Dit pilotproject is voorbereid onderwijsstagiaire, Annieke Bosker, bij het derdejaars blok Gezonde en Zieke Cellen III. Daarbij is gebruik gemaakt van TestVision. Een voorbeeldtoets is ontwikkeld en op het internet geplaatst (www.testvision/umcutrecht.nl). De uitvoering van deze electronische toets is evenwel niet doorgegaan, omdat in de randvoorwaarden niet tijdig kon worden voorzien. III Toepassing van TestVision in bij toetsing met short-answer vragen voor grote groepen (Martien Quaak) UVT Papierloos In 2007-2008 is er onderzocht in hoeverre het mogelijk is om de Utrechtse VoortgangsToets UVT af te nemen met behulp van het toets programma Testvision. Probleemstelling Voor de uitvoering van de UVT is erg veel werk nodig bij het nakijken van de vragen. De examens worden geprint. De antwoorden worden op papier geschreven en de papieren moeten geknipt en gedistribueerd worden per vraag naar de docent, de beoordelingen moeten vervolgens met de hand worden ingevoerd. Het zou een groot logistiek voordeel opleveren als de toets electronisch kan worden afgenomen waarbij de student zelf de antwoorden intypt. Vervolgens kan electronisch een sortering gemaakt worden, waarna de docent op het scherm de antwoorden kan bekijken en kan scoren. 9
Onderzoek Onderzocht is of met de bestaande functionaliteit van Testvision de UVT kan worden afgenomen. Sam Verdoes heeft verschillende tests gedaan om vragen in Testvision te zetten. Omdat in de UVT gewerkt wordt met een casus en twee soorten vragen biomedisch en klinisch en per vakgebied meerdere vragen kunnen worden gesteld en dus ook meerdere antwoorden kunnen worden gegeven in vrije tekst is het lastig te implementeren. Ook moet voor het nakijken de docent kunnen zien wat de antwoordvoorbeelden zijn. In meerdere sessies is gewerkt aan een uitwerking van een geschikte invulling van Testvision. De heer Molkenboer van Testvision was hierbij aanwezig om advies te geven. Uiteindelijk lijkt het mogelijk te zijn om Testvision te gebruiken voor het afnemen en nakijken van de UVT, zonder dat er specifieke aanpassingen moeten worden gedaan aan het programma zelf. Proef Het plan is om in een proef met Testvision in het studiejaar 2008 2009 een klein aantal vragen aan een aantal studenten electronisch voor te leggen en te laten beantwoorden en daarna enkele docenten deze vragen electronisch na te laten kijken. Als dit lukt dan kan daarna bij een UVT afname een deel van de studenten een electronische versie worden afgenomen. Uitvoeringsvoorwaarde Voor het uitvoeren van een volledig electronische afname van de UVT zijn veel computers nodig. Binnen het UMC zouden verschillende computerleerzalen en het studielandschap kunnen worden gereserveerd in de avonduren. Maar dan nog zijn er niet genoeg computers om iedereen (ongeveer 450) in een keer te examineren. Het zou goed zijn als er binnen de UU een grote zaal is met veel computers die gereserveerd kan worden voor electronische afname van toetsen. Database aanpassing Los van dit experiment met de afname en het nakijken van de UVT is het ook nodig om voor een beter beheer van de UVT een andere database opzet te maken. Omdat er veel bijkomende gegevens bij iedere vraag staan is het niet mogelijk om dit in de Testvision database in te voeren. De huidige opzet is niet geschikt om de vragen en het examineren efficiënt en goed te kunnen beheren. Er is begonnen met het analyseren en ontwerpen van een duidelijker databasestructuur. Deze zal dan vervolgens geïmplementeerd moeten worden, waarbij ook aandacht besteed moet worden aan de koppeling van de database met de Testvision database voor afname en het nakijken van de vragen. IV. Toepassing van stemkastjes bij toetsing met hoge frequentie en kleine groepen Dit project betreft een onderzoek naar de uitvoerbaarheid van het gebruik van stemkastjes voor toetsingsdoeleinden. Hiertoe werd bij de afdeling Kindergeneeskunde, die beschikt over een collegzaal en stemkastjes die ingezet worden bij een wekelijkse bijeenkomsten met artsassistenten, onderzocht aan welke voorwaarden dit systeem zou moeten voldoen bij inzet in blokonderwijs met frequente toetsing in kleine groepen van ca 24 studenten. Het project is uitgevoerd door onderwijsstagiaire Froukje Landsman met de volgende vraagstelling: Hoe zouden we de stemkastjes, die gebruikt worden op vrijdagochtend tijdens de responsiecolleges, kunnen gebruiken om te toetsen voor een resultaat dat mee telt in de beoordeling van het blok stofwisseling III en het co-schap kindergeneeskunde? Wat zijn de organisatorische voorwaarden? Het verslag van dit project is bijgevoegd als bijlage 5. De conclusie van het project, waarvoor 46 studenten en 27 arts-assistenten zijn geënquêteerd, is dat een toetsafname met stemkastjes een sturende functie kan hebben, c.q. maakt dan mensen zich beter voorbereiden op een onderwijsbijeenkomst, maar ook dat er sterke beperkingen zijn aan deze toepassing van papierloos toetsen voor summatieve doeleinden. Eén daarvan is het gedwongen tempo van de toetsing; een andere is de techniek die altijd vlekkeloos is. Concluderend zijn een goede toetssfeer, een valide en betrouwbare toets en goede technische ondersteuning belangrijke organisatorische voorwaarden om een betrouwbare toetsuitslag te krijgen van toetsing 10
met gebruik van stemkastjes; toetsvragen met stemkastjes zorgen er voor dat een onderwijsdag voor artsassistenten beter wordt voorbereid en AIOS vinden het maken van de toetsvragen nuttig. Echter, de toetsvragen bevorderen de interactie met de sprekers niet. Dat laatst is uiteraard gene doel van summatieve toetsing, maar het gebruik van stemkastjes voor formatieve doelen zou deze functie in theorie wel kunnen hebben. 11
4. Randvoorwaarden digitaal toetsen in UMCU 4.1 Inleiding De hoofdvraag van het project luidt: aan welke voorwaarden moet worden voldaan financieel, organisatorisch en in ander opzicht- om schriftelijke toetsing bij de opleidingen van de Directie Onderwijs en Opleidingen volledig te verlaten, welke mogelijkheden zijn er om aan die voorwaarden te voldoen en wat is de kosten/baten verhouding. Dit hoofdstuk geeft hierop een antwoord. 4.2 Onderwijskundige randvoorwaarden (o.a. itembanken) - Toetsen bepalen het gedrag van studenten in grote mate. Daarom is het van belang dat er vanuit het onderwijs voortdurend naar wordt gestreefd, de toetsen zo representatief mogelijk te maken voor het onderwijs en de voorgeschreven studiestof. Een elektronische itembank maakt inzichtelijk welke onderwijsonderwerpen door de examenvragen worden gedekt. Aan de hand van de scores kan gezien worden welke kennis bij de student aanwezig is. Slechte vragen zijn te herkennen aan een afwijkend antwoordpatroon. Met deze instrumenten kan de kwaliteit van de examenvragen en van het gegeven onderwijs worden gemonitord en worden verbeterd. - De toetsaanpak hangt samen met de manier waarop het onderwijs wordt uitgewerkt. Dat betekent dat een onderwijsvisie en daarmee samenhangend beleid de kaders vormen voor keuzes met betrekking tot toetsing. De Directie van de doo is verantwoordelijk voor beleidsmatige ondersteuning en praktische uitvoerbaarheid, zij bepalen of en in welke mate er structureel van digitale toetsondersteuning gebruik gemaakt kan worden. Hierbij spelen ook praktische en financiële overwegingen een rol zoals bijvoorbeeld: verhoogde efficiëntie bij elektronisch toetsen in kleine groepen studenten, mogelijkheid tot een hoge frequentie van toetsafname en ondersteuning van docenten bij gebruik van TestVision. - Voor de afstemming, kwaliteitscontrole en (op termijn) efficiëntie is het aan te bevelen een digitale itembank met toetsvragen op te zetten en in te richten. De opbouw van zo n itembank dient gefaseerd te worden aangepakt. Om te beginnen kan gestreefd worden naar het opbouwen van itembanken per blokcoördinator. Iedere blokcoördinator zou een eigen versie van zijn/haar bank van vragen op de eigen pc moeten hebben. Door deze vragen zelf te beheren weet de coördinator welke vragen eerder zijn gesteld, hoe de ervaringen daarmee waren en welke probleemgebieden door de vragen worden gedekt. Door het zelf te beheren is de blokcoördinator/docent verantwoordelijk voor het up to date houden van de vragen. Het is technisch mogelijk om de verschillende bestanden te combineren in een systeem, zodat blokcoördinatoren/docenten ook van elkaar vragen kunnen bekijken en overnemen. Hier moeten goede afspraken over worden gemaakt in verband met beveiliging en auteursrechten. - Op basis van een elektronische itembank kan een papieren examen worden gemaakt of een elektronische versie voor elektronische afname, dit mede afhankelijk van de praktische mogelijkheden en onderwijskundige wenselijkheid. - Het programma moet gebruiksvriendelijk te bedienen zijn. Zowel voor de docent die vragen in de vragenbank zet, vragen kan aanpassen, examens samenstelt en resultaten verwerkt, als voor de student die de toets op de computer maakt. 4.3 Organisatorische randvoorwaarden - Het is van belang dat er ondersteuning is bij het onderhouden van een vragenbank door docenten, hulp bij het installeren en opzetten van het programma en het inrichten van de vragenbank en hulp bij het maken van examens, het printen van examens en het klaarzetten van elektronische examens. - Menskracht om het gebruik van de server te ondersteunen, te updaten en bij docenten beschikbaar te maken, evenals het gebruik bij het afnemen van toetsen. - Beschikbaar zijn van surveillanten die bij elektronisch afgenomen examens de aanwezigheid van studenten controleren, evenals het juiste gebruik van het examenprogramma. 12
4.4 Technische randvoorwaarden - Het toetsprogramma moet geïnstalleerd zijn op een server die wordt onderhouden en waar regelmatig back-ups van worden gemaakt. - Verder moeten er toetszalen zijn met grote aantallen pc s of laptops. Om het aantal werkstations te bepalen kan worden uitgegaan van aantal studenten dat wordt getoetst : 2. Dit veronderstelt toetsen in shifts (2 groepen na elkaar). De toetszaal moet overzichtelijk zijn ingericht om tijdens de toets gemakkelijk te kunnen surveilleren. Door gebruik te maken van een wireless netwerk kunnen laptops worden aangesloten op een examennetwerk. Deze laptops kunnen beveiligd worden afgestemd op het netwerk. Het netwerk moet degelijk afgeschermd worden van inbraakpogingen van buitenaf. - PC s van docenten moeten geschikt zijn om het toetsprogramma op te kunnen installeren en te laten werken. 4.5 Financiele randvoorwaarden - Er zijn verschillende manieren waarop de kosten voor digitaal toetsen kunnen worden doorberekend. Draaijer (2004) noemt er drie: 1. centrale financiering door afroming, 2. decentrale financiering waarbij opleidingen vergoedingen betalen voor het gebruik van de centraal ondersteunde systemen en organisatie en 3. gedifferentieerde financiering waarin de toetstools worden bekostigd op basis van gebruik per cursus of toets. - De kosten van de aanschaf en het gebruik van het toetsprogramma komen in de huidige opzet voor rekening van het Expertisecentrum van de doo. Gebruikers van buiten de doo betalen mee aan de licentie en het beheer. Kosten worden verdeeld over de gebruikers van het programma bij de verschillende divisies De divisies die gebruik maken van elektronisch toetsen hebben een organisatorisch voordeel bij het elektronisch afnemen van de toets in vergelijking met een papieren toets. De kosten van de papieren versie kunnen afgezet worden tegen de kosten van de elektronische toets. - De kosten voor het gebruik van de centrale server worden gedragen worden door de doo en verrekend met UMC gebruikers.. - De kosten voor support worden door de doo betaald en in rekening gebracht. Hiervoor is een SLA opgesteld voor de gebruikers van niet academische opleidingen Hierdoor zijn de divisies verzekerd van support voor het programma. - Een kosten-baten analyse is lastig te maken. Er spelen teveel onbekende factoren een rol: welke opleidingen willen zoveel mogelijk digitaal toetsen, hoe hangt dit samen met de kosten die aan een opleiding worden doorberekend, welk financieringsmodel wordt gehanteerd? Hoe waardeer je de didactische voordelen van digitale toetsing en de kwaliteitsverbetering? Duidelijk is dat invoering van digitaal toetsen vraagt om grote investeringen. Een deel van die investeringen kunnen worden terugverdiend door bijvoorbeeld computerlokalen te verhuren aan andere instellingen en externe bedrijven. 4.6 Conclusie (inclusief haalbaarheid binnen UMCU) - Tot nu toe zijn de ervaringen met elektronische toetsen positief bij het UMCU, al een aantal jaren wordt op relatief bescheiden schaal, maar wel continu, gebruik gemaakt van elektronisch toetsen. De uitvoering verloopt goed, maar vergt veel support. - Op doo Directie niveau zal er een keuze gemaakt moeten worden voor elektronisch toetsen (op grote schaal) en de organisatorische en financiële uitvoering daarvan. - Het is van belang dat de verdeling van de kosten tussen doo en divisies goed wordt besproken, zodat in de toekomst een garantie van het gebruik van het programma (TestVision) gecontinueerd wordt. Thans wordt de medewerker die ontwikkeling en toepassing van TestVision in het takenpakket heeft belast met oneigenlijk docentenwerk. - Door het beheer van de vragen en de examens bij de docent te leggen wordt de verantwoordelijkheid van de docent voor het examen duidelijker. De gewoonte om bij electronische toetsing deze taken uit handen te geven zal moeten veranderen om deze werkwijze geaccepteerd te krijgen. 13
- Voor het afnemen van toetsen bij grote groepen studenten is een grote zaal nodig, het zou wenselijk zijn als de UU centraal een grote zaal inricht met computers die voor elektronisch toetsen kan worden ingehuurd inclusief de daarbij behorende technische support. 4.7 Schets van toepassingsscenario elektronische toetsafname UMCU - doo Betrokkenen - Coördinator beheert eigen vragenbank, ontvangt vragen van docenten. - Secretariaat van coördinator is intermediair tussen coördinator en toets ondersteuner en regelt communicatie met studenten. - Centrale toetsondersteuner beheert examenprogramma, plaatst examens en genereert toetsresultaten. - Onderwijskundige ondersteuning en advisering Fromatieftoetsen - Coördinator stelt examen samen en levert die aan om centraal te worden afgenomen. - Secretariaat geeft gegevens studenten door en communiceert met studenten. - Centrale ondersteuner plaatst examen en zet het klaar voor groep. - Examen kan worden afgelegd in studielandschap. - Technische ondersteuning is op afroep beschikbaar, wie? - Na het examen kan de student het examen en de feedback op de antwoorden bekijken Summatief toetsen - Coördinator stelt toets samen en levert die aan om centraal te worden afgenomen. - Secretariaat reserveert examenruimte, surveillant en geeft gegevens studenten door. - Centrale ondersteuner plaatst examen en zet het klaar voor groep. - Examen wordt afgenomen in zaal met pc s, en/of meerdere zalen met pc s en/of studielandschap en/of zaal met laptops afkomstig uit een mobiele kar met laptops en/of zaal van de UU met pc s of laptops. - Bij het examen zijn surveillanten aanwezig en is technische ondersteuning op afroep beschikbaar. - Open vragen moeten worden nagekeken, hier zit vaak een hele logistiek aan vast, als er een beoordeling door het toetsprogramma is gedaan moet deze gecontroleerd worden. - Na het examen worden resultaten verwerkt door centrale ondersteuner en naar het secretariaat/coördinator verstuurd. - Inzien van gemaakte examen door studenten wordt door secretariaat ondersteund. - Coördinator verbetert op basis van vraagscores de vragen in de vragenbank en geeft wijzigingen door aan docenten. Voorwaarden - Divisies betalen doo voor ondersteuning door centrale ondersteuner en gebruik van computers, computerzalen en surveillanten. - Divisies zorgen voor coördinator, docenten en functionerend secretariaat. - doo zorgt voor centrale toets ondersteuner en pc en/of laptops en geschikte zalen. - doo zorgt voor inroosteringsmogelijkheden van zalen en surveillanten - doo biedt onderwijskundige en inhoudelijke ondersteuning bij het maken van vragen en het opstellen en beoordelen van toetsen - Voor de uitvoering van de administratie is het belangrijk dat er een koppeling is tussen de bestanden met medewerkergegevens en studentgegevens en Testvision. 14
Deze koppeling moet specifiek worden geprogrammeerd. Met behulp van een dergelijke koppeling kan de inschrijving van studenten en medewerkers die een toets willen afleggen worden vereenvoudigd. Ook de resultaten zullen rechtstreeks vanuit Testvision in Osiris terug kunnen worden gezet of in een portfolio van een medewerker. Tevens kan een koppeling met het kwaliteitssysteem worden gemaakt zodat er meteen een evaluatie kan worden ingevuld. Een variant in dit scenario is afname op papier van vragen die afkomstig zijn uit een elektronische vragenbank. Hierbij zal speciale aandacht moeten worden besteed aan opname van de antwoorden in het electronische bestand.. Voor elektronisch toetsen bij de UU geldt hetzelfde scenario, waarbij voor divisies faculteiten kunnen worden gelezen en centraal de UU een beheer en ondersteuningsservice kan leveren, maar het kan ook per faculteit worden opgezet. 15
5. Mogelijkheden van digitaal toetsen 5.1 Intro De manier waarop wordt getoetst hangt samen met de manier waarop het onderwijs is vormgegeven (vergelijk vakgericht onderwijs, probleem gestuurd onderwijs, competentiegericht onderwijs) en het doel van de toetsing (formatief of summatief). De doo-umcu omvat drie academische opleidingen geneeskunde (GNK), biomedische wetenschappen (BMW), algemene gezondheidswetenschappen (AGW) en de opleidingen van het Opleidingscentrum (OC). In deze opleidingen is aandacht voor de opbouw van een kennisbasis (met declaratieve en procedurele kennis), oplossing van praktijkproblemen en ontwikkeling van competenties. Deze worden op verschillende manieren getoetst: ict kan hierbij een belangrijke rol spelen. In de inleiding is aangegeven wat de voordelen zijn van digitaal toetsen. In dit hoofdstuk staan de mogelijkheden van digitaal toetsen centraal. De mogelijkheden worden gerelateerd aan de in geneeskunde opleidingen veel gehanteerde piramide van Miller. 5.2 Mogelijkheden Bij de beschrijving van mogelijkheden van digitaal toetsen wordt gebruik gemaakt van de piramide van Miller (1990, p. 63-67, geciteerd in van Tartwijk e.a. 2003, p. 15-17). Miller ontwikkelde een piramide waarmee de niveaus van bekwaamheid van geneeskunde-studenten kunnen worden beschreven. Een onderliggend niveau vormt steeds het fundament voor de bovenliggende laag. Figuur 1: Millers driehoek Toelichting: Knows: het onderste niveau wordt gevormd door de kennis waarover een student moet beschikken om zijn toekomstige taken als arts uit te kunnen voeren. Knows how: de student weet hoe hij die kennis moet gebruiken bij het uitvoeren van zijn probleemoplossende taken. Shows how: de student laat zien dat hij kan handelen in een gesimuleerde omgeving, onder meer op basis van zijn kennis. Het gaat hier dus om kennen en handelen (cognitie en gedrag). Does: de student handelt zelfstandig in de complexe praktijk van alledag. Daarbij wordt een beroep gedaan op een geïntegreerd geheel van kennis, vaardigheden, houdingen en persoonlijke eigenschappen. In dit hoofdstuk worden de volgende toetsmogelijkheden beschreven: Toetsprogramma s met voorgestructureerde antwoorden Toetsen met behulp van stemkastjes, mobiele telefoons en PDA s Adaptief toetsen Essaytoetsing op basis van voorgestructureerde feedback Essaytoetsing Peerfeedback-tools Portfolio Deze toetsmogelijkheden worden in onderstaande tabel gerelateerd aan de bekwaamheidsniveaus van Miller en vervolgens toegelicht. 16
Bekwaam- Inhoud Vorm Digitale mogelijkheden heidsniveaus Knows Kennis Tentamen: reproductievragen Toetsprogramma s met voorgestructureerde antwoorden Toetsen met behulp van stemkastjes, mobiele telefoons en PDA s Adaptief toetsen Knows how Kennis op juiste manier gebruiken: waar moet je op letten bij stellen van een diagnose Tentamen op basis van cases Toetsprogramma s met voorgestructureerde antwoorden Toetsen met behulp van stemkastjes, mobiele telefoons en PDA s Adaptief toetsen Essaytoetsing op basis van voorgestructureerde feedback Essaytoetsing Peerfeedback-tools voor schrijfopdrachten Shows how Vaardigheid = handelen in gesimuleerde omgeving, diagnose stellen na onderzoek bij gesimuleerde patient Simulatiepatienten, assessmentcenters Peerfeedbacktool - samenwerken Peerfeedback-tool - DIVIDU Does Adequaat functioneren in praktijk Peerfeedbacktool - samenwerken Peerfeedbacktool - DIVIDU Portfolio Digitale toets met voorgestructureerde antwoorden Digitaal toetsen met voorgestructureerde antwoorden (gesloten vragen) sluit het best aan bij de traditionele manier van (schriftelijke) meerkeuze vragen. De stap naar digitaal toetsen lijkt niet zo groot, maar de inzet van digitaal toetsen vereist een flinke voorinvestering (aanschaf software, training gebruikers, computerzalen) en samenwerking tussen docenten. Daarom komt digitale toetsing langzaam op gang. De meeste Elektronische Leeromgevingen (ELO s als Blackboard, WebCT, zie http://www.blackboard.com/us/index.bbb ) beschikken over een toetsfunctionaliteit, maar de beveiliging en vraag en analysemogelijkheden zijn in deze programma s beperkt. Digitale toetsprogramma s als Testvision (www.testvision.nl) en Question Mark Perception (http://www.stoas.nl/stoas_com/d8b2cbf34bd85b999007a875c4298359.php) worden steeds vaker in het onderwijs gebruikt. De meeste ELO s en toetsprogramma s beschikken over de mogelijkheid om beeld en geluid toe te voegen aan toetsvragen, bij toetsprogramma s gaat dit gebruiksvriendelijker dan bij ELO s. Beide type programma s beschikken eveneens over de mogelijkheid op basis van een gegeven antwoord inhoudelijke feedback of studeeraanwijzingen te formuleren. Studenten waarderen deze mogelijkheid en vinden het prettig zichzelf (thuis of in de instelling) te toetsen: deze vorm van toetsing is motivatie-verhogend en het leereffect is groter dan bij feedback na verloop van tijd. Docenten krijgen op deze manier inzicht in de voortgang van de studenten en zijn minder lang bezig met het nakijken. De beslissing om digitaal te gaan 17
toetsen en een itembank in te richten, leidt vaak tot verbetering van de kwaliteit van toetsvragen: niet alleen in de fase van het invoeren van de vragen, maar ook bij het analyseren van de antwoorden. De analyse geeft informatie op twee niveaus: over de kwaliteit van de meting als geheel, en van de vragen afzonderlijk: is de meting betrouwbaar, is de toets voldoende consistent, differentieert het tentamen en de vragen in voldoende mate, is er voldoende variatie in moeilijkheidsgraad aangebracht? Het doel van de analyse is om aanwijzingen te vinden voor verbetering van de vragen en om evidentie te leveren voor evenwichtige samenstelling van nieuwe toetsen (zie verder http://www.ivlos.uu.nl/adviesentraining/aanboduniversite/toetsenenbeoorde/stappenplan /evaluatie/18404main.html). doo-umcu maakt gebruik van de toetsoptie in WebCT en van Testvision. WebCT wordt formatief en summatief ingezet, Testvision voornamelijk summatief. Werken met Testvision veronderstelt de inrichting van een toetsmatrijs, het invullen van zo n matrijs (match onderwijsdoelen toetsonderdelen) maakt de representativiteit van een toets aanzienlijk hoger. Met Testvision kunnen maatregelen worden genomen voor sequentiemanipulatie (wel/niet terugkijken). Dit type toetsprogramma s groeit mee met gebruikerswensen (gegevens zijn goed afgeschermd, toename in vraagtypen, toename van mogelijkheden van toets- en vraaganalyse, webbased, gebruiksvriendelijkheid), en vervult vooral een functie bij toetsing van kennis en inzicht ( knows en knows how ). Toetsen met behulp van stemkastjes, mobieltjes en PDA s Stemkastjes (http://www.interwritelearning.nl/interwrite_virtual_prs.php) kunnen worden ingezet bij colleges: de docent stelt een vraag en de student beantwoordt de vraag via een stemkastje (keuze uit alternatieven). De scores worden via een PowerPoint presentatie geprojecteerd. Voordeel is dat grote groepen studenten tegelijk kunnen worden getoetst, dat de volgorde van vragen vastligt -waardoor kan worden voortborduurd op bepaalde vragen/antwoorden- en dat na afloop direct feedback kan worden gegeven bijvoorbeeld bij vragen die het slechtst zijn beantwoord-. In 2007 is in de UU een pilot uitgevoerd over stemkastjes (Paul, 2007). In het project zijn onder andere de toepassingsmogelijkheden van stemkastjes bij tentamens onderzocht. Studenten bleken erg tevreden over de inzet van stemkastjes bij proeftentamens (formatieve functie van toetsing). Echte tentamens (summatieve functie van toetsing) met behulp van stemkastjes werden niet op prijs gesteld. Dit had onder andere te maken met het feit dat studenten (Turningpoint 2006) geen bevestiging kregen van het feit dat ze gestemd hadden. Stemkastjes kunnen ook worden ingezet bij het geven van peerfeedback, bijvoorbeeld na een presentatie van een mede-student. Mobieltjes en PDA s kunnen worden ingezet voor dezelfde doeleinden als stemkastjes, hiermee is in Nederland nog weinig ervaring. Stemkastjes kunnen een functie vervullen bij het toetsen van kennis en inzicht ( knows en knows how ). Adaptief toetsten Bij computergestuurd adaptief toetsen (CAT) wordt de moeilijkheid van de toets tijdens het toetsen constant aangepast aan het niveau van de student (zie http://elearning.surf.nl/elearning/onderzoek/2321). Bij CAT krijgt de student niet in één keer een gehele toets voorgelegd: afhankelijk van de score op een beperkt aantal vragen beslist het programma om de student al dan niet vervolgvragen voor te leggen en te bepalen welke moeilijkheidsgraad dan voorgelegd wordt (lager, gelijk of hoger). Op deze manier kan met veel minder vragen een betrouwbaar oordeel worden gegeven over de beheersing van bepaalde stof door een student. Dit is van belang voor de student die veel sneller klaar is met de toets maar ook voor de toetsconstructie en docenten kan het besparingen opleveren in tijd en geld. Voordeel van CAT is dat iedere student een unieke toets krijgt voorgelegd. Dat maakt het mogelijk om studenten te toetsen op het moment dat het ze zelf schikt. 18
Adaptief toetsen vereist specifieke software, zie het programma FastTest via http://www.assess.com. Om een adaptieve toets betrouwbaar genoeg te maken dienen er veel items in de toetsbank te zitten waaruit een toets wordt gegenereerd en moeten deze items gekalibreerd zijn: het moet bekend zijn welke moeilijkheidsgraad een item heeft. Dat vergt een uitgekiende en arbeidsintensieve aanpak: de items moeten als onderdeel van een toets- worden uitgetest op zo n 1000 studenten (Thissen & Mislevy 2000). Dat is één van de grote struikelblokken voor het invoeren van dergelijke toetsen in het hoger onderwijs. De investering is erg hoog, waarbij door voortdurende verandering van curricula en specifieke lokale eisen de toepasbaarheid van een dergelijk programma klein is, zeker op een langere termijn (zie Draaijer 2004). Daarnaast worden als nadelen van adaptief toetsen genoemd: studenten vinden het vervelend dat ze niet terug kunnen kijken naar eerder beantwoorde vragen; het is niet mogelijk om studenten een toets te geven die wat betreft inhoud vergelijkbaar is (Van der Linden, 2005). Adaptief toetsen vervult voornamelijk een functie bij toetsing van kennis en inzicht ( knows en knows how ). Essaytoetsing op basis van voorgestructureerde feedback Software, waarin essay-opdrachten worden nagekeken op basis van voorgestructureerde feedback worden in deze rapportage getypeerd als semi-geautomatiseerd. Draaijer (2004) beschrijft twee programma s voor het semi-geautomatiseerd nakijken, Markin en MarkThis. In Nederland is weinig ervaring met deze programma s. De Vrije Universiteit voert pilots uit met een derde programma Turnitin in het kader van het SURFproject Proof. Markin Markin (http://www.cict.co.uk/software/markin) ondersteunt bij het nakijken van digitaal ingeleverde tekstdocumenten. Het biedt de mogelijkheid om tekstdelen te markeren met feedback, commentaar of hyperlinks. De docent selecteert uit het ingeleverde werk één of meerdere woorden (of zinnen) en kiest daarbij de gestandaardiseerde of zelf geformuleerde feedback die op het geselecteerde stuk van toepassing is. Het programma biedt een aantal knoppen waarmee negatieve feedback kan worden gegeven voor spelling, syntaxis, grammatica, morfologie, vocabulaire en inhoud. Verder heeft Markin een aantal knoppen waarmee positieve feedback kan worden geven. Aan elk aspect van deze feedback kan een waarde worden toegekend, zodat belangrijke aspecten zwaarder worden meegewogen dan andere aspecten. Als het werk is voorzien van feedback, kan de toets (als internetpagina) direct via e-mail naar de student worden teruggestuurd, met daarin de toegekende feedback, het cijfer en eventueel de statistieken over de feedback. Dit laatste is een soort samenvatting, zodat studenten snel kunnen zien hoeveel positieve en hoeveel negatieve feedback ze hebben gekregen. Het voordeel van Markin is dat studenten keurig geannoteerde inhoudelijke feedback op hun werk krijgen, en wel exact op de plaats waarop de feedback slaat. Nadeel is dat na het invoegen van alle feedback het programma niet de totale waarde berekent, dit blijft een handmatige taak van de docent. MarkThis MarkThis (www.circle-of-excellence.com) is vergelijkbaar met Markin. Een nadeel van MarkThis is dat de gegeven feedback niet in de tekst komt te staan. De student ontvangt slechts de resultaten. Turnitin Turnitin (http://www.turnitin.com/static/index.html) vervult twee functies: fraudedetectie en semi-geautomatiseerd nakijken. In het kader van dit project is de laatste functie relevant. Turnitin is anders dan de eerder genoemde programma s-, niet exclusief bedoeld voor de docent, maar ook voor de student (peerreview). Turnitin is wat betreft opbouw vergelijkbaar met Markin. Daarnaast biedt Turnitin de mogelijkheid om overall-categorieën te formuleren die gewaardeerd kunnen worden op en schaal van 1 t/m 5. Op deze manier voorziet de feedbackgever (docent of student) het paper van een cijfer (Kaandorp, 2007). 19
Het (semi-) geautomatiseerd nakijken en beoordelen van essayvraagstukken vervult een functie bij het tonen van bekwaamheid op het gebied van knows how. Essaytoetsing Sinds begin 2000 zijn er tools op de markt waarmee open vragen kunnen worden gescoord. CODAS (Conceptuele Documenten Analyse Systemen) Codas (http://www.andromatics.nl) kan antwoorden op opdrachten en essayvraagstukken analyseren en heeft een fraudedetectie- en nakijkmodule. De nakijkmodule analyseert een klein aantal essays die handmatig zijn nagekeken. De docent kent scores toe (maximaal vier) en merkt een beperkt aantal essays daarvan als voorbeelden of tegenvoorbeelden. Deze scores worden in het programma toegevoegd, waarna CODAS alle opgaven aan de hand van deze gemarkeerde documenten ordent. De docent kan vervolgens in de ordening grenzen aangeven voor de gewenste beoordelingscategorieën. Steekproefsgewijs kan de ordening gecontroleerd en verfijnd worden. Vervolgens laat men het programma opnieuw de documenten ordenen en bepaalt de docent de cesuur. Het ordenen (nakijken) gebeurt op basis van een statistische analyse van woordfrequenties. CODAS beoordeelt de inhoud van documenten dus niet op het 'microniveau' van de precieze formulering en volgorde van zinnen, maar op een meer geabstraheerd, 'hoger', 'conceptueel' niveau. CODAS heeft een aantal kenmerken die het programma lastig maken in gebruik: minimale grootte van de essays is 300 woorden, betrouwbaarheid en tijdwinst gaan spelen vanaf 50 essays, het taalgebruik van populatie dient homogeen te zijn, het programma werkt beter als er grote spreiding is in antwoordkwaliteit (goede en slechte essays). Door deze kenmerken kan de betrouwbaarheid niet worden gegarandeerd en is summatieve toetsing geen optie. Formatieve toetsing is eveneens geen optie: in het programma kan geen inhoudelijke feedback worden gegeven (zie Draaijer 2004). Intellimetric Intellimetric (http://www.vantagelearning.com/school/products/intellimetric) is de eerste tool voor essay-toetsing die gebruik maakt van kunstmatige intelligentie. Daarnaast worden scores gebaseerd op natural language processing en statistische technologie (zie Eliot 2003, p. 71 geciteerd in Dikli, 2006, p.15). De inzet van zo n programma vraagt om training: het programma leert op basis van essays die reeds gescoord zijn door experts. De gescoorde essays, worden door de tool gebruikt als basis voor de geautomatiseerde scoring. Dikli (2006) stelt dat er 300 oefen essays nodig zijn om te komen tot een adequate scoring. De scoring gebeurt op basis van inhoudelijke en structuur aspecten. Inhoudelijk wordt er gelet op kenmerken die te maken hebben met de inhoud / het onderwerp, de reikwijdte van het onderwerp; cohesie en consistentie; en de opbouw van het betoog. Wat betreft de structuur wordt er gelet op overeenstemming met de conventies in de taal, zinscomplexiteit en variëteit. Het grootste bezwaar tegen Intellimetric zijn de kosten. De opstartkosten voor het nakijken van een essay (300 trials) zijn 8.000,-. Dit maakt programma alleen geschikt voor steeds terugkerende opdrachten/essays en grote aantallen studenten. Het geautomatiseerd nakijken en beoordelen van essayvraagstukken vervult een functie bij het tonen van bekwaamheid op het gebied van knows how. Tools voor Peerfeedback In het onderwijs wordt op bescheiden schaal gebruik gemaakt van peer feedback: studenten geven elkaar feedback op teksten en/of inzet (samenwerken) en/of performance. In de UU zijn twee tools ontwikkeld voor het geven van feedback, namelijk het Annotatiesysteem en de Peerfeedbacktool. Dividu is ontwikkeld in het kader van (een project van) de Digitale Universiteit. De tools zijn in eerste instantie ontwikkeld voor peer2peer-contact, maar kunnen ook door de docent worden gebruikt bij de beoordeling van studenten. Het Annotatiesysteem 20
Het Annotatiesysteem (AS) is ontwikkeld door het IVLOS en wordt gebruikt voor het aan elkaar voorleggen van teksten voor online peer feedback (zie Van den Berg e.a., 2005; Van der Pol, 2007). Het AS is het enige systeem waarin het mogelijk is om de gegeven feedback te waarderen (rating). Het Annotatiesysteem werkt heel eenvoudig. In Aan de slag met het Annotatiesysteem staat precies welke stappen je moet volgen om rond te kijken, in te loggen (als docent of student), hoe je cursussen en groepen studenten aanmaakt, documenten upload (PDF) en deze in onderlinge samenwerking becommentarieert met behulp van annotaties (opmerkingen) en feedback op elkaars berichten. De tekst staat rechts op het scherm, annotaties en feedback verschijnen links in beeld. Met een rating kun je aangeven hoe belangrijk je een annotatie vindt (van 1 tot 5 sterretjes). Door de mogelijkheid op elkaars vragen en feedback te reageren ontstaat er een inhoudsgerichte discussie die helpt bij het bestuderen en verwerken van een tekst. De Peerfeedback Tool De Peer feedback Tool is ontwikkeld bij het departement Informatica. Met de tool geven studenten elkaar feedback op aspecten van samenwerken (zie Van den Berg e.a., 2005). Dividu DiViDU (http://info.dividu.nl) is een webgebaseerde videorepository waarin studenten en docenten hun eigen, in de beroepspraktijk opgenomen videofragmenten (van kritische praktijksituaties) onderbrengen, beschrijven en coderen met metadata. Daaraan gekoppeld zijn er drie didactische componenten: Analyse (student analyseert praktijksituaties op video, die ook theoretische concepten, zoals samenwerkend leren, illustreren); Reflectie (student reflecteert met behulp van video op het eigen handelen in een praktijksituatie en ontvangt hierop feedback van peers en begeleiders); Assessment (trainee toont eigen handelen en eigen ontwikkeling aan). In het kader van het SURF-project Digitale videodossiers bij het begeleiden en beoordelen van studenten zijn onder andere bij de UU (Diergeneeskunde en Geneeskunde) pilots uitgevoerd waarin DIVIDU een rol speelde. In de projectrapportage is geconcludeerd dat het digitale videodossier een effectief middel is voor begeleiding van studenten: het vermogen tot zelfreflectie van studenten wordt groter, de motivatie voor reflectie op het eigen handelen wordt groter, en studenten worden zich beter bewust van het eigen handelen. Het digitale videodossier geeft in de gevallen waarin ook het aspect van beoordeling aan de orde is gekomen aan dat de competenties van studenten valide kunnen worden weergegeven. Dit betekent dat het voor studenten duidelijk is welke competenties zij moeten laten zien en voor docenten op welke competenties zij hun begeleiding en beoordelingen moeten afstemmen.1 Feedback op peers kan op verschillende manieren een rol spelen in de beoordeling: 1. de docent betrekt de feedback die de peer geeft op een medestudent, bij de beoordeling van de peer, 2. de docent betrekt de reactie van de medestudent op de feedback bij de beoordeling van de medestudent, 3. De docent gebruikt de genoemde tools om zelf de studenten van feedback te voorzien. Het Annotatiesysteem is ontwikkeld voor peerfeedback (zie ook Turnitin), maar kan een rol vervullen bij het (semi-) geautomatiseerd nakijken en beoordelen van essayvraagstukken en vervult daarmee een functie bij het tonen van bekwaamheid op het gebied van knows how. De Peerfeedbacktool en Dividu kunnen een functie vervullen bij zowel shows how als does. Portfolio-toetsing Een portfolio is een georganiseerde, doelgerichte documentatie van de professionele groei en van het leerproces van een student. Het portfolio bevat een (digitale) collectie van bewijsmateriaal waarmee de student zijn competenties, kennis en vaardigheden als 1 Meer informatie over de inzet van DIVIDU in het kader van beoordeling staat op https://www.surfgroepen.nl/sites/dividossier/handboek/wiki%20pages/home.aspx 21