Inventarisatie digitale tools voor assessment, en hoe die te plaatsen in het assessment landschap Hier wordt geprobeerd eerst het hele landschap van assessment in kaart te brengen met een globaal overzicht van alle soorten daarbij passende tools. In de tweede helft wordt ingezoomd op kortdurende toetsen en de tools die daarbij horen: het specifieke onderwerp van module 3. 1 Het assessment landschap Voor assessments, het vaststellen van kennis, vaardigheden en competenties, zijn er ruwweg twee vormen: I. Examen / proefwerk / oefentoets. Kenmerken: Korte vraag, kort antwoord. Binnen een dagdeel is de toets te beantwoorden (tijdsduur varieert van enkele minuten tot een paar uur). Authenticiteit van het antwoord wordt gegarandeerd door individuen te isoleren tijdens de toets (stilte, genoeg afstand, ). Er wordt niet verwacht dat antwoorden origineel of uniek zijn. Nadruk ligt op de onderste 3 niveaus van de Bloom taxonomie: kennis, inzicht, toepassing. Bedoeling kan zowel formatief als summatief zijn. In geval van formatief toetsen hoeft de isolatie niet gecontroleerd. Een leerling die zichzelf serieus formatief wil toetsen zal niet spieken. De toetsfase is gescheiden van de aanleerfase: tijdens het aanleren is de leerling niet geisoleerd, tijdens de toets wel (zelfs bij formatieve bedoeling, maar dan vrijwillig). II. Werkstukken / projecten / afstudeerstages. Kenmerken: grote, deels vage opdracht. Student moet de opdracht zelf aanscherpen en daarbij keuzes maken en initiatieven nemen. Tijdsduur voor antwoorden op de opdracht varieert van enkele dagen tot enkele maanden (of in geval van Ph.D. jaren). Authenticiteit van de respons wordt gegarandeerd doordat het antwoord origineel en uniek is. Individuen zijn tijdens dit type toets niet geisoleerd maar interacteren intensief met begeleider en de rest van de wereld. Nadruk ligt op toetsen van de hogere 3 Bloom niveaus: analyse, creatie, evaluatie (lagere niveaus spelen dan uiteraard automatisch ook mee). Bedoeling is zowel formatief als summatief. Aanleerfase en toetsfase zijn niet gescheiden: het aanleren en het getoetst worden gebeuren tegelijk. We kunnen deze twee vormen zien als uitersten op een continuum. Tussenvormen zijn denkbaar, zoals: een project van een middag met een niet al te vage opdracht. Echter de keuze tussen isolatie of niet lijkt een tamelijk absolute. Wanneer we het kenmerk "isolatie" als beslissend nemen, dan valt elke toets vanzelf in de ene, òf in de andere categorie. Als we daarentegen een paar tussenliggende categorieen zouden willen definieren, dan zouden het deze twee kunnen zijn: III. Huiswerk of ( practicum)opdracht, waarvan resultaat wordt nagekeken. Kenmerken: middelgrote opdracht. Typisch binnen een dag te doen. De student is niet echt geisoleerd maar wordt aangemoedigd te proberen op eigen kracht te werken. Het werk wordt nagekeken.
Bedoeling kan formatief of summatief zijn, of beide. Aanleerfase en toetsfase zijn niet gescheiden. Antwoorden worden niet geacht origineel of uniek te zijn. Indien summatief gebruikt, kan dit type toets niet "high stakes" zijn (veel studiepunten voor een middag werk). Als de antwoorden niet uniek zijn en de leerlingen zijn niet geisoleerd, is er immers geen enkele controle op "eigen werk", m.a.w je bent afhankelijk van de eerlijkheid van de leerling. (Bij programmeerpractica bij informatica is dit een probleem vooral als de opgaven echt simpel zijn, en de antwoorden dus niet uniek). IV. Stemkastjes: formatief toetsen in de expositiefase. Kenmerken: korte vragen die binnen een minuut spontaan te beantwoorden zijn, als onderdeel van een hoorcollege. Studenten geven individueel en anoniem hun mening. De geaggregeerde resultaten worden direct zichtbaar op een powerpoint slide. Hoewel studenten individueel hun mening geven is interactie met buren toegestaan en gewenst. De docent kan expliciet vervolgopdrachten geven, zoals: bespreek je antwoord met je buurvrouw. De docent gaat in zijn betoog tenslotte in op het resultaat.
2 Digitale assessment tools en hun functies De functies die digitale tools kunnen vervullen onderscheiden zich direct naar het type assessment. 2.1 Digitale tools ten bate van examens / / oefentoetsen (type I.) Tools ten bate van type I assessments vervullen 1 of meer van de volgende functies: A. Hulp bij het bewaren en beheren van collecties toetsvragen: toetsbanken. Invoeren van vragen en metadata: trefwoorden, Bloom niveau, target studentgroep, statistische gegevens (moeilijkheidsgraad, RIT waarde). Selecteren van geschikte vragen, samenstellen van een toets. B. Digitale afname van de toets Studenten zien de vraag op het scherm en typen hun antwoord in. Geen blaadjes meer inleveren Toets kan op afstand beantwoord (maar ). Adaptief: vragen aanpassen aan student: nauwkeurig toetsen met weinig vragen. Random trekken uit vragenbanken (per onderwerp) / random generatie. Bij summatief gebruik: beveiliging (isolatie). C. Nakijken Automatisch nakijken: multiple choice / numerieke antwoorden / korte antwoorden / Automatisch nakijken van essayvragen. Nakijken door de docent ondersteunen. D. Verwerking van toetsresultaten Becijfering van studenten. Evaluatie van toetsvragen (moeilijkheidsgraad, RIT-waarde), voor een gegeven groep studenten (>> toetsbank). E. Feedback Automatische feedback op basis van automatisch nakijken: snel! Feedback van de docent. F. Integratie met wijdere leeromgeving (aanleerfase) voorbeeld: ALEKS: complete leeromgeving voor wiskunde. ALEKS Beslist op basis van een toets uit welke aanleermodules je kunt kiezen. Na elke aanleermodule volgt een toets en stelt ALEKS je menu voor vervolgopties opnieuw samen voorbeeld: Blackboard: algemene leeromgeving met ingebouwde toetsmogelijkheid. Je kunt feedback geven en daarbij hyperlinks maken naar remedierend lesmateriaal elders in je Blackboard site.
2.2 Digitale tools ten bate van werkstukken / projecten / (type II) Tools ten bate van type II assessments vervullen 1 of meer van de volgende functies: A. Portfolio functie. Werkstukken van studenten worden verzameld in een afgeschermde ruimte: 1 ruimte per student. Doel is de ontwikkeling van de student zichtbaar te maken. Naast de werkstukken zelf worden ook beoordelingen en feedback van diverse begeleiders verzameld. De bedoeling is zowel formatief als summatief: de student ziet de eigen ontwikkeling en ziet de feedback, en kan op basis daarvan bijsturen. Aan het eind wordt het hele portfolio bekeken en wordt een summatieve beslissing genomen. Redenen digitaal: 1 plek waar alles bij elkaar staat, die tijd-en-plaats onafhankelijk te bekijken is voor zowel student als begeleiders. Voorbeelden: de UvA portfolio tool, de DU portfolio tool. B. Online samenwerken functie. Indien in groepen aan werkstukken wordt gewerkt is een online "werkruimte" handig. Bewaren van tussenprodukten en communicatie functies (forum, online meetings, email verzendlijst) ondersteunen de projectgroep. Als een docent toegang heeft (als coach) tot de groepwerkruimte, dan kan hij de groep feedback geven op zowel tussenprodukten als op het proces. Formatieve toetsing is dan deel van het proces (aanleerfase en toetsfase zijn niet gescheiden). Voorbeelden: surfgroepen, Blackboard "group pages" C. Peerfeedback functie. Studenten leveren werkstukken digitaal in. Vervolgens krijgen zij online inzage in een of twee werkstukken van collega's. Zij voorzien deze van feedback, al dan niet door invullen van een gestructureerd formulier met criteria. De software zorgt voor bewaken van deadlines, voor toewijzen van werkstukken aan beoordelaars, en voor verzamelen van de feedback en zichtbaar maken voor de auteurs. Doel kan zijn tijdbesparing voor de docent, of verbeterde feedback doordat peers elkaar beter aanvoelen, of een combinatie van beiden. Het gebruik is meestal formatief, maar kan ook summatief zijn, de peers kunnen dus cijfers geven. Voorbeeld: Blackboard "peer feedback" functie. D. Anti-plagiaat controle functie. Bij type II toetsing is de originaliteit van het antwoord de enige controle dat het antwoord werkelijk van de bedoelde student komt (authenticiteit). Om dit te controleren wordt het antwoord vergeleken met een uitvoerige database van werkstukken en teksten. Overeenkomende delen worden gemarkeerd en als eindresultaat wordt een percentage verdachte overlap gegeven. Voorbeeld: Ephorus, stand-alone of als Blackboard plugin. E. Integratie in een wijdere leeromgeving. Noodzaak / voordeel van integratie verschilt nogal voor de functies A, B, C en D.
2.3 Digitale tools voor regelmatig nakijken van middelgrote werkstukken (type III) Deze functies zijn generiek voor assessment typen II en III, maar zullen eerder voor III gebruikt worden, omdat het niet om grote opdrachten gaat: A. Digitaal inleveren van werkstukken Upload van werkstuk naar plek waar alleen docent toegang heeft, Registreren wie het werkstuk inleverde, en op welke opgave dit het antwoord is, Deadlines afdwingen, Bij groeps-werkstukken: registreren wie inlevert en namens welke groep. B. Gestructureerd bewaren van de werkstukken uit een klas/cohort Gerubriceerd per student en per opdracht. C. Ondersteunen van becijfering en feedback op huiswerk Studenten zien hun eigen ingeleverd werk, met daarbij cijfer en eventueel feedback, Docenten hebben een gestructureerd cijferboekje (met doorklik naar werkstuk en feedback). Het valt op welke werkstukken nog niet nagekeken zijn. Bij groeps-werkstukken: zorgen dat het cijfer en feedback naar alle groepsleden gaan. (docent hoeft maar 1x in te typen) D. Integratie met de rest van de leeromgeving Voorbeeld: Opgaven met "hier inleveren" hyperlink kunnen midden tussen ander lesmateriaal worden geplaatst (Blackboard "assignment"). Voorbeeld: "assignments" in Blackboard. De aanname is dat gedurende een cursus meerdere opgaven moeten worden beantwoord door een uitwerking in te leveren. De uitwerkingen worden ingeleverd als documenten. Automatisch nakijken is niet aan de orde (uitwerkingen zijn daarvoor te complex). De tool ondersteunt een workflow: studenten weten dat ze op tijd moeten inleveren, docenten zien wie wat ingeleverd heeft, en kunnen tijd-en-plaats onafhankelijk nakijken. Resultaten van het nakijken zijn direct zichtbaar voor ieder die het moet weten. Voorbeeld: "Ephorus assignments" in Blackboard. Als de opgaven iets groter zijn kun je eisen dat de antwoorden uniek zijn. Het is dan zinvol ze door een plagiaat-detector te halen. Ephorus assignments hebben (ongeveer) alle functies die gewone Blackboard assignments ook hebben, plus plagiaat detectie.
2.4 Digitale tools voor formatief toetsen in de expositiefase (type IV) Tools ten bate van type IV assessments zijn bekend onder de naam "stemkastjes". Zij vervullen deze functies: A. De docent projekteert als onderdeel van een college een dia met een meerkeuze vraag erop waarover hij de mening vraagt van alle studenten in de zaal. B. Studenten toetsen op (bij aanvang van het college uitgedeelde) stemkastjes hun antwoord in, in de vorm van een letter of cijfercode. C. Nadat ieder heeft gestemd, maakt de docent de uitslag zichtbaar met een druk op een knop: de uitslag verschijnt bijvoorbeeld als staafgrafiek op dezelfde dia waar de vraag te zien is. De nodige hardware bestaat uit de "stemkastjes", die ook vervangen kunnen worden door mobiele telefoons. (Voordeel mobiele telefoons: uitdelen van kastjes vervalt. Nadeel: je jaagt de studenten op kosten. Tendens is om bij grote studentenaantallen te kiezen voor mobiele telefoons). De nodige software bestaat uit een powerpoint-plugin, waardoor het vertonen van uitslagen als grafiek op een powerpoint dia mogelijk wordt. Dezelfde plugin is ook nodig voor de docent als hij zijn college voorbereidt. Vanaf hier concentreren we ons op tools voor Type I. assessments!
3 Criteria voor het kiezen van Type I assessment tools (examens, formatieve toetsen) Beschikbare tools verschillen van elkaar op deze criteria: 1. Integratie van de functies A t/m F Doet de tool een déél, of doet hij al deze dingen? M.a.w. heb ik maar één tool nodig of wil ik een heel rijtje tools (die elk extra goed zijn in hun eigen functionaliteit). 2. Is de tool geschikt voor elk vak, of is hij extra geschikt voor sommige vakken? Question Mark Perception is een goede algemene toets-tool, De Blackboard toets tool is ook algemeen bruikbaar, is minder goed, maar heeft gemakkelijke integratie met Blackboard als voordeel, Maple TA is vooral bedoeld voor wiskunde: studenten kunnen een formule intypen en Maple TA kan het antwoord nakijken, ook als het juiste antwoord op vele manieren genoteerd kan worden (Maple TA begrijpt wiskunde) 1. Er bestaan ook specialistische toets-tools voor: talen medicijnen, 2 3. Wil je een tool voor summatief gebruik? Of voor formatief gebruik? Of moet hij allebei kunnen? Summatief gebruik: beveiliging is nodig. i. Inloggen: we moeten zeker zijn van de identiteit van de student, ii. Studenten moeten niet, terwijl ze de toets doen, kunnen gaan surfen op het web, gaan chatten met makkers, gaan emailen met deskundige familieleden (isolatie). Formatief gebruik: feedback opties zijn belangrijk. Voorbeeld Blackboard: formatief ja, summatief neen! Voorbeeld QuestionMark Perception: beide, bij summatief gebruik: de speciale beveiligde browser gebruiken in een daartoe ingerichte computerzaal, en surveilleren. 1 Omdat wiskunde in diverse vakgebieden (techniek, economie, menswetenschappen) van belang is, besteden we er apart aandacht aan. 2 Wij weten daar helaas niet veel van. Maar zie (websites) voor verdere informatie.
4 Vergelijking functionaliteit van twee algemene en twee specifieke type I toets-tools. Criterium QuestionMark Perception Blackboard Test (BB Learn 9.1) Maple TA (versie 6) ALEKS DWO @@ Schrapkaarten -scannen -nakijken (ELION) Vragenbank functies ja Vaste inhoud - Onderwerp keywords ja ja ja nvt Andere metadata? question type - nvt level of difficulty Zoeken op meer criteria? ja ja nvt Afname van de toets digitaal digitaal digitaal digitaal op papier Summatief: beveiliging? ja + nee ja/nee # nee surveilleren Adaptief kan o nee nee ja nee Random vragen trekken / genereren? (trekken) beide beide nee nee Nakijken Automatisch nakijken van gesloten vragen ja ja ja ja ja Automatisch nakijken van essayvragen @ nee nee nee nee nee Essay vragen nakijken door docent ja ja ja nee nee Verwerking toets resultaten Cijfer per student ja ja ja ja ja Moeilijkheid per vraag (p-waarde) ja nee oo ja nee nee oo RIT-score / d-waarde per vraag? nee oo ja nee nee oo Feedback opties Feedback op basis van automatisch nakijken ja ja ja nee ++ nee ++ Feedback na elke vraag / na hele toets kan beide na toets na toets nvt nvt Integratie met ELO optie ja optie ja nee Geschikt voor elk vak / specialistisch algemeen algemeen wiskunde wiskunde wiskunde algemeen
+ Aparte beveiligde browser gebruiken + surveilleren. ++ Alleen de score, geen tekst en uitleg. o Zelf programmeren: conditionele vragenblokken. oo Je kunt resultaten exporteren naar Excel / SPSS en daar de nodige berekeningen doen @ Hier bestaat specialistische software voor: CODAS, BETSY, zie: Silvester Draaijer, flexibilisering van toetsen, DU, 05-07-2004. @@ Andre Heck hiernaar vragen. Deze tool is meer formatief dan summatief. # Lang niet zo degelijk als bij QuestionMark: geen secure browser. Wel een voorziening voor een surveillant om toe te zien dat mensen namens zichzelf submitten en niet namens een ander. Het bovenstaande is een opzetje: zowel de criteria als de onderzochte tools zijn uit te breiden. Question Mark Perception ken ik van een aantal jaren terug. Die kennis is verouderd. Van alle functies wordt evaluatie van toetsitems (moelijkheid, RIT-score) het minst ondersteund door deze over 't algemeen toch behoorlijk brede tools. Bij sommige is export naar een ander programma mogelijk om het alsnog voor elkaar te krijgen.