9 Invoeren van digitale toetsing door één docent: docent Genetica, faculteit der Aard- en Levenswetenschappen Vrije Universiteit Amsterdam

Transcriptie

1 9 Invoeren van digitale toetsing door één docent: docent Genetica, faculteit der Aard- en Levenswetenschappen Vrije Universiteit Amsterdam Casusbeschrijving door Silvester Draaijer 9.1 Samenvatting Een docent wil zijn traditionele collegereeks vervangen door een meer probleemgerichte onderwijsaanpak en wil tegelijkertijd daarmee het onderwijs tijdsextensiever voor hemzelf te maken. Om de kennisverwerving te stimuleren besluit hij de studenten oefentoetsen aan te bieden en deeltoetsen. Hij ontwikkelt daartoe ongeveer 330 vragen die hij digitaal aanmaakt en via Blackboard aanbiedt aan studenten. De studenten maken gretig gebruik van het aanbod van toetsen, maar leren vervolgens de toetsvragen uit hun hoofd. Het tentamen wordt ook via Blackboard afgenomen. De behaalde cijfers op het tentamen zijn echter zeer laag. De docent besluit daarop de volgende jaren zijn toetsbank op een andere wijze in te zetten. Deze casus is uitgewerkt in de video ICT doorstart voor docenten die te vinden is op de website of rechtstreeks te bekijken via: Inleiding Een docent van de opleiding Biologie van de Faculteit der Aard en Levenswetenschappen van de VU verzorgt al enige jaren het vak inleiding genetica. Het vak wordt op een traditionele wijze verzorgd door de docent. Per jaar nemen ongeveer 180 studenten deel aan de cursus. De cursus beslaat een periode van 4 weken. Daarin verzorgt de docent 20 maal een hoorcollege in een periode van 2 weken. Daarnaast moeten de studenten 5 experimenten uitvoeren. Deze zijn verdeelt over ±14 dagdelen practicum, gedurende 3 weken. De laatste week is ingeroosterd als studiepauze. Over het practicum hoeven de studenten geen verslag te schrijven maar er worden wel twee toetsen afgenomen. De beoordeling van de tussentoetsen telt mee in de eindbeoordeling. Aan het eind van de cursus is er een schriftelijk tentamen. Dit tentamen bestaat uit 50 multiplechoice vragen. Het gemiddelde slagingspercentage van de student voor dit vak voor de eerste keer is ongeveer 80 %. De docent is wel tevreden over dit percentage. 9.3 Gewenste situatie Door nieuw beleid van de faculteit, waarin activerend onderwijs centraal staat, besluit de docent om het vak te wijzigen. De docent neemt het vak over en heeft een afweging gemaakt om zijn tijd in het opzetten en verzorgen van een collegereeks te stoppen, of om dit anders te besteden. Hij wilde aansturen op meer zelfwerkzaamheid en minder colleges. Hij vond onder andere dat de studenten in de cursus veel te weinig actief waren. De docent besloot om de cursus meer in de vorm van Probleem Gestuurd Onderwijs (PGO) aan te bieden en om studenten gerichter te ondersteunen in kennisverwerving gericht op het behalen van een eindtoets. De opbouw van de cursus werd daarmee ongeveer als volgt: 5 experimenten: de cursus zou draaien rondom de uitvoering van 5 experimenten die de studenten in groepjes van 12 tot 14 studenten zouden uitvoeren; 5x brainstorm van een uur over leerdoelen: de studenten zouden zelf vast stellen welke theoretische voorkennis ontbreekt om de practicum proef te kunnen begrijpen; 5x stof bestuderen: studietijd van 2 dagen, individueel en in aansluiting op de brainstorm; pagina 53 van 86

2 Rapportage van een uur in de groep over hun leerdoelen en bestudeerde thema s. De groepjes zouden van elk experiment een mondelinge rapportage geven. Deze rapportages werden beoordeeld, maar het cijfer ervan telde niet mee in de eindbeoordeling van de cursus; Een computerdeeltentamen over de leerstof: de studenten zouden voorafgaand aan de experimenten deeltentamens achter de computer moeten maken. Het gemiddelde cijfer voor de deeltentamens zou als aan alle deeltentamens was deelgenomen 50% wegen in de bepaling van het eindcijfer; Dan begint het practicum van ongeveer 2 maal 2 dagdelen; Gedurende deze gehele tijd zijn de oefenvragen reeds beschikbaar; Tentamen: de cursus zou besluiten met een tentamen. 9.4 Toetsontwikkeling De docent heeft ±65 toetsvragen ontwikkeld voor de deeltentamens, totaal dus zo n 325 vragen. Aan elke vraag heeft hij ongeveer 40 minuten besteed. Totale inzet voor de vraagontwikkeling was derhalve 220 uur. De docent heeft op eigen initiatief besloten om dit te doen. Hij heeft geen extra tijd gekregen van zijn faculteit. De meeste toetsvragen zijn door de docent zelf ontwikkeld. Dit heeft hij geheel zelfstandig gedaan. Controle van de vragen is uitgevoerd door een collega-docent. De docent maakte intensief gebruik van het programma Respondus om een goed beheer over de toetsvragen te krijgen en om het invoegen van figuren en formules goed mogelijk te maken. Via een import- en exportfunctie van Respondus kan de docent de toetsvragen eenvoudig in Blackboard plaatsen. De docent heeft besloten om in de meeste gevallen inhoudelijke feedback te formuleren bij de toetsvragen. Daarnaast besloot de docent om in de meeste gevallen gebruik te maken van de 4-5 keuze Multiplechoice vraag. Soms multiple answer en matching. De belangrijkste redenen om voornamelijk voor multiplechoice vragen te kiezen waren: Bekendheid van de docent met deze vraagvorm waardoor ontwikkelen sneller ging Bekendheid van studenten met deze vraagvorm zodat er geen problemen daarmee optreden Figuur 9 Voorbeelden van toetsvragen genetica pagina 54 van 86

3 De docent heeft uitgebreid de toetsen uitgeprobeerd op de locatie waar de studenten ook de toetsen zouden maken. Dat was vooral van belang omdat de toetsen op imac s zouden worden afgenomen waarbij een ander besturingssysteem dan Windows er voor kan zorgen dat plaatjes niet goed worden weergegeven of dat de lay-out niet klopt. Er waren niet veel problemen. 9.5 Toetsafname Oefentoetsen De oefentoetsen stonden op elk willekeurig moment ter beschikking van de studenten. Zij konden op elke PC met een internetverbinding deze toetsen maken Deeltentamens Het aanbieden van de deeltentamens vond plaats voorafgaand aan de practica. De faculteit heeft de beschikking over 2 zalen met elk 40 imacs en 1 zaal met 15 PC s, zodat er 90 studenten tegelijkertijd met de toetsen bezig konden zijn. Er werden verder geen extra voorzieningen getroffen om de bedrijfszekerheid van de Blackboardomgeving of de PC s te garanderen. Het tegengaan van fraude (in de zin van voorkomen dat er overlegd kon worden, of dat studenten literatuur konden raadplegen of dat studenten onder iemands anders naam zouden inloggen) bleek wel lastig te zijn. En ondanks het aanbieden van de toetsvragen in willekeurige volgorde bleek afkijken regelmatig voor te komen. Het surveilleren tijdens de toetsen hielp echter goed om deze vorm van fraude tegen te gaan. Tijdens het afnemen van de toetsen traden er ook een aantal technische problemen op. Er waren zo nu en dan tijdens het afnemen van de toetsen performance problemen van de Blackboardserver (dat bleek later veroorzaakt te worden doordat juist bij het opstarten van tentamens, waarbij op hetzelfde moment meer dan 100 studenten teglijkertijd dezelfde resources opvragen, de belasting op webservers het hoogst is). Voor het surveilleren en oplossen van mogelijke problemen waren de docent en 3-4 assistenten beschikbaar. Deze ondersteuning was regelmatig nodig om de toets voor studenten te resetten wanneer de student de toets per ongeluk had verlaten of anderszins problemen had met de toets Tentamen Het afnemen van het tentamen vond plaats op de traditionele wijze van pen en papier. De docent besloot daartoe vanwege zijn verwachting omtrent optredende problemen met beveiliging en fraude, door de beperkte hoeveelheid PC s en de beperking in het controleren en surveilleren tijdens een tentamen bij afname op PC s. pagina 55 van 86

4 9.6 Toetsbeheer Het beheren van de toetsvragen vond plaats binnen het programma Respondus. De docent had de vragen geordend met de volgende kenmerken: 5 sets vragen: per experiment één. Moeilijkheidsgraad: De waarde van de toetsitems Hoeveelheid toegekende punten, voor een moeilijke vraag kan een student meer punten krijgen. Trefwoord binnen Respondus Subonderwerp De docent ervoer dat het beheer van de toetsvragen met Respondus zeker eenvoudiger was dan met Blackboard zelf, maar ideaal vond hij het nog niet. Negatieve ervaringen zijn vooral het beperkte overzicht van de hoeveelheid vragen en de grote hoeveelheid schermklikken die nodig zijn om toetsvragen te bewerken. De docent heeft regelmatig uitdraaien op papier gemaakt van de toetsen om op die wijze een goed mentaal beeld te krijgen van de aard en om vang van de toetsbank. Bovendien komen fouten sneller aan het licht als toetsen op papier zijn uitgedraaid. Gelukkig biedt Respondus goede mogelijkheden om toetsen te printen Deeltentamens De studenten kregen in willekeurige volgorde vragen uit de 60 aangeboden om te beantwoorden. Ze kregen vragen in drie moelijkheidscategorieën voorgelegd. Vanaf de brainstorm tot de deeltoets was het mogelijk om proeftoetsen via Blackboard te doen Tentamen Voor het tentamen putte de docent de vragen uit het bestand van ongeveer 320 vragen. Voor het tentamen selecteerde hij 50 vragen uit dat bestand. Via Respondus kon hij deze vragen eenvoudig selecteren en printen. De docent besloot om 2 varianten van de toets aan te maken, waarbij de vragen dezelfde waren, maar de volgorde van de antwoorden en de vragen was gevarieerd. Ook werd meestal de stam van de vraag geherformuleerd. 9.7 Toetsverwerking Deeltentamen Nadat studenten de toetsvragen hebben beantwoord en hebben gesubmit, verwerkt Blackboard direct de toets. Studenten krijgen direct feedback op de toets in de vorm van het aantal vragen dat zij goed hadden beantwoord: een score en de juiste antwoorden op de vragen. Als studenten de helft plus één van de vragen correct hadden beantwoord kregen zij een voldoende voor dat deeltentamen. De docent heeft na elke toetsafname de resultaten van de toetsen geanalyseerd. Daarmee heeft hij toetsvragen aangepast en de voortgang van de groep in de gaten gehouden. Als er een verkeerde toetsvraag in de toets zat is nagegaan wie welke student die vraag heeft beantwoord. Die vraag is vervolgens er handmatig uitgehaald en de score is handmatig aangepast. Dit leverde veel extra werk op. Dat werk is gedaan door student-assisstenten Tentamen De docent koos ervoor om niet gebruik te maken van de schrapkaartenservice van het toetsservicecentrum van de Vrije Universiteit. Hij heeft ze met een malletje zelf handmatig nagekeken. De reden om geen gebruik te maken van de schrapkaarten service kwam voort uit het idee van de docent dat dat omslachtig is en weer apart out-of-pocket geld kost. Hij vond het pagina 56 van 86

5 interessanter om zelf te ervaren hoe de studenten op de verschillende vragen scoorden. Hij was zich er niet van bewust dat er nu geen gedegen itemanalyse van de toets zou plaatsvinden. 9.8 Cursusresultaten De docent ondervond aanloopproblemen met de nieuwe opzet van de cursus, in relatie tot de experimenten en wijze van rapporteren. Studenten bleken niet goed in staat om zelfstandig leerdoelen vast te stellen. Het groepswerk resulteerde regelmatig in te weinig diepgang en het net off-topic werken. Ook constateerde de docent veel meelift-gedrag. Er traden daarnaast ook de nodige onverwachte neveneffecten op met betrekking tot de toetsing Deeltentamens Omdat gezegd was dat de deeltentamens (computertoetsen) identiek zouden zijn aan de oefentoetsen en het gemiddelde van alle deeltentamens even zwaar zouden wegen als het tentamen zelf, had dit tot gevolg dat studenten besloten om alle vragen te verzamelen en de antwoorden uit het hoofd te leren! Een vorm van zeer onwenselijk reproductiegedrag. Ook door de relatieve lage cesuur om een voldoende te behalen bleek het slaagpercentage op de deeltentamens hoog. Door de opzet van de computertoetsen waarin een random keuze werd gemaakt uit een relatief kleine database werden de studenten gestimuleerd tot het uit het hoofd leren van de antwoorden. Hierdoor kon zonder bestudering van de leerstof een zeer hoog gemiddelde worden gescoord voor de deeltentamens, waardoor een grote groep studenten waarschijnlijk de noodzaak niet inzag om nog verder te leren voor het tentamen. Omdat de computerdeeltentamens een relatief groot aandeel hadden in de bepaling van het eindcijfer, op voorwaarde dat aan alle deeltentamens was deelgenomen, leidde dit ook tot extra ziekmeldingen voor de deeltentamens een manier van calculerende studenten om zoveel mogelijk opties op het behalen van een goed cijfer, open te kunnen houden. Ziekmeldingen leveren voor docenten altijd extra administratieve rompslomp op door de verplichting van het aanbieden van herkansingen. Kortom er was onvoldoende nagedacht over de consequenties van de gekozen opzet Tentamen Op het tentamen heeft de docent, zoals aangegeven aan de studenten, ook toetsitems gebruikt uit de bank van 320 vragen (50 voor het tentamen). Het rendement van het tentamen was echter erg laag. De eerste afname had een rendement van ±30%. De belangrijkste oorzaak bij navraag onder studenten bleek de volgende te zijn: op het tentamen, dat schriftelijk werd afgenomen, heeft de docent besloten de antwoordalternatieven te verwisselen en de vragen iets te herformuleren. Daardoor is het reproducerend studiegedrag van de studenten afgestraft. Bovendien lag de cesuur bij het tentamen hoger, namelijk op een niveau waarbij ook de raadkans was ingecalculeerd. De score voor het tentamen was dan ook zeer laag, terwijl het slagingspercentage voor de cursus als geheel relatief hoog was (±80%). 9.9 Kosten en baten analyse De kosten en baten van deze casus worden in onderstaande tabel kort weergegeven. Er wordt vanuit gegaan dat de docent 4 jaar lang gebruik zal maken van zijn ontwikkelde toetsbank. Naast deze kale berekening geldt voorts dat: Studenten uiteindelijk de beschikking krijgen over veel oefenmateriaal; De gemiddelde score van de studenten op het vak niet veel is veranderd. pagina 57 van 86

6 Tabel 7 Kosten en baten van docententoetsbank Kosten Aanmaken van toetsvragen 320 maal 0,67 uur maal Beheren van toetsvragen 4 maal 8 uur maal Toetssessies begeleiden en 32 uur maal voorbereiden (overleg e.d.) Deeltentamencijfers verbeteren 16 uur maal Totale kosten Baten Geen colleges meer 64 maal 3 uur maal Geen gewoon tentamen meer 4 maal 16 uur maal maken Total baten Balans extra kosten Toekomst Voor een volgende uitvoering van de cursus zal de docent niet meer werken met deeltentamens die hij aan zal bieden via de computer. Hij zal deeltentamens schriftelijk afnemen op momenten dat kleine groepen studenten in de werkgroep aanwezig zijn.. Hij zal wel de oefentoetsen aan studenten ter beschikking stellen zodat zij op eigen tempo en plaats kunnen oefenen, maar de docent zal niet meer alle vragen uit oefentoetsen halen, maar speciaal voor het tentamen en deeltentamens gereserveerde vragen ontwikkelen Discussie Deze casus beschrijft een veelvoorkomende situatie: een individuele docent neemt initiatief om meer formatieve tussentijdse toetsen in het onderwijs in te zetten met behulp van ICT. Hij zet verschillende programma s in om een toetsbank op te zetten, om de toetsen tijdonafhankelijk via het beeldscherm te laten afnemen en om te tentamineren. De casus geeft aan welke waaier van argumenten een docent kan hebben om deze stap te nemen. De casus toont ook aan dat er technisch heel veel mogelijk is. De docent kiest bijvoorbeeld programmateur die het mogelijk maakt om de toetsvragen en toetsen flexibel aan te kunnen bieden, via verschillende programma s en zowel via de computer als op papier. Belangrijk is echter dat het verweven van vele vormen van toetsing in onderwijs en het gebruik van ICT daarbij, ook vele valkuilen kent. Zonder een goede oriëntatie van docenten op deze valkuilen is de kans groot dat iedere docent het wiel opnieuw uit zal vinden. We noemen hier enkele valkuilen. Een reguliere Digitale Leeromgeving (zoals Blackboard) is niet erg geschikt voor het afnemen van tentamens. Er is geen ondersteuningsorganisatie beschikbaar op het moment dat de techniek het laat afweten. Laat jezelf goed voorlichten en kies bij voorkeur een programma dat echt geschikt is voor summatieve toetsing. Zorg er daarboven voor om studenten altijd in kleinere groepjes te laten inloggen om de belasting op de server niet te groot te maken. Er zijn meer maatregelen nodig om reproductiegericht leren van tentamens, door het uit het hoofd leren van toetsvragen van oefententamens door studenten, tegen te gaan. Voorbeelden daarvan zijn: o Geef als docent zelf al een deel van de oefenvragen uit op schrift, ook dat voorkomt dat studenten op jacht gaan naar toetsvragen zonder aandacht voor de toetsvragen zelf (Leiblum 1994). o Biedt oefenvragen altijd aan met behulp van randomiseertechnieken (niet alleen random aanbieden van vragen, maar ook alternatieven in verschillende volgordes aanbieden e.d.); pagina 58 van 86

7 o Biedt digitale oefenvragen zo mogelijk zodanig aan dat ze niet geprint kunnen worden. o Houd een strikte scheiding aan tussen de oefenvragen en tentamenvragen; communiceer met studenten dat de tentamenvragen lijken op de oefenvragen, maar niet dezelfde zijn. o Ontwikkelen significant meer vragen door bijvoorbeeld eerst uitgebreid op het internet en bij uitgeverijen te zoeken naar vragendatabases. Ontwikkel zelf vragen met gebruikmaking van de item-delen methode (Wilbrink 1983). Schep geen onduidelijke verwachtingen bij studenten; o Zorg dat oefentoetsen en deeltentamens dezelfde beoordelingswijze volgen als de eindtoets; zorg er m.a.w. dat ze een correct diagnostisch karakter hebben. pagina 59 van 86