E-merge TECHNOLOGY ENHANCED MULTIPART QUESTION SCENARIOS Meta Keijzer- De Ruijter Celine Goedee m.a.keijzer-deruijter@tudelft.nl c.goedee@tudelft.nl Gefinancierd door: 4TU-CEE 1
Voor- en nadelen van digitaal toetsen Ervaringen? En die punten loop je sowieso mis als je een digitaal doet en dat vind ik op zich best wel kwalijk. Omdat het dingen zijn die je wel weet maar omdat je een klein denkfoutje maakt waardoor je iets in het kwadraat doet in plaats van tot de macht drie bijvoorbeeld loop je meteen alle punten mis terwijl je intentie wel goed was. Quote van student uit evaluatie digitaal tentamen, 2016. 2
(Innovatieve) vraagtypes MapleTA Mathematical formula Sorting Matching Math app Essay HTML Maple graded List Scanned document Sketch Clickable image Free body diagram Multiple choice Multiple selection True-False Numeric 3
Opzet bijeenkomst Ontwerp van een digitaal tentamen Materiaalkunde met docent waarbij onderzoek is gedaan naar bruikbare scenario s Ontwerp oefententamen, usability study, ontwerp regulier tentamen Studenten voorbereiding Analyse tentamen 4
Flow chart underpinning Een hoofdvraag gevolgd door deelvragen De focus ligt op onderbouwing (i.p.v. eindantwoord) door het stellen van deelvragen 5
Voorbeeld underpinning 6
7
Flow chart scaffolding Altijd eerst een hoofdvraag. Indien goed beantwoord: klaar met de opgave. Indien fout beantwoord: deelvragen. De deelvragen ondersteunen de student De focus ligt op eindantwoord optional optional 8
Voorbeeld scaffolding 9
Indien correct verder Indien fout einde vraag 10
Voor- en nadelen scenario s 1. Welke voor- en nadelen heeft underpinning? 2. Welke voor- en nadelen heeft scaffolding? 11
Van papier naar digitaal Omzetten van een tentamen 12
Papieren vraag 1 Bezwaar: educated guess 13
Digitale vraag 1 Hoofdvraag goed deelvragen Hoofdvraag fout klaar met opgave Scoring: punt voor de hoofdvraag wordt alleen toegekend als de deelvragen correct zijn beantwoord 14
15
Papieren vraag 2 Bezwaar: Zelfstandig het probleem kunnen oplossen wordt niet gemeten doordat de doelfunctie en formule randvoorwaarde worden weggegeven. 16
Digitale vraag 2 Hoofdvraag goed of fout deelvragen Scoring: hoofdvraag 50%, deelvragen samen 50% 17
18
Digitale vraag 3 (variant op 2) Hoofdvraag goed of fout deelvragen Scoring: hoofdvraag 25%, deelvragen a, b en c samen 75% Indien hoofdvraag fout herhaling van de hoofdvraag (deelvraag d). Scoring: 5% 19
Herhaling van de hoofdvraag Klaar 20
Papieren vraag 4 Bezwaar: De vraag is te omvangrijk om te toetsen met MC en de focus hoort te liggen op het meten van de strategie/denkproces. 21
Digitale vraag 4 Hoofdvraag goed klaar met de opgave. Scoring: 100% Hoofdvraag fout deelvragen a en b. Scoring: 80% Deelvragen a en b goed deelvragen c, d en e. Scoring 0-10%. Deelvragen a en b fout klaar met de opgave. 22
Indien correct verder Indien fout einde vraag 23
Digitale tentamenvragen construeren De tentamenopgaven zijn opgesteld aan de hand van de volgende vragen: Welk niveau wil ik meten? Met welk vraagtype/scenario meet ik het gewenste niveau? Welke dimensie wil ik meten? Met welke vraagtype/scenario meet ik de gewenste dimensie? Ligt de focus op eindantwoord of denkproces? Wil ik een oplossingsstrategie voorschrijven of vrij laten? Worden studenten op verschillende niveaus in gelegenheid gesteld om hun beheersing te tonen? Doe ik ongewenste consessies? Tip: bekijk het vanuit een wenselijke positie (leerdoelen en onderwijs) en niet vanuit het papieren tentamen. 24
Digitale tentamenvragen construeren De tentamenopgaven zijn opgesteld aan de hand van de volgende vragen: Welk niveau wil ik meten? Met welk vraagtype/scenario meet ik het gewenste niveau? Welke dimensie wil ik meten? Met welke vraagtype/scenario meet ik de gewenste dimensie? Ligt de focus op eindantwoord of denkproces? Wil ik een oplossingsstrategie voorschrijven of vrij laten? Worden studenten op verschillende niveaus in gelegenheid gesteld om hun beheersing te tonen? Doe ik ongewenste consessies? Tip: bekijk het vanuit een wenselijke positie (leerdoelen en onderwijs) en niet vanuit het papieren tentamen. 25
Het bedenken van hoofd- en deelvragen 1. De hoofdvraag is vaak de laatste vraag in het papieren tentamen. 2. De hoofdvraag kan worden afgeleid uit de leerdoelen. 3. Maak een gedetailleerde uitwerking van de hoofdvraag en distilleer hieruit deelvragen. 4. Houd studenten op verschillende beheersingsniveaus in gedachten bij het bedenken van deelvragen. Pas op: zorg ervoor dat de deelvragen niet op een (veel) lager niveau zijn dan de hoofdvraag. 26
Usability study: vraag 1 Waar ervaren studenten problemen? zonde van de tijd het is handig maar ik lees het niet echt door moeilijk leesbaar dus zal wel niet van toepassing zijn 27
M= tekenen 28
Usability study: vraag 2 Waar ervaren studenten problemen? het interesseert me niet teveel rekenen hoeveel decimalen?? 29
Usability study: vraag 3 Waar ervaren studenten problemen? je kan de formules minder snel invullen 30
Niet gelezen Wat houdt het in als je door je attempts heen bent? Mag je het dan niet meer proberen? 31
Samenvatting usability study Bevinding De opzet van de vraag wordt niet altijd gelezen. De puntenverdeling tusssen hoofd- en deelvragen interesseert studenten niet veel. Afbeelding wordt onterecht irrelevant geacht vanwege de grootte. Onduidelijk of parameter voor het =teken ook moeten worden gegeven. Een lijn trekken met geodriehoek gaat lastig op computer. Voor incorrecte schrijfwijze eenheden werd de vraag fout gerekend. Oplossing Zo kort mogelijk noteren en in de oefententamens wordt dezelfde opzet gehanteerd. Wordt niet meer gegeven in het tentamen. Afbeeldingen zijn clickable gemaakt met inzoomfunctie. Wordt nu standaard genoteerd. De afbeelding wordt in een digitaal programma gegeven waarin de lijn automatisch wordt getrokken en de afbeelding wordt op papier uitgereikt. De eenheden worden nu gegeven. 32
Samenvatting usability study Bevinding Deel onderwijs in het Engels met een Nederlandstalig tentamen. Studenten wisten kernwoorden niet te vertalen. Onduidelijk hoeveel decimalen er moeten worden ingevoerd. Studenten ervaarden problemen met invoeren van formules. Studenten gebruikten een verkeerde notatie. Onduidelijk wat ze in bepaalde velden moeten invoeren. Oplossing De Engelse kernwoorden worden tussen haakjes erbij gegeven en een woordenboek is toegestaan. In de formulering staat significante cijfers 1) Er is geswitcht van formule entry naar text entry. 2) Er is een invul oefentoets gemaakt. 3) In de toets is een overzicht beschikbaar gemaakt van de schrijfwijze van de symbolen (e.g.lambda). 4) Er is nadruk gelegd op de preview knop waarmee studenten hun invoer kunnen controleren. De symbolen zijn er door de docent in de opgave bijgezet. Naast een inhoudelijke opdracht is er ook een invulinstructie. 33
Samenvatting usability study Bevinding Studenten gebruikten verkeerde notatie doordat de tekst over de correcte notatie onder de deelvragen stond. Onduidelijk wat de knop attemps inhoudt. Slecht te zien hoeveel punten een opgave waard is. Studenten willen door het tentamen heen kunnen bladeren. Oplossing De tekst is verplaatst naar boven de deelvragen. Informatie hierover is verwerkt in instructie. Op het voorblad van het tentamen een overzicht met punten per opgave bieden. Dit is mogelijk per hoofdvraag maar niet voor de deelvragen. 34
Studenten voorbereiding Hoe bereiden jullie studenten voor op een (digitaal) tentamen? Papieren tentamen Aankondiging Blackboard Oefentoetsen beschikbaar stellen Instructie Digitaal tentamen Oefen invultoets In hoorcollege vragen maken in MapleTA en bespreken Aanvullende instructie 35
Tips voor de oefen invultoets 36
Voorbeeldvraag oefen invultoets 37
Ervaringen met nakijken Altijd een review van de antwoorden Notatiefouten beoordelen Inzicht waar studenten fouten maken Leg de reden van aanpassing score vast in gradebook van MTA (inzage voor studenten) Wat doe je als studenten in de tweede poging hun goede antwoord verbeteren? Zorg dat mogelijke antwoorden met kleine fouten (waarvoor je studenten niet wilt afstraffen door de hele vraag fout te rekenen) zijn voorgeprogrammeerd 38
Analyse De verwachting was dat studenten een toetsstrategie zouden hanteren op Verdeling punten tussen hoofd- en deelvragen Aantal pogingen Reverse engineering Onderzoek in 2 groepen Weinig versus veel punten hoofdvraag 2 versus 4 pogingen Toetsstrategie definiëren wij als: a tactic used by the student to decide whether and how seriously (s)he should attempt to answer the main question based on other factors than content. 39
Toetsstrategie: puntenverdeling Stelling: Studenten hanteren een toetsstrategie op basis van punten verdeling tussen hoofden deelvragen. 40
Conclusies op basis van hardop-denk protocol Studenten lezen de opzet niet allemaal en geven aan dat het ze weinig interesseert. Je probeert toch sowieso de hoofdvraag te beantwoorden In tentamen geen puntenverdeling gegeven maar studenten skippen de hoofdvraag niet/nauwelijks. Tip: Zorg dat de puntenverdeling niet een strategie veroorzaakt. 41
Toetsstrategie: puntenverdeling Stelling: Studenten hanteren een toetsstrategie op basis van punten verdeling tussen hoofden deelvragen. 42
Toetsstrategie: aantal pogingen Stelling: Studenten hanteren een toetsstrategie op basis van aantal pogingen. 43
Toetsstrategie: aantal pogingen bij de hoofdvraag Zet de redenen waarvoor studenten een 2 e poging gebruiken op volgorde van meest naar minst gebruikt. 1. Herberekenen Kleine inhoudelijke / andere wijziging insteek 2. Hetzelfde herberekenen antwoord 3. Kleine hetzelfde inhoudelijke wijziging 4. Notatie notatie correctie 5. skippen Skippen 44
Invulling 2 e poging (hoofdvraag) Je hebt niets aan 4 pogingen. Als je het niet weet, dan weet je het niet Numerieke vraag Goed goed 11% herberekend 8% Fout hetzelfde 12% herberekend 58% afronding 8% plus/min 1% geen antwoord HV geskipt 0% hele vraag 3% Totaal 100% Herhaling van de hoofdvraag na de deelvragen ong 5% alsnog goed (zowel bij formule als numerieke vraag) 45
Toetsstrategie: aantal pogingen Stelling: Studenten hanteren een toetsstrategie op basis van aantal pogingen verdeling tussen hoofd- en deelvragen. Tijdens het hardop-denk protocol was de observatie dat studenten meerdere inhoudelijke paden gingen proberen aangezien ze toch meerdere pogingen kregen. Een poging wordt waardevoller hoe minder pogingen je hebt. Dan ga je er serieus over nadenken 46
Advies aantal pogingen Geef niet meer dan 2 pogingen. Studenten blijven erin hangen Meer pogingen lokt toetsstrategie uit Bedenk voor jezelf of je de verdeling waarvoor studenten de 2 e poging gebruiken acceptabel vindt. 47
Zijn de scenario s underpinning en scaffolding conform de kwaliteitseisen? Hiervoor gaan we kijken naar: Moeilijkheidsgraad Onderscheidend vermogen 48
Kwaliteit: moeilijkheidsgraad Vraag 1: P= 0.24 (underpinning) Vraag 2: P= 0.64 (underpinning) Vraag 3: P= 0.10 (underpinning) Vraag 4: P= 0.61 (scaffolding) Fijn dat je deelvragen kreeg als de hoofdvraag fout was Het verschil is dat de hoofdvraag een groter geheel is terwijl een deelvraag een klein stukje is, wat beter te doen is 49
Kwaliteit: onderscheidend vermogen Vraag 1: Rir= 0.32 Vraag 2: Rir= 0.47 Vraag 3: Rir= 0.42 Vraag 4: Rir= 0.29 Studentperceptie: De digitale toets is minder geschikt voor het toetsen van de kennis van de student Het controleren van alleen het eindantwoord is niet genoeg, de hele berekening zou moeten worden meegenomen 50
Kwaliteit: onderscheidend vermogen 51
Uitslag kwaliteitseisen Stelling: De scenario s underpinning en scaffolding zijn van voldoende kwaliteit om te gebruiken. Moeilijkheidsgraad Onderscheidend vermogen 52
Volgende keer moet anders. Bevinding Studenten willen dat er ook gekeken wordt naar uitwerkingen en hebben het idee dat er alleen wordt gekeken naar het eindantwoord. Teveel kans op rekenfout, Oplossing Uitleggen dat deelvragen de uitwerkingen zijn en scanned documents gebruiken. Hiervoor blijft de 2e poging van kracht. Fouten in het programmeren of marge zorgt ervoor dat studenten onterecht de deelvragen krijgen. MapleTA geeft tijdens het tentamen feedback of de vraag goed of fout is. Het invoeren op de computer kost extra tijd. Meerdere deelvragen worden met 1 knop beoordeeld dus ze krijgen alleen de melding dat er een vraag fout was maar niet welke. Check het antwoord, reken de marge door vanaf de eerste deelvraag. Zit in het systeem dus kan de docent niet veranderen. Wordt aan gewerkt door leverancier. Geef studenten extra tentamentijd. Tegenargument van andere studenten: het is prettiger om zoveel mogelijk deelvragen alvast te zien voordat ze moeten worden beantwoord. 53
Eindoordeel Stelling: Ik ga het scenario underpinning en/of scaffolding gebruiken of als tip geven aan een collega. 54