Digitaal toetsen met beelden dr. Koen Vincken
Overzicht Even voorstellen Waarom toetsen met beelden? Beeldinterpretatievaardigheden Authenticiteit Het toetsprogramma VQuest Onderzoek en resultaten Toepassingen
Even voorstellen Koen Vincken, PhD Associate Professor (UHD) Image Sciences Institute (ISI), UMC Utrecht Onderwijs & Onderzoek Beeldverwerking Technology Transfer Officer, divisie Beeld 3D rendering (stent) gezichtsreconstructie breinsegmentatie beenreconstructie
Digitaal toetsen Cécile Ravesloot Radiologe in opleiding (AIOS) PhD studente Medical Education, divisie Beeld Onderzoeksvraag: Hoe kan toetsing van medische studenten verbeterd worden d.m.v. digitale toepassingen?
Beeldvorming van 1632 tot 2015
De radioloog (vroeger)
De radioloog (nu)
Probleemstelling Huidige radiologie-toetsen zijn niet authentiek Veranderende klinische praktijk door digitale ontwikkelingen Toename van gebruik van volumetrische beelddata vereist andere beeldinterpretatievaardigheden Radiologie-toetsing moet aangepast worden om hoge kwaliteit van toetsafname te garanderen? papieren vraag huidige praktijk
Beeldinterpretatievaardigheden Perceptie zoekstrategieën normaal/afwijkend patroonherkenning (stervormig? microbloeding vs. bloedvat, etc.) Synthese integreren bevindingen differentiaal diagnose advies/actie via verslag Analyse vergelijken met eerdere beeldvorming karakteriseren bevindingen relevant/irrelevant
Van papieren naar digitale toetsing Digitale toetsing van papier naar werkstation/laptop Software QMP, TestVision, alleen voor 2D beelden Nieuwe vraagtypen voor beelden Ontwikkeling van een nieuw toetsprogramma traditioneel (Jaarbeurs) digitale toetsing (TenT, VU)
Goede vragen maken is moeilijk.
Eerste versie van VQuest (2010)
Docentmodule: maken van een pijlvraag
Docentmodule: maken van een meetlatvraag Meet de langste transversale diameter van de vena cava inferior ter hoogte van de inmonding in het hart.
Automatisch nakijken / rapportage fout in graden (pijl) fout in mm (meetlat)
Eerste ervaringen met VQuest ±500 toetsen afgenomen (inmiddels > 4000) tussen 10 en 75 vragen per toets Verschillende expertise niveaus 2 e jrs geneeskunde, 4 e -6 e jrs artsen-in-opleiding
Nieuwe versie van VQuest (2013) Verbeterde functionaliteit Betere 3D support / meerdere beelden per vraag Client-server versie Item bank support (in ontwikkeling) delen van vragen over internet reviewmodule
Uitbreiding projectgroep drs. Christian Mol Wetenschappelijk programmeur (ISI) MSc Kunstmatige intelligentie drs. Anouk van der Gijp Radiologe in opleiding (AIOS) PhD studente Medical Education, divisie Beeld dr. Marieke van der Schaaf Associate Professor Educatie & Pedagogiek Sociale Wetenschappen, Univ. van Utrecht
Test Student (1234) VQuest 2.0 aanwijsvraag
Test Student (1234) Aanwijsvraag met overlay
Drop down / Longlistmenu principe Contrast Uncertain
Gecombineerde vragen
Ervaringen docenten Geeft meer inzicht in kennis/kunde co-assistenten, studenten, AIOS, etc. Geeft inzicht waar in het proces van beeldinterpretatie het fout gaat
Onderzoek m.b.v. SURF subsidies Toetsing in beeld (2011-2014) Kwaliteitsverbetering van digitale toetsing met multi-dimensionale beelden Digitaal toetsen met beelden, een extra dimensie (2012-2014) Implementatie in de medische specialistenopleidingen IMAGE ME (2013-2014) IMage interpretation Assessment using logs for Evaluation in Medical Education
Beeldinterpretatie 2D vs. 3D Is beeldinterpretatie van MPR * beelden anders dan van 2D beelden? Uncertin * MPR = Multiplanar reformatting
Kwaliteitsonderzoek Leiden 3D beeldvragen tot betere toetsing van radiologische beeldinterpretatie?
Kwaliteitscriteria Validiteit Betrouwbaarheid 3D > 2D Ervaren authenticiteit, Externe validiteit 3D > 2D Cronbach s alpha scores Eerlijkheid 3D < 2D 3D > 2D (Ervaren) moeilijkheid Ze vinden het makkelijker, maar het is moeilijker!
Implementatie voortgangstoets ±380 AIOS radiologie in één zaal (TenT) veilige toetsafname Er komen steeds meer (grote) toetszalen ter beschikking UMC, AMC, Groningen, VU Studenten en docenten vragen om meer digitale toetssystemen authentieker Beelddata kost ruimte (tot 4GB!) distributie toets naar lokale schijf antwoorden en backup naar (beveiligde) server
Feedback / Learning Analytics Feedback op scores Inkijkmodule Logfile analyse Visuele feedback playbackmodule (onder begeleiding terugkijken eigen acties) expertmodule (instructiefilm idee: hoe doet een expert het?) hotspots heatmaps Eyetracking
Feedback op scores Toets: VGT radiologie, 8 november 2013 AIOS: <anoniem> NVvR nr: 0000 e-mail: <anoniem> Hieronder staat een overzicht van alle tekst- en beeldvragen, met zowel het correcte antwoord op de vraag als het door u gegeven antwoord. Totaal aantal vragen: 200 1. (Abdomen Beeldvraag) Casus: Vraag: Op deze MRI sequentie heeft de milt een abnormale signaal intensiteit. Correcte antwoord: Onjuist Gegeven antwoord: Juist 29. (Neuroradiologie meer-uit-meer Beeldvraag) Casus: 35-jarige vrouw met hoofdpijn en woordvindingstoornissen na partus. Vraag: Er zijn twee afwijkingen herkenbaar op de scan. Geef de twee afwijkingen. 1. Pericallosale bloeding 2. Splenium agenesie 3. Sinus trombose 4. Rostrum agenesie 5. Hypofyse apoplexie 6. Midline lipoom 7. Heterotopie Correcte antwoorden: 2 6 Gegeven antwoorden: 1 6
Inkijkmodule
Logfile analyse wegschrijven coupe nummers datum: time: ms: action: 2013-07-03 19:35:08 4009639 Entering axial @ 446 2013-07-03 19:35:09 4010139 Entered question 24 2013-07-03 19:35:15 4016125 250, 225, 446 2013-07-03 19:35:15 4016139 250, 225, 445 2013-07-03 19:35:15 4016311 250, 225, 426 2013-07-03 19:35:15 4016467 250, 225, 417 2013-07-03 19:35:15 4016639 250, 225, 390 2013-07-03 19:35:15 4016811 250, 225, 374 2013-07-03 19:35:16 4016967 250, 225, 369 2013-07-03 19:35:16 4017139 250, 225, 362 2013-07-03 19:35:16 4017311 250, 225, 358 2013-07-03 19:35:16 4017467 250, 225, 355 2013-07-03 19:35:16 4017639 250, 225, 355 2013-07-03 19:35:16 4017655 250, 225, 354 2013-07-03 19:35:16 4017811 250, 225, 352 2013-07-03 19:35:17 4017983 250, 225, 348 2013-07-03 19:35:17 4018155 250, 225, 343 2013-07-03 19:35:17 4018327 250, 225, 337 2013-07-03 19:35:17 4018483 250, 225, 331 etc.
Zoekgedrag door volume beelden Drew et al. (2013), Scanners and drillers: characterizing expert visual search through volumetric images. Journal of vision.
Hotspots Geef in antwoordmodel aan waar door alle studenten de markers zijn geplaatst (3D)
Heatmaps Bepaal m.b.v. logfiles op welke plakken (in 3D) waar het meeste gekeken is gebruik kleurenschaal om frequentie aan te geven
Eyetracking
Eyetracking hotspots enkele vraag gehele toets
Referenties A. van der Gijp et al. (2014), Interpretation of radiological images: towards a framework of knowledge and skills, Advances in Health Sciences Education K.P. Andriole et al. (2011), Optimizing analysis, visualization, and navigation of large image data sets: one 5000-section CT scan can ruin your whole day, Radiology C.J. Ravesloot et al. (in press), Volumetric CT-Images improve the testing of Radiological Image Interpretation Skills, European Journal of Radiology C.J. Ravesloot et al. (2015), Support for external validity of radiological anatomy tests using volumetric images, Academic Radiology A. van der Gijp et al. (in press), Volumetric and two-dimensional image interpretation show different cognitive processes in learners, Academic Radiology Handboek SURF project Toetsing in beeld (2014), Digitale toetsing van radiologische beeldinterpretatie Handboek SURF project Digitaal toetsen met beelden, een extra dimensie (2014), Handreikingen voor implementatie van digitaal toetsen met beelden
Conclusies Veilig toetsen met (3D) beelden is haalbaar authentiek feedback mogelijkheden zowel voor onderzoek als onderwijs op grote schaal voor diverse vakgebieden In de toekomst ook voor self assessment delen van itembanken review module voor docenten