Digitaal toetsen met beelden. dr. Koen Vincken

Maat: px

Weergave met pagina beginnen:

Download "Digitaal toetsen met beelden. dr. Koen Vincken"

Mark Johan Moens
8 jaren geleden
Aantal bezoeken:

1 Digitaal toetsen met beelden dr. Koen Vincken

2 Overzicht Even voorstellen Waarom toetsen met beelden? Beeldinterpretatievaardigheden Authenticiteit Het toetsprogramma VQuest Onderzoek en resultaten Toepassingen

3 Even voorstellen Koen Vincken, PhD Associate Professor (UHD) Image Sciences Institute (ISI), UMC Utrecht Onderwijs & Onderzoek Beeldverwerking Technology Transfer Officer, divisie Beeld 3D rendering (stent) gezichtsreconstructie breinsegmentatie beenreconstructie

4 Digitaal toetsen Cécile Ravesloot Radiologe in opleiding (AIOS) PhD studente Medical Education, divisie Beeld Onderzoeksvraag: Hoe kan toetsing van medische studenten verbeterd worden d.m.v. digitale toepassingen?

5 Beeldvorming van 1632 tot 2015

6 De radioloog (vroeger)

7 De radioloog (nu)

8 Probleemstelling Huidige radiologie-toetsen zijn niet authentiek Veranderende klinische praktijk door digitale ontwikkelingen Toename van gebruik van volumetrische beelddata vereist andere beeldinterpretatievaardigheden Radiologie-toetsing moet aangepast worden om hoge kwaliteit van toetsafname te garanderen? papieren vraag huidige praktijk

9 Beeldinterpretatievaardigheden Perceptie zoekstrategieën normaal/afwijkend patroonherkenning (stervormig? microbloeding vs. bloedvat, etc.) Synthese integreren bevindingen differentiaal diagnose advies/actie via verslag Analyse vergelijken met eerdere beeldvorming karakteriseren bevindingen relevant/irrelevant

10 Van papieren naar digitale toetsing Digitale toetsing van papier naar werkstation/laptop Software QMP, TestVision, alleen voor 2D beelden Nieuwe vraagtypen voor beelden Ontwikkeling van een nieuw toetsprogramma traditioneel (Jaarbeurs) digitale toetsing (TenT, VU)

11 Goede vragen maken is moeilijk.

12 Eerste versie van VQuest (2010)

13 Docentmodule: maken van een pijlvraag

14 Docentmodule: maken van een meetlatvraag Meet de langste transversale diameter van de vena cava inferior ter hoogte van de inmonding in het hart.

15 Automatisch nakijken / rapportage fout in graden (pijl) fout in mm (meetlat)

16 Eerste ervaringen met VQuest ±500 toetsen afgenomen (inmiddels > 4000) tussen 10 en 75 vragen per toets Verschillende expertise niveaus 2 e jrs geneeskunde, 4 e -6 e jrs artsen-in-opleiding

17 Nieuwe versie van VQuest (2013) Verbeterde functionaliteit Betere 3D support / meerdere beelden per vraag Client-server versie Item bank support (in ontwikkeling) delen van vragen over internet reviewmodule

18 Uitbreiding projectgroep drs. Christian Mol Wetenschappelijk programmeur (ISI) MSc Kunstmatige intelligentie drs. Anouk van der Gijp Radiologe in opleiding (AIOS) PhD studente Medical Education, divisie Beeld dr. Marieke van der Schaaf Associate Professor Educatie & Pedagogiek Sociale Wetenschappen, Univ. van Utrecht

19 Test Student (1234) VQuest 2.0 aanwijsvraag

20 Test Student (1234) Aanwijsvraag met overlay

21 Drop down / Longlistmenu principe Contrast Uncertain

22 Gecombineerde vragen

23 Ervaringen docenten Geeft meer inzicht in kennis/kunde co-assistenten, studenten, AIOS, etc. Geeft inzicht waar in het proces van beeldinterpretatie het fout gaat

24 Onderzoek m.b.v. SURF subsidies Toetsing in beeld ( ) Kwaliteitsverbetering van digitale toetsing met multi-dimensionale beelden Digitaal toetsen met beelden, een extra dimensie ( ) Implementatie in de medische specialistenopleidingen IMAGE ME ( ) IMage interpretation Assessment using logs for Evaluation in Medical Education

25 Beeldinterpretatie 2D vs. 3D Is beeldinterpretatie van MPR * beelden anders dan van 2D beelden? Uncertin * MPR = Multiplanar reformatting

26 Kwaliteitsonderzoek Leiden 3D beeldvragen tot betere toetsing van radiologische beeldinterpretatie?

27 Kwaliteitscriteria Validiteit Betrouwbaarheid 3D > 2D Ervaren authenticiteit, Externe validiteit 3D > 2D Cronbach s alpha scores Eerlijkheid 3D < 2D 3D > 2D (Ervaren) moeilijkheid Ze vinden het makkelijker, maar het is moeilijker!

28 Implementatie voortgangstoets ±380 AIOS radiologie in één zaal (TenT) veilige toetsafname Er komen steeds meer (grote) toetszalen ter beschikking UMC, AMC, Groningen, VU Studenten en docenten vragen om meer digitale toetssystemen authentieker Beelddata kost ruimte (tot 4GB!) distributie toets naar lokale schijf antwoorden en backup naar (beveiligde) server

29 Feedback / Learning Analytics Feedback op scores Inkijkmodule Logfile analyse Visuele feedback playbackmodule (onder begeleiding terugkijken eigen acties) expertmodule (instructiefilm idee: hoe doet een expert het?) hotspots heatmaps Eyetracking

30 Feedback op scores Toets: VGT radiologie, 8 november 2013 AIOS: <anoniem> NVvR nr: <anoniem> Hieronder staat een overzicht van alle tekst- en beeldvragen, met zowel het correcte antwoord op de vraag als het door u gegeven antwoord. Totaal aantal vragen: (Abdomen Beeldvraag) Casus: Vraag: Op deze MRI sequentie heeft de milt een abnormale signaal intensiteit. Correcte antwoord: Onjuist Gegeven antwoord: Juist 29. (Neuroradiologie meer-uit-meer Beeldvraag) Casus: 35-jarige vrouw met hoofdpijn en woordvindingstoornissen na partus. Vraag: Er zijn twee afwijkingen herkenbaar op de scan. Geef de twee afwijkingen. 1. Pericallosale bloeding 2. Splenium agenesie 3. Sinus trombose 4. Rostrum agenesie 5. Hypofyse apoplexie 6. Midline lipoom 7. Heterotopie Correcte antwoorden: 2 6 Gegeven antwoorden: 1 6

31 Inkijkmodule

32 Logfile analyse wegschrijven coupe nummers datum: time: ms: action: :35: Entering :35: Entered question :35: , 225, :35: , 225, :35: , 225, :35: , 225, :35: , 225, :35: , 225, :35: , 225, :35: , 225, :35: , 225, :35: , 225, :35: , 225, :35: , 225, :35: , 225, :35: , 225, :35: , 225, :35: , 225, :35: , 225, 331 etc.

33 Zoekgedrag door volume beelden Drew et al. (2013), Scanners and drillers: characterizing expert visual search through volumetric images. Journal of vision.

34 Hotspots Geef in antwoordmodel aan waar door alle studenten de markers zijn geplaatst (3D)

35 Heatmaps Bepaal m.b.v. logfiles op welke plakken (in 3D) waar het meeste gekeken is gebruik kleurenschaal om frequentie aan te geven

36 Eyetracking

37 Eyetracking hotspots enkele vraag gehele toets

38 Referenties A. van der Gijp et al. (2014), Interpretation of radiological images: towards a framework of knowledge and skills, Advances in Health Sciences Education K.P. Andriole et al. (2011), Optimizing analysis, visualization, and navigation of large image data sets: one 5000-section CT scan can ruin your whole day, Radiology C.J. Ravesloot et al. (in press), Volumetric CT-Images improve the testing of Radiological Image Interpretation Skills, European Journal of Radiology C.J. Ravesloot et al. (2015), Support for external validity of radiological anatomy tests using volumetric images, Academic Radiology A. van der Gijp et al. (in press), Volumetric and two-dimensional image interpretation show different cognitive processes in learners, Academic Radiology Handboek SURF project Toetsing in beeld (2014), Digitale toetsing van radiologische beeldinterpretatie Handboek SURF project Digitaal toetsen met beelden, een extra dimensie (2014), Handreikingen voor implementatie van digitaal toetsen met beelden

39 Conclusies Veilig toetsen met (3D) beelden is haalbaar authentiek feedback mogelijkheden zowel voor onderzoek als onderwijs op grote schaal voor diverse vakgebieden In de toekomst ook voor self assessment delen van itembanken review module voor docenten

Vergelijkbare documenten

IMAGE ME (Image interpretations Assessment using LoGs for Evaluation in Medical Education)

IMAGE ME (Image interpretations Assessment using LoGs for Evaluation in Medical Education) Eindrapportage bij stimuleringsregeling Learning Analytics 2013 Penvoerder: UMC Utrecht Partners: UMC Utrecht,