IMAGE ME (Image interpretations Assessment using LoGs for Evaluation in Medical Education) Eindrapportage bij stimuleringsregeling Learning Analytics 2013 Penvoerder: UMC Utrecht Partners: UMC Utrecht, divisie Beeld Universiteit Utrecht, departement Educatie Looptijd: 1 juni 2013 tot 1 juli 2014 Projectleider: Dr. Ir. K.L. Vincken Datum: 27 juni 2014 0
Inhoud 1. Korte samenvatting... 1 2. Doelstelling, doelgroep en aanpak... 1 3. Resultaat... 2 4. Conclusies... 4 5. Continuering... 5 6. Overige opmerkingen... 5 7. Kostenoverzicht... 5 8. Bijlage... 6 www.creativecommons.org/licenses/by/3.0/nl 1
1. Korte samenvatting Beeldinterpretatievaardigheden zijn onmisbaar in de huidige samenleving. Dat geldt voornamelijk voor de medische professie waarin expertise in de interpretatie van diverse radiologische beelden vaak essentieel is om correcte diagnoses te kunnen stellen. In het project IMAGE ME richten we ons op de toepassing van learning analytics ter stimulering van interpretatievaardigheden van radiologische MPR-beelden bij geneeskundestudenten. Digitale manipulatie en interpretatie van MPR beelden (bijv. CT-scans) is complex en learning analytics kan inzicht geven in cognitieve processen van individuele studenten en feedbackmogelijkheden hierop vergroten. Doel van het project is dan ook het stimuleren en bevorderen van beeldinterpretatievaardigheden van geneeskundestudenten door middel van learning analytics op logfile data die beschikbaar komen wanneer studenten met het toetsprogramma VQuest (summatieve) radiologietoetsen maken. Het doel van het project is uiteindelijk om hoogwaardige feedback (gebaseerd op learning analytics) op beeldinterpretatievaardigheden van studenten te kunnen geven. Om dit te bereiken is het project opgedeeld in drie werkpakketten, waarbij achtereenvolgens een logfileanalysemodule en een visualisatietool zijn ontwikkeld en een evaluatie is uitgevoerd. De opbrengsten van IMAGE ME zijn: 1) een logfileanalysemodule om beeldinterpretatievaardigheden via logfiles te analyseren en 2) een visualisatiemodule die de te geven feedback op intuïtieve wijze visualiseert. Naar onze inschatting zal het studiesucces van studenten in termen van behaalde scores op toetsen met deze tool toenemen. Daarnaast kan hun motivatie voor de feedback toenemen in vergelijking met traditionele vormen van toetsen. Ten slotte wordt op geaggregeerd niveau inzicht gekregen in de kwaliteit en ontwikkeling van beeldinterpretatievaardigheden van geneeskundestudenten. De volgende resultaten zijn tijdens het project behaald. Vanuit de logfileanalyse zijn drie parameters gevonden die belangrijk blijken te zijn voor het studiesucces van geneeskunde studenten betreffende hun beeldinterpretatievaardigheden. Deze parameters zijn tijd tot uiteindelijke diagnose, relatieve tijd op foute coupe, en aantal richting wisselingen (beeldmanipulatie). Deze parameters zijn potentieel belangrijk om terug te koppelen naar studenten om hun beeldinterpretatievaardigheden te kunnen bevorderen. De visualisatietool koppelt deze parameters op intuïtieve wijze terug. Er worden twee feedbacktools naar studenten teruggekoppeld, een filmpje van hoe de student (en ook van een expert) de beeldinterpretatie taak heeft gemaakt, en een zgn. heatmap waaruit blijkt hoe de waarde van een logfileanalyse parameter verandert. Uit de onderwijskundige analyses is gebleken dat tweedejaars geneeskundestudenten deze manier van feedback waarderen (playback module). Ze gaven aan hier meer van te kunnen leren ten opzichte van de traditionele feedbackmethoden. Expert radiologen gaven ook aan de meerwaarde van deze manier van feedback te zien, en waren positief over de visualisatietool. 2. Doelstelling, doelgroep en aanpak De centrale vraag van dit project luidde: Hoe kunnen beeldinterpretatievaardigheden van geneeskundestudenten worden verbeterd door op learning analytics gebaseerde feedback die informatie geeft over het handelingsproces van studenten tijdens het maken van beeldvragen?. Het beantwoorden van deze vraag heeft rechtstreeks betrekking op de primaire en secundaire doelgroep, namelijk geneeskundestudenten en hun docenten. Tot voor kort was het niet goed mogelijk om effectieve feedback te geven op beeldinterpretatievaardigheden van studenten na een summatieve (radiologie)toets. Dit komt doordat het uiteindelijk gegeven antwoord op een toetsvraag nauwelijks iets verraadt over de cognitieve processen die zich afspelen in het hoofd van de student waardoor het niet goed mogelijk is om te achterhalen wat het denkproces was tijdens het uitvoeren van de beeldinterpretatietaak. Door het vastleggen van de handelingen met logfiles en het automatisch aggregeren van deze gegevens en genereren van zinvolle feedback, is een indicatie van het 1
handelingsproces, als afgeleide van de denkprocessen te verkrijgen. Hierdoor kunnen geneeskundestudenten effectieve feedback ontvangen en worden docenten ondersteund in hun taak tot het geven van effectieve feedback. Een mixed-methods design was gekozen om de probleemvraag te beantwoorden. Zodoende zijn er kwantitatieve en kwalitatieve analyses uitgevoerd. De logfile-analyses zijn uitgevoerd door middel van regressie analyses, om zo in kaart te brengen welke parameters significant bijdragen aan de variantie van de toets score op de MPR-beeldvragen. De visualisatiefeedbacktool is hierop gebaseerd. De technische en onderwijskundige evaluatie van deze visualisatiefeedbacktool zijn door middel van kwantitatieve en kwalitatieve analyses uitgevoerd. De primaire doelgroep, de tweedejaars geneeskundestudenten zijn bevraagd door middel van een survey. Studenten moesten via een vragenlijst aangeven of zij de meerwaarde van deze visualisatietool inzagen, door de feedback te evalueren op de kwaliteit, kwantiteit en timing, en de bruikbaarheid. Daarnaast werden experts (radiologen) door middel van een semigestructureerd interview bevraagd naar hun perceptie en mening van de visualisatietool. De projectorganisatie (instellingen en teamleden) Projectleider: Dr.ir. K.L. Vincken, universitair hoofddocent en groepsleider van de afdeling Clinical Image Processing. Hij is werkzaam sinds 1989 bij het Image Sciences Institute (ISI) in de groep van prof. M.A. Viergever (UMCU). Hij heeft meer dan 100 (co-)publicaties op zijn naam staan, waarvan ruim 80 in peer-reviewed internationale tijdschriften. Hij is meer dan 10 jaar actief in het onderwijs, in de vorm van college geven, studenten (MSc en PhD) begeleiden en software ontwikkelen voor onderwijsdoeleinden. Hij is één van de bedenkers en ontwikkelaars van VQuest. Stuurgroep: Prof. Dr. J.P.J. van Schaik (UMCU), hoogleraar Radiologie, in het bijzonder onderwijs en opleiding Prof.dr.ir. M.A. Viergever (UMCU), hoogleraar Medische Beeldvorming en -verwerking en manager Onderwijs en Onderzoek van de divisie Beeld. Projectgroep: Drs. C.J. Ravesloot (UMCU), co-projectleider, arts in opleiding tot radioloog in opleiding en promovenda medisch onderwijs Dr. M.F. van der Schaaf (UU, Faculteit Sociale Wetenschappen, Educational Sciences), universitair hoofddocent Dr. ir. K.L. Vincken (UMCU), universitair hoofddocent ISI Drs. C. Mol (UMCU), wetenschappelijk onderzoeker ISI Drs. A. van der Gijp (UMCU), arts in opleiding tot radioloog en promovenda medisch onderwijs M.W. van der Meulen, MSc (UU), onderwijskundige. Het project liep van 1 juni 2013 tot en met 1 juli 2014. Er zijn gedurende de projectperiode geen veranderingen gedaan aan de doelstelling, doelgroep en aanpak. 3. Resultaat Gedurende de projectperiode zijn er verschillende activiteiten uitgevoerd en resultaten behaald. In werkpakket 1 is het logfileanalyseprogramma ontwikkeld en gevalideerd en zijn verschillende multilevel regressie analyses uitgevoerd om de logfiles van geneeskundestudenten tijdens het maken van de radiologietoets te onderzoeken, oftewel het realiseren van Learning Analytics. Daartoe is een logfileanalyseprogramma vervaardigd waarmee uit de logfiles potentieel relevante parameters konden worden geëxtraheerd. Bijvoorbeeld tijdens het maken van een vraag door een student is steeds iedere actie van de student vastgelegd. In het logfileanalyseprogramma kon dan worden uitgerekend welk percentage van de tijd de student op juiste coupes (doorsnedes) in de 3D datasets is geweest en hoe vaak hij/zij van richting of contrastinstelling is gewisseld. Dit logfileanalyseprogramma is eerst gevalideerd op dummy-logfiles. Hierbij werd van tevoren een script gemaakt voor het beantwoorden van enkele vragen (toetsitems). Daarna maakte één van de projectleden deze vragen volgens script en vervolgens werden controles op 2 niveaus uitgevoerd: 1) juistheid van de logfilecodes; 2) juistheid van de berekende 2
parameters. Op geleide hiervan werd het logfileanalyseprogramma aangepast. Daarna is deze cyclus is herhaald totdat er geen fouten meer aan het licht kwamen. Op deze wijze is een indicatie verkregen voor de validiteit van het logfileanalyseprogramma. Vervolgens zijn alle logfiles van 121 geneeskundestudenten) verzameld tijdens een tweedejaarsgeneeskundetoets (afgenomen in april 2012, zie ook aanverwante project Toetsing in Beeld), geanalyseerd door middel van het logfileanalyseprogramma. Per toetsvraag zijn alle logfiles geanalyseerd door per student de waarde van de diverse parameters te berekenen. Hieruit is een gemiddelde score per student per parameter berekend en deze zijn vervolgens geanalyseerd door te toetsen welke voorspellend zijn voor een hoge score op de beeldinterpretatietoets. Hiermee zijn parameters geëxtraheerd die potentieel bruikbaar waren voor de feedbackmodule. Drie parameters bleken relevant voor het studiesucces van geneeskundestudenten met betrekking tot hun beeldinterpretatievaardigheden. Deze analyses en resultaten zijn in concept beschreven in een wetenschappelijk artikel dat zal worden ingediend bij een wetenschappelijk tijdschrift. In werkpakket 2 is gewerkt aan een aantrekkelijke, eenvoudige en toegankelijke visualisatiemodule om in te zetten voor hoogwaardige feedbackdoeleinden. Dit heeft geresulteerd in twee verschillende feedbacksystemen. De eerste feedbacktool is een playback mogelijkheid binnen VQuest. Deze tool kan op twee manieren worden ingezet. 1. Een playback van de student zelf. Deze visualisatie speelt af wat de student heeft gedaan tijdens de beeldinterpretatietaak en geeft visueel weer op welke slices de student het meest heeft gekeken. 2. Een playback van een expert. Deze visualisatie geeft aan hoe een expert de taak heeft uitgevoerd, die daar ook bij redeneert/vertelt hoe deze tot een diagnose is gekomen. Zie figuur 1 voor een voorbeeld van deze playbackmodule. Figuur 1. Visualisatietool met playback-optie van een geneeskundestudent (Rode markering geeft de inkijkmodus aan, en de opties voor het terugspelen van de taak) De tweede feedbacktool is een visuele weergave van de parameters (die uit de logfileanalyse komen) die het meest zinvol zijn. Deze visualisatiemodule is zodoende een feedbacktool geworden, waarbij met hotspots wordt aangegeven wat de verschillende waarden van de parameter zijn. In Figuur 2 is een voorbeeld te zien van het resultaat van een dergelijke analyse. Merk op dat de parameter op coupes wordt weergegeven (2D), maar dat de onderliggende berekening is gebaseerd op alle kijkrichtingen (3D). 3
Figuur 2. Visualisatietool met hotspots om de waarde van een parameter weer te geven. In dit voorbeeld zijn 4 coupes te zien waar de student naar een rib heeft gekeken. Hoe feller de hotspot, hoe vaker de student op deze plaats heeft gekeken. In werkpakket 3 is de visualisatietool technisch en onderwijskundig geëvalueerd. De meningen en percepties van de primaire en secundaire doelgroep zijn onderzocht om te evalueren of er een meerwaarde is van de visualisatietool. In dit werkpakket zijn tweedejaars geneeskundestudenten (de primaire doelgroep) ondervraagd door middel van een surveyonderzoek. Geneeskundestudenten werden uitgenodigd om vier radiologische beeldinterpretatietaken uit te voeren waar zij vervolgens via de visualisatietool feedback op kregen. Daarna konden geneeskundestudenten aangeven (door middel van een gevalideerde vragenlijst) wat zij van deze visualisatietool vonden met betrekking tot de kwaliteit en effectiviteit van deze manier van feedback voor hun verdere ontwikkeling. Vervolgens zijn experts (radiologen), de secundaire doelgroep, door middel van een semigestructureerd interview ondervraagd naar hun mening over de visualisatietool. Uit de resultaten is gebleken dat zowel geneeskundestudenten als experts (radiologen) de meerwaarde van de visualisatietool inzien. Beiden groepen waren positief over deze manier van feedback. De analyses en resultaten uit werkpakket 3 zijn uitvoerig beschreven in een wetenschappelijk artikel dat zal worden ingediend bij een wetenschappelijk tijdschrift (zie Bijlage). Gedurende het project zijn ook andere disseminatieactiviteiten uitgevoerd, enkele in combinatie met de lopende SURF projecten (Toetsing in Beeld en Digitaal toetsen met beelden, een extra dimensie). Zo zijn er webblogs geschreven op de website van de Stichting SURF. 4. Conclusies De verrichtte onderzoeken in het project wijzen uit dat beeldinterpretatievaardigheden van geneeskundestudenten kunnen worden verbeterd door op Learning Analytics gebaseerde feedback (die informatie geeft over het handelingsproces van studenten tijdens het maken van beeldvragen) door middel van een visualisatiefeedbacktool. Uit de verschillende analyses is gebleken dat de primaire en secundaire doelgroep positief tegenover de visualisatiefeedbacktool staan. Beide doelgroepen gaven aan dat het waarschijnlijk is dat door deze manier van feedback het studiesucces van studenten in termen van behaalde scores op toets zal toenemen. Daarnaast gaven beide groepen aan dat de motivatie van geneeskundestudenten voor deze manier van toetsen en feedback waarschijnlijk zal toenemen (in vergelijking met de traditionele manier van toetsen en feedback). Over het algemeen waren de reacties vanuit de omgeving (naast de primaire en secundaire doelgroep) positief. Voor vervolgonderzoeken, leerinterventies en feedbackmogelijkheden gebaseerd op Learning Analytics raden wij aan om ethische kwesties betreffende Learning Analytics in acht te nemen. Het is belangrijk dat er nagedacht wordt over de mogelijke ethische gevolgen van Learning Analytics; misbruik van Learning Analytics voor institutionele doeleinden zonder focus op daadwerkelijke verdere ontwikkeling van studenten, en privacyschendingen. Het is belangrijk dat er goede afspraken komen hierover wanneer men onderzoek naar Learning Analytics doet, en wanneer Learning Analytics worden geïmplementeerd in het onderwijs. Om learning analytics te gebruiken voor feedback is een aanzienlijke datareductie noodzakelijk om de feedback inzichtelijk en bruikbaar te maken voor de student. Het 4
terugkoppelen van grote hoeveelheden getallen zonder begeleidende uitleg is waarschijnlijk niet nuttig en kan zelfs tot verwarring leiden. In dit project is uiteindelijk gekozen voor het visualiseren van de parameters met begeleidende auditieve informatie. Op deze manier kan de data precies en toch inzichtelijk weergegeven worden en wordt tegelijkertijd betekenis gegeven aan de feedback. Daarom raden wij het gebruik van visuele en auditieve methoden aan voor het terugkoppelen van learning analytics data voor feedbackdoeleinden. 5. Continuering Met de resultaten uit het project zijn verschillende voortgangsmogelijkheden, zowel onderzoeksmatig als organisatorisch. Een volgend onderzoeksproject zou de daadwerkelijke implementatie van de visualisatietool in het onderwijs kunnen onderzoeken, om zo de verschillen te onderzoeken in de ontwikkeling van beeldinterpretatievaardigheden tussen studenten die met de visualisatietool werken en studenten die dat niet doen. Op dit moment zijn er ook besprekingen gaande over de eventuele implementatie van de visualisatietool in het onderwijs, niet alleen als feedbackmogelijkheid maar ook als instructiemogelijkheid. Zo heeft één geïnterviewde expert (hoogleraar Radiologie) praktische richtlijnen gegeven voor deze implementatie; hoe deze het beste kan worden geïmplementeerd en hoe deze conform huidige onderwijsvormen eruit moet zien. Er wordt tegelijkertijd verder gewerkt aan de visualisatietool, onder meer aan verkenning van verdere grafische mogelijkheden. Voor meer informatie over het project kunt u contact opnemen met de projectleider K.L. Vincken. 6. Overige opmerkingen Geen overige opmerkingen. 7. Kostenoverzicht Kostenoverzicht Instelling (UMCU / UU) Totaal Subsidie Matching Materiële kosten WP 1 WP 2 WP 3 Totaal materiële kosten Personele kosten WP 1 3000 / 1500 2000 / 1000 1000 / 500 WP 2 3000 / 1500 2000 / 1000 1000 / 500 WP 3 3000 / 3000 2000 / 2000 1000 / 1000 Totaal personele kosten 9000 / 6000 6000 / 4000 3000 / 2000 Overige kosten Onvoorzien Totaal projectkosten 15000 10000 5000 Geen toelichting. 5
Financiële verantwoording (kostenoverzicht) eindrapport stimuleringsregeling Learning Analytics 2013 Project: Image Me Rapportageperiode: 01-06-13 t/m 30-06-14 Materiele kosten wp1 wp2 wp3 Begroting In projectvoorstel Gerealiseerde projectkosten In rapportage (A) periode (B) (A)-(B) Restant begroting Totaal materiele kosten 0 0 0 Personele kosten wp1 4.500 4500 0 wp2 4.500 4500 0 wp3 6.000 6000 0 Totaal personele kosten 15.000 15.000 0 Overige kosten Onvoorzien Totaal overige kosten 0 0 0 Totaal projectkosten 15.000 15.000 0 Opmerking. Het matchingspercentage bedraagt voor dit project 33,33%. SURF subsidieert 66,67% met een maximum van 10.000 euro Het bedrag wordt pas na afronding van het project uitgekeerd
Bijlage: Wetenschappelijke artikelen Concept: Van der Schaaf, Vincken, Van der Meulen, Ravesloot, Van der Gijp, Mol, (2014). Investigating students and experts perceptions upon visualization feedback aimed at developing students medical image interpretation skills. 6