Informatietechnologie ondersteund leren: een multi-dimensionele aanpak voor aangepast leren in de opleiding geneeskunde

Informatietechnologie ondersteund leren: een multi-dimensionele aanpak voor aangepast leren in de opleiding geneeskunde Dr. Ir. Stijn De Buck 3D Core Facility Radiologie & Cardiologie UZ Leuven

Leren in de geneeskunde Huidige aanpak

Doel & technieken Anatomie Vaardigheden Communicatie

Technologische (r)evoluties 3D Visualisatie 3D Printing Artificiële intelligentie

3D Visualisatie

Visualisatie 2D weergave 3D weergave: o o Oppervlakte weergave Volume weergave Niet fotorealistisch Fotorealistisch

3D weergave light source scene material properties image Oppervlakte weergave: gesegmenteerde oppervlakken Volume weergave: direct weergave van de beeldvoxels Courtesy prof. P. Dutré

3D weergave: interactie licht-materie speculaire reflectie diffuse reflectie (verstrooiing aan het oppervlak REFLECTIE (speculair, diffuus) ABSORPTIE Doorschijnend Doorzichtig (interne verstrooiing) TRANSMISSIE (doorzichtig/doorschijnend)

Oppervlakteweergave Geometrie v/e gesegmenteerd oppervlak reflection, absorption and transmission properties specular reflection diffuse reflection ~ color transparency, translucency, refraction index (opacity = 1 transparency)

Oppervlakteweergave: anatomie Segmentatie

(Fotorealistische) volume weergave Licht loopt langs 1 of meerdere paden light source Enkelvoudige verstrooiing scene Beeld Meervoudige verstrooiing Door Monte Carlo simulatie

(Fotorealistische) volume weergave Materiaaleigenschappen ifv beeldwaarden 1 Opacity 1 G B Opacity R 0 Gray value 4096 0 Gray value 4096

volume rendering cinematic rendering enhanced depth and shape perception democratization of 3D

Materiaaleigenschappen

Beperkingen/gevaren Vergelijking met MIP (-) diepte perceptie enkel omwille van beweging (+) diepte perceptie: omwille van belichting en motion

Beperkingen/gevaren (+) aneurysma blijft altijd zichtbaar (-) aneurysma wordt onzichtbaar in sommige aanzichten

Voorstellingsvormen Virtuele realiteit 2D scherm (Auto-) stereoscopisch scherm Aangevulde realiteit

Piloot studie 3D (oppervlakte)anatomie Autostereoscopisch scherm Virtuele realiteit

Piloot studie: indrukken

Piloot studie: conclusies Getest op een populatie van ~ 40 students Autostereoscopische weergave bevordert overleg/communicatie tijdens de opleiding Virtuele realiteit blinkt uit in immersie + interactiviteit. Ondanks occasionele bewegingsziekte, werden beide als positief/nuttig ervaren door de studenten

Vaardigheidssimulatoren Combinatie van: Visualisatie anatomie Realistisch biomechanisch gedrag Haptische feedback simulator for bronchoscopy and colonoscopy Courtesy Immersion Medical, USA

Courtesy Immersion Medical, USA Simulator voor bloedname Simulator voor endovasculaire/cardiologische ingrepen Courtesy Surgical Science Simulator voor knopen en naaien Simulator voor laparoscopische cholecystectomie

ALS-training Training Meerdere actoren Complexe omgeving Realistische fysiologische respons Courtesy Dr. Philippe Dewolf, UZ Leuven

3D Printing

3D printing Segmentatie medische beelden Design Toekennen materiaaleigenschappen Courtesy Stratasys

3D printing Bouwen 3D print Afwerken

Instuderen anatomie From: 3D-Printing in Congenital Cardiology: From Flatland to Spaceland, Sébastien Deferm et al., J Clin Imaging Sci. 2016; 6: 8.

Oefenen vaardigheden From: Front-of-neck airway meets front-of-neck simulation: improving cricothyroidotomy skills using a novel open-access threedimensional model and the Airway App Laura V. Duggan et al., Can J Anesth/J Can Anesth (2017) 64:1079 1081 From: Patient-specific pediatric silicone heart valve models based on 3D ultrasound Anna Ilina et al. Proceedings Volume 10135, Medical Imaging 2017

Artificiële intelligentie

Artificiele intelligentie

Toepassingen in onderwijs Herkennen van niveau student Automatisch aangepaste oefeningen aanbieden Optimisatie studietraject voor de individuele student Automatisch contextualiseerde tips/hints geven tijdens het leerproces

Voorbeeld chirurgie Herkenning: o Taak o Instrument Op basis van Deep learning aanpak From: EndoNet: A Deep Architecture for Recognition Tasks on Laparoscopic Videos Andru P. Twinanda et al., IEEE TMI, Volume: 36 Issue: 1

AI + 3D visualisatie? AI 3D visualisatie

Conclusie Combinatie van nieuwe technologieën veelbelovend voor: o o o Optimalisatie opleiding Verhogen vertrouwen van student/arts Toepassingen in alle pijlers van opleiding o Mogelijkheden tot on the job leren Verdere ontwikkeling en adoptie in nauwe samenwerking met arts-expert.