MEDISCHE BEELDANALYSE. Josien Pluim

Transcriptie

1 MEDISCHE BEELDANALYSE Josien Pluim 1

2 2

3 3

4 Opleiding Informatica, Rijksuniversiteit Groningen, 1996 Scientific Computing and Imaging 4

5 Opleiding Promotie UMC Utrecht 5

6 Opleiding Juni

7 Werk Tijd aan Yale University, VS 7

8 Werk Sinsdien terug in UMC Utrecht Imaging Division, UHD Beeldanalyse 8

9 Imaging Division Disciplines Radiologie Radiotherapie Nucleaire geneeskunde Medische beeldvorming en beeldanalyse Beeldvorming en analyse omvat zo n 90 onderzoekers, waaronder informatici, wiskundigen, natuurkundigen, electrotechnici, biologen,. 9

10 Imaging Division Onderzoekgebieden Beeldacquisitie (fysica Magnetic Resonance Imaging) Beeldanalyse Beeldondersteunde diagnostiek Beeldgeleide behandeling 10

11 11

12 Medische beeldvorming Andreas Vesalius, 1543: De Humane Corporis Fabrica 12

13 was vroeger zeer invasief Rembrandt, 1632: De anatomische les van dr. Nicolaes Tulp 13

14 Niet-invasieve beeldvorming Wilhelm Konrad Röntgen Ontdekking Röntgenstralen op 8 November 1895 Instituut voor Natuurkunde, Universiteit van Würzburg, Duitsland 14

15 Niet-invasieve beeldvorming Wilhelm Konrad Röntgen 15

16 Niet-invasieve beeldvorming 28 december 1895 Wilhelm Konrad Röntgen 5 januari

17 Niet-invasieve beeldvorming : Ontdekking x-stralen : Eerste diagnostische foto Wenen : Inzending artikel : Publicatie artikel Univ. Verlag Würzburg : Eerste beeldgeleide chirurgie Birmingham 17

18 Medische beeldvorming - in het UMC Utrecht Eerste CT scanner: 1977 Eerste SPECT scanner: 1980 Eerste MRI scanner:

19 Modaliteiten Conventionele radiografie Digitale Subtractie Angiografie (DSA) Computed Tomography (CT) CT Angiografie (CTA) Ultrageluid Single Photon Emission Computed Tomography (SPECT) Positron Emission Tomography (PET) Electro Encephalography (EEG) Magneto Encephalography (MEG) Magnetic Resonance Imaging (MRI) etc. 19

20 Röntgendoorlichting Röntgenbuis Patiënt Detector/ film 20

21 Röntgendoorlichting: radiografie Röntgenstraling is een vorm van electromagnetische straling waarvoor het menselijk lichaam gedeeltelijk transparant is. Hiermee kan niet-invasief de anatomie van het lichaam (vooral botstructuren) zichtbaar gemaakt worden. 21

22 Conventionele radiografie Enkels Wervels 22

23 23

24 Angiografie: afbeelden van vaten Met contrastmiddel kunnen bloedvaten goed worden afgebeeld. Contrastmiddel wordt via catheter op de goede plek in de bloedbaan gebracht. Subtractie van beelden met en zonder contrastmiddel. 24

25 Interventies Radiografie wordt veel gebruikt als hulpmiddel bij chirurgische ingrepen. Angiografie wordt veel gebruikt als beeldvorming bij vasculaire interventies. Dotteren Stentplaatsing Aneurysma coiling 25

26 Computed Tomography CT 26

27 Computed Tomography CT 27

28 CT principe Uit veel projectieopnames wordt het beeld van een plak gereconstrueerd. 28

29 CT scan gebroken schouder 29

30 Dynamische CT van het hart 30

31 Ultrageluid 31

32 Definitie ultrageluid Wat is ultrageluid? Geluid met frequentie > Hz, te hoog voor het menselijk gehoor. Medisch ultrageluid: Frequentie rond Hz 32

33 Ultrageluid: diepte meten Uit de reflectietijd (en de geluidssnelheid van het medium) kan de afstand worden bepaald. 33

34 Magnetic Resonance Imaging (MRI) 34

35 Een heel sterke magneet 35

36 MRI principe Het menselijk lichaam bevat veel waterstof. waterstofkern (1 proton) 36

37 MRI principe Waterstofkernen worden door een magnetisch veld gericht. 37

38 MRI principe Door de kernen op een speciale manier aan te slaan worden de protonen uit evenwicht gebracht. Door te meten hoe de kernen terugkeren naar hun evenwichtstoestand, kan informatie worden verkregen over anatomie en functie van weefsels en organen. 38

39 MRI hersenscans T 1 T 2 PD IR FLAIR 39

40 Dynamische MRI van het hart Normale hartklep 40

41 Dynamische MRI van het hart Normale hartklep Vernauwde hartklep 41

42 Afbeeldingsartefacten: susceptibiliteit 42

43 Afbeeldingsartefacten: susceptibiliteit 43

44 De oude anatomische les Invasieve beeldvorming 44

45 De nieuwe anatomische les 45

46 46

47 Ontwikkelingen Aantal beelden neemt toe. In het UMC Utrecht in 2013: verrichtingen Radiologie >> beelden 47

48 Ontwikkelingen 48

49 Ontwikkelingen 49

50 50

51 Ontwikkelingen 51

52 Beperking menselijke waarneming Is de middelste cirkel links of rechts groter? 52

53 Beperking menselijke waarneming Welk vlak is donkerder: A of B? 53

54 Beeldverwerking en -analyse Gebruikt in beeldreconstructie beeldsegmentatie beeldregistratie en fusie visualisatie beeldverbetering beeldgeleide behandeling computer-aided detectie en diagnose 54

55 Digitale beelden Digitale beelden bestaan uit pixels/voxels. Grijswaarde hangt af van de gemeten fysische grootheid

56 Digitale beelden Een beeld is in feite een verzameling getallen en daar kunnen we dus mee rekenen

57 Basis beeldverwerking 57

58 Basis beeldverwerking x -1 58

59 Basis beeldverwerking pixel(x,y) pixel(x-1,y) 59

60 Basis beeldverwerking pixel(x,y) pixel(x,y-1) 60

61 Basis beeldverwerking 61

62 Basis beeldverwerking Histogram grijswaarden 62

63 Basis beeldverwerking Drempelen 63

64 Basis beeldverwerking Drempelen 64

65 Basis beeldverwerking Region growing + 65

66 Iets minder simpel: segmentatie Active Shape Models Idee: Bouw een model op basis van voorbeelden, dat gemiddelde vorm en variatie weergeeft. 66

67 Segmentatie: active shape models 67

68 Segmentatie: active shape models 68

69 Segmentatie: active shape models En zo nog een heleboel poses.. 69

70 Segmentatie: active shape models Uit al deze punten kan een model gebouwd worden. Dit beschrijft de gemiddelde positie van de punten en de variatie daarin. 70

71 71

72 72

73 73

74 Segmentatie: active shape models Pas het model op een nieuw beeld. 74

75 Segmentatie: knn Weefseltypes in het brein k Nearest Neighbour classificatie 75

76 Segmentatie: knn Twee MR beelden van één patiënt. Geven verschillende kenmerken weer. Van een aantal patiënten zijn segmentaties van deze beelden beschikbaar. Met deze informatie kunnen andere beelden gesegmenteerd worden. 76

77 Segmentatie: knn k Nearest Neighbour classificatie grijswaarden beeld 2 Voorbeeld met 4 weefseltypen + k = 1 k = 7 grijswaarden beeld 1 77

78 Segmentatie: knn Resultaat 78

79 Registratie Ruimtelijk in overeenstemming brengen van beelden MRI brein CT brein 79

80 Registratie Ruimtelijk in overeenstemming brengen van beelden 80

81 Registratie Ruimtelijk in overeenstemming brengen van beelden 81

82 Registratie Twee beelden, een doelbeeld en een bewegend beeld. Bewegend beeld wordt getransformeerd om het op het doelbeeld te krijgen. doelbeeld bewegend beeld 82

83 Registratie Bewegend beeld wordt getransformeerd. Een maat van overeenkomst wordt berekend. 83

84 Registratie Een betere transformatie wordt gezocht tot de optimale waarde van de maat van overeenkomst is gevonden. 84

85 Maat van overeenkomst Corresponderende punten Afstand tussen contouren Verschil in grijswaarden - 85

86 Voorbeeld: DSA bewegingscorrectie DSA: digitale subtractie angiografie - = Beweging van de patiënt geeft artefacten in DSA beelden 86

87 DSA bewegingscorrectie correctie Origineel DSA beeld Gecorrigeerd DSA beeld 87

88 Computer-aided detection Screening: Enorme hoeveelheden beelden. Hoe de abnormale gevallen te vinden? 88

89 Computer-aided detection Leer een computer aan de hand van voorbeelden Nodules Normaal 89

90 Computer-aided detection Beschrijf de klassen van voorbeelden met kenmerken kenmerk 2 gezond abnormaal kenmerk 1 90

91 Screening: voorbeelden 91

92 Screening: voorbeelden 92

93 Screening Doelen: Computer doet voorselectie waardoor clinicus slechts een klein percentage hoeft te zien. Computer attendeert clinicus op verdachte gebieden. 93

94 94

95 SEGMENTATIE VOOR PLANNING VAN RADIOTHERAPIE Stefan Klein, Robin Langerak 95

96 Radiotherapie: bestraling Radiotherapeutische bestralingen gebeuren met een lineaire versneller, in een serie van behandelingen. Lineaire versneller 96

97 Radiotherapie: bestraling Probleem: beweging van de anatomie cervix 97

98 Huidige situatie MRI scanner Lineaire versneller 98

99 MR-linac versneller Geïntegreerde MRI scanner en lineaire versneller. MLC Concepttekening straal 99

100 MR-linac 100

101 Proof of principle Versneller heeft geen effect op kwaliteit MRI. 101

102 Radiotherapie: bestraling Tegenwoordig kan het bestralingsveld een specifieke vorm krijgen door de multileaf collimator, waardoor de bestraling nauwkeuriger wordt. Lineaire versneller Multileaf collimator 102

103 Radiotherapie: bestraling Conventionele dosisverdeling Multileaf collimator dosisverdeling 103

104 Segmentatie doelgebieden Voor meer nauwkeurige behandelmogelijkheden zijn meer nauwkeurige intekeningen van de doelgebieden nodig. Dit is een tijdrovend proces (zo n 30 minuten per patiënt). Aanpak: atlas-gebaseerde segmentatie Gebruik segmentaties van andere patiëntbeelden om automatisch intekeningen voor nieuwe patiënten te maken. 104

105 Segmentatie van de prostaat in MRI 105

106 3D MRI Voorbeelden van handmatig gesegmenteerde prostaten 106

107 Atlas-gebaseerde segmentatie Nieuwe patiënt registreer Andere patiënten: atlas 107

108 Atlas-gebaseerde segmentatie Nieuwe patiënt transform Andere patiënten: atlas 108

109 Atlas-gebaseerde segmentatie Nieuwe patiënt transform Andere patiënten: atlas 109

110 Atlas-gebaseerde segmentatie Nieuwe patiënt Andere patiënten: atlas transform 110

111 Atlas-gebaseerde segmentatie Nieuwe patiënt Andere patiënten: atlas 111

112 Fuseren Gepropageerde intekeningen 112

113 Fuseren Gepropageerde intekeningen majority vote 113

114 Toepassing prostaat Database van 200 MR beelden van de prostaat, door experts ingetekend. Een paar voorbeelden 114

115 Voorbeeld resultaat Intekening expert Intekening computer 115

116 SEGMENTATIE VAN DE RIBBEN VOOR HIFU BEHANDELING Yolanda Noorda 116

117 MR-guided HIFU MR-guided High Intensity Focused Ultrasound Met ultrageluid weefsel dusdanig verhitten dat cellen sterven. 117

118 MR-guided HIFU Ultrageluid in bed van MR scanner. MR beelden voor anatomische en temperatuurinformatie. 118

119 Segmentatie ribben Bij behandeling van de lever moeten de ribben ontweken worden (pijn). Voor behandelplanning is segmentatie van de ribben nodig. 119

120 Segmentatie ribben Detectie van de lichaamscontour waar de ribben in liggen. 120

121 Segmentatie ribben Deze contour wordt platgeslagen tot een 2D beeld. 121

122 Kenmerken berekenen In dit beeld wordten kenmerken van ribben (langgerekte, lichte structuren) berekend. 122

123 Ribben vinden De ribben worden gevonden door een aantal paden tegelijk van links naar rechts te vinden. 123

124 Reconstructie naar 3D De gevonden paden kunnen worden teruggeprojecteerd naar 3D. Deze dienen als initialisatie voor het segmenteren van de hele ribben. 124

125 DETECTIE VAN VERANDERING Marius Staring 125

126 Detecteren van verandering in longkanker De groundglass nodule is een vorm van longkanker. Verandering in grootte en/of dichtheid is een belangrijke indicatie van verergering van de ziekte. 126

127 Huidige praktijk Visueel worden de baseline en follow-up beelden vergeleken. baseline scan follow-up scan 127

128 Huidige praktijk De grootte (en dichtheid) worden ruwweg geschat. baseline scan follow-up scan 128

129 Doel De beoordeling verbeteren door een verschilbeeld beschikbaar te maken. baseline scan follow-up scan verschilbeeld 129

130 Probleem Door de registratie verdwijnt het verschil tussen de nodules 130

131 Probleem Oplossing: het gebied van de nodule moet niet vervormen. 131

132 Registratie Methode die gebieden van nodules niet vervormd. standaardmethode aangepaste methode 132

133 Registratie Voorbeeld tumoren in CT beeld standaardmethode aangepaste methode 133

134 Detectie van verandering: evaluatie Studie: Data van een grote screening studie. 4 radiologen beoordelen de verandering in nodules, met en zonder verschilbeeld, in twee sessies Referentiestandaard is een zeer ervaren vijfde radioloog 134

135 Evaluatie 135

136 Evaluatie Vergelijking met ervaren radioloog grootte dichtheid O1 O2 O3 O4 mean 0 O1 O2 O3 O4 mean Ox standaard met verschilbeeld observer x 136

137 Uitkomsten Conclusies: De beschikbaarheid van een verschilbeeld verbetert de prestatie van de radioloog. Overeenkomst met ervaren radioloog en onderling neemt toe. Verbetering is meest prominent voor moeilijke gevallen. 137

138 DIGITALE PATHOLOGIE Mitko Veta 138

139 Voorbeeld van een borstkankerbiopt 139

140 Pathologie Lab work-flow Biopsieweefsel wordt in paraffineblokken gefixeerd. Van de blokken worden coupes gesneden, op glasplaatjes gelegd en gekleurd. Een patholoog onderzoekt de coupes (met een microscoop). 140

141 Digitale pathologie De coupes worden tegenwoordig ook met scanners gedigitaliseerd. Hierdoor is automatische analyse door een computer mogelijk, om de patholoog te ondersteunen subjectiviteit te verminderen. 141

142 Gradering van borstkanker Biopten krijgen een graad toegekend op de Bloom and Richardson schaal. De waarden lopen van 1 (best) tot 3 (slechtst). De graad is gebaseerd op kenmerken van het tumorweefsel, zoals de gemiddelde celgrootte en mitose (celdeling). 142

143 Automatisch detecteren van cellen Voorbewerken van de beelden Colour unmixing: hematoxyline isoleren Morfologie: rommel verwijderen en cellen verduidelijken hematoxyline &eosine beeld 143

144 Celkernen detecteren Cellen: donkere punten met hoge puntsymmetrie. 144

145 Celkernen detecteren Vanuit deze middelpunten groeien tot een rand in het beeld. 145

146 Resultaten sdf 146

147 Studie naar borstkanker bij mannen Data van 101 patiënten Gedigitaliseerde biopten Kennis van ziekteverloop 147

148 Studie naar borstkanker bij mannen Cellen automatisch gedetecteerd in elk beeld. Per patiënt werd de gemiddelde celgrootte berekend. 148

149 Resultaten Vergelijking met handmatig gesegmenteerde cellen 149

150 Resultaten kleine cellen Kaplan-Meier overlevingscurve: patiënten verdeeld in twee groepen, een groep met gemiddeld kleine en een groep met grote cellen. grote cellen 150

151 151

152 BRAIN-COMPUTER INTERFACE Patrik Andersson 152

153 Brain-computer interface Gebruikt hersensignalen voor directe communicatie met een apparaat, waarbij de spieren omzeild worden. 153

154 Brain-computer interface Hiermee kunnen patiënten met locked-in syndroom communiceren en controle uitoefenen op hun omgeving. Deze patiënten zijn volledig bij bewustzijn, maar compleet verlamd. Eindstadium van ALS (Amyotrophic Lateral Sclerosis). Schade aan de hersenstam. Een BCI is bedoeld om bijvoorbeeld een rolstoel aan te sturen of een computermuis. 154

155 Implantatie Voor een BCI is implantatie van electroden in het brein nodig. Cruciale vraag: waar moeten deze electroden geplaatst worden voor het beste resultaat? Voorstudie met functionele MRI 155

156 functionele MRI Principe Beeld het brein af tijdens activiteit en tijdens rust. Analyseer de verschillen in de beelden. 156

157 functionele MRI Analyse: Verschil tussen taak- en rustbeelden meten. Bewegingscorrectie, analyse verschillen, classificatie, etc. 157

158 Aansturing robot Taak: kijk naar de groene stip en focus je gedachten op de gele driehoek in de richting die je wilt bewegen. 158

159 Aansturing robot Feedback: beeld van de camera in de robot. 159

160 Hersenactiviteit Signaal per bewegingsrichting 160

161 Aansturing robot Real-time analyse netwerk 161

162 Resultaten Vier proefpersonen, elke twee tests. Afgelegde routes afgebeeld. 162

163 Wetenschap en Onderwijs Onderzoekinstituut: Image Sciences Institute MSc opleiding Universiteit Utrecht: Biomedical Image Sciences (BIS) 163