Tentamen 8D040/41 - Basis beeldverwerking. 25 juni 2010, uur

Transcriptie

1 Tentamen 8D040/41 - Basis beeldverwerking 25 juni 2010, uur 1

2 Algemeen: Maak opgave 1 op een apart vel, en de overige opgaven op een andere set vellen. Alle vragen tellen even zwaar mee in het eindcijfer. Succes! Vraag 1 Een automatische (!) microscoop kan vaak door een groter beeld stappen en auto-focussen op ieder deelgebied. Om de statistieken van een heel microscoopbeeld te meten, moet elk deelgebied op zich geanalyseerd worden, waarna de resultaten samengevoegd worden. Gegeven zo n deelgebied; het onderstaande microscoopbeeld nuclei (Fig. 1). We willen een distributie hebben van de rondheid R 4π Oppervlak R = Omtrek 2 van alle zwarte in focus objecten. Figuur 1: Microscoop beeld nuclei (650 x 412 x 8 bits) a) Zit er shading op het beeld? En zo ja waarom en hoe ziet die shading er dan uit? Zo met het blote oog te zien zit er geen shading op het beeld. Of wellicht een heel klein beetje cirkelvormige shading met het centrum in het midden van het beeld. Je zou de intensiteit van een beeldlijn uit het midden van het beeld moeten plotten om te zien of er echt shading op zit. b) Schets hoe u denkt dat het histogram van dit beeld eruit ziet Figuur 2: Histogram van het beeld nuclei (fig. 1) 2

3 c) Hoe dient dit beeld gedrempeld te worden? Met Otsu s methode voor histogrammen met meerdere pieken. Dan wel eerst de dominante zwarte piek (rond grijswaarde 90) gebruiken om te drempelen, de zwarte objecten wegwerken en dan nog een keer drempelen met bijv. Otsu s methode. Handmatig de drempel bepalen kan ook maar dan moet je zeker weten dat de grijswaardendistributie in alle plaatjes van de microscoopscan te allen tijde bij benadering hetzelfde histogram hebben. d) Hoe haalt u de de in-focus objecten er uit? In-focus objecten hebben een veel sterkere edge dan andere objecten. Men moet een edge-detectie uitvoeren op het oorspronkelijke grijswaarde beeld. Daarna deze edges drempelen zodat alleen de sterke edges overblijven en die gebruiken als zaad voor een propagatie operatie (morphologische reconstructie) met een gebinariseerde versie van het oorspronkelijke grijswaardebeeld als maskerbeeld. e) Waarom zijn de randobjecten niet interessant? Hoe kunnen die verwijderd worden? Omdat die de meting verpesten; ze geven niet relevante data, omdat van cellen waarvan een stuk ontbreekt de rondheid niet meer te meten is. Je haalt ze weg middels een propagatie-operatie vanaf de rand van het beeld. Dat levert de randobjecten op. Die trek je af van het originele binaire beeld (of je doet een XOR operatie). f) Sommige objecten liggen over elkaar. Hoe kunt u die scheiden? Door een n-opening operatie, d.w.z. door een n-tal erosies gevolgd door n-tal dilaties. Het gevaar hierbij is wel dat je (omdat je dilateert en niet terugpropageert) door deze operaties de oorspronkelijke vorm van de objecten aantast. Dus niet te veel eroderen. Als je naar het beeld kijkt zou je zeggen een n-opening met n ongeveer 3 tot 4. g) U wilt uiteindelijk weten hoeveel relevante objecten er zijn; stel deze objecten staan in een binair beeld A. Stel u heeft een operatie n=count(b) die met 1 door het beeld B gaan alle voorgrondpixels in dat binaire beeld telt. Wat voor skelet operatie moet u op beeld A toepassen om tot beeld B te komen; d.w.z. alle objecten in A tot een punt in B te reduceren? Wat is de voorwaarde dat dat werkt bij A? Wat zou u gedaan moeten hebben, om er zeker van te zijn, dat het altijd werkt? Een skelet zonder eindpunt-condities maar wel met single-point-conditie. Omdat dit ook objecten met gaten erin vindt als gesloten contouren, moet je er voor zorgen dat dat niet voorkomt. Zo te zien komt dat niet voor, maar je weet nooit wat er met drempelen gebeurt. Je moet de kandidaatobjecten dus dichtgroeien. Dat kan met een n-closing maar dat tast bij grote n weer de vorm van de objecten aan. Beter is het binaire beeld te inverteren en dat als masker te gebruiken om vanaf de rand van een leeg beeld over te propageren. Als je dat resultaat inverteert houd je de oorspronkelijke vorm van het object maar zijn de gaten gegarandeerd dicht. 3

4 h) Stel u heeft een operatie C=TopLefPoint(A) die in beeld C alleen het eerste voorgrondpixel zet die deze operatie in een rasterscan door beeld A tegenkomt. Hoe bepaalt u de rondheid van alle objecten in beeld A? Geef in uw antwoord een stapsgewijze aanpak weer. Met de vorige operatie weet je hoeveel objecten (zeg k) je uiteindelijk in je beeld overhoudt. (a) Declareer een lijstje van lengte k. (b) Gebruik TopLefPoint om het eerste object te vinden. (c) Gebruik dat punt als zaad en het kandidaatbeeld als masker om m.b.v. propagatie het eerste object te selecteren. (d) Tel met Count; het aantal pixels geeft het oppervlak. (e) Bepaal dan de binnencontour van het object (origineel - geërodeerd beeld) (f) Bepaal dan weer met Count de hoeveelheid pixels van de omtrek. (g) Reken de rondheid uit en stop dat in de lijst. (h) Verwijder het gemeten object uit het kandidatenbeeld m.b.v. afrekken of een XOR operatie. (i) Loop van 1 tot k over alle objecten om het lijstje te vullen. i) Stel er zit shading op het beeld en u wilt die vóór het drempelen kwijtraken. Hoe kunt u de achtergrond schatten om die shading kwijt te raken, in het geval van de zwarte objecten en hoe in het geval van de witte objecten (als de zwarte objecten inmiddels verwijderd zijn)? Bij zwarte objecten op een witte achtergrond moet je de zwarte objecten met een dilatie (LMax) dichtgroeien, daarna weer met een erosie (LMin) compenseren. Dit geeft een schatting van de (grijze) achtergrond. Daarna dit aftrekken van het originele beeld om een beeld te krijgen waarvan de shading verwijderd is. (Als je het andersom zou doen zou je negatieve waarden krijgen in je beeld!) j) Wat voor filtergroottes gebruikt u daarbij? En waarom? Iets groter dan de halve objectgrootte van het grootste object in het beeld. Dus bijv. een LMAx en LMin operatie van pixels. 4

5 Vraag 2 a) Wat is de kwantisatie van figuur 2 hieronder (intensiteits/grijswaarde-resolutie L)? Figuur 2: Edge beeld in grijswaarden 0 15, 4 bits, L = 16 b) Bereken het histogram van het beeld. Geef het histogram in waardes, maar maak ook een tekening ervan. Intensiteit Aantal pixels Waarschijnlijkheid Waarschijnlijkheid b k P(b k ) P(b k ) 0 4 4/ / / / / / / / / / / / / / / /

6 Histogram van figuur 2. c) Bereken het histogram na histogram-equalisatie. U kunt hiervoor de volgende formule gebruiken: k G(b k ) = (L 1) P(b i ). L = 16, dit invullen in de formule samen met de P(b k ) (laatste kolom) uit antwoord b voor elke rij in b. Intensiteit i P(b i) G(b k ) Nieuwe intensiteit i=0 6

7 Nieuwe intensiteit Aantal Mapping P(b k ) oud P(b k ) nieuw , , , 9, 10, Histogram van figuur 2 na histogram equalisatie. 7

8 Hieronder ziet u het beeld dat resulteert na histogram-equalisatie. Dit beeld werd overigens niet gevraagd, maar is voor het begrip hier wel gegeven. Vergelijk het resultaat met het beeld in figuur 3. Het input beeld na histogram equalisatie. 8

9 Vraag 3 Het beeld in de vorige vraag ziet er zo uit als in figuur 3. Figuur 3: Edge beeld a) We willen met het kortste-pad algoritme (Dijkstra s algoritme, minimale-kosten algoritme) een aaneengesloten pad vinden van de linker onderhoek naar de rechter bovenhoek (zie start en eind in figuur 3) die de contour tussen het donkere en lichtere gedeelte aangeeft. Hiervoor moet op dit beeld een voorbewerking worden gedaan om goede kosten te definieren. Welke voorbewerking is dat? Geef zoveel mogelijk details, en zaken waarop u alert moet zijn. Om de contour te vinden moeten de randen/overgangen in het beeld benadrukt worden. Dit kan worden gedaan door de afgeleide van het beeld te berekenen. Er kan gekozen worden voor een afgeleide in één richting (x of y) of in beide richtingen (gradient). We werken hier de keuze voor een enkele afgeleide (in de x-richting) uit. Daarna moet dan de gradient-magnitude berekend worden, die een maat voor de sterkte van de overgangen (edges) is. De afgeleide wordt hier berekend door een convolutie met een afgeleide filter, te weten (1 0-1) (in het geval van het berekenen van een echte gradient, in 2D, wordt ook (1 0-1) T gebruikt voor de y-afgeleide). Voor de convolutie moet het beeld worden gepad om te voorkomen dat het resultaatbeeld kleiner is en we dus geen goede kosten kunnen definiëren voor de start- en eindpositie. Voor de afgeleide in de x-richting moet het beeld in de x-richting worden gepad. We kiezen hier padding met een kopie van het pixel aan de rand op de plaats waar gepad wordt. b) Voer de voorbewerking uit en geef in tabelvorm (gebruik hiervoor eventueel figuur 4 op pagina 10) het beeld dat resulteert als gevolg van de voorbewerking. Schrijf in het bijschrift van de figuur wat u erin getekend/geschreven heeft. Het x-afgeleide en gradient-magnitude beeld van het x-afgeleide beeld zien uit als in figuur 4. Nu moeten nog kosten worden gedefinieerd op basis van de magnitude van de x-afgeleide. Hoe sterker de afgeleide, dus hoe hoger de waarden in het magnitude beeld, hoe lager de kosten daar moeten zijn, want we willen dat het pad de contour tussen licht en 9

10 donker aangeeft. Dit betekent dat we de kosten moeten baseren op de inverse van de magnitude waarden rechts in figuur 4. We berekenen de kosten dan door het een waarde te kiezen die net boven de maximale magnitude ligt (hier nemen we daarvoor 8, want de maximale magnitude is 7), en alle magnitude waarden daarvan af te trekken. Dan krijgen we lage (maar positieve) kosten voor de pixels met sterke afgeleide. Het is belangrijk om positieve kosten te hebben voor alle pixels, omdat bij negatieve kosten een pad steeds goedkoper wordt wanneer het langer wordt. Dat kan natuurlijk niet de bedoeling zijn. Ook kosten 0 zijn daarom niet gewenst. Voor het uiteindelijke kostenbeeld zie figuur Figuur 4: x-afgeleide (links) en de magnitude daarvan (rechts) Figuur 5: Kosten voor berekening van het minimale kosten pad. c) Bereken met behulp van de tabel uit vraag b. het minimale-kosten pad, en teken het in tabelvorm (gebruik hiervoor figuur 5 op pagina 10). Geef aan hoe u alle kosten heeft gedefinieerd. Schrijf in het bijschrift van de figuur wat u erin getekend/geschreven heeft. 10

11 We stellen hier de kosten voor een horizontale of verticale stap gelijk aan 1, en voor een diagonale stap gelijk aan 1.4 (= 2). De verhouding tussen deze kosten is gebaseerd op de afstand die men kan afleggen door de betreffende link te volgen Figuur 6: Kosten voor elke pixel na uitvoering van de berekening van het minimale kosten pad. eind start Figuur 7: Links voor elke pixel naar het pixel via welke de laagste kosten zijn berekend. Door van een willekeurig pixel de pijlen te volgen kunnen we langs het minimale kosten pad van die eerste pixel naar de startpositie teruglopen. In groen het gevraagde pad/de contour van rechtsboven naar linksonder (en vice versa). 11

12 d) Wat kunt u doen om een 4-connected pad te bevorderen, en dus een 8-connected pad te voorkomen? Door de kosten van de diagonale links onevenredig groot te maken, zeg bijvoorbeeld 100, kan het gebruik van de diagonale links voorkomen worden. Zie onderstaande figuur 8 voor een dergelijk resultaat (werd niet gevraagd, maar is ter illustratie). eind start Figuur 8: Links voor elke pixel naar het pixel via welke de laagste kosten zijn berekend. Door van een willekeurig pixel de pijlen te volgen kunnen we langs het minimale kosten pad van die eerste pixel naar de startpositie teruglopen. In groen het gevraagde pad van rechtsboven naar linksonder. 12

13 Vraag 4 a) Beschrijf wat de functie van de Hough transform voor lijnen en cirkels is. De Hough transform is een transformatie van een beeldruimte naar een parameterruimte, gericht op de detectie van rechte lijnen en/of cirkels in het beeld. In de parameterruimte ontstaan pieken op de plaats gemarkeerd door specifieke waarden van de parameters(bijv. voor lijnen: helling, en doorsnijding van de y-as, of hoek en afstand tot de oorsprong; voor cirkels: (x, y) van het centrum en straal r van de cirkel). De Hough transform werkt door middel van een voting mechanisme; elk punt dat deel uitmaakt van een lijn of cirkel geeft een vote aan de lokaties in de parameterruimte van alle mogelijke parameter combinaties die een lijn of cirkel door het betreffende punt in de beeldruimte beschrijven. b) Wat is de dualiteit in de Hough transform tussen de beeldruimte en de parameterruimte? Een lijn/cirkel in de beeldruimte wordt vertegenwoordigd door een punt in de parameterruimte, en punt in de beeldruimte geeft aanleiding tot de creatie van een lijn/cirkel in de parameterruimte. c) Beschrijf stap voor stap hoe de Hough transform voor lijnen werkt. Denk hierbij ook aan het definiëren van specifieke (eventueel tijdelijke) variabelen. (a) Kies een resolutie voor de variabelen van de Hough transform. Dit kunnen r en θ zijn, of a en b, afhankelijk van het gebruik van de vergelijking voor een lijn y = (r xcosθ)/sinθ, of de vergelijking voor een lijn y = ax+b. (b) Maak een 2D parameterruimte (accumulator) aan met deze resolutie. (c) Zet alle waardes in de parameterruimte voor alle parameters op 0 (initialisatie). (d) Detecteer punten in de beeldruimte (het beeld) waar mogelijk een lijn (of meerdere lijnen) doorheen gaat (gaan). (e) Bereken alle mogelijke punten in de parameterruimte die lijnen representeren die door één betreffend punt in (d) gaan. (f) Hoog alle posities in de parameterruimte in de punten uit (e) met 1 op. (g) Herhaal (e) en (f) voor alle gedetecteerde punten in (d). (h) Vindt net zoveel pieken in de accumulator (parameterruimte) als het aantal lijnen dat je wilt detecteren in de beeldruimte, óf, stel een drempelwaarde voor de sterkte van de pieken in de parameterruimte op waarmee lijnen die sterk genoeg aanwezig zijn in de beeldruimte gedetecteerd kunnen worden. (i) Maak een presentatie van de gedetecteerde lijnen in de beeldruimte. d) Welke varianten voor de Hough transform voor lijnen zijn er? Bespreek een probleem van één van de varianten. 13

14 Er zijn twee varianten voor de Hough transform voor lijnen. De eerste beschrijft lijnen middels de formule y = ax + b en heeft dus als parameters a en b. De tweede variant beschrijft een lijn als functie van de hoek (θ) tussen de verbindingslijn van de oorsprong tot een punt op de betreffende lijn, waarbij de verbindingslijn loodrecht op de lijn staat, en de lengte r van deze verbindingslijn (oftewel de kortste afstand tussen de lijn en de oorsprong), middels de formule r = xcosθ+ysinθ (y = (r xcosθ)/sinθ). Het probleem van de eerste variant is dat bij verticale lijnen a gelijk aan wordt. Vraag 5 a) Zoals figuur 9 beneden laat zien, is de Fourier transformatie van een tent-functie (links) een gekwadrateerde sinc-functie (rechts) (sinc(x) = sin(x) ). Beredeneer hoe de Fourier x transformatie van een tent-functie kan worden verkregen met behulp van de Fourier transform van een box-functie. Bedenk hierbij dat de tent-functie kan worden verkregen door middel van convolutie van twee gelijke box-functies. Bekend is dat de Fourier getransformeerde van een box-functie een sinc-functie is. Gegeven is dat een tent-functie wordt verkregen door de convolutie van twee gelijke box-functies. Bij het verkrijgen van de tent-functie wordt dus in het spatiële domein convolutie gebruikt. Convolutie in het spatiële domein is gelijkt aan vermenigvuldiging in het Fourier domein (frequentie domein). Om de Fourier getransformeerde van een tent-functie te verkrijgen, kunnen we dus in het Fourier domein een vermenigvuldiging van de twee gelijke sinc-functies gebruiken. Dit levert dus een gekwadrateerde sinc-functie op, juist omdat de box-functies gelijk waren. De sinc-functies die met elkaar vermenigvuldigd moeten worden zijn dus ook gelijk, en dat levert het kwadraat op. b) Gegeven een reëel en even beeld in figuur 10(a) en de absolute waarde van zijn Fourier getransformeerde in figuur 10(b). Wat kunt u vertellen over de Fourier getransformeerde van deze figuur 10(a)? Een reëel spatieel signaal levert een even signaal op in het Fourier domein. Een even spatieel singaal levert een reëel signaal op in het Fourier domein. Een reëel én even spatieel signaal levert dus een reëel en even signaal in het Fourier domein op. Verder is het Fourier getransformeerde beeld even groot als het spatiële beeld, en zit er evenveel vermogen in zowel het spatiële signaal als het Fourier getransformeerde signaal (Parceval). c) Stel u berekent de afgeleide van het beeld in de horizontale (x) richting. Wat kunt u vertellen over de Fourier getransformeerde van dit afgeleide beeld? Mits voldoende gepad, is het Fourier getransformeerde beeld van het afgeleide beeld even groot als het originele beeld. Aangezien de Fourier getransformeerde van het originele beeld reëel en even is, en het nemen van de afgeleide in x-richting in het Fourier 14

15 domein gelijk is aan het vermenigvuldigen met de factor iω x, zal de Fourier getransformeerde van het afgeleide beeld imaginair zijn. Door het nemen van een afgeleide blijft een reëel beeld reëel, dus de Fourier getransformeerde van het afgeleide beeld zal nog steeds even zijn. d) Wanneer de Fourier getransformeerde van het beeld in figuur 10(a) een aantal pixels naar rechts wordt verschoven, welk effect heeft dat op het invers Fourier getransformeerde beeld van dit verschoven beeld? Schets ook het inverse Fourier getransformeerde beeld. Wanneer de Fourier getransformeerde (naar rechts) wordt verschoven is het niet meer even. Het invers Fourier getransformeerde beeld zal daardoor niet meer reëel zijn, maar complex worden. We krijgen dus een faseverschuiving in het spatiële beeld. De verschuiving van de Fourier getransformeerde toont zich als een modulatie met een complexe e-macht (cos + i sin) in het spatiële domein. Deze modulatie bij een beeld zoals in figuur 10(a) met egale vlakken zal door de modulatie met de sinusvormige reële en imaginaire termen een lijnenpatroon latern zien. Aangezien de verschuiving naar rechts is in het Fourier domein, zal de informatie rond het centrum in het Fourier domein een hogere horizontale frequentie krijgen. Een horizontale frequentie levert verticale lijnen op. Voor het resultaat zie figuur 11. Figuur 9: Een tent functie (links) en een gekwadrateerde sinc functie (rechts). 15

16 Figuur 10: Een reëel en even beeld (links) en de absolute waarde van de Fourier getransformeerde ervan (rechts). Figuur 11: Het reële deel (links) van het invers Fourier getransformeerde beeld dat enkele pixels naar rechts verschoven was in het Fourier domein, en het imaginaire deel van dit beeld (rechts). 16