Randen en Filters - voorbeelduitwerking - Opdracht bij van licht tot zicht - Kees van Overveld

Transcriptie

1 Randen en Filters - voorbeelduitwerking - Opdracht bij van licht tot zicht - Kees van Overveld Het herkennen van vormen, en dus van randen, is een belangrijke eigenschap van elk visueel systeem. Voor het MVS systeem hebben we gezien, bij de behandeling van de sampling laag, hoe hiervoor diverse detectoren in samenwerking verantwoordelijk zijn. Bij kunstmatige systemen (robots) worden deze detectoren nagebootst door filters. Een filter lijkt voor wat betreft zijn gedrag een beetje op een neuron: het heeft ingangen, en afhankelijk van de waarden op die ingangen produceert (berekent) het de waarde van de uitgang. Die bewerking, waarbij signalen van de ingangen bij elkaar gevoegd worden om een resulterend signaal op de uitgang te produceren noemen we aggregatie. De verschillende ingangen kunnen corresponderen met bij elkaar in de buurt liggende pixels (robot) of zintuigcellen (MVS), of met de uitgangen van andere filters (neuronen). In deze opgave beschouwen we alleen grijswaardebeelden. Een waarde is een getal tussen 0 en 1, 0=zwart en 1=wit, en de tussenliggende waarden zijn grijstonen. 1. Er zijn nogal veel verschillende detectoren in het MVS: verschillende vorm, al dan niet isotroop, en met uiteenlopende footprint groottes. Het mag wonderlijk lijken dat in de evolutie al deze detectoren allemaal onafhankelijk van elkaar konden ontstaan. Dit wordt een stuk minder wonderlijk als je je realiseert dat alle detectoren eenvoudig verkregen worden door uit te gaan van slechts één soort detector: de 0 e orde detector 1 met kleine footprint. Laat zien hoe door aan de uitgangen van zulke 0 e orde detectoren de ingangen van andere, gelijksoortige detectoren aan te sluiten, het gedrag van alle behandelde typen gerealiseerd kan worden. (Hint 1: bij de aansluiting van een uitgang aan een ingang kan het teken van de doorgegeven waarde omgedraaid worden: dat noemen we een invertor. Hint 2: een convolutie is een geschikte manier om een aggregatie wiskundig te beschrijven. Een convolutie kan geschreven worden als integraal of als som, net naar gelang de te aggregeren waarden continu of discreet zijn. De intuïtie is in beide gevallen dezelfde. Als je ooit bij signaaltheorie of calculus convolutie hebt gehad is dit de gelegenheid om je kennis daarover te gebruiken of op te poetsen. Als dat niet zo is, zet het er dan even bij in de uitwerking je kunt de opdracht ook maken zonder kennis van convolutie. Tenslotte kun je de opdracht ook gebruiken om je in deze zeer nuttige wiskundige bewerking te verdiepen zie bijvoorbeeld Een 0 e orde detector met een grote footprint krijg je door de outputs van naast elkaar 1 Een 0 e orde detector is isotoop, overal positief en heeft in maximum in het midden; een 1 e orde detector is anisotroop, heft een positieve en een negatieve helft, en een 2 e orde detector is een Mexicaanse hoed. Ze heten 0 e orde, 1 e orde en 2 e orde omdat ze bij benadering voorgesteld kunnen worden door een Gauss functie van 2 variabelen, de 1 e afgeleide van een Gauss-functie in één of andere richting, en de Laplaciaan (som van 2 e afgeleiden in de x- en y-richting) van diezelfde Guass functie.

2 liggende kleine 0 e orde detectoren aan de ingangen van een ( kleine ) 0 e orde detector toe te voeren. Wiskundig genoteerd: Laat g σ (x,y) het gevoeligheidsprofiel zijn van een 0 e orde detector met footprint grootte σ, bijvoorbeeld een Gauss-functie met parameter σ. Een signaal schrijven we als functie s(x,y). Het effect van de 0 e orde detector op dit signaal is een convolutie, die schrijven we als g σ s ofwel g σ (x-x 0,y-y 0 )s(x 0,y 0 )dx 0 dy 0 of voor het discrete geval ΣΣ g σ (i-i 0,j-j 0 )s(i 0,j 0 ). Om geen onderscheid te hoeven maken tussen het continue en het discrete geval schrijven we in het vervolg steeds g σ s.een detector met grote footprint krijgen we door opnieuw te convolueren met g σ (de twee gevoeligheidsprofielen hoeven niet dezelfde breedte te hebben, vandaar σ en σ ), dus g σ (g σ s ). Je kunt bewijzen dat herschreven mag worden als (g σ g σ ) s, en als de functie g symmetrisch is levert convolueren van g met zichzelf een nieuwe symmetrische functie op met een grotere footprint: (g σ g σ )=g σ. Voor Gauss functies is dit zelfs bijzonder mooi: de convolutie van twee Gauss functies levert weer een Gauss functie op, met een parameter die gelijk is aan de wortel uit de som van de kwadraten van de twee parameters. Anders gezegd: het twee maal achter elkaar gladstrijken van een signaal, één keer met footprint grootte σ en één keer met σ is het zelfde als het eenmaal gladstrijken met een groter gladstrijkfilter met footprint grootte σ >σ en σ >σ. Een 1 e orde detector krijg je door de output van twee ten opzicht van elkaar verschoven 0 e orde detectoren met verschillend teken (plus en min) als input aan een ( kleine ) 0 e orde detector toe te voeren. Ook dit kunnen we als een convolutie schrijven. Het opschuiven van een functie g σ over een vector (p x,p y ) is namelijk g σ;p (x,y) = g σ (x 0,y 0 ) δ(x-p x -x 0 ) δ(y-p y -y 0 ) dx 0 dy 0 ; de functie δ die hier de rol van een soort gevoeligheidsprofiel speelt is de zogenaamde delta-functie, gedefinieerd door δ(x-y)g(x)dx=g(y) voor elke functie g. We noteren deze opschuif-convolutie als g σ;p =D p g σ. De 1 e orde detector wordt zo (g σ ;p - g σ; -p ) s. Nota bene: de detector die op deze manier ontstaat, uitgaande van Gauss functies, is alleen bij benadering gelijk aan de richtingsafgeleide van een Gauss functie. Een 2 e orde detector krijg je door de output van een kleine 0 e orde detector en een geinverteerde output van een grote 0 e orde detector met hetzelfde middelpunt aan een kleine 0 e orde detector toe te voeren. Beide detectoren hebben hetzelfde middelpunt, dus we hebben geen opschuif-convolutie nodig. Het resultaat is (g σ - g σ ) s waarbij de twee waarden σ en σ zó gekozen moeten zijn dat voor s = constant, (g σ - g σ ) s = 0.

3 2. Op het college is aangepraat, maar niet bewezen, dat een eendimensionale Mexicaanse hoed detector die toegepast wordt op een eendimensionaal signaal, een resultaat produceert dat overeenkomt met de 2 e afgeleide van dat signaal. Dit argument kunnen we ook hard maken als we ons realiseren dat het resultaat van een detector (filter) opgevat kan worden als een integraal over de footprint van dit filter van het product van het signaal en het gevoeligheidsprofiel 2. Laat door berekening zien dat de Mexicaanse hoed inderdaad een schatting berekent van de 2 e afgeleide (het is voldoende om het te laten zien voor het eendimensionale geval, hoewel het voor het tweedimensionale geval precies op dezelfde manier gaat). Wat is de interpretatie van de breedte van de Mexicaanse hoed bij deze berekening? We herinneren ons hoe je partieel moet integreren: g(x)s (x)dx = g(x)s(x) bovengrens - ondergrens - s(x)g (x)dx. Laten we dit toepassen op signaal s en gevoeligheidsprofiel g. Omdat het gevoeligheidsprofiel alleen maar ongelijk is aan 0 in een kleine omgeving rondom x=0 kunnen we in het vervolg steeds de termen g(x)s(x) bovengrens - ondergrens weglaten. Als volgt: g (x)s(x)dx = - s (x)g (x)dx = g(x)s (x)dx, Ofwel: de detectie van een signaal met de tweede afgeleide van een gevoeligheidsfunctie g levert hetzelfde resultaat op als de detectie van de tweede afgeleide van dat zelfde signaal met de oorspronkelijke gevoeligheidsfunctie. Naarmate de parameter σ groter is wordt de functie met een bredere detector bemonsterd, en de kleine details worden dus niet gezien. 3. Als we het gedrag van neuronen nabootsen kiezen we er vaak voor om, net zoals in opgave 2, convoluties uit te rekenen Een convolutie is een lineaire bewerking (de convolutie over de som van twee signalen is gelijk aan de som van de convoluten over de afzonderlijke signalen). Lineaire bewerkingen zijn wiskundig aantrekkelijk: differentiëren en integreren, bijvoorbeeld zijn lineaire bewerkingen waar we een heleboel rekenregels voor hebben. Zo komt de convolutie met een 0 e orde filter overeen met een gewogen gemiddelde van het signaal. Toch is de keuze voor lineaire bewerkingen biologisch niet goed te verdedigen. Een neuron berekent niet het gemiddelde van zijn inputs. Wat een neuron doet lijkt meer op de berekening van een mediaan: de uitgang is (in goede benadering) de meest voorkomende waarde van de inputs. Om die reden komen in veel beeldbewerkingsprogramma s twee soorten smoothing (=gladstrijk) operatoren voor: de (Gaussische) middeling die overeenkomt met een 0 e orde detector, vaak averaging genoemd, en een mediaanfilter ( median ). Zoek in jouw favoriete beeldbewerkingprogramma deze twee beeldbewerkingoperatoren op, en stel eventueel door te experimenteren - vast wat hun overeenkomsten en verschillen zijn. Breng deze 2 Het gevoeligheidsprofiel van een filter of een detector is de kromme die aangeeft hoe de gevoeligheid varieert over de footprint bijvoorbeeld als gegeven door een Gauss functie.

4 overeenkomsten en verschillen in verband met gewenste en ongewenste eigenschappen van een visueel systeem. Wat volgt hieruit voor kunstmatige visuele systemen? Een middeling filter zowel als een mediaan filter halen allebei kleine details uit het beeld. Als er twee egaal gekleurde gebieden aan elkaar grenzen wordt bij middeling de rand tussen die gebieden vaag; bij een mediaan blijft die rand echter scherp. Inderdaad: een pixel dat, zeg, aan de donkere kant van de rand ligt heeft meer buren die donker zijn dan buren die licht zijn, en het blijft dus donker. Bij middeling zal dat pixel een klein beetje van de waarde van de lichtere pixels meekrijgen en daardoor ook iets lichter worden; de rand wordt daarom vager (breder). Een consequentie voor technische toepassingen: een van de problemen daar is ruis. Eén vorm van ruis is zogenaamde peper-en-zout-ruis: een pixel heeft ten gevolg van een storing een waarde die random afwijkt van zijn buren, en dit komt bij een minderheid van de pixels voor (dit probleem trad vroeger veel op bij analoge video; bij digitale camera s is het nog steeds een probleem bijvoorbeeld bij lagere lichtintensiteiten). Een mediaan filter zal dit soort pixels gelijk maken aan de meerderheid van de buren, en de afwijking wordt dus volkomen gerepareerd. Bij een middeling zal het contrast met de buren weliswaar klein worden, dus het afwijkende pixel valt minder op, maar gebiedje waarop de afwijking zich bevindt wordt ook groter: een scherp, klein, contrastrijk puntje wordt een vaag, maar iets groter vlekje. Het plaatje op sheet 3 van de powerpointpresentatie nr. 4 laat de werking van het mediaanfilter zien: het haalt (tot op zekere hoogte) textuur weg, zonder dat het beeld onscherper wordt. Een voordeel van een averaging filter is, dat het een lineaire bewerking is. Er zijn daarom heel efficiënte manieren om het resultaat van het filter uit te rekenen, onder andere door fast-fourier transformatie. Het doet er dan niet toe hoe groot de footprint is. Voor een mediaan filter bestaan dit soort technieken niet. Daarom is de bewerking van een beeld met een mediaanfilter duurder naarmate de footprint van het filter groter is. 4. In opgave 2 hierboven hebben we gezien dat de eendimensionale Mexicaanse hoed de 2 e afgeleide van een eendimensionaal signaal berekent. Beelden zijn echter tweedimensionaal. Leg in woorden (of eventueel in een plaatje) uit wat een tweedimensionale Mexicaanse hoed doet met een tweedimensionaal signaal. De output van een eendimensionale Mexicaanse hoed is positief als het signaal ter plekke een negatieve tweede afgeleide heeft, ofwel als het een locaal maximum is; de output is negatief als het een locaal minimum is. Voor tweedimensionale signalen, bemonsterd met een tweedimensionale Mexicaanse hoed is dit precies zo. Dus de output is positief als er een locaal helderheidsmaximum is, en hij is negatief bij een locaal helderheidsminimum. Hierbij moet je wel rekening houden met de grootte van de footprint: fluctuaties (minima en maxima) die klein zijn ten opzichte van de afmetingen van de footprint hebben nauwelijks invloed. 5. Op het college maakte ik het punt dat (voor eendimensionale beelden), de

5 nuldoorgangen van de output van de Mexicaanse hoed goed overeenkomt met onze intuïtie van rand in een (eendimensionaal) beeld. Helaas gaat dit argument niet op voor tweedimensionale beelden. Om het probleem te zien, beschouw je het beeld hieronder: drie vlakken van egale helderheid die elkaar in een drielandenpunt ontmoeten. Ga na, in elk punt van het beeld, wat het teken van de output van de tweedimensionale Mexicaanse hoed is. Met andere woorden: teken het tweedimensionale tekenverloop van de output van de Mexicaanse hoed detector. Je mag daarbij veronderstellen dat de randen een eindige breedte hebben. Hint 1: ga eerst na wat er met het beeld gebeurt als je het met een 0 e orde detector bemonstert. Is er verschil voor grote en kleine footprint grootte (σ)? Hint 2: Een nuldoorgang is een hoogtelijn van een functie van twee variabelen. Wat weet je van hoogtelijnen van functies van twee variabelen? Als je van het beeld zoals het gegeven is, probeert te bedenken wat het resultaat van de 2 e afgeleide is, heb je het probleem dat de randen discontinu zijn, en daar is de tweede afgeleide dus niet gedefinieerd. Als je het beeld met een 0 e orde footprint bemonstert worden alle randen vager, en de 2 e afgeleide is overal gedefinieerd. Noem de gebieden als volgt: (1) de bovenste rechthoek; (2) de rechthoek linksonder; (3) de rechthoek rechtsonder. Het is duidelijk dat er een globaal helderheidsminimum ligt in (1) en een globaal helderheidsmaximum in (2). In gebied (1) is de output van de tweedimensionale Mexicaanse hoed dus negatief, en in gebied (2) positief. Het probleem ontstaat in gebied (3). Tengevolge van de rand tussen (1) en (3) zouden we verwachten dat (3) positief is, tengevolge van de rand tussen (2) en (3) zouden we verwachten dat (3) echter negatief is. Omdat in (3) zelf geen randen (lijken te) zitten, moet het teken in (3) constant zijn en dat kan dus niet! Voor het oorspronkelijke beeld (met oneindig scherpe overgangen tussen (1), (2) en (3) is de uitkomst van het tekenverloop dus niet gedefinieerd. Als je de overgangen zachter maakt blijkt gebied (3) op te splitsen: er is een deel van (3) met positieve en een ander deel met negatieve waarden. Je kunt dat voor je zien door aan een heuvellandschap te denken; gebied (3) is een glooiend plateau op een hoogte tussen (1) en (2) in. Ga precies na waar het landschap hol is en waar bol (misschien dat een tekening helpt?). Als volgt:

6 Links: het tekenverloop bij gebruik van een kleine footprint. De rand rondom gebied (2) komt redelijk overeen met onze intuïtie. De grens tussen gebied (3) en gebied (1) klopt ook wel, maar er is een extra tak die naar rechts onder loopt midden door gebied (3). Dat moet wel: een nuldoorgang is immers een hoogtelijn, en hoogtelijnen kunnen niet zomaar ergens beginnen of eindigen, en ze kunnen zich ook niet vertakken. Daarbij komt: omdat de helderheid in het binnengebied van gebied (3) bijna constant is (het plateau is bijna vlak), is de output van de Mexicaanse hoed bijna nul; de tekenomslag is dus slecht gedefinieerd (met andere woorden: hij zou overal kunnen liggen). Rechts: als we de footprint groter maken, varieert de helderheid overal. Er zijn geen constante (vlakke) stukken meer, en de output van de Mexicaanse hoed is bijna overal ongelijk aan nul. Alle tekenomslagen zijn dus goed gedefinieerd, maar ze liggen verder af van de oorspronkelijke, intuïtieve randen. Alles is ronder geworden. En nog steeds is er die spookrand die dwars door gebied (3) loopt. Conclusie: de nuldoorgangen van de tweedimensionale Mexicaanse hoed zeggen weliswaar iets over de plaats van randen in een 2 dimensionaal beeld, maar omdat nuldoorgangen geen vertakkingen ofwel drielandenpunten kunnen hebben (immers, aan één kant moet altijd een plusteken optreden en aan de andere kant een minteken) is de overeenkomst met onze intuïtie heel beperkt. 6. Uit de beantwoording van opgave 5 volgt dat het niet vanzelfsprekend is hoe je met een Mexicaanse hoed een randdetector voor randen in tweedimensionale beelden moet maken. Helaas is er niet een eenvoudige oplossing voor dit probleem. Maak aannemelijk dat ook het gebruik van 1 e orde detectoren geen 100% betrouwbare oplossing biedt. De 1 e orde detectoren geven een waarde die vertelt in welke mate die detector een rand ziet. Om deze uitkomst te interpreteren als er is een rand of er is geen rand moeten we dus een drempelwaarde hanteren. Maar hoe we die drempelwaarde ook kiezen, het zal altijd zo kunnen zijn dat (ten gevolge van ruis, of tengevolge van het feit dat een rand onderweg een beetje breder of smaller wordt en daardoor een iets grotere of iets kleinere uitkomst produceert bij een gegeven 1 e orde detector), een rand ineens ophoudt. We zouden echter graag zien dat randen alleen maar ophouden in 3-landenpunten. Inderdaad: sinds een rand de begrenzing van een gebied (een vorm) is, moet elke rand gesloten zijn. Dat laatste is wel gegarandeerd voor de nuldoorgangen van Mexicaanse hoeden: als we aannemen dat overal de uitkomst van een Mexicaanse hoed detector of positief of negatief is, kunnen de op die manier gevonden randen nooit zomaar uit het niets ontstaan of in het niets verdwijnen: vergelijk ze met hoogtelijnen die ook altijd gesloten moeten zijn. Maar

7 net zoals hoogtelijnen kunnen de nuldoorgangslijnen van de Mexicaanse hoed zich niet vertakken. Conclusie: geen van de door ons behandelde detectoren is in staat om betrouwbaar randen te vinden die zowel gesloten zijn als zich kunnen vertakken. In de beeldtechnologie is het probleem van een robuuste vormendetector dan ook nog steeds niet opgelost, en het vermoeden is dat het MVS dit probleem alleen maar kan oplossen doordat het intensief gebruik maakt van kennis uit 3D oppervlakkenlaag, objectenlaag en relatielaag.