Van ruimtemeetkunde tot virtuele realiteit.

Transcriptie

1 Van ruimtemeetkunde tot virtuele realiteit. Theo Moons en Ignace Van de Woestyne. Computermodellen en virtuele realiteit. Computermodellen van bestaande 3-dimensionale (3D) omgevingen worden steeds belangrijker bij de besluitvorming in verschillende maatschappelijke domeinen. Voorbeelden hiervan zijn het gebruik van 3D-stadsmodellen in ruimtelijke ordening (bv. om het effect van een gepland bouwwerk op het omliggende landschap te beoordelen; of, als basis voor computersimulaties om de geluidsoverlast in de naburige woningen van een nieuw aan te leggen weg in te schatten of om de optimale positionering van antennes voor mobiele telefonie te bepalen). Een ander belangrijk toepassingsdomein van 3-dimensionale computermodellen is bij de planning en uitvoering van chirurgische ingrepen: een levensgevaarlijke operatie wordt eerst uitgeprobeerd op een 3-dimensionaal computermodel van de patiënt dat geconstrueerd werd door volumetrische gegevens verkregen met CT, MR, PET,... scanners te combineren. De occasionele computergebruiker is zeker reeds in aanraking gekomen met virtuele werelden in computerspellen of bij een virtueel museum- of stadsbezoek via internet. En, wie heeft nog niet gehoord van de technologische evoluties in de filmwereld waar adembenemende visuele effecten verkregen worden door beelden van levende personen en bestaande omgevingen te combineren met door de computer gegenereerde objecten? Deze module illustreert hoe begrippen en methoden uit de ruimtemeetkunde de (wiskundige) basis vormen van gesofistikeerde computerprogramma s die toelaten om dergelijke 3-dimensionale computermodellen van een bestaande omgeving te construeren uit een aantal 2-dimensionale beelden (foto s, film- of videobeelden) ervan. 2. Beeldvorming in een digitale camera. De meest eenvoudige voorstelling van het beeldvormigsproces in een (foto-, film- of video-) camera is die van een camera obscura. In een camera obscura wordt het beeld van de omgeving (de scène genaamd) gevormd door de lichtstralen die door de voorwerpen in de scène weerkaatst worden en via het centrum van de lens op het beeldvlak invallen (cf. Figuur ). Dit beeldvlak kan het oppervlak van een lichtgevoelige film (zoals bij een foto- of filmcamera) of van een CCD (zoals bij een digitale camera of bij een videocamera) zijn. Het beeld dat op die manier gevormd wordt, is het foto-negatieve beeld van de scène. Het foto-positieve beeld dat men waarneemt wanneer men naar een foto of een televisiescherm kijkt, komt daarentegen overeen met de projectie van de scène op een (hypothetisch) vlak dat gesitueerd is vóór de camera op dezelfde afstand van het centrum van de lens als het beeldvlak. In het vervolg van deze tekst zal met de term beeldvlak steeds dit hypothetische vlak vóór de camera bedoeld worden.

2 voorwerpen in de scene negatief beeld positief beeld lens f f Figuur : In een camera obscura wordt het beeld van de scène gevormd door de lichtstralen die door de voorwerpen in de scène weerkaatst worden en via het centrum van de lens op het beeldvlak invallen. Het foto-positief beeld situeert zich in een (hypothetisch) vlak vóór de camera. x voorwerpen in de scene beeldvlak projectie - centrum 0 optische as van de lens z y Z = Figuur 2: Een camera-gecentreerd assenstelstel voor de scène is een assenstelsel dat verbonden is met de opstelling van de camera. 2

3 z x x P (x,y,z) P (x,y,) beeldvlak β beeld P beeld 2 0 y z = P P 2 y O C Figuur 3: Links: Ten opzichte van een camera-gecentreerd assenstelsel is het beeld van een punt P in de scène het snijpunt P van het vlak β met vergelijking z = en de rechte door P en door de oorsprong. Rechts: Om de exacte positie van het punt P in de scène te kunnen berekenen, heeft men de projecties P en P 2 van P in twee beelden nodig. In wiskundige terminologie is een scène een verzameling punten, lijnstukken en oppervlakken in de 3-dimensionale Euclidische ruimte IR 3 ; en, een beeld van een voorwerp in de scène is de perspectiefprojectie van dat voorwerp op het beeldvlak. Hoewel de camera obscura een overgesimplifieerde voorstelling van de beeldvorming in een echte camera geeft, kan men toch vaststellen dat de betere lenzensystemen die tegenwoordig in de handel verkrijgbaar zijn, een zeer goede benadering van een perspectiefprojectie realiseren. Om formules af te leiden die het beeldvormingsproces in een camera obscura beschrijven, moet men eerst een assenstelsel kiezen in de 3-dimensionale ruimte. Een assenstelsel voor de scène duidt men in computervisie aan met de term wereldassenstelsel. Aangezien wij de scène observeren vanuit het standpunt van de camera, ligt het voor de hand om het wereldassenstelsel te verbinden aan de camera. Een assenstelsel voor de scène verbonden aan de camera-opstelling noemt men een camera-gecentreerd assenstelsel. Zo n camera-gecentreerd assenstelsel is een rechtsdraaiend assenstelsel voor de scène dat als volgt gedefinieerd wordt (zie Figuur 2) : de oorsprong van het assenstelsel valt samen met het centrum van de lens van de camera (d.i. het projectiecentrum), de Z-as is de optische as van de lens, en het XY -vlak is het vlak door de oorsprong en evenwijdig met het beeldvlak van de camera. In het camera-gecentreerd assenstelsel is het beeldvlak van de camera het vlak β met vergelijking z =. Punten op voorwerpen in de scène moeten dus als z-coördinaat een reëel getal groter dan hebben. Het beeld van een punt P in de scène is nu het snijpunt P van de rechte door P en door de oorsprong van het camera-gecentreerd assenstelsel met het vlak β met vergelijking z = (zie Figuur 3 (links)). 3

4 origineel Figuur 4: Een digitaal beeld is opgebouwd uit een groot aantal minuscule beeldelementjes, pixels genaamd. Het probleem dat wij in deze module willen oplossen, kan nu wiskundig als volgt geformuleerd worden: bepaal voor een gegeven punt P (x, y, ) in het beeldvlak β het stel coördinaten co(p) van het punt P in de scène waarvan P de projectie in het beeld is. In deze vorm gesteld, is het probleem echter niet oplosbaar. Immers, als P de projectie van een scènepunt P in het beeldvlak β is, dan ligt P op de rechte door het projectiecentrum O en het beeldpunt P. Deze rechte noemt men de projecterende rechte van P voor de gegeven camera. Het is duidelijk dat P theoretisch gesproken eender waar (vóór het beeldvlak) op deze projecterende rechte kan liggen. Maar, indien de projecties P en P 2 van P in twee beelden gegeven zijn, dan is de positie van P in de scène uniek bepaald: P is dan immers het snijpunt van de projecterende rechten OP en CP 2 in de twee camera s, zoals geïllustreerd in Figuur 3 (rechts). Om deze constructie in praktijk te kunnen uitvoeren, moeten wij eerst formules afleiden voor de opstelling van de tweede camera in de ruimte. Welnu, de positie van de tweede camera in de scène kan weergegeven worden door het stel coördinaten van het projectiecentrum C van de tweede camera t.o.v. het wereldassenstelsel; en, het beeldvlak β 2 van de tweede camera kan gekarakteriseerd worden door het stel coördinaten t.o.v. het wereldassenstelsel van 3 niet-collineaire punten in dat beeldvlak (cf. Figuur 5 (rechts)). Noem deze punten E 0, E en E 2. Dan is β 2 = vl( E 0, E, E 2 ). Het beeld van een scènepunt P in de tweede camera is nu het snijpunt P 2 van de rechte door P en door het projectiecentrum C met het beeldvlak β 2 van de tweede camera. Punten P 2 in het beeldvlak β 2 van de tweede camera karakteriseren door hun stel coördinaten van t.o.v. het wereldassenstelsel is hoewel noodzakelijk voor hierboven beschreven constructie niet erg handig handig wanneer men wil werken met digitale beelden. De reden hiervoor is dat een digitaal beeld op een heel specifieke manier wordt opgeslagen in het geheugen van een computer. Een digitaal beeld is opgebouwd uit een groot aantal minuscule beeldelementjes, pixels genaamd. Het woord pixel is een contractie van de Engelse woorden picture element. In Figuur 4 werd een digitaal beeld uitvergroot zodat de pixels zichtbaar worden. Om een digitaal beeld op een computerscherm te visualiseren, wordt elke pixel van het beeldscherm belicht met een lichtstraal van een in- Onder de term digitaal beeld wordt in deze tekst zowel een beeld dat opgenomen werd met een digitale camera verstaan als een foto of een filmbeeld dat gescand en ingelezen werd in een computer. 4

5 x beeldvlak β 2 x z y 2 P 2 E 2 y O y E 0 E C Figuur 5: Links: In een digitaal beeld wordt de positie van een beeldpunt uitgedrukt in zogenaamde pixelcoördinaten t.o.v. de linkerbovenhoek van het beeld. Rechts: De omzetting van pixelcoördinaten naar ruimtelijke (x, y, z)-coördinaten gebeurt via de 3 punten E 0, E en E 2 die het beeldvlak β 2 bepalen. tensiteit (en kleur) die evenredig is aan de intensiteit (en de kleur) van de lichtstraal die op die positie in het beeldvlak inviel tijdens opname van het beeld. In een computergeheugen wordt een digitaal (grijswaarden)beeld dus opgeslagen in de vorm van een m n-matrix van gehele getallen die voor elke pixel de nodige lichtintensiteit weergeven 2 ; en de positie van elke pixel in het beeld wordt bepaald door het rij- en het kolomnummer van die pixel in deze matrix (cf. Figuur 5 (links)). Dit rij- en kolomnummer, meestal genoteerd met (x, y), noemt men de pixelcoördinaten van de beschouwde pixel. Het verband tussen deze pixelcoördinaten en het stel coördinaten van de beeldpunten in de vorige paragraaf t.o.v. het wereldassenstelsel in de scène is vrij eenvoudig. Indien wij het camera-gecentreerd assenstelsel van de eerste camera als wereldassenstelsel kiezen, dan is het beeldvlak β van de eerste camera het vlak met vergelijking z = t.o.v. het wereldassenstelsel. Een digitaal beeldpunt met pixelcoördinaten (x, y ) in het eerste beeld komt dan overeen met het punt P (x, y, ) in het beeldvlak β van de eerste camera. Voor de tweede camera verloopt de omzetting als volgt: het beeldvlak β 2 van de tweede camera werd gedefinieerd als het vlak β 2 = vl( E 0, E, E 2 ) bepaald door 3 niet-collineaire punten E 0, E en E 2. Welnu, deze punten ( E 0, E, E 2 ) vormen de ijk van het (pixel)assenstelsel in het tweede beeld (zie Figuur 5 (rechts)). Meer bepaald, het punt E 0 vormt de oorspong van het (pixel)assenstelsel in het tweede beeld; en de punten E en E 2 geven de lengte- 2 Voor een kleurbeeld worden voor elke pixel 3 gehele getallen gegeven die elk de intensiteit van de lichtstraal in 3 welbepaalde kleurbanden (nl. rood, groen en blauw) weergeven. 5

6 eenheid langsheen de respectievelijke coördinaatassen in het tweede beeld aan. Een digitaal beeldpunt met pixelcoördinaten (, y 2 ) in het tweede beeld komt dus overeen met het punt P 2 in het beeldvlak β 2 van de tweede camera waarvoor E 0 P 2 = E 0 E + y 2 E 0 Q = OQ E 0 E 2. () OE 0 Voor elk punt Q in de ruimte geldt dat ; wat, uitgedrukt in coördinaten t.o.v. het wereldassenstelsel, wordt: co( Q ) co( E 0 ). Formule () kan dus herschreven worden als of equivalent, co(p 2 ) co(e 0 ) = [ co(e ) co(e 0 ) ] + y 2 [ co(e 2 ) co(e 0 ) ] ; co(p 2 ) = [ co(e ) co(e 0 ) ] + y 2 [ co(e 2 ) co(e 0 ) ] + co(e 0 ). Wanneer men het stel coördinaten van een scènepunt Q t.o.v. het wereldassenstelsel als een kolomvector schrijft, namelijk x co(q) = y, z dan is de vorige formule equivalent met co(p 2 ) = [ co(e ) co(e 0 ) ] + y 2 [ co(e 2 ) co(e 0 ) ] + co(e 0 ) = [ co(e ) co(e 0 ) co(e 2 ) co(e 0 ) co(e 0 ) ] = A y 2, (2) waarbij A = [ co(e ) co(e 0 ) co(e 2 ) co(e 0 ) co(e 0 ) ] de 3 3-matrix met de kolomvectoren co(e ) co(e 0 ), co(e ) co(e 0 ) en co(e 0 ) als respectievelijke kolommen is. Formule (2) zegt nu dat men het stel coördinaten co(p 2 ) t.o.v. het wereldassenstelsel van het punt P 2 in het beeldvlak β 2 van de tweede camera dat overeenkomt met een digitaal beeldpunt met pixelcoördinaten (, y 2 ) in het tweede beeld vindt door de kolomvector ( y 2 ) t langs links te vermenigvuldigen met de 3 3-matrix A. Bovendien kan men de matrix A direct neerschrijven wanneer men de de ijk ( E 0, E, E 2 ) voor het pixelassenstelsel van het beeldvlak β 2 kent. En omgekeerd, als men de matrix A gegeven heeft, dan kan men daaruit ook de ijk ( E 0, E, E 2 ) afleiden. In plaats van de opstelling van de tweede camera in de scène te beschrijven door de 4 punten C, E 0, E en E 2, karakteriseert men in computervisie de opstelling van de tweede camera in de praktijk meestal door het projectiecentrum C en de matrix A te geven. Men zegt dan dat C de positie en A de oriëntatie van de camera in de scène aangeeft. 6 y 2

7 3. 3-Dimensionale reconstructie uit 2 beelden opgenomen met gekende camera-opstelling. Wanneer de (relatieve) opstelling van de camera s in de scène d.w.z. C en A gekend is, dan wordt de oplossing van het 3D-reconstructieprobleem gegeven door het onderstaande algoritme. Maar eerst definiëren wij nog even de gehanteerde terminologie. Definitie. (Corresponderende punten) Zij B en B 2 twee beelden van dezelfde scène. Twee punten P B en P 2 B 2 heten corresponderende punten van het beeldenpaar { B, B 2 } als en slechts als P en P 2 de projecties zijn in respectievelijk B en B 2 van één en hetzelfde punt P in de scène. Definitie 2. (3D-reconstructieprobleem) Zij B en B 2 twee beelden van dezelfde scène. Bepaal voor elk paar corresponderende punten P B en P 2 B 2 het stel coördinaten van het punt P in de scène, waarvan P en P 2 de projecties in de respectievelijke beelden zijn. Algoritme voor 3D-reconstructie uit 2 beelden.. Kies het camera-gecentreerd assenstelsel van de eerste camera als wereldassenstelsel voor de scène. 2. Bepaal de positie C en de oriëntatie A van de tweede camera t.o.v. het wereldassenstelsel. 3. Zoek 2 corresponderende punten P B en P 2 B 2 in het (digitale) beeldenpaar { B, B 2 } en bepaal hun respectievelijke pixelcoördinaten. Zij (x, y ) het stel pixelcoördinaten van P in B en zij (, y 2 ) het stel pixelcoördinaten van P 2 in B Bereken het stel coördinaten co(p ) en co(p 2 ) van P en P 2 t.o.v. het wereldassenstelsel: x co(p ) = y en co(p 2 ) = A y Bepaal een stel (parameter)vergelijkingen voor de rechte OP t.o.v. het wereldassenstelsel. 6. Bepaal een stel (Cartesiaanse) vergelijkingen voor de rechte CP 2 t.o.v. het wereldassenstelsel. 7. Bereken het stel coördinaten van het snijpunt P van de rechten OP en CP 2. Dit punt P is een punt in de scène dat in de eerste camera projecteert op het beeldpunt P B en in de tweede camera op het beeldpunt P 2 B 2 (zie Figuur 3 (rechts)). Men noemt dit punt P daarom een 3-dimensionale reconstructie van het scènepunt dat overeenkomt met het corresponderende puntenpaar ( P, P 2 ) B B 2. 7

8 4. Automatische bepaling van puntcorrespondenties. De oplossing van het 3D-reconstructieprobleem uit 3 kan direct omgezet worden in een computerprogramma dat de nodige berekeningen snel en efficiënt uitvoert. Maar daarmee is het probleem, vanuit het standpunt van de computer(programmeur) gezien, niet opgelost. Inderdaad, om de berekeningen (stappen 4 t.e.m. 7 ) te kunnen uitvoeren, moet de computer beschikken over de volgende informatie: de (relatieve) opstelling van camera s (uitgedrukt in positie en oriëntatie van de tweede camera t.o.v. het camera-gecentreerd assenstelsel van de eerste camera) (stap 2 ); en de pixelcoördinaten van de corresponderende beeldpunten P en P 2 voor elk te reconstrueren punt in de scène (stap 3 ). In de praktijk bestaat de computerinvoer meestal alleen uit 2 (of meer) digitale beelden, en is er niets bekend over de camera s waarmee deze beelden werden opgenomen en / of over de opstelling van deze camera s t.o.v. de scène. Bovendien verwacht men ook dat de computer zelf de corresponderende punten in de beelden zal bepalen, omdat het, wegens het grote aantal pixels waaruit een digitaal beeld is opgebouwd, quasi onbegonnen werk is om manueel voor elk beeldpunt in één beeld het stel (pixel)coördinaten van het corresponderende punt in het andere beeld op te zoeken en te noteren. Om een echt bruikbaar computerprogramma te hebben, zal men dus ook deze twee bijkomende problemen moeten oplossen. 4.. De epipolaire relatie tussen twee beelden. Laat ons beginnen met het tweede probleem, namelijk het zoeken van corresponderende punten in twee beelden van dezelfde scène. Men noemt dit het correspondentieprobleem. Definitie 3. (Correspondentieprobleem) Zij B en B 2 twee beelden van dezelfde scène. Bepaal voor elk punt P in B het corresponderende punt P 2 in B 2, en omgekeerd. Daar het vanuit een wiskundig standpunt niet uitmaakt welk beeld er nu precies het eerste en welk het tweede beeld is, mogen wij, zonder verlies van algemeenheid, vertrekken vanuit het tweede beeld. Beschouw Figuur 6. Neem een (willekeurig) punt P 2 in het tweede beeld. P 2 is de projectie van een punt P in de scène; en, belangrijker nog, dit scènepunt P ligt op de projecterende rechte CP 2 van P 2 voor de tweede camera. De projectie P van P in het eerste beeldvlak kan bijgevolg niet eender waar in het eerste beeld terechtkomen, maar P moet liggen op de rechte l die de projectie van CP 2 in het eerste beeld is (zie Figuur 6). De rechte l noemt men de epipolaire rechte van P 2 in het eerste beeld. Meetkundig gezien, is de epipolaire rechte l niets anders dan de doorsnede van het beeldvlak β van de eerste camera met het vlak door de projecterende rechte CP 2 van P 2 voor de tweede camera en het projectiecentrum O van de eerste camera. 8

9 P beeld beeld 2 β 2 x β P P 2 y 2 O l y C Figuur 6: Het punt P in het eerste beeld dat correspondeert met een (gegeven) punt P 2 in het tweede beeld ligt op de epipolaire rechte l die de projectie in het eerste beeld is van de projecterende rechte CP 2 van P 2 voor de tweede camera. Eigenschap. Zij B en B 2 twee beelden van dezelfde scène opgenomen door camera s met relatieve positievector C(x c, y c, z c ) en relatieve oriëntatiematrix A IR 3 3. Definieer de 3 3-matrices C = 0 z c y c z c 0 x c y c x c 0 en F = CA. Dan heeft de epipolaire rechte in B van een (willekeurig) beeldpunt P 2 in B 2 met pixelcoördinaten (, y 2 ) het volgend stel Cartesiaanse vergelijkingen: { a x + b y + c z = 0 (3) z = waarbij de coëfficiënten a, b en c gegeven worden door a b = F y 2. (4) c Terminologie : de matrix F uit de vorige eigenschap is een 3 3-matrix van rang 2, die men de fundamentele matrix van het beeldenpaar { B, B 2 } noemt. 9

10 Bewijs. Beschouw een digitaal beeldpunt met pixelcoördinaten (, y 2 ) in het tweede beeld B 2. Volgens formule (2) heeft P 2 in het beeldvlak β 2 van de tweede camera het volgende stel coördinaten t.o.v. het wereldassenstelsel: co(p 2 ) = A y 2 Per definitie, is de epipolaire rechte l van P 2 in het eerste beeld, de doorsnede van het beeldvlak β van de eerste camera met het vlak α door het projectiecentrum O van de eerste camera en de projecterende rechte CP 2 van P 2 voor de tweede camera. Het vlak α bevat dus zeker de punten O, C en P 2. Als O, C en P 2 niet collineair zijn 3, dan is α = vl( O, C, P 2 ). Schrijf het stel coördinaten van P 2 t.o.v. het wereldassenstelsel voorlopig als co(p 2 ) = (u, v, w). Daar co(o) = (0, 0, 0), is een Cartesiaanse vergelijking voor het vlak α gegeven door x y z x c y c z c u v w = 0. Het linkerlid van deze vergelijking ontwikkelen naar de tweede en vervolgens naar de eerste rij, geeft y x c z c v w y x c z c u w + z x c y c u v = 0 ; of uitgewerkt, x ( y c w z c v ) y ( x c w z c u ) + z ( x c v y c u ) = 0. Het vlak α heeft dus als Cartesiaanse vergelijking a x + b y + c z = 0 met a y c w z c v 0 z c y c u b = x c w + z c u = z c 0 x c v c x c v y c u y c x c 0 w = C u v w = C A waarbij de voorlaatste gelijkheid volgt uit u v w y 2 = co(p 2 ) = A = F y 2. y 2, 3 Voor welk(e) punt(en) P 2 in het tweede beeld zijn O, C en P 2 collineair en geldt de eigenchap niet? Wat zijn de corresponderende punten in het eerste beeld van deze uitzonderingsgeval(len)? 0

11 De epipolaire rechte l is de doorsnede van dit vlak α met het beeldvlak β van de eerste camera. De eigenschap volgt nu uit het feit dat β als Cartesiaanse vergelijking t.o.v. het wereldassenstelsel z = heeft. De epipolaire rechte l van een punt P 2 in het tweede beeld van een beeldenpaar { B, B 2 } is, per definitie, de projectie in B van de projecterende rechte CP 2 van P 2 voor de tweede camera. l moet dus door het punt P in B gaan, dat correspondeert met P 2 ; en, bijgevolg moet het stel coördinaten co(p ) = (x, y, ) van P voldoen aan de vergelijkingen (3) en (4) uit Eigenschap. Dit levert het volgende verband tussen de pixelcoördinaten van P en P 2 op. Stelling. (Epipolaire relatie) Zij B en B 2 twee beelden van dezelfde scène; en zij F de fundamentele matrix van het beeldenpaar { B, B 2 }. Voor elk paar corresponderende punten P B en P 2 B 2 geldt de volgende relatie tussen hun respectievelijke pixelcoördinaten (x, y ) en (, y 2 ) : ( x y ) F y 2 = 0. (5) Bewijs. Formule (3) uit Eigenschap geeft het volgende stel Cartesiaanse vergelijkingen voor de epipolaire rechte l van P 2 in het eerste beeld: { a x + b y + c z = 0 (6) z = waarbij de coëfficiënten a, b en c gegeven worden door formule (4). Het stel coördinaten van P t.o.v. het wereldassenstelsel is co(p ) = (x, y, ). Ingevuld in de vergelijkingen (6) wordt dit: { a x + b y + c = 0 = De eerste vergelijking kan nu herschreven worden als ( x y ) a b = 0 ; c en, gebruik makend van formule (4), als Dit bewijst de stelling. ( x y ) F y 2 = 0.

12 4.2. Praktisch gebruik van de epipolaire relatie. Het praktisch belang van de epipolaire relatie in Stelling voor toepassingen in computervisiesystemen kan nauwelijks overschat worden. Bijna elk computerprogramma dat informatie over een scène wil afleiden uit meer dan beeld gebruikt in één of andere vorm deze epipolaire relatie(s) tussen de beelden. De reden hiervoor is dat men de epipolaire relatie kan gebruiken om de fundamentele matrix van een beeldenpaar te berekenen uit de beeldinformatie alleen, en dus zonder de relatieve opstelling van de camera s (in casu, de relatieve positievector C en oriëntatiematrix A ) te moeten kennen. Inderdaad, veronderstel dat je de pixelcoördinaten (x, y ) en (, y 2 ) van een aantal corresponderende beeldpunten in de twee beelden kent, maar dat er helemaal geen informatie in verband met de (relatieve) opstelling van de camera s beschikbaar is. Je kan dus Eigenschap niet gebruiken om de fundamentele matrix F van dit beeldenpaar te berekenen. Schrijf daarom F = f f 2 f 3 f 2 f 22 f 23 f 3 f 32 f 33 met (nog) onbekende f ij IR. Voor elk paar corresponderende beeldpunten (x, y ) en (, y 2 ) die men tussen de twee beelden kent, kan men nu de de epipolaire relatie (5) neerschrijven: ( x y ) f f 2 f 3 f 2 f 22 f 23 y 2 = 0 ; f 3 f 32 f 33 of uitgerekend, f x + f 2 x y 2 + f 3 x + f 2 y + f 22 y y 2 + f 23 y + f 3 + f 32 y 2 + f 33 = 0. Met andere woorden, elk paar corresponderende beeldpunten tussen de digitale beelden geeft aanleiding tot één homogene, lineaire vergelijking in de onbekende componenten f ij van de fundamentele matrix F. 8 paren van dergelijke corresponderende punten geven dus aanleiding tot een homogeen stelsel van 8 lineaire vergelijkingen in de 9 onbekende componenten f ij van F, waaruit de f ij op een constante factor na berekend kunnen worden. Daar de epipolaire relatie slechts homogene vergelijkingen in de onbekende f ij genereert, zal het resulterende stelsel wat ook het aantal gebruikte puntcorrespondenties is steeds een homogeen stelsel zijn en kunnen de f ij slechts op een constante factor na bepaald worden uit de beeldinformatie alleen. Dit vormt echter geen probleem voor de praktische toepassingen, zoals verder zal blijken. In elk geval, hebben wij de volgende eigenschap bewezen. Gevolg. Zij B en B 2 twee beelden van dezelfde scène. De fundamentele matrix F van het beeldenpaar { B, B 2 } kan op een constante factor na berekend worden uit de gegeven beelden indien de pixelcoördinaten van ten minste 8 corresponderende puntenparen P B en P 2 B 2 gekend zijn. 2

13 Figuur 7: De computer zoekt voor elk punt P 2 in het linkerbeeld een corresponderend punt P langsheen de overeenkomstige epipolaire rechte in het rechterbeeld door het grijswaardenpatroon in de omgeving van dat punt te vergelijken. Dit gevolg is een belangrijke stap voorwaarts naar onze doelstelling, namelijk een 3- dimensionale reconstructie van de scène berekenen op basis van alleen maar de gegeven beelden (en zonder enige kennis van de gebruikte camera s en / of van hun opstelling t.o.v. de scène). Wegens Gevolg volstaan 8 paren van corresponderende punten tussen de gegeven beelden om de fundamentele matrix van een beeldenpaar te berekenen. Deze 8 corresponderende puntenparen kunnen nog gemakkelijk manueel in de computer ingegeven worden, maar ze kunnen ook automatisch door de computer gevonden worden met behulp van speciale software die karakteristieke punten (zogenaamde hoekpunten ) in de beelden opzoekt en met elkaar vergelijkt. Eens er 8 of meer corresponderende punten gevonden zijn, kan de fundamentele matrix F van het beeldenpaar berekend worden en kunnen formules (3) en (4) uit Eigenschap gebruikt worden om voor elk punt P 2 in het ene beeld de vergelijking van de overeenkomstige epipolaire rechte in het andere beeld te berekenen. De computer zoekt dan het corresponderende punt P in B door het punt Q op deze epipolaire rechte te zoeken waarvoor het grijswaarden- (of kleur-)patroon in de omgeving van Q de meeste gelijkenis 4 vertoont met het grijswaarden- (of kleur-)patroon in de omgeving van P 2 in het tweede beeld (cf. Figuur 7). Op die manier bepaalt de computer automatisch voor (bijna) alle punten P 2 in het ene beeld het corresponderende punt P in het andere beeld. 4 De onderlinge gelijkenis van 2 (meestal vierkante) gebiedjes in de beelden kan gekwantificeerd worden door de correlatiecoëfficiënt van de grijswaarden van (mogelijks) corresponderende pixels in beide gebieden. Het punt Q op de epipolaire rechte van P 2 in het eerste beeld, waarvoor deze correlatiecoëfficiënt het hoogst is, wordt dan als kandidaat voor het corresponderend punt P van P 2 weerhouden, op voorwaarde dat de correlatiecoëfficiënt dicht genoeg bij ligt. 3

14 beeld 2 beeld F 2 P 2 l 2 l 3 P beeld 3 F 3 P 3 Figuur 8: Het punt P in B dat overeenkomt met corresponderende punten P 2 B 2 en P 3 B 3 is het snijpunt van de epipolaire rechten l 2 en l 3 van P 2 en P 3 in het eerste beeld Een toepassing: een virtueel beeld van de scène berekenen. De kracht van de eigenschappen uit 4. blijkt ook uit de volgende praktische toepassing. Veronderstel dat je twee beelden van dezelfde scène ter beschikking hebt. Je kan dan de vraag stellen wat die twee beelden je vertellen over een mogelijk derde beeld van deze scène. De gemakkelijkste manier om die vraag te beantwoorden, is B als het nieuwe ( derde ) beeld te beschouwen en de 2 gegeven beelden als B 2 en B 3 te nemen. Veronderstel nu dat je de fundamentele matrices F 2 en F 3 van de beeldenparen { B, B 2 } en { B, B 3 } kent (bv. omdat je minstens 8 corresponderende punten van B met B 2 en B 3 kent). Beschouw vervolgens twee corresponderende punten P 2 B 2 en P 3 B 3 in de gegeven beelden (zie Figuur 8). Dan zijn P 2 en P 3 de projecties in B 2 en B 3 van één en hetzelfde punt P in de scène. De vraag is nu: wat kan men zeggen over de projectie P van dit scènepunt P in B? Welnu, uit 4. weten wij dat P op de epipolaire rechte l 2 van P 2 in B moet liggen, omdat P en P 2 coresponderende punten in B en B 2 zijn. Maar P moet ook op de epipolaire rechte l 3 van P 3 in B liggen, want P en P 3 zijn corresponderende punten in B en B 3. Maar dan is P het snijpunt van de epipolaire rechten l 2 en l 3 in het (nieuwe) beeld B. Eigenschap geeft de volgende formules voor de pixelcoördinaten van dit snijpunt. Eigenschap 2. Zij B, B 2 en B 3 drie beelden van dezelfde scène. Als de fundamentele matrices F 2 en F 3 van B met respectievelijk B 2 en B 3 gekend zijn, dan wordt voor elk paar corresponderende punten P 2 B 2 en P 3 B 3 met respectievelijke pixelcoördinaten (, y 2 ) en (x 3, y 3 ) het stel pixelcoördinaten (x, y ) van het corresponderende beeldpunt P in B gevonden als oplossing van het volgend stelsel: { a2 x + b 2 y + c 2 = 0 a 3 x + b 3 y + c 3 = 0 waarbij de getallen a 2, b 2, c 2 en a 3, b 3, c 3 gegeven worden door a 2 a 3 b 2 = F 2 y 2 en b 3 = F 3 c 2 c 3 4 x 3 y 3.

15 Figuur 9: Twee originele digitale beelden (links) van een buste en vijf kunstmatig, m.b.v. Eigenschap 2, gegenereerde beelden. Eigenschap 2 beweert dus dat, wanneer de fundamentele matrices F 3 en F 23 gekend zijn (bv. door de positie van 8 punten in het beeld B aan te duiden), dat men dan B volledig kan reconstrueren uit de twee gegeven beelden B 2 en B 3 van de scène. Figuur 9 bewijst deze bewering: de 2 beelden uiterst links zijn twee echte beelden van een buste. De vijf andere (rechter) beelden zijn kunstmatige beelden die op basis van de twee echte beelden door de computer berekend werden, zoals uitgelegd in Eigenschap 2. Uiteraard kan de computer alleen maar de projectie in het virtuele beeld bepalen van scènepunten die in de twee gegeven beelden zichtbaar zijn. Dit verklaart waarom de linker helft van de buste niet volledig gereconstrueerd werd. Bemerk dat de kunstmatig gegenereerde beelden zeer realistisch zijn zolang men niet meer dan 30 van de oorspronkelijke kijkrichting van de twee gegeven beelden afwijkt. Deze kennis opent heel wat nieuwe mogelijkheden voor efficiënte beeldcompressie voor stockage en transmissie van beeldmateriaal bij internettoepassingen en videofonie: 2 beelden en de pixelcoördinaten van 8 beeldpunten volstaan om een zicht van de scène vanuit een willekeurig andere kijkrichting te genereren! 5. 3-Dimensionale reconstructie zonder kennis van de camera-opstelling. De oplossing van het 3D-reconstructieprobleem die gegeven werd in 3, maakt gebruik van de (relatieve) opstelling van de camera s t.o.v. de scène onder de vorm van de positievector C en de oriëntatiematrix A van de tweede camera t.o.v. het camera-gecentreerd assenstelsel van de eerste camera. Indien men het 3D-reconstructieprobleem wil oplossen uitgaande van alleen maar de gegeven beelden, dan moet men een manier vinden om C en A uit de beelden zelf te berekenen. Welnu, in Eigenschap werd bewezen dat C en A samen de fundamentele matrix F van het beeldenpaar { B, B 2 } volledig bepalen; en, Gevolg toont aan dat men F op een constante factor na uit (minstens) 8 puntcorrespondenties tussen die 2 beelden kan berekenen. Het 3D-reconstructieprobleem zal in haar volle algemeenheid dus opgelost zijn, indien men erin slaagt om C en A te berekenen uit F. Welnu, C is een oplossing van het homogeen stelsel F t C = O met de getransponeerde van F als matrix, zoals eenvoudig kan nagerekend worden. De oriëntatiematrix A daarentegen 5

16 (a) (b) (c) Figuur 0: Een kubus in de scène (a) kan uit twee beelden slechts gereconstrueerd worden als een willekeurig zesvlak (b). Uit drie beelden opgenomen met dezelfde camera vindt men een kubus (c), maar de zijde van de kubus in de scène kan niet uit de beeldinformatie alleen bepaald worden. kan echter niet éénduidig uit de fundamentele matrix F van het beeldenpaar { B, B 2 } alleen bepaald kan worden. Gelukkig blijkt dat alle mogelijke oplossingen voor A aanleiding geven tot (verschillende) 3-dimensionale reconstructies van de scène die onderling van elkaar en van de scène verschillen door een projectieve transformatie. Ruwweg gezegd, betekent dit dat in een dergelijke reconstructie alleen maar de meetkundige beperkingen van collineariteit en van coplanariteit van punten in de scène bewaard gebleven zijn, maar dat alle andere meetkundige eigenschappen van de scène zoals evenwijdigheid en de onderlinge verhoudingen van lengten en hoeken volledig verloren gegaan zijn. Anders gezegd, punten die in de scène op een bepaalde rechte liggen, zullen ook in elke reconstructie van de scène op de reconstructie van die bepaalde rechte liggen, en alle punten die in de scène in een bepaald vlak liggen zullen ook in elke reconstructie van de scène in de reconstructie van dat vlak liggen, maar alle andere meetkundige relaties tussen de punten in de scène gelden niet noodzakelijk meer in de reconstructie (cf. Figuur 0). Om een correcte reconstructie van de scène te verkrijgen, zal men dus bijkomende eisen moeten opleggen. Eén mogelijkheid is om enkele afstanden en hoeken in de scène op te meten om zo de correcte reconstructie te identificeren. In de praktijk is dit echter niet altijd eenvoudig (zie bijvoorbeeld 6.2). Een beter alternatief bestaat erin om meer dan 2 foto s van de scène te nemen. Door gebruik te maken van gevorderde technieken uit de lineaire algebra en de algebraïsche meetkunde kan men de matrix A éénduidig bepalen uit 3 beelden die opgenomen zijn met dezelfde camera zonder informatie over de scène nodig te hebben. Er blijft echter wel één onvolkomenheid bestaan: daar de fundamentele matrix F met Gevolg slechts op een constante factor na bepaald kan worden uit puntcorrespondenties, zal men ook de scène zelf maar kunnen reconstrueren op een constante schaalfactor na. Het is intuïtief duidelijk dat men niet meer kan verwachten, want indien men de scène 2 keer zo groot zou maken, en tegelijkertijd ook de camera s 2 keer zo ver uit elkaar en 2 keer zo ver verwijderd van de scène zou opstellen, dan zou men toch identiek dezelfde beelden van de scène verkrijgen als voordien. Deze vaststelling wordt regelmatig gebruikt voor visuele effecten en truckages in de filmindustrie. 6

17 Figuur : Boven: Enkele foto s van een Jaïn-tempel te Ranakpur (India). 3-dimensionale reconstructie (links) en enkele details van het model. Onder: De 6 Enkele concrete toepassingen. De mogelijkheid om automatisch nauwkeurige 3-dimensionale computermodellen van bestaande voorwerpen en omgevingen te genereren uit een aantal beelden ervan opent nieuwe perspectieven in verschillende toepassingsgebieden. In deze paragraaf bespreken wij enkele beloftevolle nieuwe toepassingen die aan het Centrum voor Beeld- en Spraakverwerking van de Katholieke Universiteit Leuven met deze technologie ontwikkeld werden. 6.. Computermodellen van historische en archeologische sites voor archivering en conservatie. Wegens het destructieve karakter van archeologische opgravingen en van restauratieprocedures bij de conservering van historische monumenten, is het uitermate belangrijk voor latere studies om zeer nauwkeurige rapporten van elk stadium van het opgravings- of conservatieproces te hebben. Immers, om het leven op een historische site in een bepaalde tijd te kunnen reconstrueren, moet men niet alleen zeer zorgvuldig de gevonden artefacten bestuderen, maar heel wat belangrijke informatie valt ook af te leiden uit de precieze plaats en de volgorde waarin deze voorwerpen op de site gevonden werden. Daarom worden de exacte vindplaatsen en de preciese afmetingen van de blootgelegde structuren nauwkeurig 7

18 Figuur 2: Eén beeld uit een stereopaar van twee frontale foto s van een persoon, opgenomen met een translerende camera, en twee aanzichten van het gereconstrueerde gezichtsmodel. opgemeten en gedocumenteerd met fotografisch materiaal en met topografische kaarten. Dit is echter een arbeidsintensieve en tijdrovende aangelegenheid. Experimenten met 3- dimensionale site-modellen en computermodellen van artefacten, gegenereerd uit foto s en video-opnamen met de hierboven beschreven methode, tonen aan dat dit een waardevol alternatief levert voor de huidige technieken. Figuur toont bovenaan drie foto s van de historische Jaïn-tempel van Ranakpur (India), die opgenomen werden met een pocketcamera. Onderaan in dezelfde figuur wordt links de berekende 3-dimensionale reconstructie getoond en vervolgens enkele detail-beelden van het model vanuit een kijkrichting die volledig verschilt van de originele opnamen Gezichtsmodellen voor filmanimatie en forensische toepassingen. Eén van de grootste uitdagingen in filmanimatie en speciale effecten is het modelleren van het menselijk gelaat. Daar men personen het gemakkelijkst herkent aan hun gelaat, zal een menselijke waarnemer onmiddellijk de tekortkomingen aan een kunstmatig gezichtsmodel opmerken. De hierboven uitgelegde methode voorziet in een eenvoudige oplossing om 3- dimensionale snapshots van bestaande personen in een virtuele omgeving te genereren en de discrepanties tussen het computermodel en de realiteit zo klein mogelijk te houden. In de gecontroleerde omstandigheden van een filmstudio kan de procedure zelfs nog vereenvoudigd worden door de camerabeweging en dus de componenten van de matrix A te controleren waardoor er een 3-dimensionale reconstructie kan berekend worden uit slechts twee beelden. Figuur 2 (links) toont één beeld van een stereopaar bestaande uit twee frontale foto s van een persoon, opgenomen met een translerende camera. Dezelfde figuur (midden en rechts) toont ook twee aanzichten van het 3-dimensionaal gezichtsmodel dat uit deze foto s berekend werd. Internationale politiediensten gebruiken deze techniek soms het herkenningsproces van misdadigers door slachtoffers en getuigen te ondersteunen en te vergemakkelijken. Dergelijke modellen geven veel meer flexibiliteit in kijkrichting dan de traditionele voor- en zij-aanzichten van criminelen in bestaande politiebestanden. 8

19 c Eyetronics n.v. Figuur 3: Boven: Enkele frames uit een videosequentie van een persoon die grimassen maakt. Onder: Een geanimeerde dynamische 3D reconstructie van de videosequentie. Maar men kan nog een stapje verder gaan en een 3-dimensionaal model genereren uit slechts één foto. Immers, vervang de eerste camera door een diaprojector die een fijn rasterpatroon projecteert op het voorwerp dat je wil reconstrueren en neem een foto van het voorwerp met het geprojecteerde patroon. De dia in de projector enerzijds en de foto van het voorwerp met het geprojecteerde patroon anderzijds vormen samen een beeldenpaar waaruit een 3-dimensionale reconstructie van het op het voorwerp geprojecteerde patroon kan berekend worden. Dit 3-dimensionaal grid is een goede benadering van het oppervlak van het voorwerp. Door de textuur van het voorwerp tussen de rasterlijnen uit de foto te filteren en te projecteren op het model, verkrijgt men een zeer realistische reconstructie van het voorwerp in kwestie. Meer nog, daar men op die manier een 3-dimensionaal model van een voorwerp kan genereren uit slechts één beeld (met het geprojecteerde rasterpatroon), kan met een 3-dimensionale video maken. Inderdaad, door elk frame van een videosequentie in 3D te reconstrueren, en deze reconstructies snel na elkaar te tonen vanuit de kijkrichting aangeduid door de toeschouwer, verkrijgt men een dynamische 3-dimensionale reconstructie van de videosequentie. Dergelijke dynamische, 3-dimensionale reconstructies kunnen dan verder geanimeerd worden om allerlei visuele effecten te genereren. Figuur 3 toont bovenaan enkele frames uit een videosequentie van een persoon die een grimas trekt (met het raster op zijn gelaat geprojecteerd). Onderaan in dezelfde figuur worden er enkele frames uit een geanimeerde dynamische 3D reconstructie van die opname getoond. Deze techniek wordt onder patent geëxploiteerd door Eyetronics n.v.. Referentie. Deze tekst is een samenvatting van de werktekst M.-J. Decock, T. Moons en I. Van de Woestyne, Van foto s tot 3-dimensionale modellen: de wiskunde achter virtuele realiteit bij de lessen i.v.m. ruimtemeetkunde in het ASO voor richtingen met 6u wiskunde per week. Geïnteresseerde lezers kunnen deze werktekst en de software gratis downloaden van de website 9