Werkpakket 3.4 Panoramische fotogrammetrie

Transcriptie

1 KAHO St-Lieven GENT Thomas More Mechelen 3D PHOTOGRAMMETRY FOR SURVEYING ENGINEERING IWT TETRA project 3D4SURE Werkpakket 3.4 Panoramische fotogrammetrie Auteurs: Björn Van Genechten KaHo Sint-Lieven Jasper Wisbecq KaHo Sint-Lieven Wouter Dreessen KaHo Sint-Lieven IWT-TETRAproject 3D4SURE 1 37

2 Inhoud 1. INLEIDING HOE PANORAMAFOTO S MAKEN SOORTEN PANORAMA S CAMERA-INSTELLINGEN PARALLAX NO-PARALLAX POINT TOESTELLEN OM PANORAMISCHE FOTO S TE TREKKEN PANORAMAKOP AUTOMATISCHE PANORAMAKOP PANORAMACAMERA S DE FOTO OPNAME OVERLAP LENSKEUZE STITCHING SOFTWARE PANORAMISCHE FOTO S STITCHEN ALS KALIBRATIEMETHODE BESTAANDE SOFTWAREPAKKETTEN WERKING VAN STITCHING SOFTWARE OPSTELLEN VAN EEN MATHEMATISCH MODEL VOOR PANORAMISCHE FOTOGRAMMETRIE RELATIE TUSSEN SFERISCHE EN CARTESISCHE COÖRDINATEN EQUIRECTANGULAIRE PROJECTIE ORIËNTATIE EN 3D RECONSTRUCTIE Absolute Oriëntatie Relatieve oriëntatie Eigen prototype code Panorama rectificatie Dense Matching volgens Pagani et al. (2011) Meetconfiguratie TESTEN D-RECONSTRUCTIE D.M.V. ABSOLUTE ORIËNTATIE DENSE RECONSTRUCTIES VAN INTERIEURS MET PHOTOSCAN Interieur Sint-Jan-Baptistkerk Gent Interieur Onze-Lieve-Vrouwekerk Alsemberg FISHEYE FOTOGRAMMETRIE Casestudie: Sint-Michielskerk Gent CONCLUSIE BIBLIOGRAFIE Internetbronnen Literatuur IWT-TETRAproject 3D4SURE 2 37

3 1. INLEIDING In dit werkpakket gaan we het potentieel na van panoramische fotogrammetrie voor het maken van 3D modellen en documenteren van architecturale objecten. Fotogrammetrie is een wetenschap die op zich al langere tijd bestaat maar waarbij tot nu voornamelijk uitgegaan wordt van traditionele perspectief beelden gemaakt met een gewone camera. Het maken van panoramische beelden ligt vandaag de dag echter ook binnen handbereik van iedereen, mede dankzij de sterke evolutie in de wereld van de computer visie gedurende de laatste jaren. Enerzijds bestaan er dure, zeer geavanceerde lijn sensor cameras (spheron, eyescan, ) waarmee op een relatief eenvoudige manier zeer hoge resolutie panoramische beelden kunnen gemaakt worden, zelfs in HDR (High Dynamic Range) waardoor we de belichting van de foto later nog kunnen aanpassen. Maar dit zijn echter vaak dure toestellen. Anderzijds bestaan er op dit ogenblik verschillende softwaretools (zowel betalend als gratis) die op basis van verschillende beelden gemaakt met een traditionele camera en een panoramische camerahouder een panoramisch beeld kunnen opbouwen waardoor deze techniek voor iedereen met wat kennis van computers beschikbaar wordt. De panoramische camerahouder, die tegen aantrekkelijke prijs kan aangekocht worden (± 500 euro), zorgt er hierbij voor dat het fototoestel enkel kan roteren rond het brandpunt van de lens en er aldus geen parallax ontstaat. Panoramische beelden bieden als voordeel ten opzichte van perspectief beelden dat ze de volledige ruimte 360 graden rondom het camerastandpunt beschrijven. Dit wil zeggen dat ze veel meer informatie bevatten dan 1 enkele perspectief foto. Bijkomend kunnen de homologe punten voor de oriëntatie veel beter gespreid worden rond de camera s. Deze eigenschap biedt voornamelijk voordelen bij het opmeten van binnenruimtes waarbij de volledige ruimte dient opgemeten worden. Dit wil dus zeggen dat door de interne opbouw van een panoramisch beeld, slechts 3 panoramische beelden nodig zijn om een ruimte op te meten waarbij deze beelden ieder slechts eenmaal door het fotogrammetrisch proces van kalibratie en oriëntatie moeten gaan om gebruikt te worden voor opmetingen. Dit in vergelijking met veel gewone perspectief beelden die hiervoor nodig zouden zijn. Panoramische fotogrammetrie kan in wezen aanzien worden als een effectief, snel en goedkope tool om opmetingen te maken met behulp van foto s. IWT-TETRAproject 3D4SURE 3 37

4 2. HOE PANORAMAFOTO S MAKEN 2.1. SOORTEN PANORAMA S Het woord panorama betekent groothoekig zicht en een panoramafoto is dus in se een foto die een weids zicht geeft. Een 360 -foto is een iets specifiekere beschrijving en wil zeggen dat het om een panoramafoto gaat die compleet rondom aansluit. Nog een stap verder is dan de 360x180-foto (ook wel surround-foto of bolfoto genoemd), deze sluit zowel rondom als naar boven en beneden volledig aan en geeft dus een compleet beeld van de omgeving. Figuur 2-1: van links naar rechts panoramafoto 360foto 360x180foto In dit onderzoek zijn het de 360x180-foto s waarmee gewerkt zal worden, dus om het ons zelf makkelijk te maken gaan we er van uit dat telkens we de term panoramafoto laten vallen, we hier eigenlijk de 360x180-foto mee bedoelen. Verder kan er bij panoramafoto s ook een onderscheid worden tussen multi-foto panorama s en lijncamera panorama s. In het eerste geval worden er een set foto s gemaakt met een conventioneel digitaal fototoestel waarbij er overlap is tussen de foto s onderling. Deze worden dan tot een panoramische mozaïekfoto verwerkt door ze aan elkaar te stitchen via gespecialiseerde software. In het tweede geval wordt er een panoramafoto gemaakt met een gespecialiseerd fototoestel, namelijk een lijncamera. In dit onderzoek zal er gewerkt worden met multi-foto panorama s CAMERA-INSTELLINGEN Het is ook essentieel om de camera-parameters in te stellen (focus, diafragmawaarde, sluitertijd witbalans,) via de manuele modus zodat deze onveranderlijk blijven bij de verschillende aparte foto s. Dat vergemakkelijkt het stitching proces. Dit creëert wel het extra probleem dat niet elk gebied in het panorama correct belicht zal worden. Er zullen bij panorama s namelijk altijd donkere en meer lichte gebieden in beeld komen. Bijvoorbeeld in een binnenruimte met ramen, indien men donkere hoeken correct wil belichten, zullen de ramen overbelicht worden en vice versa. Daarom wordt er meestal aan bracketing gedaan bij panoramafotografie, dit is een techniek waarbij voor elke foto 3 (soms ook meer) opnames worden gemaakt, 1 met een zo correct mogelijke belichting, 1 met onderbelichting en 1 met overbelichting. Op deze manier kunnen panoramafoto s in HDRformaat (High Dynamic Range) gemaakt worden, waarbij de drie belichtingen gemixt worden om een zo goed mogelijk contrast te krijgen over de hele foto PARALLAX Parallax is de schijnbare positieverandering van een voorwerp ten opzichte van een ander voorwerp en/of achtergrond wanneer het vanuit verschillende posities bekeken wordt. Hoe IWT-TETRAproject 3D4SURE 4 37

5 dichter het voorwerp bij de waarnemer, hoe groter de parallax wordt. Figuur 2-2: voorbeeld van parallax ( telescript.denayer.wenk.be) Aangezien het doel van panoramafotografie is om verschillende aparte foto s aan elkaar te stitchen tot één foto via overlap tussen de foto s, kunnen er dus best geen schijnbare positieveranderingen zijn bij de aparte foto s onderling. Dit maakt het uitlijnen van de foto s op elkaar moeilijk. Dit brengt ons bij het no-parallax point, aangezien dit het punt is waarrond de camera geroteerd zal moeten worden om parallaxloze foto s te maken NO-PARALLAX POINT Om met een gewoon digitaal fototoestel een goede panoramische foto te bekomen is het belangrijk dat het no-parallax point van een camera niet verschuift bij het nemen van de afzonderlijke foto s die achteraf gestitcht worden. Dit is namelijk cruciaal om parallax te voorkomen. Het no-parallax punt is in feite het perspectivisch centrum van de lens en komt overeen met de plaats van de intredepupil. Er is een algemeen verspreid misverstand dat het no-parallax point overeen zou komen met het nodal point maar dit is eigenlijk niet juist, al wordt in de wereld van de panoramafotografie de term nodal point wel meestal gebruikt om het no-parallax punt aan te geven. We gaan er in dit rapport niet verder over uit weiden aangezien deze theoretische discussie voor ons niet belangrijk is zolang we maar het correcte punt kunnen vinden. Voor meer informatie hierover kan het volgende document geraadpleegd worden: Indien we onze camera dus willen bevestigen op een panoramakop (zie hoofdstuk 2.4.1), dan moeten we er dus voor zorgen dat de camera kan roteren rond het no-parallax point, daarom is het belangrijk de locatie van dit punt zo exact mogelijk te kunnen duiden. Hiervoor bestaan 2 manieren: 1. op de empirische manier door twee verticale lijnen op verschillende afstand met elkaar uit te lijnen, of 2. aan de hand van tabellen met data over de afstand van het no-parallax point tot de camerabevestiging EMPIRISCHE METHODE Een makkelijkere methode is om het no-parallax point empirisch te bepalen. Een panoramakop heeft 3 afstandsinstellingen (x,y,z) die ons toelaten om de rotatie-as van de camera te verschuiven. 2 ervan kunnen alvast eenvoudig achterhaald worden door de camera op de panoramakop te bevestigen en loodrecht naar beneden te richten. De panoramakop heeft daar namelijk een schroef staan die horizontaal kan roteren. Het komt er nu op aan om door de zoeker van de camera de centrummarkering van die schroef in je foto te centreren. Dit IWT-TETRAproject 3D4SURE 5 37

6 kan door de 2 horizontale afstandsinstellingen aan te passen. Je kan dit nog controleren door een foto te maken en na te gaan of de centrummarkering ook werkelijk in het midden van de foto ligt. Eens deze zijn bepaald rest er nog één afstandsinstelling te achterhalen, namelijk diegene die ons toelaat om de camera volgens zijn visuele as naar voor of achter te verschuiven. Plaats hiervoor een stok of dunne paal kortbij de camera en zorg dat een verder gelegen verticale referentielijn erachter komt te liggen, bijvoorbeeld de zijkant van een deur of de hoek van een kamer. Richt de camera naar de referentielijn zodat deze in het midden van de foto komt. Plaats daarna de stok ertussen zodat deze uitgelijnd is met de referentielijn bekeken vanuit de camera. Zet de stok liefst iets dichter naar de camera toe dan naar de referentielijn, dan valt de parallax beter op. IWT-TETRAproject 3D4SURE 6 37

7 Als je dit gedaan hebt, roteer je de camera naar rechts totdat de referentielijn links in het zichtveld van de camera komt. Indien de lijnen nog steeds met elkaar uitgelijnd zijn, dan komt het no-parallax point overeen met de rotatie-as van de panorama beugel. Indien de stok rechts van de referentielijn komt te staan, dan wil dit zeggen dat het no-parallax point (en dus de camera) te ver naar achter staan ten opzichte van de rotatie-as. Staat de stok meer naar links, dan staat de camera te ver naar voor. Hierna kan je de camera lichtjes verschuiven en het proces herhalen totdat de stok en de lijn uitgelijnd zijn. Er is ook nog een variant op deze handeling, namelijk twee afstandsinstellingen zoeken die een even grote maar omgekeerde parallax vertonen en daar dan het midden tussen nemen. Op deze manier kan in principe de foutmarge met 50% verkleind worden. In plaats van bij een willekeurige afstandsinstelling te beginnen, schuif nu de camera naar voren tot de achterkant van de lens net boven de rotatie-as van de panoramakop staat en noteer de afstand op de schuifinstelling. Roteer de camera naar rechts totdat de referentielijn links in het zichtveld van de camera komt en maak een foto, roteer dan naar links totdat de referentielijn rechts in het zichtveld staat en maak ook een foto. Er zal op beide foto s een parallax tussen de twee verticale lijnen zichtbaar zijn. Schuif dan de camera helemaal naar achteren, en herhaal het vorige proces. Er zal bij dit IWT-TETRAproject 3D4SURE 7 37

8 fotopaar ook parallax optreden maar dan in omgekeerd richting. Het komt er nu op aan de camera naar voren te schuiven tot het parallaxverschil op beide fotoparen exact omgekeerd qua grootte is. Hierbij kan je dan stellen dat het no-parallax point precies tussen deze beide afstandsinstellingen ligt. Stel deze afstand in en maak voor de zekerheid nog 2 controlefoto s. Hier zou de parallax nu niet meer mogen optreden. Nog enkele tips: -Je controleert de laatste opnames het best op een computerscherm; het schermpje van je camera is te klein om dit nauwkeurig te doen. -De eerste 2 zijn hetzelfde voor een bepaalde body, de derde verandert van objectief tot objectief -Je mag de brandpuntsafstand ook niet wijzigen eens je het no-parallax point hebt ingesteld TABELLEN Zoals reeds gezegd zijn er tabellen te vinden die per cameratype en lenstype de afstanden geven tussen camerabevestiging en de intredepupil, bijvoorbeeld: Eens de afstanden gekend zijn, kunnen deze ingesteld worden op de panoramakop TOESTELLEN OM PANORAMISCHE FOTO S TE TREKKEN In hoofdstuk 2.1. is al uitgelegd dat het no-parallax point van de camera best gebruikt wordt als rotatiepunt voor de camera. Omdat dit handheld niet realiseerbaar is zijn er tegenwoordig al vele toestellen beschikbaar op de markt om dit te vergemakkelijken PANORAMAKOP Een eerste optie is om een statief te gebruiken met daarop een panoramakop bevestigd. Hier kan dan de camera op bevestigd worden om eerst het no-parallax point in te stellen en daarna de camera rond dit punt te kunnen draaien en het 360 -panoramabeeld op te bouwen. IWT-TETRAproject 3D4SURE 8 37

9 Figuur 2-3: nodal ninja AUTOMATISCHE PANORAMAKOP Een automatische panoramakop verzorgt de horizontale en verticale rotaties van de camera met een geschikte overlap door middel van twee servomotortjes. Een voorbeeld hiervan is de GigaPan EPIC PRO (kostprijs 869 EUR). Het werken met een automatische panoramakop wordt bijzonder interessant wanneer er met lenzen met grotere brandpuntsafstanden wordt gewerkt. Dit gezien het groter aantal vereiste foto s door de kleinere beeldhoek. Figuur 2-4: gigapan epic series PANORAMACAMERA S Enerzijds kunnen er foto s gemaakt worden met standaard digitale camera s waarvan de foto s achteraf gestitcht worden, maar er is bestaat ook een alternatief. Een Rotating line camera bestaat uit een CCD lijnsensor (voor elk RGB-kanaal één). Deze lijnsensor wordt vervolgens om een verticale as geroteerd, en aldus wordt het panorama opgebouwd lijn per lijn. De lijnsensor beschrijft tijdens de rotatie een cylinderoppervlak. Bij het cylindrisch model kan de onderkant en bovenkant echter niet waargenomen worden. Deze systemen leveren zeer gedetailleerde panorama s, maar zijn echter zeer duur. In dit IWT-TETRAproject 3D4SURE 9 37

10 onderzoek zullen we hier dan ook verder niet op ingaan maar enkele voorbeelden van dit type camera s zijn: -Panoscan mark III Figuur 2-5: panoscan mark III -sensorgrootte: trilineair 72mm 12 micron pixels -resolutie: maximum: 9000 x pixels -lens: 22,5mm to 300mm -output: TIFF, adobe DNG -Spheron Figuur 2-6 -sensorgrootte: not given -resolutie: maximum: 5300 x pixels -lens: 16 mm -output: JPEG, TIFF, GIF, BMP, PNG, TGA IWT-TETRAproject 3D4SURE 10 37

11 Bij de Spheron wordt een (kleine) ruimte opgemeten door 2 panorama s boven elkaar te nemen, met een gekende gekalibreerde verticale tussenafstand. In de software kunnen dan de 3D-coordinaten van een pixel opgevraagd worden. -Eyescan m3 -Fovex -sensorgrootte: not given -resolutie: maximum: 7500 x pixels -lens: 23 mm, 45mm, 60mm, 80mm -output: PANORAMA ADHV MEERDERE CAMERA S BINNEN BEHUIZING Voorbeelden hiervan zijn de Ladybug3 en de nctech istar. Resolutie is vaak eerder beperkt DE FOTO OPNAME Tijdens het nemen van sferische panorama s (met panoramakop) moet de brandpuntsafstand behouden worden. Deze dient dus gekozen en gefixeerd te worden voor het starten van de opnames. Om geen parallaxverschuivingen te hebben wanneer de camera roteert, dient de rotatie uitgevoerd te worden rond het no-parallax point. Een voorafgaande kalibratie op de panoramakop is vereist voor elke combinatie van camerabody en lens. Het is een goede vuistregel om naburige foto s minstens 25-30% te laten overlappen OVERLAP IWT-TETRAproject 3D4SURE 11 37

12 Figuur 2-7: overlap voor panoramafoto s horizontaal en verticaal (Wissam Wahbeh, 2011) LENSKEUZE De lenskeuze heeft invloed op 2 belangrijke parameters, namelijk de pixeldichtheid en de beeldhoek (en bijgevolg ook het aantal foto s dat nodig is per panorama). We hebben 3 lenzen ter beschikking voor onze canon eos 5D, namelijk een 8mm fisheyelens, een 24mm of een 50mm. We zullen deze daarom met elkaar vergelijken -resolutie per hoek van 1 op een bepaalde afstand -om deze berekeningen automatisch te doen: FISHEYE LENS - type lens: Sigma EX DG Fisheye 8mm -horizontale beeldhoek =180 -aantal pixels in breedte = 5616 pixels Aantal foto s nodig voor een volledige 360x180 foto met een overlap van 30%: - totaal aantal foto s met 8mm lens: 8 - camera wordt gebruikt in portretmodus op de nodal ninja -6 foto s op 0 (evenaarsvlak) foto op 90 en -90 (naar boven/beneden) MM LENS -type lens = Sigma 24-70mm F2.8 EX DG IF HSM compact Canon -horizontale beeldhoek = 73,74 -aantal pixels in breedte = 5616 pixels -berekening pixeldichtheid: -pixels voor 360 panorama: -pixeldichtheid in /pixel: -pixeldichtheid in mm/pixel: 5616 pixels 73,74 73, pixels 2 π 10000mm 27406,08 pixels 360 = 27406,08 pixels 3600 =47,3 /pixel = 2,2mm/pixel (op afstand van 10m) IWT-TETRAproject 3D4SURE 12 37

13 Aantal foto s: -aantal foto s met 24 mm lens: 30 -beeldhoek horizontaal: 73,74 -beeldhoek verticaal: 53,13 -camera wordt gebruikt in portretmodus dus we moeten beiden omwisselen! -12 foto s op foto s op 45 en foto op 90 en MM LENS - type lens: Canon 50mm -horizontale beeldhoek = 39,60 -aantal pixels in breedte = 5616 pixels -pixels voor 360 panorama: -pixeldichtheid in /pixel: -pixeldichtheid in mm/pixel: 5616 pixels 39,6 39, pixels 2 π 10000mm 51054,54 pixels 360 = 51054,54 pixels 3600 = 25,4 "/pixel = 1,2mm/pixel (op afstand van 10m) Nagaan hoeveel foto s we nodig hebben voor een volledige 360x180 foto. Probeer een overlap van 25% te handhaven. -Aantal foto s met 50 mm lens: 110 -beeldhoek horizontaal: 39,6 -beeldhoek verticaal: 26,9 -camera wordt gebruikt in portretmodus dus we moeten beiden omwisselen! -24 foto s op foto s op 30 en foto s op 60 en foto op 90 en -90 In geval van de 24mm en de 50mm lens wordt al snel duidelijk dat het aantal foto s zeer groot wordt. Voor de fisheye lens kan dus een gewone panoramakop gebruikt worden, maar voor betere pixeldichtheden lijkt een automatische panoramakop aangewezen omdat het anders zeer lang duurt om alle foto s te nemen, zeker omdat dit ook nog eens langer duurt omwille van de bracketing STITCHING SOFTWARE PANORAMISCHE FOTO S STITCHEN ALS KALIBRATIEMETHODE Na de stitching kunnen de bekomen panorama s als distortievrij worden beschouwd. De distortiecomponenten worden geschat en gecorrigeerd in de stitching software (Fangi, 2013). IWT-TETRAproject 3D4SURE 13 37

14 BESTAANDE SOFTWAREPAKKETTEN Om multifoto panorama s te maken zijn er een aantal commerciële softwarepakketten beschikbaar. Onderstaand lijstje geeft een overzicht van enkele van deze softwarepakketten. Ptgui Kolor Autopano Photoshop GigaPan Stitch Hugin (gratis) Windows Ice (gratis) Uit onze ervaring bleek dat indien de ene stitcher geen goed resultaat geeft, een andere dat misschien wel goed doet en omgekeerd. Ptgui geeft meestal goede resultaten, maar is trager bij hogere resoluties. Windows Ice en Autopan werken sneller. GigaPan Stitch is de software die bij de GigaPan panoramakop wordt geleverd en gezien de gekende opnamevolgorde kan deze ook tot een snel resultaat komen WERKING VAN STITCHING SOFTWARE Bij het aan elkaar linken van de verschillende foto s worden de volgende stappen uitgevoerd: Input: ongeordende reeks afbeeldingen -Herkenningspunten uit alle afbeeldingen halen. -Vinden van de afbeeldingen die het meeste overlappen. -Voor elke afbeelding: selecteer de foto die de meeste overeenkomstige herkenningspunten ermee heeft; vinden van geometrische consistentie voor de homografie tussen de twee foto s; controleren van de overeenkomsten met behulp van het probabilistische model. -Vinden van verbonden onderdelen tussen gelinkte afbeeldingen. -Voor elke verbonden component: uitvoeren van bundle adjustment om de rotaties en de focusafstand van de camera op te lossen; genereren van het panorama met behulp van multi-band blending. Output: panoramische afbeelding (Wissam Wahbeh, 2011). Wanneer het geheel aan foto s is georiënteerd, wordt deze 360 panoramafoto geprojecteerd op een bol. De sferische coördinaten kunnen worden afgeleid uit de horizontale en verticale hoeken. De horizontale en verticale hoeken zijn de hoeken die zouden worden gemeten wanneer er in het midden van de bol een theodoliet wordt geplaatst i.p.v. een camera (H. Haggrén, H. Hyyppä, O. Jokinen, A. Kukko, M. Nuikka, T. Pitkänen, P. Pöntinen, P. Rönnholm). Deze bol kan vervolgens worden geprojecteerd om tot een vlakke voorstelling van het panorama te komen. IWT-TETRAproject 3D4SURE 14 37

15 3. OPSTELLEN VAN EEN MATHEMATISCH MODEL VOOR PANORAMISCHE FOTOGRAMMETRIE 3.1. RELATIE TUSSEN SFERISCHE EN CARTESISCHE COÖRDINATEN Aangezien de panoramafoto in eerste instantie bestaat uit een boloppervlak worden de pixels erop aangeduid via sferische coördinaten. Deze bepalen de positie van een punt in een driedimensionale ruimte gebaseerd op een afstand ρ tot het centrum van een bol en twee hoeken θ en ф. Figuur 3-1: sferische coördinaten ( Op de bovenstaande tekening zijn de sferische coördinaten van het punt P te zien. De coördinaat ρ is de afstand van het punt P tot de oorsprong van het x, y, z assenstelsel. Als het punt Q de projectie is van het punt P in het xy-vlak, dan is θ de hoek tussen de positieve x- as en het lijnsegment van het centrum tot Q. ϕ is de hoek tussen de positieve z-as en het lijnsegment van het centrum tot P. Door gebruik te maken van driehoeksmeetkunde kan de relatie tussen de cartesische en de sferische coördinaten worden gevonden. x = ρ sin(ϕ) cos (ϑ) y = ρ sin(ϕ) sin (ϑ) z = ρ cos(ϕ) Figuur 3-2: relatie tussen cartesische en sferische coördinaten ( IWT-TETRAproject 3D4SURE 15 37

16 Wanneer bij sferische coördinaten de coördinaat ρ constant wordt gehouden, wordt er een bolprojectie verkregen waarvan de straal gelijk is aan ρ. Bij het wiskundig model dat gebruik maakt van sferische coördinaten om panoramische beelden te beschrijven, is ρ dus een constante en de straal ρ die wordt gebruikt bij sferische fotogrammetrie is hier dan gelijk aan de brandpuntsafstand van de lens EQUIRECTANGULAIRE PROJECTIE Allereerst is het belangrijk een onderscheid te maken tussen de verschillende coördinatensystemen. Om een panoramisch beeld te benaderen via sferische coördinaten worden er namelijk vier coördinatensystemen gedefinieerd (Danilo Schneider, Ellen Schwalbe). -Object of wereldcoördinatensysteem: Dit is het eerste coördinatensysteem, de assen (X, Y, Z) hangen vast aan de positie van de werkelijke punten. Dit is een rechtshandig orthonormaal assenstelsel, waarvan de afstanden worden gemeten in meter. -Camera coördinatensysteem: Het tweede coördinatensysteem (x, y, z) is dit van de camera, waarin het centrum van dit assenstelsel het projectiecentrum van de camera is. Ook dit is een rechtshandig orthonormaal assenstelsel, waarvan de afstanden worden gemeten in meter. -Sferisch camera coördinatensysteem: Dit is de bol waarop de foto wordt geprojecteerd. Dit wordt beschreven door de hoeken θ, ζ en de straal R. Dit coördinatensysteem heeft hetzelfde centrum als het camera coördinatensysteem. De afstanden worden gemeten in meter. -Beeld coördinatensysteem: Het laatste coördinatensysteem is dit van de foto. In tegenstelling tot de vorige drie coördinatensystemen wordt er hier in pixels (x, y ) gemeten i.p.v. in meter. Figuur 3-3: coördinatenstelsels Zoals reeds gezegd worden bij een panoramafoto de verschillende foto s geprojecteerd op een bol. IWT-TETRAproject 3D4SURE 16 37

17 Figuur 3-4: Projectie van afzonderlijke foto's op een bol (Wahbeh, 2011) Deze bol wordt dan teruggeprojecteerd naar een plat vlak door middel van een cartografische projectie, meestal kiest men voor de equirectangulaire projectie (ook wel equidistante cilinderprojectie genoemd). Dit is een kaartprojectie die een boloppervlak omzet tot een vlakke kaart met een vierkant graadnet een waarop de afstanden van de meridianen gelijk blijven als ze naar verticale lijnen omgezet worden. Voor de breedtecirkel blijft enkel de middelste breedtecirkel gelijk in afstand, de andere kleinere breedtecirkels worden in de projectie allemaal uitgerekt tot de zelfde lengte als de middelste breedtecirkel. Uit deze projectie kunnen de horizontale en verticale hoeken, zoals ze met een theodoliet zouden worden opgemeten, gemakkelijk afgeleid worden. Figuur 3-5: equirectangulaire projectie (Wahbeh, 2011) Wanneer het punt P nu wordt voorgesteld in een equirectangulaire projectie, dan kan de relatie tussen de hoeken θ, φ en de pixelcoördinaten x en y gevonden worden (Fangi, 2007). Figuur 3-6: Relatie tussen hoeken θ, φ en de pixelcoördinaten x = r θ y = r φ (ϴ in radialen) (φ in radialen) De straal r van de bol kan worden gehaald uit de breedte van de vlakke projectie, dit is gelijk aan het aantal pixels die de breedte van de panoramische foto heeft. Wordt de breedte van de vlakke projectie gelijk gesteld aan a, dan kan hieruit r worden gehaald (Fangi, 2007). r = a 2π Wanneer r gekend is, dan kunnen de hoeken θ en φ worden berekend (Fangi, 2007). IWT-TETRAproject 3D4SURE 17 37

18 θ = x r φ = y r De hoeken θ en φ die hier worden berekend zijn dezelfde hoeken als de hoeken die zouden worden gemeten met een theodoliet vanuit het midden van de bolprojectie. De hoek θ gaat van 0 tot 360 en de hoek φ gaat van 0 tot 180. Wel is er bij deze benadering geen rekening gehouden met de eventuele scheefstand van de camera. Wanneer een 360 panorama wordt gebruikt ter vervanging van een theodoliet moeten er namelijk twee rotatiehoeken (een horizontale en een verticale) worden ingevoerd. Deze rotatiehoeken zijn nodig om de verticale as even precies te kunnen opstellen als bij een theodoliet. Om de hoeken θ en φ te corrigeren, wordt eerst de relatie tussen het camera assenstelsel (x, y, z) en het object assenstelsel (X, Y, Z) gezocht. x = X X 0 y = Y Y 0 z = Z Z 0 Met (X 0, Y 0, Z 0 ) = Coördinaten van het cameramidden in het object coördinatensysteem. (X, Y, Z) = Coördinaten van een object punt. (x, y, z) = Coördinaten van een object punt in het camera coördinatensysteem. In het sferische camera coördinatensysteem worden de coördinaten van het punt P weergegeven door: X = r sin(φ) sin (θ) Y = r sin(φ) cos (θ) Z = r cos (φ) Met (X *, Y *, Z * ) = 3D cartesische coördinaten van het punt P in het camera assenstelsel. φ = Verticale hoek van de sferische coördinaten. θ = Horizontale hoek van de sferische coördinaten. r = Straal van de bolprojectie IWT-TETRAproject 3D4SURE 18 37

19 Figuur 3-7: Scheefstand van de panoramafoto De sferische coördinaten die worden bekomen, zijn berekend met de ongecorrigeerde hoeken θ en φ. Ze moeten dus nog worden gecorrigeerd. Om naar de gecorrigeerde coördinaten over te gaan moet er een rotatiematrix R ingevoerd worden met de correctiehoeken dα x, dα y en dα z in. De gecorrigeerde coördinaten worden gegeven door onderstaande vergelijking. X [ Y ] = [ Z 1 dα z dα y dα z 1 dα x dα y dα x 1 r sin(θ) sin (φ) ] = [ r cos(θ) sin (φ)] Z Z 0 r cos (φ) X X 0 ] [ Y Y 0 Om de uitdrukking voor de gecorrigeerde hoek θ te vinden, wordt de eerste rij gedeeld door de tweede rij. En uit de derde rij kan de uitdrukking voor φ worden gehaald. θ = atg ( X Y ) θ = atg( 1 (X X 0) + dα z (Y Y 0 ) + ( dα y ) (Z Z 0 ) dα z (X X 0 ) + 1 (Y Y 0 ) + dα x (Z Z 0 ) ) θ = atg( x dα z y dα y z dα z x + y + dα x z ) φ = acos ( z r ) φ = acos ( dα y (X X 0 ) + ( dα x ) (Y Y 0 ) + 1 (Z Z 0 ) ) r φ = acos ( dα y x + dα x y + z ) r De waarde van de correctiehoeken dα x, dα y en dα z wordt geschat. Dit wordt gedaan door eerst een waarde te schatten die in de buurt ligt van de werkelijke waarde, daarna wordt verder IWT-TETRAproject 3D4SURE 19 37

20 gewerkt met de standaard procedure. De voorgaande vergelijkingen zijn de juiste vergelijkingen van de horizontale hoek θ en de verticale hoek φ. Het bepalen van deze scheefstand is in het ideale geval, wanneer alle verschillende foto s die nodig zijn om een 360 panorama te maken vanuit exact hetzelfde punt zijn genomen, niet nodig. Wanneer echter de foto s niet steeds vanuit hetzelfde punt zijn genomen, zal er op de horizontale en verticale hoeken een kleine fout zitten als de camera scheefstaat ORIËNTATIE EN 3D RECONSTRUCTIE Om de verschillende panorama s t.o.v. elkaar te oriënteren zijn er twee mogelijke werkwijzen. Ofwel kan er gebruik gemaakt worden van een absolute oriëntatie (elk panorama wordt op basis van GCP s rechtstreeks georiënteerd in het wereldassenstelsel) ofwel van een relatieve oriëntatie (elk panorama wordt eerst ten opzichte van de andere panorama s georiënteerd). Nadat de verschillende panorama s georiënteerd zijn, kan de 3D-reconstructie volgen Absolute Oriëntatie De relatie tussen het camera-assenstelsel van het panorama (x,y,z) en het wereldassenstel (X,Y,Z) wordt beschreven door een projectiematrix P. Deze matrix P combineert een rotatiematrix R met een translatiecomponent t. x X X [ y] = [R t] [ Y ] = P [ Y ] Z Z z 1 1 Voor de scheef symmetrische matrix van het camera-assenstelsel geldt: En dus: 0 z y x [ z 0 x] [ y] = 0 y x 0 z 0 z y X [ z 0 x] [R t] [ Y ] = 0 Z y x 0 1 Indien men nu de 3x4 matrix P uitschrijft als een vector [P11, P12,, P34] bekomt men de vergelijkingen van dit stelsel. Elk GCP levert 3 vergelijkingen voor 12 onbekenden, wat neerkomt op minimaal 4 GCP s om de projectiematrix P te kunnen oplossen. Met A P 11 P 12 P 13 P 14 [ P 34 ] = 0 IWT-TETRAproject 3D4SURE 20 37