KAHO St-Lieven GENT Thomas More Mechelen 3D PHOTOGRAMMETRY FOR SURVEYING ENGINEERING IWT TETRA project 3D4SURE Werkpakket 4.2 Handleiding ter bevordering van de nauwkeurigheid en efficiëntie Auteurs: Jasper Wisbecq KaHo Sint-Lieven Björn Van Genechten KaHo Sint-Lieven Wouter Dreessen KaHo Sint-Lieven IWT-TETRAproject 3D4SURE 1 11
INHOUDSOPGAVE 1. INLEIDING... 3 2. INVLOEDSPARAMATERS... 3 2.1. DE VORM EN OMGEVING VAN HET OBJECT... 3 2.1.1. TERRESTRISCHE FOTOGRAMMETRIE... 3 2.1.2. LUCHTFOTOGRAMMETRIE... 3 2.2. FOTO-OPNAME EN DE DEKKING VAN HET OBJECT... 3 2.2.1. TERRESTRISCHE FOTOGRAMMETRIE... 4 2.2.1.1. GEVELVLAK: GSD FORMULE + FIELD OF VIEW FORMULE MOETEN RESULTEREN IN EEN OPNAMEPLAN... 4 2.2.1.2. OBJECT... 5 2.2.1.3. INTERIEURRUIMTE... 5 2.2.2. LUCHTFOTOGRAMMETRIE... 5 2.3. DE KWALITEIT VAN DE FOTO S... 5 2.3.1. TERRESTRISCHE FOTOGRAMMETRIE... 5 2.3.2. LUCHTFOTOGRAMMETRIE... 5 2.4. DE CONTROLEPUNTEN... 6 2.5. DE KALIBRATIE VAN DE LENSDISTORTIES... 6 2.6. DE SOFTWAREMATIGE ORIËNTATIE VAN DE FOTO S... 7 2.7. DE SOFTWAREMATIGE PRODUCTIE VAN 3D PUNTEN DENSE-MATCHING... 7 3. HANDLEIDING VOOR BEELDOPNAME TERRESTRISCHE FOTOGRAMMETRIE... 7 4. HANDLEIDING VOOR BEELDOPNAME LUCHTFOTOGRAMMETRIE... 7 5. ENKELE KLEINE CASES: MATE VAN SUCCES... 7 5.1. Rabot Gent... 7 5.2. Stadhuis Gent... 9 5.3. Bisschopshuis Gent... 10 6. BIBLIOGRAFIE... 11 IWT-TETRAproject 3D4SURE 2 11
1. INLEIDING Structure-from-motion fotogrammetrie is gezien het hoge black-box gehalte meer toegankelijk geworden. Desondanks de toegankelijkheid, levert deze methode niet altijd kwaliteitsvolle resultaten. Men dient dan ook bij het aanvatten van projecten met 3D fotogrammetrie stil te staan bij de limieten van de techniek en de factoren die de nauwkeurigheid beïnvloeden. Dit document biedt hiervoor enkele inzichten en biedt een leidraad voor het efficiënt nemen van optimale opnames. 2. INVLOEDSPARAMATERS De nauwkeurigheid kan in een aantal stappen van het werkproces beïnvloed worden. Hieronder volgt een overzicht van deze stappen 2.1. DE VORM EN OMGEVING VAN HET OBJECT 2.1.1. TERRESTRISCHE FOTOGRAMMETRIE De complexiteit van de geometrie en de aanwezigheid van contrast op een object bepalen in grote mate de kwaliteit van resulterende 3D-modellen en orthofoto s. Bij toenemende complexiteit zal men het aantal foto s moeten verhogen. Dit kent echter zijn limieten, bij zeer complexe geometrieën zoals ornamenten zal er altijd generalisatie optreden en lijkt het gebruik van laserscanning of structured light scanning (met SLAM) meer aangewezen. Bij lage textuur, kan men trachten om enkele textuurrijke elementen toe te voegen in de scene, om het resultaat te verbeteren. 2.1.2. LUCHTFOTOGRAMMETRIE UAV-fotogrammetrie kent over het algemeen weinig objectbeperkingen. Gezien de recente verbeteringen leveren zelfs vrij monotone scenes (zie strand case) weinig problemen naar de generatie van dense puntenwolken. Maar de betrouwbaarheid van deze punten is daarom nog niet geschikt. 2.2. FOTO-OPNAME EN DE DEKKING VAN HET OBJECT De ground sample distance (GSD) of terreinresolutie wordt bepaald door de verhouding f/d (brandpuntsafstand/afstand tot object). Terwijl de insnijdingshoek wordt bepaald door de verhouding B/D (baseline/afstand tot object). Bijgevolg is de nauwkeurigheid evenredig met de brandpuntsafstand alsook de basislijn en omgekeerd evenredig met de afstand tot het object. Beide factoren samen bepalen de zone waar er gereconstrueerd kan worden (Figuur 1). Figuur 1: Zone waarin goede reconstructies mogelijk zijn IWT-TETRAproject 3D4SURE 3 11
Bron: www.trimble.com Een kleinere baseline tussen twee opeenvolgende foto s zorgt voor een betere dense matching gezien de grotere mate van gelijkenis tussen de twee foto s. De dieptebepaling zal echter minder precies zijn. 2.2.1. TERRESTRISCHE FOTOGRAMMETRIE Een fotosequentie beantwoord aan een bepaalde systematiek. 2.2.1.1. GEVELVLAK: GSD FORMULE + FIELD OF VIEW FORMULE MOETEN RESULTEREN IN EEN OPNAMEPLAN Ter voorbereiding van de foto-opname moeten we op voorhand kiezen welke resolutie we willen voor onze uiteindelijke orthofoto. Eens we dit bepaald hebben, kunnen we aan de hand van de GSD formule kijken op hoeveel afstand het fototoestel ten opzichte van het object maximaal kan geplaatst worden, mocht deze afstand niet mogelijk zijn dan kan men nog altijd de andere variabelen wijzigen, namelijk resolutie, brandpuntafstand en sensorgrootte. Nadat de afstand tot het object is bepaald, moet er gekeken worden of de dekking van het object volledig is. Dit wil zeggen dat men elk punt van het object op minimum twee foto s kan waarnemen (om stereofotogrammetrie te kunnen toepassen) en bij voorkeur op drie foto s. Hier komt de FOV formule (field of view formule) van pas door te bepalen, aan de hand van de afstand tot het object, hoeveel oppervlakte door 1 foto kan gedekt worden. Aan de hand van de breedte en hoogte van deze dekking kan daarna gekeken worden wat de tussenafstanden zijn tussen de verschillende foto s die gemaakt moeten worden om de gewenste overlap te krijgen. Dit heeft geresulteerd in de cameraposities calculator. Hierbij moeten enkele parameters van de camera ingegeven worden, namelijk sensorbreedte en hoogte, de breedteresolutie van de foto (aantal pixels in de breedte van de foto) en de brandpuntsafstand. Moeilijkheid hierbij is dat de sensorafmeting in compacte camera s bijna nooit full frame is waardoor de brandpuntsafstand die opgegeven wordt niet de werkelijke is maar de relatieve brandpuntsafstand aangepast aan de kleinere sensor. Om de werkelijke brandpuntsafstand te achterhalen kunnen we 2 dingen doen, ofwel gaan we kijken naar de EXIF-data van een genomen foto (dit is altijd juist), ofwel nemen we de af te lezen brandpuntsafstand en delen we deze door de cropfactor of focal length multiplier van de sensor. Ons lijkt het echter makkelijker om dit via de EXIF-data te doen, je kan dan gewoon rechtermuisklikken op een fotobestand en eigenschappen kiezen, en vervolgens bij details de brandpuntsafstand f opzoeken. De Camerapositie calculator: 1. http://eavise.be/3d4sure/cms/?page_id=631 2. http://eavise.be/3d4sure/cms/?page_id=637 Het is trouwens aan te raden om ook enkele foto s verderaf te maken waar het object volledig opstaat, dit is naar verwerking in de software toe altijd beter om een goede oriëntatie van de cameraposities te verkrijgen. Indien sommige detailleringen een grotere resolutie vereisen of indien sommige vlakken dieper liggen, kunnen er nog altijd foto s van dichterbij genomen worden. Aan te raden overlap: Horizontaal: 70-80%, zodat elk punt op minimaal drie foto s ligt. Verticaal: 40-60% zodat horizontale strips makkelijk georiënteerd kunnen worden ten opzichte van elkaar. IWT-TETRAproject 3D4SURE 4 11
2.2.1.2. OBJECT Bij het maken van een fotosequentie wordt het aangeraden om de zichtas van de foto s zo loodrecht op het object te nemen als mogelijk. Hiervoor is de GSD optimaal. Indien men de camera obliek plaatst, zal de GSD dalen en wordt het object vervormd afgebeeld. Een verlies in nauwkeurigheid is het gevolg. Wenzel et al. (2013) raden een maximale tilt van 30 aan. Voor hoge objecten zal men bijgevolg een fotomast of UAV als platform voor de camera moeten inschakelen. In sommige gevallen kan het een betere nauwkeurigheid geven om niet enkel parallelle opnamen te maken, bijvoorbeeld bij nissen en uitsprongen die anders niet goed bedekt zouden kunnen worden. Bij dieptesprongen zoals bij steunberen kan men kiezen voor op elke standplaats een foto 45 naar links en rechts toevoegen voor een goede dekking. Figuur 2: Foto parallel en naar links en rechts bij uitsprongen 2.2.1.3. INTERIEURRUIMTE Bij interieurmetingen wil men meestal ook het plafond en vloer mee opnemen. Bijgevolg heeft men veel foto s nodig en is het zeker niet evident om de gewenste overlap voor de volledige ruimte de handhaven. Panoramische en fisheye fotogrammetrie zijn interessante alternatieven maar kennen beperkingen. 2.2.2. LUCHTFOTOGRAMMETRIE Zie Altena & Goedemé (2014). 2.3. DE KWALITEIT VAN DE FOTO S 2.3.1. TERRESTRISCHE FOTOGRAMMETRIE De aandachtspunten bij het nemen van foto-opnames voor terrestrische metingen werden uitvoerig behandeld in de handleiding bij http://eavise.be/3d4sure/cms/wpcontent/uploads/2013/07/aandachtspunten-terrestrische-foto-opname-bij-bouwkundig-enarcheologisch-erfgoed.pdf Het bepalen van een geschikte GSD is toepassings- en omgevingsafhankelijk. Om voldoende detail te behouden werd tijdens dit project meestal een GSD van 3mm/pixel of fijner gebruikt. 2.3.2. LUCHTFOTOGRAMMETRIE Gezien het cameraplatform beweegt tijdens de opname wordt er blur geïntroduceerd op de foto s. Het effect wordt besproken in Altena & Goudemé (2014). IWT-TETRAproject 3D4SURE 5 11
2.4. DE CONTROLEPUNTEN Controlepunten passen het 3D-model in het gewenste coördinatenstelsel (of schaal). De aanwezigheid van goede controlepunten stabiliseert de bundle adjustment procedure en helpt zo aan een beter resultaat. De problematiek rond de plaatsing van GCP s werd onderzocht in de masterproef van Maarten Borremans. De plaatsing van GCP s wordt besproken in Kraus (19XX) voor luchtfotogrammetrie, maar deze principes kunnen eenvoudig worden doorvertaald naar het standpunt van terrestrische projecten. Er wordt een onderscheid gemaakt tussen de planimetrische en de altimetrische situatie. Er wordt vertrokken van vier tiepoints, een aan elke hoek van het studiegebied. Voor een model (= stereofoto s) wordt dank gekeken hoe de nauwkeurigheid van zo een GCP zich voortplant met een bepaalde factor over het studiegebied. Voor planimetrie zien we dat aan het midden van de randen de grootste fouten ontstaan, terwijl dit in het centrum van het studiegebied vrij beperkt blijft. Men plaats dus best genoeg GCP s aan de randen, terwijl dit in het centrum slechts een eerder lokaal effect zal hebben. Voor altimetrie moet men het aantal foto s tussen 2 GCP s in rekening houden. Dit heeft voornamelijk de maken met het feit dat er in hoogte relatief weinig perspectief aanwezig is bij het nemen van nadir foto s. Bij oblieke foto s betert dit. Indien met maximaal tot 6 modellen tussen 2 GCP s plaatst, blijft de factor eerder beperkt. Dit kan met de overlap omgerekend worden naar een bepaalde afstand tussen opeenvolgende GCP s, waarna men ze zowel aan de randen als in het centrum van het gebied dient te plaatsen. Voor terrestrische projecten gaat dezelfde redenering op, maar dan met een aanpassing van het assenstelsel. Het planimetrische situatie wordt doorvertaald naar het gevelvlak (XZ of YZ) en de altimetrische naar de as die samenvalt met de diepteas (X of Y). 2.5. DE KALIBRATIE VAN DE LENSDISTORTIES Structure-from-Motion fotogrammetrie stapt af van het idee dat een camera een degelijke voorafgaande kalibratie moet ondergaan. Self-Calibration wordt meer en meer de norm. Hierbij worden de intrinsieke kalibratieparameters en lensdistorsies geschat op basis van de gemeenschappelijke punten tussen overlappende foto s. De EXIF informatie over de camera leveren de initiële waarden om vervolgens te worden verfijnd in de bundle procedure op basis van de uitgebreide collineariteitsvergelijkingen. Self-Calibration geeft meestal goede resultaten, tenzij er sprake is van repetitieve patronen of critical motion sequences. Om critical motion te vermijden doet men er goed aan om steeds enkele foto s van enkele andere afstanden te nemen en de camera een paar keer te roteren (bvb. als men opnamen neemt in landschap modus, ook een paar foto s in portret modus nemen). De beste resultaten worden behaald als men de parameters van een eerdere kalibratie kan ingeven als initiële waarden, om deze vervolgens te laten verfijnen tijdens de bundle procedure. Dit kan zowel een prekalibratie zijn, als de geoptimaliseerde waarden van een project met veel 3D-variatie op basis van self-calibration. Het moet natuurlijk gaan om dezelfde combinatie van camera en lens (focusafstand). IWT-TETRAproject 3D4SURE 6 11
2.6. DE SOFTWAREMATIGE ORIËNTATIE VAN DE FOTO S Om een goede oriëntatie toe te laten is er voldoende overlap en contrast nodig. 2.7. DE SOFTWAREMATIGE PRODUCTIE VAN 3D PUNTEN DENSE- MATCHING Een goede dense matching heeft nood aan genoeg contrast. Interpolatie is in beperkte mate mogelijk, waardoor contrastarme pixels toch gereconstrueerd kunnen worden op basis van contrastrijke zones in hun omgeving. Ook is het belangrijk dat de omgeving rond een pixel op de twee foto s zo gelijkend mogelijk is. Grote veranderingen in gezichtspunt zullen hier niet aan voldoen en dit zal lijden tot een falende of foutieve reconstructie. 3. HANDLEIDING VOOR BEELDOPNAME TERRESTRISCHE FOTOGRAMMETRIE 1. Kies GSD eindproduct 2. Keuze lens (f) naargelang welke afstanden tussen camera en object mogelijk zijn 3. Basislengte berekenen aan de hand van gewenste overlap 4. Foto s heel lichtjes onderbelichten 5. Focus op oneindig 6. F-stop groot genoeg (m.a.w. kleine diafragmaopening) 7. Ook enkele foto s van verschillende afstanden 8. Steeds ook enkele portret/landschapsfoto s 4. HANDLEIDING VOOR BEELDOPNAME LUCHTFOTOGRAMMETRIE Besproken in Altena & Goudemé (2014). 5. ENKELE KLEINE CASES: MATE VAN SUCCES Rabot-torentjes, stadhuis gent, (abraham?) 5.1. Rabot Gent Het Rabot is een historisch stuwcomplex in Gent, bestaande uit twee cilindrische torentjes met een centrale trapgevel. Naar fotogrammetrie toe vertoont het: Goede textuur Beperkte geometrische complexiteit Beperkte hoogte Acquisitie: Canon EOS 5D met 24mm lens Tijdsduur 35min Foto s vanop de grond geschoten met statief (gezien dak niet deel van de studie) GSD varieert tussen 1mm/pixel en 3mm/pix (afhankelijk van mogelijke opstelpunten) 173 foto s IWT-TETRAproject 3D4SURE 7 11
Verwerking Photoscan op (16GB RAM en 2GB videokaart laptop): Oriëntatie: 1h25min Masken: 30min Dense Matching (medium -> 16 miljoen punten): 4h Mesh (8 miljoen vlakken):?min Orthogeneratie van Noordgevel: 3min Figuur 3: Ortho Rabot Noordgevel IWT-TETRAproject 3D4SURE 8 11
Figuur 4: Deviatie t.o.v. laserscan mesh (links) [-1cm, 1cm] (rechts) [-10cm, 10cm] In Figuur 4 wordt de vergelijking gemaakt met een mesh op basis van laserscandata. Voor de meeste gevelpunten blijven de afwijkingen beperkt tot 5mm. Enkele uitschieters zijn ramen, muurgaten en muurankers, waar de deviatie oploopt tot 4cm. CONCLUSIE: Er worden goede resultaten behaald bij deze voorwaarden. 5.2. Stadhuis Gent De noordgevel van het stadhuis in Gent is sterk versierd met laat-gotische gevelnissen (Figuur 5). Om na te gaan hoe 3D fotogrammetrie met deze details overweg zou gaan, werd een klein deel van de gevel gereconstrueerd. Eigenschappen: Complexe geometrie Goede textuur Op figuur 5 kan men duidelijk zien dat de complexe details vrij sterk gegeneraliseerd worden. Figuur 5: Stadhuis Gent (links) Getextureerde mesh (recht) detail mesh Meet 3D fotogrammetrie zullen complexe geometrieën met sprongen in diepte altijd een bepaalde mate van uitvlakking ondergaan. Om een geschikte orthofoto te bekomen IWT-TETRAproject 3D4SURE 9 11
is echter geen perfect afgelijnde geometrie noodzakelijk, maar er zijn natuurlijk grenzen aan. Figuur 6 toont het niet voorkomen van een element in de mesh, terwijl dit op de orthofoto toch vrij goed lijkt afgebeeld te worden, maar toch een lichte onbestaande kromming vertoont. Figuur 6: Foto, mesh en orthofoto van detail CONCLUSIE: Beperkte geschiktheid (afhankelijk van eisen resultaat) 5.3. Bisschopshuis Gent De voorgevel van de bisschoppelijke residentie heeft afgezien van enkele neogotische decoratieve elementen weinig textuur. Dit kan dan ook naar fotogrammetrie toe problemen opleveren. Eigenschappen: Monotoon witte gevel Simpele geometrie (uitz. Decoratieve elementen) De fotoset van 68 foto s (24mm en 70mm lens) werd zowel met Photoscan als Pix4Dmapper verwerkt. Photoscan reconstrueert vrij veel punten, maar het gereconstrueerde gevelvlak kent veel ruis. Pix4Dmapper kent minder ruis, maar heeft te lijden onder enkele niet gereconstrueerde zones in de puntenwolk. Dit wordt getoond op Figuur 7. IWT-TETRAproject 3D4SURE 10 11
Figuur 7: Bisschopshuis Gent; (boven) Photoscan (onder) Pix4Dmapper CONCLUSIE: Randen goed gereconstrueerd, textuurloze stukken tussenin ofwel niet gereconstrueerd ofwel onbetrouwbaar gereconstrueerd. 6. BIBLIOGRAFIE Altena, B., Goedemé, T. (2014) Assessing UAV Platform Types and Optical Sensor Specifications. ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Volume II-5, 2014 Kraus, K. (2007) Photogrammetry: Geometry from Images and Laser Scans, Volume 1. De Gruyter, Berlin,pp. 259-269. Wenzel, K., Rothermel,M., Fritsch,D., Haala, N. (2013) IMAGE ACQUISITION AND MODEL SELECTION FOR MULTI-VIEW STEREO. Int. Arch. Photogramm. Remote Sens. Spatial Inf. Sci., XL-5/W1, 251-258, doi:10.5194/isprsarchives-xl-5-w1-251-2013, 2013 IWT-TETRAproject 3D4SURE 11 11