IWT-TETRA PROJECT GEBRUIKERSGROEPVERGADERING IV 21 FEBRUARI 2014

Transcriptie

1 IWT-TETRA PROJECT GEBRUIKERSGROEPVERGADERING IV 21 FEBRUARI 2014

2 STATUS Project WP3: Optimalisatie WP4: Evaluatie van de 3D puntenwolk WP5: Toepassingsmatrix Afgerond Afronding nabij Resultaten Wordt vervolgd WP6: Technologieverspreiding

3 WP2 - Gevalstudies Verwerking vluchten zandgroeve: dense point cloud Erfgoed kartering ahv ORBIT vlucht Fotogrammetrie in contrastloze gebieden

4 WP2 - Erfgoed kartering ahv ORBIT vlucht Kerk te hoog om vanaf de grond goede foto s te maken Doel: mogelijkheden van UAV als cameraplatform voor gevelopmetingen onderzoeken Uit voorzorg voor GPS bouncing enkel bovenste deel van de toren gevlogen als eerste test + terrestrische fotoset met fotomast (1,5m - 5m 9m) Verwerking in Photoscan: o o Geen automatische oriëntatie mogelijk van 2 sets samen Apart oriënteren en vervolgens op basis van gemeenschappelijke GCP s samenvoegen

5 WP2 - Erfgoed kartering ahv ORBIT vlucht Ortho Photoscan

6 WP2 - Erfgoed kartering ahv ORBIT vlucht Vergelijking

7 WP2 - Erfgoed kartering ahv ORBIT vlucht Mesh bekomen met Recap o o Geen oriëntatie UAV cluster Geen mogelijkheid tot orthofoto, extra software nodig

8 WP2 Grenzen van fotogrammetrie strand van Wenduine DOEL: Wat is de grens van fotogrammetrische reconstructie? Waar kan een beeld de één van de ander niet meer onderscheiden. Denk aan: strand, sneeuw, steenkool. Eerst was reconstructie niet mogelijk, maar nu wel... Hoe komt dat?

9 WP2 Grenzen van fotogrammetrie strand van Wenduine Topografie reconstructie: Een kleine uitsnede in het ene beeld wordt over andere uitsnedes gelegd en vergeleken.

10 WP2 Grenzen van fotogrammetrie strand van Wenduine Wiskundig kan een synerchie worden gemaakt met waterpassen: 0 = h ij h ji Dus kan deze opzet benaderd worden via een kleinste kwadraten methode: t = B E{y} sluitterm model metingen J.W. Altena waterpassend langs de Waal

11 WP2 Grenzen van fotogrammetrie strand van Wenduine Afgezien van de meetopzet is ook een model en zijn groodheden van de variantie nodig: x~n(μ, σ) Dit geeft inzicht in de grote van fout voortplanting. Verder kan de voorafgestelde kennis gebruikt worden om een verwachtingswaarde en fouten te voorspellen.

12 WP2 Grenzen van fotogrammetrie strand van Wenduine De sluittermen kunnen worden vergeleken met de verwachte resultaten, en zo statistisch te testen: T b ~χ 2 (b, 0) vrijheidsgraden

13 WP2 Grenzen van fotogrammetrie strand van Wenduine Daarmee kunnen twee dingen worden bekeken: 1. Is er overeenstemming? 2. Is een andere meting beter?

14 WP2 Grenzen van fotogrammetrie strand van Wenduine De variantie van een beeld is afhankelijk van verschillende componenten. Deels zijn dit instellingen die kunnen worden ingesteld op de camera (ISO, belichting). Deze instellingen zijn in afstemming met het op te meten object. Om deze varierende grootheid te bepalen wordt op het beeld de variantie geschat, door middel van het vierde moment (kurtosis).

15 WP2 Vindt de grenzen van fotogrammetrie strand van Wenduine Variantie schatting, op beelden:.jpeg - beeld.raw - beeld σ = 0,72DN σ = DN Verschil in variantie, maar compressie van een beeld lijkt geen verchil te maken, in ieder geval bij contrastvolle objecten

16 WP2 Grenzen van fotogrammetrie strand van Wenduine Variantie schatting, op zandgroeve vlucht: σ 0,42DN

17 WP2 UAV fotogrammetrie Open mijn bij Meensel-Kiezegem DOEL: vergelijking van verschillende opname platformen en verwerkingspakketten. Wat is de behaalde nauwkeurigheid?

18 WP2 UAV fotogrammetrie Open mijn bij Meensel-Kiezegem 148 foto s 33 Paspunten (6 waterpas) 13 check punten trianguleer

19 WP2 UAV fotogrammetrie Open mijn bij Meensel-Kiezegem 481 foto s 9 paspunten (allen waterpas) 13 check punten Trianguleer / DSM

20 WP2 UAV photogrammetrie Open mijn bij Meensel-Kiezegem DOEL: Hoe nauwkeurig is de stralen bundel vereffening van de verschillende pakketen, en hoe gemakkelijk is de tot standkoming daarvan?

21 WP2 UAV photogrammetrie Orientatie schatting Rekentijd (h): 12:~~ 2:20 2:45 Punten (#): Sluitfout (m): -0,022 (0,01) -0,011 (0,01) 0,08 (0,02) -0,039 (0,03) -0,018 (0,02) 0,011 (0,07) 0,090 (0,05) gemiddelde (deviatie)

22 WP2 UAV photogrammetrie Orientatie schatting Projectopzet: Aanmeten: Vereffening: Blunderdetectie:

23 WP2 UAV photogrammetrie Open mijn bij Meensel-Kiezegem Posities: Orientatie: ΔX = 0,24 Δω = 0,072 ΔY = 0,21 Δφ = 0,023 ΔZ = Δκ = 0,012 Orbit Pix4Dmapper Photoscan

24 WP2 UAV photogrammetrie Open mijn bij Meensel-Kiezegem

25 WP2 UAV photogrammetrie Open mijn bij Meensel-Kiezegem Triangulatie Trimble UX5 vlucht 0,024 0,018 0,

26 WP3 Optimization Multi-photo rectification Concept : remove the perspective distortion from an image o Exists in commercial software (eg elcovision, photoplan, perspective rectifier, )

27 WP3 Optimization Multi-photo rectification o Problem statement Extension to multiple photographs (long wall, better detail,..) Requires 4 control points per image homography Lot of manual work is automation possible?

28 WP3 Optimization Multi-photo rectification o Thesis Vincent Vrijsen (2012- jan 2014) o Development of prototype code

29 WP3 Optimization Multi-photo rectification o Step 1: Finding relations between the images

30 WP3 Optimization Multi-photo rectification o Step 1: Finding relations between the images Detecting keypoints (SIFT) Match Keypoints

31 WP3 Optimization Multi-photo rectification o Step 1: Finding relations between the images Detecting keypoints (SIFT) Match Keypoints Perform filtering (RANSAC homography) Only keep the relations with more than 100 inliers

32 WP3 Optimization Multi-photo rectification o Step 1: Finding relations between the images Detecting keypoints (SIFT) Match Keypoints Perform filtering (RANSAC homography) Only keep the relations with more than 100 inliers Put in Graph structure H12 H H

33 WP3 Optimization Multi-photo rectification o Step 2: Define a reference frame Problem : transforming images indices drift (small errors) The reference frame = node with most connections to other images (include weights)

34 WP3 Optimization Multi-photo rectification GCP1 o Step 3: Transform control points to the reference frame Find shortest path from image with GCP to the reference frame (take wheights into account) Dijkstra shortest path algorithm Ex.GCP1 1 2 H15 = H25 x H12 (Homography = associative) GCP H12 H H GCP3 GCP4

35 WP3 Optimization Multi-photo rectification o Step 4: Compute the global rectification homography GCP1 GCP GCP3 GCP4

36 WP3 Optimization Multi-photo rectification o o Step 4: Compute the global rectification homography Step 5: Optimize all homography parameters GCP1 1 2 GCP2 3 Intermediate homographies H12 H14 H23 H25 H36 H45 H56 Hglobal Hglobal GCP GCP4 Nr of unknows = nrofhomographies * (Hglobal)

37 WP3 Optimization Multi-photo rectification o o Step 4: Compute the global rectification homography Step 5: Optimize all homography parameters (non-linear refinement) Intermediate homographies H12 H14 H23 H25 H36 H45 H56 Hglobal Hglobal Minimize the reprojection errors Nr of unknows = nrofhomographies * (Hglobal)

38 WP3 Optimization Multi-photo rectification o Step 6: Create transformed images

42 WP3 Optimization Multi-photo rectification o Step 6: Create transformed images Combined image without blending

43 WP3 Optimization Multi-photo rectification o Step 7: Fuse the transformed images (uses Enblend) uses a multiresolution spline to blend images together blended across a transition zone proportional in size to the spatial frequency of the features (eg. sky versus windows) P. Burt and E. Adelson. "A Multiresolution Spline With Application to Image Mosaics". ACM Transactions on Graphics, Vol. 2, No. 4, October Pg

44 WP3 Optimization Multi-photo rectification o Step 7: Fuse the transformed images (uses Enblend)

45 WP3 Optimization Multi-photo rectification Voor blending Na blending

46 WP3 Optimization Multi-photo rectification

50 WP3 Optimization Multi-photo rectification Nog te doen Integreren camera calibratie Interface gebruiksvriendelijk maken Bugs, fail-safe Testen, analyseren van de nauwkeurigheid

51 WP3 Optimalisatie - Sky Filter Probleemstelling: Lucht op foto s zorgt voor ruis in 3Dmodel Manueel masken neemt veel tijd in beslag voor grote datasets Oplossing: Maken van een tool die lucht automatische maskeert in een reeks van foto s Vervolgens gemaskeerde fotoreeks inladen in fotogrammetrisch pakket

52 WP3 Optimalisatie - Sky Filter VOOR

53 WP3 Optimalisatie - Sky Filter NA

54 WP3 Optimalisatie - Sky Filter Lucht is zeer variabel (helder blauw witte wolken grijs) Bijgevolg zeer brede range nodig voor omschrijving Nieuwe piste: Algoritme van Hoiem classificeert een beeld in 3 categorieën: grond verticaal - lucht

55 WP3 Optimalisatie Panoramische fotogrammetrie

56 WP3 Optimalisatie Panoramische fotogrammetrie Voordelen : Veel informatie aan hoge resolutie => reduceert het aantal te oriënteren foto s Betere spreiding van keypoints (360 ) => betere oriëntatie Interessant voor interieurmetingen (waar klassieke fotogrammetrie zeer veel foto s vereist) Bestaande software: AgiSoft Photoscan Andere uit gaming/animatie wereld

57 WP3 Optimalisatie Panoramische fotogrammetrie Hardware: Roterende lijncamera vb. Spheron (duur) Sferische panorama s: DSLR camera + Panorama head o o o Fisheye (ca. 30 MPix pano) 24 mm (ca. 300 MPix pano) 50 mm(ca. 1,2 GPix pano) Trimbe V10 Imaging rover o (60 Mpix pano, ) o Test met Couderé (midden maart)

58 WP3 Optimalisatie Panoramische fotogrammetrie Stitching: Oriënteren foto s combineren op bol projectie zodat een vlakke voorstelling ontstaat (Equirectangulaire projectie) Software: o o o PtGui (beste resultaten) Autopano Windows Ice (gratis) (Wahbeh, 2011)

59 WP3 Optimalisatie Panoramische fotogrammetrie Mathematisch model voor panoramische fotogrammetrie Drie mogelijke werkwijzen: 1. Absolute oriëntatie (thesis Fabian, per pano 4 GCP nodig) 2. Fangi et al. (2007) (beperkingen : pano benaderend verticaal nemen en initiële waarden nodig) 3. Pagani et al.(2011) geen beperkingen

60 WP3 Optimalisatie Pagani et al. (2011) Eerste stap: oriëntatie van eerste twee pano s op arbitraire schaal met behulp van epipolaire geometrie (Guan, 2011) Tweede stap: optimalisatie van de oriëntatie

61 WP3 Optimalisatie Pagani et al. (2011) Derde stap: Alle corresponderende punten reconstrueren Telkens volgende panorama toevoegen; oriëntatie door achterwaartse insnijding met corresponderende key points die reeds gereconstrueerd zijn in 3D als referentiepunten Vierde stap: dense matching Ofwel een aantal perspectief foto s van de geörienteerde pano s afleiden en deze dense matchen Ofwel rectificatie van pano s

62 WP3 Optimalisatie Pano rectificatie Reductie van zoektocht naar corresponderende pixel tot 1D (Guan, 2011)

63 WP3 Optimalisatie Panoramische fotogrammetrie Verkennende nauwkeurigheidstest panoramische fotogrammetrie dx (cm) dy (cm) dz (cm) dxyz (cm) Photoscan 2,74 0,75 1,25 3,23 Absolute meth. 2,66 0,59 1,13 2,95 Fangi 1,34 2,35 3,01 4,05 Pagani 3,40 2,36 4,40 6,04 Photoscan (50mm) 1,86 0,88 0,88 2,38

64 WP3 Optimalisatie Meetconfiguratie Panorama s

65 WP3 Optimalisatie Panoramische fotogrammetrie Verkenning interieurreconstructie: Deel Sint-Jan-Baptist kerk in Gent Fisheye Tijdsduur Gigapan (4 min per pano) 11 pano s met veel overlap Stitching: 2 minuten per pano Reconstructie in Photoscan: 1 uur rekentijd

66 Verkenning interieur reconstructie

67 Verkenning interieur reconstructie

68 WP3 Optimalizatie netdesign Nu ook mogelijk om panoramische camera s te simuleren

69 WP3 Optimalizatie Open mijn bij Meensel-Kiezegem DOEL: Optimalisatie van de stralenbundel vereffening. Door grondpunten met hoge nauwkeurigheid te meten, kan dit resulteren in een betere schatting van het camera model.

70 WP3 Optimalizatie Open mijn bij Meensel-Kiezegem Automatische koppeling nodig: meer dan 500 metingen in de foto s, voor één vlucht. Optie: SIFT beschrijving van de omgeving

71 WP3 Optimalizatie Open mijn bij Meensel-Kiezegem Kleinste kwadraten schatting, werkt beter. Na rotatie, wordt een kleine scheefstand toegevoegd om nog beter overeen te komen.

72 WP3 Optimalizatie Open mijn bij Meensel-Kiezegem Sub pixel verplaatsing en correlatie schatting

73 WP3 Optimalizatie Open mijn bij Meensel-Kiezegem Optie: MSER detectie, om grove schatting van rotatie en schaal te krijgen.

74 WP3 Optimalizatie Stralen bundel vereffening Vanuit meerdere kanten wordt een object in het beeld aangemeten, maar niet allemaal met dezelfde nauwkeurigheid

75 WP3 Optimalizatie Stralen bundel vereffening De invloed van de buitenste opnames hebben bij gelijk gewogen vereffening is niet ideaal.

76 WP3 Optimalizatie Stralen bundel vereffening Er zit verschil in randen, hoe deze te beschrijven en mee te nemen in de vereffening... vs.

77 WP3 Optimalizatie Stralen bundel vereffening Ieder automatisch gevonden punt, wordt opnieuw bezocht om zo de precisie van dat punt te schatten, dit geeft: D y = σ ii σ ij σ ij σ jj

78 WP3 Optimalizatie Stralen bundel vereffening Van Pix4D naar Move3

79 WP3 Optimalizatie Data reductie Stadsmodellatie: Automatische detectie van daken, gebruikmakend van de omvalling

80 WP3 Optimalizatie Data reductie Opbouw aanpak:

81 WP3 Optimalizatie Data reductie 1. Triangulatie op hoekpunten

82 WP3 Optimalizatie Data reductie 2. Vinden van randen

83 WP3 Optimalizatie Data reductie 3. Genereren van een triangulatie met voorwaardes ligt een rand tussen twee hoeken: gebruik deze dan

84 WP3 Optimalizatie Data reductie Creeer vlakken door samenvoegen van driehoeken.

85 WP4 Evaluatie van de 3D puntenwolk Vergelijking met 3D laserscan data o o Zandgroeve Alsemberg

86 WP4 Evaluatie van de 3D puntenwolk Zandgroeve: Deviaties mesh met scan in CloudCompare (m)

87 WP4 Evaluatie van de 3D puntenwolk Zandgroeve

88 Vergelijking met 3D laserscan data Zandgroeve

89 Vergelijking met 3D laserscan data Zandgroeve

90 WP4 Evaluatie van de 3D puntenwolk Alsemberg Noordgevel

91 WP4 Evaluatie van de 3D puntenwolk Zuidgevel Gunstige invloed van UAV foto s

92 WP5 Evaluatie van de verwerkingstools Topografische informatie inwinning DOEL: Hoe informatie te extraheren uit een hoogtemodel?

93 WP5 Evaluatie van de verwerkingstools AANPAK1 (stereo): Topografische informatie inwinning direct meten in de foto s door middel van een anaglyph of gepolariseerd scherm.

94 WP5 Evaluatie van de verwerkingstools AANPAK2 (3D): Topografische informatie inwinning meten in een 3D omgeving op de fotogrammetrische producten.

95 WP5 Evaluatie van de verwerkingstools Topografische informatie inwinning AANPAK3 (gecombineerd): eerst meten in een 3D omgeving, dan optimaliseren op de foto s.

96 WP5 Evaluatie van de verwerkingstools Topografische informatie inwinning VERGELIJKING: het vinden van de balans tussen Geometrische kwaliteit Hoe goed is dit in overeenstemming met de gemeten parkeerplaats met terrestrische methodes Tijd Hoe lang duurt het om de belijning van de parkeerplaats op te meten. Wellicht ook het meten van de campus home (?)

97 WP6 Verspreiding van de resultaten Strand van Wenduine Fotogrammetrie wordt instagrammetrie Kwalitatief ontwerp met netdesign workshop netdesign Houten (NL) Great Malverne (UK) a visit to the optician for Argus Panoptus Wenen (AU) a proxy for dense matching variance over homogeneuos terrain

98 WP6 Disseminatie Update projectwebsite: Organisatie demo-dag Ebee streefdoel april 2014 o Contacten lopen met Geometius/Gatewing Organisatie workshop multifotorectificatie+ panoramische fotogrammetrie juni 2014 (GG5)

99 CONTACTGEGEVENS EAVISE: Liesbet Cockx 015/ Toon Goedemé Bas Altena KAHOSL: Bjorn Van Genechten 09/ Jasper Wisbecq