Drones bij incidenten op het spoor - efficiënt en precies inmeten

Transcriptie

1 Drones bij incidenten op het spoor - efficiënt en precies inmeten Sam Koch en Auke Blokland en Robert Voute Technische Universiteit Delft

2 DRONES BIJ INCIDENTEN OP HET SPOOR - EFFICIËNT EN PRECIES INMETEN door Sam Koch en Auke Blokland en Robert Voute In samenwerking met CGI Nederland, ProRail en EyeFly

3 CONTENTS 1 Inleiding Probleemstelling Onderzoeksvraag Onderzoeksopzet Organisatorisch Betrokken partijen Gestelde eisen Methodiek Fotogrammetrie Beeldverwerving Locatie Camera eigenschappen Software Vluchtplan Data verzamelen en analyseren Test 1: Veluwe Meetproces Verwerking tot 3D-model Test 2: Kleefse Waard Meetproces Verwerking tot 3D-model Onderzoeksresultaten Toetsing nauwkeurigheid Voordelen ProRail Afweging nauwkeurigheid tegenover snelheid Conclusie en Discussie Bespreking Resultaten Evaluatie van het onderzoek Terugkoppeling naar onderzoeksvraag Suggesties voor vervolgonderzoek Bibliography 22 A Kwaliteitsrapport 23 i

4 1 INLEIDING 1.1. PROBLEEMSTELLING Incidenten op het spoor gebeuren. Van het uitvallen van seinen tot aanrijdingen met treinen. Dit onderzoek gaat vooral in op deze grotere incidenten. Op het moment dat er een ongeluk gebeurt op het spoor is de spoorverbinding voor lange tijd niet beschikbaar. Eerst moet het forensisch onderzoek plaatsvinden voordat er opgeruimd kan worden, gerepareerd kan worden en de spoorlijn weer vrijgegeven kan worden. Op dit moment gebeurt het volledige forensisch onderzoek met de hand. Omdat alles ter plaatse met de hand opgemeten moet worden is het een tijdrovend en kostbaar proces. Ieder uur dat het spoor niet beschikbaar is zorgt voor verminderde inkomsten voor ProRail, meer kosten voor omleiding, een afnemende punctualiteit en een verminderde klanttevredenheid, nog los van de kosten voor het handmatige onderzoek. De vraag is of de doorlooptijd en de kosten kunnen worden teruggebracht terwijl de kwaliteit zo mogelijk verbeterd ONDERZOEKSVRAAG Kunnen de doorlooptijd en de kosten bij het inmeten van trein incidenten door ProRail door middel van 3Dfotogrammetrie met drones omlaag terwijl de kwaliteit verbetert? De onderzoeksvraag zal beantwoord worden aan de hand van een aantal deelvragen: Wat zijn de eisen? Wat en hoe moet er gemeten worden? Hoe moet de data worden verwerkt tot een 3D model? Hoe kan de nauwkeurigheid worden getoetst? Hoe kan ProRail er van profiteren? 1.3. ONDERZOEKSOPZET Allereerst volgt er een inleidend stuk over de totstandkoming van dit onderzoek, waaraan de verschillende aandeelhouders en hun rollen zullen worden besproken. Vervolgens volgt er een stuk over de methodiek van het meten met een drone en 3D-fotogrammetrie. Daarna zal deze techniek in praktijk worden gebracht op de situatie zoals deze voor dit onderzoek relevant is. Daarbij zal rekening worden gehouden met de bovenstaande deelvragen, en zullen deze ook stuk voor stuk behandeld worden. Vervolgens kan er antwoord worden gegeven op de hoofdvraag en kan er met een conclusie van dit onderzoek een aanbeveling naar ProRail worden gedaan. 1

5 2 ORGANISATORISCH 2.1. BETROKKEN PARTIJEN CGI is een vaste business partner van ProRail en werd zodoende betrokken bij het bespreken van de mogelijkheden om zinvolle use cases voor drones bij ProRail te bepalen en beoordelen. Daar kwam een vijftal nuttige cases uit waarvan de inzet van drones voor het maken van 3D modellen van incidenten op het spoor de meest zinvolle leek. Na het betrekken van de bewuste afdeling bij ProRail is al snel besloten om studenten aan te haken. Na enige proeven met het maken van een model van een woonhuis kwamen we tot de conclusie dat een professionele drone maar ook een ervaren drone bedrijf nodig zouden zijn voor de inwinning (zeker gezien de regelgeving) zijn we in contact getreden met Eyefly. Deze kon met onze specificaties een proef voorstellen. Zo ontstond een samenwerking van CGI (klant- en proceskennis en als ICT bedrijf in staat om de dataketen te modelleren, studenten van de TU Delft met kennis van fotogrammetrie en geodesie en een dronespecialist (Eyefly) voor het werken met drones en de initiële verwerking. Verder zijn er ervaringen opgedaan bij GeoDelta, een bedrijf wat zelf fotogrammetrie software maakt, en is er een conferentie op Cranfield University bijgewoond. Op Cranfield University zijn specialisten uit allerlei vakgebieden aan het woord geweest om hun ervaringen met het gebruik van drones te delen GESTELDE EISEN De aanpak, voor het afhandelen van het meetproces van een incident op het spoor, in dit onderzoek is geheel nieuw voor ProRail. De enige eis die door ProRail aan dit onderzoek wordt gesteld is dat meerwaarde wordt gecreëerd ten opzichte van de huidige methode. Dit kan gedaan worden door middel van een reductie in de onderzoekstijd of door het toevoegen van kwaliteit. Om die reden zijn er extra eisen toegevoegd die nuttig leken te zijn. 1. Overzicht van de situatie in 3D De locatie waar een incident gebeurd is kan onoverzichtelijk zijn. Veel verschillende onderdelen kunnen verspreid zijn over het gebied. Om van deze situatie naar een overzichtelijke situatie te gaan, kan een 3D model gebruikt worden. In een 3D model kan de situatie van alle kanten bekeken worden. Er kan ingezoomd worden op een detail of juist van een afstand naar het geheel gekeken worden. 2. Achteraf metingen verrichten Op het moment dat er een ongeluk plaatsvindt worden zaken opgemeten die op voorhand van waarde worden geacht. Echter kan er op deze manier na het opruimen van een incident geen extra informatie ingewonnen worden. De te onderzoeken methode moet het mogelijk maken om achteraf afstanden te kunnen meten in het 3D model. Bij het meten in een 3D model zijn twee zaken van belang. Ten eerste moet de nauwkeurigheid in orde zijn. De eis die hierbij gesteld is, is dat een relatieve nauwkeurigheid van 1 centimeter moet worden behaald. Verder is het van belang dat het model geodetisch correct is. 3. Geo-referentie In een ruimtelijk perspectief kan het nuttig zijn om de locatie van een incident te weten. Door de 2

6 2.2. GESTELDE EISEN 3 coördinaten van grond controlepunten op te meten kan een model een geo-referentie, een locatie in de echte wereld, meekrijgen. 4. Toevoegen met de hand gemaakte foto s Details zijn van belang in een onderzoek. Het kan voorkomen dat deze details zich bevinden op locaties die niet door drones gefotografeerd kunnen worden. In dit soort gevallen moet het mogelijk zijn om met een losse camera foto s te maken en deze in het 3D model toe te voegen en op deze manier de nauwkeurigheid van het model op deze plekken te verbeteren. 5. Tijd Afhankelijk van de omvang van een incident op het spoor duurt het meerdere uren om de metingen rondom het incident te voltooien, nog voordat alle andere werkzaamheden om de situatie te herstellen kunnen plaatsvinden. De periode dat het spoor niet gebruikt wordt kost ProRail veel geld. Daarom moet de te onderzoeken methode minimaal in dezelfde tijdsduur te voltooien zijn en het liefst korter. 6. Toepasbaarheid De nieuwe oplossing die bedacht wordt moet functioneren ongeacht slechte of juist zonnige weersomstandigheden of harde wind. Ook obstakels die zich in de omgeving van het spoor bevinden mogen geen problemen opleveren. Een andere bijkomstigheid is het mogelijke gebruik van thermisch infrarode beelden in het onderzoek. 7. Veiligheid Als de veiligheid rondom de locatie van een incident in het gedrang zou komen door de inzet van drones zou dit een negatief effect moeten hebben om de mogelijkheden van deze procedure.

7 3 METHODIEK 3.1. FOTOGRAMMETRIE Fotogrammetrie is de techniek die het mogelijk maakt om 3D-modellen te creëren vanuit 2D foto s. Dus waar fotografie precies het tegenovergestelde doet, namelijk een 2D-opname maken van een 3D werkelijkheid, probeert fotogrammetrie deze 3e component weer terug te brengen door gebruik te maken van meerdere 2D foto s. De diepte die verloren is gegaan op het moment van het maken van een foto kan worden teruggehaald door meerdere foto s vanuit verschillende oogpunten met elkaar te vergelijken, net zoals de ogen dat doen. Dit process is helaas niet feilloos, maar door het gebruik van vele foto s kan de nauwkeurigheid aanzienlijk verbeterd worden. De fundamenten van fotogrammetrie liggen oorspronkelijk in de triangulatie theorie. Dit principe leert dat als een onbekend punt kan worden waargenomen vanuit tenminste twee bekende locaties, en de afstand en hoeken van deze locaties zijn bekend, de locatie van het onbekende punt op basis van deze gegevens kan worden bepaald. Dit resulteert in een paar belangrijke criteria voor fotogrammetrie, die het mogelijk maken om deze techniek toe te passen maar ook een rol spelen in de nauwkeurigheid van het resultaat BEELDVERWERVING De manier waarop de beelden worden verkregen is van groot belang voor het uiteindelijke 3D-model dat gecreeërd kan worden. Daarbij kan ten eerste een onderscheid worden gemaakt tussen analoge en digitale foto s. De laatste jaren is digitale fotografie een belangrijke rol gaan spelen in de mogelijkheden van fotogrammetrie en worden analoge foto s steeds minder gebruikt. Een van de eerste manieren waarop fotogrammetrie gebruikt werd, was de zogenaamde stereoscopie (stereo image acquisition). Deze (analoge) techniek maakt gebruik van voornamelijk luchtfoto s van een landschap. Twee beelden met voldoende overlap, minimaal 80%, worden vervolgens gebruikt om de diepte van het landschap te regenereren. Overlap bestaat zowel in voorwaartse als in zijwaartse richting, zie figuur 3.1 op pagina 5. Sinds de intrede van digitale fotografie is het mogelijk geworden om deze relatief simpele manier van fotogrammetrie te laten doen door computers. Dit bracht ook de mogelijkheid met zich mee om meer dan twee foto s te gebruiken om 3D punten te bepalen (multi-image acquisition). Hierdoor werd de techniek een stuk nauwkeuriger, maar werd het ook mogelijk daadwerkelijke 3D modellen te creëren. Wat van groot belang is voor alle vormen van fotogrammetrie is dat er voldoende overlap tussen foto s is. Zeker in het geval van multi-image acquisition wil dit nog wel eens lastig blijken. Hoe groter de overlap tussen de foto s, hoe meer punten er gevonden worden die op meer dan drie (nodig voor de drie componenten van een locatie) opnames zichtbaar zijn. Deze punten kunnen vervolgens worden gebruikt als zogenaamde "keypoints", om vervolgens het model, maar ook de locatie en camera parameters van de foto s, te kalibreren. Deze zelf-kalibratie wordt ook wel bundel triangulatie ("bundle triangulation") genoemd. 4

8 3.1. FOTOGRAMMETRIE 5 Figure 3.1: Verschillen in overlap [1] LOCATIE Zoals gezegd speelt de locatie waarop de foto s genomen worden een grote rol in het triangulatie proces. Het is echter zo dat deze locaties in eerste instantie nooit exact kunnen worden bepaald. Zo kan realtime GPS bijvoorbeeld slecht een nauwkeurigheid bereiken van maximaal 1 centimeter. Ze dienen als een goed uitgangspunt maar dienen te worden verfijnd om te kunnen gebruiken als referentie voor punten in het model [2]. Dit is waar bundel triangulatie zijn intrede doet. Bundel triangulatie is een methode voor het gelijktijdig kalibreren van een ongedefinieerd aantal foto s die op verschillende locaties zijn genomen. Het gebruikt de initiële waarden voor de locatie van de foto s (maar ook bijvoorbeeld de camera eigenschappen) om een schatting te maken van het model. In dit geschatte model kunnen vervolgens een paar keypoints worden bepaald, in hoofdstuk 3.2 wordt dieper ingegaan op het bepalen van deze keypoints. Vervolgens kunnen deze initiële keypoints worden gebruikt om bundle block adjustment toe te passen. Dit houdt in dat de onderlinge afstanden en hoeken van de gevonden keypoints worden gebruikt om dit blok aan punten zo goed mogelijk in alle foto s te passen, zie figuur 3.2. Met behulp van geometrische minimalisatie wordt vervolgens de locatie van de foto s en daarmee de locatie van de keypoints gecorrigeerd[2]. Door alle initiële waarden mee te nemen in het model wordt er een zogenaamd over-bepaald stelsel gecreëerd. Dit wil zeggen dat er meer vergelijkingen (beschikbare gegevens) zijn dan onbekenden, wat in principe goed is. Een tekort aan foto s zorgt voor minder beschikbare gegevens wat het stelsel onder-bepaald kan maken. Door het over-bepaalde stelsel te bundelen in een numeriek model dat door computers kan worden uitgerekend, kan men tot een zeer nauwkeurig model komen. Het object coördinaat systeem dat wordt gecreëerd door deze vorm van multi-image fotogrammetrie heeft nog geen referentie met de werkelijke wereld. Door het toevoegen van referentiepunten en/of schaalfactoren kan het model worden verbeterd. Over het gebruik van zogenaamde grond controlepunten (Grond Control Points) volgt meer in hoofdstuk 3.3. De arbitraire locatie van de gevonden keypoints (en de rest van het model) kan op basis van deze gegevens worden omgezet naar een gewenst coördinatenstelsel. Belangrijk om in gedachten te houden hierbij, is dat de onnauwkeurigheid van de GCP s zich zal door vertalen in de onnauwkeurigheid van het model. In ieder geval op absoluut gebied. Het model zal rond de GCP s ongeveer dezelfde absolute nauwkeurigheid kunnen behalen als van dit dergelijke referentiepunt, maar zal verder verwijderd van deze GCP s minder nauwkeurig worden. Op relatief gebied, dus bijvoorbeeld het bepalen van een afstand tussen twee punten, heeft deze onnauwkeurigheid echter geen invloed. Deze is puur afhankelijk van de degelijkheid van het berekende fotogrammetrische model.

9 3.1. FOTOGRAMMETRIE 6 Figure 3.2: Verschillen in overlap [3] CAMERA EIGENSCHAPPEN De specificaties van de camera zijn van belang voor de nauwkeurigheid van deze techniek. Zo is met name de brandpuntsafstand bepalend voor het schalen van het model. Maar spelen ook andere parameters, zoals de distortion en de belichting, een grote rol. Allereerst nog een extra notitie over de locatie waar hierboven al over werd gepraat. De locatie van de camera is natuurlijk uiterst belangrijk, maar minstens zo belangrijk is de oriëntatie van deze camera. De oriëntatie van de camera bepaalt namelijk het gezichtsveld van wat er op de foto te zien is. Dit gezichtsveld is essentieel om te bepalen welke foto s met elkaar kunnen worden vergeleken om overeenkomende punten te vinden. Na het vinden van de exacte locatie van elke foto worden er daarom daarna nog 3 extra hoeken meegegeven aan elke foto die aangeven in welke exacte richting de foto genomen is. De brandpuntsafstand van de camera is de afstand van de lens in de camera tot de sensor waarop het beeld scherp wordt geprojecteerd. De lenzenformule leert ons dat die afstand van belang is voor de verhouding van hoe de afstanden in de werkelijkheid zich vertalen in de afstanden op de foto. 1/f = 1/b + 1/v Als de brandpuntsafstand en de afstand van de lens tot de sensor bekend zijn kan de afstand van de camera naar het object waarop is scherpgesteld worden bepaald. Aangezien het hierbij gaat om een beeldafstand van vaak enkele millimeters (in de camera), die zich verhoudt tot een voorwerpsafstand van vaak meerdere meters, hebben onnauwkeurigheden in de brandpuntsafstand grote gevolgen voor het bepalen van de exacte locaties. Door externe omstandigheden, zoals temperatuur of luchtvochtigheid, kan de lens in een camera al lichtelijk van vorm veranderen. Dit is normaal geen probleem voor het maken van foto s, maar vormt wel een probleem voor fotogrammetrie als er op basis van deze foto s gemeten dient te worden. Vaak wordt een camera daarom voorafgaand aan een meting zeer precies gekalibreerd, dat wil zeggen dat de brandpuntsafstand en beeldafstand zeer nauwkeurig worden bepaald. Een andere manier om onnauwkeurigheden te voorkomen is software gebruiken die het mogelijk maakt naderhand te bepalen wat de gebruikte brandpuntsafstanden waren, hierover meer in hoofdstuk 3.2.

10 3.2. SOFTWARE 7 Figure 3.3: Model weergave [4] Niet alleen voor de afstand van de camera tot het object is de brandpuntsafstand van belang, maar ook vooral voor het later meten in het model. De schalingsfactor die kan worden bepaald tussen de beeld- en voorwerpsafstand is nodig om afstanden die op verschillende foto s worden gemeten om te zetten in werkelijke afstanden, figuur 3.3. Samenhangend met de brandpuntsafstand is de distortion, of beeldvervorming, die bijna elke camera lens veroorzaakt. Distortion houdt in dat het beeld dat door een camera wordt geprojecteerd, altijd een beetje vertekend richting de zijkanten van de foto. Een positieve distortion betekent dat het beeld in het midden wordt vergroot, zoals bij een vergrootglas. Bij negatieve distortion wordt het naar het midden toe juist kleiner. Een goed voorbeeld van positieve distortion is bijvoorbeeld een fisheye-lens. Veel drones zijn uitgerust met camera s met fisheye lenzen, zodra deze beelden worden gebruikt voor fotogrammetrie dient hier eerst voor gecorrigeerd te worden. Voor stereoscopie vanuit vliegtuigen worden daarom ook vooral camera s gebruikt die nauwelijks distortion hebben [5]. Voor deze distortion kan echter gemakkelijk gecorrigeerd worden, maar dit vereist wel weer wat extra kennis over de cameralens. De zogenaamde distortion radius hangt nauw samen met de brandpuntsafstand en kan worden gebruikt om digitale foto s zo terug te vormen dat ze onvervormd zijn. Veel software corrigeert automatisch voor deze camera distortion alvorens de beelden worden gebruikt in het fotogrammetrische proces. Als laatste kan er nog wat gezegd worden over de belichting van de foto s. Fotogrammetrie werkt via keypoints die worden gematcht op basis van hun kleur en lichtintensiteit. Het is daarom van groot belang dat de foto s van een object dezelfde belichting hebben. Dit houdt in dat de instelling van de camera voor de belichting zo gelijk mogelijk dienen te blijven. Maar ook dat er gefotografeerd wordt onder egale omstandigheden. Schaduwen blijken bijvoorbeeld erg lastig voor fotogrammetrie om juist in kaart te brengen, hierover later meer SOFTWARE Traditionele fotogrammetrie methoden vereisen veel informatie. Van de gebruikte afbeeldingen moet de locatie bekend zijn en ook de oriëntatie van de camera moet beschikbaar zijn. Door de opkomst van computers met meer rekenkracht is er een nieuwe methode ontwikkelt. Een van de nieuwe fotogrammetrie methoden wordt structure from motion (SfM) genoemd. SfM gebruikt veel afbeeldingen met grote overlap om het stereoscopie effect te creëren wat eerder beschreven is. Het grote voordeel van de structure from motion methode is dat deze toegepast kan worden ondanks het feit dat er geen voorkennis is over de locatie waar de foto genomen is of de oriëntatie van de camera [6].

11 3.3. VLUCHTPLAN 8 De software markeert kenmerkende punten (keypoints) in de afbeeldingen. Een veelgebruikte methode voor het detecteren van deze kenmerkende punten is de SIFT methode. SIFT staat voor scale-invariant feature transform. De SIFT methode gebruikt vier filters achter elkaar. Scale-space extrema detection: met behulp van een verschil-in-gaussian filter worden mogelijk kenmerkende punten gevonden ongeacht de grootte, locatie of oriëntatie. Bijvoorbeeld een donker object in een lichte achtergrond. Keypoint localization: op ieder kandidaat-punt wordt een model toegepast om de schaal en de oriëntatie rond het kenmerke punt te bepalen. Orientation assignment: één of meerdere oriëntaties worden toegekend aan een kenmerk locatie gebaseerd op lokale gradiënten in de foto. Op deze manier is het kenmerkende punt niet gevoelig voor het draaien van een afbeelding. Keypoint descriptor: lokale gradiënten in een foto worden gemeten op de geselecteerde schaal in het gebied rond een kenmerkend punt. Met de resulterende punten wordt een 3D model gemaakt. Een kenmerkend punt wordt gezocht in meerdere foto s en vervolgens met triangulatie in het model geplaatst. Om dit te kunnen doen is de brandpuntsafstand van de camera vereist. Om de betrouwbaarheid te vergroten moet een punt in minimaal drie afbeeldingen te vinden zijn anders wordt het punt verworpen. Een bijkomend voordeel van deze eis is dat bewegende objecten automatisch verwijderd worden. Deze stap wordt automated aerial triangulation genoemd. Verder worden punten rondom een gekozen punt meegenomen in de analyse. Een cluster van punten wordt vergeleken op zowel locatie, oriëntatie als schaal. Door middel van een kleinste kwadraten analyse wordt de locatie geoptimaliseerd. Ook bekend als de bundle block adjustment of bundle triangulation wat eerder besproken is (Lowe, 2004). Omdat er op voorhand geen absolute locaties worden meegenomen komt het model in een relatief coördinatenstelsel. Met behulp van grond-controlepunten kan een model in een absoluut coördinatenstelsel worden geplaatst. De translatie en rotatie kan alleen plaatsvinden als minimaal 3 punten in het gewenste coördinatenstelsel worden ingevoerd [7]. Pix4D is de software die in dit onderzoek wordt gebruikt voor het uitvoeren van de fotogrammetrische berekeningen. Het is een van de beste en meest gebruikte programma s voor drone mapping. Oorspronkelijk gevestigd in Zwitserland zijn ze nu flink aan het uitbreiden met een kantoor in China en Amerika. Een van de handige tools aan Pix4D wat nu al benoemt kan worden is dat dit programma een database heeft voor camera s en bijvoorbeeld hun brandpuntsafstanden. Zoals eerder benoemd zullen deze parameters tijdens gebruik iets verschillend zijn dan de waarden uit de database door verscheidene redenen. De software gebruikt een iteratieve methode om deze parameters voor een bepaald project te optimaliseren. Zo worden de brandpuntsafstand, de positie en oriëntatie van de camera en de positie van de overeenkomstige 3D punten geoptimaliseerd. Op deze manier wordt de camera automatisch gekalibreerd. Het op voorhand kalibreren van de camera is dus niet nodig. Iets wat in een spoedsituatie van pas komt [8] VLUCHTPLAN Het vluchtplan is belangrijk om een goed model te krijgen. De opnames die gebruikt worden moeten aan een aantal eisen voldoen. GSD: the ground sampling distance is de afstand tussen twee opvolgende pixels gemeten op de grond. Hoe groter de ground sampling distance hoe lager de spatiële resolutie en hoe minder details er zichtbaar zijn. Hoe hoger er gevlogen wordt hoe groter de ground sampling distance wordt. Naast de vluchthoogte speelt ook de brandpuntsafstand een rol. Overlap: Tussen de opnames moet voldoende overlapping zitten zodat de software goed zijn werk kan doen. Afhankelijk van het terrein wat wordt opgenomen, is er een advies over de mate van overlap. Om de aanbevolen overlapping tussen de opnames voor elkaar te krijgen moet er ook rekening gehouden worden met de snelheid waarmee de foto s genomen worden. Op het moment dat de overlap groter moet worden dan moet de frequentie waarmee de foto s gemaakt worden omhoog. Een andere oplossing is langzamer vliegen. Er bestaan ook apps die drones kunnen aansturen en zelf kunnen berekenen op welke plekken foto s dienen te worden gemaakt om voldoende overlap te creëren.

12 3.3. VLUCHTPLAN 9 Oblique/Nadir: Afhankelijk van het doel van de opnames moet er besloten worden of de opnames oblique (schuin) of nadir (recht naar beneden) genomen worden. In het geval van een 3D reconstructie wordt aanbevolen om de opnames te maken in een hoek van graden wanneer er een rasterpatroon gevlogen wordt. Hierdoor is de zijkant goed zichtbaar op de opnames en kan deze beter gereconstrueerd worden. Voor meer detail kan er gekozen worden om een cross rasterpatroon te vliegen. Daarnaast bestaat er de mogelijkheid om oblique naar een object te kijken vanaf de zijkant in een circulaire vlucht. GCP: Om het model een betere nauwkeurigheid te geven, kunnen Ground Control Points ingezet worden. Het is belangrijk dat deze GCP s op de foto s zichtbaar zijn. De GCP s worden ingemeten met behulp van GPS apparatuur [9].

13 4 DATA VERZAMELEN EN ANALYSEREN Gedurende dit onderzoek zijn er twee momenten geweest om te testen. Het onderwerp van de eerste test is een huis op de Veluwe. Gedurende deze test is alle onderzochte theorie in de praktijk gebracht naar eigen inzicht. In de tweede test zijn er twee ketelwagens ingemeten op de Kleefse Waard, het testterrein van ProRail. EyeFly, een bedrijf gespecialiseerd in het inwinnen van data, heeft gedurende deze dag het inmeten verzorgd. Per test zal er worden besproken op welke manier er is gemeten en vervolgens op welke manier de data tot een 3D model is verwerkt TEST 1: VELUWE MEETPROCES Tien grond controlepunten zijn rondom het huis geplaatst. Hierbij is rekening gehouden met het feit dat de grond controlepunten zichtbaar moeten zijn op de opnames van de drone. De controlepunten zijn ingemeten behulp van een Trimble R8 GPS ontvanger. Het inmeten van de controlepunten is twee keer gebeurd. Naast controlepunten zijn er objecten met bekende afstanden rondom het huis geplaatst. Zo zijn er meerdere jalons neergezet en is er een meetlint neergelegd. Verder zijn er twee grond controlepunten vijf meter uit elkaar geplaatst. De gebruikte drone is een DJI Phantom 2 Vision+. Deze drone beschikt over een 14MP camera en een sensor afmeting van 1/2.3. De besturing van de drone is gedeeltelijk met de hand gebeurd en gedeeltelijk met behulp van een applicatie. Deze applicatie helpt bij het maken van een vluchtplan waarna de drone dit vluchtplan autonoom kan vliegen. Met behulp van de applicatie Litchi for P2 is een circulair vluchtplan gemaakt. De hoogte is ingesteld op 25 meter en de straal van cirkel is ingesteld op 25 meter. Er is een lage vliegsnelheid ingesteld zodat er een hoge overlap tussen de foto s is. De camera is ten allen tijden gericht op het middelpunt van het huis. Dit vluchtplan is twee keer uitgevoerd. De tweede vlucht bestond uit een raster met de camera loodrecht op het oppervlak gericht. Er is gevlogen op een hoogte van 25 meter. Voor het rasterpatroon zijn meerdere applicaties uitgeprobeerd. Echter voldeed geen enkele applicatie. Daarom is gekozen om de vlucht met de hand uit te voeren. Met de hand vliegen resulteert in een afname van netheid van het raster. Daarnaast is de overlap tussen de foto s minder constant. Als laatste is er met de hand een circulaire vlucht gemaakt op een hoogte van 15 meter. Deze vlucht moest met de hand worden uitgevoerd vanwege obstakels rond het huis. De camera is gedurende de gehele vlucht op het huis gericht. Naast de opnames die met de drone zijn gemaakt, zijn er ook opnames met een Nikon D3200 gemaakt. De opnames met de Nikon zijn allemaal gemaakt op ooghoogte en dichtbij het huis. In totaal zijn er met de drone 421 opnames gemaakt en 168 opnames met de Nikon camera. 10

14 4.1. TEST 1: VELUWE 11 Figure 4.1: Puntenwolk van het uiteindelijke gegenereerde model Belangrijk is om te controleren of er genoeg data verzameld is om een goed model te kunnen genereren. Om dit te controleren wordt de eerste stap van de Pix4D Mapper software gebruikt. Gedurende deze stap wordt een kwaliteitsrapport opgebouwd op basis van vijf punten. Dit zijn het aantal keypoints, de kalibratie van de foto s, de camera parameters, de overeenkomstige keypoints tussen de foto s en de afwijking van de grondcontrolepunten. Naast de vijf controle punten uit het kwaliteitsrapport kan er ook een visuele inspectie worden gedaan. De gegenereerde keypoints moeten geen vervormingen vertonen ten opzichte van de werkelijkheid. Wanneer zowel het kwaliteitsrapport als de visuele inspectie zijn goedgekeurd, is er in principe genoeg data verzameld voor een goed model. Echter kan er geen garantie worden gegeven op basis van deze controles [10] VERWERKING TOT 3D-MODEL Met alle verkregen data is een 3D model gebouwd. Het 3D model is tot stand gekomen met de hulp van de Pix4D mapper software, zoals eerder beschreven. Het resultaat is te zien in figuur 4.1 op pagina 11. De gebruikte DJI Phantom kan GPS coordinaten opslaan bij de gemaakte foto s. Echter blijven deze coördinaten alleen nauwkeurig beschikbaar op het moment dat er gebruik wordt gemaakt van de Pix4D capture applicatie. Bij gebruik van andere applicaties om een vluchtplan te maken zal een deel van de nauwkeurigheid van de coördinaten verloren gaan. In deze test is de Pix4D capture applicatie niet voor alle vluchten gebruikt en dus zijn de locaties van een aantal series opnames niet nauwkeurig bekend. Wanneer deze series opnames gebruikt worden in de Pix4D software kan de kalibratie moeilijker verlopen. De datasets van de Nikon en de Phantom kunnen niet vanaf moment één bij elkaar gevoegd worden. De datasets moeten afzonderlijk van elkaar de eerste processing stap doorlopen. Dit heeft te maken met de verschillende parameters (brandpuntsafstand, etc.) per camera. Wanneer beide modellen een positieve kwaliteitscontrole hebben kunnen deze bij elkaar gevoegd worden. Door middel van grond controlepunten en handmatige controlepunten kunnen de twee datasets gekoppeld worden.

15 4.1. TEST 1: VELUWE 12 Figure 4.2: Polyline in Pix4D met nauwkeurigheid van minder dan 1 centimeter gemeten Nadat de datasets zijn samengevoegd en er een model is ontstaan van keypoints waar alle foto s in zijn meegenomen, kan er verder gegaan worden met het toevoegen van de GCP s. Dit dient te gebeuren voordat de densified point cloud wordt gegenereerd om ervoor te zorgen dat alle punten een juiste absolute positie mee krijgen. Belangrijk is om zorg te dragen dat alle GCP s nauwkeurig worden ingeklikt, dit zorgt namelijk voor een nauwkeuriger model. Hierna kan stap twee van de Pix4D software worden uitgevoerd. In deze stap worden een verdichte puntenwolk en een 3D mesh gegenereerd. In eerste instantie zijn de meest uitgebreide opties gebruikt. In deze instelling wordt de hoogste kwaliteit van de foto s gebruikt om keypoints in te vinden. Daarnaast is ingesteld dat een punt op minimaal vier verschillende opnames zichtbaar moet zijn voordat deze in de puntenwolk gebruikt mag worden. Dit om ruis te voorkomen. De resulterende puntenwolk geeft de vorm van het huis goed weer. Al is op sommige plekken is de puntdichtheid niet groot genoeg om alles te bedekken en zijn een aantal punten niet correct. De maatvoering van het model is daarentegen heel goed. Na het terug meten van de bekende afmetingen kan er geconcludeerd worden dat het model afstanden met een nauwkeurigheid van 1 cm of beter kan geven. In figuur 4.2 is de afstand tussen twee GCP s gemeten. De GCP s zijn voorafgaand aan het meten op een afstand van 5 meter van elkaar geplaatst. Deze nauwkeurigheid is relatief binnen de puntenwolk. Maar zou natuurlijk ook absoluut kunnen worden berekend met dezelfde nauwkeurigheid als de GCP s. Naast het genereren van een verdichte puntenwolk wordt in stap twee ook een 3D mesh gecreëerd. De resultaten van de mesh zijn wisselend. Op de plekken waar een hoge punten dichtheid is, is het resultaat goed. Echter zijn er gaten zichtbaar op de plekken waar de punten dichtheid laag is en zijn er op de dakranden vreemde vormen zichtbaar, zie figuur 4.3. Dit zijn vooral visuele minpunten en doet niets af aan de kwaliteit van de puntenwolk. Er zijn mogelijk meerdere factoren die meespelen in dit resultaat. Ten eerste kunnen de instellingen van Pix4D zorgen voor dit resultaat. Wellicht moet een punt in meer dan vier foto s zichtbaar zijn om de ruis te kunnen verwijderen. Verder hebben de omstandigheden waarin de foto s zijn genomen geen positief resultaat op het aantal kenmerkende punten dat wordt gecreëerd. De eerste test heeft plaatsgevonden in een besneeuwde omgeving met wisselende lichtomstandigheden. Zoals eerder beschreven zoekt de software naar opvallende punten in de foto. Door de sneeuw is een deel van de foto egaal wit. De software kan hier niet tot nauwelijks punten in herkennen.

16 4.2. TEST 2: KLEEFSE WAARD 13 Figure 4.3: Ruis boven dakrand Door de laagstaande zon begaf, gedurende een deel van de proef, een hoek van het huis zich in de schaduw. Het is voor de software lastig om deze verschillen in belichting te herkennen. Hierdoor is het voorgekomen dat de opnames aan de schaduwkant van het huis niet gekalibreerd kunnen worden. Vooral het om een hoek heen werken is lastig en vereist een grote hoeveelheid opnames. Naast dat er minder punten zijn gecreëerd zijn er ook verkeerde punten gecreëerd. Het wolkendek was op de dag van de proef heel egaal gekleurd. Deze egale verdeling heeft er mogelijk voor gezorgd dat de software punten herkend boven de dakrand. Het contrast van de dakrand met het egale wolkendek is gelijk voor meerdere opnames en dus worden er punten toegekend door de software. Het is beter om meer te focussen op het onderwerp en zo veel mogelijk van de lucht en de horizon te vermijden. Als laatste zou het mogelijk kunnen zijn dat er teveel afbeeldingen zijn gebruikt. In de dataset zijn afbeeldingen aanwezig die op dezelfde of bijna dezelfde plek genomen zijn. In deze foto s is alleen de oriëntatie van de camera veranderd. Door al deze foto s mee te nemen in het model wordt er extra onnauwkeurigheid toegevoegd [11] TEST 2: KLEEFSE WAARD MEETPROCES Voor de tweede proef is er gekozen voor een realistischere situatie. De proef is uitgevoerd op de Kleefse Waard. Een industrieterrein waar ProRail traint om ongelukken op het spoor af te handelen. Op dit terrein zijn tijdens een training van ProRail twee ketelwagens ingemeten. Het inmeten is gedaan door EyeFley, een professioneel drone bedrijf met professionele apparatuur. Ook bij deze test is er gebruik gemaakt van grond controlepunten. De grondcontrole punten zijn gemarkeerd op twee verschillende methoden. Ten eerste zijn er metalen platen gebruikt met witte en zwarte blokken. Daarnaast zijn er controlepunten gecreëerd door met verf een zelfde patroon te spuiten als de metalen platen rondom een spijker die in de grond werd geslagen. Deze grond controlepunten zijn vervolgens ingemeten met Trimble GPS apparatuur. Om de nauwkeurigheid te vergroten is dit 3x gedaan voor het vliegen met de drone en nogmaals 3x na afloop van het vliegen met de drone. Op deze manier kan worden vastgesteld dat de grondcontrole punten niet zijn verplaatst gedurende het vliegen. De besturing van de drone is gedaan door EyeFly. Twee piloten waren aanwezig om alles vast te leggen. Hierbij was de ene piloot verantwoordelijk voor het vliegen en de andere piloot voor het opnemen van de beelden. Voor het vliegen van de rasters en de rondes hebben de piloten gebruik gemaakt van de pix4d capture app. Deze app maakt het mogelijk om de drone autonoom vooraf ingestelde patronen te vliegen. Voor deze test is gebruik gemaakt van een DJI Inspire 1 met een X4S camera. Deze camera heeft een 20 megapixel CMOS sensor en bevat een leaf shutter om het rolling shutter effect tegen te gaan. Het vluchtplan is grotendeels gelijk aan het vluchtplan van de eerste proef. Er is een dubbel raster gevlo-

17 4.2. TEST 2: KLEEFSE WAARD 14 gen op 30 meter hoogte met de camera in een hoek van 70 graden. Hierdoor kijkt de camera niet loodrecht op de grond en neemt het meer details van de zijkanten mee. Door een dubbel raster te vliegen worden meer details van alle zijkanten meegenomen. De overlap tussen de foto s is zowel in voorwaartse als zijdelingse richting 90 De tweede vlucht bestond ook uit een dubbel grid gevlogen op 20 meter hoogte met de camera loodrecht gericht op het oppervlak. Hierbij is dezelfde overlap aangehouden als in de eerste vlucht. Verder zijn er drie rondes gevlogen met de camera gericht op het midden van de twee ketelwagens. De rondes zijn gedaan op 10 meter, 20 meter en 30 meter hoogte. Hierbij is om de 6 graden een foto gemaakt, wat per vlucht 60 opnames oplevert. Als laatste is er een ronde gemaakt met de drone in de hand. Dit is gedaan om extra details vast te leggen vanaf ooghoogte. Ook zijn er op deze manier foto s gemaakt van de situatie tussen de ketelwagens. Naast de drone is er ook een totaalstation ingezet. Met het totaalstation zijn de grond controlepunten ingemeten. Hierbmee kunnen de afstanden tussen de grond controlepunten worden bepaald in een relatief stelsel. Als laatste is er een statische scanner, een Leica P30, gebruikt om een tweede puntenwolk te creëren van de ketelwagens door middel van een alternatieve methode. De statische scanner is op meerdere plekken rondom de ketelwagens gepositioneerd om puntenwolken te creëren. De resulterende puntenwolken zijn aan elkaar gekoppeld tot een grote puntenwolk. In totaal heeft de tweede test 3 uur en 38 minuten geduurd. Dit is de volledige tijdsduur van de proef inclusief het uitzetten van de grond controlepunten, het vliegklaar maken van de drone, instellen van de verschillende vluchtplannen, het vliegen van 6 vluchten, het inmeten van de grond controlepunten met zowel GPS als het totaalstation en het uitvoeren van een controle om te kijken of er genoeg data verzameld is VERWERKING TOT 3D-MODEL EyeFly heeft de taak op zich genomen om de data van de tweede test te verwerken. Uiteindelijk heeft EyeFly twee puntenwolken geleverd. De eerste puntenwolk is gegenereerd met behulp van fotogrammetrie en de opnames gemaakt door de drone in het programma Pix4D. EyeFly heeft verschillende configuraties van instellingen in Pix4D geprobeerd. Ook is er gevarieerd met de vluchten die gebruikt zijn voor het bouwen van het model. De verschillende configuraties zijn gebruikt om stap 2 van de Pix4D software uit te voeren. Uiteindelijk zijn de drie circulaire vluchten gebruikt. Pix4D stond ingesteld om de helft van de afbeeldingsgrootte te gebruiken, een optimale puntdichtheid te genereren en een punt moet in minimaal 3 foto s zichtbaar zijn. De gemiddelde GSD komt met deze instellingen uit op 1.14 cm per pixel. De puntenwolk, figuur 4.5 vertoond geen vertekeningen en veel details zijn zichtbaar. EyeFly heeft de puntenwolken met de hand waar nodig opgeschoond om een netter resultaat te krijgen. Hierbij worden foutieve punten met de hand verwijderd. In de 3D-mesh zijn niet alle details correct weergegeven omdat er op sommige plekken een te kleine puntdichtheid is. Dit is onder andere zichtbaar bij de reling bovenop de ketelwagen. Door alleen circulaire vluchten te gebruiken, zijn er vertekeningen te zien in de ortho mosaic. Deze vertekeningen vinden plaats buiten het gebied van interesse en zijn dus niet van belang. Deze vertekeningen kunnen voorkomen worden door een raster vlucht toe te voegen aan de dataset. Het verschil tussen de orthomosaics is te zien in figuur 4.6. Ook is er gekeken naar de mogelijkheid om de foto s die op de grond zijn gemaakt met de drone in de hand toe te voegen in het model dat met de circulaire vluchten is gecreëerd. Echter bleek dit nog lastiger dan gedacht omdat er niet genoeg overlap in deze grond foto s zat. Aangezien er geen vluchtplan kan worden gemaakt voor deze grond foto s zijn deze op de gok genomen. Dit zou in de toekomst beter kunnen om ook meer detail van de zijkanten mee te kunnen nemen.

18 4.2. TEST 2: KLEEFSE WAARD 15 Figure 4.4: Meting van de wielbasis in de puntenwolk Figure 4.5: Resulterende textured mesh testdag Kleefse Waard

19 4.2. TEST 2: KLEEFSE WAARD 16 Figure 4.6: Verschil in orthomosaic met (rechts) en zonder(links) rastervlucht De tweede puntenwolk bestaat uit de resultaten van de statische scanner. De statische puntenwolk heeft een 3d nauwkeurigheid van 3 mm op 50 meter en biedt een zeer nauwkeurig afspiegeling van de werkelijkheid. De losse puntenwolken verkregen uit de verschillende posities van de statische scanner worden aan elkaar gerekend met een foutmarge van maximaal 1 cm. Samen met EyeFly zijn de resultaten van de twee testdagen besproken. Er is gekeken naar welke vluchten zijn uitgevoerd en welke vluchten noodzakelijk zijn om de gestelde eisen te halen. Geconcludeerd kan worden dat er drie vluchten noodzakelijk zijn. Ten eerste een raster vlucht met de camera nadir om een overzicht van de situatie te creëren. De tweede en derde vlucht bestaan uit circulaire vluchten. Hierbij is de camera gericht op het middelpunt van de situatie. De circulaire vluchten worden uitgevoerd op verschillende hoogtes en daardoor ook met een verschillende camerahoek. Het verwerken van de data tot een 3D model heeft weinig problemen opgeleverd. De software kan in alle situaties een goede puntenwolk produceren. Deze puntenwolk kan met de hand worden opgeschoond. Het opschonen van de puntenwolk leid tot een betere 3D mesh.

20 5 ONDERZOEKSRESULTATEN 5.1. TOETSING NAUWKEURIGHEID Uit de vorige hoofdstukken is gebleken dat er veelbelovende resultaten zijn geboekt in de verschillende tests. Maar deze tests dienen getoetst te worden voordat kan worden gezegd dat ze echt betrouwbaar genoeg zijn om alleenstaand te kunnen gebruiken. Een eerste methode om dit te toetsen is aan de hand van de twee puntenwolken die tijdens de tweede testdag zijn gemaakt. Zoals eerder vermeld is een puntenwolk geproduceerd uit de opnames van de drone en een puntenwolk met behulp van een statische scanner. De gebruikte statische scanner is een Leica P30 en heeft een 3D nauwkeurigheid van 3 mm op 50m, zie appendix A. Deze twee puntenwolken zijn op elkaar gelegd om een goed beeld te krijgen hoe de twee puntenwolken van elkaar verschillen. Het eerste wat opvalt is dat er minder punten in de puntenwolk van de drone aanwezig zijn. Hierdoor zijn details minder nauwkeurig weergegeven. Dit is bijvoorbeeld te zien als de spoorstaven bekeken worden zoals in figuur 5.1. Echter als er gekeken wordt naar een groter perspectief, figuur 5.2, dan komen de puntenwolken op veel gebieden overeen. De afwijkingen tussen de puntenwolken zijn 1 mm tot 1 cm op horizontale vlakken en zijn 1 cm tot 2 cm op verticale vlakken. De puntenwolken verschillen vooral op plekken waar de drone enkele of geen opnames heeft kunnen maken. Denk hierbij aan de onderkant van een ketelwagen. Deze is voor de drone moeilijk te fotograferen vanwege de vluchthoogte van de drone. Figure 5.1: Vergelijking spoorstaaf, statische scanner (groen) en drone (paars) 17

21 5.2. VOORDELEN PRORAIL 18 Figure 5.2: Vergelijking statische scanner (groen) en drone (paars) Een tweede methode om te testen of het model representatief is blijft de simpele opgave om objecten waarvan de werkelijke afstand bekend is, terug te meten in het model. Zoals in de eerste test is besproken bleken deze afstandsmetingen erg nauwkeurig, tot op 1 centimeter. Ook in het model van de tweede test is een afstand tussen twee wielassen gemeten. Deze afstand is altijd exact 1,80 meter, en dat is ook exact de afstand die in het model is terug te meten VOORDELEN PRORAIL ProRail kan op verschillende manieren profiteren van het gebruik van drone technologie. Een van deze mogelijkheden kwam pas naar voren op de tweede testdag op de Kleefse Waard. Daar bleek dat het van hele grote waarde zou zijn als de drone die aanwezig is voor de metingen eerst wordt gebruikt om een overzicht te creëren van de situatie voor het incident team van ProRail. Het team met experts zit op afstand en krijgt mondeling of via foto s op Twitter een eerste idee van de situatie. Dit kan verwarrende situaties opleveren. Door de inzet van drones kan binnen enkele minuten een overzicht gegeven worden van de situatie. Opnames van de drone kunnen tijdens het vliegen gedownload worden en doorgestuurd worden naar het expert team. Naast een snel overzicht om een plan van aanpak te maken, kan de drone ook snel een totaaloverzicht vastleggen voor op een later moment. Het documenteren van een ongeval kan in de huidige situatie meerdere uren duren. Onder andere de Inspectie voor de Leefomgeving en Infrastructuur, de politie en ProRail zelf doen hun eigen onderzoek. Iedere partij heeft minimaal een uur nodig, afhankelijk van de situatie, om het eigen onderzoek af te ronden. In een ideale situatie wordt de data en daarmee het model dat op basis van de dronebeelden is gegenereerd, door alle partijen geaccepteerd en hoeft er maar één onderzoek uitgevoerd te worden. Dit is mogelijk omdat de drone de gehele ongevalssituatie vastlegt. Hierdoor kan iedere partij zijn eigen belangrijke data uit het model halen. Ook kan er winst worden geboekt op het meten van moeilijk begaanbare afstanden. Bijvoorbeeld over een traject van meerdere tientallen meters, of een traject met obstakels. In het gegenereerde 3D-model kan elke meting even snel worden uitgevoerd. Een laatste punt wat voordelen kan bieden voor ProRail is de mogelijkheid om het model altijd achteraf nog te kunnen raadplegen, ook voor bijvoorbeeld bewijsvoering. Met de nauwkeurigheid die is aangetoond is genoeg bewijs geleverd dat het model dat wordt gecreëerd betrouwbaar genoeg is om op juridisch vlak te kunnen gebruiken. Waar er voorheen alleen maar naar de situatie kon worden gekeken via foto s kunnen er nu bij nieuwe ontwikkelingen nog nieuwe dingen worden gemeten en bekeken in het model AFWEGING NAUWKEURIGHEID TEGENOVER SNELHEID Er dient een afweging gemaakt te worden tussen de te behalen nauwkeurigheid en de tijd waarin dit dient te gebeuren. Tijdwinst is een belangrijk onderdeel van dit onderzoek en staat daarom voorop, maar dat mag niet ten koste gaan van de kwaliteit. Een belangrijke factor die meespeelt in deze keuze over hoeveel tijd er beschikbaar is, is geld. Helaas is er vanuit ProRail geen tot weinig informatie beschikbaar over de kosten van een ongeluk. Niet over de uitvoering van het onderzoek zelf en ook niet over de kosten van het niet kunnen

22 5.3. AFWEGING NAUWKEURIGHEID TEGENOVER SNELHEID 19 Figure 5.3: Resultaat van verschillende instellingen in Pix4D gebruiken van het spoor. Daarom zal deze factor voor nu even buiten beschouwing worden gelaten. Na tijd is de grootste factor de eis qua nauwkeurigheid. Omdat deze eis minimaal gehaald moet worden, zal dit grote invloed hebben op de hoeveelheid data die zal worden verzameld. Over het algemeen geldt hoe meer data, hoe groter de nauwkeurigheid. Echter houdt deze regel op een gegeven moment op. Na dit punt betekent het toevoegen van meer data niet perse dat het model nauwkeuriger wordt. Dit omslagpunt is lastig aan te duiden. Uit de experimenten is gebleken dat drie vluchten al genoeg zijn om de nauwkeurigheidseis te halen. Meer data betekent naast een hogere nauwkeurigheid ook dat de software langer nodig heeft om de data te verwerken. Dit hoeft geen probleem te zijn omdat het model niet ter plekke gegenereerd hoeft te worden. Het enige wat vastgesteld moet worden is of er genoeg data verzameld is met de snelle check van de Pix4D software. Deze check zal echter meer tijd in beslag nemen naarmate de dataset groter is. Om dit te testen zijn er meerdere test scenario s uitgevoerd om deze verschillen te bekijken. Belangrijk om daarbij te onthouden is dat de tijd die moeten worden uitgetrokken voor het runnen van deze eerste check natuurlijk ook afhankelijk is van de hardware waarmee deze check wordt gedaan. Pix4D maakt intensief gebruik van de CPU en RAM van de computer waar het op draait, als hier mee van aanwezig is, zal de data sneller kunnen worden verwerkt. Zoals eerder besproken maakt het dus ook uit hoeveel foto s er gebruikt worden en in welke kwaliteit deze worden geprocessed door Pix4D. Om erachter te komen wat de invloed is van deze instellingen op de tijd die het kost om een eerste check te doen, is de data van de eerste test op meerdere manieren verwerkt. Hierbij is gevarieerd in het aantal foto s dat is gebruikt, maar ook in de kwaliteit van de foto s, full betekent 100% en rapid betekent 25%. De testen zijn gedaan om een computer met 8 GB RAM en een CPU van 3.00 Ghz. Uit deze resultaten, zie figuur 5.3, komt duidelijk naar voren dat de tijd die het kost om te processen een sterk positief verband vertoont met zowel het aantal foto s als de kwaliteit van de foto s. Waar 114 foto s en een kwaliteit van 25% er slechts 5 minuten over doet om een eerste model te creëren, is ervoor gekozen om de test met 446 foto s op 100% niet eens uit te voeren vanwege tijdgebrek. Dit is natuurlijk voor de uiteindelijke toepassing op de praktijksituatie bijzonder interessant. Als we kijken naar de kwaliteitscontrole zien we geen onverwachte uitkomsten. Wel zien we dat het model meer moeite heeft om alle foto s in eerste instantie te kalibreren als er minder data beschikbaar is. Dit zien we ook terug in het aantal matches per image, deze neemt evenredig toe met de hoeveelheid data en kwaliteit. Wat wel opvalt aan de resultaten is het verschil in de Ground Sampling Distance, deze lijkt beter te zijn in het geval dat er minder foto s worden gebruikt. Een verklaring voor dit verschijnsel zou kunnen zijn dat meer oblique gerichte foto s de gemiddelde GSD omhoog halen, doordat het moeilijk blijkt een precieze GSD vanuit een oblique gerichte foto te berekenen[9]. Als laatste kan er nog worden gekeken naar de metingen die in het model zijn uitgevoerd. Er moet bij worden gezegd dat metingen die in het eerste model worden gedaan minder nauwkeurig kunnen zijn dan metingen die pas worden gedaan nadat de point cloud densification is toegepast. Maar uit deze resultaten blijkt dat de nauwkeurigheid niet veel verschilt tussen de verschillende test scenario s. Dit zou ervoor pleiten om op locatie bij een incident te kiezen voor de de snelst mogelijke instellingen voor een eerste check.

23 6 CONCLUSIE EN DISCUSSIE 6.1. BESPREKING RESULTATEN Uit dit onderzoek kan geconcludeerd worden dat met behulp van drones opnames een 3D model gecreëerd kan worden van een incident op het spoor. Het model wordt gecreëerd door middel van fotogrammetrie. In dit model is het mogelijk om achteraf afstanden op te meten met een relatieve nauwkeurigheid van 1 centimeter. Door het gebruik van grond controlepunten die met behulp van GPS worden ingemeten kan het model geschaald worden en kan het model ook een absolute referentie meekrijgen. Naast de opnames van de drone is het mogelijk om het model te verbeteren met opnames die op een andere manier zijn verkregen. Hierbij geldt wel dat de dataset die wordt toegevoegd op zichzelf een model moet kunnen vormen. Dit is nodig omdat de datasets anders niet samengevoegd kunnen worden. Het plaatsen en inmeten van de grond controlepunten kostte gedurende de tweede testdag ongeveer 40 minuten. De drie drone vluchten die minimaal vereist zijn om de nauwkeurigheidseis van 1 centimeter te halen kosten ongeveer 30 minuten. Daarna is er 20 minuten nodig om zeker te weten dat er genoeg data verzameld is. Dit betekent dat het vastleggen van een ongeluk in 1 uur en 30 minuten gebeurd kan zijn. Bij het inzetten van drones komt veel kijken. In Nederland is er veel regelgeving omtrent het gebruik van drones wat het onmogelijk maakt om zonder vergunningen een drone professioneel te mogen gebruiken. ProRail moet drone-teams gaan opleiden of gebruik maken van een externe partij als EyeFly. Dezelfde regelgeving zorgt ervoor dat drones veilig boven mensen gevlogen kan worden. Vluchten moeten redundant worden uitgevoerd zodat zelfs bij uitval van onderdelen de drone in de lucht kan blijven en veilig aan de grond gebracht kan worden EVALUATIE VAN HET ONDERZOEK Gedurende de testdagen zijn er verschillende weersomstandigheden voorbij gekomen. De eerste dag bestond uit een bewolkte dag met sneeuw met later op de dag een laagstaande zon. Op de tweede testdag was er geen bewolking en scheen de zon de gehele tijd. Ondanks deze verschillende omstandigheden zijn de resultaten in beide gevallen positief. In de testdagen zijn een huis en een trein het onderwerp geweest. Ondanks dat een huis en een trein niet hetzelfde zijn, komen de resultaten wel overeen. Dit laat zien dat de technologie mogelijk voor meer doeleinden gebruikt kan worden TERUGKOPPELING NAAR ONDERZOEKSVRAAG Kunnen de doorlooptijd en de kosten bij het inmeten van treinincidenten door ProRail door middel van 3Dfotogrammetrie met drones omlaag terwijl de kwaliteit verbetert? De onderzoeksvraag kan in drie delen worden opgeknipt. Ten eerste de doorlooptijd bij het inmeten van treinincidenten. Hier kan geconcludeerd worden dat doorlooptijd heel erg verkort kan worden. Zeker als er tussen partijen overeengekomen kan worden dat het inmeten met een drone voor alle partijen een goede optie is. Het tweede deel zijn de kosten. Precieze kosten zijn niet beschikbaar. Wel is zeker dat wanneer een spoor 20

24 6.4. SUGGESTIES VOOR VERVOLGONDERZOEK 21 sneller weer in gebruik genomen kan worden er kosten worden bespaard. Het laatste onderdeel is de kwaliteit. De kwaliteit zal verbeteren als de onderzochte technologie wordt toegepast. Deze toename zal zitten in het feit dat het model een goed overzicht geeft van de situatie en er achteraf dingen terug gemeten kunnen worden. Dit is van grote waarde in het afhandelen van een treinincident. Daarnaast is het mogelijk om dwars door objecten heen te meten SUGGESTIES VOOR VERVOLGONDERZOEK In aansluiting op dit onderzoek zijn er verschillende onderwerpen die verder onderzocht kunnen worden. Er kan gekeken worden of de kwaliteit van het model verbeterd kan worden. Voor dit onderzoek is dit niet relevant, maar wellicht nuttig wanneer de technologie elders wordt toegepast. Zo kan er gekeken worden hoeveel afbeeldingen er nodig zijn voor een bepaalde nauwkeurigheid, of er te veel afbeeldingen gebruikt kunnen worden en hoe de GSD zo kleine mogelijk gemaakt kan worden. Op het moment is regen een beperkende factor voor de inzet van drones. Niet alleen voor het vliegen van de drone, maar ook voor het creëren van een puntenwolk. Reflecties van water verslechteren de kwaliteit van het model. Mogelijk zijn hier oplossingen voor te vinden in de toekomst. Verder kan er onderzoek worden gedaan naar het gebruik van thermische beelden in het onderzoek. Thermische beelden kunnen helpen bij het vaststellen van de oorzaak van het ongeluk. Verder kunnen thermische beelden helpen bij situaties waar brandbare en andere gevaarlijke stoffen betrokken zijn.

25 BIBLIOGRAPHY [1] Concepts of aerial photogrammetry, National Resources Canada (2016), nrcan.gc.ca/earth-sciences/geomatics/satellite-imagery-air-photos/air-photos/ about-aerial-photography/9687. [2] T. Luhman, S. Robson, and S. Kyle, Close range photogrammetry: principles, techniques and applications (2006). [3] C. Fraser, What is photogrammetry? Quality Digest Daily (2015). [4] M. Butler, Marine resource mapping: an introductory manual (Food and Agriculture Organization of the United Nations, 2016). [5] T. Schenk, Introduction to photogrammetry (Ohio State University - Department of Civil and Environmental Engineering and Geodetic Science, 2005). [6] F. Delleart, Structure from motion without correspondence, Computer Vision and Pattern Recognition (2000), department of Computer Science Carnegie Mellon University. [7] M. Westoby, Structure from motion photogrammetry: A low cost, effective tool for geoscience applications, Elsevier (2012), institute of Geography and Earth Sciences, Aberystwyth University. [8] M. Desgroseilliers, Camera parameters optimization, (2017), pix4d. [9] Pix4D, How to select camera and focal length and flight altitude considering the desired ground sampling distance and terrain to map? (2016), [10] M. Desgrosseilliers, Pix4d video academy 10: Quality asessment, (2017), watch?v=_aafbdx0px4. [11] O. Kung, Pix4d webinar 10: Mergering terrestial and aerial images in one project, (2014), youtube.com/watch?v=01ohun3qn0e. 22

26 A KWALITEITSRAPPORT 23

27 CGI Nederland - PoC ProRail Arnhem Kwaliteitsrapportage Nauwkeurigheid fotogrammetrie vs Statisch Door: Anne-Paul Schuur Geomaat Remco Kootstra - Eyefly

28 Inleiding Op het industriepark Kleefse Waard te Arnhem heeft Eyefly in samenwerking met Geomaat een situatiemeting uitgevoerd met een statische scanner en een drone. Beide metingen zijn met behulp van grondslagpunten op elkaar gelegd. De grondslagmeting is uitgevoerd met behulp van GPS en Total Station. Met de drone zijn luchtfoto s gemaakt. Met behulp van fotogrammetrie is een pointcloud gemaakt. Ook hebben we een pointcloud gemaakt met de statische scanner. De data van de statische scanner is nauwkeuriger dan de data van de drone. In dit verslag wordt het verschil van de drone data en de statische scanner data getoond. Nauwkeurigheid Grondslag Statische Scan De statische scanner die is ingezet is de Leica P30. Er is gescand met een resolutie van 3.1mm op 10 meter. De scanner heeft een afstandsnauwkeurigheid van 1.2 mm + 10 ppm over zijn volledige bereik. De hoeknauwkeurigheid is 8 horizontaal en 8 verticaal. De 3d nauwkeurigheid is 3mm op 50 meter en 6 mm op 100 meter. Afwijkingsrapport statische scan De scans zijn onderling cloud to cloud aan elkaar gerekend. De error die we aflezen is de grootste afwijking die tussen twee clouds inzit. De 9000 nummers zijn de afwijkingen tussen de pointcloud en de grondslag. PoC Prorail Arnhem

29 Drone data Voor het uitvoeren van de vluchten is er gekozen voor de DJI Inspire 2 met een X4S camera. Er is voor de X4S camera gekozen omdat deze een zogenoemde leafshutter heeft. De leaf shutter heeft ten opzichte van een digitale shutter géén rolling shutter wat voor een grotere onnauwkeurigheid in de data zou kunnen zorgen. De X4S camera heeft een 1" 20 megapixel CMOS-sensor en er is gekozen voor een vaste sluitertijd van 1/1600 (shutter priority). De witbalans werd automatisch bepaald en de ISO werd vastgezet op de laagste setting van 100 omdat er weinig tot géén bewolking was. De data is op alle manieren geprocessed alleen voor het vergelijken van de statische scan data is er gekozen om alleen met de 3 orbit missions te werken. Dit zal bij de bespreking verder toegelicht worden. De vluchten zijn uitgevoerd op 10, 20 en 30 meter AGL (Above Ground Level) en er zijn 60 foto s per vlucht gemaakt. Ofwel, iedere 6 graden werd er een foto gemaakt. (360/6=60 foto s) Er is een gemiddelde GSD (Ground Sampling Distance) van 1,14cm per pixel behaald. Zie onderstaand quality report voor de details: De kwaliteitsrapportage van Pix4D ziet er goed uit en er zijn géén abnormale waardes gezien. Het enigste is dat de Inspire 2 de hoogtes op dit moment nog niet goed kan registreren. Daarom zien we een hoge RMS Error onder Absolute Gelocation Variance in de Z kolom. Door het toevoegen van de GCP s heeft dit niet geresulteerd in een afwijking in de data. Kortom, de data in Pix4D ziet er erg goed uit. PoC Prorail Arnhem

30 Scangebied Op de profielen A-A t/m D-D zien we de vergelijking tussen de data van de Drone en de statische scanner Wat opvalt is dat de plakdikte van de drone data varieert van 1 cm tot 4 cm. De statische data varieert de plak dikte van 1 mm tot 2cm. Groen Statisch Paars Drone Profiel A-A Profiel B-B Groen Statisch Paars Drone Detail Spoorstaaf Profiel B-B Groen Statisch Paars Drone PoC Prorail Arnhem

31 Profiel C-C Groen Statisch Paars Drone Profiel D-D Groen Statisch Paars Drone Als er ingezoomd wordt op een profiel en steekproefsgewijs maten worden gemeten tussen de statische en de drone data wordt er een maximale afwijking van 20mm gemeten. Op de grote horizontale vlakken, denk aan het asfalt en het grind, zitten weinig afwijkingen tussen de dronedata en de statische data. Ingezoomd op een horizontaal vlak afwijking 1 mm tot 1 cm Ingezoomd op verticaalvlak afwijking 1 tot 2 cm Het grote profiel van de drone data toont weinig grote afwijkingen ten opzichte van de statische data. PoC Prorail Arnhem

32 Wordt er gekeken naar kleinere details in het profiel zoals spoorstaven dan wijkt het meer af. De vorm van de staven zijn in de drone data nauwelijks te herkennen, zoals in de statische data. Ingezoomd Spoorstaaf PoC Prorail Arnhem