LiBorg 2.0: een robot die on the fly omgevingen in kaart brengt

Transcriptie

1 Editie oktober 2018 Smart Industries LiBorg 2.0: een robot die on the fly omgevingen in kaart brengt Het in kaart brengen van bijv. tunnels of industriële gebouwen is vandaag een tijdrovende en dure klus. Om dat te verbeteren, ontwikkelde IPI een imec onderzoeksgroep aan de UGent het mapping platform LiBorg. Hiermee kan in realtime een gedetailleerd 3D-model van eender welke omgeving gemaakt worden, op basis van lidar-technologie. Doctoraatsstudent Michiel Vlaminck en projectmanager Hiep Luong leggen uit hoe LiBorg werkt en wat de voordelen zijn. Hoe het begon... De fundamenten van het 3D-mapping platform LiBorg werden een viertal jaar geleden gelegd, tijdens het imec.icon-project GIPA. In het kader van dat project was industriële partner Sweco (het vroegere ingenieursbureau Grontmij) op zoek naar een efficiënt systeem om grootschalige sites, constructies of bouwwerven te kunnen monitoren, en bijvoorbeeld na te gaan of de bouw ervan volgens plan verloopt. Michiel Vlaminck: Vandaag worden hiervoor typisch statische laserscanners gebruikt, die handmatig worden opgesteld op verschillende plaatsen in de omgeving. Dat vraagt heel wat expertise, en is vaak erg duur en tijdrovend. Sweco was daarom op zoek naar een systeem waarmee 3D-modellen efficiënter, goedkoper en on the fly kunnen worden gemaakt. 1/6

2 LiBorg 2.0 Tijdens dat project zag LiBorg het levenslicht een 3D-mapping platform dat na afloop van het GIPA-project alsmaar verder werd verfijnd. In zijn huidige vorm LiBorg 2.0 bestaat het mapping platform uit een mobiele robot, sensoren, waaronder een lidar-scanner, en reconstructiesoftware waarmee in realtime een 3D-model van eender welke omgeving wordt gegenereerd. Hiep Luong: Onze off-the-shelf lidar-scanner is uitgerust met 16 laserbundels die 10 keer per seconde ronddraaien. Door de tijd te meten die elke laserstraal nodig heeft om een object in de omgeving te bereiken en terug te keren, kan de afstand tot het object worden berekend. Door die afstanden in een coördinatensysteem te zetten, wordt een driedimensionale puntenwolk van de omgeving gecreëerd. Het systeem is ook uitgerust met een RGB-camera. Een synchronisatiemodule laat toe om data van die kleurencamera te synchroniseren met de lidar, waardoor realistische kleuren aan de puntenwolk kunnen worden toegevoegd. LiBorg 2.0: een robot uitgerust met lidar-scanner, reconstructiesoftware en RGB-camera. Een uniek lokalisatiesysteem Uniek aan het LiBorg-systeem is dat de lidar-scanner ook gebruikt wordt voor het lokaliseren van de robot, zonder dat hiervoor andere technieken zoals gps worden ingezet. Michiel Vlaminck: Om een 3D-model van een omgeving te kunnen creëren, moet de plaats van de robot in de omgeving op elk moment gekend zijn. Dat doen we in een eerste stap door de nieuwe sensordata die binnenkomen telkens te relateren aan de sensordata die daarvoor al binnenkwamen. Deze techniek wordt SLAM genoemd (simultaneous localization and mapping): terwijl de kaart van de omgeving wordt opgebouwd, plaatst de robot zichzelf als het ware in deze kaart. In daaropvolgende stappen wordt deze lokalisatie verder verfijnd. Zo worden in een tweede stap de data gerelateerd aan het volledige model dat tot dusver werd opgebouwd. In een laatste stap laten we de robot in een gesloten lus rijden zodat hij op het einde terechtkomt bij zijn (gekend) beginpunt. Daarmee kunnen de lokalisatiefouten die zich tijdens het traject hebben opgestapeld, worden gecorrigeerd. 2/6

3 De voordelen op een rijtje... Door deze manier van lokaliseren is het platform niet afhankelijk van externe lokalisatiesystemen zoals gps of wiel-odometrie (waarbij de afgelegde weg berekend wordt op basis van het aantal omwentelingen van een wiel). Deze hebben immers elk hun beperkingen. Voor toepassingen die een erg hoge nauwkeurigheid vragen, kan satellietnavigatie vandaag enkel outdoor worden gebruikt. Daarom is het niet bruikbaar voor het in kaart brengen van bijvoorbeeld tunnels, mijnen of gebouwen. Hiep Luong: Bovendien bekijken we momenteel of we het LiBorg-systeem ook kunnen integreren in een drone. Daar kunnen we natuurlijk geen gebruik maken van bijvoorbeeld wielodometrie. Een platform dat niet afhankelijk is van een extern lokalisatiesysteem, heeft veel minder beperkingen en kan voor elke toepassing worden gebruikt. Door het LiBorg-systeem te monteren op een drone (foto), kan het voor veel meer toepassingen worden gebruikt. Maar de grootste voordelen ten opzichte van bestaande mapping-systemen zijn ongetwijfeld de volautomatische werking van het systeem, en de mogelijkheid om on the fly waar en wanneer ook 3D-modellen te genereren. Michiel Vlaminck: Met onze technologie kan eender welke omgeving snel en accuraat in kaart worden gebracht, zonder verdere menselijke tussenkomst. Eens de robot aan het rijden is, wordt automatisch en in realtime een 3D-model van de omgeving gegenereerd. Momenteel besturen we de robot nog met een controller, maar we bekijken ook of we hem volledig automatisch kunnen laten rijden. En, anders dan met bestaande systemen, kunnen we met ons systeem ook de kleinste hoekjes van de omgeving bereiken en in kaart brengen. 3/6

4 3D-map van straten, gereconstrueerd met LiBorg 2.0 Trade-off tussen snelheid en nauwkeurigheid Met het LiBorg-systeem kunnen 3D-modellen accuraat worden gegenereerd, al moet er voor iedere toepassing een trade-off worden gemaakt tussen snelheid en nauwkeurigheid. Hiep Luong: Er zijn verschillende manieren om die nauwkeurigheid uit te drukken. Zo kunnen we de punten uit de berekende puntenwolk vergelijken met de werkelijke omgeving. Wanneer we dat doen voor een omgeving van 4000m 2, dan bereiken we voor twee willekeurige punten uit de wolk typisch een nauwkeurigheid van 1cm, wat vergelijkbaar is met of zelfs beter dan state-of-the-art. Anderzijds kunnen we ook de nauwkeurigheid nagaan van de geschatte positie van de robot in de map. Over een traject van 12 meter was die plaatsbepaling juist tot op 5mm. Het 3D-model wordt on the fly gegenereerd, wat betekent dat de tijd die nodig is om een model te maken, bepaald wordt door de tijd die de robot erover doet (of krijgt) om rond te rijden. Hiep Luong: LiBorg 2.0 kan on the fly erg gedetailleerde 3D-modellen genereren. Maar als een toepassing een nog nauwkeuriger resultaat vraagt, dan kunnen we nadien off board zwaardere berekeningen maken. Dat vraagt natuurlijk wat meer tijd. 4/6

5 Data-intensief Het on the fly verwerken van data die door de lidar-scanner worden gegenereerd, gebeurt door een ARM-processor die draait op een Jetson TX2 board een platform voor embedded devices dat geïntegreerd is in LiBorg. Michiel Vlaminck: De lidar-scanner genereert ongeveer punten per seconde. Dat zijn heel veel data om in realtime te verwerken. Een groot deel van mijn onderzoekswerk bestond er dan ook in om de data-verwerking snel genoeg te laten verlopen, bijvoorbeeld door het verwerkingsalgoritme geheugenefficiënter te maken. Daarvoor hebben we de puntenwolk eerst vertaald in een efficiëntere datastructuur. Op die manier kunnen we de 3Dpuntenwolk filteren en overbodige punten weggooien. Als je dat niet doet, en de data blijven binnenkomen tegen punten per seconde, dan zit het geheugen al snel vol waardoor het systeem veel trager wordt. Van treinstation tot building information model voor architecten Deze eigenschappen maken het 3D-mappingsysteem geschikt om allerlei omgevingen in kaart te brengen. Michiel Vlaminck: In het kader van het GIPA-project werd ons gevraagd om een chemische site in kaart te brengen. Maar ons systeem is ook geschikt voor het inspecteren van publieke gebouwen zoals treinstations of winkelcentra, en van meer kritische infrastructuur zoals tunnels, bruggen, riolen of mijnschachten. LiBorg kan ook ingezet worden om vluchtwegen te monitoren of om grote evenementen te helpen plannen. Het mobiele mapping-platform leent zich bijzonder goed voor het herhaaldelijk monitoren van een site of bouwwerf, om zo automatisch veranderingen te detecteren. Dat brengt ons bij een volgende interessante toepassing: het opstellen van BIM-modellen (of building information models). Hiep Luong: We bekijken momenteel of we de scan-data kunnen vertalen naar een BIM-model. Dat is een vereenvoudigd CAD-model waar architecten mee aan de slag gaan om te kijken of de bouw van een constructie wel verloopt volgens plan, en om de levenscyclus van het gebouw te digitaliseren. Onze robot zou herhaaldelijk de bouwwerf kunnen monitoren, ook s nachts. Ook na de bouw kan hij regelmatig worden ingezet om veranderingen op te volgen. Daarom bekijken we of we ook change detection kunnen integreren in het algoritme dat we voor LiBorg ontwikkelden. Maar dat vraagt nog verder onderzoek en ontwikkeling. Meer weten? Lees meer over het imec.icon-project GIPA LiBorg 2.0 was één van de demo s die getoond werd tijdens het Imec Technology Forum 2018 in Antwerpen. Bekijk de Kanaal-Z-reportage om de lidar-gebaseerde robot (en andere imectechnologieën) aan het werk te zien. In dit werk werd een off-the-shelf radar geïntegreerd in het LiBorg-systeem. Imec werkt daarnaast ook aan de volgende generatie lidar-systemen. Meer info hierover op de website. 5/6

6 Biografie Michiel Vlaminck Michiel Vlaminck received his MSc degree in Computer Science Engineering from Ghent University in Since January 2014, he is working as a PhD researcher at Image processing and Interpretation (IPI), an imec research group at Ghent University. He is currently working on the topic of 3D scene reconstruction using active depth sensors. His research focuses on applications in the domains of augmented reality, autonomous robots and UAV. Biografie Hiep Luong Hiep Luong received his PhD degree in Computer Science Engineering from Ghent University in Currently he is working as a researcher and project manager in Image Processing and Interpretation (IPI), an imec research group at Ghent University. His research and expertise focus on image and realtime video processing for diverse fields such as HDR imaging, (bio-)medical imaging, depth and multi-view processing, and multi-sensor fusion for UAV and AR applications. 6/6