Editie juli 2017 Innovatieve hyperspectrale camera voor slechte weerstomstandigheden In het Europese I-ALLOW project, werd een camera ontwikkeld met een hyperspectrale filter bovenop een CMOS-sensor. Camera s zijn standaard geworden in onze maatschappij. Ze worden in heel uiteenlopende contexten ingezet. De huidige veiligheidscamera s hebben echter één grote beperking: bij zwakke verlichting of in moeilijke weersomstandigheden (mist, sneeuw, regen, enz.) daalt de beeldkwaliteit drastisch. Het I-ALLOW project, gefinancierd door de Europese Commissie, ontwikkelde daarom een prototype camera waarbij een hyperspectrale filter bovenop een gated CMOS-sensor geplaatst wordt. Dankzij deze technologie blijft de visibiliteit ook in moeilijke weersomstandigheden hoog en is het mogelijk om te focussen op objecten die verder weg zijn, zonder afgeleid te worden door details dichter bij de camera. Daarnaast bevat het I-ALLOW systeem ook geïntegreerde software voor videoanalyse. Hoge visibiliteit in alle situaties Bewakingscamera s zijn enkel een meerwaarde als we er in alle omstandigheden op kunnen vertrouwen, ongeacht de weersomstandigheden. Ook op een mistige avond moeten we een incident nauwgezet kunnen opvolgen. De meeste bewakingscamera s die vandaag op de markt zijn, zijn niet in staat om in dit soort context kwalitatieve beelden af te leveren. En de gespecialiseerde camera s die dit wel kunnen, zijn vaak te duur en te groot om breed ingezet te worden. 1/5
Het I-ALLOW project, dat gefinancierd werd door de EU, adresseerde dit probleem. Het resultaat is een cameraprototype met een gloednieuwe hyperspectrale filter die een conventionele kleurfilter (RGB) combineert met een nabij-infrarood (NIR) filter. Deze combinatie maakt het mogelijk om door rook, mist, regen en dergelijke te kijken. Bovendien is de camera ook uitgerust met een gated beeldsensor, waardoor het mogelijk is om enkel op voorwerpen te focussen die verder weg zijn, zonder afgeleid te worden door details dichter bij de camera. Het prototype werd ontwikkeld binnen een internationaal consortium van vier ervaren partners, namelijk Aitek (Italië), BrightWay Vision (Israël), Proprs Ltd (Verenigd Koninkrijk) en imec (België). Het resultaat van de samenwerking is een cameraprototype dat klaar is om verder verfijnd en gecommercialiseerd te worden. Op de technology readiness schaal zit de camera op TRL niveau 5 of 6. Dit betekent dat het prototype in een relevante omgeving getest werd en de resultaten binnen de verwachtingen lagen. Het finale prototype werd in drie verschillende contexten uitgetest, met de steun van het Maritime Office in Gdynia (Polen), Tecnositaf (Italië) en SNCF (Frankrijk). Een gouden combinatie: een gated CMOS-beeldsensor met hyperspectrale filter Het I-ALLOW prototype is gebaseerd op een innovatieve CMOS-beeldsensor ontwikkeld door BrightWay Vision. Deze sensor heeft twee speciale eigenschappen. Eerst en vooral stuurt de camera in golven een nabij-infrarood (NIR) signaal uit (dat onzichtbaar is voor het menselijk oog). Deze lichtgolven botsen tegen de voorwerpen die ze tegenkomen en kaatsen daardoor terug in de richting van de camera. De sensor vangt de terugkerende lichtgolven op en, gebaseerd op de snelheid van het licht, berekent de camera dan hoe ver weg een bepaald object is (time-of-flight). Dit wordt vervolgens gecombineerd met een tweede vernieuwing, namelijk het gated principe. Dit houdt in dat de camera deze NIR lichtpulsen gebruikt om enkel te focussen op voorwerpen die zich op een bepaalde afstand bevinden. Dit kan nuttig zijn in situaties waar dichtbijzijnde objecten het beeld onduidelijker maken doordat er te veel irrelevante details gegeven worden. Bijvoorbeeld, in het verkeer kunnen de koplampen van een aankomende auto het camerabeeld onduidelijk maken. Door de openingstijd van de camera zo aan te passen dat je de eerste gereflecteerde lichtsignalen negeert en de signalen pas begint te registreren na bijvoorbeeld 3 milliseconden, kan je een duidelijk beeld van het aankomend verkeer geven zonder dat de koplampen deel zijn van je weergave. Op diezelfde manier kan het gated principe ook gebruikt worden om door smog, mist, regen en sneeuw te kijken. Om infrarood licht te registreren heb je normaal een specifieke infraroodsensor nodig, maar in dit project ontwikkelde imec een nieuwe hyperspectrale filter die infrarood (NIR) en conventionele kleurfilters (RGB) op één en dezelfde chip combineert. Dankzij imecs jarenlange ervaring in CMOStechnologie, konden de onderzoekers deze filters rechtstreeks op de wafer van de CMOS-sensor plaatsen. Voor de onderzoekers was dit een extra grote uitdaging omdat ze in dit project imec technologie moesten combineren met externe componenten. Zo kwam de kleurfilter die in deze applicatie gecombineerd werd met imecs eigen NIR filter van een externe fabriek. Om deze twee componenten compatibel te maken, moest het ontwerp van de filters aangepast worden. 2/5
Bovendien betekent een combinatie van NIR en RGB filters ook dat er een balans gezocht moest worden tussen het aantal NIR en RGB tegels in het patroon dat op de beeldsensor herhaald wordt. Binnen het I-ALLOW project werden uiteindelijk twee patronen ontworpen: het eerste patroon dat iets meer infrarood informatie geeft bleek de meest interessante keuze te zijn. BrightWay Vision ontwikkelde ook nog een geavanceerd algoritme om de RGB en NIR beelden te verwerken zodat beiden in dezelfde resolutie kunnen worden weergegeven. Imec plaatst de RGB en NIR filter rechtstreeks op de wafer van BrightWay Vison s gated CMOSbeeldsensor Een derde partner, Aitec, was verantwoordelijk voor het opbouwen van de camera rond deze geavanceerde beeldsensor. Aitec integreerde alle componenten en ontwikkelde daarnaast ook geavanceerde software voor videoanalyse. Uiteraard is de software toegespitst op de specifieke toepassingsdomeinen waarop het project focust. Uitgebreid getest in drie diverse contexten Eén van de troeven van het I-ALLOW project is dat het prototype uitgebreid getest werd in drie diverse omgevingen en in nauwe samenwerking met internationale partners uit de industrie. De eerste context waarin de camera succesvol getest werd, was de Poolse haven van Gdynia. Daar werd de camera geïnstalleerd op een uitkijktoren om navigatie-instructies te geven aan schepen die in de haven willen aanleggen. Daarnaast werd ook een camera geplaatst op een schip dat doorheen een kanaal voer. Het voordeel van de I-ALLOW oplossing is dat hoge visibiliteit gegarandeerd is, of het nu dag of nacht is, of het nu zonnig of mistig is. Gewone camera s kunnen die belofte niet waarmaken. De tweede testomgeving was een Italiaanse verkeerstunnel. Hier biedt de I-ALLOW camera twee duidelijke voordelen. Het eerste voordeel is dat de video automatisch door de geïntegreerde software geanalyseerd wordt. Bij een ongeval ontvangen zowel de controlekamer als de andere chauffeurs een waarschuwing. Bovendien zorgt de gated beeldsensor ervoor dat ook incidenten met veel rookontwikkeling nauwkeurig opgevolgd kunnen worden. 3/5
Ten slotte werd de camera ook getest in Franse stations. Hier kan de camera voor verschillende doeleinden ingezet worden. De camera kan bovenop een trein geplaatst worden om zichtbaarheid te garanderen in moeilijke weersomstandigheden of kan ergens langs de sporen geplaatst worden om overstekende mensen te detecteren. Daarnaast kan de camera ook als bewakingscamera in het station zelf ingezet worden. In dit geval wordt de NIR filter gebruikt om hoge zichtbaarheid te garanderen, ook s nachts of bij hevige regen of mist. De kleurfilter kan dan gebruikt worden om extra details toe te voegen aan het beeld. In elk van deze situaties worden vandaag al gewone camera s ingezet. Het probleem is dat de videokwaliteit in moeilijke weersomstandigheden zo slecht wordt dat de camera s in die omstandigheden nagenoeg nutteloos worden. Tot op zekere hoogte zouden bestaande hyperspectrale camera s hier ook een oplossing kunnen bieden, maar de huidige modellen zijn erg duur en te groot om praktisch te zijn. Het I-ALLOW systeem daarentegen zou aan een competitieve prijs geproduceerd kunnen worden en is ongeveer even groot als een gewone bewakingscamera. Daarom zou de camera in erg diverse contexten ingezet kunnen worden. Een stap vooruit: op maat gemaakte hyperspectrale filters De succesvolle praktijktesten tonen aan dat het prototype ontwikkeld binnen het I-ALLOW project commerciële mogelijkheden biedt. Maar daarnaast gaf het project de individuele partners ook de kans om hun expertise verder uit te breiden en te verfijnen. Imec had bijvoorbeeld al heel wat ervaring met meer generische hyperspectrale camera s die als afzonderlijke systemen werden aangeboden. Binnen het I-ALLOW project gebruikten ze deze knowhow om een hyperspectrale filter te ontwikkelen die volledig afgestemd is op het toepassingsdomein van bewakingscamera s en combineerbaar is met Brightway Vision s gated CMOS-sensor. De ervaring die imec binnen dit project heeft opgedaan kan ook mogelijkheden bieden voor andere producten of toepassingsdomeinen. Meer informatie? Meer informatie over imecs expertise in hyperspectrale beeldvorming vind je op deze pagina. Lees deze paper over de technologie die imec samen met BrightWay Vision ontwikkelde. Het I-ALLOW project wordt gefinancierd door de EU als onderdeel van het Horizon2020 programma (contract nummer: 645262): I-ALLOW project website. 4/5
5/5