In-line digitale beeldverwerking compenseert voor mindere lenskwaliteit

Transcriptie

1 Editie april 2019 Image sensors and vision systems, imec Ghent, R&D with multiple partners In-line digitale beeldverwerking compenseert voor mindere lenskwaliteit In een aantal toepassingsgebieden kan de kwaliteit van optische lenzen die van digitale beeldsensoren niet bijbenen. De minste afwijking in de lens zorgt voor kleurafwijkingen op de sensor en daardoor ongewenste effecten in de uiteindelijke beelden. Nu is er software voor een effectieve foutcorrectie, en dit tegen een betaalbare prijs. De ketting is zo sterk als de zwakste schakel. In digitale beeldverwerking zijn beeldsensoren zo snel geëvolueerd dat lenstechnologie de achterstand niet kan inhalen. Lees: het is vaak niet mogelijk om high-end lenzen te produceren binnen de kosten- en andere vereisten voor bepaalde toepassingen. Dat is de reden waarom onderzoeker Ljubomir Jovanov en zijn collega's bij IPI imec's onderzoeksgroep voor beeldverwerking en -interpretatie aan de Universiteit Gent nu een speciale software-oplossing hebben ontwikkeld om te compenseren voor ongewenste artefacten en kleurafwijkingen ten gevolge van deze kwaliteitskloof. Met hun software richten ze zich in eerste instantie op de markten van beveiligingscamera s en high-end broadcasting-camera s. 1/5

2 Nadelen van de race voor meer en kleinere pixels We zien de laatste decennia een exponentiële toename van de resolutie van beeldsensoren. Waar slechts vijftien jaar geleden standaard consumentencamera's een resolutie van 2 Megapixels hadden, bereiken de huidige modellen gemakkelijk een resolutie van 25 Megapixels voor statische beelden. Een vergelijkbare trend is zichtbaar voor videocamera's, die al tot 33 Megapixel resolutie vertonen. En hoewel een hoge resolutie een zeer gewilde eigenschap is, brengt het ook een aantal uitdagingen met zich mee voor cameraproducenten. Sommige van die uitdagingen, zoals hogere vereisten aan geheugen en rekenkracht, kunnen worden opgelost door recentere en krachtigere hardware. Echter, door de verdere verkleining van de pixels worden onvolmaaktheden in de lens ook beter zichtbaar. Als gevolg van laterale chromatische aberratie bereiken de individuele kleurcomponenten (bv. Rood, Groen, Blauw) niet dezelfde pixellocatie, waardoor kleurartefacten ontstaan in het finale beeld. Links: Laterale chromatische aberratie is een effect waarbij kleurcomponenten niet hetzelfde focuspunt bereiken en - in het geval van digitale beeldopnames - kleurafwijkingen veroorzaken in de getroffen regio's. Rechts (figuur overgenomen van Wikipedia): een kleurenfilter scheidt invallend licht in zijn kleurcomponenten (hier: RGB), een gangbare techniek voor digitale kleurdetectie. Bovendien gebruiken de meeste camera s vandaag een beeldsensor met kleurfilters (color filter arrays, CFA), zoals het op RGB gebaseerde Bayer-patroon. Dergelijke filters scheiden het invallende licht in zijn kleurcomponenten en zijn de enige manier om digitale post-correctie van kleurafwijkingen mogelijk te maken. Als gevolg hiervan wordt het beeld opgedeeld in kleine mozaïekjes en wordt demosaicing een noodzakelijke stap om in het uiteindelijke beeld opnieuw een homogene kleur te reconstrueren. In dit proces veroorzaakt chromatische aberratie een verschuiving van de kleurcomponenten en daardoor worden de beeldafwijkingen nog meer uitgesproken, zeker aan de randen van de afbeelding of het scherm. 2/5

3 Software helpt waar lenzen niet geoptimaliseerd kunnen worden Hoewel chromatische aberratie kan worden verminderd door geoptimaliseerd lensontwerp, is een dergelijke oplossing in de praktijk niet altijd haalbaar. Lenzen die aan de kwaliteitseisen voldoen, kunnen zeer duur en te groot worden om te passen in het opgegeven fysieke camera-formaat. Boven: onbewerkt beeld zonder softwarecorrectie. Hoe meer naar de linkerkant van het beeld, hoe meer uitgesproken de kleurartefacten. Onderkant: afbeelding na software-gebaseerde correctie, waarbij alle artefacten zijn verwijderd. Dat is waarom IPI, een imec-onderzoeksgroep aan de Universiteit Gent, nu een geïntegreerde oplossing voor videoverbetering heeft ontwikkeld die in één keer meerdere ongewenste beeldvervormingen corrigeert. De software voert gelijktijdig ruisonderdrukking, correctie van chromatische aberratie en demosaicing van de kleurcomponenten uit. Al deze stappen afzonderlijk uitvoeren zou programmatisch eenvoudiger geweest zijn, maar dan zou het hele rekenproces te lang duren. 3/5

4 In-line correctie en zeer flexibel voor nieuwe instellingen Tot nu toe waren algoritmen voor de compensatie van lensvervorming alleen beschikbaar voor offline verwerking, bijvoorbeeld in een programma als Photoshop. De imec-oplossing voert deze correcties in realtime uit. Daarenboven is het algoritme geïmplementeerd op een pc-platform met een grafische processor (GPU). Dit laat toe om UltraHD 4k-videostreams bij 30 fps te verwerken. Zodra de lens in- of uitzoomt, past de software haar parameters aan om voor de gewijzigde vervormingskenmerken te compenseren. Normaal gesproken worden video-verbeterende algoritmen voor uitzendcamera's geïmplementeerd in FPGA (Field Programmable Gate Array), waardoor de oplossing moeilijk aan te passen is aan een nieuw type lens, beeldsensor of een nieuwe FPGA-chip. De op GPU gebaseerde oplossing is zeer flexibel en maakt een eenvoudigere aanpassing van de parameters van het algoritme, betere draagbaarheid naar nieuwe hardware en eenvoudiger aanpassing aan een nieuwe lens, hogere resolutie, enz. Deze winst in prestaties was mogelijk door gebruik te maken van de in eigen huis ontwikkelde Quasar-programmeertaal, een ontwikkelomgeving voor het optimaliseren van complexe algoritmes. Gedemonstreerd in de praktijk Een groot deel van de ontwikkelingen werd uitgevoerd in het kader van het door de EUgefinancierde EXIST-programma dat liep van 2015 tot eind Inclusief het demonstreren in de toepassingsgebieden van de industriële partners, Grass Valley en Adimec. Grass Valley is een wereldwijde speler in content- en mediatechnologie. Adimec maakt betrouwbare industriële camera's voor veeleisende toepassingen in de sectoren van Machine Vision, Healthcare en Global Security. Imec reikt de hand naar camerafabrikanten, beveiligingsbedrijven en professionals die betrokken zijn bij digitale foto- of videocorrectie om een eventuele technologieoverdracht te onderzoeken. 4/5

5 Meer weten? Conference paper over dit onderwerp. Imec magazine artikel: Unieke beeldsensor combineert het beste van verschillende werelden op één chip, beschrijft doorbraken in beeldsensoren die imec ook relaiseerde tijdens het EU EXIST project. Imec magazine artikel: NITS op TV vanavond : een andere software-oplossing voor SDR naar HDR conversie ontwikkeld door IPI, imec's onderzoeksgroep voor beeldverwerking en - interpretatie aan de Universiteit Gent. Homepage van Quasar, het platform ontwikkeld door IPI voor een snelle ontwikkeling van GPUcode Over Ljubomir Jovanov Ljubomir Jovanov is onderzoeker bij IPI, imec's onderzoeksgroep Beeldverwerking en Interpretatie aan de Universiteit Gent. Hij werd geboren in Pančevo, Joegoslavië, op 13 juli Hij behaalde een ingenieursdiploma in elektrotechniek en master in Telecommunicatie, respectievelijk in 2000 en 2005, beide aan de Universiteit van Novi Sad, Servië. In 2006 trad hij als promovendus toe tot de afdeling telecommunicatie en informatieverwerking van de Universiteit Gent. Zijn voornaamste onderzoeksinteresses zijn beeld-, video- en 3D-restauratie, beeldanalyse en verwerking van multimediadata. In 2011 verdedigde hij zijn proefschrift getiteld "Advanced Restoration Techniques for 3D Images and Video". 5/5