Ontwikkeling van een algoritme om eigen handen te detecteren in eye-tracker beelden

Transcriptie

1 FACULTEIT INDUSTRIELE INGENIEURSWETENSCHAPPEN TECHNOLOGIECAMPUS DE NAYER Ontwikkeling van een algoritme om eigen handen te detecteren in eye-tracker beelden Stijn VINCK Promotor: ing. S. De Beugher Masterproef ingediend tot het behalen van de graad van master of Science in de industriële wetenschappen: Elektronica-ICT afstudeerrichting ICT Academiejaar

2

3 c Copyright KU Leuven Zonder voorafgaande schriftelijke toestemming van zowel de promotor(en) als de auteur(s) is overnemen, kopiëren, gebruiken of realiseren van deze uitgave of gedeelten ervan verboden. Voor aanvragen i.v.m. het overnemen en/of gebruik en/of realisatie van gedeelten uit deze publicatie, kan u zich richten tot KU Leuven Technologiecampus De Nayer, Jan De Nayerlaan 5, B-2860 Sint- Katelijne-Waver, of via iiw.denayer@kuleuven.be. Voorafgaande schriftelijke toestemming van de promotor(en) is eveneens vereist voor het aanwenden van de in deze masterproef beschreven (originele) methoden, producten, schakelingen en programma s voor industrieel of commercieel nut en voor de inzending van deze publicatie ter deelname aan wetenschappelijke prijzen of wedstrijden.

4

5 FACULTEIT INDUSTRIELE INGENIEURSWETENSCHAPPEN TECHNOLOGIECAMPUS DE NAYER Ontwikkeling van een algoritme om eigen handen te detecteren in eye-tracker beelden Stijn VINCK Promotor: ing. S. De Beugher Masterproef ingediend tot het behalen van de graad van master of Science in de industriële wetenschappen: Elektronica-ICT afstudeerrichting ICT Academiejaar

6

7 c Copyright KU Leuven Zonder voorafgaande schriftelijke toestemming van zowel de promotor(en) als de auteur(s) is overnemen, kopiëren, gebruiken of realiseren van deze uitgave of gedeelten ervan verboden. Voor aanvragen i.v.m. het overnemen en/of gebruik en/of realisatie van gedeelten uit deze publicatie, kan u zich richten tot KU Leuven Technologiecampus De Nayer, Jan De Nayerlaan 5, B-2860 Sint- Katelijne-Waver, of via iiw.denayer@kuleuven.be. Voorafgaande schriftelijke toestemming van de promotor(en) is eveneens vereist voor het aanwenden van de in deze masterproef beschreven (originele) methoden, producten, schakelingen en programma s voor industrieel of commercieel nut en voor de inzending van deze publicatie ter deelname aan wetenschappelijke prijzen of wedstrijden.

8

9 Dankwoord Deze masterproef kwam tot stand als besluit van mijn opleiding industriële ingenieurswetenschappen aan de KU Leuven. Graag zou ik enkele mensen willen bedanken. Allereerst zou ik iedereen willen bedanken die deel uitmaakten van mijn opleiding op campus De Nayer. Hiermee heb ik het over de professoren, labobegeleiders en natuurlijk ook mijn medestudenten. Ik heb hier de kans gekregen om een goede theoretische basis op te bouwen en om problemen kritisch op te lossen. Graag zou ik ook mijn promotor Stijn De Beugher willen bedanken. Hij stond steeds klaar om mijn vragen te beantwoorden, testbeelden te maken met de eye-tracker, tekst na te lezen en tips te geven bij het vormen van mijn masterproef. Tenslotte wil ik mijn ouders bedanken voor de kansen die ze mij gegeven hebben om deze studie af te maken en voor het nalezen van mijn tekst. ix

10

11 Abstract Door het opkomend succes van egocentrische camera s, zoals de Google Glass, is het interessant om deze beelden hiervan verder te onderzoeken. In deze masterthesis ontwikkelen we een algoritme om onze eigen handen te kunnen detecteren met behulp van beelden afkomstig van de eye-tracker. Dit zou men onder andere kunnen gebruiken binnen de shoppingcontext om te detecteren welke producten de consument vastgrijpt. Uit vorige onderzoeken bleek dat we onze handdetectie kunnen doen aan de hand van twee onderdelen. Vooreerst gaan we een huidsegmentatie doen in drie kleurruimten, namelijk in het RGB-, HSV- en YCbCr-domein. Als resultaat bekomen we een binaire afbeelding. Deze gebruiken we vervolgens in combinatie met onze gaze data om handen te detecteren. We gebruiken de gaze data van een aantal vorige frames om te zoeken naar handen. We zoeken niet enkel op het gazepunt zelf, maar gaan in een gebied hierrond zoeken om onze slaagkans te vergroten. Onze eigen handen bevinden zich zelden boven een bepaalde hoogte in het frame, dus kunnen we een onderscheid maken tussen onze eigen handen en handen van een andere persoon. We bekomen soms foute detecties omdat tijdens de huidsegmentatie objecten met dezelfde kleur als de huidskleur mee worden gesegmenteerd. In meer dan 70% van de gevallen dat er een hand gedetecteerd wordt, kunnen we zeggen dat dit ons eigen hand is. Er blijven echter veel frames over waarop er geen detectie plaatsvindt, dit komt doordat het gazepunt niet altijd in de buurt van onze eigen handen ligt. Na het uitvoeren van dit onderzoek kunnen we concluderen dat ons algoritme voldoende werkt wanneer er een hand in de frame wordt gedetecteerd. Maar we moeten ook rekening houden met het groot aantal frames waar geen hand gedetecteerd wordt, bijvoorbeeld wanneer het gazepunt zich tussen onze beide handen bevindt. Verder onderzoek zal moeten uitzoeken of het mogelijk is om beide handen apart te detecteren en zo de precisie van het algoritme te vergroten. xi

12

13 Abstract Due to the upcoming success of egocentric camera s like Google Glass, it is a challenge to investigate in the research of applications based on the resulting tracker images. This master thesis elaborates an algorithm to detect a person s proper hand using the images delivered by an eyetracker. A possible usage of the algorithm is explained in the following example: to truly understand a shopper, you need to see the world as the shopper sees it, therefore this application in combination with an eye-tracker could be used inside a shopping behavior research tool to detect which product a consumer tries to pick from the shelf with his hand. Recent studies have shown that it is possible to detect a person s hand by means of two different processes. The first process does a skin segmentation on the image in the three different color spaces: the RGB, HSV and YCbCr domain. This results in a binary image. The second process combines the binary image and the gaze data to detect the hand. The gaze data of previous images is used to detect where a possible hand is positioned. The algorithm does not only use the gaze point itself, but also investigates the area around the gaze point to increase the success rate. It also takes into consideration that the own hand position is mostly placed in the lower part of the image. When it detects a hand in the upper part of the image the hand is more likely the hand of another person. When the algorithm detects a hand, then in 70% of all cases this is a correct detection, which is a satisfactory result. Nevertheless the majority of false hand detections are due to faulty skin segmentation: objects with almost the same skin color are detected as a hand. Sometimes the algorithm also fails to detect a hand, although there is actually a hand in the image. This is because the gaze point does not always lies near the hand, i.e. the person probably was not looking at his hand. After elaborating the necessary research and testing the algorithm it can be stated that the algorithm works properly in most cases. But further research and development should be done to eliminate faulty or incorrect detections, e.g. when the gaze point lies between the two hands. Finally, adding an extension to the algorithm allowing it to detect both hands should increasing the overall detection accuracy. xiii

14

15 Short Summary This thesis explains the development of an algorithm that detects a person his hand with the use of images received from an eye-tracker. The detection consists of two parts. The first part does a skin segmentation resulting in a binary image and the second part does a hand detection using the gaze data and the binary image. The source code is developed in C++ using the OpenCV library for the image manipulations. Background EAVISE, which stands for Embedded Artificially intelligent VISion Engineering, is a multidisciplinary research group located at Campus De Nayer in Sint-Katelijne-Waver focusing on applications of advanced computer vision and artificial intelligence. The research goal of EAVISE is to apply stateof-the-art computer vision techniques as a solution for industry-specific vision problems. With the advent of wearable camera s, such as Google Glass, there has been an increasing interest in egocentric computer vision. An important part of computer vision is the egocentric gaze. The gaze date is used in combination with a skin segmentation to detect a person his hands in egocentric frames. Algorithm The input data is mainly delivered in the form of a movie, the graphical function ffmpeg is used to break the movie into individual frames. The image processing routines operate only on a n individual image frame, forcing the algorithm to execute on a frame by frame basis. The algorithm consists of two parts. Skinsegmentation The first part of the algorithm handles the skin segmentation. The algorithm segments skin pixels into 3 color spaces. These 3 color spaces represent the RGB, HSV and YCbCr color space. In the RGB-color space the algorithm uses the red, green and blue channel to segment skin pixels from non-skin pixels. In the HSV-color space it uses only the hue channel for the detection of skin pixels. It should be noted that lots of skin detection algorithms are solely based on this hue channel detection. For excellent skin segmentation the hue channel detection is extremely important. Finally, it only uses the Cb- and the Cr-channels in the YCbCr color space for skin pixel detection. Combining the segmentation result of each pixel in the 3 color spaces creates a binary black and white image. Each possible skin pixel is represented as a white pixel, as shown in figure 1. On this binary image a median blur filter is applied, this leads to a smoother binary image and the filter also removes the remaining black holes in the binary skin image. xv

16 xvi Figuur 1: Skinsegmentation in the 3 color spaces By creating a tunable median blur filter it is now possible to tune the filter between either bad skin segmentation or excessive filter computation, allowing the algorithm to do a fast skin detection or not. Handdetection In the second part of the algorithm the binary image that is obtained after skin segmentation, is used in combination with the gaze data received from the eye-tracker to detect a hand. The Gaze data contains very much information. The most important data for the algorithm are the main gaze data elements containing the values of the pixels where there exist an eye-fixation and their frame numbers. This data is then stored in a vector. It has been noticed that if a person would like to grab an object with his own hands, the person will first have an eye-fixation on the object. This can be found in the gaze data a few frames before the person actually grabs the object. In the hand detection function the algorithm uses the binary images created after the skin segmentation of previous gaze data frames to detect on or more skin pixels. If the gaze data contains a number of times a skin pixel, as shown in figure 2, it s likely that the algorithm has detected a hand. Figuur 2: Gaze data with skin pixels

17 xvii Results The result of the algorithm is satisfying. If the algorithm detects the existence of a hand then in approximately 70% of all cases it is really a hand. The remaining 30% are so called false detections, mostly due to false skin segmentation as a result of the existence of equivalent colors on the surroundings as shown in figure 2.4. The algorithm also detects a non-existing hand in the between of 2 existing hands as shown in figure 4. If there are two hands in a frame, the current algorithm only detects one hand. Another weakness of the algorithm is that it not always segments all the skin pixels, because segmentation results can differ by influence of the light on the skin. This results in a lot of missing hand detections in various frames that obviously contain a hand. Nevertheless, if the algorithm detects a person his hand, it is very likely that it is correct. Figuur 3: False detection Figuur 4: Detection between 2 hands Though the algorithm has some shortcomings, it could easily be modified to achieve better results and detect with a higher accuracy a hand in more frames. The following image shows the final result. Figuur 5: Detection of a hand

18

19 Inhoudsopgave 1 Situering en doelstelling Situering Doelstelling Literatuurstudie Algoritme om handen te detecteren Pixelgebaseerde huidsegmentatie Handdetectie door middel van objectdetectie Detectie op bewegende beelden Beelden van de eye-tracker Conclusie Specificaties + Uitwerking Huidsegmentatie RGB HSV YCbCr Samenvoegen van de kleurruimten Optimalisatie van de code Gaze data Gaze formaat Verwerken van de gaze data Eigen handen detecteren Resultaten Huidsegmentatie RGB HSV YCbCr Samenvoegen van kleurruimten Handdetectie Besluit 37 xix

20 xx INHOUDSOPGAVE 5.1 Toekomstig werk A Programmacode 41 B Callgraph van kcachegrind 53

21 Lijst van figuren 1 Skinsegmentation in the 3 color spaces xvi 2 Gaze data with skin pixels xvi 3 False detection xvii 4 Detection between 2 hands xvii 5 Detection of a hand xvii 1.1 Logo van EAVISE Meest voorkomende kleurwaarden op afbeeldingen volgens Jones and Rehg (2002) Huid model Niet-huid model Verschil tussen huidskleur en bureau (Li and Kitani (2013)) Algoritme voor huidsegmentatie via RGB-H-CbCr model volgens Dawod et al. (2010) Genormaliseerde hue waarden voor huid-pixels (Dawod et al. (2010)) Dilatatie van een binaire afbeelding Lokale extrema in een bepaalde schaal (Lowe (1999)) SIFT descriptor (Lowe (1999)) Box-types gebruikt door SURF (Bay et al. (2006)) De histogrammen van de gradiënt van de oriëntatie voor 4 richtingen (links), 8 richtingen (midden) of 16 richtingen (rechts) (Suard et al. (2006)) Voorbeeld van een C-HOG descriptor Cirkel van 16 pixels voor hoekdetectie Voorbeeld van een hand in voorgrond Voorbeeld van een mobiele eye-tracker Gazepunt op eigen handen (Li et al. (2013)) Vorm 1 van open hand Vorm 2 van open hand Origineel frame in het RGB-domein Frame in het HSV-domein Frame in het YCbCr-domein Frame in RGB Huidpixels in het RGB-domein xxi

22 xxii LIJST VAN FIGUREN 3.8 Frame in HSV Huid-pixels in HSV Frame in YCbCr Huid-pixels in YCbCr Huidsegmentatie door samenvoeging van RGB, HSV en YCbCr kleurruimte Blur met graad Blur met graad Origineel frame Huidsegmentatie rondom het gazepunt Schema van de code door kcachegrind Gazepunt op beker Hand gaat naar beker Vierkant van 30pixels Vierkant van 80pixels Hand blijft onderaan in beeld Hand blijft onderaan in beeld Detectie van eigen hand Detectie van iemand anders hand Origineel frame Huidpixels in het RGB-domein Origineel frame Huidpixels in het RGB-domein Frame in het HSV-domein Huid-pixels in het HSV-domein Frame in het HSV-domein Huid-pixels in het HSV-domein Frame in het YCbCr-domein Huid-pixels in het YCbCr-domein Origineel frame Samenvoeging van 3 kleurruimten Huidsegmentatie met een blurfilter Juiste detectie van een hand Valse detectie van een hand Handdetectie tussen 2 handen B.1 Main en huiddetectie functie B.2 Main en handdetectie functie

23 Lijst van tabellen 3.1 Tijdverschillen met verschillende resoluties Tijdverschillen met verschillende frames per seconde Aantal frames met mogelijke handdetectie Precisie en recall waarden Aantal gedetecteerde handen met variabele grootte vierkant en aantal huid-pixels.. 34 xxiii

24

25 Lijst van acroniemen Acroniemen RGB HSV YCBCR POI Red, Green, Blue Hue, Saturation, Value Y=luminantie, Cb,Cr= kleurcomponenten Point-Of-Interest xxv

26

27 1 Situering en doelstelling 1.1 Situering Figuur 1.1: Logo van EAVISE EAVISE (Embedded Artificially intelligent VISion Engineering) is een onderzoeksgroep op de campus De Nayer in Sint-Katelijne-Waver en zoek onder andere uit om met behulp van de eye-tracker onze eigen handen te kunnen detecteren. Deze masterproef schrijven we als eindwerk voor mijn opleiding industriële wetenschappen elektronica ICT aan de KU Leuven campus De Nayer en handelt over het computer vision onderdeel van de onderzoeksgroep EAVISE. 1

28 2 1 Situering en doelstelling 1.2 Doelstelling Door het opkomend gebruik van draagbare camera s, zoals Google Glass, is de interesse in egocentrische beeldverwerking gegroeid. In deze masterproef is ons doel het ontwikkelen van een algoritme om eigen handen te kunnen detecteren met behulp van beelden die afkomstig zijn van de eye-tracker. Dit algoritme zou kan gebruikt worden bij de ontwikkeling van een marketingstrategie. Binnen de shoppingcontext zou men kunnen detecteren welke producten de klant bekijkt en nadien dan ook vastgrijpt. Men zou dit ook in het vakgebied van de taalkunde en communicatie kunnen gebruiken om te zien wat we met onze handen doen in een conversatie met andere mensen.

29 2 Literatuurstudie Onze literatuurstudie bestaat uit twee delen. Sectie 2.1 handelt over het algoritme dat we gaan ontwikkelen om onze eigen handen te kunnen detecteren via beelden. Dit algoritme hebben we gebaseerd op de paper van Li and Kitani (2013). Dit algoritme wordt opgesplitst in drie delen, namelijk de pixel-gebaseerde huidsegmentatie, de handdetectie door middel van objectdetectie en de detectie op bewegende beelden. Deze laatste onderzoeken we omdat de eye-tracker een egocentrische camera is en op het hoofd wordt geplaatst. Hierdoor is het moeilijk om een verschil te detecteren tussen wat er op de voorgrond gebeurt en wat op de achtergrond. In sectie 2.2 bespreken we de beelden die afkomstig zijn van de eye-tracker en welke informatie we hieruit kunnen halen. 2.1 Algoritme om handen te detecteren Pixelgebaseerde huidsegmentatie Er zijn verschillende manieren om onze huid te kunnen detecteren, maar de meest gebruikte is die op basis van de kleur van onze huid zelf. We werken pixelgebaseerd en hierdoor kan men elke pixel gaan onderverdelen in een huid-pixel of een niet-huid-pixel zonder invloed te hebben van de pixels ernaast. Een eerste methode die we bekeken hebben met betrekking tot pixelgebaseerde huidsegmentatie is de methode van Jones and Rehg (2002). Hun dataset bestond uit afbeeldingen afkomstig van het internet. Van deze afbeeldingen hebben ze een globaal kleurmodel gemaakt om te zien welke kleuren het meeste voor komen. Hierdoor kwam men tot de conclusie dat de meeste kleuren zich op de grijze lijn, de lijn die zwart en wit verbindt in het RGB-domein, bevinden. Zie figuur 2.1. Wit en zwart zijn de meest gebruikte kleuren en er is eerder een lichte helling richting rood dan richting blauw. Nadien hebben ze een model toegevoegd dat huid en niet-huid afbeeldingen onderscheidt van elkaar. Ze hebben al de afbeeldingen die huid bevatten manueel gelabeld en in een huid histogram 3

30 4 2 Literatuurstudie Figuur 2.1: Meest voorkomende kleurwaarden op afbeeldingen volgens Jones and Rehg (2002) gestoken. De andere afbeeldingen die geen huid bevatten werden ook gelabeld en in een niet-huid histogram onderverdeeld. Uit deze histogrammen kan men dan de kans berekenen of we al dan niet met een huid-pixel te maken hebben. Figuur 2.2: Huid model Figuur 2.3: Niet-huid model Op de histogrammen, zie figuur 2.2 en 2.3, kunnen we duidelijk zien dat de niet-huid afbeeldingen zich vooral bevinden langs de grijze lijn en dat de huid afbeeldingen zich eerder richting rood bevinden boven de grijze lijn. Deze hellingen naar het rood zijn de zogenoemde huid-pixels. Zie figuur 2.2. Deze methode houdt zich dus enkel bezig in de RGB-kleurruimte waardoor er ook foute huid-pixels gedetecteerd kunnen worden. Bijvoorbeeld een bureau die ongeveer dezelfde kleur heeft als blanke huid zou men kunnen detecteren als huid. Zie figuur 2.4. Figuur 2.4: Verschil tussen huidskleur en bureau (Li and Kitani (2013))

31 2 Literatuurstudie 5 Een andere methode die we bestudeerd hebben om de huid te detecteren is via het RGB-H-CbCr model van Dawod et al. (2010). Zij bekijken de beelden in drie verschillende kleurruimtes. Zij beginnen in het RGB-domein. Later worden ze omgezet naar het HSV-domein en ook naar YUVdomein (of YCbCr-domein). In elke kleurruimte zijn er waarden gedetecteerd die beslissen of een pixel huid of niet-huid is. In hun resultaat segmenteren ze de huid pixels nadat ze de drie kleurruimten samenvoegden. Op deze segmentatie voeren ze nog morfologische operaties uit zodat ze een duidelijker eindresultaat verkrijgen. Deze methode is ontwikkeld voor gezichtsdetectie, daarom gebruiken ze ook region labeling om gezichtskenmerken te onderscheiden. Aangezien we in ons onderzoek enkel onze eigen handen zullen detecteren, moeten we region labeling niet toepassen. Zie figuur 2.5. Figuur 2.5: Algoritme voor huidsegmentatie via RGB-H-CbCr model volgens Dawod et al. (2010) De eerste kleurruimte die ze gebruikten voor hun beelden is het RGB-domein. Hierin hebben we drie vlakken die voorstellen hoeveel rood (R), groen (G) of blauw (B) er in een pixel van een afbeelding zit. Elke pixel is een combinatie van deze 3 vlakken en heeft telkens een waarde van 0 tot 255 in één van de RGB kanalen. In het RGB-domein hanteerden ze de waarden van Kovac et al. (2003), die ze als resultaat bekwamen in hun onderzoek naar detectie van huidskleur. Zij ontwikkelden twee regels die moesten gelden voor de detectie van de huidskleur. Namelijk één voor de huid onder invloed van daglicht en een andere voor als de huid onder invloed is van licht van een flash of fel licht. De twee regels zijn als volgt: Regel 1: onder invloed van daglicht (R > 95) AND (G > 40) AND (B > 20) AND (max[r,g,b] min[r,g,b] > 15) AND ( R G 15) AND (R > G) AND (R > B) (2.1) Regel 2: onder invloed van fel licht (R > 220) AND (G > 210) AND (B > 170) AND ( R G 15) AND (R > B) AND (G > B) (2.2) Logischerwijs kunnen deze regels nooit op hetzelfde moment voor komen en gaan ze deze regels als een logische OR gebruiken. Kovac et al. (2003) gebruikten dus in het RGB-gebied regel 2.1 of regel 2.2.

32 6 2 Literatuurstudie De tweede kleurruimte waarin ze werkten is het HSV-gebied, dat bestaat uit 3 vlakken. Het eerste vlak is de hue (of tint), dit is wat we eigenlijk de kleur noemen. Het tweede vlak is de saturatie, dit geeft de felheid van een kleur aan. Het laatste vlak is de value (of intensiteit), deze geeft de lichtheid van de kleur aan. In het HSV-gebied is enkel het H-vlak belangrijk voor de huidsegmentatie. Men kan niet-huid-pixels makkelijk onderscheiden van huid-pixels want deze liggen namelijk in het gebied tussen 25 en 230 op een histogram van de hue waarde van de pixel. Dit kan men zien in het histogram van figuur 2.6. Figuur 2.6: Genormaliseerde hue waarden voor huid-pixels (Dawod et al. (2010)) Dawod et al. (2010) gebruikten volgende twee regels om huid te detecteren in het HSV-domein: H < 25 (2.3) H > 230 (2.4) De regels 2.3 en 2.4 kunnen dus niet samen gebruikt worden. Men zou ook de pixelgebaseerde huidsegmentatie kunnen uitvoeren door enkel in de HSV-kleurruimte te werken, zoals in het werk van Oliveira and Conci (2009). Maar zij ondervonden dat dit niet goed werkt voor alle huidskleuren. Dit zou wel goed werken voor mensen met een lichte huidskleur. Het laatste gebied waarin Dawod et al. (2010) in beslisten of een pixel een huid-pixel is of niet, is de YUV- (of YCbCr-) kleurruimte. De drie vlakken van het YCbCr-domein zijn eigenlijk makkelijk op te delen in twee grote delen. Y staat voor de component die de helderheid weergeeft en Cb en Cr zijn de kleurcomponenten die ze gebruikten in hun algoritme voor huidsegmentatie. Men kan op basis de Cb- en Cr-waarden een huidregio insluiten door het gebruik van volgende vijf regels: Cr xCb + 20 (2.5) Cr xCb (2.6) Cr xCb + 234, 5652 (2.7) Cr 1.15xCb (2.8) C xCb (2.9)

33 2 Literatuurstudie 7 De regels 2.5 tot 2.9 moeten allemaal op hetzelfde moment waar zijn, men zou dus een logische AND tussen al deze regels moeten gebruiken om een huid-pixel te kunnen detecteren in de YCbCR-kleurruimte. Uiteindelijk worden de regels van de RGB-, HSV- en YCbCr-kleurruimte samengebracht zodat de huid gedetecteerd kan worden op de beelden. Dus als er in de drie kleurruimtes een huid-pixel gedetecteerd wordt, dan zal het algoritme dit aanduiden. Als ze de huid-pixels uit de beelden hebben verkregen, passen ze hier morfologische operaties op toe. Dit doen ze zodat de huid-pixels een aaneensluitende regio vormen. De morfologische operatie dilatatie is een mogelijkheid om een beter resultaat te verkrijgen. Dilatatie zorgt voor het opvullen van kleine gaten in een binaire afbeelding, zie figuur 2.7. Maar als deze operatie niet voldoende is, moet men hele vlakken opvullen. Dawod et al. (2010) gebruikten enkel deze simpele dilatatie tijdens hun onderzoek, maar er bestaan ook nog andere morfologische operaties. Erosie bijvoorbeeld is het tegenovergestelde van dilatatie, hierbij worden de geïsoleerde gaten vergroot. Combinaties van deze operaties worden ook gemaakt, namelijk opening en closing. Opening is een erosie gevolgd door een dilatatie, hierdoor worden de nadelige effecten van erosie verminderd. Closing is het omgekeerde proces van opening om de nadelige effecten van dilatatie te verminderen. Figuur 2.7: Dilatatie van een binaire afbeelding Als de morfologische operaties uitgevoerd zijn, zouden ze de huid-pixels van de niet-huid-pixels moeten kunnen onderscheiden.

34 8 2 Literatuurstudie Handdetectie door middel van objectdetectie Een hand kan verschillende vormen aannemen. Een hand kan gesloten of open zijn, het kan ook twee vingers opsteken of enkel een duim of.... Al deze vormen moeten gedetecteerd worden als er door middel van huidsegmentatie nog niet voldoende gesegmenteerd is. Er kan bepaald worden of er een links of rechts hand in het beeld aanwezig is zoals in het onderzoek van Fathi et al. (2011). Zij gebruikten hiervoor objectdetectie. Er zijn verschillende manieren die gebruikt kunnen worden voor objectdetectie. We bespreken hieronder de meest gebruikte handdetectietechnieken zoals SIFT, SURF, HOG en FAST. Deze methoden werden ook in de paper van Li and Kitani (2013) besproken. SIFT Scale Invariant Feature Transform (SIFT) geïntroduceerd door Lowe (1999, 2004) is een algoritme voor objectdetectie. Maar SIFT is ook een proces om verschillende afbeeldingen van bijvoorbeeld een toren te kunnen samenvoegen voor een grote panorama. Lowe (2004) zijn methode verandert een afbeelding in een verzameling van functievectoren of keypoints, die invariant zijn bij translaties, rotaties en herschalingen. We kunnen het SIFT-algoritme meestal onderverdelen in vier stappen. In de eerste stap worden lokale extrema gezocht met behulp van een Difference of Gaussian (DoG) op de verschillende schalen van de afbeelding. Men gaat een pixel vergelijken met zijn 8 naburige pixels en ook de 9 pixels in de volgende en vorige schaal, zoals men op figuur 2.8 kan zien. Als deze pixel een lokaal extremum is dan is het een mogelijke keypoint. Figuur 2.8: Lokale extrema in een bepaalde schaal (Lowe (1999)) In de tweede stap worden volgens Lowe (2004) op al deze mogelijke keypoints een threshold toegepast zodat er enkel nog de nuttige keypoints overblijven en de andere worden geweigerd. Er wordt op twee gebieden een threshold toegepast, namelijk op die van het contrast en ook op die van de randen. Bij de threshold voor contrast wordt er een enkel lokale extrema boven de 0,03 bijgehouden en bij de randthreshold al de waarden onder de 10. Nu blijven alleen nog de echte keypoints over. In de volgende stap gaat men de oriëntatie toekennen aan elk keypoint zodat er niets verandert bij rotatie van de afbeelding. Dit doet men op basis van de magnitude en de hoek van de vectoren in de pixels.

35 2 Literatuurstudie 9 Figuur 2.9: SIFT descriptor (Lowe (1999)) In de laatste stap neemt Lowe (2004) rond het keypoint een 16x16 gebied van pixels en herverdeelt dit in een gebied van 4x4 subblokken. In elk subblok zijn er 8 verschillende richtingen naar waar de vector zich kan richten. Deze laatste stap is goed te zien op figuur 2.9. SIFT zou een goede methode zijn om samen met de pixelgebaseerde huidsegmentatie, zoals beschreven in de vorige sectie, te gebruiken voor handdetectie. Samen zouden ze een groter onderscheid maken dan huidsegmentatie alleen, zoals ook Wang and Wang (2008); Fathi et al. (2011); Li and Kitani (2013) concludeerden. SURF Speeded Up Robust Features (SURF) maakt gebruik van box-types zoals in figuur Bay et al. (2006) heeft deze methode bestudeerd. Deze manier van objectdetectie is gebaseerd op SIFT, maar er moeten minder berekeningen uitgevoerd worden en hierdoor werkt het sneller. Deze methode is beter bestand tegen transformaties van objecten en ze geeft sneller resultaten van de berekeningen door benaderingen en optimalisaties. Figuur 2.10: Box-types gebruikt door SURF (Bay et al. (2006)) De methode is sneller dan SIFT, maar ze zal hierdoor ook wel minder keypoints geven. Een kleiner aantal keypoints levert niet noodzakelijk een slechter resultaat. Omwille van het kleine aantal kunnen er sneller gelijkaardige keypoints op andere afbeeldingen opgespoord worden. Bij handde-

36 10 2 Literatuurstudie tectie is het positief dat het aantal keypoints niet te groot is, hierdoor kan er makkelijker en sneller een hand gedetecteerd worden, Bay et al. (2008). HOG Histogram of Oriented Gradients (HOG) is een andere methode voor objectdetectie. Dalal and Triggs (2005) hebben onderzoek gedaan naar deze methode. Het doel van deze methode is het beschrijven van een afbeelding door een groep van lokale histogrammen. Deze histogrammen, voorbeeld op figuur 2.11, bevatten de gradiënt van de oriëntatie in lokale delen van de afbeelding. De gradiënt van een beeld is de eerste afgeleide van een beeld. Als men in een beeld overgaat van een donkere pixel naar een lichtere pixel dan zal deze overgang de gradiënt weergeven. Dus hoe feller de overgang, hoe groter de gradiënt. Figuur 2.11: De histogrammen van de gradiënt van de oriëntatie voor 4 richtingen (links), 8 richtingen (midden) of 16 richtingen (rechts) (Suard et al. (2006)) We kunnen volgens Suard et al. (2006) en Bertozzi et al. (2007) dit HOG-algoritme opdelen in 3 stappen. In de eerste stap gaan we de gradiënt berekenen voor de afbeelding. Dit doen we door met een masker over elke pixel in horizontale en verticale richting van de afbeelding te gaan [ 1,0,1] and [ 1,0,1] T (2.10) Dit masker zou de beste resultaten geven in detectie van afbeeldingen met mensen Suard et al. (2006); Bertozzi et al. (2007). Een volgende stap is het maken van een histogram van de oriëntatie voor elke cel. De cellen kunnen rechthoekig of cirkelvormig zijn en de histogrammen kunnen zich tussen 0 en 180 graden bevinden of tussen 0 en 360 graden. Dit hangt af van de gradiënt of deze signed of unsigned is. Dalal and Triggs (2005) hebben ondervonden dat een unsigned gradiënt beter zou zijn voor de detectie van mensen. In een laatste stap gaan we de histogrammen moeten normaliseren. Dit komt door de verschillende soorten belichting en andere veranderlijken. Deze normalisatie van de cellen gebeurt lokaal terwijl er ook rekening wordt gehouden met de waarden van de naburige cellen. Deze normalisatie gebeurt dus op een blok van cellen. Er zijn twee soorten blokken: de R- HOG blokken (rechthoekig) en de C-HOG blokken (cirkelvormig). Figuur 2.12 toont een voorbeeld van een C-HOG descriptor. In het Dalal and Triggs (2005) onderzoek voor detectie van mensen werd er vooral met R-HOG blokken gewerkt van 3x3 met 6x6 pixel cellen. De R-HOG blokken gelijken sterk op de methode (Scale Invariant Feature Transfrom (SIFT), maar de R-HOG blokken worden berekend op een vaste

37 2 Literatuurstudie 11 Figuur 2.12: Voorbeeld van een C-HOG descriptor schaal zonder de oriëntatie mee te geven. Ze worden samen gebruikt om ruimtelijke info te geven. SIFT wordt gebruikt op verschillende schalen en hun oriëntatie wordt wel meegegeven en hun descriptors worden apart gebruikt. HOG is een goede methode om mensen te kunnen detecteren maar voor handdetectie is het geen betere methode dan SIFT of SURF. (Li and Kitani (2013)) FAST Features from accelerated segment test (FAST) is een methode om randen te detecteren en werd onderzocht door Mair et al. (2010). FAST kan gebruikt worden om keypoints uit een afbeelding te halen. Het is een methode die sneller (verwijzing naar de naam FAST) werkt dan SIFT. Het is een goede detector voor real-time video verwerking. FAST gebruikt een cirkel van 16 pixels, zoals op figuur 2.13, om te detecteren of de middelste pixel p een rand is. Zo n cirkel noemt men een Bresenham cirkel en heeft een straal van 3 pixels. P wordt als een rand gedetecteerd als er een bepaald aantal pixels (N) in de figuur een grotere of kleinere intensiteit hebben als pixel p. N krijgt meestal de waarde 12. Figuur 2.13: Cirkel van 16 pixels voor hoekdetectie Hierdoor is het een detector die op hoge snelheid kan werken want het moet enkel maar de intensiteit van de afbeelding in rekening brengen. We kunnen deze detector zijn snelheid nog verhogen door niet al de pixels op de cirkel te moeten onderzoeken maar enkel bijvoorbeeld p te vergelijken met pixel 1, 5, 9 en 13 op de cirkel.

38 12 2 Literatuurstudie Uit al deze verschillende methodes van objectdetectie zouden we de best mogelijke methode moeten selecteren. We zouden deze methodes kunnen vergelijken op het gebied van aantal keypoints dat we verkrijgen, de snelheid van de berekeningen,.... Maar in ons onderzoek naar handdetectie is in eerste instantie de vorm van het hand het belangrijkste onderdeel om te detecteren. De vorm van het hand wil dus zeggen dat we de randen moeten kunnen detecteren.

39 2 Literatuurstudie Detectie op bewegende beelden Bij het gebruik van een eye-tracker worden er egocentrische beelden verkregen. De eye-tracker wordt op het hoofd geplaatst waardoor deze beelden meestal in beweging zijn. Om hier een detectie van de handen op te kunnen uitvoeren, moet er dus uit deze beelden de voorgrond (onze handen) en de achtergrond (de rest) bepaald kunnen worden. Hiervoor bestaan verschillende methoden. Methode 1 Methode 1 is gebaseerd op de regels van Li and Kitani (2013) en wordt de voorgrond op basis van de huidskleur gesegmenteerd. Deze segmentatie werd al in sectie besproken. Al de pixels die in een reeks van bijvoorbeeld 15 frames gedetecteerd worden als huid-pixel, zullen dus beschouwd worden als de voorgrond. Als een pixel een grote verandering van waarde krijgt dan zal deze ook als voorgrond beschouwd worden. Al de andere pixels in de frames worden dan als achtergrond bekeken. Zie figuur Figuur 2.14: Voorbeeld van een hand in voorgrond Methode 2 Een andere manier om voorgrond en achtergrond te onderscheiden van elkaar is gebaseerd op enkele afspraken zoals bij Ren and Gu (2010); Fathi et al. (2011): 1. We veronderstellen dat de achtergrond statisch is in de coördinaten van de wereld. 2. Alles wat beweegt ten opzichte van de statische achtergrond noemen we voorgrond. 3. Achtergrondvoorwerpen zijn meestal verder weg van de camera dan voorgrondvoorwerpen 4. We nemen aan dat we een grote panorama zouden kunnen maken van al de achtergrondbeelden aan elkaar geplakt.

40 14 2 Literatuurstudie De methode voor de onderscheiding tussen voor- en achtergrond gaat als volgt: ze maken eerst een beginnende schatting van wat er achtergrond gaat zijn, dit kunnen ze doen door bijvoorbeeld onderscheid te maken op de huidskleur. Ze maken ook tijdelijke lokale panorama s van hun schattingen van de achtergronden. Daarna registreren ze elk beeld in zijn eigen lokale achtergrondpanorama. De regio s die ze niet selecteren in hun achtergrond, zijn dus de voorgrond. In ons onderzoek zouden dit dus onze eigen handen zijn. 2.2 Beelden van de eye-tracker Een eye-tracker is een toestel dat de oogpositie en de oogbeweging meet. Met deze gegevens kunnen we het punt naar waar men kijkt (Point of Interest, POI) terugvinden. Er bestaan twee soorten eye-trackers, namelijk de remote eye-tracker en de mobiele eye-tracker. Bij een remote eye-tracker wordt een camera naast een montitor geplaatst. Hierdoor heeft de eye-tracker geen contact met de gebruiker en is er geen sprake van fysieke storingen. Een mobiele eye-tracker bestaat uit een brilmontuur met twee camera s, zie figuur Een eerste camera registreert naar waar de gebruiker kijkt. De tweede camera is in combinatie met een IR LED die gericht is op het oog zelf. Deze geeft ons de informatie over de positie van de pupil en naar waar men dus effectief kijkt. Daarnaast wordt de informatie zoals de coördinaten naar waar het oog kijkt, de tijd, de pupilgrootte, het framenummer naar een apart bestand geschreven. Deze gegevens noemt men de gaze data. Figuur 2.15: Voorbeeld van een mobiele eye-tracker Aan de hand van deze gaze data wordt er bepaald naar waar we kijken en kan er voorspeld worden waar onze eigen handen gaan liggen op de beelden. In het onderzoek van Li et al. (2013) gaat men de plaats naar waar de persoon kijkt, het gazepunt, proberen te voorspellen op beelden. Gaze data bevat informatie van de oog-data, zoals de richting naar waar men kijkt. Als de ogen van links naar rechts kijken, dan zal het gazepunt een grote verschuiving maken. Hand-oog en hand-hoofd coördinatie is belangrijk in ons onderzoek. Volgens Pelz et al. (2001) zouden we naar een object eerst kijken en gemiddeld 600ms daarna zou er een handbeweging gemaakt worden naar dit object. We kunnen vanuit onze gaze data voorspellen waar uiteindelijk onze eigen handen zich gaan bevinden. Uit het onderzoek van Li et al. (2013) is gebleken dat we meestal naar een omgeving van onze eigen handen kijken.

41 2 Literatuurstudie 15 Als er slechts één hand in beeld is, dan gaat het gazepunt meestal op het uiteinde van de vingers liggen. Als er meerdere handen in beeld zijn, dan gaat het gazepunt tussen beide handen liggen. Dit is te zien op figuur Figuur 2.16: Gazepunt op eigen handen (Li et al. (2013)) Er kan dus voorspeld worden waar onze handen zijn op basis van deze kennis. Als er een gazepunt op onze frame geregistreerd wordt, zal er rond deze plaats en een paar frames later (600ms) al dan niet een huid-pixel gedetecteerd worden. In het onderzoek van Li et al. (2013) ondervinden ze dat het gebied rondom het gazepunt 80 pixels groot is. Dit is afhankelijk van de setting die gebruikt wordt. Als er zich in dit gebied huid-pixels voordoen dan kunnen we ervan uitgaan dat er mogelijk een hand gedetecteerd wordt. 2.3 Conclusie Op basis van onze literatuurstudie zullen we de beste en meest efficiënte manier bepalen om onze eigen handen te kunnen detecteren in egocentrische beelden. Bij het gebruiken van pixelgebaseerde huidsegmentatie is het duidelijk dat de hue een belangrijke parameter is om huid te kunnen detecteren maar deze is echter niet voldoende. We zouden dus best een combinatie in verschillenden kleurruimten maken zoals het RGB-H-CrCb model van Dawod et al. (2010). Een methode om de handen te detecteren als object is ingewikkeld omdat een hand verschillende vormen kan aannemen. Onze huidsegmentatie in combinatie met de gaze data kunnen we gebruiken om op onze bewegende beelden een onderscheid te maken tussen voorgrond (onze eigen handen) en achtergrond.

42

43 3 Specificaties + Uitwerking In dit hoofdstuk bespreken we hoe we ons algoritme uitwerken. We maken ons algoritme met behulp van de open source bibliotheek van OpenCV. We starten met het ontwikkelen van de code voor de huidsegmentatie. 3.1 Huidsegmentatie De huidsegmentatie is het belangrijkste onderdeel in ons onderzoek naar handdetectie in egocentrische beelden. We segmenteren enkel op de huidskleur en gaan geen objectdetectie gebruiken. We maken geen gebruik van objectdetectie omdat de vorm van het hand zelf te complex is. En zoals we in de literatuurstudie reeds besproken hebben kan een hand verschillende vormen aannemen. Figuren 3.1 en 3.2 tonen bijvoorbeeld twee mogelijke vormen van een open hand. Figuur 3.1: Vorm 1 van open hand Figuur 3.2: Vorm 2 van open hand 17

44 18 3 Specificaties + Uitwerking Voor onze segmentatie op basis van de huidskleur baseren we ons op het RGB-H-CbCr model van Dawod et al. (2010). Hiervoor moeten we eerst frames uit videobeelden halen. Nadien zetten we deze frames om van de RGB-kleurruimte naar HSV- kleurruimte en YCbCr-kleurruimte. Dit is te zien op figuren 3.3, 3.4 en 3.5. Figuur 3.3: Origineel frame in het RGB-domein Figuur 3.4: Frame in het HSV-domein Figuur 3.5: Frame in het YCbCr-domein Wanneer we deze frames hebben omgezet naar de juiste kleurruimten, kunnen we naar de huidpixels zoeken met de regels van het RGB-H-CbCr model van Dawod et al. (2010) RGB Het originele frame is reeds in de RGB-kleurruimte opgenomen zodus dienen we hier geen omzetting te verrichten. We gebruiken de regel van Kovac et al. (2003) voor de waarden onder invloed van daglicht. Na deze regel toe te passen op de originele frames, krijgen we een binaire afbeelding als resultaat. Op een binaire afbeelding zijn een mogelijke huid-pixel wit afgebeeld en de niet-huidpixels zwart. Dit is te zien op volgende figuren 3.6 en 3.7. Zoals te zien in deze figuren verkrijg je een goed resultaat met een witte achtergrond. Als de huidsegmentatie enkel in het RGB-domein plaatsvindt, verkrijgen we nooit een goed resultaat. Want de waarden veranderen heel makkelijk onder invloed van licht, zoals zonlicht of licht van TLlamp. We moeten dus ook andere kleurruimten in combinatie met de RGB-kleurruimte gebruiken zoals Dawod et al. (2010) ook deden tijdens hun onderzoek.

45 3 Specificaties + Uitwerking 19 Figuur 3.6: Frame in RGB Figuur 3.7: Huidpixels in het RGB-domein HSV Dawod et al. (2010) werkten enkel op de hue waarde in de HSV-kleurruimte. Oliveira and Conci (2009) ondervonden dat we voor aziatische en kaukasische huidskleuren ook de saturatie waarden kunnen gebruiken om een beter resultaat te bekomen. Omdat we met kaukasische huidskleuren werken in onze segmentatie van huid-pixels, gebruiken we dus ook de saturatie. We werken met de waarden voor de hue van 0 tot 50 en voor de saturatie van 0,23 tot 0,68 in een gebied van 0 tot 100 procent. 0 H 50 (3.1) 0,23 S 0,68 (3.2) We moeten echter opletten met deze waarden in OpenCV. In OpenCV gaan de hue waarden van 0 tot slechts 180, terwijl dit normaal van 0 tot 360 graden zou gaan. Ook de saturatie en intensiteit (value) worden uitgedrukt van 0 tot 255 in plaats van 0 tot 100 procent. Deze waarden geven dus een gebied van 58 tot 173 voor de saturatie. Figuur 3.8: Frame in HSV Figuur 3.9: Huid-pixels in HSV Het bekomen resultaat is al vrij duidelijk maar er wordt nog steeds veel gedetecteerd wat geen huid-pixel is. Zie figuur 3.9.

46 20 3 Specificaties + Uitwerking YCbCr De laatste kleurruimte, die we gebruiken in onze huidsegmentatie, is die van YCbCr. We houden ons terug aan de regels van het RGB-H-CbCr model van Dawod et al. (2010) om huid te detecteren. Na deze regels toe te passen, krijgen we terug een binair resultaat waar de huid-pixels wit gekleurd zijn en waar de niet-huidpixels zwart zijn zoals te zien is op figuur Figuur 3.10: Frame in YCbCr Figuur 3.11: Huid-pixels in YCbCr Als we dit resultaat dan bekijken, worden er nog veel delen die geen huid zijn aangeduid als huidpixels. Dit zijn meestal delen van meubilair die ongeveer dezelfde kleur hebben als onze huidskleur Samenvoegen van de kleurruimten Om tot de best mogelijke huiddetectie te komen, worden de drie kleurruimten waarin we de huidpixels hebben gesegmenteerd, samengevoegd. We werken met een RGB-HS-CbCr model, we gebruiken dus een kanaal extra ten opzichte van Dawod et al. (2010) Deze segmentatie resulteert in een duidelijk beeld. Zie figuur 3.12 Figuur 3.12: Huidsegmentatie door samenvoeging van RGB, HSV en YCbCr kleurruimte Op deze figuur is goed te zien dat er zich links een hand bevindt. We kunnen dit beeld nog duidelijker maken door er median blur filter erop toe te passen. Deze filter vervangt elke pixel met de mediaan van zijn naburige pixels. Zie figuren 3.13 en We kunnen de grootte van het gebied van zijn naburige pixels instellen. Het gebied dat we gaan vervagen met de filter mag niet te groot gekozen worden want anders wordt ons resultaat niet meer duidelijk, zoals op figuur 3.14.

47 3 Specificaties + Uitwerking 21 Figuur 3.13: Blur met graad 5 Figuur 3.14: Blur met graad 25 Na experimentatie met verschillende afmetingen van naburige pixels, bekomen we het beste resultaat met een grootte van 5 pixels, zoals op figuur Als we dit vergelijken met de figuur 3.12, kunnen we vaststellen dat sommige kleine zwarte gaten op de handen weggefilterd zijn. Nu werkt onze huidsegmentatie al vrij specifiek, maar er zijn nog steeds delen niet-huid die toch als huid-pixels worden aanzien. Dit probleem proberen we op te lossen door toevoeging van onze gaze data. Omdat we pixelgebaseerd werken, zullen onze berekeningen lang duren. We zullen dus onze code moeten optimaliseren om ons algoritme sneller te laten verlopen.

48 22 3 Specificaties + Uitwerking Optimalisatie van de code Onze code voor de huidsegmentatie bevat veel berekeningen vooral in het RGB- en YCbCr-kleurdomein. Zeker omdat onze frames een resolutie hebben van 1280x720 pixels en er 20 frames per seconde zijn. Er gaat veel rekenkracht en dus ook tijd verloren om te berekenen of elke pixel een huid-pixel of een niet-huid pixel is. Om dit te onderzoeken of te profilen, hebben we gebruik gemaakt van het programmma callgrind met behulp van valgrind en om deze gegevens te visualiseren kcachegrind. Valgrind is een programma dat onderzoekt hoe snel een applicatie loopt en waar zich de punten bevinden waar er veel rekenkracht verloren gaat. Als we deze punten vinden, dan kunnen we deze aanpassen en onze applicatie op die manier sneller laten werken. Als we onze resultaten daarna bekijken met kcachegrind, zoals op fig 3.17, dan kunnen we zien hoeveel procent van de uitvoeringstijd gebruikt wordt om deze functie uit te voeren. Het geeft ook de tijd weer om slechts één keer door de functie te lopen en het aantal keer dat deze uitvoering plaats heeft gevonden. Op de figuur 3.17, kunnen we zien dat de main functie 1 maal wordt opgeroepen en de functie huiddetectie 409 keer. Dit komt omdat er 409 frames zijn en voor elk frame wordt deze functie opgeroepen. We merken ook op dat de functie huiddetectie() 84,04% van de uitvoeringstijd bevat en een functie inrange() toch wel 6,57%. We kunnen deze inrange() functie wel vervangen door 2 geneste for-lussen, die pixel per pixel de berekeningen doet en dit zou de functie versnellen. We kunnen deze functies allemaal veranderen met kleine aanpassingen maar in het resultaat gaat de tijd nooit met veel seconden verminderd worden. Daarnaast hebben we nog twee mogelijkheden onderzocht om onze tijd te verminderen. 1280x x360 Film 1 (40s) 232,42s 81,08s Film 2 (16s) 109,08s 33,20s Tabel 3.1: Tijdverschillen met verschillende resoluties Een eerste mogelijkheid is dat we onze resolutie kunnen verkleinen van 1280x720 pixels naar 640x360 pixels. Dit wilt zeggen dat onze frames 4x kleiner worden. Dit wil ook zeggen dat er dus 4x minder pixels zijn om onze berekeningen op te doen. Het verschil in tijd wordt weergegeven in tabel fps 10fps 5fps Film 1 (40s) 232,42s 144,95 86,66s Film 2 (16s) 109,08s 63,44s 39,6s Tabel 3.2: Tijdverschillen met verschillende frames per seconde Een tweede mogelijkheid zou zijn dat we het aantal frames per seconde zouden verminderen. We zouden dan nog slechts op 10 frames per seconde werken in plaats van 20 frames per seconde. Dus moet de functie huiddetectie() aantal keer minder opgeroepen worden. Het verschil in tijd wordt weergegeven in tabel 3.2. We kunnen ook beide methodes combineren, maar onze voorkeur gaat uit naar het verkleinen van de resolutie. Hierdoor gaat er veel minder data verloren dan bij de tweede methode waarbij het aantal frames per seconde vermindert wordt.