Ontwikkeling van een gebruiksvriendelijke visualisatieomgeving voor eyetrackeranalyses

Transcriptie

1 FACULTEIT INDUSTRIELE INGENIEURSWETENSCHAPPEN CAMPUS DE NAYER Ontwikkeling van een gebruiksvriendelijke visualisatieomgeving voor eyetrackeranalyses Tim CLEYMANS Promotor: ing. S. De Beugher Co-promotor: Prof. Dr. Ir. T. Goedemé Masterproef ingediend tot het behalen van de graad van master of Science in de industriële wetenschappen: elektronica-ict, afstudeerrichting ICT Academiejaar

2 Copyright KU Leuven Zonder voorafgaande schriftelijke toestemming van zowel de promotor(en) als de auteur(s) is overnemen, kopiëren, gebruiken of realiseren van deze uitgave of gedeelten ervan verboden. Voor aanvragen tot of informatie i.v.m. het overnemen en/of gebruik en/of realisatie van gedeelten uit deze publicatie, wend u tot KU Leuven Campus De Nayer, Jan De Nayerlaan 5, B-2860 Sint-Katelijne-Waver, of via iiw.thomasmore.denayer@kuleuven.be. Voorafgaande schriftelijke toestemming van de promotor(en) is eveneens vereist voor het aanwenden van de in deze masterproef beschreven (originele) methoden, producten, schakelingen en programma s voor industrieel of commercieel nut en voor de inzending van deze publicatie ter deelname aan wetenschappelijke prijzen of wedstrijden.

3 Ontwikkeling van een gebruiksvriendelijke visualisatie-omgeving voor eye-trackeranalyses Tim Cleymans 12 januari 2014

4 ii

5 Voorwoord Graag wil ik, alvorens deze masterproeftekst aan te vangen, van de gelegenheid gebruik maken om een aantal mensen te bedanken die hebben bijgedragen tot de realisatie van deze masterproef. In de eerste plaats gaat mijn dank uit naar mijn promotor ing. Stijn De Beugher, voor zijn hulp, steun en feedback bij deze masterproef. Ook bedrijfspromotor Prof. Dr. Ir. Toon Goedemé wil ik bedanken voor zijn feedback. Het is dankzij deze feedback dat ik in staat ben geweest om het eindproduct te blijven verbeteren. Verder wil ik alle mensen bedanken die hebben deelgenomen aan het onderzoek naar de gebruiksvriendelijkheid van de applicatie en de tijd genomen hebben om de enquête in te vullen. In het bijzonder Geert Brône en Bert Oben voor de feedback en de suggesties. Ook wil ik graag de mensen bedanken die hebben geholpen bij het nalezen van de masterproeftekst. Tot slot wil ik ook mijn ouders en mijn vriendin bedanken, voor hun onvoorwaardelijke steun en hun eindeloos geduld.

6 iv Abstract Het gebruik van eye-trackersystemen bij onderzoek is sterk in opmars. Eye-trackers kunnen worden gebruikt in verschillende toepassingsgebieden, onder andere marketing, psychologie en computerwetenschappen. Toch produceren eye-trackers enorme hoeveelheden data, die tot nu toe manueel verwerkt moesten worden, wat zeer tijdrovend en arbeidsintensief is. Om deze verwerking te automatiseren heeft onderzoeksgroep EAVISE in samenwerking met Thomas More Antwerpen een algoritme ontwikkeld dat door middel van object- en personendetecties deze eye-trackerdata automatisch kan verwerken. In deze masterproef ontwikkelen we een gebruiksvriendelijke visualisatie-omgeving om de resultaten van deze detecties voor te stellen. Hiervoor onderzoeken we welke visualisaties gebruikt kunnen worden. Ook onderzoeken we in welke programmeeromgevingen we de interface en de visualisaties zouden kunnen implementeren. Uit dit onderzoek besluiten we dat we de resultaten kunnen voorstellen met enkele statistische voorstellingen, namelijk de barchart, scatterplot en de pie-chart. We kunnen ook gebruik maken van meer grafische voorstellingen, zoals een tagcloud waarin de grootte van de afbeelding overeenkomt met de aandachtsverdeling. Ook kunnen we een tijdlijn voorzien waarin de detecties in chronologische volgorde afgebeeld worden. Uit het onderzoek kunnen we ook besluiten dat we best Qt als programmeeromgeving kunnen gebruiken en programmeren in C++. We kunnen namelijk in Qt gebruik maken van het programma gnuplot, dat kan helpen bij het maken van enkele visualisaties. We realiseerden een applicatie waarin de gebruiker een aantal objects of interest kan selecteren die men gevisualiseerd wil zien. De applicatie voorziet een tabel, barchart, scatterplot, pie-chart, tagcloud en tijdlijn als visualisaties. De tabel, pie-chart, tagcloud en tijdlijn zijn ontworpen in Qt. De barchart en de scatterplot worden getekend door gnuplot en daarna door Qt ingelezen in de interface. Uit een bevraging bij een testpubliek kunnen we besluiten dat onze applicatie zeer gebruiksvriendelijk is en dat er voldoende visualisaties voorhande zijn.

7 v Abstract Because of the increasing popularity and the technological progression of eye tracking systems, more and more domains use eye trackers in their research. Eye trackers provide objective data obtained from the visual processes of the user. Eye trackers are used for research in marketing, psychology, computer science and many more. However, eye trackers produce extreme amounts of data which up to now had to be processed manually. Not only is this labor-intensive, but it also requires a fair amount of time. Therefore, a co-operation between EAVISE and Thomas More Antwerp led to the development of an application that uses object and person detection to process eye trackerdata automatically. In this thesis we develop a user-friendly visualisation environment to display the results of these detections. Therefore, we examine which visualisation could be used for these results. We also examine which programming environment is most suitable for designing an interface and the wanted visualisations. Our research shows that we can use statistical visualisations to display the results. We could also use graphical visualisations, where the images of the objects of interest are used. Research also shows that the most suitable programming environment would be Qt, programming in C++. In Qt we can call the program gnuplot, which can design certain visualisations. We developped an application where the user can select a number of objects of interest. The results of these objects are visualised in a table, bar chart, scatter plot, pie chart, tag cloud and timeline. For the bar chart and scatter plot we use gnuplot to generate the visualisations, which are then showed in the interface by Qt. For the other visualisations we use Qt itself. We also performed a questionnaire on some potential end-users of the software. This research showed that we developped a very user-friendly application with a nice variety of visualisations.

8 vi

9 Short Summary Background Because of the increasing popularity and the technological progression of eye tracking systems, more and more domains use eye trackers in their research. Eye trackers provide objective data obtained from the visual processes of the user. This data shows where the testperson looked and more, where he fixated his attention. Eye trackers are used for research in marketing, psychology, computer science and many more. However, eye trackers produce extreme amounts of data, which up to now, had to be processed manually. Not only is this labor-intensive, but it also requires a fair amount of time. Therefore, a co-operation between EAVISE and Thomas More Antwerp led to the foundation of a research project with the automatical processing of eye tracker data as main goal. In this research project an algorithm was written that uses object and person detection to process the eye tracker data. The visualisation of these results is limited though. The results are saved in text files. In consultation with user experience agencies, there is need of a graphical visualisation environment that displays the results in an informative but attractive way. This interface must be user-friendly, so that non-experts in image processing can also use the software. In this master thesis, we will develop a user-friendly interface which will display the results of eye tracker analysis in a visual attractive fashion. Objectives The objective of this master thesis is the development of a user-friendly interface to display the results of object detections. The full concept of how the data should be represented will be examined. The design and functionality of the visualisation environment will happen in agreement with user experience agencies and future users of the software. The demands of these users have to be converted in the interface. In this master thesis we will also examine in what ways the data can be visualised, and what programming environment is the most suited to implement these visualisations.

10 viii Literature In our literature we first describe the basic ideas of eye tracking and some of the applications where eye trackers can be used. We then explain the concepts of the already existing algorithm that detects the objects and writes the results to a text file. It is from these text files that our interface must extract the data that needs to be visualised. After our research we can conclude that there are two ways to visualise the data. We can use statistical visualisation such as a bar chart, scatter plot or candlestick chart. Another way to visualise the data is to use a graphical representation in which the object is displayed itself. We could, for example, display every detection in chronological order and create a timeline. We found out that a heat map, a technique often used to display eye tracker data, can t be used in mobile eye tracking where a person walks around freely. After some research, we decided to use the following visualisations: Table: A table with all the numeric values of the observation scores. Bar chart: A bar chart that displays the attention distribution of the selected objects. Scatter plot: A scatter plot that displays the relation between the number of views and the total length of the observations. Pie chart: A pie chart that displays the attention distribution of the selected objects. Tag cloud: A visualisation in which the images are scaled according to their observation scores. Timeline: A chronological sequence of the observations. After the selection of the visualisations above we examined which programming environment would be the most suitable for creating an interface with these visualisations. We compared several environments and found out that we could best use Qt as environment, and program in C++. Qt is most suitable for creating an interface, but furthermore we could use gnuplot in Qt to implement certain visualisations. Other environments that could ve been suitable, but weren t chosen are Java, R programming language, Adobe Flash and HTML5. Approach We then started to implement in Qt and developped an interface using a functionality called "forms". With drag and drop we created an interface that allowed users to select certain objects they wanted to compare based on observation scores. We implemented ways to read the corresponding text files and process their data. The processed data were also saved in an output file. Each object is also assigned a unique color, that will be used in the visualisations. After the data have been processed we created the different visualisations one by one.

11 ix We started with the table, that we use to display all information about the observations. We use a QTableWidget to create a custom table and fill in all the data. The user is able to sort the table by clicking one of the column headers. The visualisations of the bar chart and the scatter plot were created by gnuplot. We call gnuplot with a system call from Qt and execute a script. This gnuplot-script creates a visualisation from the data in the output file and saves it as an image. This image is then loaded by Qt in our interface. The implementation of the pie chart was based on the pie chart example in the Qt toolkit. Again, we use the output file as data for the visualisation. The algorithm then displays the data as a pie chart with the same colors that we assigned for each object. The tag cloud uses the images of the selected objects and displays them in different sizes according to their attention score. The user can choose between a line layout and a grid layout. The timeline also uses an output file, in which every observation is described by its first and last frame and the object that was viewed. We sort the contents of this output file chronologically and then display the objects with the time info underneath them. The user is able to zoom in and out to create an overview of the timeline and to zoom in on the images. After all visualisations were created, we enhanced the user-friendliness of the application by adding a tutorial that explains how to use the application, messages in the interface that should guide the user and extra functionality to ease the use of the application. The visualisations can be saved as images, so that they can be added to reports. Results Figure 1 shows the results of all the visualisations. For more detailed images or the full functionality we refer to chapter 5. From left to right and from top to bottom we show the table, the bar chart, the scatter plot, the pie chart, tag cloud and the overview of the timeline. To find out whether the application was user-friendly and the quality of the visualisations was sufficient, we had our application tested by a group of potential end-users. Most of the feedback was positive, and a major part of the testgroup found the application very user-friendly. The biggest part of the group thought the quantity and quality of the visualisations was very solid. However, from the feedback, we could determine a few pointers that could be used as future expansions to the application. For example, a fair amount of users would like to have the option to change the names of the selected objects. Another comment was the use of more contrasting colors, so that there is less confusion within the visualisations. An important pointer was the need for the possibility to add multiple datasets into one window, so that data from multiple test persons could easily be compared. These pointers will be added to future work, for an eventual update of the application.

12 x Figure 1: Overview of all visualisations Conclusion We conclude this summary by saying that we succeeded in creating a solid base for an application that visualises the results of eye tracking analysis. Results of a user questionnaire shows that we created a user-friendly application that has a wide variety of quality visualisations. A few pointers that could be expanded in the future are the option to change the names of the objects and the possibility to add multiple datasets to one window. This would improve the user-friendliness of the application even further.

13 Inhoudsopgave 1 Inleiding Algemene probleemstelling Organisatie van deze tekst Situering en doelstelling Situering Doelstelling Literatuurstudie Eye-tracking Overzicht van de verschillende eye-tracking technieken Verschillende soorten eye-trackers Toepassingen van eye-trackeranalyses Conclusie Algoritme Werking van het algoritme Opbouw van het output-bestand Conclusie Datavisualisatie Het belang van datavisualisatie Heatmap Tagcloud Treemap Tijdlijn Pie-chart en barchart Scatterplot

14 xii INHOUDSOPGAVE Conclusie Programmeeromgevingen Tableau R Qt Java Gnuplot Adobe Flash HTML5 met Google Charts Conclusie Besluit van de literatuurstudie Methode Lay-out van de GUI Inlezen van de gegevens Inlezen van de objects of interest Afbeelden van de objects of interest Verwerken van de gegevens Observatiescores berekenen ViewTime-bestand creëren Tabel Barchart en scatterplot Barchart Scatterplot Pie-chart Tagcloud Tijdlijn Normale en gezoomde tijdlijn Overview tijdlijn Gebruiksvriendelijkheid Informatieberichten in de lay-out Tutorial Filter bij selectie objects of interest

15 INHOUDSOPGAVE xiii Foutmeldingen Extra functionaliteit Conclusie Resultaat Uitzicht van de visualisaties Interface Tabel Barchart Scatterplot Pie-chart Tagcloud Tijdlijn Onderzoek naar gebruiksvriendelijkheid en kwaliteit van de applicatie Opstellen van een vragenlijst Opstellen van een testpubliek Resultaten van het onderzoek Gebruiksvriendelijkheid Kwaliteit van de visualisaties Conclusie Besluit Eindresultaat Toekomstig werk Bibliografie 65 A Onderzoek naar gebruiksvriendelijkheid en kwaliteit van de applicatie 67

16 xiv INHOUDSOPGAVE

17 Verklarende lijst van afkortingen en symbolen GUI Graphical User Interface EOG Electro-oculografie ORB Oriented FAST and Rotated BRIEF FAST Features from Accelerated Segment Test BRIEF Binary Robust Independent Elementary Features SIFT Scale Invariant Feature Transform SURF Speeded Up Robust Features ROI Region of Interest SDK Software Development Kit HTML HyperText Markup Language

18 xvi INHOUDSOPGAVE

19 Lijst van figuren 1 Overview of all visualisations x 3.1 Testpersoon die een EOG-meting ondergaat Voorbeeld van een lens met daarin een spoel vastgemaakt Het hoofd van de testpersoon is vastgezet in een frame Eerste Purkinje Reflectie Tobii-eye-tracker Testpersoon met een head-mounted eye-tracker Remote eye-tracker aan een computerscherm Rijsimulatie met eye-trackercontrole F-patroon in lezen van een website Voorbeeld van feature matching Region of interest Opbouw van het tekstbestand Het kwartet van Anscombe Foutieve visualisatie bij nieuwsbericht en bijbehorende correctie Visualisatie van het boek On The Road Visualisatie bij een digitaal snelheidsbord Voorbeeld van een heatmap Een tagcloud die de wereldbevolking voorstelt Infograph van het BBP van Afrikaanse landen Treemap van de hoeveelheid hernieuwbare energiebronnen in de wereld Tijdlijn van een customer journey rapport ivm aankoop van een wagen Voorbeeld van een pie-chart Voorbeeld van een barchart Voorbeeld van een scatterplot

20 xviii LIJST VAN FIGUREN 3.25 Visualisatie in Tableau softwarepakket Standaard plot in R Voorbeeld van een GUI in Qt Voorbeeld van een GUI in Java Histogram in gnuplot Website van Waterlife in Flash Voorbeeldvisualisaties in Google Charts Form in Qt Opbouw van mywidget object Inhoud van het viewtime-bestand Lay-out bij opstart Tutorial van de applicatie Foutmelding bij selecteren van te weinig objects of interest Foutmelding bij ontbreken van extern bestand Opgeslagen afbeelding van de pie-chart visualisatie Interface na toevoegen van objecten Resultaat van de tabelvisualisatie Resultaat van de barchartvisualisatie Resultaat van de scatterplotvisualisatie Resultaat van de pie-chartvisualisatie Resultaat van de tagcloudvisualisatie Resultaat van de normale tijdlijnvisualisatie Resultaat van de overview tijdlijnvisualisatie Antwoordverdeling bij de enquête rond gebruiksvriendelijkheid Antwoordverdeling bij de enquête rond visualisatievoorkeur

21 Hoofdstuk 1 Inleiding 1.1 Algemene probleemstelling Onderzoeksgroep EAVISE voert in samenwerking met Thomas More Antwerpen een onderzoeksproject uit rond de automatische verwerking van eye-trackerdata. Mobiele eyetrackers produceren een enorme hoeveelheid data waardoor manuele verwerking zeer arbeidsintensief en tijdrovend is. Hierdoor kan het kostenplaatje nogal hoog oplopen. Het doel van dit onderzoeksproject is om object- en persoonsdetectie-algoritmes toe te passen op de beelden afkomstig van de eye-tracker zodat deze analyses in de toekomst automatisch kunnen gebeuren. In de marketingwereld is echter het presenteren van data soms belangrijker dan de data zelf, dus is het noodzakelijk in dit onderzoek een grafische interface te ontwerpen. Deze interface geeft de data op een impressionante maar overzichtelijke manier weer en moet bovendien gebruiksvriendelijk zijn. 1.2 Organisatie van deze tekst Het vervolg van deze masterthesis is als volgt opgebouwd: we beginnen met een situering en een overzicht van de doelstellingen van deze masterthesis in hoofdstuk 2. In hoofdstuk 3 bevindt zich de literatuurstudie. Hierin wordt een overzicht gegeven van de meest relevante en actuele referenties over het onderwerp. Allereerst wordt een algemeen overzicht gegeven rond eye-tracking. Hierin wordt uitgelegd welke eye-trackers er op de markt zijn, de werking ervan en in welke domeinen ze het meest gebruikt worden. Vervolgens zal het reeds bestaande algoritme toegelicht worden waarin eye-trackerdata geanalyseerd worden op basis van objectdetectie-algoritmes. Daarna onderzoeken we welke visualisatiemethoden geschikt zijn voor het weergeven van eye-trackerresultaten. Tenslotte onderzoeken we welke programmeeromgevingen of -talen geschikt zijn voor implementatie van de volledige interface. In hoofdstuk 4 wordt uitleg gegeven bij het technisch ontwerp van de interface. In hoofdstuk 5 wordt de interface getest en de resultaten besproken. Hoofdstuk 6 bevat een conclusie over deze masterproef en een opsomming van eventueel toekomstig werk. In bijlage vindt u een CD-rom met de broncode en de digitale versie van deze masterthesis.

22 2 Inleiding

23 Hoofdstuk 2 Situering en doelstelling 2.1 Situering De stijgende populariteit en technologische vooruitgang van eye-trackers zorgen ervoor dat meer en meer domeinen zich bezighouden met onderzoek gebaseerd op eye-trackerdata. De eye-tracker voorziet namelijk in objectieve data die verkregen worden uit de visuele processen van de gebruiker. Deze data laten zien waar de gebruiker naar gekeken heeft en waar hij zijn aandacht op gericht heeft. Eye-trackers worden steeds meer gebruikt bij onderzoeken in de marketing, psychologie, computerwetenschappen en geneeskunde (Duchowski, 2002). Deze toepassingen worden later nog uitgebreider behandeld. In Vlaanderen is er vooral interesse naar eye-trackeronderzoek vanuit verscheidene onderzoeksbureaus in de marketing- en user experiencesector. In verkennende gesprekken, user meetings, met deze onderzoeksbureaus werd al gauw duidelijk dat de representatie van deze verwerkte data een grote rol speelt. De onderliggende boodschap van de data moet snel en duidelijk weergegeven worden, zodat er op een efficiënte manier besluiten kunnen getrokken worden. Tot nog toe gebeurde de verwerking van deze eye-trackerdata steeds manueel. Dit is echter zeer arbeidsintensief en tijdrovend aangezien mobiele eye-trackers voor heel wat data zorgen. Het prijskaartje van deze analyses kan daardoor hoog oplopen. Daarom voert onderzoeksgroep EAVISE in samenwerking met Thomas More Antwerpen een onderzoeksproject uit, waarin de automatische verwerking van eye-trackerdata centraal staat. Binnen EAVISE is een dergelijk programma ontworpen waarin gebruik gemaakt wordt van objectdetectie-algoritmes. Dit programma verwerkt automatisch alle data van de eye-trackers en geeft weer hoe lang naar bepaalde objecten werd gekeken en in welke volgorde. Deze software heeft nog maar een beperkte user interface en de resultaten worden enkel in een tekstbestand weergegeven. Op vraag van de onderzoeksbureaus moet de grafische user interface uitgebreid worden, zodat deze ook toegankelijk is voor niet-experts op het vlak van beeldverwerkingsalgoritmes. Ook moeten de resultaten visueel weergegeven worden. Deze masterproef zal zich met het ontwerp van deze interface bezighouden.

24 4 Situering en doelstelling 2.2 Doelstelling Het doel van deze masterproef is het ontwikkelen van een gebruiksvriendelijke interface om de resultaten van de objectdetecties weer te geven. Het volledige concept om data voor te stellen zal worden onderzocht en technisch uitgewerkt. Het ontwerp van de lay-out en functionaliteit van de visualisatie-omgeving zal gebeuren in samenspraak met enkele toekomstige eindgebruikers van de software: marketing-researchbureaus en userexperiencebureaus. De eisen van deze gebruikers moeten worden omgezet in de interface. In deze masterproef zal dus onderzocht worden op welke manieren data gevisualiseerd kunnen worden en welke implementatieomgevingen hiervoor het meest geschikt zijn. In essentie zal een antwoord worden gezocht op de volgende onderzoeksvragen: Wat is de beste (duidelijkste, aantrekkelijkste en gebruiksvriendelijkste) manier om eye-trackerresultaten visueel voor te stellen? Hoe kan je complexe beeldverwerkingsoperaties begrijpbaar laten bedienen door niet-experts? Welke programmeertaal of -omgeving is geschikt voor het ontwerp van een gebruiksvriendelijke interface?

25 Hoofdstuk 3 Literatuurstudie In deze literatuurstudie zullen we overlopen op welke manieren eye-tracking kan gebeuren en de meest gebruikte eye-trackers voorstellen. Ook enkele toepassingen zullen worden besproken. Dit alles zal te lezen zijn in sectie 3.1. Vervolgens zullen we in sectie 3.2 het reeds door EAVISE ontwikkelde algoritme overlopen dat automatisch eye-trackeranalyses uit kan voeren met behulp van objectdetectiealgoritmes. In sectie 3.3 zullen we het achtereenvolgens hebben over het nut van datavisualisatie, enkele interessante visualisatiemanieren en de geschikte visualisatiemanieren voor eye-trackeranalyses. Tenslotte zullen we in sectie 3.4 de verschillende mogelijkheden van programmeeromgevingen voor de interface afwegen tegenover elkaar. 3.1 Eye-tracking Eye-tracking is het proces waarbij men het zogenaamde gaze-point van een persoon meet. Anders gezegd, het gaze-point is het punt waarnaar deze persoon op een gegeven ogenblik aan het kijken is. Verder kan eye-tracking ook de positie van het oog relatief meten ten opzichte van het hoofd. Om deze zaken te meten, maken we gebruik van een eye-tracker. In deze sectie overlopen we enkele basisgegevens van de eye-tracker. We zullen de verschillende soorten eye-trackingtechnieken toelichten en de meest gebruikte eye-trackers overlopen. Ook zullen we overlopen welke domeinen eye-trackers kunnen gebruiken voor onderzoek Overzicht van de verschillende eye-tracking technieken Een eye-tracker is dus het meetinstrument om oogbewegingen te meten en te bepalen naar waar er gekeken wordt. Er zijn echter verschillende technieken waarop de werking van een eye-tracker gebaseerd is (Duchowski, 2007). Electro-oculografie: Electro-oculografie (EOG) was lange tijd de meest gebruikte meettechniek. Deze techniek maakt gebruik van elektropotentiaalverschillen die aangelegd en gemeten worden rond het oog door middel van elektroden. Het oog werkt

26 6 Literatuurstudie als een dipool en door het oog te bewegen vindt er een verandering plaats in het potentiaaloppervlak. Op deze manier kan men achterhalen welke beweging het oog maakt. Deze techniek meet de oogbewegingen ten opzichte van het hoofd en is dus niet geschikt voor onderzoek waarbij de positie van het hoofd niet vastgelegd is. In figuur 3.1 zien we een testpersoon bij een EOG-meting. Figuur 3.1: Testpersoon die een EOG-meting ondergaat Oogaanhechting: Deze techniek maakt gebruik van, zoals de naam al impliceert, een aanhechting aan het oog. Dit gebeurt door middel van een contactlens met daarin een referentieobject, zoals een spiegelende stof of een soort spoel. In figuur 3.2 zien we een voorbeeld van een dergelijke contactlens met daarin een spoel. Met behulp van een elektromagnetisch veld kan men dan de positie van het oog bepalen aan de hand van het aanhangsel. Deze techniek is één van de meest precieze meetmethoden, maar ook de meest ingrijpende. Het inbrengen van de lens is moeilijk en de lens zelf is niet comfortabel. Ook hier wordt de positie van het oog relatief gemeten ten opzichte van het hoofd. Figuur 3.2: Voorbeeld van een lens met daarin een spoel vastgemaakt De bovenstaande technieken zijn zeer handig om oogbewegingen te meten, maar zijn allebei gemeten ten opzichte van de hoofdpositie. Om te kunnen kijken naar waar iemand kijkt, moet de hoofdpositie dus vastgezet worden, bijvoorbeeld met behulp van een frame zoals in figuur 3.3. Bij de volgende techniek is vastzetten van het hoofd niet nodig.

27 3.1 Eye-tracking 7 Figuur 3.3: Het hoofd van de testpersoon is vastgezet in een frame Videogebaseerd optisch tracken: Bij optisch tracken wordt het oog zelf gefilmd en wordt er gekeken naar zowel de pupil als naar de corneale reflectie. Corneale reflecties, ook gekend als Purkinje-reflecties, ontstaan als er met (infrarood) licht op het oog wordt geschenen. Een voorbeeld van Purkinje-reflecties is te zien in figuur 3.4. Met behulp van beeldverwerkingsalgoritmes worden de eerste (en tegenwoordig ook de vierde) Purkinje-reflectie en het centrum van de pupil gelocaliseerd. Op basis van deze 2 afzonderlijke punten kunnen oogbewegingen onderscheiden worden van hoofdbewegingen. Het voordeel van deze techniek is dat het hele toestel op het hoofd van de gebruiker kan gemonteerd worden. Op deze manier kan de gebruiker rondlopen met de eyetracker en dus spreken we van een mobiele eye-tracker. In figuur 3.5 zien we de meest recente versie van de mobiele Tobii-eye-tracker. Figuur 3.4: Eerste Purkinje Reflectie Verschillende soorten eye-trackers Nu we de verschillende technieken voor eye-tracking behandeld hebben, kunnen we de bestaande vormen van eye-trackers overlopen. De meest gebruikte eye-trackers kunnen wor-

28 8 Literatuurstudie Figuur 3.5: Tobii-eye-tracker den onderverdeeld in de remote eye-trackers en de mobiele of head-mounted eye-trackers. Tegenwoordig gebruiken ze allebei de techniek van het videogebaseerd optisch tracken. Head-mounted mobiele eye-trackers: Head-mounted eye-trackers zijn eye-trackers waarbij de volledige apparatuur op het hoofd van de testpersoon gezet kan worden. Dit gebeurt meestal in de vorm van een hoofddeksel of een brilmontuur. Figuur 3.6 toont een testpersoon met een eye-tracker verwerkt in een hoofddeksel. De testpersoon kan vrij rondlopen en achteraf kunnen de data overgezet worden op een computer. Dit type eye-trackers is aan te raden bij onderzoek in grote ruimtes, zoals een supermarkt of een museum, of onderzoek waarbij de testpersoon moet rondlopen. Figuur 3.6: Testpersoon met een head-mounted eye-tracker Remote eye-trackers: Remote eye-trackers zijn eye-trackers waarbij de eye-tracker op een vaste positie is bevestigd, bijvoorbeeld onder een computerscherm. De testpersoon maakt geen contact met de eye-tracker en ondervindt er dus geen last van. Remote eye-trackers worden vaak gebruikt bij onderzoeken die plaatsvinden achter een computerscherm, bijvoorbeeld het testen van webpagina s of reclameboodschappen. In figuur 3.7 zien we een testpersoon aan een computerscherm met daarop een eye-tracker gemonteerd Toepassingen van eye-trackeranalyses In dit onderdeel zullen we een overzicht geven van enkele domeinen waar eye-trackingonderzoek gebruikt kan worden. Op deze manier kunnen we een beeld schetsen van de mogelijkheden die eye-trackers en de verwerkingssoftware te bieden hebben.

29 3.1 Eye-tracking 9 Figuur 3.7: Remote eye-tracker aan een computerscherm Psychologie: Een eerste toepassingsdomein voor eye-trackers is de psychologie. Zo blijkt uit psychologisch onderzoek dat er een verband bestaat tussen personen met afwijkende oogbewegingen en personen met schizofrenie (Holzman et al., 1988). Door eye-trackingexperimenten uit te voeren kan men dus al vroegtijdig vaststellen of iemand gevoelig is aan het gen voor schizofrenie. Een ander voorbeeld uit de psychologie is het vaststellen van autisme bij kinderen aan de hand van hun gaze-points bij sociale interactie (Spezio et al., 2007). Kinderen met beginnend autisme focussen bij sociale contacten meer op de mond dan op de ogen van de andere persoon. Veiligheidsvoorzieningen: In een ander toepassingsdomein werd gekeken of eye-trackers konden gebruikt worden als veiligheidscontrole bij vrachtwagenchauffeurs. Veel auto-ongelukken gebeuren door een onoplettende of vermoeide chauffeur. Met een remote eye-tracker op het dashboard geplaatst, werd gecontroleerd of de chauffeur zijn aandacht wel op de weg hield. Indien de chauffeur zijn concentratie zou verliezen, of zelfs in slaap zou vallen, werd een alarmsignaal gegenereerd (Ji and Yang, 2002). In figuur 3.8 zien we een experiment waarin een testpersoon in een simulatieomgeving gecontroleerd wordt door de remote eye-tracker die vastgemaakt is onder het scherm. Figuur 3.8: Rijsimulatie met eye-trackercontrole Luchtvaart: Ook in de luchtvaart gebruikt men eye-trackingtechnologie om vast te stellen welke bron van informatie in de cockpit de belangrijkste is. De testen zijn

30 10 Literatuurstudie uitgevoerd in een flightsimulator. De Primary Flight Display wordt door alle piloten als de belangrijkste bron beschouwd. Ook valt op dat de meer ervaren piloten minder naar dit display kijken dan nieuwe piloten (Duchowski, 2002). Marketing: Eye-tracking kan helpen bij het testen van de effectiviteit van reclameboodschappen. Zowel in geprinte reclame als reclame op televisie kan nagegaan worden welke delen van reclame in het oog springen en welke juist door niemand opgemerkt worden. Veel reclamebureaus gebruiken eye-trackeranalyses dus, alvorens hun advertenties te publiceren. Computerwetenschappen: Zoals bij marketing kunnen ook ontwerpers van websites gebruik maken van eye-trackeronderzoek. Onderzoek toont aan dat een website meestal in een F-patroon gelezen wordt (Shrestha and Lenz, 2006). In figuur 3.9 toont een heatmap aan welke delen van een webpagina het meest gelezen worden. Als webdesigner is het dus aangeraden hier rekening mee te houden. Figuur 3.9: F-patroon in lezen van een website Conclusie In dit hoofdstuk hebben we kort de bestaande eye-trackingtechnieken bestudeerd. De meest gebruikte techniek is deze van het videogebaseerd optisch tracken. Deze maakt gebruikt van de visuele kenmerken van het oog, zoals reflecties van licht en de positie van de pupil. Hierdoor is het niet nodig om de hoofdpositie vast te zetten en is het niet nodig om een speciale lens in te brengen. De meest gebruikte eye-trackers zijn de remote eye-tracker en de head-mounted eye-tracker, die beiden van deze techniek gebruik maken. Voor deze masterproef zullen wij ons beperken tot het gebruik van mobiele head-mounted eye-trackers, omdat het toepassingsveld daarvan groter is. Tenslotte hebben we in dit hoofdstuk een opsomming gegeven van enkele toepassingen van eye-trackeranalyses. Onder meer in de psychologie, marketing en computerwetenschappen wordt al volop gebruik gemaakt van eye-trackers. Dit benadrukt nogmaals het belang van een gebruiksvriendelijke interface, waar iedereen gebruik van kan maken.

31 3.2 Algoritme Algoritme Binnen EAVISE heeft men een algoritme ontwikkeld dat objectdetectie-algoritmes gebruikt om data van eye-trackinganalyses automatisch te verwerken. Het is voor dit algoritme dat een grafische user interface ontwikkeld moet worden in het kader van deze masterproef. Daarom zullen we in dit hoofdstuk de opbouw en de werking van het algoritme bespreken Werking van het algoritme Het algoritme maakt gebruik van de ORB-objectherkenningstechniek. ORB staat voor Oriented Fast and Rotated Brief, wijzend op de twee technieken (FAST en BRIEF) waarop de techniek gebaseerd is. ORB is een nieuwe variant op de meer gekende SIFT en SURFalgoritmes. SIFT staat voor Scale-Invariant Feature Transform en SURF voor Speeded Up Robust Features. Zowel ORB, als SIFT en SURF zijn feature detectors, wat wil zeggen dat ze kenmerkende eigenschappen uit objecten halen. ORB heeft dezelfde efficiëntie als SIFT of SURF maar is nog minder gevoelig voor ruis. ORB is zeer geschikt voor real-time uitvoering aangezien het ook sneller is dan SIFT en SURF (Rublee et al., 2011). De voorgestelde techniek voor automatische analyse van eye-trackerdata kan opgesplitst worden in 2 delen. Als eerste moet er een training plaatsvinden waarin het algoritme "leert"hoe het bepaalde objecten kan herkennen. Hiervoor selecteert het ORB-algoritme features, specifieke kenmerken van een object, vanuit de objects of interest en slaagt deze features op in een databank. Vervolgens kan het eigenlijke experiment met de eye-tracker beginnen en dus de verwerking van de binnengekomen beelden. Ook van deze beelden worden de features bepaald en vergeleken met die van de testbeelden. Op deze manier kan onderzocht worden of twee objecten een overeenkomst hebben. Indien er voldoende overeenkomsten zijn tussen 2 objecten, wordt de objectherkenning aan de gebruiker meegedeeld (De Beugher et al., 2012). In figuur 3.10 zien we een voorbeeld waarin een object of interest herkend wordt aan de hand van features. Rechtsbovenaan zien we het object of interest van een speelkaart. Rechtsonderaan zien we een videofragment waarin een testpersoon dezelfde speelkaart toont aan de camera. De paarse lijnen tonen de overeenkomsten tussen de features van de twee speelkaarten. Het object wordt herkend als de speelkaart op de objects of interest en dit wordt links aan de gebruiker getoond door middel van de groene kader rond de speelkaart. Voor eye-trackeranalyses is het echter niet nodig om de gehele video te vergelijken met de features vanuit de testbeelden. De output van eye-tracker bestaat uit videobeelden en een bijbehorende lijst met gaze-point-coördinaten. Voor elk videoframe is er een bijpassend gaze-point bepaald. Op dat specifieke moment werd er naar die specifieke coördinaat gekeken. Voor elk frame wordt er rond het gaze-point een region of interest (ROI) getrokken. Op deze manier hoeven enkel objecten binnen de region of interest gezocht te worden, omdat naar objecten in de achtergrond niet echt gekeken werd. Dit beperkt eveneens de verwerkingstijd van het algoritme. In figuur 3.11 zien we de region of interest afgestippeld rond het groene gaze-point. Naar de rest van het frame wordt niet gekeken en dus hoeft

32 12 Literatuurstudie Figuur 3.10: Voorbeeld van feature matching enkel de ROI onderzocht worden. Figuur 3.11: Region of interest Het doel van het algoritme is het vinden van overeenkomstige features tussen de objects of interest en de videobeelden van de eye-tracker. Een object wordt herkend als er voldoende matches zijn. Het aantal matches bepaalt hoe sterk de overeenkomst is. Deze overeenkomsten tussen testbeelden en eye-trackerdata worden bijgehouden in afzonderlijke tekstbestanden. De opbouw van zo n tekstbestand wordt in de volgende sectie behandeld Opbouw van het output-bestand De uitvoer van het algoritme wordt bijgehouden in tekstbestanden. Voor elk object of interest wordt een tekstbestand aangemaakt met daarin een overzicht van alle frames en of er al dan niet een detectie heeft plaatsgevonden. In figuur 3.12 ziet u een voorbeeld van een tekstbestand. Dit is het tekstbestand dat hoort bij het tweede object of interest. In de linkerkolom staat het framenummer en in de rechterkolom de score van de detectie.

33 3.2 Algoritme 13 Het getal 999 maakt duidelijk dat er geen detectie heeft plaatsgevonden. Hoe lager de score in de rechtertabel, hoe nauwkeuriger de detectie is. In frame 6223 heeft dus geen detectie plaatsgevonden van object 2, maar in de frames daarna wel. Figuur 3.12: Opbouw van het tekstbestand Het is vertrekkende van deze tekstbestanden dat de grafische user interface moet opgebouwd worden. Heel belangrijk is ook de nuance van deze gegevens. Als er gedurende 50 frames detectie plaatsvindt, dan 1 frame geen detectie en daarna terug 50 frames detectie, dan zal het hoogstwaarschijnlijk om dezelfde detectie gaan. Dit geldt ook zo bij het omgekeerde geval. Ook zou het nuttig zijn moest er een optie aanwezig zijn zodat de gebruiker zelf eventuele foutieve detecties kan verwijderen Conclusie Binnen EAVISE is een algoritme ontwikkeld dat automatisch eye-trackergegevens kan analyseren op basis van objectdetectie-algoritmes. Dit algoritme is gebaseerd op de ORBobjectherkenningstechniek. Het algoritme onderzoekt of er overeenkomsten zijn tussen een aantal op voorhand vastgelegde testbeelden en de data van het eye-trackeronderzoek. Deze informatie wordt opgeslagen in tekstbestanden en het is vanuit deze tekstbestanden dat een grafische user interface moet opgebouwd worden om de resultaten op een visueel aantrekkelijke manier weer te geven. De mogelijke visualisatiemanieren worden in het volgende hoofdstuk geschetst.

34 14 Literatuurstudie 3.3 Datavisualisatie Datavisualisatie is de studie rond het voorstellen van informatie door middel van grafische voorstellingen. Onder invloed van technologische vooruitgang en een grote toename van data wordt datavisualisatie steeds belangrijker. De grote kracht van visualisatie is dat het grote hoeveelheden van complexe data kan voorstellen op een manier zodat er snel en efficiënt interne verbanden gelegd kunnen worden. Grafische voorstellingen zijn vaak zeer effectief in het overbrengen van informatie (Chen et al., 2008). Toch gebeuren er vaak fouten bij het maken van grafische voorstellingen, waardoor de informatie verkeerd wordt weergegeven, of waardoor er verkeerde interpretaties van de data kunnen plaatsvinden. Dit kan te wijten zijn aan het feit dat er geen universele afspraken of theorieën te vinden zijn rond datavisualisatie. Toch zijn er voldoende praktische voorbeelden te vinden van geslaagde grafische voorstellingen. In dit hoofdstuk zullen we eerst het belang van correcte datavisualisatie schetsen en vervolgens zullen we enkele concrete voorstellingen overlopen en bepalen of ze geschikt zijn voor het voorstellen van eye-trackerdata Het belang van datavisualisatie Het gebruik van interactieve visuele voorstellingen helpt bij het verwerken van informatie. Het menselijk brein is gespecialiseerd in het herkennen van visuele patronen en daardoor zal een visuele voorstelling sneller begrepen worden door mensen dan een reeks van getallen die dezelfde data voorstellen. Mensen hebben ook een beperkt kortetermijngeheugen, waardoor het noodzakelijk is om een boodschap te illustreren, zodat deze niet zo snel vergeten wordt (Few, 2009). Het belang van grafische voorstellingen van gegevens kan aangetoond worden met het voorbeeld van het kwartet van Anscombe. Dit voorbeeld bevat 4 datasets, die statistisch gezien dezelfde eigenschappen hebben, de gemiddelden en varianties zijn voor alle 4 gelijk. Als we deze datasets echter grafisch voorstellen, valt op dat deze datasets totaal verschillend zijn. In figuur 3.13 is het kwartet van Anscombe zowel statistisch als grafisch voorgesteld. Uit de grafische voorstelling kunnen we afleiden dat de gegevens uit dataset 1 en 3 een lineair verband hebben, terwijl dat in dataset 2 helemaal niet het geval is. Het kwartet van Anscombe toont dus aan dat een grafische voorstelling noodzakelijk is om conclusies te trekken. Verder toont het ook de invloed van uitschieters aan, door de uitschieters in dataset 3 en 4 wordt een foute lineariteit voorgesteld. Het voorbeeld van Anscombe is een voorbeeld waarbij datavisualisatie correct gebruikt wordt en op deze manier bijdraagt aan het verwerken van de gegevens. Toch kan een grafische voorstelling ook gebruikt worden om de waarheid van gegevens te vervormen. In figuur 3.14 zien we links een nieuwsbericht waarin getoond wordt hoeveel de belastingen zouden bedragen nadat de besparingen door president Bush zouden aflopen. In eerste instantie lijkt het alsof er 5 keer zoveel belastingen zouden moeten betaald worden, maar als we beter kijken zien we dat het slechts om een stijging van 4,6% gaat. Doordat de verticale as niet op 0 begint krijgen we een vertekend beeld van de gegevens. Rechts in de figuur wordt de correcte weergave getoond, waar het verschil toch al wat minder beangstigend lijkt.

35 3.3 Datavisualisatie 15 Figuur 3.13: Het kwartet van Anscombe Figuur 3.14: Foutieve visualisatie bij nieuwsbericht en bijbehorende correctie

36 16 Literatuurstudie Uit de twee voorgaande voorbeelden kunnen we stellen dat we visualisatie kunnen gebruiken als hulpmiddel om informatie, al dan niet op een correcte manier, over te brengen naar anderen. We willen dit op een leuke, esthetische manier doen, zodat de gebruiker deze informatie niet snel vergeet en aangetrokken wordt tot de informatie. Daarom is ook het esthetisch aspect van de visualisatie belangrijk. Maar ook daar kan men ver in gaan. Zo ver zelfs dat visualisatie een vorm van kunst wordt. In figuur 3.15 zien we een grafische voorstelling van het eerste deel van het boek "On the road". Het gaat hier om een kunstproject van Stefanie Posavec. Het boek bestaat uit een aantal hoofdstukken, de hoofdstukken bestaan uit paragrafen en de paragrafen uit zinnen. Deze verdeling wordt weergegeven in een boomstructuur. Esthetisch gezien is dit een zeer mooie visualisatie, maar de informatie die het probeert weer te geven is ver zoek. In dit geval heeft het esthetische aspect meer nadruk gekregen dan het informatieve. Figuur 3.15: Visualisatie van het boek On The Road Om dit hoofdstuk af te sluiten geven we nog een voorbeeld van de kracht van visualisatie. Op vele wegen in de bebouwde kom vinden we tegenwoordig digitale snelheidsborden terug. Op deze manier geven de borden feedback naar de autobestuurder over hun snelheid. Als ze onder de maximaal toegelaten snelheid blijven, toont het bord een lachend gezichtje. Rij je echter te snel, laat het bord een droevig gezichtje zien. In figuur 3.16 zien we de werking van zo n verkeersbord. Hoewel het niet op iedereen de gewenste werking zal hebben, zullen veel automobilisten hun snelheid aanpassen om een lachend gezichtje te zien te krijgen. Op deze manier kan visualisatie ook een overtuigende rol spelen. Als conclusie van deze sectie kunnen we zeggen dat visualisatie enorm belangrijk is voor het voorstellen van data. Dankzij een goede grafische voorstelling zullen de data mak-

37 3.3 Datavisualisatie 17 Figuur 3.16: Visualisatie bij een digitaal snelheidsbord kelijker te verwerken zijn voor het menselijk brein. Toch moeten we oppassen dat we niet overdrijven met het esthetisch aspect van deze voorstellingen. De boodschap moet namelijk duidelijk blijven. In de rest van dit hoofdstuk zullen we enkele populaire visualisatiemanieren overlopen en hun geschiktheid voor eye-trackeranalyses bespreken Heatmap Een heatmap is een grafische voorstelling van data die tweedimensioneel kan voorgesteld worden. Een heatmap maakt gebruik van kleuren om de bijbehorende waardes van de variabelen voor te stellen. Daarbij is de warmte van de kleur belangrijk. Een blauwe kleur associëren we met koud, terwijl geel al warmer wordt en oranje of rood enorm heet zijn. Hoe warmer de kleur, hoe hoger de waarde van de variabele. In figuur 3.17 zien we een voorbeeld van een heatmap. Deze heatmap toont aan naar welke delen van een website het meest gekeken wordt. De menu-items links en de zoekvelden rechts eisen veel aandacht op van de gebruiker, maar ook de titel centraal bovenaan wordt vaak bekeken. Naarmate de tekst vordert, haken meerdere lezers af. Figuur 3.17: Voorbeeld van een heatmap Het grote voordeel van heatmaps is dat ze zeer eenvoudig te begrijpen zijn. De associatie tussen kleur en warmte is makkelijk te maken en er is dus niet veel moeite nodig om een heatmap te lezen. Ook toont een heatmap enorm veel data. Heatmaps worden daarom vaak gebruikt om het gebruik van een website, of de visuele aandachtsverde-

38 18 Literatuurstudie ling voor te stellen (Bojko, 2009). We kunnen dus stellen dat heatmaps ideaal zijn voor eye-trackeranalyses. Hoewel, hier moeten we onderscheid maken tussen het gebruik van remote eye-trackers en mobiele eye-trackers. Bij remote eye-trackers is er een vast tweedimensioneel kader gekend waarbinnen de gebruiker kijkt, bijvoorbeeld een computerscherm. Bij mobiele eye-trackers loopt de gebruiker rond in een ongekende omgeving, waardoor een 3D-voorstelling van een heatmap nodig zou zijn. Tevens zou de volledige plattegrond van de omgeving gekend moeten zijn. Bij remote eye-trackers kan een heatmap dus wel gebruikt worden, omdat verschillende testpersonen naar hetzelfde scherm zitten te kijken. De data kunnen dus voorgesteld worden op datgene dat op dit scherm te zien is. Maar bij mobiele eye-trackers hebben alle testpersonen verschillende paden gevolgd en er is dus geen gemeenschappelijk iets waarop de data in de vorm van een heatmap kunnen worden voorgesteld. Een heatmap is dus niet geschikt voor mobiele eye-trackeranalyses Tagcloud Een tagcloud, ook wel "wordcloud"genoemd, is een grafische voorstelling van woorden of tekst waarbij de grootte en duidelijkheid van het lettertype varieert. Tags zijn sleutelwoorden die gebruikers kunnen ingeven bij webbronnen om deze informatie te organiseren voor zichzelf en anderen. Een tagcloud verzamelt deze tags om zo een beeld te scheppen van de inhoud van de bron. De woorden die vaker gebruikt worden, of links die vaak worden aangeklikt, worden groter en duidelijker voorgesteld. Vaak wordt er ook gebruik gemaakt van kleuren. Op deze manier kan de gebruiker snel een beeld krijgen van welke gegevens er belangrijk of populair zijn (Lohmann et al., 2009). In figuur 3.18 zien we een tagcloud die de bevolking van landen in de wereld voorstelt. Hoe meer inwoners het land heeft, hoe groter de naam van dat land zal afgebeeld worden. Op deze figuur is duidelijk te zien dat China het meeste inwoners heeft. Figuur 3.18: Een tagcloud die de wereldbevolking voorstelt

39 3.3 Datavisualisatie 19 Net zoals een heatmap kan een tagcloud veel data op een eenvoudige en begrijpbare manier voorstellen. Een tagcloud is een populaire presentatiemanier die vaak gebruikt wordt op websites. tagclouds zijn niet alleen visuele voorstellingen maar kunnen ook als navigatietool gebruikt worden. De tags zijn dan links die verwijzen naar bijbehorende delen van de website. Voor onze eye-trackeranalyses lijken tagclouds in eerste instantie niet zo geschikt. De bedoeling van de interface is om de objecten voor te stellen en visueel weer te geven hoeveel keer er gekeken is naar dat object. Toch kunnen we elk object vervangen door een gepast woord en deze woorden in een tagcloud weergeven. Bijvoorbeeld bij onderzoek in de supermarkt, waar er gekeken wordt welk merk het populairst is, kunnen we het logo van het merk als object ingeven en de naam van het merk visueel weergeven in een tagcloud. Een andere mogelijkheid zou zijn om de objecten zelf in verschillende groottes naast elkaar, of door elkaar voor te stellen. Een voorbeeld van zo n voorstelling is te zien in figuur Daarin wordt het bruto binnenlandsproduct (BBP) van Afrikaanse landen naast elkaar gezet om te vergelijken. Figuur 3.19: Infograph van het BBP van Afrikaanse landen Treemap Een treemap is een grafische voorstelling die gebruikt maakt van relatieve oppervlakte om hiërarchische data voor te stellen. In theorie wordt een treemap gebruikt om data uit een boomstructuur voor te stellen. Hiervoor beginnen we bij de wortel van de binaire boom en verdelen een rechthoek in evenveel delen als er aftakkingen zijn. Vervolgens verdelen we deze kleinere rechthoeken in evenveel rechthoeken als de bijbehorende node vertakkingen heeft. Op deze manier kunnen we recursief de hele boom afgaan (Johnson and Shneiderman, 1991). In figuur 3.20 zien we een voorbeeld van een treemap. In deze

40 20 Literatuurstudie treemap stellen de oppervlaktes de relatieve hoeveelheid hernieuwbare energiebronnen voor per land. In deze treemap stelt de kleur nog een extra parameter voor, namelijk de jaarlijkse procentuele verandering. Figuur 3.20: Treemap van de hoeveelheid hernieuwbare energiebronnen in de wereld Een treemap is dus een goede manier om relatieve hoeveelheden voor te stellen. Hoewel de data van een eye-tracker niet hiërarchisch is en dus niet in een boomstructuur moet voorgesteld worden, lijkt deze visualisatietechniek toch uiterst geschikt voor eyetrackeranalyses. In een treemap kunnen de verschillende objecten met elkaar vergeleken worden op basis van hoeveel keer er naar gekeken is. Met de kleur kunnen we eventueel nog een extra parameter voorstellen, bijvoorbeeld de categorie waartoe het object behoort Tijdlijn Een tijdlijn is een grafische voorstelling waarbij de data voorgesteld wordt in functie van de tijd. Op deze manier kan worden duidelijk gemaakt in welke volgorde een opeenvolging van feiten heeft plaatsgevonden. Tijdlijnen worden vaak gebruikt bij customer journey onderzoek. In dit soort onderzoeken wordt onderzocht op welke manier een testpersoon van punt A naar punt B geraakt. Tijdens deze "reis"zal de testpersoon een aantal contactpunten tegenkomen. Aan de hand van deze onderzoeken kunnen organisaties zich in de plaats stellen van hun klanten en zo hun dienstverlening verbeteren (Nenonen et al., 2008). Als voorbeeld nemen we een hotel dat wil nagaan of ze goed bereikbaar zijn vanaf het nabij gelegen station. De testpersoon, in dit geval de bezoeker van het hotel, komt op zijn weg naar het hotel een aantal contactpunten tegen. Zo kunnen er in de nabijheid van het station wegwijzers staan naar het hotel, hij kan het adres hebben opgezocht en ingegeven op zijn smartphone of hij kan hulp gevraagd hebben in het station zelf. Op basis van deze gegevens en in welke volgorde ze plaatsvinden, kan het management van het hotel ingrijpen door extra wegwijzers te voorzien, of op de website een volledige beschrijving te geven. Aangezien eye-trackeranalyses vaak gebruikt worden voor dergelijke customer journeyonderzoeken is het noodzakelijk om een tijdlijn te voorzien in onze interface. In figuur 3.21

41 3.3 Datavisualisatie 21 zien we een voorbeeld van een tijdlijn. De contactpunten worden weergegeven op de horizontale tijdsas en de verticale as geeft aan of het om een positieve of een negatieve ervaring gaat. De tijdlijn in onze interface zal de objecten die gedetecteerd worden, weergeven in functie van de tijd. Figuur 3.21: Tijdlijn van een customer journey rapport ivm aankoop van een wagen Pie-chart en barchart Een pie-chart, of een taartdiagram, is een grafische voorstelling die de statistische verdeling van de data weergeeft. Hiervoor wordt een cirkel opgedeeld in sectoren die overeenkomen met de waarde van de variabele. In figuur 3.22 zien we een pie-chart die weergeeft op welke manier gebruikers nieuwsberichten lezen via feeds. Figuur 3.22: Voorbeeld van een pie-chart Een barchart, of een staafdiagram, is een grafische voorstelling die de statistische verdeling van de gegevens weergeeft aan de hand van verticale staven. In figuur 3.23 zien we een barchart dat weergeeft welke scores studenten behaalden op hun test.

42 22 Literatuurstudie Figuur 3.23: Voorbeeld van een barchart Hoewel pie-charts en barcharts niet langer de populairste visualisatietechnieken zijn, zijn het nog steeds uitstekende manieren om relaties tussen data weer te geven. Indien ze juist gebruikt worden, kunnen ze een meerwaarde zijn tussen de moderne visualisatietechnieken (Unwin et al., 2007) Scatterplot Een scatterplot, of een spreidingsdiagram, is een wiskundige voorstelling van gegevens. Deze voorstelling maakt gebruik van een Cartesisch coördinatenstelsel die de data als een punt voorstelt binnen dit stelsel. Voor elke dimensie is er een referentie-as voorzien en deze assen staan onderling loodrecht op elkaar. Elke as stelt een afzonderlijke variabele voor. In figuur 3.24 zien we een scatterplot waarbij de horizontale as het gewicht van een wagen voorstelt en de verticale as de afstand die kan afgelegd worden met een vastgelegde hoeveelheid brandstof. Een scatterplot wordt vaak gebruikt om een relatie tussen verschillende variabelen voor te stellen. In het voorbeeld kunnen we duidelijk aflezen dat het gewicht van de wagen een grote rol speelt bij het verbruik van de wagen. Met een lichte wagen kan men een grotere afstand afleggen dan met een zware wagen met dezelfde hoeveelheid brandstof. Omdat we 2 verschillende variabelen afzonderlijk kunnen voorstellen is een scatterplot een uitermate geschikte visualisatiemanier voor onze probleemstelling Conclusie In onderzoeksbureaus wordt soms gezegd dat de voorstelling van de data belangrijker is dan de data zelf. Hoewel er op esthetisch vlak enkele prachtige visualisatietechnieken bestaan, lijkt het ons toch het belangrijkste dat er nuttige conclusies uit de gegevens kunnen getrokken worden. De visualisatie is slechts een manier om de data op een duidelijke manier aan de gebruiker te tonen. Er zijn veel mogelijkheden qua visualisatie, waarvan de meeste toch afhangen van persoonlijke voorkeur. Toch zullen we in deze masterproef proberen om de meest gekende visuali-

43 3.4 Programmeeromgevingen 23 Figuur 3.24: Voorbeeld van een scatterplot saties uit te werken. In dit hoofdstuk hebben we de meest gebruikte visualisatiemethoden onderzocht en gekeken of deze geschikt waren voor het verwerken van eye-trackeranalyses. Hoewel de heatmap bij remote eye-trackers één van de meest populaire grafische voorstellingen is, lijkt deze ons niet geschikt voor mobiele eye-trackers. De tagcloud is dan weer wel geschikt, indien we objecten weergeven in plaats van woorden. Ook met behulp van een scatterplot en een tijdlijn zullen we proberen de data voor te stellen. Tenslotte zullen we ook een variatie op de pie-chart en het barchart proberen te verwezenlijken, omdat deze oude methoden toch nog een meerwaarde kunnen zijn. In het volgende hoofdstuk zullen we onderzoeken welke programmeeromgevingen geschikt zijn om dergelijke visualisatie te construeren. Aan het einde van het hoofdstuk zullen we dan beslissen welke visualisaties we gaan toevoegen aan de interface en in welke programmeeromgeving dit zal gebeuren. 3.4 Programmeeromgevingen Nu we weten welke visualisatiemethodes het meest geschikt zijn voor eye-trackeranalyses kunnen we gaan onderzoeken in welke programmeeromgeving we onze interface kunnen ontwerpen. Op de themasessie van Leuven Inc. rond informatievisualisatie werden ons enkele omgevingen voorgesteld, zoals R en Tableau. In dit hoofdstuk zullen we een aantal programmeeromgevingen of -talen voorstellen en nagaan welke aan alle eisen voldoen om een degelijke interface te bouwen.

44 24 Literatuurstudie Tableau Tableau is een softwarepakket dat verschillende manieren aanbiedt om data te visualiseren. Volgens hun website helpt Tableau mensen om hun data te bekijken en te begrijpen. Het doel is om op een snelle en dynamische manier data te kunnen analyseren. Tableau is makkelijk te gebruiken en laat toe om data vanuit verschillende standpunten te bekijken. De grafische voorstellingen die gegenereerd worden zien er zeer professioneel en verfijnd uit (Clyman, 2005). Tableau maakt gebruik van VizQL, een query-taal die query s maakt van ingevoerde data en deze grafisch voorstellen. Deze data kunnen ingevoerd worden vanuit een spreadsheet, maar ook rechtstreeks vanuit een databank. In figuur 3.25 zien we een voorstelling van data in Tableau. Het voordeel van Tableau is dat al deze voorstellingen interactief zijn. De gebruiker kan op elk moment stukken data selecteren, vergelijken met andere data. De gebruiker heeft ook zelf de keuze welke visualisatie de voorkeur heeft. Rechts bevinden zich checkboxes waarin de data kunnen gefilterd worden. Figuur 3.25: Visualisatie in Tableau softwarepakket Het softwarepakket van Tableau is ronduit indrukwekkend. De visualisaties ogen enorm professioneel en zijn snel en makkelijk te gebruiken. Een eerste nadeel voor onze interface is dat de tekstbestanden die uit het algoritme van EAVISE voortkomen, niet direct in te voeren zijn in Tableau. De tekstfiles zouden moeten aangepast worden zodat reeds bepaald is hoe lang naar een object gekeken wordt. Dat is op dit moment nog niet het geval. Het grootste nadeel is het prijskaartje, met net geen 2000evoor de professionele versie. Voor deze masterproef zullen we dus geen gebruik maken van Tableau, misschien enkel als voorbeeld van hoe een goede visualisatie-interface eruit kan zien.

45 3.4 Programmeeromgevingen R R is een gratis software-omgeving voor statistische berekeningen en voorstellingen. Deze programmeertaal kan gebruikt worden om statistische software en data-analyses te maken. De naam R komt voort uit de namen van de uitvinders, Ross Ihaka and Robert Gentleman. Er zijn veel mogelijkheden op het vlak van statistische analyse, maar grafische voorstellingen zijn niet het belangrijkste doel van R. Toch zijn er inmiddels al veel packages die toelaten om verschillende grafische voorstellingen te gebruiken (Unwin et al., 2013). Figuur 3.26: Standaard plot in R In figuur 3.26 zien we een standaard plot in R. Door het gebruik van verschillende packages kunnen er andere visualisaties, zoals een barchart, bekomen worden. Toch maakt dit het programmeerwerk veel moeilijker. Eén van de voordelen van R is dat de objecten die gecreëerd worden in R, gekoppeld kunnen worden aan code geschreven in C++, C of Java. De voornaamste nadelen aan R zijn dat er niet echt veel mogelijkheden van visualisatie zijn en dat het moeilijk is om een interface te maken met menu s of sliders. R lijkt ons dus meer geschikt voor analytische toepassingen dan voor het ontwerp van een grafische user interface Qt Qt is een C++ framework om grafische user interfaces te ontwikkelen. Het wordt wereldwijd gebruikt voor het ontwerp van software. Het kenmerkende aan Qt is dat het cross-platform is, wat wil zeggen dat de gemaakte software op de meestgebruikte besturingssystemen kan werken, maar hiervoor moet de broncode wel op het gewenste besturingssysteem gecompileerd worden. Hoewel er een betalende versie van Qt is, kan je als gebruiker Qt ook gratis gebruiken op voorwaarde dat je al je veranderingen aan het framework openbaar maakt (Blanchette and Summerfield, 2006). Qt is dus uitermate geschikt voor het creëren van grafische user interfaces. En er bestaan

46 26 Literatuurstudie libraries die toelaten om verschillende visualisaties te ontwerpen. Een ander voordeel aan Qt is dat er zowel in de software development kit (SDK) als op het internet een massa voorbeelden te vinden zijn. In figuur 3.27 zien we een voorbeeld van een GUI gemaakt in Qt. In deze GUI is het mogelijk om een logo te ontwerpen voor een applicatie, in dit geval het logo van Qt zelf. Figuur 3.27: Voorbeeld van een GUI in Qt Qt is dus zeker geschikt om een user interface te bouwen en laat ons toe om onze eigen visualisaties te ontwerpen. Een extra uitdaging vinden we het feit dat er in C++ gecodeerd wordt, wat in onze opleiding nog niet uitgebreid behandeld is. Toch is C++ één van de meestgebruikte programmeertalen op dit moment. Aangezien ook het algoritme van EAVISE met behulp van Qt geschreven is, lijkt het ons logisch om ook de GUI te ontwerpen in Qt Java Een andere programmeertaal die geschikt is om GUI s te ontwerpen is Java. Aangezien in onze opleiding Java uitvoerig is behandeld, weten we dat Java geschikt is als programmeertaal voor interfaces. We kunnen namelijk gebruik maken van de Swing-bibliotheek, waarin een aantal voorgedefinieerde klassen zitten voor bijvoorbeeld knoppen, menu-items en panelen te ontwerpen (Barnes and Kölling, 2007). In figuur 3.28 zien we een voorbeeld van een GUI in Java gemaakt met behulp van Swing. Hier worden enkele voorgedefinieerde klassen van swing gebruikt zoals JButton voor de knoppen, JTextField voor de tekstvelden en JRadioButton voor de selectiebolletjes. Ook voor grafische voorstellingen kunnen we eventueel bibliotheken toevoegen. Ook in Java kunnen we cross-platform programmeren en ook hier zijn verschillende grafische voorstellingen mogelijk. Onze voorkennis van Java is groot en we hebben reeds GUI s in Java geprogrammeerd. Ook Java is dus een mogelijke keuze van programmeertaal.

47 3.4 Programmeeromgevingen 27 Figuur 3.28: Voorbeeld van een GUI in Java Gnuplot Gnuplot is een programma dat gebruikt wordt om data om te zetten in grafische voorstellingen. Het werd oorspronkelijk ontworpen met de bedoeling om wetenschappers en studenten te helpen bij het visueel voorstellen van data. Gnuplot ondersteunt verschillende vormen van visualisatie zoals barchartmen, maar ook 2D en 3D-plots. In figuur 3.29 zien we een barchart gemaakt in gnuplot (Janert, 2009). Figuur 3.29: Histogram in gnuplot Gnuplot is een uitstekend programma om verschillende vormen van visualisatie te creëren. Voor onze masterproef kunnen we gebruik maken van het barchart en de scatterplot. Toch is net zoals bij Tableau het ook hier niet mogelijk om een grafische interface te ontwerpen. Maar een ander voordeel van gnuplot is dat het nauw kan samenwerken met Qt. In Qt kan een oproep gebeuren naar gnuplot en de gecreëerde plots kunnen afgebeeld worden in een eigen ontwikkelde grafische interface. We zouden dus onze eigen interface kunnen ontwerpen in Qt en gebruik maken van gnuplot om een aantal visualisaties te maken.