Virtual LSD, een immersieve audiovisuele ervaring

Transcriptie

1 Facultet Wetenschappen Departement Computerwetenschappen Vrtual LSD, een mmerseve audovsuele ervarng door Robby WAUTERS Promotor : Prof. dr. r. E. DUVAL Proefschrft ngedend tot het behalen van de graad van Master n de toegepaste nformatca Academejaar

2 c Copyrght by K.U.Leuven Zonder voorafgaande schrfteljke toestemmng van zowel de promotor(en) als de auteur(s) s overnemen, kopëren, gebruken of realseren van deze utgave of gedeelten ervan verboden. Voor aanvragen tot of nformate.v.m. het overnemen en/of gebruk en/of realsate van gedeelten ut deze publcate, wendt u tot het Departement Computerwetenschappen, Celestjnenlaan 200A, 3001 Leuven, (016) of va emal: nfo@cs.kuleuven.be. Voorafgaande schrfteljke toestemmng van de promotor(en) s eveneens verest voor het aanwenden van de n dt afstudeerwerk beschreven (orgnele) methoden, producten en programma s voor ndustreel of commerceel nut en voor de nzendng van deze publcate ter deelname aan wetenschappeljke prjzen of wedstrjden.

3 Facultet Wetenschappen K.U. Leuven Departement Computerwetenschappen Academejaar Celestjnenlaan 200A 3001 Leuven (016) Voornaam en naam student : Robby WAUTERS Ttel : Engelse vertalng : Korte nhoud : Vrtual LSD, een mmerseve audovsuele ervarng Vrtual LSD, audovsual mmerson Deze masterproef beschrjft een Augmented Realty applcate, Vrtual LSD, de de opkomst van AR technologe gebrukt om muzekvsualsatesoftware naar een doelgroep van mobele computergebrukers te brengen. De applcate vsualseert de muzek van de gebruker door zjn omgevng te ntegreren n de vsualsate. Om dt te verwezenljken word eerst een archtectuur opgesteld de de bass vormt voor de Vrtual LSD applcate. Deze archtectuur brengt dre onderzoeksdomenen samen; Musc Informaton Retreval, Computer Vse en Vsualsate. Door de combnate van deze domenen s het mogeljk om een audovsuele AR applcate te creëren. Deze applcate steunt op een set van apparaten de het toelaten om de gebruker onder te dompelen n een audovsuele ervarng. Voor de Vrtual LSD applcate wordt gebruk gemaakt van een AR brl, een laptop en een webcam. Met deze archtectuur en hardware-opstellng ontwkkelen we twee prototypes de aan de hand van onderzoek naar mmerse en muzekbelevng het nut van de applcate aantonen. Om de graad van mmerse te meten hebben we nood aan een nuttge evaluatemethode. In de evaluates van de prototypes worden meerdere methodes op de proef gesteld. Herut zal bljken dat een egen ontwkkelde questonnare de meest pertnente nformate bedt. Ut de evaluatesesses kunnen we besluten dat de applcate een effecteve meerwaarde bedt aan het belusteren van muzek en dat een zekere vorm van mmerse aanwezg s. Deze bevndngen tonen de toegevoegde waarde de een dergeljke applcate kan beden voor een steeds groeende doelgroep van mobele computergebrukers. De groeende publeke en commercële nteresse n AR, toont aan dat er toekomstperspecteven zjn voor applcates zoals Vrtual LSD. Proefschrft ngedend tot het behalen van de graad van Master n de toegepaste nformatca Promotor : Assessoren : Begeleder : Prof. dr. r. E. Duval Prof. dr. T. Holvoet F. Van Assche Dr. J. Klerkx

4 v

5 Voorwoord Deze masterproef s het slutstuk van mjn vjfjarge loopbaan n hoger en unverstar onderwjs. Deze studes werden verrjkt met de steun en raad van meerdere personen. Herbj wl k de tjd nemen om hen te bedanken. Allereerst wl k mjn promotor, professor Erk Duval, bedanken voor zjn geloof n deze masterproef en zjn waardevolle opmerkngen tjdens zowel de tussentjdse presentates als de evaluatesesses. Ik wens ook Jors Klerkx, mjn begeleder, n grote mate te bedanken voor zjn krtsche feedback de hj gedurende het hele jaar gaf. Zjn bjdrage was essenteel voor het welslagen van deze masterproef. Ik heb n deze masterproef het prvlege gehad om met neuwe en spannende technologeën te werken. Mjn dank gaat dan ook ut naar de HCI groep voor het utlenen van de AR brl en de onderzoeksgroep Neurofysologe voor het utlenen van de EEG headset. Daarnaast wl k ook Arne Robben bedanken voor de ondersteunng de hj geboden heeft bj het meten van hersengolffrequentes. Ook de personen de deelnamen aan de evaluatesesses wl k herbj bedanken. Hun oprechte verklarngen en opmerkngen waren van onschatbare waarde bj het ontwkkelen en beoordelen van de Vrtual LSD applcate. Tenslotte wl k mjn dankbaarhed overbrengen aan mjn famle, partner en vrenden voor hun onvoorwaardeljke steun. In het bjzonder wl k mjn broer en schoonzus bedanken voor het verbeteren en controleren van de masterproeftekst. Ook ben k Koen Boncquet dankbaar voor de talloze dscusses en branstormsesses gedurende dt jaar. Zonder hun steun zou deze masterproef een onmogeljke taak geweest zjn. Robby Wauters

6 Abstract Deze masterproef beschrjft een Augmented Realty applcate, Vrtual LSD, de de opkomst van AR technologe gebrukt om muzekvsualsatesoftware naar een doelgroep van mobele computergebrukers te brengen. De applcate vsualseert de muzek van de gebruker door zjn omgevng te ntegreren n de vsualsate. Om dt te verwezenljken word eerst een archtectuur opgesteld de de bass vormt voor de Vrtual LSD applcate. Deze archtectuur brengt dre onderzoeksdomenen samen; Musc Informaton Retreval, Computer Vse en Vsualsate. Door de combnate van deze domenen s het mogeljk om een audovsuele AR applcate te creëren. Deze applcate steunt op een set van apparaten de het toelaten om de gebruker onder te dompelen n een audovsuele ervarng. Voor de Vrtual LSD applcate wordt gebruk gemaakt van een AR brl, een laptop en een webcam. Met deze archtectuur en hardware-opstellng ontwkkelen we twee prototypes de aan de hand van onderzoek naar mmerse en muzekbelevng het nut van de applcate aantonen. Om de graad van mmerse te meten hebben we nood aan een nuttge evaluatemethode. In de evaluates van de prototypes worden meerdere methodes op de proef gesteld. Herut zal bljken dat een egen ontwkkelde questonnare de meest pertnente nformate bedt. Ut de evaluatesesses kunnen we besluten dat de applcate een effecteve meerwaarde bedt aan het belusteren van muzek en dat een zekere vorm van mmerse aanwezg s. Deze bevndngen tonen de toegevoegde waarde de een dergeljke applcate kan beden voor een steeds groeende doelgroep van mobele computergebrukers. De groeende publeke en commercële nteresse n AR, toont aan dat er toekomstperspecteven zjn voor applcates zoals Vrtual LSD. Voor beeldmateraal en code:

7 Inhoudsopgave Voorwoord Abstract Inhoudsopgave Ljst van fguren en tabellen v 1 Inledng Stuerng van het onderwerp Ttelverklarng Idee Doelstellngen Structuur van de tekst Ontwerp Ontwkkelmethodologe Archtectuur van de applcate Hardware Opstellng Draagbare dsplay - AR brl Camera Laptop EEG headset Gerelateerde toepassngen Muse c vsualzer BEP ClayVson Lteratuurstude rond mmerse Dudng van mmerse Flow Cogntve Absorpton Presence

8 INHOUDSOPGAVE v Egen defnte van mmerse Musc Informaton Retreval Lteratuurstude Domen Bassoperatoren Audo features Muzek, emote en kleur Raamwerken Marsyas ALF YAAFE MIRtoolbox jmir Vergeljkng Implementate Audo features extraheren Muzek afspelen Audo features aanspreken Computer vse Lteratuurstude Detecteren van nterest ponts Detecteren van contouren Toepassngen Raamwerken OpenCV BoofCV Implementate Webcamfeed ophalen Interest ponts detecteren Contourdetecte Bewegngsdetecte Huddetecte Vsualsate Stuerng Raamwerken Adobe Flash Processng OpenFrameworks Vergeljkng Implementate

9 INHOUDSOPGAVE v Tekenen met Processng Bassstructuur van een vsualsate Geïmplementeerde vsualsates Evaluate Egen defnte van mmerse Methodes voor het evalueren van belevng en mmerse Het ontwkkelen van de questonnare Eerste evaluatesesse Evaluateverloop Resultaten Concluse Tweede evaluatesesse Evaluateverloop Resultaten Concluse Beslut Doelstellngen Krtsche reflecte Mogeljke toekomstge utbredngen A Archtectuur van de Vrtual LSD applcate 75 B Questonnare 77 C Boxplotgrafek van resultaten ut eerste evaluatesesse 79 D Boxplotgrafek van resultaten ut tweede evaluatesesse 81 E Poster 83

10 Ljst van fguren en tabellen Fguren 2.1 De archtectuur van de Vrtual LSD applcate, de de dre grote onderzoeksdomenen schetst; Musc Informaton Retreval, Computer Vse en Vsualsate De Vuzx Wrap 920 vdeobrl met bjbehorende VGA-adapter. Bron: Vuzx Logtech C200 webcam, vastgemaakt aan de vdeobrl De neuwe flexbele webcam, vastgemaakt aan de vdeobrl De EEG headset n de volledge opstellng De Muse c vsualzer Phone app. Bron: Kego Oyamada, Salyu De BEP360 Phone app. Bron: Wll..apps Grafsche gebrukersnterface van jaudo ACE XML exportbestand waarn de audo features beschreven worden Algortme om real-tme audo features op te vragen Audo features geplot n grafeken. De waarde van een audo feature wordt getekend langs de y-as. De x-as geeft het tjdsverloop aan Rego s de gevonden kunnen worden door Harrs Corner detecte-algortme. Er kunnen vlakke rego s (lnks), randen (mdden) en hoekpunten (rechts) herkend worden. Bron: Czech Techncal Unversty Prague Het Harrs Corner detecte-algortme toegepast op een beeld (lnks) en de gedetecteerde hoeken (rechts) De meerdere fases van het Canny detecte-algortme. Bron: Moeslund[38] Contouren de gedetecteerd en gevsualseerd worden met het OpenCVraamwerk Het detecteren van nterest ponts met het BoofCV-raamwerk Vergeljkende stude tussen BoofCV en OpenCV. OpenCV scoort beter op low level algortmes, terwjl Boofcv beter presteert hgh level operates zoals het detecteren van nterest ponts. De snelheden zjn relatef utgedrukt, waardoor een hogere score beter s. Bron: Algortme dat webcam-beelden tekent op het scherm met behulp van Processng en JMF v

11 INHOUDSOPGAVE v 4.8 Algortme dat webcam-beelden tekent op het scherm met behulp van Processng en GSVdeo Gedetecteerde nterest ponts worden gevsualseerd n verschedene kleuren Detecte van contouren n een beeld met behulp van het Canny detectealgortme ut het BoofCV-raamwerk Bassapplcate met gebruk van Processng raamwerk Overzcht van het Fsh-eye effect. Het orgnele beeld (a), het beeld waar een Whrl-effect(b) en een Pnch-effect(c) s op utgevoerd De vsualsates ut het eerste prototype van de Vrtual LSD applcate De vsualsates ut het tweede prototype van de Vrtual LSD applcate Samengevoegde Boxplotgrafek Boxplotgrafek per kerncomponent Boxplotgrafek per kernbegrp Antwoorden op de ntervewvraag Klonk de muzek ntenser tjdens het gebruk van de Vrtual LSD applcate? Calbratemetngen van testgebrukers met Mnd WorkStaton software en de Emotv Epoc headset Metngen tjdens de Vrtual LSD applcate met Mnd WorkStaton software en de Emotv Epoc headset Tabellen 3.1 Overzcht van audo features per raamwerk Overzcht van muzekanalyse-raamwerken

12 Hoofdstuk 1 Inledng 1.1 Stuerng van het onderwerp Snds de jaren 90 zjn vsualsates van muzek popular geworden door de komst van meda player software. Softwarepakketten zoals Wnamp, Wndows Meda Player en Tunes werden massaal gebrukt door de stjgende berekbaarhed van dgtale muzek va het wereldwjde web. Deze software kon naast muzek afspelen en organseren, ook vsualsates genereren bj de muzek. De modules de de vsualsates voor hun rekenng namen (e.g. Mlkdrop of G-force), genereerden abstracte beelden de leken te reageren op de muzek. De populartet van deze vsualsatesoftware s n de laatste ten jaar sterk gedaald. Door de komst van draagbare computers, zoals MP3-spelers, tablets en smartphones, zjn computergebrukers zeer mobel geworden. Snds de lancerng van de populare Pod MP3- speler werd steeds meer muzek onderweg belusterd. Tegenwoordg zjn er aanzenljk veel mensen de naar muzek lusteren va een smartphone of MP3-speler terwjl ze op de bus ztten, fetsen, wandelen of joggen. De bestaande muzekvsualsatesoftware berekt echter deze doelgroep net. Een mogeljkhed s om muzekvsualsates te ntegreren n de omgevng van deze gebrukers, zodat ze nog steeds kunnen navgeren n de echte wereld. De focus lgt zo op de muzek en de bjpassende vsualsate, terwjl de gebruker nog steeds mobel s. Een technologe de een oplossng kan beden voor dt probleem s Augmented Realty (AR). AR s het rjker maken van een bestaande omgevng door vrtuele elementen te ntegreren n het beeld van de gebruker. Snds de ontwkkelng van het eerste AR prototype door Ivan Sutherland[51] n 1968, s er steeds een sterke nteresse geweest voor AR en Vrtual Realty (VR) n de onderzoekswereld. Pas n de jaren 90 s echter de term Augmented Realty voor het eerst gevallen gevallen bj een onderzoeksgroep van Boeng Corporaton. Deze onderzoeksgroep ontwkkelde een systeem de hun werknemers zou moeten ondersteunen tjdens het assembleren van vlegtugonderdelen. Tot op heden worden dergeljke systemen nog steeds gebrukt n de ndustre. AR wordt ook toegepast n mltare systemen, waarbj men extra nformate omtrent stratege en omgevng toont aan mltaren. Navgatesystemen en toepassngen de dokters ondersteunen bj medsche ngrepen maken 1

13 HOOFDSTUK 1. INLEIDING 2 ook (vaak) gebruk van AR. Tot voor kort waren er echter weng concrete entertanmentsystemen beschkbaar de AR gebruken[56]. In de laatste vjf jaar s er een steeds sterker groeende publeke nteresse voor AR. Een factor de her (nog steeds) een posteve nvloed op heeft, s de hype rond 3D flms en games. Verschedene bedrjven (e.g. Vuzx en Sony) hebben n de laatste vjf jaar low-cost HMD 1 -apparaten op de markt gebracht, de toelaten om 3D flms en games thus te ervaren. In aprl 2012 heeft Google voor oproer gezorgd met de aankondgng van Project Glass[40]. Hermee heeft AR heel wat populartet verkregen bj het grote publek. In deze masterproef wordt een AR applcate beschreven de de opkomst van een neuwe technologe gebrukt om muzekvsualsatesoftware naar een mobele doelgroep te brengen. De applcate zou de muzek van een mobele gebruker moeten kunnen vsualseren door de omgevng te ntegreren n de vsualsate. 1.2 Ttelverklarng De ttel van deze thess ludt Vrtual LSD, een mmerseve audovsuele ervarng. Vrtual LSD s de naam van de muzekvsualsatesoftware de voor een mobele doelgroep gemaakt werd n deze masterproef. De term LSD verwjst naar de hallucnogene drug 2 de ontwkkeld werd n 1938 door Albert Hofmann. Bj de ontdekkng van de drug werd een enorme versterkng n verbeeldngskracht waargenomen, de zorgde voor een veranderde waarnemng van de omgevng[19]. In de jaren 60 en 70 werd LSD popular bj festvalgangers, de beweerden dat de muzek hun omgevng veranderde en hen onderdompelde n een neuwe wereld[15]. Geljkaardg aan deze hallucnogene drug, zal de applcate de beschreven wordt n de masterproef de omgevng van een gebruker aanpassen op bass van muzek. Om aan te geven dat het gaat over een puur vrtuele representate van de drug, werd de term vrtual geïntroduceerd n de naam. Een audovsuele ervarng refereert naar de combnate van de audteve en vsuele zntugen de geprkkeld worden n de applcate. Zowel de muzek als de omgevng de hermee aangepast wordt, zjn de meest essentële aspecten bnnen de Vrtual LSD applcate. De term mmerse beschrjft een psychologsche toestand waar een persoon zch n een andere wereld waant. Een letterljke vertalng van deze term s onderdompelng. Net zoals bj de hallucnogene drug zal een gebruker van de Vrtual LSD applcate ondergedompeld worden n een neuwe wereld. De term wordt verder utgebred besproken n secte 2.5. De ntroducte van mmerse n de ttel, benadrukt de aandacht dat heraan gespendeerd werd n deze masterproef. De Vrtual LSD applcate werd gemaakt om de mmerse en muzekbelevng van de gebruker te kunnen bestuderen. 1 Head-Mounted Dsplay: Een dsplay dat gedragen kan worden op het hoofd. 2 LSD: LySergeenzuurD-ethylamde

14 HOOFDSTUK 1. INLEIDING Idee Deze secte beschrjft het dee van de Vrtual LSD applcate aan de hand van een storyboard. Een storyboard s een opeenvolgng van vsuele schetsen, aangevuld met verdudeljkende nformate[20]. Bovenden maakt de ontwkkelng van een storyboard het mogeljk om goedkoop en snel een vsuele en overzchteljke voorstellng van het dee te presenteren. Op stap met Steve Steve s een muzek en technologe fanaat. Hj houdt van feesten en besteedt uren aan het lusteren naar en het maken van muzek thus. Onlangs heeft Steve een maner gevonden om volledg ondergedompeld worden n een muzkale ervarng. Hj heeft een combnate van apparaten verbonden met zjn laptop, de een AR vsualsate programma utvoert. Gewapend met een laptop op zjn rug, koptelefoon stevg op zjn hoofd, heeft hj enkel nog een AR-brl nodg. Deze brl toont een vdeo-feed de zjn normaal zcht vertegenwoordgt. Deze vdeo-feed wordt overgebracht naar lcd-dsplays n de brl. Zo kan Steve zjn omgevng zen alsof hj een normale brl zou dragen. Steve verbndt zjn hoofdtelefoon en een AR-brl aan zjn laptop en start de Vrtual LSDapplcate. Het programma s gekoppeld aan een muzekspeler waarmee Steve elk nummer kan kezen en afspelen dat hj wl. Na de opstellng, maakt Steve een wandelng n de stad. De Vrtual LSD-applcate zorgt ervoor dat Steve volledg wordt ondergedompeld n een audovsuele ervarng. De verlchtng van de straat verandert volgens het rtme van de muzek. De wereld om hem heen krjgt een hele neuwe vorm van belchtng en kleur.

15 HOOFDSTUK 1. INLEIDING 4 Wanneer Steve een voorbjrjdende auto zet, worden een enorme hoeveelhed deeltjes gegenereerd n het spoor van het bewegende voertug. Heldere, opvallende, kleurrjke muzeknoten, kubussen en andere deeltjes reageren op de muzek. Het straatlcht dat Steve voorbj wandelt ljkt verschllende kleuren ut te stralen op bass van de muzek de wordt afgespeeld. Wanneer hj een reclamebord opmerkt, zet hj een vsualsate van de audo-ampltudes. Hj zt ondertussen helemaal n de sfeer van zjn favorete nummers de door zjn koptelefoon te horen zjn. Aan de rand van de stad, betreedt Steve het bos. Hj gelooft zjn ogen net wanneer hj het bos tot leven zet komen. Deeltjeswolken de ontstaan ut bomen en bloemen, bewegen op de muzek de hj hoort. Als Steve thus komt, kan hj nog steeds net geloven hoe ntens hj de muzek heeft ervaren. Hj voelde de sfeer en het genre van de nummers op een geheel neuwe maner. Elk nummer ljkt een unek effect te hebben op zjn omgevng. Steve sms t al zjn vrenden om deze geweldge ervarng zelf ook eens proberen...

16 HOOFDSTUK 1. INLEIDING Doelstellngen In deze masterproef wordt een proof-of-concept AR applcate gemaakt de muzek vsualseert n de omgevng van de gebruker. Met deze applcate wordt muzekbelevng en mmerse onderzocht. De verschedene stappen en deeloplossngen de nodg zjn om dt te bereken worden her overlopen als doelstellngen van deze masterproef. Onderzoeken van de archtectuur Een eerste doel n deze thess s het onderzoeken waarut een audovsuele AR applcate bestaat. Er moet een globale archtectuur opgesteld worden, waarmee een dergeljke applcate gebouwd kan worden. Bnnen deze archtectuur zal een keuze moeten gemaakt worden tussen raamwerken de combneerbaar zjn en de juste functonaltet aanbeden. Onderzoeken van een hardware-opstellng Om een systeem te ontwkkelen dat gebruk maakt van audo, vsualsates en AR s een set van bepaalde apparaten nodg. Bnnen deze masterproef zal een opstellng moeten onderzocht worden de n staat s om een audovsueel AR systeem functoneel te maken. Ontwkkelen van een Proof-of-concept AR applcate Aan de hand van de vooropgestelde archtectuur wllen we op een terateve maner prototypes ontwkkelen de n staat zjn om muzek te vsualseren n de omgevng van de gebruker. Integrate van de omgevng onderzoeken In een volgende stap zou de ntegrate van de omgevng n de applcate moeten onderzocht worden, door de mmerse te evalueren van de gebruker. Immerse geeft de mate aan dat een gebruker zch n een vrtuele wereld waant. Onderzoeken van methodes om mmerse te meten Om mmerse bj een gebruker te kunnen meten, moet een methode gevonden worden de her een oordeel over kan vellen. Aantonen van het nut We wllen dat de ontwkkelde applcate nuttg s en een toegevoegde waarde kan betekenen n bepaalde scenaro s. Aantonen van de praktsche haalbaarhed Tenslotte wllen we ook de haalbaarhed ngeschat worden om een dergeljke applcate commerceel te maken.

17 HOOFDSTUK 1. INLEIDING Structuur van de tekst De structuur van deze masterproef werd opgebouwd rond de Vrtual LSD applcate, waarmee de mmerse en belevng van de gebruker werden bestudeerd. In hoofdstuk 2 wordt het ontwerp besproken van de Vrtual LSD applcate. Hern wordt een archtectuur geschetst van de applcate en de hardware de er voor nodg s. Herna wordt aan mmerse een defnte gegeven de gebrukt werd om de Vrtual LSD applcate te evalueren. De hoofdstukken 3, 4 en 5 bespreken de verschllende onderzoeksdomenen de aan bod komen n de Vrtual LSD applcate. In deze hoofdstukken wordt steeds de lteratuur bestudeerd de een bass vormt om n een later stadum de praktsche en technsche aspecten van het onderzoeksdomen te kunnen bespreken. Voor de besprekng van de mplementate, worden raamwerken vergeleken en utgekozen de nuttg leken bnnen het domen. De Vrtual LSD applcate steunt op dre sterk verschllende onderzoeksdomenen. Het eerste s Musc Informaton Retreval, dat het ophalen van nformate ut muzek beschrjft n hoofdstuk 3. In hoofdstuk 4 komt Computer Vse aan de beurt, dat beschrjft hoe we nformate halen ut de omgevng van de gebruker. Tenslotte wordt n hoofdstuk 5 de vsualsates besproken de gebruk maken van de vorge twee onderzoeksdomenen. Na de utgebrede besprekng van elk onderzoeksdomen wordt n hoofdstuk 6 ets meer gezegd over de evaluate van de prototypes. Eerst wordt er een gepaste evaluatemethode gezocht waarmee we mmerse bj de gebruker kunnen evalueren. In een volgende stap worden twee evaluatesesses gehouden de her utvoerg besproken worden. Deze masterproef wordt afgesloten met een beslut waarn de vooropgestelde doelen getoetst worden aan de behaalde resultaten. In dt laatste hoofdstuk zal ook een krtsche reflecte gegeven worden over de aanpak van deze masterproef. Tenslotte worden enkele pstes aangehaald de kunnen leden tot verder onderzoek.

18 Hoofdstuk 2 Ontwerp In dt hoofdstuk wordt het ontwerp van de Vrtual LSD applcate meer utgelegd. Herbj wordt de ontwkkelmethodologe besproken de gehanteerd werd. Daarna wordt de globale archtectuur van de applcate opgesteld. Hermee zal de applcate opgebouwd worden. Een audovsualsate applcate de gebruk maakt van AR heeft bepaalde apparaten nodg, waaraan we n dt hoofdstuk aandacht zullen besteden. Naast deze zaken worden ook gerelateerde toepassngen aangehaald. We besluten met een lteratuurstude rond mmerse. Dt concept wordt vaak doorheen de masterproef gebrukt, waardoor het noodzakeljk s dat we het concept n dt hoofdstuk dudeljk defnëren. 2.1 Ontwkkelmethodologe Om de Vrtual LSD applcate te ontwkkelen werd gebruk gemaakt van rapd prototypng. We zullen op een terateve maner prototypes ontwkkelen. Na de ontwkkelng, zal het prototype getest worden door mddel van evaluates met gebrukers. Met de bevndngen van elke evaluate, zullen we het prototype verbeteren of utbreden. In deze masterproef werden twee opeenvolgende prototypes gemaakt de elk geëvalueerd werden. 2.2 Archtectuur van de applcate De Vrtual LSD applcate bestaat ut meerdere onderzoeksdomenen. De theoretsche en technsche aspecten worden per onderzoeksdomen utgelegd n hoofdstuk 3, 4 en 5. Alvorens een specfek onderzoeksdomen verder ut te depen, wordt her de globale archtectuur van de applcate geschetst. Fguur 2.1 toont de verschllende componenten van de Vrtual LSD applcate. Zonder te dep n te gaan op de onderlggende raamwerken, kunnen we deze componenten spltsen n dre grote delen. Het eerste domen s Musc Informaton Retreval. Dt domen bevat de componenten de nstaan voor het halen van nformate ut muzek. Een ander domen, Computer Vse, bevat dan weer degene de nstaan voor het halen van nformate ut de omgevng van de gebruker. Als laatste s er Vsualsate, dat 7

19 HOOFDSTUK 2. ONTWERP 8 de nformate van de vorge domenen zal gebruken om znvolle beelden te genereren op het scherm. In bjlage A wordt deze archtectuur n volledge grootte opgenomen. Fguur 2.1: De archtectuur van de Vrtual LSD applcate, de de dre grote onderzoeksdomenen schetst; Musc Informaton Retreval, Computer Vse en Vsualsate 2.3 Hardware Opstellng Zoals vermeld n het storyboard (1.3), heeft de gebruker van de Vrtual LSD applcate enkele apparaten nodg. Een gebruker heeft een laptop (utbredbaar naar smartphone), een hoofdtelefoon en een AR brl nodg. De AR brl wordt her gezen als een vdeobrl de bovenden n staat s om de omgevng te regstreren va ngebouwde camera s. Een voorbeeld van dergeljke brl s de Vuzx Wrap 920AR 1. De hoge kostprjs van deze AR brl, leek een strukelblok te zjn om de brl te gebruken n deze masterproef. Er was echter een geljkaardge vdeobrl aanwezg op het departement(cw KULeuven) met dezelfde specfcates, maar zonder de camera s. Door zelf een camera toe te voegen aan de opstellng, verkrjgen we een geljkaardg apparaat met een substanteel lagere kost. Bovenden s een hoofdtelefoon geïntegreerd n de brl. De utendeljke opstellng van de Vrtual LSD applcate bestaat vervolgens ut: Draagbare dsplay of AR brl Camera Laptop De komende sectes beschrjven de gebrukte apparaten en mogeljke alternateven. 1 Vuzx Wrap 920AR, http : //vuzx.com/consumer/products wrap920ar.html

20 HOOFDSTUK 2. ONTWERP 9 (a) Vuzx Wrap920 met hoofdtelefoon (b) Dubbele LCD dsplays (c) VGA-adapter van de vdeobrl Fguur 2.2: De Vuzx Wrap 920 vdeobrl met bjbehorende VGA-adapter. Bron: Vuzx Draagbare dsplay - AR brl De draagbare dsplay de gebrukt werd n de Vrtual LSD applcate s de Vuzx Wrap 920. Zoals eerder vermeld heeft deze vdeobrl geen ngebouwde camera s, maar komt verder sterk overeen met de Vuzx Wrap 920AR. De brl met een ngebouwde hoofdtelefoon s te zen n fguur 2.2a. De makers hebben getracht om de brl zo onopmerkeljk mogeljk te maken, door het te maskeren als een zonnebrl. Door de hoge plaats op de neus, s deze pogng echter net geslaagd. Bnnenn de brl ztten twee LCD dsplays(fguur 2.2b), de elk een resolute hebben 640 op 480 pxels. Doordat deze dsplays zo dcht tegen de ogen staan, heeft de gebruker de ndruk dat hj naar een 67 scherm kjkt vanop 3 meter afstand. Va een VGA-adapter(fguur 2.2c) s het mogeljk om de vdeobrl te koppelen aan een laptop. De maxmale resolute de door de VGA-adapter kan worden doorgestuurd s 1024 op 768 pxels. Ut de evaluates bleek dat deze resolute geen beperkng was voor de Vrtual LSD applcate. Om een tekstdocument te lezen met deze brl, bljkt de resolute wel onvoldoende te zjn. Aan de VGA-adapter s ook een USB-utgang aanwezg de nstaat voor de stroomtoevoer en het gelud. Door de USB-kabel te connecteren met de laptop, wordt het gelud van het besturngssysteem doorgestuurd naar de ngebouwde hoofdtelefoon van de brl Camera Om een alternatef te beden voor de ngebouwde camera s, werd een webcam gekoppeld aan de brl. In de eerste testen van de Vrtual LSD applcate werd een Logtech C200 webcam gebrukt. In fguur 2.3 s te zen dat de bolvormge webcam bovenop de brl rust. De vorm van de camera, zorgde er voor dat de brl oncomfortabel zat en de hele opstellng onstabel was. Bovenden was de kwaltet van de webcam te laag om behoorljke beelden te produceren. Om de problemen van de vorge camera op te lossen, werd een neuwe webcam aangekocht. De keuze vel op een klene webcam met een flexbele nek. In fguur 2.4 zjn foto s te zen van deze webcam, vastgemaakt aan de vdeobrl. Deze webcam produceert een scherper

21 HOOFDSTUK 2. ONTWERP 10 Fguur 2.3: Logtech C200 webcam, vastgemaakt aan de vdeobrl. beeld, heeft dezelfde kleur en stjl van de brl en zorgt voor geen bjkomend ongemak bj het dragen van de brl. De webcam werd vastgemaakt langs de lnkerzjde van de brl op een relatef prmteve maner (fguur 2.4c). Tjdens de evaluates ondervonden de gebrukers geen ongemak van de webcam. (a) Bovenaanzcht van vdeobrl en webcam (b) vooraanzcht van vdeobrl en webcam (c) Aanhechten van webcam aan vdeobrl Fguur 2.4: De neuwe flexbele webcam, vastgemaakt aan de vdeobrl Laptop De laptop de gebrukt werd om de Vrtual LSD applcate te draaen, was een MSI GX700. Deze vjf jaar oude laptop heeft een Intel Core2Duo T7300 processor met 2Gb aan werkgeheugen. Ut de evaluates s gebleken dat de laptop vaak tekortschoot om de vsualsates vlot te tonen. Door optmalsates aan de software door te voeren, s de performante van het tweede prototype sterk verbeterd. In de opstellng zou de laptop kunnen vervangen worden door een smartphone. Het gebruk van een smartphone zou het realsme van de applcate vergroten. Het zou echter ook de mplementate en debuggen moeljk maken. Bovenden zjn de specfcates van state of the art smartphones vergeljkbaar met de specfcates van de gebrukte laptop. Om het mplementeren, testen en utvoeren van de Vrtual LSD applcate eenvoudger te maken, werd een laptop verkozen boven een smartphone.

22 HOOFDSTUK 2. ONTWERP EEG headset In de tweede evaluatesesse werd getracht om emotonele reactes te regstreren met hersengolffrequentes. Om dt te verwezenljken werd een EEG 2 headset gebrukt de tjdens de applcate gedragen werd. De gekozen EEG headset was de Emotv Epoc. De Emotv Epoc s een draadloze headset de hersengolffrequentes regstreert en verwerkt (fguur 2.5a). Het maakt gebruk van een set van (14) sensoren de elektrsche sgnalen opvangen de door de hersenen worden geproduceerd. Deze sensoren worden op verschedene plaatsen op de schedel geplaatst, zodat een wjd berek van hersengolven kan gemeten worden. Met deze EEG headset kunnen gedachten, gevoelens en gezchtsexpresses van de gebruker worden geregstreerd 3. De volledge opstellng nclusef EEG headset s te zen n fguur 2.5b. Het gebruk van de vdeobrl samen met de EEG headset s mogeljk, maar zeker en vast net comfortabel. Tjdens de tweede evaluatesesse klaagden verschllende testpersonen dat het gebruk van bede voor ongemak zorgde. (a) De Emotv Epoc headset. Bron: Emotv (b) De volledge opstellng nclusef Emotv Epoc Fguur 2.5: De EEG headset n de volledge opstellng. 2.4 Gerelateerde toepassngen Muse c vsualzer Muse c vsualzer 4 s een Phone app de zeer sterk ljkt op de Vrtual LSD applcate. Het s een muzekvsualsate app, de gecreëerd werd om het muzeknummer muse c van Salyu x Salyu te promoten. De app verandert de omgevng van de gebruker n een muzekvdeo door allerle flters toe te passen op het webcam-beeld van de Phone (2.6c). De Phone moet voor de gebruker gehouden worden, terwjl de webcam op de achterkant van de 2 EEG: elektro-encefalogram 3 Emotv, http : // 4 Muse c vsualzer, http : // vsualser/

23 HOOFDSTUK 2. ONTWERP 12 Phone de omgevng flmt. Ondanks het verschl n gebrukte hardware, heeft deze app bjgedragen tot het ontwkkelen van de Vrtual LSD applcate. Ze gaf bjvoorbeeld het potenteel aan van een dergeljk dee. De enthousaste reactes op deze app, gaven bljk van een degeljk nut. Ondanks de sterke geljkenssen heeft deze app enkele beperkngen de vermeden werden n de Vrtual LSD applcate. Er s bjvoorbeeld geen computer vse aanwezg de extra nformate ut het beeld haalt. Daarenboven wordt er enkel gebruk gemaakt van flters de wllekeurg op het scherm getoond worden. De grootste beperkng s dat deze app gebouwd s rond een specfek muzeknummer. Er worden bjvoorbeeld beelden getoond van de zangeres (fguur 2.6b). De Vrtual LSD applcate bedt meer depgang en mogeljkheden door het gebruk van computer vse en abstracte vsualsates de net gebonden zjn aan een specfek muzeknummer. Her worden dus geen beelden (e.g. van een zangeres) getoond de gerelateerd zjn aan één muzeknummer. (a) Hoofdscherm van de Muse c app. (b) Vsualsate n de Muse c app. (c) Gebruk van Phone camera n de Muse c app. Fguur 2.6: De Muse c vsualzer Phone app. Bron: Kego Oyamada, Salyu BEP360 BEP360 s een Phone app dat op een alternateve maner muzekvdeo s toont 5. Er zjn verschedene mogeljkheden, waaronder het bekjken van een muzekvdeo waarn je 360 kan ronddraaen (fguur 2.7a). Door de Phone rond te draaen, beweegt de muzekvdeo (de te zen s op het scherm) mee n de overeenkomstge rchtng. De gebruker van de Phone app bevndt zcht als het ware n het mdden van de muzekvdeo. De muzekvdeo de getoond wordt, s opgenomen met een set van 16 camera s de samen 360 kunnen flmen (2.7b). Als de gebruker (met de Phone voor zch ut) roteert om zjn as, worden steeds beelden getoond van overeenkomstge camera s. Zo wordt een lluse gecreëerd waarbj de gebruker zch n de muzekvdeo waant. 5 BEP360, http : //

24 HOOFDSTUK 2. ONTWERP 13 Deze Phone app toont een alternateve maner om muzekvdeo s te tonen door gebruk te maken van de omgevng van de gebruker. De Vrtual LSD applcate valt ook bnnen deze categore. Ze kan gebrukt worden om muzekvdeo s te tonen n de omgevng van de gebruker. (a) De 360 muzekvdeo functe van de BEP360 app. (b) De camera-opstellng dat gebrukt werd om de muzekvdeo n 360 te flmen. Fguur 2.7: De BEP360 Phone app. Bron: Wll..apps ClayVson ClayVson[52] s een navgatesysteem dat Augmented Realty gebrukt om real-tme 3D transformates ut te voeren op stedeljke objecten. Bestaande gebouwen worden vergroot of vervormd als men deze bekjkt va het navgatesysteem. Om dt te verwezenljken hebben de ontwkkelaars vooraf utgebrede 3D modellen van gebouwen gemaakt om ze daarna te herkennen en kunnen transformeren. Eens dergeljke gebouwen herkend worden door het navgatesysteem (.e. als men er naar kjkt), worden de 3D modellen getoond n plaats van de echte gebouwen. Hermee kunnen de modellen aangepast worden n hoogte, breedte of kunnen ze zelf gebogen worden. De facade van het gebouw wordt op het 3D model geprojecteerd zodat de belchtng overeenkomt met de realtet. Een dergeljke applcate zou een utbredng kunnen zjn voor de Vrtual LSD applcate. In plaats van de vsualsates de n de Vrtual LSD applcate geïmplementeerd zjn, zouden 3D transformates kunnen utgevoerd worden op bass van de muzek. 2.5 Lteratuurstude rond mmerse Immerse s een abstract concept dat weergeeft n welke mate een gebruker zch n een andere vrtuele wereld waant. Dt concept s eerder slecht gedefneerd en voor nterpretate vatbaar. In deze secte worden verschedene defntes bekeken. Naast mmerse bestaan er geljkaardge concepten de meer dudeljk kunnen scheppen. Ut de bevndngen van de bestaande defntes en geljkaardge concepten wordt utendeljk een egen defnte aan mmerse gegeven, de zal gebrukt worden n de evaluatesesses.

25 HOOFDSTUK 2. ONTWERP Dudng van mmerse Immerse kent verschedene defntes. Coomans[8] beschrjft mmerse als the feelng of beng deeply engaged where partcpants enter a make-beleve world as f t s real.. Slater[50] benadrukt dat mmerse een mappng nodg heeft tussen de proprocepteve feedback (.e. bewegng van de speren) van de gebruker en de gegenereerde nformate n de vrtuele wereld. Immerse s een concept dat vaak gelnkt wordt aan andere concepten. Om een defnte aan mmerse te kunnen geven, werd er gekeken naar bestaande concepten de sterk geljken op mmerse. De meest gebrukte concepten zjn Cogntve Absorpton (CA), Flow en Presence. [22] We bespreken deze achtereenvolgens n volgende sectes en geven daarna een egen defnte aan mmerse Flow Flow (los vertaald als n een mentale stroomversnellng ztten) wordt beschreven als het proces waar de gebruker een optmale belevng heeft. Cskszentmhaly[10] verwoordde Flow als the state n whch ndvduals are so nvolved n an actvty that nothng else seems to matter. Wanneer gebrukers n de Flow status ztten, worden ze zo geabsorbeerd door hun actvteten dat rrelevante gedachten en gebeurtenssen weggeflterd worden. Flow wordt opgedeeld n 8 componenten[10]: Dudeljke doelen: mensen halen voldoenng ut het najagen en volbrengen van doelen. Een voorbeeld hervan zjn quests n World Of Warcraft. Drecte feedback: feedback laat mensen weten dat ze een bepaald doel berekt hebben of op de goede weg ztten. Herdoor bljft het doel steeds voor ogen. Hoog concentratenveau: een acte n de vrtuele wereld vraagt zoveel concentrate dat slechts een beperkt deel van nformate nuttg ljkt. Irrelevante nformate zoals alledaagse bekommernssen worden doorgaans weggeflterd. Verles van zelfbewustzjn: de nformate de men gebrukt om zchzelf voor te stellen ljkt net relevant meer bj een acte of bnnen vrtuele wereld. Het laat toe om zchzelf te vergeten of grootser en beter voor te stellen. Verstoorde note van tjd: na de Flow status weet men net hoe de tjd verlopen s. De tjd de ervaren wordt n de vrtuele omgevng ljkt net dezelfde als de van de rele omgevng. Capacteten nodg hebben om utdagende taak te volbrengen: door specfeke capacteten te gebruken verhoogt het gevoel van macht, controle en zelfvoldoenng. Bjvoorbeeld een vngervlugge hand-oog-cordnate n een Frst Person Shooter laat toe om moeljkere taken te volbrengen.

26 HOOFDSTUK 2. ONTWERP 15 Sterke en moeteloze betrokkenhed: men voelt zch betrokken zonder dat men zch hervoor moet nspannen. Bjvoorbeeld een meeslepende flm zorgt ervoor dat de kjker door beeld, verhaal, gelud en settng meevoelt met de fcteve personages, zonder dat de kjker zch moet nspannen om betrokken te zjn. Gevoel van persoonljke controle: controle utoefenen n een moeljke stuate geeft het gevoel dat men zelf bepaalt hoe ets verloopt. Dt staat haaks tegenover het alledaagse leven waar men vaak controle verlest n stuates (e.g. een onverwachte vraag n een gesprek). Flow ljkt zeer sterk op mmerse te geljken. Voornameljk het verles van zelfbewustzjn, de verstoorde note van tjd en het hoge concentratenveau zjn belangrjke componenten om mmerse te beschrjven. Flow gaat echter vooral om optmale en daardoor extreme belevng. De veresten om n een Flow status terecht te komen zjn herdoor zeer strkt[22]. Brown[5] vond dat mmerse geen extreem s, maar een graduele ervarng dat meerdere levels van betrokkenhed bevat Cogntve Absorpton Cogntve Absorpton of Cognteve Absorpte (CA) wordt omschreven als a state of deep nvolvement wth software [1]. Geljkaardg aan Flow, wordt CA opgedeeld n meerdere componenten. De 5 componenten (of dmenses) van CA zjn: Verstoorde note van tjd: de tjd de ervaren wordt n de vrtuele omgevng ljkt net dezelfde als de van de rele omgevng. Hoog concentratenveau: een acte n de vrtuele wereld vraagt zoveel concentrate dat slechts een beperkt deel van nformate nuttg ljkt. Irrelevante nformate zoals alledaagse bekommernssen worden doorgaans weggeflterd. Toegenomen plezer: de nteracte met de software (of VE) geeft een aangenaam en voldaan gevoel. Dt kan ontstaan door een doel te bereken, een ntrnseke belonng of het gevoel dat men tot meer n staat s dan n de rele wereld. Controle: de percepte van de gebruker over de mate waarn hj/zj de stuate n handen heeft. Neuwsgerghed: de motvate de voortvloet ut de neuwe belevng van de gebruker. Neuwe zaken wllen ontdekken geeft een opwndend gevoel. Ook bj CA zjn er enkele componenten de mmerse ljken te beschrjven. De verstoorde note van tjd, de verhoogde concentrate en het genot/plezer. Toch zjn bede begrppen net helemaal geljk. Het onderzoek n CA s vooral gefocust op het begrjpen en analyseren van gebrukersreactes op nformatetechnologe, terwjl mmerse eerder de belevens op een bepaald moment voorstelt[22].

27 HOOFDSTUK 2. ONTWERP Presence Presence s een popular onderzoeksdomen vanaf de jaren 90. Er s echter heel wat onenghed over de defnte van de term[60][50][58]. De defnte van Presence volgens Slater et al.[50] s the extent to whch the actual system delvers a surroundng envronment. Een vaak gecteerde defnte van Wtmer en Snger[58] heeft het echter over the persons response to the VE system. Presence s vooral gefocust op het meten en evalueren van Vrtual Envronments (VE). Er s dan ook veel onderzoek gegaan naar het ontwkkelen van questonnares (en andere methodes) om Presence te kwantfceren. Wtmer en Snger[58] rchtten op een puur subjecteve metng van belevng. Zj vonden dat de mate waarn een nteracte bnnen de VE natuurljk was, de Presence bepaalde. Zahork en Jenson[60] keken meer naar de objecteve kant van de VE, nameljk het systeem. Zj concludeerden dat de mate waarn een acte van de gebruker door het systeem als wettg ( lawful ) wordt beschouwd, de Presence bepaalt. Slater et al.[50] gebrukt eerder fyseke meetapparatuur om een drecte lnk te vnden tussen de VE en de gebruker. Hermee benadrukt hj het nut van het vrtuele lchaam bnnen de VE. Door deze zeer gerchte en praktsche omschrjvng, dat gercht s op VE, ljkt Presence enkele fundamentele componenten te mssen om mmerse te beschrjven Egen defnte van mmerse Ut de 3 voorgaande termen kunnen we enkele geljklopende kenmerken halen. Vooral de verstoorde note van tjd, de verhoogde concentrate bnnen de vrtuele omgevng en het verles van het zelfbewustzjn ljken een rol te spelen n mmerse. Emotonele betrokkenhed s een andere belangrjke factor volgens Brown en Carns[5]. Ut artstek onderzoek [45][12] bljkt dat plezer en esthetek een nvloed hebben op de belevng/mmerse. Als we deze bevndngen samen nemen, krjgen we 5 kerncomponenten de mmerse beschrjven: Attenton: De mate waarn de concentrate en de aandacht van de gebruker naar de applcate gaat. Irrelevante nformate zoals alledaagse bekommernssen worden doorgaans weggeflterd. Enjoyment: Plezer beleven met de applcate. Alsook de mate waarn esthetek (e.g. gebruk van gepaste vormen en kleuren) bjdraagt tot de belevng. Emotonal Attachment: Gevoelens (e.g. bljdschap of angst) de vrjkomen door het gebruken van de applcate. Transportaton: Het verles van zelfbewustzjn en het geloof dat de vrtuele wereld realstsch s. Temporal dssocaton: De tjd de ervaren wordt n de vrtuele omgevng ljkt net dezelfde als de van de reële omgevng (Verstoorde note van tjd).

28 HOOFDSTUK 2. ONTWERP 17 In tegenstellng tot Jennet et al.[22] wordt mmerse n deze masterproef net gelmteerd tot games. Elke nteracte met een vrtuele omgevng kan leden tot mmerse. In een AR applcate, zoals Vrtual LSD, kan de gebruker even goed een mmerseve ervarng hebben.

29 Hoofdstuk 3 Musc Informaton Retreval Nadat we de bass hebben gelegd voor de applcate, bespreken we n dt hoofdstuk het eerste onderzoeksdomen de voorkomt n de archtectuur; Musc Informaton Retreval. MIR kan aanzen worden als het analyseren van muzek door er bepaalde nformate ut te halen. De lteratuurstude rond MIR zal om een bass vormen waarop de besprekng van de raamwerken en de mplementate steunt. 3.1 Lteratuurstude Domen In het domen van MIR spelen er verschllende facetten een belangrjke rol. Doordat er een aanzenljk aantal facetten zjn waarmee men rekenng moet houden n MIR research, s het verre van eenvoudg. Downe beschreef dt aspect van MIR als The multfaceted challenge[14]. We bespreken her de verschllende facetten bnnen MIR. Daarna worden enkele andere moeljkheden toegelcht waarmee men rekenng moet houden bj onderzoek n het domen. De verschllende facetten bnnen MIR zjn het ptch, temporele, harmonsche, tmbrale en tekstuele facet. Twee andere facetten de Downe bespreekt (edtoraal en bblografsch) worden her net besproken. Het edtorale facet overlapt grotendeels met het tmbrale facet. Het bblografsche facet beschrjft metadata, terwjl deze masterproef meer gercht s op de audodata. Ptch facet Ptch of toonhoogte wordt aanzen als de waargenomen kwaltet van het gelud. Deze s vooral afhankeljk van de frequente (aantal oscllates per seconde). 18

30 HOOFDSTUK 3. MUSIC INFORMATION RETRIEVAL 19 Temporele facet Informate dat afhankeljk s van de duur van een gelud, valt onder het temporele facet. De meest bekende voorbeelden hervan zjn tempo en duur van een bepaalde toon. Het temporale facet geeft een muzekstuk een bepaald rtme. Harmonsche facet Als er meerdere noten tegeljk gespeeld worden, ontstaat er een harmone. Dt onderschedt het ene muzekstuk van het ander. Door bepaalde noten op elkaar te laten volgen of samen te spelen met een bepaald tjdsnterval, krjgt een muzekstuk een harmonsch facet. Deze combnate maakt een muzekstuk herkenbaar en creëert een toegevoegde waarde bnnen muzek zoals wj ze waarnemen. Meerdere muzkanten de een muzekstuk spelen op een andere maner en/of nstrument, hebben allemaal hetzelfde harmonsche facet. Tmbrale facet Het tmbrale facet beschrjft het verschl n klankkleur. Een noot dat gespeeld wordt door een klarnet of een trompet geeft een zeer verschllend gelud. Elk nstrument heeft een egen tmbre. Ook de maner waarop een noot wordt aangeslagen of aangehouden, zt verwerkt n het tmbrale facet. Tekstuele facet De lyrcs (of songteksten) n een brede betekens beslaan het tekstuele facet. Hymnes, koorteksten of lbrett (teksten ut de opera) horen allemaal onder deze noemer. De tekst bj een muzekstuk s n een bepaalde mate onafhankeljk van de melode en harmone. Ze geeft echter een bepaalde boodschap en gevoel dat een muzekstuk ljkt te versterken. Desondanks de grote hoeveelhed nformate de ut lyrcs kan gehaald worden, wordt dt facet net gebrukt n deze masterproef. Dt laat ons toe om gebruk te maken van nstrumentale muzek (e.g. klasseke muzek en flmmuzek). Andere moeljkheden De multfaceted challenge s jammer genoeg net het enge probleem bnnen MIR onderzoek. Daarnaast s het analyseren van muzek utdagend doordat muzek complex en subjectef s en kan gerepresenteerd worden n verschedene maneren. Muzek kan voorgesteld worden n symbolen (e.g. partturen, muzeknoten, tekst) of audo (e.g. lve performance, cd, lp). Ut analyse bljkt ook dat muzek van nature ut een vorm van expresse s de anders gerealseerd wordt afhankeljk van cultuur, en anders wordt ervaren door elk ndvdu[14]. Iedereen heeft zjn egen percepte van muzek, waardoor het analyseren van de muzkale data een zeer moeljk domen bljkt te zjn. Dt maakt het vsualseren van muzek n de omgevng van de gebruker moeljk. De Vrtual LSD applcate tracht bepaalde muzkale

31 HOOFDSTUK 3. MUSIC INFORMATION RETRIEVAL 20 facetten n de verf te zetten om de belevng te verhogen. Doordat edereen een egen percepte heeft van muzek, s er sterke varate mogeljk n de belevng van de gebrukers. Een gebruker kan bjvoorbeeld gefocust zjn op de lyrcs van de muzek, terwjl andere facetten (e.g. klankkleur, rtme) benadrukt worden door de Vrtual LSD applcate. De belevng van deze gebruker kan dus sterk afwjken van andere gebrukers. In de evaluate worden opmerkngen opgenomen de dt aantonen Bassoperatoren Door mddel van een reeks van veel gebrukte bassoperatoren kan men nuttge data ut muzek extraheren. Dankzj een combnate van deze operatoren samen te voegen s het mogeljk om een audo feature (een representate van bepaalde muzkale karaktersteken) te verkrjgen. In het verder verloop van deze masterproef worden deze bassoperatoren net explcet gebrukt. Er wordt gebruk gemaakt van MIR raamwerken de audo features extraheren. De bassoperatoren worden her enkel beschreven om te schetsen hoe een audo feature geëxtraheerd wordt. Hermee s het mogeljk om een egen audo feature te ontwkkelen voor toekomstge systemen. We kunnen de bassoperatoren opspltsen n de volgende categoreën; transformates, flters en aggregatefunctes[37][35]. Transformates Transformates zjn operates de data van een bepaalde vectorrumte naar een andere andere vectorrumte mappen. Een voorbeeld van een transformate s de Dscrete Fourer Transformate (DFT). De DFT mapt data van het temporele domen naar het frequentedomen en geeft de dstrbute van het sgnaal weer. Het temporele domen stelt het sgnaal voor dat verandert met de tjd. Het frequentedomen toont de spectrale dstrbute van het sgnaal en laat het toe om de harmone en toonaard te analyseren. Flters Flters zjn operates de een reeks numereke waarden naar een andere reeks numereke waarden n dezelfde rumte mappen. Een voorbeeld van een eenvoudge flter s de afgelede van een reeks numereke waarden. Een andere belangrjke type van flter s de wndow flter of vensterfuncte. Deze flter s een functe de nul s buten een bepaald nterval. Herdoor ljkt het alsof men een stuk ut het volledge sgnaal knpt. Een veel gebrukte vensterfuncte n muzekanalyse s het Hammng-venster. Het Hammng-venster heeft een cosnusvorm waarbj een constante s bj opgeteld. Herdoor s ze beter geschkt voor detecte van zwakkere componenten en ontstaan er mnder dscontnuïteten aan de randen van het nterval[34].

32 HOOFDSTUK 3. MUSIC INFORMATION RETRIEVAL 21 Aggregatefunctes Als laatste bassoperator hebben we de aggregatefuncte, de een reeks van numereke waardes mapt naar een enkele scalare waarde. Een aggregatefuncte dat vaak gebrukt werd n de Vrtual LSD applcate, s de standaard devate. Standaard devate s een statstsche maat voor de spredng van een varabele. Ze stelt een relatef compacte representate voor van hoe het audosgnaal verandert over de tjd[34] Audo features Aan de hand van de beschreven bassoperatoren s het mogeljk om een wjde reeks van features te extraheren ut ruwe audodata. Een verzamelng van populare audo features wordt opgesomd en besproken op bass van de bevndngen van Mckay[34]en Zelkowtz[37]. Features n het frequentedomen Spectral Centrod: Een benaderng voor de helderhed van een muzeksgnaal. gedefneerd als het zwaartepunt van het magntude spectrum. Spectral Centrod s Spectral Roll-off Pont: De frequente onder een bepaalde fracte (gebrukeljk 0.85 of 0.95), van de dstrbute van het vermogensspectrum. Spectral Roll-off Pont geeft een ndcate hoeveel energe van het sgnaal er n de lagere frequentes s. Deze feature wordt vaak gebrukt bj het onderscheden van spraak n muzek. Spectral Flux: Een maatstaf voor de hoeveelhed spectrale veranderng n sgnaal voor eder frame. Ze wordt vaak gebrukt als benaderng voor het tmbre. Mel-Frequency Cepstral Coeffcents (MFCC): Een meerdmensonale feature vector dat tmbrale nformate voorstelt. De MFCC beschrjft de spectrale vorm van het sgnaal. De vector wordt berekend door de logampltude van het magntude spectrum te nemen en te groeperen n bns op bass van de perceptueel gemotveerde Mel-frequenteschaal. FCC s veel gebrukt n onderzoek rond spraak. Lnear Predctve Codng (LPC): Een methodologe dat s ontwkkeld om spraaksgnalen te analyseren en te beschrjven. LPC tracht de bassparameters van het spraaksgnaal te schatten. De bassparameters worden beschreven n formanten (spectrale banden de overeenkomen met resonante-frequentes n het spraakkanaal) en de vocale transfer functe. LPC werd n het verleden gebrukt voor compresse en segmentate van spraak. Features n het temporale domen

33 HOOFDSTUK 3. MUSIC INFORMATION RETRIEVAL 22 Zero Crossngs: Het aantal keer dat het sgnaal van postef naar negatef gaat en omgekeerd bnnen een bepaalde tjdspanne. Zero Crossngs geeft een ndcate van de rus n het sgnaal. Het s een populare feature doordat het zeer eenvoudg en goedkoop te berekenen s. Root Mean Square (RMS): Een maatstaf voor de gemddelde energe n een sgnaal voor een bepaalde tjdsframe. RMS komt vrj sterk overeen met het volume of geludssterkte van een sgnaal. Beat Hstogram: Een compacte globale representate van het rtme van een muzekstuk. Het beschrjft de herhalngsfrequente van de hoofdbeat met de overeenkomstge sterkte Muzek, emote en kleur Muzek s een vorm om een bepaalde emote te uten[23]. Schubert[43] heeft aangetoond dat tempo, artculate, rtme, ptch, harmone en geludssterkte een sgnfcante nvloed hebben op de waargenomen emote van muzek. Psychologsche studes [26][57] vonden dat emotes voortgebracht door muzek net zo subjectef zjn dat ze ongeldg zjn voor mathematsche modellerng. Bovenden werd aangetoond dat emotonele reactes op muzek bnnen dezelfde cultuur zeer consstent zjn. Deze resultaten geven aan dat het gebruk en extraheren van emotes n MIR haalbaar s. Het gebruk van emotes voortgebracht ut muzek laat ons toe om de muzekbelevng te vergroten. Omdat emote een abstract net-tastbaar begrp s, s er nood aan een concreet medum de een gevoel kan overbrengen. In 1986 speculeerde Arnhem[2] dat verschllende esthetsche domenen gerelateerd zouden zjn door gemeenschappeljke emotonele assocates. Concreet kunnen we dt zen als muzek de gelnkt s met kleur door emote. Volgens Bresn[4] zorgt een nteracteve dsplay de de muzek voorstelt, voor een versnellng n het dentfceren van de emote. Door gebruk te maken van kleur en bewegende objecten wordt een bepaalde emote sneller en mogeljk sterker ervaren. Er wordt dan ook verwacht dat de Vrtual LSD geljkaardge kenmerken toont. Om een (n)drecte lnk te vnden tussen muzek en kleur s er onderzoek gedaan n verschedene subdomenen. Een aantal methodes om symbolen (e.g. noten, toonladders) te mappen op emote en kleur wordt beschreven door Cuddy[11]. Een andere aanpak s va het gebruk van ruwe audodata. Door audo features te extraheren ut ruwe data, kan een emotonele classfcate worden opgemaakt. Recente studes [27][41] hebben aangetoond dat er dudeljke correlates bestaan tussen audo features en emotonele categoreën. Zo heeft Spectral Roughness (.e. een ndcate hoe regelmatg peken voorkomen n het spectrum) een hoge correlate met negateve emotes zoals woede en angst. Een snel rtme of onset rate (aantal noten, beats, percusses n een seconde)

34 HOOFDSTUK 3. MUSIC INFORMATION RETRIEVAL 23 geeft een ndcate dat het muzekstuk vroljk s. Geludssterkte en volume toont een hoge correlate met zeer utgesproken emotes, zoals vroljk en woedend. In de Vrtual LSD applcate werd de Spectral Centrod audo feature gebrukt om de kleuren lchter of donkerder te maken. Deze audo feature geeft een perceptuele helderhed van de muzek weer. In de vsualsate met bewegngsdetecte wordt de kleur bepaald door verschedene audo features. Een hoge Beat Sum, de overeen komt met de onset rate, zal de kleuren meer tussen rood, paars en blauw weergeven. Als deze audo feature een lagere waarde heeft zullen meer posteve kleuren gekozen worden zoals groen en geel. 3.2 Raamwerken Bj de meeste pogngen om muzekanalyse-systemen te bouwen end 20ste eeuw, werd er getracht om de muzek te vertalen naar symbolen en daarna werd er muzektheore gebrukt om de muzek te kunnen karakterseren. Deze aanpak s aangekaart door Martn et al.[30] en Scherer[42]. De hudge systemen proberen om structuur en de nhoud drect te analyseren van audo features, berekend op bass van het audosgnaal[55]. In de volgende deelsectes worden vjf Musc Informaton Retreval (MIR) raamwerken besproken. Daarna worden deze raamwerken met elkaar vergeleken op bass van praktsche brukbaarhed voor deze masterproef. Tenslotte lchten we de keuze voor het jmr raamwerk toe Marsyas Marsyas (MuscAl Research SYstem for Analyss and Synthess), gemaakt door George Tzanetaks, s een poner n het gebed van feature extracton[33]. Het systeem bestaat ut een clënt-server archtectuur. De server, geschreven n C++, bevat alle sgnaalverwerkngen patroonherkennngsmodules de geoptmalseerd zjn voor performante. De clënt, geschreven n Java, bevat enkel de gebrukersnterface code en communceert met de server va sockets. Marsyas kan zowel gebrukt worden als algemeen classfcatesysteem als feature extracton systeem waar de utkomst n het ARFF 1 formaat wordt beschreven[55]. Dt formaat kan hergebrukt worden n de Wakato Envronment for Knowledge Analyss (WEKA) toolkt. Weka s een verzamelng van machne learnng algortmen dat bestemd s voor data mnng taken[18] ALF ALF (Audo-processng Lbrary for Flash), ontwkkeld aan Drexel Unversty, s een raamwerk dat algemene audoverwerkngsalgortmes aanbedt aan Flashontwkkelaars. ALF s 1 Attrbute-Relaton Fle Format,

35 HOOFDSTUK 3. MUSIC INFORMATION RETRIEVAL 24 gebaseerd op Flash Player 10 en Adobe Alchemy, dat toelaat om C++ algortmes te compleren naar Actonscrpt Vrtual Machne om een sgnfcante verbeterng n performante te verkrjgen[13][36]. Het raamwerk s vooral gefocust op het gebruk bj real-tme applcates, vooral op muzek gebaseerde games (Pulse 2 2 ). Naast real-tme utvoer n Flash applcates, s het ook mogeljk om CSV bestanden te genereren met de geëxtraheerde muzkale karaktersteken. Het raamwerk s aanspreekbaar va code of kan va een grafsche gebrukersnterface gebrukt worden[44] YAAFE YAAFE (Yet Another Audo Feature Extractor), ontwkkeld n Insttut Telecom de Pars- Tech, s een command lne programma de het toelaat om muzkale features te extraheren. YAAFE deelt het verwerken van de audo n twee modules; Parser module en de Engne module. De eerste module, geschreven n Python, vertaalt het feature extracton plan naar computatonele stappen n de tweede module. het feature extracton plan s een tekstbestand waar de gebruker aangeeft welke audo features er moeten geëxtraheerd worden. De tweede module s geschreven n C++ voor het optmalseren van de performante. De utvoer van het programma s een HDF5 3 bestand. YAAFE s ontwkkeld om een groot aantal features geljktjdg te extraheren ut een grote audo collecte[31]. Doordat er geen grafsche gebrukersnterface aanwezg s, lgt de gebruksvrendeljkhed van de applcate lager MIRtoolbox MIRtoolbox, ontwkkeld aan Unversty of Jyvskyl, s een extense bovenop Matlab dat gercht s op het extraheren van audo features ut een database van audobestanden. De geëxtraheerde features kunnen gebrukt te worden n statstsche analyse. Doordat MIRtoolbox bovenop Matlab werkt, s het mogeljk om zowel tekstbestanden te exporteren als grafeken te plotten bnnen de Matlab-omgevng[25] jmir jmr, ontwkkeld aan McGll Unversty, s een softwaresute gercht op MIR research. Het kan gebrukt worden om zowel audo als symbolsche formaten (noten) te bestuderen, culturele nformate te verkrjgen van het web en een muzekcollecte te beheren[34]. Een onderdeel van het jmr raamwerk dat nteressant leek te zjn voor deze masterproef s jaudo. jaudo s een raamwerk voor feature extracte dat gercht s op gebruksvrendeljk en cross-platform gebruk. Het raamwerk s geschreven n Java, waardoor het op meerdere 2 Pulse 2: Musc-Reactve sde scrollng game, 3 Herarchcal Data Format,

36 HOOFDSTUK 3. MUSIC INFORMATION RETRIEVAL 25 platformen kan gebrukt worden. Om het gebruksgemak te verhogen s er een grafsche gebrukersnterface en command lne nterface aanwezg, waarut de gebruker vrj kan kezen. Er werd getracht om de algortmes de nodg zjn voor audo extracte utbredbaar te maken, zodat ontwkkelaars hun egen varates of utbredngen op het raamwerk kunnen bouwen. jaudo laat toe de utvoer van de audo feature extracte te exporteren als ACE 4 XML of als ARFF formaat. Het ACE XML formaat laat toe om meerdmensonale audo features te groeperen als vectoren. In tegenstellng tot de meeste andere audo feature extractesystemen[33][34] Vergeljkng Er werd nagegaan welk raamwerk zou gebrukt worden voor de Vrtual LSD applcate. Om een oordeel te kunnen vellen werd enerzjds gekeken naar de mogeljke audo features de geëxtraheerd konden worden met behulp van de raamwerken. In tabel 3.1 zen we een overzcht van een reeks audo features de beschreven zjn per raamwerk. Als een raamwerk de mogeljkhed had om de desbetreffende audo feature te extraheren, zen we een krusje n de overeenkomstge cel. Bj het ontbreken van deze functonaltet, zen we een roodgekleurde cel. We zen n tabel 3.1 dat het YAAFE raamwerk toch enkele essentële features mst (de beschreven werden n 3.1.3). Zo ontbreekt een beat trackng functonaltet en s het net mogeljk om harmonsche features te verkrjgen. Het ontbreken van de Brghtness feature wordt genuanceerd doordat een combnate van MFCC en LPC ook een benaderng kunnen geven voor het tmbre. Tabel 3.1: Overzcht van audo features per raamwerk In tabel 3.2 worden de raamwerken vergeleken op bass van algemene kenmerken. Aan de hand van deze kenmerken wordt de praktsche brukbaarhed van de raamwerken bnnen 4 Autonomous Classfer Engne,

37 HOOFDSTUK 3. MUSIC INFORMATION RETRIEVAL 26 Tabel 3.2: Overzcht van muzekanalyse-raamwerken deze masterproef geschat. Er werd net gekeken naar performante n deze vergeljkng. De Vrtual LSD applcate maakt gebruk van audo feature extracte n een pre-processng stap. In tegenstellng tot real-tme extracte/analyse, s de performante van mnder belang. Programmeertaal We zen een breed verschl n programmeertalen. Verschedene raamwerken zjn geïmplementeerd n meerdere talen. Om performanteredenen werden de algortmes vooral n C++ geschreven. Voor de gebrukersnterface daarentegen wordt voornameljk Java (en Actonscrpt) gebrukt. Mjn programmeerachtergrond lgt bj Java en Actonscrpt, waardoor de desbetreffende raamwerken postef utkomen. Interface We merken op dat enkel Marsyas, ALF en jmir een grafsche gebrukersnterface hebben. Daarnaast s er ook nteracte va code mogeljk. Features Bj het onderdeel features worden de gegevens van tabel 3.1 gebrukt. Het getal geeft aan hoeveel features er kunnen geëxtraheerd worden door een raamwerk. Het maxmum aantal features s twaalf. Zoals eerder opgemerkt scoort vooral YAAFE her relatef slecht op. Output Her worden de mogeljke exportformaten opgesomd. Deze varëren van zeer eenvoudge formaten, e.g. TXT en CSV, naar meer geavanceerde formaten, e.g. ARFF, ACE en HF5. Het ARFF-en HF5-formaat beschrjven gegevens n een zeer compacte wjze. Herdoor bljft de bestandsgrootte klen, maar s het moeljker leesbaar. Het ACE-formaat s een varate op XML waardoor het mnder complex s. Voor alle formaten zjn parser-programma s beschkbaar om het verwerken van de bestanden te vereenvoudgen. Enkel bj jmir s

38 HOOFDSTUK 3. MUSIC INFORMATION RETRIEVAL 27 een dergeljk parser-programma geïntegreerd n het raamwerk. De andere raamwerken zjn afhankeljk van thrd-party programma s. Playback functonaltet Enkel Marsyas, ALF en jmir beschkken over functonaltet om muzek af te spelen. Exportformaat verwerkngsfunctonaltet Zoals eerder vermeld beschkt jmir over een ngebouwde verwerkngsfunctonaltet voor het ACE XML formaat. Ook MIRtoolbox beschkt over de functonaltet om geëxporteerde bestanden opneuw te verwerken door mddel van het mrgetdata(a) commando. Real-tme nteracte Enkel Marsyas en ALF beschkken over nteracte n real-tme. Her kunnen audo features berekend en opgevraagd worden terwjl de muzek speelt. Als een audovsualsateapplcate gebruk zou maken van muzek de de gebruker zelf kan kezen, zjn deze twee raamwerken dus een zeer goee keuze. Documentate Tenslotte werd gekeken naar bestaande documentate per raamwerk. De raamwerken Marsyas en MIRtoolbox hebben een utgebrede documentate, nclusef vdeoflmpjes en voorbeelden. Bj ALF en jmir bestaat er enkel een functonele documentate, zoals JAVADOC. Gekozen raamwerk Er werd beslst om voor het ontwkkelen van de Vrtual LSD applcate gebruk te maken van het jmir raamwerk. Ut deze softwaresute zal enkel jaudo gebrukt worden, dat nstaat voor het extraheren van audo features. Deze keuze werd gemaakt omwlle van de utgebrede kenns van de Java programmeertaal en addtonele mogeljkheden, zoals de ngebouwde playback-en parsngfunctonaltet. De muzekanalyse van de Vrtual LSD applcate zou plaatsvnden n een preprocess-stap. Op deze maner wordt er CPU-rekentjd gespaard voor het computer vse- en vsualsategedeelte. De zeer eenvoudge grafsche nterface van jaudo zorgt ervoor dat er op een ntuïteve maner audo features kunnen geëxtraheerd worden. Een waardg alternatef zou het Marsyas raamwerk zjn. Dt ponersraamwerk scoort op alle opzchten goed. Het s meermaals gebrukt n commercële toepassngen en heeft een zeer utgebrede documentate. Door het ontbreken van een ngebouwde verwerkngsfunctonaltet, werd dt raamwerk net gebrukt voor de Vrtual LSD applcate.

39 HOOFDSTUK 3. MUSIC INFORMATION RETRIEVAL Implementate Audo features extraheren Deze secte zal de methodologe van het extraheren van audo features bespreken. Er wordt eerst een motvate gegeven waarom deze stap net real-tme wordt utgevoerd, maar eerder als preprocessng. Daarna wordt de grafsche gebrukersnterface besproken van het jaudo raamwerk, de gebrukt werd om de audo features te extraheren. Tenslotte wordt ets meer gezegd over het exportformaat van dt raamwerk. Preprocessng Met behulp van het MIR raamwerk, jaudo, worden er audo features geëxtraheerd van een aantal ledjes. Deze extracte gebeurt als een preprocess-stap. De gebruker van de applcate komt n geen geval n contact met deze extracte. Het fnaal prototype van de Vrtual LSD applcate bedt een beperkt aantal nummers aan, waar vooraf audo features van berekend werden. Herdoor wordt er utvoerngstjd bespaard tjdens het gebruk van de Vrtual LSD applcate. In tegenstellng tot het computer vson- en computer graphcsdeel van de mplementate, s het mogeljk om deze berekenngen vooraf ut te voeren. Bj de andere delen van de mplementate s het absoluut noodzakeljk om real-tme berekenngen ut te voeren, omdat ze afhankeljk zjn van de omgevng van de gebruker. Voor het analyseren van muzek hebben we de omgevng van de gebruker uteraard net nodg. Doordat we deze stap vooraf utvoeren, werd er net gekeken naar performante bj de raamwerken. Als men deze stap eerder wel real-tme zou utvoeren, zjn de raamwerken Marsyas en ALF, zoals besproken n 3.1.3, een betere keuze. jaudo GUI Voor het extraheren van audo features werd de grafsche gebrukersnterface van jaudo gebrukt. In deze nterface kan men een aantal ledjes kezen om te analyseren. In afbeeldng 3.1 zen we aan de lnkerzjde een ljst van gekozen muzeknummers. Va de knop add recordngs kunnen deze nummers geselecteerd en toegevoegd worden. Bj het extraheren van audo features voor deze masterproef doken er enkele problemen op bj het selecteren van de nummers. Zo gaf het merendeel van MP3 bestanden fouten bj het toevoegen aan de ljst. Bj verder onderzoek leek dt te komen doordat MP3 een thrd party formaat was n de tjd wanneer jaudo utkwam. Herdoor had de ontwkkelaar van het raamwerk geen recht om het MP3 formaat te analyseren. Ook leken ledjes van langere duur (> 3 mnuten) problemen te geven met de Java omgevng. Herbj werden er meerdere malen Out Of Memory-exceptes gegood. De ontwkkelaar van het raamwerk geeft toe dat grotere audobestanden voor geheugenproblemen kunnen zorgen[34]. Deze problemen geven aan dat het raamwerk wel een update kan gebruken. De laatste aanpassngen aan het raamwerk zjn gebeurd op 5 augustus Om deze problemen te omzelen, werden de

40 HOOFDSTUK 3. MUSIC INFORMATION RETRIEVAL 29 ledjes de utgekozen werden voor de Vrtual LSD applcate omgezet naar WAV 5 formaat en ngekort tot 2 mnuten. Aan de rechterzjde van afbeeldng 3.1, zen we een ljst van extraheerbare audo features. De audo features de n werden besproken, komen voor n de ljst. Ook een aantal aggregate-functes zjn bj elke audo feature mogeljk. Voor de Vrtual LSD applcate werd er enkel gebruk gemaakt van de aggregate-functe; standaard devate. De standaard devate geeft een zeer gematgd verloop, n tegenstellng tot de meeste (ruwe) audo features de een sterk fluctuerend verloop tonen. Onderaan rechts n afbeeldng 3.1 kan men de nstellngen voor het tjdsvenster kezen. Het vnkje Save Features For Each wndows geeft aan dat er een audo feature zal worden berekend voor elk tjdsvenster. Het tjdsvenster kan men kezen door Wndows Sze n te geven. Een Wndow Sze van 512 samples komt overeen met een tjdsvenster van 32 mllseconden. Door de Wndow Overlap te kezen, zullen de tjdsvenster een fracte van elkaar overlappen. Dt zorgt ervoor dat er mnder dscontnuïteten tussen 2 opeenvolgende tjdsvensters optreden. Fguur 3.1: Grafsche gebrukersnterface van jaudo 5 Waveform Audo Fle Format, kondo/wave/mpdata.txt

41 HOOFDSTUK 3. MUSIC INFORMATION RETRIEVAL 30 ACE XML exportbestand De geselecteerde audo features worden per tjdsvenster weggeschreven naar een ACE XML bestand. De audo features worden beschreven n een feature tag, waar de naam en waarde terug te vnden zjn. De feature tags komen voor n meerdere secton tags. De secton tags stellen het tjdsvenster voor. Door een start- en stopattrbuut kan nagegaan worden over welk tjdsvenster het gaat. In afbeeldng 3.2 zen we de eerste regels van een ACE XML exportbestand, waar de feature en secton tags n voorkomen. Het exporteren van de audo features naar ACE XML brengt echter enkele moeljkheden met zch mee. Doordat we audo features wllen extraheren per tjdsvenster en een tjdsvenster slechts een klen tjdsnterval (e.g. 32 mllseconden) vertegenwoordgt, kan het bestand zeer groot worden. Elk ACE XML bestand dat n de Vrtual LSD applcate gebrukt wordt, telt meer dan regels. De grote bestanden zouden voor performante-, geheugen-of mplementateproblemen kunnen zorgen bj een naïeve aanpak. Dankzj de ngebouwde parser-functonaltet van jaudo, wordt dt echter zeer effcënt behandeld. We behandelen het aanspreken van de audo features verder n secte Een andere moeljkhed dat bj het exporteren naar ACE XML naar boven komt, s dat een bepaalde feature tag kan ontbreken als jaudo er net n slaagt om de audo feature te extraheren. Vooral n het begn van een muzeknummer komt dt regelmatg voor. In afbeeldng 3.2 zen we bjvoorbeeld dat n de eerste secton tag slechts ver en n de tweede tag vjf audo features voorkomen. Ook hervoor heeft de ngebouwde parser-functonaltet van jaudo een oplossng. Het raamwerk laat toe om de feature tags te sorteren en te defnëren aan de hand van een ljst van audo features. Hermee worden er feature tags aangemaakt met de waarde 0 (tjdens het lezen van het bestand) als deze zouden ontbreken. Concreet zal dus een feature tag aangemaakt worden n de eerste secton tag van afbeeldng 3.2 voor Spectral Flux, omdat de ontbreekt. Deze ngebouwde parser-functonaltet s een net te onderschatten voordeel. Dt benadrukt, zoals vermeld n 3.2, een argument om voor het jaudo raamwerk te kezen Muzek afspelen Voor het afspelen van de muzeknummers n de Vrtual LSD applcate werd eerst geopteerd voor de ngebouwde playback-functonaltet van het jaudo raamwerk. Bj het ontwkkelen van het hulpsysteem waar audo features geplot werden n grafeken (verder besproken n 3.3.3), kwam er een groot probleem naar boven. Het was nameljk net mogeljk om een accurate speeltjd (current Meda Tme) op te vragen aan de Audo player van jaudo. We hebben deze accurate speeltjd nodg omdat we real-tme audo features wllen gebruken. Deze audo features zjn, zoals vermeld n 3.3.1, beschreven n zeer klene tjdsntervallen van ongeveer 32 mllseconden. Om een audo feature te kunnen tonen op het juste moment, moet de speeltjd van de Audo Player gebrukt worden om de overeenkomstge audo feature op te halen ut het ACE XML bestand. Na verder onderzoek naar alternateven, werd er gekozen voor het JMF 6 raamwerk. Het JMF raamwerk s een optonele utbredng 6 Java Meda Framework,

42 HOOFDSTUK 3. MUSIC INFORMATION RETRIEVAL 31 Fguur 3.2: ACE XML exportbestand waarn de audo features beschreven worden van de Java omgevng dat nstaat voor het opnemen, afspelen, streamen en transcoderen van verschllende medaformaten. In dt raamwerk s een Player-klasse aanwezg de het toelaat om de exacte speeltjd n (nano)seconden op te vragen. Het nladen en afspelen van een muzeknummer vergt slechts 2 regels code. Eén voor de verwjzng naar het audobestand en één voor het oproepen van de start methode. Een nadeel aan deze Player-klasse s dat het geen gebruk maakt van een aparte thread. De ngebouwde playback-functonaltet van het jaudo had dt echter wel voorzen. Herdoor kan het zjn dat de muzek stopt of hapert als de Java Man Thread problemen ondervndt. Dt probleem s echter zeer weng voorgekomen tjdens het gebruk en evaluate van de Vrtual LSD applcate Audo features aanspreken Het moeljkste deel van de audogerelateerde mplementate was het real-tme aanspreken van de geëxtraheerde audo features. Doordat we een klen tjdsvenster hanteren s het van groot belang dat de audo features accuraat worden opgevraagd. De audo features worden bnnen de Vrtual LSD applcate bjgehouden n een array de het ACE XML bestand voorstelt. Net zoals het ACE XML bestand s de array opgedeeld n sectes (of tjdsvensters) met daarn een aantal audo features. Om de juste secte aan

43 HOOFDSTUK 3. MUSIC INFORMATION RETRIEVAL 32 Codevoorbeeld 3.3: Algortme om real-tme audo features op te vragen te spreken op een bepaald moment n de Vrtual LSD applcate, hebben we een nteger nodg de de ndex voorstelt n de array. In codevoorbeeld 3.3 zen we op regel 648 de ndex varabele de een plaats n de xml array voorstelt. Deze ndex wordt berekend op bass van de exacte medatjd gedeeld door de duur van een tjdsvenster (e.g. 32 mllseconden). De berekenng van de ndex varabele staat beschreven op regel 647 n codevoorbeeld 3.3. Om een nuttge keuze te maken van audo features, werd er naast het bestuderen van de lteratuur ook een systeem ontwkkeld om deze te plotten n een grafek. Door meerdere onder elkaar te plotten, konden geljkaardge audo features geëlmneerd worden. We wllen mmers audo features n de Vrtual LSD applcate gebruken de verschllende aspecten van de muzek representeren. Om deze proper n een grafek te krjgen, moesten de waardes genormalseerd worden. Een audo feature zoals Root Mean Square vareert tussen 0 en , terwjl Spectral Flux vareert tussen 0 en Om op een nuttge maner gebruk te kunnen maken van de audo features, werden alle waardes herled naar het berek [0,100]. Voor elke audo feature werd een factor bepaald, waarmee de waardes werden gewogen. Deze normalsate laat ons toe om alle audo features te plotten n grafeken met hetzelfde assenstelsel. Daarenboven zjn de genormalseerde audo features eenvoudger te gebruken n de Vrtual LSD applcate. Door het berek [0,100] te gebruken, kan men een vsualsate wegen met een percent. In afbeeldng 3.4 zen we 6 audo features onder elkaar geplot n een grafek. De (horzontale) x-as stelt de tjd voor n mllseconden, waarbj 1 pxel 32 mllseconden vertegenwoordgt. De y-as stelt de waarde van de audo feature voor n het overeenkomstg tjdsvenster. De waardes varëren tussen 0 en 100 en worden getoond als gekleurde vertcale ljnen. De kleur vareert tussen groen (bj waarde 0) en rood (bj waarde 100). Het systeem werd zo ontwkkeld dat de audo features real-tme getekend werden n grafeken. Elke 32 mllseconden wordt er een ljn getekend de de waarde van de audo feature n het overeenkomstg venster voorstelt. Op deze maner konden de audo features vergeleken en gecontroleerd worden met het muzeknummer dat tezelfdertjd afspeelde. Om n de Vrtual LSD applcate gebruk te maken van de geëxtraheerde audo features, werden alle vsualsates beschreven n een Enumerate-klasse AudoFeature. In deze klasse

44 HOOFDSTUK 3. MUSIC INFORMATION RETRIEVAL 33 Fguur 3.4: Audo features geplot n grafeken. De waarde van een audo feature wordt getekend langs de y-as. De x-as geeft het tjdsverloop aan. staan alle audo features opgeljst en wordt een ndex en factor bjgehouden. De ndex stelt de plaats n de ACE XML array voor (bnnen een tjdsvenster). De factor representeert de eerder besproken normalsatefactor. In codevoorbeeld 3.3 zen we dat de methode getmuscfeature een AudoFeature object als argument verwacht. Bnnen deze methode wordt ook gebruk gemaakt van de ndex en factor.

45 Hoofdstuk 4 Computer vse Computer vse (CV) s een domen waar algortmes en methodes worden ontwkkeld om data ut de echte wereld om te zetten naar een numereke of symbolsche vorm, zodat het kan gebrukt worden door een computer. In deze masterproef zal de omgevng van de gebruker moeten omgezet worden n brukbare data, zodat een gepaste vsualsate kan getoond worden. Zo kunnen CV-algortmes nformate halen ut de webcam-beelden van de applcate om ets meer te kunnen zeggen over de omgevng. Opneuw begnnen we her met een lteratuurstude omtrent CV om daarna de raamwerken en de mplementate te kunnen bespreken. 4.1 Lteratuurstude Computer vse kent meerdere onderzoeksgebeden. Er werden slechts enkele bestudeerd om nformate ut het webcam-beeld te kunnen halen. Alhoewel veel voorutgang s geboekt n CV-onderzoek, zjn veel techneken en toepassngen afhankeljk van een gecontroleerde omgevng. De Vrtual LSD applcate gebrukt echter geen gecontroleerde omgevng. Ze wordt gebrukt op meerdere plaatsen (zowel bnnen als buten) waar de belchtng net gecontroleerd werd. Hermee konden de gebrukers een realstsche ndruk krjgen van een toekomstge commercële applcate. Deze ongecontroleerde omgevng brengt echter heel wat moeljkheden met zch mee. In deze secte bespreken we enkele klasseke CV-techneken de meer nformate kunnen geven ut een afbeeldng. In de Vrtual LSD applcate kunnen deze techneken gebrukt worden om nformate ut de webcam-beelden te halen Detecteren van nterest ponts Een nterest pont s een plaats n een beeld dat nteressante egenschappen heeft. De egenschappen (e.g. ntenstet, kleur en textuur) van een nterest pont verschllen doorgaans sterk van zjn drecte omgevng. Een nterest pont kan een punt zjn n een beeld, maar ook een hoek (of contour) van een object n het beeld[54]. Onderzoek [3] heeft aangetoond dat hoeken essenteel zjn bj de mens om objecten en scènes te herkennen. Plaatsen n het 34

46 HOOFDSTUK 4. COMPUTER VISIE 35 beeld de deze hoeken vertegenwoordgen zjn doorgaans een nterest pont. Er zjn verschllende techneken om nterest ponts te detecteren n een beeld. Veel van deze techneken focussen zch op het detecteren van een sterke veranderng n één of meerdere egenschappen. Voorbeelden hervan zjn ntenstet-gebaseerde detecte en methodes de kleurnformate exploteren[54]. We bespreken her enkel de meest bekende methodologe, nameljk ntenstet-gebaseerde detecte. Andere (complexere) methodologeën worden her net opgenomen omdat dt buten het berek van deze masterproef zou vallen. Intenstet-gebaseerde detecte Veel ntenstet-gebaseerde methodes maken gebruk van eerste en tweede orde afgeleden van een zwart-wt beeld. Het meest bekende nterest pont detecte-algortme s de Harrs corner detector. Dt algortme zoekt punten de lokaal een maxmale varante bereken n een bepaalde rchtng. Een gebed n het beeld (e.g. 3 op 3 pxels) wordt enkele pxels verschoven n verschedene rchtngen om de gemddelde veranderng n ntenstet te bepalen. De veranderng n ntenstet wordt bepaald door eerste orde afgeleden van de naburge pxels te bereken en n een second moment matrx te steken[54]. Aan de hand van de egenwaarden van deze matrx kunnen we hoeken, randen of vlakke rego s herkennen. Een rego wordt bepaald door de twee egenwaarden van de matrx. In fguur 4.1 zen we dat n de meest lnkse afbeeldng vlakke rego s herkend worden, doordat de egenwaarden n de second moment matrx bede klen zjn. In de mddelste afbeeldng zen we randen, doordat er een grote en een klene egenwaarde s. In de meest rechtse afbeeldng zen we hoeken doordat bede egenwaarden groot zjn. In fguur 4.2 zen we welke punten het algortme detecteert n een beeld. In de rechtse afbeeldng stellen de wtte punten gedetecteerde hoeken voor. Fguur 4.1: Rego s de gevonden kunnen worden door Harrs Corner detecte-algortme. Er kunnen vlakke rego s (lnks), randen (mdden) en hoekpunten (rechts) herkend worden. Bron: Czech Techncal Unversty Prague Detecteren van contouren Zoals eerder vermeld, zjn de contouren en hoeken van objecten essenteel om objecten en scènes te herkennen. In deze secte bespreken we kort het detecteren van contouren (edge

47 HOOFDSTUK 4. COMPUTER VISIE 36 Fguur 4.2: Het Harrs Corner detecte-algortme toegepast op een beeld (lnks) en de gedetecteerde hoeken (rechts). detecton) en geven we een bekend algortme (Het Harrs Corner detecte-algortme), dat gebrukt werd n de Vrtual LSD applcate. Voor het detecteren van contouren (of segmenten omsloten door contouren) zjn er twee verschllende strategeën. De eerste s het detecteren van de contouren van de objecten door randen te vnden n een afbeeldng en deze te lnken aan andere gevonden randen n het beeld. De tweede stratege zoekt naar rego s n het beeld met geljkaardge egenschappen en laat deze groeen tot een dscontnuïtet gevonden wordt. Een dscontnuïtet betekent her een sterke veranderng n een egenschap (e.g. helderhed). Een dergeljke veranderng komt meestal overeen met een veranderng n depte, rchtng, textuur of belchtng n de scène[29]. We bespreken her de eerste stratege verder aan de hand het meest bekende[59] algortme voor het detecteren van contouren, het Canny detecte-algortme[7]. Dt algortme werd gekozen omdat dt het meest voor de hand lggende s en dudeljk te begrjpen valt. Canny detecte-algortme Het Canny detecte-algortme[7] s een algortme dat n meerdere fases verloopt. In een eerste fase wordt de rus n het beeld vermnderd door een Gaussaanse vervagng toe te passen (fguur 4.3b). Rus n het beeld zorgt meestal voor dscontnuïteten n helderhed of kleur, waardoor dt mogeljk als contour kan beschouwd worden. Een Gaussaanse vervagng s een flter dat pxels meer zal vervagen naarmate ze verder van het mdden van het beeld lggen. In een tweede fase wordt de gradënt van het beeld berekend door een Sobel operator toe te passen (fguur 4.3c). Her zullen eerste-orde afgeleden berekend worden n verschedene rchtngen (e.g. horzontaal, vertcaal en soms dagonaal). Deze stap benadrukt de contouren van objecten zeer dudeljk, maar de contouren zjn nogal breed. We wensen een dunnere contour om meer precse te hebben, waardoor randen beter aansluten bj de realtet. Dt wordt verwezenljkt n de derde fase van het algortme, de net-maxmale onderdrukkng. In deze fase wordt bnnen een (brede) contour enkel de maxmale waardes overgehouden (fguur 4.3d). In een verde en laatste fase wordt het beeld vergeleken met twee drempelwaardes. Contouren met een waarde boven de hoogste drempelwaarde, worden als sterke contour beschouwd. In fguur 4.3e worden deze getekend als wtte ljnen. De contouren de tussen de laagste en hoogste drempelwaarde schommelen,

48 HOOFDSTUK 4. COMPUTER VISIE 37 (a) Orgneel beeld (b) Gaussaanse vervagng (c) Gradënt van het beeld (d) net-maxmale onderdrukkng (e) Vergeljkng met dubbele drempelwaardes (f) Fnale output Fguur 4.3: De meerdere fases van het Canny detecte-algortme. Bron: Moeslund[38] worden als zwakke contour beschouwd. Deze worden n fguur 4.3e n grjs getekend. Sterke contouren behoren tot de fnale output, zwakke contouren worden enkel aan de fnale output toegevoegd als ze drect verbonden zjn met een sterke contour. De verschllende fases en de fnale output van het Canny detecte-algortme zjn te zen n fguur Toepassngen Er zjn veel toepassngen de gebruk maken van nterest ponts en contouren. De toepassngen de gerelateerd zjn aan deze masterproef zjn objectherkennng en trackng. We bespreken deze kort n de komende sectes en geven aan hoe ze zouden kunnen gebrukt worden n de Vrtual LSD applcate. Onderstaande toepassngen kunnen mogeljke utbredngen of alternateve benaderngen zjn. Objectherkennng Objectherkennng s een populare toepassng dat kan verdeeld worden n twee types. De eerste s het herkennen van specfeke objecten. Een bestaand object (e.g. koffetas met KULeuven logo) wordt bjvoorbeeld gezocht n een foto. Het tweede s het herkennen van een categore van objecten. Her wordt er n een beeld gezocht naar objecten de passen bj een categore (e.g. auto). Dt s een dudeljk moeljkere taak, doordat net alle objecten

49 HOOFDSTUK 4. COMPUTER VISIE 38 bnnen een categore (e.g. auto s) een dentek voorkomen hebben. Voor bede types van objectherkennng worden nterest ponts gebrukt. Er worden nterest ponts gehaald ut een foto en vergeleken met een specfek object of een database van objecten[54]. In de Vrtual LSD applcate zou objectherkennng van pas komen om specfeke objecten ut het webcam-beeld te halen. Zo zouden auto s, bloemen of wandelende mensen kunnen herkend worden. Deze objecten zouden dan kunnen gebrukt worden om vsualsates te genereren. Zo zouden vsualsates de nformate exploteren van het type object dat herkend werd. Om objectcategorën te herkennen zou een database opgesteld moeten worden waar duzenden objecten bnnen de categore zjn opgeslagen. Dergeljke databases zjn vrj beschkbaar 1. Maar herkennngsalgortmen ontwkkelen de performant en robuust genoeg zjn om real-tme te kunnen gebruken, zou ons te ver leden bnnen deze masterproef. De ontwkkelng op zch zou een te groot aandeel van deze masterproef opnemen en meer onderzoek zou nodg zjn. Een dergeljk systeem werd beschreven door Zu et al.[53]. Hern wordt tekstueel aangegeven wat er op het beeld te zen s (e.g. Rode auto stopt voor rood lcht. Groene auto slaat rechts af ). Dt systeem maakt echter gebruk van een camera de stlstaat, waardoor background substracton kan worden toegepast. Enkel beelden de net n de achtergrond voorkomen, zullen geanalyseerd worden. Trackng Als objectherkennng zou gebrukt worden n de Vrtual LSD applcate, zou het zeer CPUntensef zjn om n elk frame de objecten te herkennen. Eens een object zou herkend zjn, zou men een andere technek kunnen gebruken om het object te volgen n de komende frames. Deze technek noemt men trackng. Door een object te volgen kan er extra nformate ut het beeld gehaald worden. Trackng houdt nameljk nformate bj over meerdere frames [16]. Hermee zou bjvoorbeeld de rchtng van een voorbjrjdende auto kunnen achterhaald worden. Deze rchtng zou dan kunnen gebrukt worden om vsualsates te genereren n het kelzog van de auto of net n de rchtng dat de auto rjdt. Omdat objectherkennng te complex bleek voor bnnen deze masterproef, werd trackng dan ook net gebrukt n de Vrtual LSD applcate. 4.2 Raamwerken Om de omgevng van een Vrtual LSD gebruker te verstaan, werd er naar relevante nformate gezocht n een camerafeed (de het zcht van de gebruker voorstelt). Om deze nformate te zoeken werden n deze masterproef twee open source computer vse raamwerken onderzocht. Het populare OpenCV en het recent utgebrachte (november 2011) BoofCV. Deze secte zal bede raamwerken vergeljken, beschrjven en aantonen wat de mogeljkheden ervan zjn. We begnnen met OpenCV en zullen daarna BoofCV beschrjven. 1 LHI database,

50 HOOFDSTUK 4. COMPUTER VISIE OpenCV OpenCV 2 s het meest gebrukte open source CV raamwerk dat beschkbaar s. Het s volledg geschreven n C en was de eerste jaren van zjn bestaan ook enkel aanspreekbaar n C. Ondertussen bestaan er een aanzenljk aantal wrapper-klasses de het mogeljk maken om dt raamwerk aanspreekbaar te maken n andere programmeertalen. Een voorbeeld hervan s JavaCV 3, de het mogeljk maakt om va Java de n C geschreven algortmes aan te spreken. Om dt raamwerk te testen werd de wrapper-klasse JavaCV gebrukt. Er werd een testproject gemaakt dat contouren ut het webcam-beeld haalt en tekent op het scherm. Elke methode de gebrukt maakt van OpenCV algortmes wordt n JavaCV aangesproken met prefx cv. Het Canny detecte-algortme wordt bjvoorbeeld toegepast door de cvcannymethode. Alle methodes kunnen herdoor opgezocht worden n de utgebrede documentate van OpenCV. Alhoewel JavaCV toelaat om n de Java omgevng te programmeren, s de maner waarop moet geprogrammeerd worden net zoals n Java. De syntax s dus volledg Java-gebaseerd, maar men moet nog steeds geheugenafhandelng zelf mplementeren zoals n C. Dt zorgt ervoor dat de objecten (e.g. webcam-beeld of contouren) wjzers zjn naar het geheugen n plaats van datastructuren. De ngebakken methodes (met prefx cv ) gebruken deze objecten zonder problemen, maar als men specfeke data ut een object wl halen om te vsualseren, wordt het moeljk. Een concreet voorbeeld s het object dat de contouren voorstelt na het toepassen van het Canny detecte-algortme. Men kan deze contouren tekenen op het scherm met de cvdrawcontours-methode. Maar de punten n de contour overlopen om een egen vsualsate (ze 5.3.3) te maken, bleek quas onmogeljk. In fguur 4.4 zen we de contouren de getekend worden met de cvdrawcontours-methode. Contouren de gedetecteerd en gevsualseerd worden met het OpenCV- Fguur 4.4: raamwerk 2 OpenCV, 3 JavaCV,

51 HOOFDSTUK 4. COMPUTER VISIE BoofCV BoofCV 4 s een gloedneuw open source CV raamwerk dat vooral gefocust s op realtme computer vse applcates. Dt raamwerk s volledg geschreven n Java, waarvan de leercurve mnder stel s dan de C programmeertaal. De alpha release (v0.1) s pas vrjgegeven n november Herdoor konden de makers van dt raamwerk de laatste neuwe algortmes n CV gebruken. Door de jonge aard kampt dt raamwerk aan de andere kant met bugs, waardoor het mnder betrouwbaar s. Ondertussen s verse alpha v0.8 vrjgegeven met bjkomende functonaltet en een verbeterng n betrouwbaarhed. Het raamwerk s zeer toegankeljk door de talloze onlne applets de beschkbaar zjn op de webste van BoofCV. Deze toepassngen laten toe om functonaltet van het raamwerk ut te testen. Daarenboven zjn er veel code-voorbeelden aanwezg de stapsgewjs een methode of algortme ut de doeken doen. Er werd besloten om dt neuwe raamwerk te testen door enkele functonalteten op de proef te stellen n een egen project. Het detecteren van nterest ponts (eerder besproken n 4.1.1) s één van deze functonalteten. In fguur 4.5 wordt hervan het resultaat getoond. Het detecte-algortme produceert een ljst van punten de vrj te gebruken zjn. Hermee kunnen de nterest ponts drect getekend worden (zoals n dt voorbeeld) of kunnen deze gebrukt worden om andere vsualsates te creëren. (a) Webcam-beeld (b) Gedetecteerde nterest ponts Fguur 4.5: Het detecteren van nterest ponts met het BoofCV-raamwerk. Naast het detecteren van nterest ponts werd ook een test utgevoerd om contouren te detecteren, geljkaardg aan de test met OpenCV. Het vergeljken van deze testen gaf wel enkele verschllen. OpenCV bleek wel degeljk een hogere performante te hebben. De framerate bj de tests was bj OpenCV hoger, waardoor de beelden vlotter oogden. Bj de test met BoofCV werd een extra raamwerk gebrukt om de webcam-beelden op te halen. Dt raamwerk wordt herna besproken en werd n het tweede prototype veranderd om een 4 BoofCV,

52 HOOFDSTUK 4. COMPUTER VISIE 41 verhogng van performante te verkrjgen. De lagere framerate van de BoofCV test s dus deels heraan te wjten. De ontwkkelaar van het BoofCV-raamwerk heeft een vergeljkende stude utgevoerd met OpenCV. In fguur 4.6 zen we een vergeljkng n utvoerngssnelhed voor bepaalde algortmes. De snelheden zjn relatef utgedrukt, waardoor een hogere score beter s. Deze grafek bevestgt de bevndngen ut de Canny detectetest, dat OpenCV her sneller presteert. Het detecteren van nterest ponts (Harrs, Hough Lne en SURF ) s dan weer sneller met BoofCV. Om redenen van performante kunnen we dus geen dudeljke keuze maken tussen BoofCV en OpenCV. Het ontbreken van brukbare datastructuren n JavaCV (door de ondudeljke geheugenverwjzngen) bleek echter de mplementate aanzenljk moeljker te maken. Om deze reden werd dan ook beslst om te kezen voor het BoofCV-raamwerk. Fguur 4.6: Vergeljkende stude tussen BoofCV en OpenCV. OpenCV scoort beter op low level algortmes, terwjl Boofcv beter presteert hgh level operates zoals het detecteren van nterest ponts. De snelheden zjn relatef utgedrukt, waardoor een hogere score beter s. Bron: Implementate In deze secte wordt de mplementate van het computer vse gedeelte van de Vrtual LSD applcate besproken. Alle CV-gerelateerde zaken worden afgehandeld n een aparte Thread. Een Thread s een deel van een proces en laat toe om onderdelen geljktjdg ut te voeren. Herdoor bljft de vsualsate-thread lopen zelfs als er ets fout loopt n een CV algortme. Daarenboven maakt het de Vrtual LSD applcate transparant en makkeljk aanpasbaar. In de komende sectes wordt utgelegd hoe de webcam-beelden werden opgehaald en welke nformate erut gehaald werd Webcamfeed ophalen Het webcam-beeld s de enge data dat geanalyseerd wordt n de Vrtual LSD applcate om de omgevng van de gebruker te begrjpen. Het s dus net voldoende om enkel de

53 HOOFDSTUK 4. COMPUTER VISIE 42 webcam-beelden te tonen, maar deze moeten opgeslagen worden n het geheugen om te kunnen analyseren. De standaard Java omgevng laat het echter net toe om beelden vanut een webcam op te halen. Processng bedt wel webcam-functonaltet aan, maar deze s afhankeljk van Qucktme 5. Bovenden gaf deze functonaltet onstabele resultaten. Er werd dus maar naar alternateven gezocht. In het eerste prototype werd gekozen voor het Java Meda Framework, dat eerder werd besproken n Na de eerste evaluatesesse bleek dat de webcam-beelden net responsef genoeg waren. Dt was nefast voor de belevng van de gebrukers. In het tweede prototype werd GSVdeo gebrukt, een raamwerk dat bovenop Processng draat. De performante van bede raamwerken werd vergeleken en GSVdeo bleek aanzenljk betere resultaten te geven. We bespreken her de mplementates ut de twee prototypes van de Vrtual LSD applcate. Eerste prototype (JMF) In het eerste prototype maakte de Vrtual LSD applcate gebruk van het JMF raamwerk om muzek af te spelen. Dt raamwerk voorzet ook functonaltet om een webcam aan te spreken. Voor een eerste prototype leek dt een goee opte om deze functonaltet dan ook te gebruken. In codevoorbeeld 4.7 zen we een codevoorbeeld om de webcam-beelden op te halen en te tekenen op het scherm. De loadcam-methode (regels 47-54) ntalseert het Player-object dat de webcam voorstelt. Om connecte te kunnen maken met de webcam, moet de apparaatnaam gekend zjn (regels 48-49). Als men connecte heeft gemaakt met de webcam kunnen de compatbele vdeoformaten opgevraagd en gekozen worden. In de Vrtual LSD applcate wordt gebruk gemaakt van het RGB vdeoformaat waarbj de resolute van de webcam-beelden 640 op 480 pxels zjn. De webcam-beelden kunnen op twee verschllende maneren getekend worden. Er s een mogeljkhed om de beelden te laten tekenen door het JMF raamwerk. Herbj zal een neuw venster geopend worden waar de webcam-beelden n zullen getekend worden. We kunnen her echter net aan de data n de webcam-beelden. Doordat we nformate ut de beelden wllen halen, werd deze mogeljkhed weerhouden. Een tweede mogeljkhed s elk webcam-beeld ophalen met de FrameGrabbngControl(regels 60-61). Deze etwat omslachtge methode maakt een Buffer-object aan waar het webcam-beeld als pxels worden opgeslagen. Deze buffer kan omgevormd worden naar de Image-datastructuur van de Java omgevng. Herut kan nformate gehaald worden of het Image-object kan ook getekend worden met Processng. Ut de eerste evaluatesesse bleek dat de camera-beelden net nauwkeurg waren en dat dt een storende factor was voor de applcate. Voor het tweede prototype werd gezocht naar een alternatef voor het ophalen van de webcam-beelden. Tweede prototype (GSVdeo) Voor het tweede prototype van de Vrtual LSD applcate werd gezocht naar betere alternateven voor het JMF raamwerk. Er werden verschedene raamwerken getest de bovenop 5 Qucktme,

54 HOOFDSTUK 4. COMPUTER VISIE 43 Codevoorbeeld 4.7: Algortme dat webcam-beelden tekent op het scherm met behulp van Processng en JMF. Processng draaden. Een overzcht van deze raamwerken s te zen n de ljst van compatbele raamwerken op de webste van Processng 6. Ut deze raamwerken werd GSVdeo gekozen voor zjn performante en eenvoudg gebruk. In codevoorbeeld 4.8 zen we de code de nodg s om de webcam-beelden op te vragen en te tekenen op het scherm. Op regel 9 wordt het GSCapture-object gedefneerd dat nstaat voor het aanspreken van de webcam. De ntalsate van dt object staat beschreven op regel 12. In tegenstellng tot het JMF raamwerk, hoeft men de naam van de webcam net mee te geven. De enge parameters de gevraagd worden om het object te ntalseren s de hudge klasse en de gewenste grootte van de webcam-beelden. Deze aanpak s dudeljk eenvoudger dan met het JMF raamwerk. Op de regels van codevoorbeeld 4.8 zen we hoe deze webcam-beelden opgevraagd (en getekend) worden. De condte, dat beschreven staat op regel 17, gaat na als het GSCapture-object kan aangesproken worden. Door de read-methode op te roepen (regel 18), zullen alle oproepen naar het GSCapture-object hetzelfde webcam-beeld krjgen. Dt geeft meer controle aan de ontwkkelaar. Met de get-methode (regel 19) wordt het webcam-beeld opgevraagd als PImage (.e. een datastructuur voor afbeeldngen n Processng). In de Vrtual LSD applcate werd dt PImage-object net louter getekend, maar geanalyseerd va verschedene techneken. De techneken de meer nformate halen ut het opgehaalde webcam-beeld worden besproken n de komende sectes. 6 Overzcht compatbele raamwerken voor Processng,

55 HOOFDSTUK 4. COMPUTER VISIE 44 Codevoorbeeld 4.8: Algortme dat webcam-beelden tekent op het scherm met behulp van Processng en GSVdeo Interest ponts detecteren Het detecteren van nterest ponts s al eerder besproken n Tjdens de ontwkkelng van het eerste prototype werden de nterest ponts gevsualseerd door mddel van kleurrjke objecten. Het resultaat hervan s te zen n fguur 4.9. De gedetecteerde nterest ponts bljken net echt overeen te komen met hoeken en randen. Na verdere ontwkkelng van de Vrtual LSD applcate werd gekozen om contouren te gebruken n plaats van nterest ponts. We bespreken het detecteren van contouren n volgende secte. Fguur 4.9: Gedetecteerde nterest ponts worden gevsualseerd n verschedene kleuren Contourdetecte Het detecteren van contouren werd al toegelcht n In de Vrtual LSD applcate werd het Canny detecte-algortme geïmplementeerd. In codevoorbeeld 4.10 s de mple-

56 HOOFDSTUK 4. COMPUTER VISIE 45 mentate van dt algortme beschreven. Het BoofCV-raamwerk laat toe om de verschllende stappen van Canny detecte-algortme, zoals eerder besproken, te gebruken en te confgureren naar egen wens. De eerste stap van het algortme bestaat ut een Gaussaanse vervagng. Daarna worden de Gradënten berekend met Sobel operatoren. De gepaste objecten worden hervoor aangemaakt(regels 78-81). Het CannyEdgeContourDynamc-object voert het algortme ut. De gedeclareerde Gaussaanse flter en de gradënt worden samen met twee drempelwaardes verwacht bj de ntalsate (regels 83-84) van dt object. De getcontours-methode geeft de contouren n het beeld terug als een ljst van punten. Codevoorbeeld 4.10: Detecte van contouren n een beeld met behulp van het Canny detecte-algortme ut het BoofCV-raamwerk Bewegngsdetecte Bewegng n de webcam-beelden wordt eenvoudg geïmplementeerd door een verschl te nemen tussen twee opeenvolgende frames. Dt verschl wordt berekend door de pxelwaardes n het vorge en hudge frame te vergeljken. Als de kleurwaardes van een pxel n het hudg frame sterk verschllen van de n het vorg frame, wordt deze pxel gemarkeerd als bewogen. Alle bewogen pxels krjgen hun orgnele kleur, terwjl de andere pxels zwart worden. Deze ljst van pxels (Image-datastructuur) wordt bjgehouden als de bewegng n het frame. Als een vsualsate de bewegng n een frame opvraagt, kan de vsualsate de gekleurde (net-zwarte) pxels gebruken. Als twee opeenvolgende frames hetzelfde beeld tonen, zullen alle pxels zwart bljven en s er dus geen bewegng n het beeld aanwezg Huddetecte Een (goedkoop) alternatef voor het detecteren van gezchten of mensen s het herkennen van een hudskleur. Om de hud te detecteren van mensen de n het webcam-beeld voorkomen, werd een flter ut het Marvn-raamwerk 7 gebrukt. De SknColorDetecton-flter haalt rego s ut het webcam-beeld de een kleur hebben dat sterk ljkt op de blanke hudskleur van mensen. Enkel de pxels met een gepaste kleur worden overgehouden n de flter. Net zoals bj de bewegngsdetecte, worden de andere pxels zwart gelaten. De flter ut het Marvn-raamwerk s net heel nauwkeurg, maar dt s geen vereste om een vsualsate te kunnen maken n de Vrtual LSD applcate. Een vsualsate de deze nformate gebrukt, s te zen n Marvn Image Processn Framework,

57 Hoofdstuk 5 Vsualsate De twee vorge hoofdstukken beschreven onderzoeksdomenen de nformate ut respecteveljk muzek en afbeeldngen halen. Deze nformate zal n dt hoofdstuk gebrukt worden om znvolle vsualsates te tekenen op het scherm. We begnnen met een algemene stuerng van (nformate)vsualsate. Daarna halen we enkele raamwerken aan de ons toelaten om znvolle vsualsates te tekenen. Tenslotte bespreken we de mplementate van het vsualsategedeelte van de Vrtual LSD applcate. Hern worden alle geïmplementeerde vsualsates besproken. 5.1 Stuerng Het vsualseren van muzek kan gezen worden als een specfeke vorm van nformatevsualsate. Muzkale data s een verzamelng van verschllende soorten gegevens. Veel van deze gegevens worden beschreven over de tjd, zoals tempo, rtme, harmone, etc. Het vsualseren van dergeljke muzkale data wordt meestal voorgesteld n 2D of 3D door deze tjdsafhankeljkhed. Gegevens de net beschreven worden over de tjd, zoals metadata of de beat sum, stellen doorgaans statsche (1D) nformate voor. Schnederman[47] deelt nformatevsualsate op n 7 datatypes. Degene de nuttg zjn voor de Vrtual LSD applcate zjn vooral temporal, 1D, 2D en 3D. Door de eerder vermelde tjdsafhankeljkhed zjn de meeste audo features temporal data. Het verschl bj deze data s dat tems een bepaalde start-en endtjd hebben en dat tems kunnen overlappen. Door het gebruk van een vensterfunctes (secte 3.1.2) wordt deze data opgedeeld n ntervallen waarbj telkens een 1D waarde bj s opgeslagen. Deze transformate maakt temporal data brukbaar als parameters. De webcam-beelden de opgehaald worden zjn 2D ljsten van pxels. Bj elke pxels worden kleurwaardes (doorgaans RGB) bjgehouden, de tezamen het kleur van een pxel representeren. Ook de output van de Vrtual LSD applcate s 2D. Elk frame dat naar de AR brl gestuurd wordt bevat opneuw een dergeljke 2D ljst van pxels. In één vsualsate, 3DCloud, werd het 3D datatype gebrukt. Van het webcam-beeld (2D) wordt een vlak gemaakt n een 3D rumte. Punten n dt vlak zullen door mddel van kleur en muzkale data verplaatst worden n deze 3D rumte. De vsualsate wordt verder besproken 46

58 HOOFDSTUK 5. VISUALISATIE 47 n secte Volgens Kosara[24] valt muzekvsualsate n het kamp van artsteke vsualsate n plaats van pragmatsche vsualsate. Pragmatsche vsualsate s een technsche voorstellng om data te kunnen analyseren. Het doel van artsteke vsualsate s om een bepaald dee of gevoel over te brengen n plaats van data te tonen. De data wordt doorgaans getransformeerd n ets dat zchtbaar, nteressant en verstaanbaar s. In de Vrtual LSD applcate zullen vsualsates een gevoel moeten overbrengen de past bj de muzek. 5.2 Raamwerken Adobe Flash Flash s een proprëtare ontwkkelngsomgevng van Adobe voor het creëren van anmates en multmedacontent. Het was oorspronkeljk ontworpen door Jonathan Gay als FutureSplash Anmator, waarmee anmates konden gemaakt worden door keyframng toe te passen op vectorafbeeldngen. Bj keyframng wordt tussen twee tekenngen of afbeeldngen een nterpolate utgevoerd om tussenlggende frames te genereren. Herdoor wordt de anmator ontlast bj het maken van anmateflms[6]. Naarmate de software evolueerde en meermaals van egenaar veranderde, werd het steeds meer gebrukt voor bredere doelenden. Door de ntroducte van de Actonscrpt programmeertaal, zjn de mogeljkheden van de ontwkkelngsomgevng sterk gestegen. Tegenwoordg wordt Adobe Flash vooral gebrukt om nteracteve webapplcates, prototypes, webvdeo s en reclame te maken. De ontwkkelngsomgevng bedt mogeljkheden aan artstek-gerchte gebrukers en aan programmeurs. In de Flash (Professonal) IDE kan een gebruker anmates en eenvoudge webapplcates maken, zonder kenns te hebben van programmeren. Vooral de tjdsljn waarop keyframng wordt toegepast, maakt dt mogeljk. Door de geïntegreerde programmeertaal s het ook mogeljk om met behulp van code, een applcate te maken. Doordat Flash bnnen een door Adobe ontwkkeld programma wordt geïnterpreteerd en utgevoerd, s het brukbaar op verschllende types van systemen zoals Mac, Wndows en Lnux. Het grats programma waarmee Flash wordt utgevoerd (.e. Flash Player) s nameljk bj meer dan 96% 1 van de nternet-toegankeljke personal computers aanwezg[17] Processng Processng s een open source programmeertaal en ontwkkelngsomgevng dat n 2001 gecreëerd werd als dgtale schetsboek. Het doel van Processng was het aanleren van de begnselen van programmeren met een vsuele context. Naarmate de ontwkkelngsomgevng en de communty evolueerde, werd Processng voor steeds bredere doelenden gebrukt. Tegenwoordg wordt Processng vooral gebrukt voor het ontwkkelen van sterk vsuele prototypes. 1 Flash Player statsteken,

59 HOOFDSTUK 5. VISUALISATIE 48 De eenvoud van de programmeertaal zorgt voor een lage leercurve. In de Processng IDE worden verschedene zaken verborgen gehouden voor de gebruker. Dt laat mnder ervaren programmeurs toe om met de software te kunnen werken. Naast de Processng IDE, s er ook een ntegrate van Processng met de Eclpse 2 IDE mogeljk. Hermee kan doorgaans meer structuur geschept worden om meer geavanceerde programma s te schrjven. Bnnen Eclpse kan de Java programmeertaal gehanteerd worden, waar volledge ntegrate met Processng mogeljk s. Net zoals Java, s Processng cross-platform. Dt geeft aan dat de software kan gebrukt worden op verschllende types van systemen. De enorme communty achter Processng zorgt ervoor dat de ontwkkelngsomgevng evolueert, maar ook bjzonder toegankeljk s. Talloze open source raamwerken worden bovenop Processng ontwkkeld. Door de open source-cultuur worden veel projecten met elkaar gedeeld, waardoor codevoorbeelden talrjk aanwezg zjn[46] OpenFrameworks OpenFrameworks s een open source raamwerk dat voor C++ ontwkkeld werd om het createve proces bj expermenten te ondersteunen. Het raamwerk s gebaseerd op de prncpes van Processng, waardoor deze twee raamwerken sterk op elkaar geljken. Ook dt raamwerk kan rekenen op een grote communty de bjkomende functonaltet schrjft en projecten deelt. Volgens de ontwkkelaars van het raamwerk, s OpenFrameworks een utbredng op de Processng ontwkkelngsomgevng. Er s extra functonaltet voorzen en er wordt meer controle gegeven aan de gebrukers. Zo kan polymorfsme (.e. klasses laten overerven van andere, waar men extra functonaltet aan kan geven) gebrukt worden n OpenFrameworks, dat bjvoorbeeld net mogeljk s bj Processng. Net zoals Processng s dt raamwerk cross-platform, waardoor het brukbaar s op verschllende types van systemen. In tegenstellng tot Processng wordt de code bj OpenFrameworks omgezet naar een vorm de brukbaar s voor een ander systeem (e.g. Lnux). Delen de moeljk kunnen omgezet worden, zjn vooral n addtonele raamwerken te vnden. Het punt waar OpenFrameworks op hamert, s vooral performante. Het raamwerk bedt een sterkere ntegrate met OpenGL aan n vergeljkng met Processng. Deze ntegrate laat toe om vsualsates te tekenen met de GPU 3. Ook nteracte met OpenCV s sterk utgebouwd. Hermee onderschedt OpenFrameworks zch van Processng, door een krachtgere en meer utgebrede oplossng aan te beden. Dt heeft echter een nadelg gevolg op de leercurve van het raamwerk[28] Vergeljkng Voor het ontwkkelen van de Vrtual LSD applcate werd de Processng ontwkkelngsomgevng gekozen. De lage leercurve en de acteve communty zorgen ervoor dat een prototype op korte tjd kan geïmplementeerd worden. Door de ntegratemogeljkheden met 2 Eclpse, 3 Graphcs Processng Unt

60 HOOFDSTUK 5. VISUALISATIE 49 Java, kunnen de andere verkozen raamwerken, BoofCV en jmir, geïntegreerd worden met elkaar. Adobe Flash werd net gebrukt n deze masterproef om verschedene redenen. Door de proprëtare aard van de ontwkkelngsomgevng lgt de kost behoorljk hoog. Bovenden wordt Flash beperkt n performante doordat Flash Player n de browser wordt utgevoerd. Een browser heeft nameljk mnder rechten dan een programma dat utgevoerd wordt op het besturngssysteem zelf. Tenslotte bedt Flash mnder ntegratemogeljkheden aan met andere raamwerken en programmeertalen dan het gekozen Processng. OpenFrameworks ljkt een waardg alternatef voor Processng. Dt raamwerk zou vooral geschkt zjn om een verder utgewerkte verse van de Vrtual LSD applcate te maken. De extra functonaltet en hogere performante zouden crucaal kunnen zjn bj commercële ontwkkelng voor de Vrtual LSD applcate. Het doel van deze masterproef was echter om een proof-of-concept applcate te maken, de zjn nut en mpact op muzekbelevng zou aantonen door evaluates. Voor de vooropgestelde doelstellng leek het complexere Openframeworks net nodg en werd gekozen voor Processng. 5.3 Implementate Tekenen met Processng De Vrtual LSD applcate steunt op het Processng raamwerk om vsualsates te genereren. Om gebruk te kunnen maken van dt raamwerk, moet een klasse aangemaakt worden dat van PApplet overerft. Inden men hervan overerft, s het verplcht om de methodes setup en draw te mplementeren. De PApplet klasse kan beschouwd worden als een applcate waar men kan tekenen op het scherm. Om de performante hoog te houden, voorzet Processng een anmate-thread de nstaat voor het tekenen. Alle zaken de moeten getekend worden, staan n de draw methode, dat elk frame wordt utgevoerd. De setup methode wordt slechts éénmaal utgevoerd, wanneer de applcate gestart wordt. In deze methode worden de nstellngen van de applcate beschreven. In codevoorbeeld 5.1 zen we op regel 8 de beschrjvng van deze nstellngen. De nstellngen de verplcht zjn om te beschrjven zjn de grootte (.e. breedte en lengte) en de renderer van de applcate. De renderer s de grafsche engne de nstaat voor het tekenen. Er s keuze voor de JAVA2D, P2D, P3D en OPENGL renderer. Voor de Vrtual LSD applcate werd P3D gekozen. Deze renderer beschkt over de functonaltet om 3D-objecten te tekenen en geeft meer aandacht aan snelhed dan aan afwerkng. Er werd net gekozen voor de OPENGL renderer, de gebruk maakt van de GPU. Bj het vergeljken van de performante tussen de render engnes leek P3D de snelste te zjn. De verklarng waarom de OPENGL renderer net de meest performante renderer s, lgt er n dat de code net geoptmalseerd s voor GPUgebruk. Processng laat slechts beperkte nteracte met OPENGL toe. Om volledg gebruk te maken van de GPU, zou men de ngebouwde functonaltet van Processng kunnen overschrjven. De ontwkkelaar raadt dt echter ten zeerste af[46]. Het tekenen van vormen kan eenvoudg worden geprogrammeerd door de regels 12 en

61 HOOFDSTUK 5. VISUALISATIE 50 Codevoorbeeld 5.1: Bassapplcate met gebruk van Processng raamwerk 13 van codevoorbeeld 5.1. Her staat fll voor het toewjzen van een kleur en rect voor het tekenen van een rechthoek. De bassapplcate dat te zen s n codevoorbeeld 5.1, zal elk frame een gekleurd verkant tekenen op een wllekeurge plaats. Doordat we Processng aanspreken n Eclpse n plaats van de Processng IDE 4, moeten we onze klasse (her Vrtual LSD) op een alternateve maner opstarten. In de Man methode van de klasse moet de PApplet klasse aangesproken worden. In regel 18 van codevoorbeeld 5.1 zen we hoe de applcate moet worden opgestart (vanut de Eclpse IDE) Bassstructuur van een vsualsate In de Vrtual LSD applcate worden meerdere vsualsates beschreven. Alle vsualsates hebben een gemeenschappeljke bass en werken op dezelfde wjze. Her zullen we de bassstructuur van een vsualsate bespreken, zodat we de bass net steeds hoeven te herhalen bj de besprekng van de geïmplementeerde vsualsates. Alle vsualsates worden beschreven n een Enumerate-klasse, genaamd VsualzatonState. Elke vsualsate heeft een tekenmethode dat elk frame wordt utgevoerd. Bnnen deze tekenmethode kan er real-tme gebruk gemaakt worden van beschkbare audo features en de webcam-beelden. De structuur van een vsualsate bestaat ut de volgende onderdelen: 1. Hudg webcam-beeld opvragen 2. Extra omgevngsnfo opvragen 4 Integrated Development Envronment: software om programma s mee te beschrjven, coderen en organseren

62 HOOFDSTUK 5. VISUALISATIE 51 (a) Contouren n het webcam-beeld (b) Delaunay trangulate van het webcam-beeld (c) Bewegng n het webcam-beeld 3. Audo features ophalen 4. Pxelwaardes aanpassen op bass van audo features (a) Kleuren kezen (b) Webcam-beeld tekenen (c) Vormen tekenen (d) Flterfuncte toepassen De onderdelen 1 en 2 vragen data op aan de CV Thread. Alle berekenngen de te maken hebben met computer vse worden afgehandeld n deze thread(verder besproken n 4.3). Hermee koppelen we de computer vse los van de vsualsate. Daarenboven maakt het een modulare opbouw van de vsualsates mogeljk. De geïmplementeerde vsualsates zjn herdoor makkeljk utbredbaar. Om een vsualsate te kunnen creëren de zch aanpast aan de omgevng van de gebruker, kan het gebruk maken van 2a contouren, 2b Delaunay trangulate of 2c bewegng n het webcam-beeld. Onderdeel 3 beschrjft het ophalen van audo features. De audo features denen ook als parameter om een vsualsate aan te passen. In dt geval wordt de vsualsate aangepast aan de muzek van de gebruker. De audo features kunnen opgehaald worden door de methode getmuscfeature aan te roepen, de beschreven staat n afbeeldng 3.3. Aan de hand van de audo features en omgevngsnfo kan een brede waaer van vsualsates gemaakt worden (onderdeel 4). De kleuren zullen voornameljk bepaald worden door de audo features. Terwjl de vormen (e.g. drehoeken) sterk afhangen van de omgevngsnfo (e.g. Delaunay trangulate). Verschedene vsualsates maken gebruk van een flterfuncte de toegepast wordt op het beeld Geïmplementeerde vsualsates In deze secte zullen de geïmplementeerde vsualsates van de Vrtual LSD applcate overlopen en besproken worden. Het fnaal prototype van de applcate telt 7 uteenlopende vsualsates. Zoals aangehaald n vorge secte, hebben ze allemaal dezelfde bassstructuur. Er wordt een korte beschrjvng gegeven van de verschllende vsualsates waarn verwjzngen zullen ztten naar de bassstructuur van vorge secte. Naast de beschrjvng, zal ook een motvate gegeven worden de utlegt waarom de vsualsate gekozen werd voor de Vrtual LSD applcate. Omdat een afbeeldng soms meer zegt dan 1000 woorden, zal er van elke vsualsate een afbeeldng (ut de Vrtual LSD applcate) opgenomen worden op het end van deze secte. De vsualsates van het eerste prototype zjn te zen n fguur 5.3, de vsualsates de werden toegevoegd n het tweede prototype zjn te zen n fguur 5.4.

63 HOOFDSTUK 5. VISUALISATIE 52 Trangulate De eerste vsualsate de ontwkkeld werd n de Vrtual LSD applcate was de trangulate (fguur 5.3a). Deze vsualsate maakt een benaderng van het webcam-beeld door drehoeken te tekenen op het scherm. Deze drehoeken worden gecreëerd door een Delaunay trangulate ut te voeren op de contouren van de omgevng. In een eerste mplementate werden lokale features van het webcam-beeld gebrukt om de trangulate te berekenen. Maar contouren en hoeken zjn belangrjk voor het herkennen van objecten[3] en bljken betere resultaten te geven. De aantal drehoeken de gevsualseerd worden op het scherm worden beperkt door (een wegng van) de Standaard Devate van de Spectral Centrod audo feature. Hermee worden er meer drehoeken getekend als de muzek helder ljkt. De kleur van de drehoeken wordt bepaald door de kleur te nemen van het mddelpunt van de drehoek. De drehoeken hebben ook een varërende transparante, dat gebaseerd s op de Root Mean Square audo feature. Hoe luder/krachtger de muzek speelt, hoe meer de drehoeken zullen ngekleurd zjn. Deze drehoeken komen voor het webcam-beeld te lggen en benaderen het beeld met drehoeken. Bj een lude hoge toon wordt het webcam-beeld dus benaderd door een groter aantal klenere drehoeken. Als we een lude bass hebben, wordt het beeld ruwer verdeeld n grotere drehoeken. Hermee worden 2 muzkale perceptes vsueel dudeljk gemaakt door het aantal drehoeken en hun transparante. Fsh-eye effect In een vdeoclp van Placebo (Meds 5 ) de de effecten van LSD toont, kwamen enkele effecten voor de het beeld vervormen. Men kan dt zen als een fsh-eye effect dat slechts op een deel van het beeld s toegepast (fguur 5.3b). Voor dt effect werd gekeken naar beeldflters de beschkbaar waren n open source raamwerken. Een raamwerk de een utgebrede ljst van (voor Java bestemde) beeldflters aanbed s JH Labs 6. Voor het fsh-eye effect werd de Pnch flter gebrukt ut dt raamwerk. De Pnch flter laat toe om een Pnch en Whrl effect te creëren. In fguur 5.2 zen we hoe een Whrl-effect het beeld draat rond een punt (b). Bj het Pnch-effect wordt het beeld naar het punt toe getrokken (c). Deze vsualsate maakt geen gebruk van omgevngsnfo zoals contouren of bewegng. 3D Cloud effect Het derde en laatste effect dat aanwezg was n het eerste prototype van de Vrtual LSD applcate, s het 3D Cloud effect (fguur 5.3c). In deze vsualsate wordt het webcambeeld opgespltst n cellen. Het aantal cellen hangt af van de grootte van de cellen. De grootte van de cellen wordt berekend op bass van de Zero Crossngs audo feature. Deze feature geeft een ndcate van de hoeveelhed rus en verandert bj sterk verschllende tonen (ndcate van ptch). De cellen kunnen beschouwd worden als pxelrego s van bjvoorbeeld 4 op 4 pxels groot. Deze cellen worden n een 3D rumte geplaatst op een vlak dat parallel 5 Vdeoclp: Placebo - Meds, 6 JH Labs,

64 HOOFDSTUK 5. VISUALISATIE 53 Fguur 5.2: Overzcht van het Fsh-eye effect. Het orgnele beeld (a), het beeld waar een Whrl-effect(b) en een Pnch-effect(c) s op utgevoerd staat met het beeld. Als we n deze fase van de vsualsate zouden tonen, zen we een ruw gepxeld beeld dat ets verder ljkt te staan dan het webcam-beeld. Deze cellen (of pxelrego s) worden op bass van hun kleur en de Root Mean Square audo feature verplaatst n de z-rchtng. Dt heeft het effect dat de cellen naar de gebruker toe komen. Omdat deze vsualsate gebruk maakt van de kleur van de cellen om de translate te bepalen, wordt het totale beeld vervormd. Als we de kleuren net n rekenng zouden brengen, komt eenvoudgweg het gepxelde webcam-beeld naar de gebruker toe. Deze vsualsate geeft een zeer sterke ndruk weer van de kracht dat n de muzek zt. Een ledje met een lude en frequente bass komt hermee helemaal tot zjn recht. Bewegngsdetecte Het vsualseren van de bewegng (fguur 5.4a) s waarschjnljk de eenvoudgste vsualsate van de Vrtual LSD applcate. In werd utgelegd hoe de bewegng ut de webcambeelden kon geëxtraheerd worden. Deze bewegng wordt her gevsualseerd door alle pxels te kleuren de bewogen bleken te zjn. De kleur van deze pxels werd bepaald door de audo features Beat Sum, Standaard devate van de Spectral Centrod en Standaard devate van de Spectral Smoothness. Om overgangen tussen kleuren vloeend te maken, werden de kleurwaardes gekozen n de HSB 7 kleurrumte. De brghtness-waarde werd ngevuld door de perceptuele helderhed van de muzek (Standaard devate van de Spectral Centrod). Voor de kleurwaardes werd de hue-waarde aangepast door een combnate van de Beat Sum en Standaard devate van de Spectral Smoothness audo features. De saturaton-waarde bleef constant op, zodat steeds kleurrjke waarden zouden verkregen worden. Dzzness effect Het dzzness effect (fguur 5.4b) kan los vertaald worden als het effect van de dronken man. In deze vsualsate wordt het webcam-beeld vertraagd getoond en ljken meerdere opeenvolgende webcam-beelden getoond te worden. Als je bjvoorbeeld met de hand voor de webcam zal wuven, zal deze vsualsate het pad van de hand tonen op het beeld. De 7 Hue, Saturaton en Brghtness

65 HOOFDSTUK 5. VISUALISATIE 54 kleuren n het webcam-beeld worden ook lcht aangepast op bass van de Zero Crossngs en Spectral Centrod audo feature. Dt effect geeft zeer goee feedback gekregen tjdens de evaluates, maar s verrassend eenvoudg te mplementeren. Elk webcam-beeld krjgt een lcht aangepaste kleur door de tnt methode van Processng. In deze tnt methode kunnen we ook een alpha-waarde (transparante) meegeven. Als we een alpha-waarde meegeven de klener s dan 1, worden opeenvolgende frames boven elkaar getekend. Maar doordat ze een zekere transparante hebben, bljft het vorg getekende frame nog steeds deels zchtbaar. Hoe klener we deze alpha-waarde kezen, hoe trager ons beeld ljkt te zjn en hoe meer vorg getekende frames steeds zchtbaar zjn. Huddetecte In werd utgelegd hoe de hudskleur ut de webcam-beelden kon geëxtraheerd worden. De rego s de als hud gecategorseerd werden (verder vernoemd als hudrego s), worden n deze vsualsate n de verf gezet (fguur 5.4c). Op bass van de Spectral Flux en Root Mean Square audo features wordt het webcam-beeld en de hudrego s met elkaar gemengd. Deze mengng s geïmplementeerd als verschedene blendng modes. Bj het gebruken van een blendng mode wordt een beeld (e.g. het webcam-beeld) aangepast op bass van een ander beeld (e.g. hudrego s) dat er bovenop komt te lggen. Het webcam-beeld wordt her aangepast door de kleurwaardes van elke pxel lnear te combneren met de pxels van de hudrego s. Processng geeft de mogeljkhed om meerdere blendng modes te berekenen tussen twee beelden. In de Vrtual LSD applcate werden er hervan twee toegepast. De eerste blendng mode heet Screen. Her zullen de nverse kleurwaardes van bede beelden vermengvuldgd worden, waardoor de pxels resulteren n een lchtere verse. Screenng met zwart laat de kleur van het andere beeld onveranderd, terwjl screenng met wt een wtte kleur produceert. De andere heet Hard Lght. Deze blendng mode vertrekt van een grjze kleur de even ver van wt als van zwart verwjderd lgt. Als de kleur van de pxels n het bovenste beeld lchter s dan deze grjze kleur, wordt screenng toegepast. In het andere geval wordt de omgekeerde bewerkng utgevoerd, nameljk het vermengvuldgen van de kleurwaardes van bede beelden. De huddetecte geeft een zwarte afbeeldng weer waar enkel de hudrego s een kleur krjgen. Herdoor worden alle pxels van webcam-beeld donkerder gemaakt de net gecategorseerd werden als hud. Bj Hard Lght wordt dus vooral de hud getoond. Door een afwsselng van deze blendng modes ontstaat een wat lugubere vsualsate. Contrasterende contouren De laatste vsualsate (fguur 5.4d) bestaat ut twee delen. In het eerste deel wordt het contrast van het webcam-beeld aangepast op bass van de Root Mean Square audo feature. Het aanpassen van het contrast wordt geïmplementeerd als een flter de afkomstg s van het Marvn raamwerk. Als de muzek luder wordt, zal het contrast n het webcam-beeld

66 HOOFDSTUK 5. VISUALISATIE 55 (a) Trangulate (b) Fsh-eye effect (c) 3D Cloud Fguur 5.3: De vsualsates ut het eerste prototype van de Vrtual LSD applcate. ook toenemen. Een toename van contrast zorgt ervoor dat kleuren feller worden en het verschl tussen donker en lcht vergroot. Het andere deel tekent de contouren van het vorg webcam-beeld. We nemen het vorg webcam-beeld omdat we herdoor een effect verkrjgen dat de note van tjd ljkt te verstoren. Dt effect s geljkaardg aan het dzzness effect, maar mnder hevg. Doordat de contouren slechts een frame achterkomen, bljft de vsualsate responsef. De kleur van de contouren wordt her aangepast op bass van de Standaard Devate van de Spectral Smoothness.

67 HOOFDSTUK 5. VISUALISATIE 56 (a) Vsualsate van bewegngsdetecte (b) Dzzness effect (c) Vsualsate van huddetecte (d) Contrasterende contouren effect Fguur 5.4: De vsualsates ut het tweede prototype van de Vrtual LSD applcate.