Hoe de computer een glimlach kan waarnemen

Transcriptie

1 user nterface Facal Acton Codng System Hoe de computer een glmlach kan waarnemen De ontwkkelng van een geautomatseerd systeem dat menseljke gezchtsutdrukkngen kan herkennen en nterpreteren s een grote utdagng. Aan de Technsche Unverstet Delft wordt gewerkt aan een systeem voor het automatsch herkennen van de bewegngen van gezchtssperen n vdeo-opnamen van gezchten en een redenatesysteem waarmee het mogeljk s gezchtsutdrukkngen te classfceren n emotecategoreën. Maja Pantc 46 Het menseljk gezcht geeft sgnalen de essenteel zjn voor de communcate met andere mensen n ons socale leven. Het gezcht omvat het spraakapparaat en wordt gebrukt om andere mensen te herkennen, om het gesprek te sturen door emand aan te kjken of te knkken en om te nterpreteren wat er s gezegd door mddel van lplezen. Het s onze drecte en natuurljke maner van communceren en helpt ons te begrjpen wat emands gemoedstoestand en ntentes zjn op bass van zjn gelaatsutdrukkng (Keltner & Ekman, 2000). Het automatsch analyseren van gezchtsutdrukkngen zou zeer nuttg zjn voor allerle verschllende dscplnes, zoals bevelgng, geneeskunde en onderwjs. Op het gebed van bevelgng spelen gelaatsutdrukkngen een doorslaggevende rol bj het bewjzen van emands geloofwaardghed of helpen ze just het tegendeel te bewjzen. In de geneeskunde zjn gelaatsutdrukkngen het mddel om waar te nemen wanneer welke specfeke mentale processen plaatsvnden. In het onderwjs kan de leraar ut de gezchtsutdrukkng van de leerlng afleden of de aangeboden leerstof dent te worden aangepast. Wanneer het gaat om nterfaces tussen mensen en computers (pc s, robots, machnes), zjn gelaatsutdrukkngen een mogeljkhed aan de machne te communceren wat ervan verwacht en gevraagd wordt. Regstrate van waar de gebruker naar kjkt (gaze trackng) kan doeltreffend worden gebrukt om computergebrukers te bevrjden van het tradtonele toetsenbord en de mus. Daarnaast kunnen bepaalde gezchtssgnalen (zoals een knpoog) worden geassoceerd met bepaalde commando s (bjvoorbeeld een klk met de mus) en zo een alternatef beden voor de tradtonele mus- en toetsenbordcommando s. Het menseljk vermogen om emotes te kunnen aflezen van emands gezchtsutdrukkng vormt de bass voor facal affect processng, wat kan leden tot het ontwkkelen van nterfaces met emotonele communcate en utendeljk tot een flexbeler, beter aanpasbare en meer natuurljke nteracte tussen mensen en machnes. De ontwkkelng van een geautomatseerd systeem dat menseljke gezchtsutdrukkngen kan herkennen en nterpreteren s echter nogal moeljk. Aan de Technsche Unverstet Delft wordt een systeem ontwkkeld voor het automatsch

2 Samenvattng Aan de TU Delft wordt een systeem ontwkkeld voor het automatsch herkennen van de bewegngen van gezchtssperen (acton unts, au s) n vdeo-opnamen van het gezcht, en een redenatesysteem waarmee gezchtsutdrukkngen worden geclassfceerd n emotecategoreën de van de gebruker geleerd zjn. Er s meer onderzoek nodg om het gehele scala van menseljke gezchtsutdrukkngen automatsch te coderen. herkennen van de bewegngen van gezchtssperen (acton unts, au s) n vdeo-opnamen van gezchten. Daarnaast wordt gewerkt aan een op een casus gebaseerd redenatesysteem waarmee het mogeljk s gezchtsutdrukkngen te classfceren (gecodeerd n au s) n emotecategoreën zoals de van de gebruker geleerd zjn. Waarnemng van gezchtsutdrukkngen De meeste methoden voor het automatsch analyseren van gelaatsutdrukkngen proberen een beperkte combnate van prototypsche emotonele gelaatsutdrukkngen te herkennen, bjvoorbeeld angst, verdret, walgng, bljdschap, booshed en verrassng (voor een volledg overzcht van het reeds gedane onderzoek, ze Pantc & Rothkrantz, 2003). Deze gewoonte vloet voort ut onderzoek gedaan door Darwn en meer recenteljk Ekman (Keltner & Ekman, 2000), de meenden dat bassemotes vergezeld gaan van bjbehorende prototypsche gelaatsutdrukkngen. In het leven van alledag echter komen zulke prototypsche gelaatsutdrukkngen relatef zelden voor; emotes worden vaker getoond n de vorm van subtele veranderngen n een of een paar dscrete gelaats- Fguur 1. Overzcht van methode voor detecte van gezchtssperbewegngen n vdeo-opnamen van gezchtsutdrukkngen trekken, zoals het optrekken van de wenkbrauwen bj verbazng. Om zulke subtele menseljke emotes waar te nemen en meer algemeen om nformate, de gelaatsutdrukkngen verschaffen, brukbaar te maken voor de verschllende eerdergenoemde toepassngen, s de automatsche herkennng van de bewegngen van gezchtssperen, zoals de bewegngseenheden ofwel acton unts (au s) van het FACS-systeem (Ekman & Fresen, 1978), noodzakeljk. Het Facal Acton Codng System (FACS) s ontwkkeld opdat menseljke waarnemers de veranderngen n gelaatsutdrukkng kunnen beschrjven aan de hand van waarneembare bewegngen van de gezchtssperen (au s). FACS bedt regels voor het vsueel waarnemen van 44 verschllende au s en hun verloop (onset, apex en offset, oftewel opgaand, hoogtepunt, neergaand) n een opeenvolgende sere beelden van een gezcht. Met deze regels kan een menseljke waarnemer een getoonde gezchtsutdrukkng ontleden tot op de specfeke au s waarut de gezchtsutdrukkng s opgebouwd. Er zjn weng methoden bekend voor wat betreft de automatsche herkennng van au s met behulp van beelden van gezchten (voor een gedetalleerd overzcht van het voltoode onderzoek, ze Pantc (2005)). In tegenstellng tot deze methoden, de vooral ngaan op het probleem van het rumteljk modelleren van gezchtsutdrukkngen, gaat de methode de wj voorstellen tevens n op het probleem van het modelleren van de temporele aspecten van gezchtsutdrukkngen. Met andere woorden, onze methode s bj utstek geschkt voor het coderen van temporele actvatepatronen (onset, apex, offset) van au s zoals zchtbaar n vdeo-opnamen van gezchtsutdrukkngen. Fguur 1 geeft een overzcht van de methode zoals wj de toepassen. Herbj wordt een opeenvolgende sere beelden van een gezcht ngevoerd n ver stappen: face detecton (gezchtsdetecte), facal fducal ponts detecton (detecte van de referentepunten op het gezcht), pont trackng (volgen van de punten) en AU codng (au-coderng). 47

3 user nterface 48 Voor het bepalen van de oppervlakte van het gezcht n het eerste frame van een ngevoerde gezchtsvdeo gebruken we een commerceel verkrjgbare real-tme gezchtsdetector. Het waargenomen gezchtsoppervlak wordt vervolgens onderverdeeld n twntg relevante regons of nterest (ro s), de elk corresponderen met een bepaald punt op het gezcht dat dent te worden waargenomen. Dt s mogeljk door gebruk te maken van een combnate van heurstsche techneken gebaseerd op de analyse van de vertcale en horzontale beeldhstogrammen. De toegepaste detectemethode voor het herkennen van gezchtskenmerkende punten maakt gebruk van ndvduele gelaatstreklocatetemplates voor het detecteren van punten n de relevante ro. Deze gelaatstrekmodellen bestaan ut GentleBoosttemplates van 13 bj 13 pxels en zjn opgebouwd ut zowel grjsnveauwaarden als Gabor-waveletkaraktersteken. In de tranngsfase worden de gezchtsmodellen aangeleerd door gebruk te maken van een representateve set posteve en negateve voorbeelden, waarbj de posteve voorbeelden bestaan ut beeldplekken gercht op een bepaald karakterstek punt n het gezcht en de negateve voorbeelden ut beeldplekken de wllekeurg geplaatst zjn dcht bj dezelfde gelaatstrek. In de testfase wordt edere ro eerst geflterd door dezelfde set Gabor-flters de gebrukt zjn n de tranngsfase (n totaal worden 48 Gabor-flters gebrukt). Vervolgens wordt voor een bepaald punt op het gezcht een nputvenster van 13 bj 13 pxels (sldng wndow) pxel voor pxel over 49 beelden van de relevante ro geschoven (grjswaarde plus 48 Gabor-flterbeelden). Voor elke stand van het sldng wndow produceert een Gentle- Boost-classfer een respons de de geljkens aangeeft tussen het 49-dmensonale beeld van het sldng wndow en de aangeleerde punten op het gezchtsmodel. Na het scannen van de gehele ro onthult de poste met de hoogste respons wat het betreffende punt op het gezcht s. Nadat zo twntg referentepunten zjn gelokalseerd n het eerste frame van de nputreeks gezchtsbeelden, worden rond elk van de gezchtspunten een aantal kleurentemplates gedefneerd. Vervolgens traceren we elke kleurentemplate Fguur 2. Resultaten van trackng van punten op het gezcht n nputreeks gezchtsbeelden gedurende de rest van de beeldenreeks (ze fguur 2) met behulp van het deeltjesflter, een algortme dat werd geïntroduceerd door Ptt en Shepard (1999). Het flteren van deeltjes s nmddels een toonaangevend tracerngsparadgma vanwege het vermogen om succesvol om te gaan met storng, occluse en rus. Om dt aan te passen aan het probleem van op kleur gebaseerde templatetracerng hebben we een observatemodel opgesteld op bass van een op kleur gebaseerde afstand tussen de doelkleurentemplate zoals gedefneerd voor het eerste frame van de nputreeks en de kleurentemplate van het hudge frame. Mogeljke problemen n verband met schaduwen voorkomen we door de globale veranderng n ntenstet te compenseren. Op bass van de veranderngen n de poste van de referentepunten meten we veranderngen n gezchtsutdrukkng. Veranderngen n de poste van de referentepunten worden eerst omgezet n een reeks mddennveauparameters voor de herkennng van au s. We hebben twee parameters gedefneerd: up/down(p) en nc/dec(pp'). De parameter up/down(p) = y(p t1 ) y(p t ) beschrjft opwaartse (up) en neerwaartse (down) bewegngen van punt P en de parameter nc/dec(pp') = PP' t1 PP' t beschrjft de ncrease (toename) of decrease (afname) van de afstand tussen de punten P en P'. Op bass van de temporele consstente van mddennveauparameters codeert een op regels gebaseerde methode temporele segmenten (onset, apex,

4 offset) van 27 au s zoals de alleen of n combnate voorkomen n de nputgezchtsvdeo s. Om bjvoorbeeld de tjdeljke segmenten van AU4 te herkennen, waarbj de wenkbrauwen dchter bj elkaar worden getrokken, gebruken we de volgende temporele regels (ze fguur 1 voor het gezchtsmodel en de betekens van de punten D en D1): ALS ([nc/dec(dd1)] t > [nc/dec(dd1)] t 1 + ε) EN nc/dec(dd1) > ε DAN AU4-onset ALS [nc/dec(dd1)] t [nc/dec(dd1)] t 1 ε EN nc/dec(dd1) > ε DAN AU4-apex ALS ([nc/dec(dd1)] t < [nc/dec(dd1)] t 1 ε) EN nc/dec(dd1) > ε DAN AU4-offset Bj het uttesten op de Cohn-Kanade Facal Expresson Database (Kanade, Cohn & Tan, 2000) en onze egen MMI Facal Expresson Database (Pantc e.a., 2005) behaalde de voorgestelde methode een herkennngsgraad van 90 procent bj het waarnemen van 27 au s de elk op zch of n combnate voorkwamen n een nputreeks van beelden van gezchten. Interpretate van gezchtsutdrukkngen Vrjwel alle systemen voor het automatsch analyseren van gezchtsaffecten trachten een klene groep unversele emotes of bassemotes te herkennen (Pantc & Rothkrantz, 2003). Echter, pure utdrukkngen van bassemotes komen zelden voor; mensen tonen meestal een mengsel van emotes (Keltner & Ekman, 2000). Daarom s de classfcate van menseljke non-verbale affecteve feedback naar een enkele bassemotecategore net realstsch. Evenzo kunnen net alle nonverbale affecteve sgnalen worden geclassfceerd als een combnate van de bassemotecategoreën. Denk bjvoorbeeld aan frustrate, twjfel of vervelng. Bovenden s aangetoond dat het begrp van een bepaald emotelabel en de maneren waarop de daarbj behorende affecteve toestand wordt utgedrukt, kunnen verschllen van cultuur tot cultuur en zelfs van persoon tot persoon (Russell & Fernandez-Dols, 1997). Daarom zjn pragmatsche keuzes noodzakeljk (keuzes aangepast aan het gebrukersprofel) voor wat betreft de selecte van de affecteve toestanden de worden herkend door een automatsche analysator van menseljke affecteve feedback. Daarom hebben wj een systeem van dagnostsch redeneren ontwkkeld waarbj au s worden geclassfceerd n emotecategoreën zoals de van de gebruker geleerd zjn. De case de wordt toege- past, betreft een dynamsch, n toenemende mate auto-organserend event-content-addresseerbaar geheugen dat het mogeljk maakt feten te achterhalen en events te evalueren op bass van de door de gebruker ngegeven voorkeuren en de generalsates zoals de ontstonden na eerdere nput. Elk event (case) bestaat ut een of meer mcro-events, de elk bestaan ut een sere au s. Mcro-events de gezamenljk tot doel hebben een specfeke affecteve toestand te communceren, zjn gegroepeerd bnnen een en hetzelfde dynamsche geheugenblok. Met andere woorden, elk geheugenblok vertegenwoordgt een specfeke emotecategore en omvat alle mcro-events waaraan de gebruker het emotelabel n kweste heeft toegewezen. De ndexen behorend bj elk dynamsch geheugenblok zjn opgebouwd ut ndvduele au s en combnates van au s de het meest karakterstek zjn voor de bepaalde emotecategore. Ten slotte zjn alle mcro-events van elk dynamsch geheugenblok hërarchsch geordend n overeenstemmng met hun typsche karakter: hoe vaker een bepaald mcro-event voorkwam, des te hoger s de hërarchsche poste bnnen dat bepaalde blok. De ntële kwaltet van het dynamsche geheugen wordt berekt door de gebruker te vragen een nterpretatelabel (emotelabel) te assocëren met een reeks van 40 typsche gezchtsutdrukkngen (mcro-events de onlosmakeljk verbonden zjn met emotes volgens Russel & Fernandez-Dols (1997)). De classfcate van de au s zoals waarneembaar n een nputbeeld van een gezcht n de emotecategoreën zoals de geleerd zjn van de gebruker, wordt vervolgens berekt door mddel van dagnostsch redeneren over de nhoud van het dynamsche geheugen. Om een neuw probleem met betrekkng tot classfcate van een reeks nput-au s n door de gebruker gedefneerde nterpretatecategoreën op te lossen, worden de volgende stappen genomen: 1. Doorzoek het dynamsche geheugen op geljksoortge cases, roep deze opneuw op en nterpreteer de nput-au-reeks gebrukmakend van de nterpretates zoals ngegeven door de opgeroepen cases. 2. Is de gebruker tevreden met de nterpretate, sla de case dan op n het dynamsche geheugen. Is dat net het geval, pas het geheugen dan aan volgens de door de gebruker geleverde feedback over de nterpretate de hj assoceert met de nputgelaatsutdrukkng. De toegepaste oproep- en aanpassngsalgortmes maken gebruk van een voorselecte van cases de 49

5 50 user nterface s gebaseerd op de groepsgewjze rangschkkng van het dynamsch geheugen, de ndexerende structuur van het geheugen en de hërarchsche rangschkkng van cases bnnen de groepen/blokken al naargelang hun typsche karakter. Er zjn twee valdateonderzoeken utgevoerd op een prototypesysteem. De vraag waarop het eerste valdateonderzoek zch rchtte was: hoe acceptabel zjn de nterpretates de het systeem oplevert nadat het heeft geleerd zes bassemotes te herkennen (nameljk angst, verdret, walgng, bljdschap, booshed en verrassng)? De vraag de tjdens het tweede valdateonderzoek werd gesteld was: hoe acceptabel zjn de nterpretates de het systeem oplevert nadat het s getrand om een wllekeurg aantal door de gebruker gedefneerde nterpretatecategoreën te herkennen? In het eerste geval werd een menseljke FACS-codeerder gevraagd het systeem te tranen. In het tweede geval werd een amateurexpert, zonder formele opledng n het herkennen van emotesgnalen, gevraagd het systeem te tranen. Dezelfde expert de werd gebrukt om het systeem op te leden werd tevens gebrukt om de prestates te evalueren, dat wl zeggen om te beoordelen hoe acceptabel de nterpretates de het systeem gaf waren. Wat betreft bassemotes was de expert het n 100 procent van de testcases eens met de nterpretates de het systeem opleverde. Wat betreft de door de gebruker gedefneerde nterpretatecategoreën was de amateurexpert het n 83 procent van de testcases geheel eens met de nterpretates en n 14 procent van de testcases was de expert het eens met de meeste maar net met alle nterpretatelabels de het systeem aan de relevante cases toekende. Concluse Onze benaderng van de waarnemng van au s vormt op twee maneren een utbredng van de stand van zaken op dt gebed, nameljk door de temporele weergave van gezchtsutdrukkngen en het aantal gehanteerde au s (27 au s n totaal). De geautomatseerde systemen voor au-detecte op bass van gezchtsvdeo s de tot dusver zjn gerapporteerd, gaan nameljk vooral n op het probleem dat rumteljke weergave van gezchtsutdrukkn- gen met zch meebrengt en kunnen n het gunstgste geval 16 tot 18 au s (ut een totaal van 44 au s) herkennen. Onze methode verbetert tevens andere aspecten rond geautomatseerde audetecte n vergeljkng met eerdere onderzoeken. De prestates van de methode worden net beïnvloed door occluses zoals brllen en gezchtsbeharng zolang deze de benodgde referentepunten op het gezcht net geheel verbergen. De methode werkt bovenden goed onder alle lchtomstandgheden en s mnder gevoelg voor veranderngen n lchtntenstet. Gegeven het fet dat eerder geïntroduceerde gezchtsutdrukkngsanalysatoren slechts n staat zjn gezchtsutdrukkngen te classfceren n een van de zes bassemotecategoreën, betekent onze methode voor het automatsch nterpreteren van gezchtsutdrukkngen een utbredng van de technologe op dt gebed doordat het hermee mogeljk wordt gezchtsutdrukkngen te nterpreteren op een aan de gebruker aan te passen wjze. Onze methode s echter nog steeds net n staat het gehele scala van gezchtsutdrukkngen (dat wl zeggen alle 44 au s zoals gedefneerd n FACS) te herkennen. Bovenden gaat de methode ut van nvoerdata bestaande ut geïsoleerde beelden van gezchten de al dan net van tevoren zjn opgedeeld en slechts een enkel temporeel patroon vertonen (onset, apex, offset) van een utdrukkng de begnt en endgt met een neutrale toestand. In werkeljkhed bestaat een dergeljke verdelng net; het gedrag van het menseljk gezcht s veel complexer en overgangen van de ene naar de andere (emotonele) gelaatsutdrukkng worden net noodzakeljkerwjs afgewsseld met een neutrale toestand. Daarom kunnen onze gezchtsutdrukkngsanalysatoren net omgaan met spontaan vertoonde gezchtsutdrukkngen. Er s meer onderzoek nodg wllen we het gehele scala van menseljke (spontane en geposeerde) gezchtsutdrukkngen automatsch kunnen coderen. Lteratuur Ekman, P. & W.V. Fresen (1978). FACS Manual. Palo Alto: Consultng Psychologst Press. Kanade, T., J. Cohn & Y. Tan, (2000). Comprehensve database for facal expresson analyss. Proc. Int l Conf. Face and Gesture Recognton (FGR 00), pp Keltner, D. & P. Ekman, (2000). Facal Expresson of emoton. Handbook of Emotons. New York: Gulford Press, pp Pantc, M. (2005). Face for Interface. The Encyclopeda of Multmeda Technology and Networkng. Hershey: Idea Group Publshng, vol. 1, pp Pantc, M. e.a. (2005). Web-based database for facal expresson analyss. Proc. Int l Conf. Multmeda and Expo (ICME 05),pp Pantc, M. & L.J.M. Rothkrantz (2003). Toward an Affect- Senstve Multmodal Human-Computer Interacton. Proceedngs of the IEEE, vol. 91, pp Ptt, M.K.; & N. Shephard (1999). Flterng va smulaton: auxlary partcle flterng, J. Amer. Stat. Assoc., vol. 94, pp Russell, J. & J. Fernandez-Dols (1997). The psychology of facal expresson, Cambrdge: Cambrdge Unversty Press. Lnk mm.tudelft.nl/~maja Maja Pantc s werkzaam bj het Computng Department van het Imperal College n Londen. E-mal: m.pantc@mperal.ac. uk.