Hoezo spontaan? Een onderzoek naar de perceptie en productie van spontane en geacteerde high arousal emoties

Transcriptie

1 Hoezo spontaan? Een onderzoek naar de perceptie en productie van spontane en geacteerde high arousal emoties Masterscriptie Neerlandistiek: Taal en Tekst in Gebruik Joanne Schuitemaker S Eerste begeleider: dr. D.G. Gilbers Tweede begeleider: dr. N.H. Hilton 6 juli 2015

2 Abstract Emotionele spraak kun je herkennen aan de prosodie. Zo is boze spraak vaak intenser en meer opgewonden dan verdrietige spraak, maar blije spraak heeft net als boze spraak een moge mate van opwinding. Welke akoestisch kenmerken zorgen er dan voor dat we boze spraak toch kunnen onderscheiden van blije spraak? En welke invloed heeft de mate van spontaniteit op de perceptie en productie van emotionele spraak met een hoge mate van opwinding? Dat is in dit scriptieonderzoek onderzocht: met behulp van 21 blije en boze spontane fragmenten, afkomstig van de Nederlandse televisie, en 21 blij en boze geacteerde fragmenten zijn verschillende analyses op pitcheigenschappen en een perceptie-experiment uitgevoerd. Voor het perceptie-experiment waren alle frequenties boven de 500 Hz verwijderd, zodat de fragmenten klonken alsof iemand achter een deur stond te praten. 52 participanten hebben deze gemaskeerde fragmenten beoordeeld als boos of blij. Uit het perceptie-experiment is gebleken dat boze en blije spraak in de gemaskeerde fragmenten niet te onderscheiden waren. Bovendien bleek uit analyses van de pitch-range dat er hierin geen verschil bestond tussen blije en boze spraak. Daarmee bevestigt dit onderzoek eerder onderzoek, zoals Gilbers et al. (2015) waaruit is gebleken dat emoties met een hoge mate van opwinding niet verschillen wat betreft deze pitch-eigenschappen. Daarnaast is gekeken naar de invloed van spontaniteit op de perceptie en productie van emotionele spraak. Uit het perceptie-experiment bleek dat emoties in geacteerde spraak vaker correct herkend werden dan emoties in spontane spraak. Dit zou onder andere kunnen komen doordat in geacteerde spraak meer pitchvariatie bevat, want analyses toonden aan dat geacteerde spraak meer dominante pitches bevat dan spontane spraak. Hoe de pitchvariatie onderscheid maakt tussen blije en boze spraak is onderwerp voor vervolgonderzoek. Tevens zal in vervolgonderzoek gekeken moeten worden naar subtielere parameters die het verschil tussen boze en blije spraak maken, want met behulp van mean pitch en pitch range zijn er geen verschillen te horen en te meten tussen emoties met een hoge mate van arousal. 2

3 Inhoudsopgave Abstract Inleiding Literatuurreview Emoties Emoties in spraak Mogelijk- en moeilijkheden in taalkundig emotie-onderzoek Spontane vs. geacteerde spraak Ideaalpatronen in spraak Onderzoeksvragen Hypotheses Methode Materiaal Spontane fragmenten: pre-test Geacteerde fragmenten Perceptie-experiment Participanten Analyses fragmenten Pitcheigenschappen en modaliteit Force of Articulation Resultaten Pre-test Perceptie-experiment Akoestische kenmerken van blije en boze spraak Pitch range Voice Onset Time Spontane vs. geacteerde spraak spontane en geacteerde spraak in het perceptie-experiment Invloed van spontaniteit op de pitch range Dominante pitches en modaliteit Discussie Perceptie-experiment en boos niet herkend Geacteerde fragmenten vaker correct herkend dan spontane fragmenten Analyses emotionele spraak Pitch range... 30

4 Voice Onset Time Dominante pitches en modaliteit Conclusies Bibliografie Bijlage Vragenlijst beoordelen emoties Invulformulier perceptie-experiment

5 1. Inleiding Ik vond het zó leuk om te doen, ik weet niet of het ergens naar klonk, maar het was in ieder geval héél leuk om te doen! vertelde Susan Smit, nadat ze voor de eerste keer dirigent had gespeeld voor het programma Meastro van AVROTROS. Ze was duidelijk erg blij, dat was te horen aan het woord leuk dat ze twee keer gebruikte, maar ook aan de manier waarop ze het zei. 5 Haar boodschap werd dus op twee manieren overgebracht: met behulp van semantische informatie en met behulp van para-linguïstische informatie. De semantische informatie bevat de betekenissen van waarden en zinnen en de para-linguïstische informatie verwijst naar de manier waarop woorden worden uitgesproken. De prosodie speelt hierbij de sleutelrol, zo kan bijvoorbeeld de lettergreep met de klemtoon verlengd worden en kunnen de snelheid en de toon verhoogd worden. Op die manier kunnen met de para-linguïstische informatie impliciete boodschappen overgebracht worden, bijvoorbeeld de emotionele toestand van de spreker (Nwe et al., 2003). Maar ook ironie of vragen worden duidelijk gemaakt door de prosodie. Het belang van prosodie is goed te zien bij de volgende zin: I suppose you think England is going to win the World Cup. Deze zin kan op verschillende manieren geïnterpreteerd worden: als een grapje, een oprechte vraag of als een meer agressieve uitdaging. Wat de intentie van de spreker was, kan afgeleid worden uit zijn prosodie (Cowie et al., 2001). Hoe de het lichaam en daarbij de prosodie wordt beïnvloed door emoties werd in 1981 door Williams en Stevens beschreven. Zij schreven dat door emoties met een hoge mate van opwinding, zoals angst, boosheid en blijheid wordt het sympathisch zenuwstelsel beïnvloed, hierdoor gaat het hart sneller kloppen, de bloeddruk gaat omhoog, de mond wordt droger en er zijn incidentele samentrekkingen van spieren. Maar ook het stemgeluid wordt beïnvloed, dit wordt namelijk luider, sneller en intenser. De andere kant op werkt het ook: door emoties met een lage mate van opwinding zoals verdriet gaan hartslag en bloeddruk omlaag, speekselafscheiding omhoog en wordt het stemgeluid langzamer en minder intens (Williams en Stevens, 1981). In meer recent onderzoek wordt duidelijk welke akoestische cues bij deze emoties met hoge en lage mate van opwinding een rol spelen. Bijvoorbeeld in het onderzoek van Gilbers et al. (2015). Uit dit onderzoek bleek onder andere dat emoties met een hoge mate van opwinding een hogere gemiddelde toonhoogte en een grotere verschil in toonhoogte hadden dan emoties met een lage mate van opwinding. Op die manier kunnen bijvoorbeeld de emoties boos (met een hoge mate van opwinding) en verdrietig (met een lage mate van opwinding) van elkaar onderscheiden worden. Het is echter onduidelijk hoe mensen het onderscheid maken tussen negatieve en positieve emoties met dezelfde mate van opwinding, dus bijvoorbeeld tussen blij en boos. Het onderzoek van Gilbers et al. (2015) heeft de resultaten van Luo et al. (2007) bevestigd. In het onderzoek van Luo et al. wordt er echter wel op gewezen dat de emotieherkenning is onderzocht met behulp van geacteerde spraak. De kans op overacting is dan groot, waardoor de

6 onderzochte emoties maar deels natuurlijke emotiepatronen simuleren. Schrerer (2003) gaat in zijn artikel ook op deze kwestie in. Wanneer acteurs wordt gevraagd om zinnen emotioneel uit te spreken, kan het niet uitgesloten worden dat zij duidelijke cues voor emoties extra benadrukken en meer subtiele cues missen. De geacteerde spraak zou dan meer de socioculturele normen en verwachtingen reflecteren dan de psychofysiologische effecten op de stem wanneer emoties voorkomen onder normale omstandigheden. In dit scriptieonderzoek zal gekeken worden of mensen het verschil tussen negatieve en positieve emoties met gelijke waarde van opwinding kunnen waarnemen wanneer de semantische informatie gemaskeerd is. Tevens zal onderzocht worden of geacteerde emotionele spraak andere akoestische cues bevat dan spontane emotionele spraak. De vraag die in dit onderzoek gesteld wordt is dan ook: Hoe maken mensen onderscheid tussen negatief en positief geladen emotionele spraak en welke invloed heeft de mate van spontaniteit op de perceptie? De opzet van deze scriptie is als volgt: eerst zal uitgebreid in worden gegaan op emoties, de invloed van emotie op de spraak en kenmerken van emotionele spraak. Vervolgens zal stil gestaan worden bij de verschillen tussen geacteerde en spontane spraak. Dan wordt het uitgevoerde perceptieonderzoek en worden de uitgevoerde akoestische analyses besproken en bediscussieerd. Ten slotte worden conclusies getrokken over de perceptie en productie van blijdschap en boosheid in geacteerde en spontane spraak. 6

7 2. Literatuurreview 2.1 Emoties In dit scriptieonderzoek staan emoties centraal. Emoties kunnen vanuit veel verschillende disciplines worden bekeken. Bijvoorbeeld vanuit de biologie, psychologie of sociologie, maar ook vanuit de taalkunde. Binnen te taalkunde kan ook vanuit verschillende perspectieven naar emoties gekeken worden. In deze scriptie is ervoor gekozen om een fonologisch perspectief te nemen en minder de nadruk te leggen op de sociolinguïstische aspecten van dit onderwerp. Toch zal er eerst kort algemeen ingegaan worden op de verschijning die wij emotie noemen, te beginnen met de vraag: wat zijn emoties eigenlijk? Dat lijkt wellicht een simpele vraag, iedereen kent immers wel emotionele gevoelens. Desalniettemin is het lastig een goede definitie van emoties te geven. Frijda (2005) geeft in het begin van zijn boek De Emoties de volgende definitie van het begrip emotie: de innerlijke determinant van niet-instrumenteel gedrag en nietinstrumentele gedragsaspecten (p13). Hiermee wordt bedoeld dat de emotie een innerlijke omstandigheid is die gedrag bepaalt. Neem bijvoorbeeld het gedrag van iemand die opeens met borden begint te smijten. Hoogstwaarschijnlijk zijn de gebroken borden niet het gewenste eindresultaat, daarom kan zijn gedrag beschreven worden in termen van boosheid of woede. De emotie in het voorbeeld hierboven is vergankelijk en zal waarschijnlijk niet langer dan een paar minuten duren. Daarom wordt dit ook wel een emotie in engere zin genoemd. Dit verwijst naar een opwinding op kortere termijn (Nwe et al., 2003). De emotie is op dat moment tijdelijk de dominante factor in het mentale leven: de emotie zet aan tot bepaalde acties. Een andere term voor deze korte termijn emotie is full-blown-emotie. Tegenover de emotie in engere zin staat de emotie in brede zin. De emotie in brede zin zou een onderliggende emotie genoemd kunnen worden. Deze kleurt de gedachtes en acties van iemand zonder dat de emotie de controle overneemt (Cowie et al., 2001). Emoties kunnen dus op verschillende manieren aanwezig zijn, maar ze kunnen ook op verschillende manieren geuit worden. Door middel van expressie worden emoties zichtbaar. Als iemand vrolijk is, kan dat zich manifesteren als een lach, maar het is ook mogelijk dat iemand moet huilen van vreugde. Desalniettemin blijkt uit onderzoek naar emotieherkenning dat emotionele (gezichts-)expressie in het algemeen tamelijk eenduidig en correct wordt geïnterpreteerd (Frijda, 2005). Ook vocale expressie wordt vaak correct geïnterpreteerd bleek uit onderzoek van Banse en Scherer (1996) naar emotieherkenning op basis van vocale cues. Participanten kregen in dit onderzoek onzinzinnen te horen met verschillende emotionele ladingen en het bleek zo te zijn dat verschillende emoties te onderscheiden waren op basis van de waarde (positief of negatief), kwaliteit (bijvoorbeeld hot en cold anger) en mate van opwinding (bijvoorbeeld boos en berustend). 7

8 Als emotionele expressies vaak correct geïnterpreteerd worden, rijst de vraag of deze dan ook als communicatief gedrag gezien kunnen worden. Volgens Nwe et al. (2003) behoort de emotionele toestand van de spreker tot de para-linguïstische informatie die spraak overbrengt. Aan de hand van de informatie die de luisteraar afleidt uit de toestand van de spreker kan hij of zij de boodschap van de spreker (beter) interpreteren, wat dat betreft is emotionele expressie dus wel communicatief. Maar volgens Ekman (2012) zijn de emotionele expressies van de spreker in eerste instantie niet bedoeld als communicatief. Hij stelt dat expressies vaak onvrijwillig zijn; wanneer een emotie optreedt, worden altijd impulsen naar bijvoorbeeld de gezichtsspieren gestuurd, daar kunnen we niet over kiezen. In het geval van zulke echte emotionele expressies is er dus geen sprake van een communicatief doel. Wanneer de emoties echter geveinsd of geacteerd worden, zijn ze wel vrijwillig en intentioneel. Deze zogenaamde false expressions zijn volgens Ekman (2012) dan ook anders dan echte emotionele expressie. Spontane emoties verschillen dus in ieder geval qua communicatief doel van geacteerde emoties. Dit onderzoek gaat in op de invloed die de mate van spontaniteit heeft op het stemgeluid. Hiervoor worden veelal emoties in de bredere zin gebruikt Emoties in spraak Voordat verder ingegaan wordt op het verschil tussen geacteerde en spontane emoties, zal eerst de invloed van emotie op spraak besproken worden. In de inleiding werd al genoemd dat emoties het sympathisch zenuwstelsel beïnvloeden. Bij emoties met een hoge mate van opwinding gaat onder andere het hart sneller kloppen en gaat de bloeddruk omhoog, maar daarbij wordt ook het stemgeluid beïnvloed, dit wordt luider, sneller en intenser. Bij emoties met een lage mate van opwinding gaat dit precies andersom: hartslag en bloeddruk gaan omlaag en ook wordt het stemgeluid langzamer en minder intens (Williams en Stevens, 1981). De invloed die emotie op spraak heeft kan met behulp van verschillende akoestische kenmerken beschreven worden. Wanneer naar het prosodische domein gekeken wordt, kunnen bijvoorbeeld de variabelen toonhoogte (de fundamentele frequentie), intensiteit en tempo gebruikt worden om het stemgeluid te beschrijven. Daarnaast kan in termen van gespannen (tense), ruw (harsh) en hees (breathy) de stemkwaliteit beschreven worden (Nwe et al., 2003). Nwe et al. (2003) hebben een tabel gemaakt waarin te zien is welke prosodische parameters bij welke emotie horen. Hiervoor hebben zij data gebruikt uit verschillende onderzoeken, daardoor wordt ook duidelijk dat er niet altijd eenduidigheid bestaat over de akoestische kenmerken van emotie. Bijvoorbeeld het tempo bij angst en bij blijdschap. In tabel 1 is dit gesimplificeerd weergegeven met de emoties boosheid, blijdschap, angst en verdriet. 8

9 heid dschap Angst Verdriet mean pitch Verhoogd Verhoogd Verhoogd verlaagd Pitch range Veel groter Veel groter Vergroot Verkleind intensiteit Verhoogd Verhoogd Normaal verlaagd spreeksnelheid Hoog Verhoogd, laag Verhoogd, Verlaagd stemkwaliteit Gespannen, hees, zware borst toon, schetterend Tabel 1: akoestische kenmerken emotie Gespannen, hees, schetterend verlaagd Gespannen, onregelmatige intonatie Laks, resonerend In deze tabel is te zien dat sommige spraakeigenschappen niet specifiek bij individuele emoties horen. Dat impliceert dat het mogelijk is dat bepaalde emotie gemakkelijk voor een andere emotie kan worden aangezien (Nwe et al., 2003). heid en blijdschap hebben bijvoorbeeld veel gemeenschappelijke kenmerken. Kenmerkend voor boosheid en blijdschap is namelijk dat deze emoties een hoge mate van opwinding kennen. Dit wordt ook wel arousal genoemd en is één van de twee parameters waarlangs emoties gerangschikt kunnen worden. De andere parameter is de waarde (valence) van de emotie. Deze kan positief of negatief zijn, dit is bijvoorbeeld het verschil tussen blij en boos. In de rest van deze scriptie zal de Engels term arousal gebruikt worden in plaats van het Nederlandse woord opwinding. Luo et al. (2007) suggereren dat sprekers met behulp van de toonhoogte alleen onderscheid kunnen maken tussen hoge en lage arousal-emoties en niet tussen emoties met verschillende waardes. Gilbers et al. (2015) bevestigen dit op basis van onderzoek met behulp van nonsensuitingen. Zij hebben een onderzoek gedaan naar pitcheigenschappen in emotionele spraak waarbij proefpersonen niet-bestaande frases hebben uitgesproken met verschillende emotionele ladingen. Zie tabel 2 voor deze emoties en de verdeling langs de parameters waarde en opwinding. Tabel 2: parameters en emoties Waarde Arousal Positief Negatief Hoog dschap heid Laag Opluchting Verdriet De uitgesproken frases met de verschillende emoties zijn in het onderzoek van Gilbers et al. (2015) geanalyseerd op mean pitch, pitch range en aantal dominante pitches. De resultaten toonden aan dat pitcheigenschappen van groot belang zijn bij het verschil tussen emoties met een 9

10 hoge en een lage mate van arousal. Bij de emoties met een hoge mate van arousal was de mean pitch significant hoger en de pitch range significant groter. Daarnaast waren er ook significant meer dominante pitches waargenomen bij emoties met een hoge mate van arousal dan bij emoties met een lage mate van arousal. Het verschil tussen emoties met dezelfde mate van arousal, maar met verschillende waardes, zoals boos en blij, was niet aan te tonen met behulp van pitcheigenschappen. Maar zoals in tabel 1 al aangegeven is, heeft emotie niet alleen invloed op de pitcheigenschappen in spraak. Ook bijvoorbeeld de duur, pauzes en formantwaardes in de spraak worden beïnvloed door emoties. Yildirim et al. (2004) hebben onderzoek gedaan naar akoestische kenmerken van emotionele spraak, vergeleken met neutrale spraak. Zij hebben een semiprofessionele actrice zinnen uit laten spreken met verschillende emotionele prosodie: verdriet, boosheid, blijdschap en neutraal. Deze zinnen zijn onder andere geanalyseerd op duur, spreeksnelheid en toonhoogte. Er is gebleken dat uitingen die geladen zijn met een boze, blij of verdrietige emotie langer duren dan neutrale uitingen. Ook hebben verdrietige, boze en blije spraak grotere variatie in spreeksnelheid dan neutrale spraak. Deze verschillen zijn waar te nemen tussen alle emoties, behalve tussen boos en blij. Uit de analyses van de toonhoogte (pitcheigenschappen) bleek dat boze en blije spraak een hogere gemiddelde pitch hebben dan neutrale spraak. Er wordt dan ook geconcludeerd dat blijdschap en boosheid (net als neutraal en verdriet) dezelfde akoestische eigenschappen delen in de spraak van hun actrice. Dit komt dus overeen met de gegevens uit het onderzoek van Gilbers et al (2015). Een ander onderzoek naar vocale expressie van emotie is dat van Kienast en Sendlmeier (2000). Zij hebben vocale expressies van de emoties boosheid, blijheid, angst, verveling en verdriet geanalyseerd op akoestische kenmerken en vergeleken met neutrale spraak. Zij hebben specifieker gekeken naar articulatorische kenmerken, waaronder de formantwaardes van klinkers. Deze waardes werden gemeten en vergeleken met de ideale posities om de afwijking van de tong ten opzichte van de nagestreefde positie te meten. Op die manier kon dus gekeken worden naar de nauwkeurigheid van de articulatie: hoe dichter de vocalen bij de ideale positie lagen, hoe nauwkeuriger de articulatie. Vijf mannelijke en vijf vrouwelijke Duitse acteurs hebben op boze, blije, bange, verdrietige, verveelde, afgunstige en neutrale wijze zinnen geproduceerd. De formantwaardes van de eerste en de tweede formanten werden bepaald voor de klinkers a, e, i, o, u. Uit de resultaten is gebleken dat de zinnen waarin angst, verdriet of verveling werd geuit, gekarakteriseerd werden door verschuiving van de formanten naar een meer centrale positie. De verschillende klinkers werden dus minder goed te onderscheiden. Voor de zinnen met boze expressie waren de resultaten tegenovergesteld: de klinkers verschoven naar de uiteinden van de klinkerdriehoek en werden dus juist meer verschillend. Dit is een vorm van hyperarticulatie. In 10

11 de blije uitingen werd een verhoging van beide formanten gevonden, al werd de eerste formant meer beïnvloed door de emotie dan de tweede formant. Om de nauwkeurigheid van articulatie te meten, hebben Kienast en Sendlemeier (2000) niet alleen de formantwaardes van de klinkers gemeten, maar ook assimilaties en verwijdering van segmenten. Dit hebben zij gedaan met behulp van het Lautminderungsquotient (LMQ) dat ontwikkeld was door Hildebrandt (1963). Uit de resultaten is gebleken dat in boze spraak minder vaak segmenten werden verwijderd dan in alle andere emoties en dat assimilatie minder vaak voorkwam in boze spraak dan in neutrale spraak. Ook in blije spraak komt assimilatie minder vaak voor dan in neutrale spraak. Er werd geconcludeerd op basis van de gegevens van de formantenanalyse en segmentreductie dat de zinnen waarin boosheid werd geuit het meest nauwkeurig werden gearticuleerd in vergelijking met andere emoties en met neutrale spraak. Deze hogere mate van nauwkeurigheid bij de productie van klinkers kan verklaard worden door het feit dat klinkers in zinnen met een boze emotionele lading zijn verlengd en doordat in boze spraak meer beklemtoonde lettergrepen zijn (en minder onbeklemtoonde lettergrepen). In lange en beklemtoonde lettergrepen worden klinkers preciezer gearticuleerd. (Kienast, Paeschke en Sendlmeier, 1999; Paeschke, Kienast en Sendlemeier, 1999; Lindblom, 1963; Moon en Lindblom 1994). In Tatham en Morton (2004) is een tabel opgenomen van Stibbard (2001) waaruit ook blijkt dat in boze spraak de beklemtoonde lettergrepen langer duren en dan in blije spraak en dat er minder lettergrepen per seconde in de gemiddelde uiting voorkomen dan in blije spraak. Uit deze tabel blijkt tevens dat er geen verschillen in mean pitch en pitch range zijn tussen blije en boze spraak. Emoties met dezelfde mate van arousal kunnen meestal dus niet gekarakteriseerd worden met behulp van pitcheigenschappen. In tegenstelling tot emoties met een verschillende mate van arousal. Deze worden niet alleen gekenmerkt door verschillen in pitcheigenschappen, maar ook door centralisatie van klinkers bij low arousal emoties en decentralisatie van klinkers bij high arousal emoties. heid en boosheid zijn de emoties die in dit scriptie-onderzoek onderzocht worden, dit zijn beide emoties met een hoge maten van arousal. Volgens Ayadi et al. (2011) is er tot nu toe geen overeenstemming tussen wetenschappers over akoestische kenmerken die het verschil maken tussen een boze en een blije emotie. De kenmerken waar tot nu toe vooral naar is gekeken, zijn de gemiddelde toonhoogte, variatie in toonhoogte, gemiddelde intensiteit, variatie in intensiteit, stemkwaliteit en spreeksnelheid (Liscombe 2007). Wanneer de emotieclassificeerder in een hiërarchische structuur worden gezet, zoals Lugger, Janoir en Yang (2009) hebben gedaan, 11

12 blijk opnieuw dat boosheid en blijdschap erg dicht bij elkaar liggen qua akoestische kenmerken. Zie figuur 1. Figuur 1: hiërarchische combinatie van classifier, uit Lugger, Janoir en Yang (2009) In deze figuur zijn drie stadia te zien waarin emoties herkend worden. In het eerste stadium wordt gekeken naar het activatie level, dat wil zeggen de mate van arousal. In het tweede stadium wordt gekeken naar de sterkte van het spraaksignaal. Als deze bij low arousal emoties laag is, dan kun je verdriet horen, is deze bij high arousal emoties laag, dan kun je angst horen. Is deze echter bij high arousal hoog, dan hoor je blijdschap of boosheid. Het verschil tussen deze twee wordt in het derde stadium alleen nog gemaakt door de waarde van de emotie, de evaluation dimension. Hoe dit verschil wordt gemaakt is nog onduidelijk, daarom zal in dit scriptieonderzoek met behulp van een perceptie-experiment gekeken worden of mensen zelf het verschil tussen blije en boze emoties wel kunnen horen aan de intonatie als de semantische inhoud gemaskeerd is Mogelijk- en moeilijkheden in taalkundig emotie-onderzoek Als emotie in de prosodie zou kunnen worden herkend door apparaten, zouden er tal van mogelijkheden open gaan. Het zou bijvoorbeeld gebruikt kunnen worden in games en educatieve software om enthousiasme of verveling te detecteren, of in life-support systemen om paniek te detecteren of bij commerciële producten (Ang et al., 2002). Maar het labelen van emoties is nog niet zo gemakkelijk. Ten eerste wordt emotie overgebracht op een glijdende schaal, waardoor er (soms onnatuurlijke) grenzen moeten worden getrokken. Ten tweede variëren emoties enorm per persoon en per context; wat bij de ene persoon in een bepaalde context heel boos is, zal voor een ander misschien wel een andere betekenis hebben (Ang et al., 2002). Ten derde is er veel onderzoek gedaan waarbij geacteerde emoties werden geanalyseerd en beoordeeld. Zoals in de inleiding al genoemd is, kan het niet worden uitgesloten dat acteurs duidelijke cues voor emoties extra benadrukken en subtiele cues missen. Het kan dus zo zijn dat geacteerde emoties meer de socioculturele normen en verwachtingen reflecteren dan de psychofysiologische effecten op de stem van spontane emoties (Schrerer 2003). Daarom gaat het volgende hoofdstuk over het verschil tussen spontane en geacteerde spraak. 12

13 2.2. Spontane vs. geacteerde spraak In veel onderzoek naar emotie(herkenning) in spraak is gebruik gemaakt van geacteerde data. Maar het is tot nog toe onduidelijke in welke mate geacteerde emoties representatief zijn voor echte emoties. Wilting, Krahmer en Swerts (2006) hebben onderzoek gedaan naar de relatie tussen audiovisuele expressie van geacteerde en spontane emoties. Hierbij hebben ze onder andere gekeken hoe de perceptie van geacteerde emoties verschilt van de perceptie spontane emoties. Participanten in dit onderzoek kregen sprekers in verschillende emotionele toestanden te zien en moesten op een 7-puntsschaal aangeven hoe sterk de getoonde emotie was. Er werd geconcludeerd dat geacteerde emotie extremer waargenomen werd dan de spontane emotie. Het verschil tussen geacteerde en echte emoties was het grootst bij de negatieve condities. In dit experiment werd echter alleen het gezicht van de spreker getoond; het stemgeluid was verwijderd. Geacteerde emoties in gezichtsexpressie zijn dus duidelijk sterker dan spontane emoties. Maar hoe zit dat in spraak? Onderzoek van Levin, Schaffer en Snow (1982) heeft aangetoond dat het verschil tussen spontane en geacteerde spraak zichtbaar is door de posities van pauzes, de spreeksnelheid en de precisie van articulatie. Dit hebben zij onderzocht door docenten van een basisschool verhalen te laten voorlezen (niet spontaan) en te laten vertellen (wel spontaan). Deze verhalen hebben ze opgenomen en in stukjes van ongeveer 10 seconden geknipt. Vervolgens zijn de fragmenten door participanten beoordeeld op spontaniteit en bleek dat de voorgelezen fragmenten accuraat van de vertelde fragmenten werden onderscheiden. Al deze fragmenten zijn geanalyseerd en daaruit bleek dat in voorgelezen (niet spontaan) spraak de spreeksnelheid hoger lag, de articulatie preciezer was en dat pauzes bijna altijd samenvielen met de grammaticale zinsbouw in de voorgelezen spraak. Uit vergelijkbaar onderzoek van Laan (1997) was de bleek dat voorgelezen niet alleen afwijkt qua tempo van spontane spraak, maar dat voorgelezen spraak ook meer pitchvariatie en minder klinkerreductie bevat. Pitchvariatie is een belangrijke factor in geacteerde spraak. Dat blijkt onder andere uit het onderzoek van Gilbers en Van Eerten (2010), want zij concluderen dat vooral geacteerde emotionele prosodie veel gelijkenissen heeft met muzikale modaliteit. In muziek wordt namelijk emotie uitgedragen met behulp van verschillende toonhoogtes. Een muziekstuk dat in majeurmodaliteit is geschreven klinkt vrolijk en een muziekstuk in mineurmodaliteit klinkt treurig. Dat komt doordat een mineurakkoord tussen de eerste en de derde toon van de toonladder drie halve tonen heeft. Bij een majeurakkoord is deze afstand vier halve tonen. Schreuder (2006) heeft ontdekt dat in geacteerde emotionele spraak dezelfde soort modaliteiten voorkomen als in muziek. Zij heeft docenten van een basisschool fragmenten uit Winnie the Pooh laten voorlezen waarin de vrolijke Teigetje en de verdrietige Iejoor aan het woord waren. Deze fragmenten zijn geanalyseerd op pitch en vervolgens is er gekeken naar de meest voorkomende 13

14 frequenties, afgerond op have tonen. Op die manier is een histogram gemaakt waarin te zien was welke halve tonen het meest frequent voorkwamen en welke afstand er tussen die tonen was. Bij de fragmenten die meerdere pieken, dus meerdere toonhoogtes, lieten zien in het histogram, kon onderscheid gemaakt worden tussen mineur en majeur: de blije Teigetje sprak in majeur en de sombere Iejoor in mineur. Gilbers en Van Eerten (2010) hebben spontane en geacteerde blije spraak vergeleken en daarbij specifiek gekeken naar pitchvariatie en modaliteit. 22 participanten werd gevraagd om over hilarisch passages uit een film of boek te vertellen (spontane spraak). Daarna hebben 2 actrices de tekst van de participanten nagespeeld. Alle fragmenten waren in stukken van 5-10 seconden geknipt en daarvan zijn frequentieplots, gebaseerd op de pitch van elke lettergreep, gemaakt. De pitches waren afgerond op have tonen. Uit de analyses bleek dat geacteerde blije spraak vaker modaliteit bezat dan spontane emotionele spraak. Dat wil zeggen dat er in de geacteerde spraak meer variatie bestond in toonhoogte/pitch en dat de meest voorkomende toonhoogtes/pitches, afgerond op halve tonen, een afstand van 4 halve tonen tot elkaar hadden. Omdat dit niet of nauwelijks voorkwam in de spontane spraak, introduceerden Gilbers en Van Eerten (2010) modaliteit als een extra akoestische parameter om geacteerde spraak van spontane spraak te onderscheiden Ideaalpatronen in spraak Geacteerde spraak verschilt dus van spontane spraak doordat de spreeksnelheid vaak lager ligt, de posities van pauzes samenvallen met de grammaticale zinsbouw, er minder klinkerreductie voorkomt, meer pitchvariatie is en soms zelfs modaliteiten te onderscheiden zijn in geacteerde spraak. Je zou kunnen zeggen dat geacteerde spraak op een meer ideale manier gerealiseerd wordt dan spontane spraak. Dat heeft er mee te maken dat geacteerde spraak zich beter aan bepaalde cue constraints houdt dan spontane spraak. Dat wil zeggen dat bij geacteerde spraak andere contraints voorrang krijgen dan bij normale spraak. Constraints zijn beperkingen die aan de grammatica van een taal worden opgelegd. Elke taal heeft een andere rangschikking van deze constraints, waardoor iedere grammatica er anders uitziet (Gilbers et al., 2010). Binnen een taal hebben sommige constraints een grotere prioriteit dan andere constraints. Maar de constraints kunnen geschonden worden, ze zijn soft. In het Nederlands heb je bijvoorbeeld de constraint NoCoda, die stelt dat een woord geen consonant als laatste klank mag hebben. Toch komen er in het Nederlands veel woorden met een coda voor, neem bijvoorbeeld het woord boom. De NoCoda-constraint mag dus geschonden worden om aan andere constraints te voldoen, in dit geval MAX-IO, die eist dat elk segment in de input een representant in de output heeft. De constraints zijn te vergelijken met verkeersregels: normaal gesproken krijgt iemand die van rechts komt voorrang, maar als hij voor een rood stoplicht staat, 14

15 en jij voor een groen stoplicht, hoef je degene die van recht komt niet meer voor te laten. In dat geval is er een andere regel die belangrijker is van toepassing en mag de regel rechts gaat voor geschonden worden. De rangschikking van de constraints bepaalt dus hoe dat wat in je hoofd zit, wordt gerealiseerd. Er bestaan verschillende soorten constraints. Aan de ene kant heb je de correspondence constraints, die vereisen dat de output zo veel mogelijk gelijk blijft aan de input (de oppervlaktevorm is gelijk aan de onderliggende vorm). Hierdoor wordt het luistergemak vergroot. Aan de andere kant heb je de markedness constraints. Een voorbeeld hiervan is de constraint least effort, deze constraint pleit voor zo weinig mogelijk articulatorische inspanning. Hierdoor ontstaat bijvoorbeeld klinkerreductie en assimilatie, waardoor het sprekersgemak wordt vergroot. Correspondence constraints en markedness constraints zijn potentieel met elkaar in conflict. Om toch tot een optimale realisatie te komen, worden mogelijke realisaties geëvalueerd door de constraints en uiteindelijk wordt de meest optimale output gerealiseerd. Naast de correspondence constraints en markedness constraints zijn er ook de eerder genoemde cue-constraints, deze zorgen ervoor dat de oppervlaktevorm zo ideaal mogelijk wordt vormgegeven, ze beschrijven de geïdealiseerde vormen als optimaal. Een voorbeeld van zo n cue constraint is volgens Gilbers en Van Eerten (2010) dus modaliteit: wanneer de cue constraints hun input gaan evalueren, zijn ze tevreden als blije spraak majeurmodaliteit laat zien en verdrietige spraak mineurmodaliteit. Deze cue-constraint voor modaliteit is echter in conflict met de articulatorische constraint least effort, want de cue-constraint geeft aan hoe je de realisatie zo ideaal mogelijk kunt maken en de articulatorische constraint juist hoe je de realisatie met zo min mogelijk inspanning kunt maken. Bij geacteerde spraak zijn (in extreme gevallen) modaliteiten waar te nemen en in spontane spraak niet, daarom wordt gesteld dat geacteerde spraak zich vaker aanpast aan de cue-constraints en dat de spontane spraak zich vaker aanpast aan de articulatorische constraint least effort. Deze constraints hebben dus niet een strikte hiërarchie, ze overlappen elkaar (Gilbers en Van Eerten, 2010). Voor emotionele spraak bestaat dus een cue-constraint, die het gebruik van mineur- of majeurmodaliteiten als optimaal beschrijft. Dit zou je ook een ideaalpatroon of cognitief templaat kunnen noemen. Dit ideaalpatroon wordt vooral toegepast in zeer overdreven geacteerde spraak zoals bij Teigetje en Iejoor. Deze geacteerde spraak zou vergelijkbaar kunnen zijn met de manier waarop mensen tegen jonge kinderen praten, in beide gevallen is namelijk sprake van een overdreven realisatie. Motherese of parentese is de term voor de manier waarop mensen tegen jonge kinderen spreken. Wanneer mensen dat doen, wordt een apart spraakregister gebruikt met unieke akoestische kenmerken. Motherese is in vergelijking met gewone spraak vaak langzamer, heeft een hogere gemiddelde pitch, een grotere pitchvariatie en de klinkers worden duidelijker 15

16 gearticuleerd. Hierdoor is de klinkerdriehoek van moeders die tegen kinderen praten twee keer zo groot als normaal (Kuhl, 2004, p.839). Deze overdreven manier van spreken helpt kleine kinderen om de belangrijkste kenmerken van de klanken van hun taal te leren. Het taalaanbod dat kleine kinderen krijgen is dus een ideale, ofwel extra duidelijke, vorm. Bij de productie van spraak spelen ideaalpatronen dus een rol, maar deze zijn ook bij de perceptie van spraak van belang. Wanneer je bijvoorbeeld iemand niet helemaal goed kan verstaan, vul je zelf aan wat de denkt te horen op basis van hoe jij denkt dat het zou moeten /de ideaalpatronen van jouw taal. Een voorbeeld is het mama-appelsap-fenomeen. De songteksten in een voor Nederlanders vreemde taal, worden soms verkeerd verstaan. Een Nederlander hoort bijvoorbeeld waar is toch dat zebrahondje voor, wanneer de zanger vai estar pro sempre aonde for (Lambada). Dit fenomeen laat zien dat ideaalpatronen ook de perceptie van akoestische signalen beïnvloeden. Misschien zijn het niet zo zeer de eerder genoemde socioculturele normen en verwachtingen die voor het verschil tussen geacteerde en spontane spraak zorgen, maar cognitieve ideaalpatronen die de productie van geacteerde spraak sturen Onderzoeksvragen Emotie beïnvloedt het stemgeluid: door emoties wordt de spraak soms intenser en sneller of juist andersom. Emoties in spraak kunnen middels twee parameters verdeeld worden: de arousalparameter en de waarde-parameter. Met behulp van pitcheigenschappen kunnen emoties met een verschillende mate van arousal gekarakteriseerd worden. Maar emoties met eenzelfde mate van arousal en verschillende waardes lijken niet goed met behulp van pitcheigenschappen gekarakteriseerd te kunnen worden. en blij zijn voorbeelden van emoties met een hoge mate van arousal en met verschillende waardes. Tot nu toe is er geen duidelijkheid hoe deze emoties met behulp van akoestisch kenmerken van elkaar kunnen worden onderscheiden. Daarom wordt in deze scriptie onderzocht of mensen eigenlijk het onderscheid tussen boze en blije emoties weten te maken als zij niet de inhoud van de spraak horen, maar alleen de gemiddelde pitch en de pitch range. De eerste vraag die in dit onderzoek wordt gesteld is dan ook: Herkennen mensen positieve en negatieve emoties met dezelfde mate van arousal als alleen de prosodie te horen is? Een vraag die bij deze eerste vraag hoort is: Zijn er akoestische kenmerken die het verschil maken tussen boze en blije emotionele spraak? Hoewel vanuit de literatuur geen antwoord op deze vraag te geven is, wordt deze wel gesteld. De acteurs die meegewerkt hebben aan dit onderzoek gaven namelijk aan boze spraak anders te articuleren dan blije spraak. Wellicht zal het verschil niet in pitcheigenschappen liggen, maar in 16

17 subtielere akoestische kenmerken waar nog weinig onderzoek naar is gedaan. Daarom zijn de volgende twee deelvragen bij dit onderwerp te onderscheiden: o Is pitch een factor die het verschil tussen blije en boze spraak maakt? o Is Voice Onset Time een factor die het verschil tussen blije en boze spraak maakt? Veel onderzoek naar emoties in spraak heeft gebruik gemaakt van geacteerd materiaal. Maar geacteerde emoties zijn niet altijd hetzelfde als spontane emoties. Ten eerste niet omdat spontane/echte emoties niet zo zeer tot een communicatief doel dienen en geacteerde emoties wel. Ten tweede verschillen geacteerde emoties van spontane emoties in akoestische kenmerken zoals de spreeksnelheid en de posities van pauzes. Daarom worden in dit scriptieonderzoek niet alleen geacteerde, maar ook spontane emoties gebruikt. Op die manier kan onderzocht worden welke invloed de mate van spontaniteit van emoties op de perceptie en productie van spraak heeft. De tweede onderzoeksvraag is dan ook: Welke invloed heeft de mate van spontaniteit op de perceptie en productie van emotionele spraak? Omdat eerder onderzoek van Gilbers en Van Eerten (2010) aangetoond heeft dat in geacteerde spraak vaker modaliteiten worden gevonden dan in spontane spraak, wordt hier in dit onderzoek ook naar gekeken. Daarnaast wordt gekeken of er een verschil in pitch range bestaat tussen geacteerde en spontane spraak. Daarom zijn de volgende deelvragen bij dit onderwerp te onderscheiden: o Komt in geacteerde spraak vaker modaliteit voor dan in spontane spraak? o Heeft de mate van spontaniteit invloed om de pitch range? 17

18 3. Hypotheses In dit scriptieonderzoek wordt allereerst gekeken naar het onderscheid tussen blije en boze spraak. Middels een perceptie-experiment waarbij participanten gemaskeerde blije en boze fragmenten te horen krijgen, zal gekeken worden of mensen het onderscheid tussen boze en blije spraak kunnen horen wanneer de semantische inhoud niet hoorbaar is. Tijdens dit experiment kunnen de participanten dus enkel de gemiddelde pitch en de pitch range horen. Op basis van de eerder besproken literatuur kan verwacht worden dat mensen het onderscheid tussen blije en boze spraak niet kunnen horen wanneer alleen de toonhoogtes van het geluid te horen zijn. Omdat in eerder onderzoek vooral gekeken is naar de pitcheigenschappen en intensiteit van high arousal-emoties, zal dit onderzoek de boze en blije fragmenten niet alleen op pitch analyseren, maar ook op meer subtiele parameters, in dit geval zal dat de Voice Onset Time zijn. Er is gekozen voor de Voice Onset Time omdat deze een manier is om de kracht van de articulatie te meten, andere parameters zouden de mate van reductie of sterkte-zwakte ratio van lettergrepen kunnen zijn (Gilbers et al., 2013). Er wordt verwacht dat, als er een verschil te meten zou kunnen zijn tussen boze en blije emotie, de VOT één van de parameters kan zijn die het verschil maakt tussen high arousal-emoties met verschillende waardes. De boze spraak zou een grotere VOT hebben dan de blije spraak, omdat uit onderzoek van Kienast en Sendlemeier (2001) is gebleken dat in boze spraak preciezer wordt gearticuleerd en omdat de acteurs die aan dit onderzoek hebben meegewerkt aangaven dat zij pittiger, duidelijker en meer staccato articuleerden wanneer zij boos acteerden. In eerder onderzoek is VOT nog niet gebruikt om onderscheid tussen high-arousal emoties aan te tonen. Het tweede deelonderwerp van dit onderzoek is het verschil tussen spontane en geacteerde emotionele spraak. Uit de literatuur is gebleken dat geacteerde spraak herkenbaar is door positie van pauzes, spraaksnelheid, precisie van articulatie en de soms zelfs door de aanwezigheid van modaliteiten (Levin et al, 1982; Gilbers en Van Eerten, 2010). Bij de productie van spraak spelen zogenaamde ideaalpatronen een rol, in geacteerde spraak worden deze afgezwakt door lenitie-effecten, maar in geacteerde spraak helpen deze juist om een optimale realisatie te creëren. Daarom wordt verwacht dat de geacteerde spraak eerder als boos of blij herkend wordt, als de inhoud niet te horen is, dan de spontane spraak. Daarnaast wordt verwacht dat deze ideaalpatronen ook een rol spelen bij de productie van spraak. De akoestische kenmerken die de emoties hebben, zullen extremer zijn in de geacteerde versies dan in de spontane. Daarnaast is de verwachting dat in geacteerde spraak vaker modaliteit te zien is dan in spontane spraak. 18

19 4. Methode 4.1. Materiaal Voor dit scriptieonderzoek zijn spontane en geacteerde geluidsfragmenten gebruikt. De spontane geluidsfragmenten komen van de Nederlandse televisie. Uit de tv-programma s Utopia, De wereld draait door, Maestro, Ik vertrek, RTL-late night, Man bijt hond en de Rijdende rechter zijn de spontane geluidsfragmenten gehaald. De criteria voor deze fragmenten waren dat er geen achtergrondmuziek te horen moest zijn en dan er maar één persoon tegelijk aan het woord was. In totaal waren er 38 fragmenten geselecteerd waarvan 11 uitingen van blije mannen, 9 uitingen van blije vrouwen, 10 uitingen van boze mannen en 8 uitingen van boze vrouwen. Om uit deze fragmenten een selectie te maken van de meest blije en boze fragmenten, is een pre-test ontworpen en uitgevoerd Spontane fragmenten: pre-test Er zijn in totaal 38 fragmenten tussen de 1 en 8 seconden geselecteerd die ofwel uitingen van boze mensen ofwel uitingen van blije mensen bevatten. Om de meest blije en meest boze fragmenten te selecteren is een pre-test gehouden. Alle fragmenten zijn genummerd en met behulp van een Ipad, een koptelefoon en een vragenlijst zijn de fragmenten beoordeeld door twee vrouwelijke en een mannelijke student. Op de vragenlijst konden de proefpersonen aangeven hoe blij of boos ze de fragmenten vonden klinken op een Likert-schaal van 1 tot 5. Eerst zijn de 20 blije fragmenten laten horen en daarna 18 boze fragmenten. Bij elk fragment moesten de proefpersonen aangeven of ze het fragment neutraal, een beetje blij/boos, redelijk blij/boos, duidelijk blij/boos of erg duidelijk blij/boos vonden klinken. Zie de bijlage voor het invulformulier. De proefpersonen konden zelf de geluidsfragmenten afspelen, zo vaak als ze wilden Geacteerde fragmenten De geselecteerde spontane fragmenten zijn getranscribeerd en vervolgens op blije en boze wijze voorgelezen door een acteur en een actrice. De acteur heeft de uitingen die door een man gedaan waren nagespeeld en de actrice de uitingen die door een vrouw waren gedaan. Deze geacteerde fragmenten zijn opgenomen in een speciaal ingerichte audiostudio met behulp van het programma Adobe Audition. De acteur en actrice hebben de originele fragmenten van tevoren niet beluisterd en ze werden geïnstrueerd om de zinnen zo blij en boos mogelijk te acteren Perceptie-experiment In totaal zijn er 41 fragmenten geselecteerd voor het perceptie-experiment: 21 spontane fragmenten, 11 blij en 10 boos, en 21 geacteerde fragmenten, 11 blij en 10 boos. Het volume van al deze fragmenten is met behulp van het programma Adobe Audition genormaliseerd tot 100% 19

20 en vervolgens is er een FFT filter overheen gelegd, zodat alle frequenties boven de 500Hz niet meer te horen waren. Alle gemaskeerde fragmenten zijn in willekeurige volgorde aan proefpersonen laten horen. Zij kregen van tevoren de volgende uitleg bij het experiment: Je krijgt in totaal 42 geluidsfragmenten te horen. Deze fragmenten bestaan uit uitingen van boze of blije mensen, maar ze klinken alsof iemand achter een deur staat te praten. De semantische inhoud is dus moeilijk te horen. De intonatie daarentegen is nog wel duidelijk hoorbaar. Het is de bedoeling dat je op basis van de intonatie aangeeft of je een blije of een boze spreker hoort. De fragmenten die je te horen krijgt duren tussen de 1 en 10 seconden. Elk fragment krijg je 2 keer te horen en daarna geef je op onderstaand formulier aan of je een boze of blije spreker denkt te horen. Je mag elke keer maar 1 hokje aankruisen. Het invulformulier is opgenomen in bijlage 2. De participanten hadden bij elk fragment de keuze tussen boos of blij. Voordat het definitieve invulformulier is gemaakt, is eerst één keer getest met een formulier waarbij de proefpersoon ook de optie neutraal/weet ik niet kon invullen. Uit deze test was gebleken dat dit bij twijfel vaak werd ingevuld, daarom is deze optie in het definitieve formulier verwijderd. Uit deze test bleek bovendien dat de semantische inhoud van de fragmenten inderdaad niet meer te verstaan was, dus de fragmenten uit de test waren klaar voor gebruik Participanten In totaal hebben 52 participanten meegewerkt aan het perceptie-experiment. Dit waren 46 leerlingen van de middelbare school uit klas vwo 5, deze leerlingen waren tussen de 16 en 18 jaar oud. Deze leerlingen waren verdeeld over twee groepen en zij hebben in een klaslokaal deelgenomen aan het experiment. De overige 6 participanten waren studenten of ouderen en hebben individueel deelgenomen aan het experiment Analyses fragmenten Pitcheigenschappen en modaliteit De fragmenten zijn allereerst geanalyseerd op pitcheigenschappen. Met behulp van het programma PRAAT (Boerma & Weenink ) zijn eerst de mean pitch en de pitch range berekend. Vervolgens zijn de fragmenten geanalyseerd op modaliteit. Hiervoor is eerst het script van De Jong en Wempe (2009) toegepast op de fragmenten om syllabes te detecteren. Daarna is met behulp van een script van Cook (2002) de pitch per syllabe bepaald. Met een Excel-macro (Cook, 2002) is uiteindelijk per fragment een histogram gemaakt, hiervoor zijn de pitchwaardes afgerond naar de dichtstbijzijnde semitoon. Op die manier is te zien hoeveel variatie er in pitch is in een fragment en op welke toonhoogte(s) er veel gesproken wordt. 20

21 Om te concluderen of er sprake was van modaliteit is de volgende formule gebruikt (Gilbers et al., 2010): er moeten minstens twee pieken te constateren zijn, de horizontale afstand tussen deze pieken moet minsten twee semitonen zijn (anders kunnen er geen twee pieken zijn) en de verhouding van de verticale afstanden van beide pieken ten opzichte van het laagst gelegen dal tussen die pieken mag niet meer dan 2,5 zijn Force of Articulation Aangezien de acteurs aangaven niet alleen hun toonhoogte aan te passen wanneer zij blij of boos moesten spreken, maar ook de kracht van de articulatie, zijn de fragmenten ook hierop geanalyseerd. De actrice gaf aan dat haar articulatie pittiger en duidelijker was wanneer zij boos acteerde dan wanneer zij blij acteerde. Ook de acteur gaf aan dat hij bij de boze emotie meer nadruk legt op korte klinkers, dit zou geïnterpreteerd kunnen worden als meer staccato. De kracht van articulatie kan op verschillende manieren gemeten worden. Ten eerste zou je naar de intensiteit van de spraak kunnen kijken, echter is hier het probleem dat dit medebepaald wordt door de afstand van de spreker tot de microfoon. Het is niet mogelijk geweest om dat in dit onderzoek constant te houden. Een andere manier waarop fortitie/kracht van articulatie gemeten kan worden is met de Voice Onset Time (Gilbers et al., 2013). Wanneer deze verlengt wordt krijg je een krachtigere realisatie van het geluid. Een voorbeeld is het woord thee, in het Nederlands gerealiseerd als [te:], dit wordt krachtiger wanneer het uitgesproken wordt als [t h e:]. (Het klinkt dan ook meer als Duits.) In dit scriptieonderzoek is de VOT van stemloze plofklanken aan het begin van een beklemtoonde lettergreep gemeten in de fragmenten van de geacteerde taal, om het verschil tussen blij en boos te onderzoeken. Dit is gedaan met behulp van het programma PRAAT door de tijd vanaf het begin van de plofklank tot de eerste puls te meten. Van 9 blije en 8 boze stemloze plofklanken aan het begin van een beklemtoonde lettergreep is de VOT gemeten. Vervolgens is ook de duur van de betreffende lettergreep gemeten, zodat de verhouding tussen de VOT en de duur van de lettergreep berekend kon worden (VOT/duur lettergreep). 21

22 5. Resultaten In dit hoofdstuk zullen de resultaten gepresenteerd worden. Paragraaf 5.1. zal gaan over de pretest, paragraaf 5.2. over het perceptie-experiment, paragraaf 5.3. over de akoestische kenmerken van blije en boze spraak en paragraaf 5.4. zal gaan over geacteerde en spontane spraak Pre-test In tabel 3 zijn de resultaten van de pre-test te zien. Drie proefpersonen hebben op een vijfpunts Likert-schaal aangegeven hoe blij of boos ze de fragmenten vonden klinken. De eerste 20 fragmenten bevatten blije uitingen en de laatste 18 bevatten boze uitingen. Bij elk fragment moesten de proefpersonen aangeven of ze het (1) neutraal, (2) een beetje blij/boos, (3) redelijk blij/boos, (4) duidelijk blij/boos of (5) erg duidelijk blij/boos vonden klinken. Voor elk fragment is de gemiddelde beoordeling berekend en op basis van deze gegevens is een selectie gemaakt van de meest duidelijke fragmenten. De fragmenten met de nummers 18, 7, 19, 10, 6, 14, 12, 2, 20 en 13 zijn geselecteerd als blije fragmenten en de nummers 34, 27, 26, 25, 24, 23, 36, 35, 33 en 32 zijn geselecteerd als boze fragmenten. Bij dit selectieproces is rekening gehouden met de verdeling van mannelijke en vrouwelijke stemmen, zodat bij het perceptieonderzoek per emotie 5 mannenstemmen en 5 vrouwenstemmen te horen zijn. 22 Fragment Milou Nathalie Jelger Gemiddelde , , , , , , , , , , , , , , , , , , ,333333

23 6 3, ,5 33 3, , , , , , , , , , Tabel 3: resultaten pre-test 5.2. Perceptie-experiment Met behulp van het perceptie-experiment is onderzocht of mensen boze spraak van blije spraak kunnen onderscheiden wanneer zij alleen de intonatie van de spraak horen. De 52 participanten moesten bij 42 fragmenten kiezen of zij deze boos of blij vonden klinken. Ze moesten dus een gedwongen keuze maken en daardoor was er 50% kans dat ze het goed zouden invullen. De resultaten van het onderzoek zijn als volgt: van de 2184 vragen waren in totaal 1248 goed beantwoord. Gemiddeld genomen hebben de participanten dus 24 van de 42 vragen goed beantwoord. Met behulp van een Chi-Kwadraat test is berekend of deze gevonden waarden significant afwijken van de verwachte waarden. Er bleek geen significant verschil te zijn, X 2 (51) = 39,47; p = 0,88. In figuur 2 is de boxplot te zien die weergeeft hoe veel goede antwoorden er gegeven werden. Aantal goede antwoorden perceptieexperiment (totaal 42) Aantal goede antwoorden Figuur 2: boxplot aantal goede antwoorden perceptie-experiment 23

24 5.3. Akoestische kenmerken van blije en boze spraak Het doel van dit deel van het onderzoek was om te kijken of er akoestische kenmerken zijn die boze van blije spraak onderscheiden. Er is geanalyseerd op pitch range en op Voice Onset time Pitch range Allereerst is er naar de pitch range gekeken. Deze is met behulp van het programma PRAAT berekend voor alle fragmenten die ook zijn gebruikt voor het perceptie-experiment. Met behulp van een univariate ANOVA test is gekeken of er significante verschillen bestaan in pitch range tussen boze en blije spraak. In tabel 4 is de gemiddelde pitch range van alle fragmenten opgenomen. Er is een klein verschil te zien tussen de blije en de boze spraak, maar een univariate ANOVA test heeft uitgewezen dat dit verschil niet significant is. Er is ook gekeken naar de geacteerde en spontane spraak apart, maar ook in deze categorieën is gebleken dat en geen significant verschil bestaat tussen boze en blije spraak wat betreft pitch range. Zie figuur 3 voor boxplots van de pitch range van boze en blije spraak. Tabel 4: gemiddelde pitch range in Hz Geacteerd 226,7 234,5 Spontaan 201,8 247,5 Totaal 214,2 240,4 Figuur 3: boxplots gemiddelde pitch range (Hz) van blije en boze fragmenten 24

25 Voice Onset Time Van zeventien stemloze plofklanken aan het begin van de lettergreep is de Voice Onset Time gemeten om te onderzoeken of de kracht van de articulatie op deze manier het stemgeluid beïnvloedt bij verschillende emoties. In tabel 5 zijn de resultaten opgenomen. Er is te zien dat de Voice Onset Time in de blije spraak groter is dan in de boze spraak. Dit zijn echter gegevens van één persoon, waardoor het niet zinvol is statistiek toe te passen. Lettergreep blij VOT duur lettergreep VOT/Duur lettergreep To 16,7 79 0,21 Ko ,12 Kan 16,4 92,8 0,18 Keer 31,3 203,3 0,15 Kans 22,4 261,4 0,09 Pa 18,7 75,3 0,25 tu 51,1 145,2 0,35 to 29,7 122,2 0,24 keer 4,8 123,4 0,04 gemiddeld: 23, Te 28, ,11 kan 16,3 236,6 0,07 Kan 10,2 215,8 0,05 po 19, ,14 pijn 4,7 228,9 0,02 Kont 32,6 354,7 0,09 te 21,8 200,5 0,11 Ko 18,9 123,6 0,15 gemiddeld: 19, Tabel 5: Voice Onset Time 25

26 5.4. Spontane vs. geacteerde spraak spontane en geacteerde spraak in het perceptie-experiment Tijdens het perceptie-experiment hebben de participanten geluisterd naar 42 fragmenten waarvan 21 spontaan waren en 21 geacteerd. Om de invloed van de spontaniteit op de perceptie te onderzoeken, is gekeken of de participanten de geacteerde fragmenten vaker of juist minder vaak goed herkenden dan de spontane fragmenten. De 52 participanten konden bij elk fragment aangeven of ze het boos of blij vonden klinken, dus in totaal zijn er 2148 antwoorden om te analyseren. De spontane fragmenten werden 512 keer fout herkend en 580 goed. De geacteerde fragmenten werden 424 fout herkend en 668 keer goed. Met behulp van een Chi-Kwadraat test is berekend of dit verschil significant is. Er werd een significant verschil gevonden tussen de groepen (X2(1) = 14,479; p = 0,000142). De emoties in de geacteerde fragmenten werden vaker correct herkend dan de emoties in spontane fragmenten Invloed van spontaniteit op de pitch range Eerder in dit hoofdstuk is besproken welke invloed de emoties boosheid en blijdschap hebben op de pitch range, in deze paragraaf wordt besproken welke invloed de mate van spontaniteit heeft op de pitch range van emotionele spraak. De pitchanalyses die met behulp van het programma PRAAT zijn gemaakt, zijn vergeleken met een univariate ANOVA test. De geacteerde fragmenten hadden een gemiddelde pitch range van 230,9 Hz en de spontane fragmenten hadden een gemiddelde pitch range van 224,6 Hz. In figuur 4 is te zien hoe de pitch range in spontane en geacteerde taal van elkaar verschillen. Dit verschil is echter erg klein en niet statistisch significant. Figuur 4: pitch range van geacteerde en spontane spraak 26