IS EEN KLANK OP MEERDER MANIEREN TE HOREN MET BEHULP VAN RECALIBRATIE EN SELECTIEVE ADAPTATIE?

Transcriptie

1 Is een klank op meerder manieren te horen met behulp van recalibratie en selectieve adaptatie? F.V. van Hassel (ANR: ) Afdeling van Cognitieve Neuropsychologie Tilburg University 20 april 2015 Begeleider: Dr. M.N. Keetels 1

2 Abstract Zintuigen werken zo goed mogelijk samen om een representatie van de omgeving te vormen, deze hoeft alleen niet zo te zijn als deze werkelijk is. Zo vonden Bertelson, Vroomen en de Gelder (2003) wanneer een proefpersoon herhaaldelijk blootgesteld wordt aan ambigue geluid dat tussen /aba/ en /ada/ ligt nagesynchroniseerd op een gezicht dat /aba/ of /ada/ uitspreekt er recalibratie plaatsvindt. Ambigue teststimuli werden meer in de richting van het visuele gedeelte van de exposure stimulus geinterperteerd. In deze studie gaan we onderzoeken of het mogelijk is om met behulp van recalibratie één klank gelijktijdig als zowel /aba/ of /ada/ te horen is, door het verschillend recalibreren van stimuli in het linker en rechter audiovisule veld. Resultaten laten zien dat een klank door middel van recalibratie gelijktijdig als zowel /aba/ als /ada/ te horen is, maar bias effecten kunnen niet uigesloten worden en er is meer onderzoek nodig om dit met zekerhied te kunnen zeggen. 2

3 Is een klank op meerder manieren te horen met behulp van recalibratie en selectieve adaptatie? Sensorische modaliteiten werken samen om een representatie te vormen van de omgeving, deze representaties kunnen afwijken van wat er echt plaatsvindt. Onderzoek heeft laten zien dat spraak waarneming hier een goed voorbeeld van is, wat men hoort wordt beïnvloed door wat men ziet. Zo is het erg mogelijk om door middel van het Mcgurk effect de waarneming van klanken te beïnvloeden en is het ook erg beinvloedbaar waar geluid vandaan kom met het buiksprekers effect (Radeau & Bertelson, 1974; McGurk & McDonald, 1976) Ook kan liplezen er voor zorgen dat bijvoorbeeld voor dat spraak beter begrepen wordt en zonder liplezen blijkt het ook dat het ook moeilijker om spraak waar te nemen (Sumby & Pollack, 1954; Mecleod & summerfield, 1989; Berthhommier, 2004). Horen en zien zijn dus nauw met elkaar verbonden en in dit onderzoek gaan kijken naar het effect van liplezen op de perceptie van klanken. Liplezen kan de perceptie van klanken kan veranderen, Bertelson, Vroomen en de Gelder (2003) vonden dat één ambigue klank op twee verschillende manieren geïnterpreteerd kan worden met behulp van liplezen, deze ambigue klank werd op basis van welke exposure er werd toegepast geïnterpreteerd als /aba/of /ada/. Hoewel het verschil tussen de klanken /aba/ en /ada/ duidelijk is, was het toch mogelijk om de perceptie van één klank te beïnvloeden en deze op twee manieren te kunnen interpreteren. In dit onderzoek wordt er gekeken of het mogelijk is om deze perceptie veranderingen gelijktijdig naast elkaar te laten plaatsvinden. Dus is het mogelijk om een bepaald geluid tegelijkertijd op twee verschillende manieren te horen? Bij spraakwaarneming werken de zintuigen horen en zien samen, waarbij wat men hoort beïnvloed wordt door wat men ziet. Om spraakwaarneming te beïnvloeden wordt er vaak gebruikgemaakt van conflict situaties waarbij deze twee zintuigen incongruente informatie binnen krijgen over eenzelfde gebeurtenis (Welch & Warren, 1980; Bertelson, Vroomen & de Gelder, 2003; Bertelson & de Gelder, 2004). Deze conflict situaties veroorzaken directe effecten en na-effecten, directe effecten vinden plaats wanneer de perceptie van een stimulus in één bepaalde modaliteit is afgeleid door input uit een andere modaliteit en zo direct de waarneming van de stimulus beïnvloedt 3

4 (Welch & Warren, 1980). Een voorbeeld van een direct effect is het Mcgurk effect; wanneer de klank /ba/ wordt gepresenteerd terwijl de proefpersoon tegelijkertijd het hoofd van een man ziet die de klank /ga/ uitspreekt dan wordt deze klank waargenomen als /da/ (Mcgurk & MacDonald, 1976). Na-effecten zijn veranderingen in de perceptie na blootstelling aan een conflict situatie, als informatie uit één of beide zintuigen later alleen gepresenteerd wordt (Radeau & Bertelson 1974; Bertelson, vroomen & de Gelder, 2003). Bertelson, Vroomen & de Gelder (2003) vonden als eerste dat er na-effecten zijn bij klankwaarneming mogelijk zijn, wanneer er een ambigue klank wordt aangeboden dan is het mogelijk om de interpretatie van deze klank bij de proefpersonen te beïnvloeden met behulp van recalibratie en selectieve adaptatie. Proefpersonen werd gevraagd de drie meest ambigue testgeluiden in een 9 punt /aba/-/ada/ continuüm beoordelen op of deze meer op /aba/ of /ada/ leken (waarbij A? ambigu is, A?-1 iets meer op /aba/ en A?+1 iets meer op /ada/ leek), na exposure aan een bepaalde exposure fase. Iedere exposure fase werd gevolgd door een testfase. In de exposure fase in het onderzoek kregen de proefpersonen steeds 8 stimuli te gepresenteerd,deze stimuli bestonden uit of incongruente stimuli paren; een ambigue klank (de klank die precies tussen /aba/ en /ada/, voortaan: A?) die nagesynchroniseerd was op een video van een man die ofwel alleen /aba/ of /ada/ uitspreekt (voortaan: Vb en Vd) of ze kregen acht congruente stimulus paren gepresenteerd waarbij de proefpersoon /aba/ of /ada/ hoorde (Voortaan: Ab en Ad) nagesynchroniseerd op respectievelijk Vb of Vd. Dus de proefpersonen werden blootgesteld aan de volgende exposure: VbA?, VdA?, VbAb of VdAd. Recalibratie vond plaats wanneer proefpersonen blootgesteld werden aan de incongruente stimulus paren, proefpersonen interpreteerde de testgeluiden meer in de richting van het visuele gedeelte van de stimulus. Doordat de proefpersonen een aantal keer blootgesteld werden aan een ambigue geluid nagesynchroniseerd op een gezicht dat een duidelijke klank uitspreekt is de perceptie van deze klank verandert wanneer de proefpersoon nog alleen deze klank hoort. De perceptie van deze klank is door middel van het liplezen van de visuele informatie die gepresenteerd werd dus meer een de richting van /aba/ 4

5 gegaan als de proefpersoon Ab zag en meer in de richting van /ada/ als de proefpersoon meer Ad zag. De proefpersonen hebben met behulp van liplezen nu geleerd om de ambigue testgeluiden anders te interpreteren. Selectieve adaptatie vond plaats wanneer proefpersonen werden blootgesteld aan de congruente exposure stimulus paren, en het gevolg daarvan was dat proefpersonen de test stimuli de tegenovergestelde richting van de visuele stimulus op geïnterpreteerd werden. Doordat de proefpersonen een aantal keer blootgesteld werden aan iemand die duidelijk /aba/ uitspreekt nagesynchorniseerd op een gezicht dat ook duidelijk Ab uitspreekt, wordt het gebied in de hersenen dat deze klanken herkent uitgeput. De ambigue klank die na deze uitputting vervolgens wordt gepresenteerd zal hierdoor dus meer lijken de tegenovergestelde klank. Dus als een proefpersoon blootgesteld was aan AbVb exposure dan werden de testgeluiden die daarop volgde meer geïnterpreteerd als de klank /ada/. Maar hoe lang blijven deze effecten eigenlijk? Om gelijktijdig meerdere recalibratie effecten op één bepaald geluid mogelijk te maken, moeten deze effecten niet verdwijnen zodra er een andere exposure plaatsvind of simpel verdwijnen nadat de teststimuli geweest zijn. Vroomen en Baart (2009) vonden dat recalibratie effecten niet terug gevonden werden in een 24 uur na-meting, en suggereren daarmee dat recalibratie effecten broos zijn. Maar om gelijktijdig meerdere recalibratie effecten op een bepaald geluid te hebben, hoeven de recalibratie effecten niet na 24 uur terug gevonden te worden. Ander onderzoek vond dat leereffecten van spraak tot 12 uur na blootstelling aan exposure stimuli terug gevonden kunnen worden (Kralic & Samuel, 2005; Eisner & Mcqueen, 2006). In het onderzoek van Eisner en Mcqueen (2006) kregen de proefpersonen zelfs nog tijd om in het 12 uur interval na de exposure te slapen en spraak van andere personen te horen en zelf hierna bleven de recalibratie effecten van kracht. Spraakperceptie is dus flexibel en leereffecten kunnen 12 uur na blootstelling aan exposure stimuli nog steeds de zelfde werking hebben als direct na de exposure, maar maakt dit het mogelijk om gelijktijdig meerder recalibratie effecten op één bepaald geluid/fenomeen te hebben? In 5

6 onderzoek van Roseboom en Arnold (2011) is gevonden dat het mogelijk is om mensen gelijktijdig meerdere recalibratie effecten aan te leren op één bepaald fenomeen, zij vonden dat proefpersonen gelijktijdig meerdere temporele relaties kunnen vormen. Proefpersonen werden afwisselen aan de linkerkant en rechterkant van hun perceptuele veld een exposure stimulus gepresenteerd die bestond uit een film van een mannelijke en vrouwelijke acteur die een klank uitspraken met een ongelijke timing relatie tussen het geluid en het beeld. Bijvoorbeeld het vrouwelijke gezicht sprak een klank uit aan de linkerkant van je perceptuele veld met een voorsprong van het geluid op het beeld en dit was gecombineerd hetmannelijke gezicht dat hierna aan de rechterkant van het precpetuele veld een klank uitsprak met een vertraging van het geluid op het beeld. Na deze exposure stimuli werden een aantal teststimuli aangeboden van een gezicht die een klank uitsprak en moest de proefpersoon aangeven of deze synchroon liepen of niet. Roseboom en Arnold (2011) vonden dat proefpersonen gelijktijdig een positieve en een negatieve audiovisuele synchroon schattingen konden hebben voor de verschillende acteurs, die verschoven richting de audiovisuele timing relaties die waaraan ze eerder waren blootgesteld waren bij die bepaalde acteur. Proefpersonen nemen nu dus één bepaald fenomeen gelijktijdig op twee verschillende manieren waar, wanneer proefpersoon een schatting moest maken of het geluid synchroon liep met het beeld dan verschilde deze schatting als deze door een andere acteur werd gepresenteerd na exposure. Er werden echter geen significante resultaten gevonden op basis van de plek waar de exposure stimulus plaatsvond (aan de linker- of rechterkant), maar dat zou te maken kunnen hebben met dat het geluid was gepresenteerd door een hoofdtelefoon waarbij het geluid altijd aan beide kanten werd afgespeeld en waar de visuele stimulus alleen aan de linker- of rechterkant werd gepresenteerd. Hierdoor wordt het spatiale aspect in dit onderzoek erg beperkt en is het mogelijk dat er gelijktijdige audiovisuele schattingen gekoppeld kunnen worden aan de locatie waar een simulus vandaan komt in plaats vande acteur die deze presenteert. 6

7 Roseboom en Arnold (2011) laten zien dat het mogelijk is om gelijktijdig meerdere audiovisuele recalibraties te hebben op de perceptie van spraak. In de studie van Roseboom en Arnold (2011) werden de audiovisuele recalibraties veroorzaakt door het verschil in acteur en niet in locatie van waar de stimulus vandaan kwam. In deze studie onderzoeken we ook of het mogelijk is om tegelijk meerdere recalibratie effecten te leren op één bepaald fenomeen, maar nu niet met temporele relaties maar met klank interpretatie en de locatie waar deze stimulus gepresenteerd wordt. Dus kan een ambigue klank die precies tussen /aba/ en /ada/ ligt, gelijktijdig geïnterpreteerd worden als /aba/ en /ada/ wanneer deze van een verschillende kan wordt gepresenteerd? Dit artikel maakt gebruik van de bevindingen die gevonden zijn in het onderzoek van Bertelson, Vroomen en de Gelder (2003). Het experiment bestaat uit een exposure fase gevolgd door een test fase. In de exposure fase worden de proefpersonen blootgesteld aan een ambigue exposure blok of een niet-ambigue exposure blok. In de ambigue exposure blokken wordt de proefpersoon om en om aan een kant van hun perceptuele veld blootgesteld aan een ambigue geluid (A?) nagesynchroniseerd op een gezicht dat /aba/ uitspreekt (VbA?) en aan de andere kant hun perceptuele veld aan A? nagesynchroniseerd op een gezicht dat /ada/ uitspreekt (VdA?). Deze exposure is bedoelt om een recalibratie effect te veroorzaken aan beide kanten, dus als de proefpersoon hierna een ambigue geluid hoort aan een bepaalde kant dan wordt er verwacht dat als hij eerder blootgesteld is aan de stimulus AbA? aan deze kant dat deze ambigue stimulus aan deze kant dan ook meer als /aba/ wordt geïnterpreteerd en het tegenovergestelde geldt voor de andere kant. Iedere exposure fase wordt gevolgd door een testfase waarin er auditieve testgeluiden worden gepresenteerd aan de proefpersoon en deze moet beoordelen of hij /aba/ of /ada/ hoort. De testgeluiden bestaan uit de auditieve stimuli A?, A?-1 en A?+1, deze stimuli worden om en om ieder 1 keer links en rechts gepresenteerd in willekeurige volgorde. Er wordt verwacht dat de proefpersoon deze testgeluiden meer zal interpreteren in de richting van de visuele component van de exposure stimuli waaraan ze voorafgaande aan de testfase aan zijn blootgesteld. In de niet- 7

8 ambigue exposure blokken wordt de proefpersoon om en om aan een kant van het het perceptuele veld blootgesteld aan een niet-ambigue geluid /aba/ nagesynchroniseerd op een gezicht dat een congruente klank uitspreekt /aba/(vbab) en aan de andere kant van het perceptuele veld wordt vervolgens de ander congruente stimulus gepresenteerd(vdad). Deze exposure is bedoelt om selectieve adaptatie te veroorzaken en er wordt hier verwacht dat de proefpersoon de testgeluiden meer zal interpreteren in de tegenovergestelde richting van de visuele component van de stimulus(bertelson, Vroomen & de Gelder, 2003). Dus wanneer AdAd aan de rechter zijde van de proefpersoon wordt gepresenteerd, dan wordt er verwacht dat de proefpersoon de teststimuli aan de rechterkant meer zal interpreteren als /aba/. Experiment 1 Methode Deelnemers Aan het eerste experiment namen 26 studenten (6 mannen, 20 vrouwen) van de opleiding psychologie van Tilburg University mee. De leeftijd van de deelnemers liep uit een van 17 tot 26 jaar (M= 20.96). Een deelnemer begreep het experiment niet en deze data was uitgesloten van verdere analyse. De overige 25 deelnemers hadden allemaal aangegeven dat ze een normaal gehoor en zicht hebben. Deelnemers werden geworven met behulp van een op internet aangeboden inschrijfsysteem, waar ze beloond werden met deelname in uren aan onderzoek die verplicht zijn voor eerstejaars studenten psychologie aan Tilburg University. Alle deelnemers hebben toestemming gegeven voor het verder gebruik van hun data voor dit onderzoek. Materiaal en Stimuli 8

9 Deelnemers werden individueel in een geluidsdichte ruimte getest, waar iedere deelnemer 65 cm voor een 17 inch 100Hz monitor zat. De deelnemer werd gevraagd zijn hoofd centraal op een vaste plek te houden voor de monitor met behulp van een kin-steun. Naast de 17 inch monitor waren aan beide kanten een luidspreker geplaatst, waaruit de auditieve stimuli werden aangeboden. Deelnemers waren gevraag om op bepaalde test-stimuli te reageren met behulp van een antwoord paneel waarop ze B en D konden antwoorden. In dit experiment is er gebruik gemaakt van auditieve en visuele stimuli afkomstig van een Nederlandse man die /aba/ en /ada/ uitspreekt. De auditieve stimuli bestonden uit geluidsopnames van deze man die de klanken /aba/ en /ada/ uitspreekt (voortaan Ab en Ad), deze klanken zijn vervolgens opgedeeld in een continuüm met 9 klanken lopend van Ab tot en met Ad. In experiment 1 is er gebruikt gemaakt van de niet-ambigue klanken Ab en Ad en van de 3 middelste klanken van het Ab-Ad continuüm; de ambigue klanken A?-1, A? en A?+1. De klank A? is een klank die helemaal ambigu is en evenveel op Ab als Ad lijkt, de klank A?-1 lijkt meer op Ab dan Ad en de klank A?+1 lijkt meer op Ad dan Ab. De auditieve stimulus werd of door de linker of door de rechter luidspreker afgespeeld op een geluidsniveau van 70dB en een duur van 640ms. De visuele stimuli bestonden uit video opnames van het gezicht van deze Nederlandse man die /aba/ of /ada/ uitspreekt (voortaan Vb en Vd), in deze opnames is het gezicht van de man van zijn voorhoofd tot aan zijn nek te zien in een veld van 150mm x 100mm. De opname werd verticaal gecentreerd aangeboden aan de linker of de rechter kant van de monitor 30mm vanaf het midden op een zwarte achtergrond en duurde 640ms. Exposure stimuli bestonden uit een combinatie van een auditieve en visuele stimulus die gelijktijdig werden aangeboden, exposure stimuli gebruikt in experiment 1 zijn een ambigue en een niet-ambigue stimulus. De ambigue stimuli bestonden uit A? gecombineerd met een Vb of Vd (dus: 9

10 VbA? of VdA?). De niet-ambigue stimulus bestond uit Ab gecombineerd met Vb of Ad gecombineerd met Vd (dus: VbAd of VdAd). A?+1) daarvan. Test stimuli bestonden uit alleen auditieve stimuli en dan de drie meest ambigue (A?-1, A?, Design Een within-subject design met 3 factoren is gebruikt in het eerste experiment. De factoren Exposure Geluid (ambigu of niet-ambigu), Kant van Vb (Vb-Links of Vb-rechts) en het Test geluid (A?- 1, A? of A?+1). Het experiment was verdeeld in exposure-test mini-blokken, ieder exposure-test blok bestaat uit een exposure fase gevolgd door een test fase. In de exposure fase werden de proefpersonen blootgesteld aan gelijktijdig een auditieve stimulus gecombineerd met een visuele stimulus aan één bepaalde kant (links of rechts). Deze stimulus bestaat uit de factoren Exposure Geluid gecombineerd met Kant van Vb. Met deze 2 factoren werden er 4 verschillende exposure condities gemaakt waarin in iedere conditie steeds 2 verschillende stimuli worden aangeboden, namelijk; VbA?-Links + VdA?-Rechts en VdA?-Links + VbA?-Rechts voor de ambigue condities; VbAb- Links + VdAd-Rechts en VdAd-Links + VbAb-Rechts voor de niet-ambigue condities. Een exposure fase bestaat ofwel uit een ambigu exposure blok of een niet-ambigue exposure blok. In iedere conditie werden de twee verschillende stimuli die aangeboden werden ieder 6 keer om en om aan iedere kant gepresenteerd, dus voor een ambigue exposure blok geldt als er links AbA? wordt gepresenteerd dan wordt er aan de rechterkant de andere bijborende ambigue stimulus AdA? gepresenteerd. De test fase bestaat uit een 2x3 design waarin de factor Test geluid wordt gecombineerd met de kant van het aanbieden van dit test geluid (Links of Rechts). Ieder test geluid werd 1 keer om en om aangeboden aan beide kanten op een willekeurige volgorde. Dus de proefpersoon werd in de 10

11 test fase deze 6 teststimuli aangeboden; A?-1-Links, A?-1-Rechts, A?-Links, A?-Rechts, A?+1-Links en A?-1-Rechts in pseudo-willekeurige volgorde. Procedure Het experiment werd afgenomen in een geluidsdichte ruimte waarin de proefpersoon centraal voor de monitor zat mijn zijn hoofd op de kin-steun. Elke exposure-test blok bestond uit een exposure fase en gevolgd door een test fase. In deze exposure fase kreeg de proefpersoon 12 exposure stimuli aangeboden die om en om aan de linker of rechter kant op de monitor en speakers werden afgespeeld. Nadat de visuele stimulus zich aan één van de twee kanten had getoond was het scherm zwart met een klein kruisje in het midden van de monitor voor 240ms en daaropvolgend werd de stimulus aan de andere zijde van de monitor getoond. Deze exposure fase wordt gevolgd door een test fase waarin aan de proefpersoon 6 teststimuli werden aangeboden deze werden om en om aan een kant aangeboden in een willekeurige volgorde tot deze alle drie aan beide kanten waren aangeboden. Na het horen van elke test stimulus moest beoordelen of deze test stimulus meer op Ab of Ad leek. Dit kon de proefpersoon kenbaar maken met het drukken op de knop B van het paneel als het meer op /aba/ leek en D als het meer op /ada/ leek. Pas als de proefpersoon een antwoord op een test stimulus had gegeven werd de volgende stimulus aangeboden. Ieder verschillend exposure-test mini-blok werd 16 keer aangeboden aan iedere proefpersoon, dus er werden een totaal van 64 exposure-test mini-blokken gepresenteerd, deze werden op willekeurige volgorde aangeboden. Om de 16 exposure-test blokken had de proefpersoon de gelegenheid om een korte pauze te nemen. oefenen. Voorafgaand aan het experiment kreeg iedere proefpersoon 4 exposure-test blokken om te Resultaten en Discussie 11

12 Voor iedere proefpersoon werden de proporties /ada/ reacties berekend op het antwoorden van de 3 verschillende test stimuli voor iedere exposure conditie. Vervolgens werd er onderzocht of er verschillen zijn in de proporties /ada/ reacties op de verschillende test-stimuli bij iedere exposure conditie met behulp van een 2 (Exposure geluid: amibgu, niet-ambigu) x 2 (Test aan kant van Vb of Vd exposure) x 3 (Test geluid: A?-1, A?, A?+1) herhaalde metingen ANOVA. Uit de analyse blijkt dat er een recalibratie effect is voor de kant waarop de Vd of Vb exposure is uitgevoerd F(1,24) = , p <.003. Dit laat zien dat er gelijktijdig een effect van liplezen is op het interpreteren van een test-stimulus is, wanneer deze van een verschillende kant wordt gepresenteerd. Namelijk na blootstelling aan Vd exposure en aan één kant en Vb exposure aan de tegenovergestelde kant werden de auditieve test-stimuli die aan die kant van de Vd exposure waren gepresenteerd meer geïnterpreteerd als /ada/, en gelijktijdig na blootstelling aan een Vb exposure aan de tegenovergestelde kant werden deze test-stimuli ook meer geïnterpreteerd als /aba/. Bijvoorbeeld wanneer een proefpersoon aan de linkerkant van zijn audiovisuele veld blootgesteld werd aan exposure met Vd erin en in het zelfde exposure blok aan de rechterkant van zijn audiovisuele veld blootgesteld werd aan exposure met Vb erin dan werden de auditieve teststimuli daarop volgend aan de linkerkant ook meer geïnterpreteerd als /ada/ en aan de rechterkant meer als /aba/ terwijl hier in beide gevallen hetzelfde geluid werd aangeboden. Er was ook een significant effect gevonden op Exposure conditie (ambigu vs niet-ambigu) F(1,24) = , p <.02, dit laat zien dat er in de ambigue en niet-ambigue conditie meer /ada/ wordt gezegd wanneer blootgestelt aan Vd expsure. Er was geen interactie effect tussen het exposure geluid en de kant waarop de Vd of Vb was aangeboden F(1,24) =.966, P=.355, dit zegt dat de ambigue en de nietambigue exposure condities een effect dezelfde kant op veroorzaken, zoals ook te zien is in figuur 1. Verder was het effect van Test geluid ook significant F(2,48) = , P <.001, dus de drie verschillende test stimuli die gebruikt zijn verschillen van elkaar. 12

13 Figuur 1.Resultaten van de ambigue en de niet-ambigue conditie uit experiment 1. Op de horizontale staan de test-geluiden aangegeven en op de verticale as staan de gemiddelde proporties /ada/ reacties op de test-geluiden. In deze twee plotten is te zien dat de ambigue conditie en de nietambigue conditie een effect hebben in dezelfde richting. De resultaten van experiment 1 laten zien dat er een effect is van liplezen op spraakwaarneming is wanneer de spraak van een verschillende kant wordt waargenomen, alleen weten we niet waardoor dit effect veroorzaakt wordt. De ambigue en de niet-ambigue exposure condities veroorzaken namelijk een effect dat dezelfde kant op wijst en dat is tegen onze verwachtingen in. In de ambigue conditie waarbij de proefpersoon blootgesteld werd aan VdA? aan één kant VbA? aan de tegenovergestelde zijde werd verwacht dat de test-stimuli aan beide kanten meer geïnterpreteerd werden in de richting van het visuele gedeelte van de exposure stimulus, en dit gebeurde ook. De resultaten van uit de ambigue conditie laten het de schijn hebben dat er een recalibratie effect heeft plaatsgevonden, alleen vind er eenzelfde effect plaats bij de niet-ambigue conditie. Bij de niet-ambigue conditie werd verwacht dat er selectieve adaptatie plaatsvond, wat betekent dat er verwacht werd dat de test-stimuli in de tegenovergestelde richting van het visuele gedeelte van de exposure stimulus geïnterpreteerd werden. Dit laatste was niet het geval, teststimuli werden in plaats daarvan meer geïnterpreteerd richting het visuele gedeelte van de nietambigue stimulus en hierdoor kunnen er geen duidelijke conclusie getrokken worden uit dit 13

14 experiment. Wel kunnen we zeggen dat het mogelijk is om gelijktijdig één bepaald geluid zowel als /aba/ als /ada/ te kunnen interpreteren als het vanuit verschillende locaties wordt gepresenteerd, alleen omdat deze resultaten niet overeen kom met de literatuur kunnen we niet zeggen waar dit effect door veroorzaakt wordt (Bertelson et al., 2003). Een factor die zou kunnen bijdragen aan dat er geen selectieve adaptatie optreet bij de nietambigue conditie is, omdat proefpersonen om en om door ambigue en de niet-ambigue exposuretest blok worden exposed en er een repetitie of bias effect kan ontstaan. Doordat de proefpersoenen in de exposureblokken, altijd worden blootgesteld aan exposure stimuli die ofwel een alleen Vb of alleen een Vd aan één kan aanbieden kunnen de proefpersonen eerder gebiased zijn om na een exposure blok de test stimuli meer richting de kant van de visuele stimuli te beantwoorden. Proefpersonen worden in ieder verschillend test-blok herhaaldelijk blootgesteld aan exposure waarbij ze /aba/ denken te horen aan één kant en tegelijker tijd /ada/ aan de andere kant van hun perceptuele veld, die kan ervoor gezorgd hebben dan proefpersonen gebiased zijn om zo altijd één bepaalde klank aan één kant te horen. Door de ambigue en niet-ambigue exposure blokken door elkaar aan te bieden is het mogelijk dat de niet-ambigue exposure conditie niet het gewenste effect veroorzaakt, en de proefpersonen niet vermoeid kunnen raken in een bepaald gebied dat /ada/ of /aba/ herkent aan een bepaalde kant. Hierdoor kunnen we bias effecten niet uitsluiten, om bias effecten wel uit te kunnen sluiten worden de ambigue en niet-ambigue stimuli in experiment 2 door elkaar aangeboden in één exposure-test blok. Nu zien proefpersonen niet langer constant de zelfde visuele stimuliaan één bepaalde kant, maar zullen de exposure stimuli voor een bepaalde kant bestaan uit afwisselend een ambigue en een niet-ambigue stimulus (bijvoorbeeld: VbA?+VdAd exposure aan de linker kant en VdA?+VbAb exposure aan de rechter kant) die de proefpersoon met behulp van recalibratie en selectieve adaptatie proberen aan te leren om één klank om twee verschillenden manieren te horen. 14

15 In een studie van Vroomen, van Linden, de Gelder en Bertelson (2007) is gevonden dat wanneer ambigue en niet-ambigue stimuli door elkaar aangeboden worden dit niet ten koste gaat van een recalibratie ffect. In hun studie werden proefpersonen aan acht audiovisuele visuele contrast stimuli blootgesteld per trial, één trial bestaat uit twee keer iedere exposure stimuli (dus: 2x AbVb, 2x AdVd, 2x A?Vb en 2x A?Vd ). Na 1, 2, 4, 8, 16, 32 en 64 trials werd er met een auditieve test-stimuli net zo als gebruikt in dit experiment gemeten wat het effect van de exposure met contrast stimuli was op de proefpersonen en dit resulteerde erin dat na 64 trials de ambigue stimuli een recalibratie effect hadden veroorzaakt en de niet-ambigue stimuli selectieve adaptatie (Vroomen, van Linden, de Gelder en Bertelson, 2007). Experiment 2 In dit experiment wordt er gebruik gemaakt van contrast stimuli om eventuele bias effecten te kunnen uitsluiten. De exposure condities bestaan nu niet uit een ambigue en een niet-ambigue conditie, maar uit één contrast conditie waarin ambigue en niet-ambigue stimuli gemixt zijn. Deelnemers Aan het tweede experiment namen 20 studenten (4 mannen, 16 vrouwen) van de opleiding psychologie van Tilburg University mee. De leeftijd van de deelnemers liep uiteen van 17 tot 27 jaar (M= 20.20). De 20 deelnemers hadden allemaal aangegeven dat ze een normaal gehoor en zicht hebben. Verder waren de condities voor de proefpersonen hetzelfde als in experiment 1. Materiaal en Stimuli Alle materialen, stimuli en procedure waren hetzelfde als in Experiment 1 met uitzondering van de exposure stimuli. Exposure stimuli bestonden uit een combinatie van een auditieve en visuele stimulus die gelijktijdig werden aangeboden, de exposure stimuli gebruikt in experiment 2 zijn een combinatie 15

16 van de ambigue en de niet-ambigue stimuli uit Experiment 1 en deze noemen we een contrast stimuli. Een contrast stimulus bestaat uit een ambigue en een niet-ambigue stimulus die om en om worden aangeboden, daarbij vormen de tegenovergestelde visuele paren uit de ambigue en de nietambigue stimuli met elkaar een paar (dus: VbA?+VdAd en VdA?+VbAb). Design Een within-subject design met 2 factoren is gebruikt in het tweede experiment, namelijk de factor Kant van AbA?+VdAd exposure (VbA?+VdAd-Links of VbA?+VdAd-Rechts) en het Test geluid (A?-1, A? of A?+1). Het experiment was net zo als Experiment 1 verdeeld in exposure-test blokken, ieder exposure-test blok bestaat uit een exposure fase gevolgd door een test fase. In de exposure fase werden de proefpersonen blootgesteldaan exposure stimuli. Deze stimulus bestaat een contrast stimulus gecombineerd met de factor Kant van VbA?+VdAd exposure. Hiermee ontstaan 2 verschillende exposure condities, namelijk VbA?+VdAd-Links & VdA?+VbAb- Rechts of VdA?+VbAb-Links & VbA?+VdAd-Rechts. Iedere contrast stimuli werd om en om de keer gepresenteerd aan beide kanten van het perceptuele veld van de proefpersoon. De eerst krijgt een proefpersoon aan de linkerkant de stimulus Vba? en de keer erna krijgt de proefpersoon aan de linkerkant de stimulus VdAd, en voor de rechterkant geld dan de proefpersoon eerst de stimulus Vda? en de keer erop dus VbAb krijgt gepresenteerd. Een exposure fase voor een proefpersoon zou er als volgt uit kunnen zien: VbA?-Links, VdA?-Rechts, VdAd-Links, VbAd-Rechts, VbA?-Links, VdA?- Rechts, VdAd-Links enz. tot er aan iedere kant 6 keer een exposure sitimulus gepresenteerd is. De test fase is het zelfde als in Experiment 1. Resultaten en Discussie Voor iedere proefpersoon werden de proporties /ada/ reacties berekend op het antwoorden van de 3 verschillende test stimuli voor iedere exposure conditie. Vervolgens werd er onderzocht of 16

17 er verschillen zijn in de proporties /ada/ reacties op de verschillende test-stimuli met behulp van een 2 (Test kant aan kant van VbA?+VdAd exposure of aan kant van VdA?+VbAb) x 3 (Test geluid: A?-1, A?, A?+1) herhaalde metingen ANOVA. Er was een significant effect gevonden op Test geluid F(2, 38) = , P<.000, wat is zoals verwacht en betekent dat de testgeluiden verschillend van elkaar zijn. Er was geen significant effect gevonden op kant van de VbA?+VdAd of de VdA?+VbAb exposure F (1, 19) = 2.655, P=.120 wat betekent dat er geen effect is van de contrast exposure op de interpretatie van de testgeluiden voor een bepaalde kant. Door gebruik gemaakt te hebben van de contrast stimuli worden de biaseffecten bij de proefpersonen uitgesloten en na het uitsluiten van de bias effecten blijkt dat er geen verschil aan welke kant de exposure stimulus wordt aangeboden. Figuur 2. Resultaten van de Contrast conditie uit experiment 2. Op de horizontale staan de testgeluiden aangegeven en op de verticale as staan de gemiddelde proporties /ada/ reacties op de testgeluiden. In dit plot is te zien dat de twee verschillende contrast stimuli bijna geen verschillende reacties op de bepaalde test stimuli geven voor hoe een klank wordt geïnterpreteerd. 17

18 Algemene Discussie De resultaten uit experiment 1 laten zien dat er een recalibratie effect is op de kant waar de Vb en de Vd worden aangeboden, dit betekend dat het mogelijk is door middel van recalibratie om een ambigue geluid tegelijkertijd als /aba/ en /ada/ te horen. Alleen in de niet-ambigue conditie waren precies dezelfde resultaten gevonden als in de ambigue conditie en dit was tegen de verwachting in. Er werd verwacht dat de selectieve adaptatie stimuli uit de niet-ambigue conditie het tegen over gestelde effect zou veroorzaken als de recalibratie stimuli uit de ambigue conditie, dit gebeurde echter niet en hierdoor kunnen we niet zeggen dat een ambigue geluid tegelijkertijd als /aba/ en /ada/ te horen is. Om mogelijke bias effecten van proefpersonen uit te sluiten is experiment 2 uitgevoerd, waarbij de proefpersonen aan contrast stimuli zijn blootgesteld. Resultaten uit experiment 2 laten zien dat er geen effect is van de contrast stimuli op de kant waarop deze zijn aangeboden en dat wijst erop dat de recalibratie effecten die er in experiment 1 zijn gevonden mogelijk veroorzaakt zijn door bias effecten. In deze studie lijkt het erop dat er helemaal geen selectieve spraak adaptatie heeft plaats gevonden, eerdere studie laten echter zien dat selectieve spraak adaptatie normaal wel plaatsvindt nadat een proefpersoon blootgesteld is aan niet-ambigue stimulus paren (Bertelson et al., 2003; Vroomen et al., 2007). Selectieve spraak adaptatie ontstaat doordat iemand herhaalde wordt blootgesteld aan dezelfde niet-ambigue stimulus, waardoor de hersengebieden die deze stimulus waarnemen uitgeput raken (Vroomen et al., 2007). Wanneer er na uitputting van deze hersengebieden vervolgens een ambigue stimulus wordt aangeboden, dan wordt deze minder goed waargenomen door deze hersengebieden en daardoor meer geïnterpreteerd als een andere klank (Vroomen et al., 2007). Een mogelijk oorzaak waarom er in deze studie geen selectieve spraak adaptatie heeft plaatsgevonden zou kunnen zijn dat hersengebieden die een bepaalde niet-ambigue stimulus herkennen nooit uitgeput zijn geraakt. In experiment 1 waren exposure condities waarin de proefpersonen werden blootgesteld aan VbAb in het linker perceptuele veld en VdAd in het rechter 18

19 perceptuele veld, hierdoor werd er verwacht dat door selectieve spraak adaptatie de herkenning van de klank /aba/ aan de linkerkant vermindert zou zijn en wanneer er aan deze kant dus een ambigue teststimulus gepresenteerd werd deze eerder als /aba/ gezien zou worden (en het tegenovergestelde voor de rechterkant). Maar doordat de proefpersoon in deze conditie eigenlijk altijd door de twee (VbAb en VdAd)niet-ambigue stimuli paren tegelijk zijn beïnvloed, zou het kunnen zijn dat de hersengebieden die met de herkenning van deze klanken vermoeid zijn geraakt voor beide klanken. Als de hersengebieden vermoeid zijn geraakt voor beide klanken, dan gebeurd er niets anders dan wat er in de ambigue conditie gebeurde en zal de proefpersoon eerder geneigd zijn de ambigue teststimulus in de richting van de visuele component van de exposure stimulus te beoordelen. Een andere mogelijke verklaring waarom er geen selectieve spraak adaptatie heeft plaatsgevonden zou kunnen zijn dat er te weinig exposure stimuli zijn gebruikt om selectieve adaptatie te laten plaatsvinden. In de studie van Vroomen et al. (2007) is gevonden dat wanneer proefpersonen blootgesteld werden aan contrast stimuli (waarin dus ook selectieve spraak adaptatie stimuli verwerkt zitten), dat na acht exposure blokken de effecten van selectieve spraak adaptatie plaatsvonden (Vroomen et al., 2007). Het is dus mogelijk dat er in deze studie te weinig selectieve spraak adaptatie exposure stimuli zijn gebruikt om een verandering te veroorzaken in de perceptie van de testgeluiden. Mogelijk zouden er wel een effect gevonden zijn van de contrast stimuli op de kant van de exposure als experiment 2 langer had geduurd, hierdoor werd het selectieve spraak adaptatie effect een kans om plaats te vinden. Misschien is het gebruiken van selectieve spraak adaptatie om op deze manier een ambigue klank tegelijkertijd als zowel /aba/ als /ada/ te laten horen niet geschikt en zou het een suggestie kunnen zijn om net als in het onderzoek van Roseboom & Arnold (2011) gebruik te maken van verschillende sprekers. Door gebruik te maken van verschillende sprekers zou het mogelijk kunnen zijn om door middel van de recalibratie de interpretatie van een ambigue klank te koppelen aan een bepaalde spreker en de tegenovergestelde interpretatie aan een andere spreker. Door deze twee 19

20 verschillende sprekers aan verschillende kanten van een scherm te presenteren, zou het mogelijk kunnen zijn om net als Roseboom en Arnold (2011) gelijktijdige verschillende interpretaties van één bepaald fenomeen laten plaatsvinden. Dus deze studie laat zien dat mogelijk een ambigue klank gelijktijdig als de klanken /aba/ en /ada/ waargenomen kunnen worden, maar doordat er geen selectieve spraak adaptatie plaatsvindt kunnen bias effecten niet uitgesloten worden en is er meer onderzoek nodig in dit gebied om hier met zekerheid iets over te kunnen zeggen. 20

21 Referenties Bertelson, P. (1999). Ventriloquism: A Case of Crossmodal Perceptual Grouping. Advances in Psychology, 129, Bertelson, P., & de Gelder, B. (2004). The psychology of multimodal perception. In C. Spence & J. Driver (Eds.), Crossmodal space and crossmodal attention. London: Oxford University Press. Bertelson, P., Vroomen, J. & de Gelder, B. (2003). Visual Recalibration of Auditory Speech Identification: A McGurk Aftereffect. Psychological Science, 14: Eisner, F. & McQueen, J., M. (2006) Perceptual learning in speech: Stability over time (L). JOURNAL OF THE ACOUSTICAL SOCIETY OF AMERICA, 119 Issue: Kraljic, T. & Samuel, A.,G. (2005). Perceptual learning for speech: Is there a return to normal? COGNITIVE PSYCHOLOGY, 51, MacDonald, J., & McGurk, H. (1978). Visual influences on speech perception processes. Percept. Psychophys, 24, McGurk, H., & MacDonald, J. (1976). Hearing lips and seeing voices. Nature, 264, Radeau, M., & Bertelson, P. (1974). The after-effects of ventriloquism. The Quarterly Journal of Experimental Psychology, 26, Roseboom, W. & Arnold, D., H. (2011). Twice Upon a Time : Multiple Concurrent Temporal Recalibrations of Audiovisual Speech. Psychological Science, 22: Samuel, A., G. (2011). Speech Perception. Annu. Rev. Psychol, 62, Sumby, W.H., & Pollack, I. (1954). Visual Contribution to Speech Intelligibility in Noise. The Journal of the Acoustical Society of America, 26,

22 Vroomen, J. & Baart, M., (2009). Recalibration of Phonetic Categories by Lipread Speech: Measuring Aftereffects After a 24-hour Delay. LANGUAGE AND SPEECH, 52, Vroomen, J., Keetels, M., de Gelder, B. & Bertelson, P. (2004). Recalibration of temporal order perception by exposure to audio-visual asynchrony. Cognitive Brain Research, 22, Vroomen, J., van Linden, S., Keetels, M., de Gelder, B. & Bertelson, P. (2004). Selective adaptation and recalibration of auditory speech by lipread information: dissipation. Speech Communication, 44, Vroomen, J., van Linden, S., de Gelder, B. & Bertelson, P. (2007). Visual recalibration and selective adaptation in auditory-visual speech perception. Neuropsychologia, 45,