Invloed van synesthetische congruentie op multisensorische. audiovisuele integratie

Transcriptie

1 Invloed van synesthetische congruentie op multisensorische audiovisuele integratie Eindscriptie Bacheloropleiding Klinische Gezondheidspsychologie Departement Psychologie en Gezondheid, Klinische Gezondheidspsychologie, Universiteit van Tilburg Auteur: ANR: Begeleider: Dr. J. J. Stekelenburg Datum: 29 juli 2013

2 Abstract Dit onderzoek richtte zich op de invloed van synesthetische congruentie op het integreren van multisensorische audiovisuele stimuli door middel van het buiksprekereffect en het Colavita effect, waarbij ook een EEG werd gemeten. Voor de auditieve stimuli is gebruik gemaakt van een hoge en lage toon, voor de visuele stimuli van een grote en kleine cirkel. De synesthetisch congruente paren bestonden uit grote cirkel, lage toon en kleine cirkel, hoge toon. In de studies werd bewijs gevonden voor zowel het buiksprekereffect als het Colavita effect, echter werd er geen bewijs gevonden voor de invloed van synesthetische congruentie op deze effecten. In het EEG onderzoek werd een laat effect gevonden in de ERP, bij het contrast tussen congruente en incongruente stimuli. Dit frontale effect op de N450 kan het bewijs zijn voor het feit dat synesthetische congruentie pas op een later tijdstip wordt verwerkt en zo geen invloed heeft op het integreren van audiovisuele stimuli. 2

3 Inleiding De meeste gebeurtenissen in het dagelijks leven bestaan uit een combinatie van stimulaties binnen verschillende zintuigmodaliteiten, ze zijn multisensorisch en vaak een combinatie van visuele en auditieve stimuli (Bien, ten Oever, Goebel & Sack, 2011). Doordat geluid en licht op verschillende snelheden door onze atmosfeer reizen, en auditieve en visuele stimuli door verschillende neuronale paden worden verwerkt in onze hersenen, is het een complex systeem dat deze stimulaties samenvoegt (Parise & Spence, 2008) en op deze manier de wereld om ons heen logische betekenis te geven. Deze multisensorische perceptie wordt pas sinds kort op deze manier onderzocht, daar men traditioneel onderzoek deed naar de zintuigmodaliteiten individueel (Spence, Senkowski & Röder, 2009). Hedendaags onderzoek richt zich vooral op hoe deze multisensorische informatie wordt geïntegreerd in het brein. Crossmodale integratie verwijst naar het fenomeen dat stimulatie van de ene zintuigmodaliteit, invloed heeft op onze perceptie van een stimulatie binnen een andere zintuigmodaliteit (Spence et al., 2009). Met multisensorische integratie wordt gedoeld op situaties waarin twee bijna tegelijkertijd komende stimulaties binnen verschillende zintuigmodaliteiten aan elkaar worden gekoppeld. Vaak wordt men onbewust beïnvloedt door de stimulatie van het tweede zintuig bij het ervaren van een stimulatie in de eerste zintuigmodaliteit. Een voorbeeld hiervan is het buikspreker effect. Denk hierbij aan een echte buikspreker; de buikspreker spreekt, maar de mond van de pop beweegt. Op deze manier denkt de toeschouwer dat de pop spreekt. Wanneer de stimuli spatieel verschillen, maar temporeel en semantisch congruent zijn, besluit het brein dat de auditieve en visuele stimuli bij elkaar horen (Driver, 1996). Deze vorm van het buiksprekereffect is het spatiele effect. Naast dit effect is er ook nog het temporele buiksprekereffect, waarbij de waargenomen tijd van een visuele stimulus beïnvloedt kan worden door een auditieve stimulus op een iets ander moment in tijd (Parise & Spence, 2008). In dit artikel wordt echter uitsluitend gekeken naar het spatiële buiksprekereffect. 3

4 Een ander effect wat ook te maken heeft met audiovisuele integratie is het Mc Gurk effect. Hierbij wordt er bij een verschil tussen de auditieve en visuele informatie, beide zintuigmodaliteiten samengevoegd door het brein, waardoor een geheel nieuwe ervaring ontstaat. In onderzoek wordt vaak gebruik gemaakt van de visuele stimulus ga, auditieve stimulus ba, welke dan als da wordt waargenomen. De proefpersoon kijkt naar een opname van een persoon dat ga zegt, maar is zich niet bewust van het feit dat de auditieve ervaring hier niet gelijk aan is. Als de proefpersoon vervolgens gevraagd wordt aan te geven wat ze gehoord hebben, worden ze beïnvloedt door de dominantie van de visuele stimulus en zullen dus de visuele ga en auditieve ba samenvoegen tot da (Munhall, Gribble, Sacco & Ward, 1996). Wolfgang Köhler heeft in 1929 een van de meest beroemde experimenten uitgevoerd binnen de crossmodale integratie (Parise & Spence, 2012). Proefpersonen kregen twee niet bestaande woorden, takete en baluma/maluma, en twee figuren, waarvan de een puntig en de ander met rondere vormen. De taak van de proefpersonen was om deze woorden aan de figuren te koppelen. De meesten matchen het woord takete aan het puntige figuur en baluma/maluma aan het rondere figuur. Een variatie op dit onderzoek is met de woorden bouba en kiki, en soortgelijke figuren. Gevraagd wordt wederom te raden welk woord bij welk figuur hoort. bouba wordt in 95% van de gevallen bij het figuur geplaatst met de zachte ronde vormen, terwijl kiki geplaatst wordt bij het figuur met de scherpe lijnen (Ramachandran & Hubbard, 2001). Als reden wordt gegeven dat de scherpe lijnen overeenkomen met de scherpe klanken van het woord kiki. Dit wordt gezien als het eerste bewijs dat er een natuurlijke manier is van koppelen van geluiden aan beeld, of auditieve aan visuele stimuli (Ramachandran & Hubbard, 2001). Parise en Spence (2012) stellen dat hoge tonen en kleine objecten semantisch congruent zijn, dus volgens het brein bij elkaar horen, ongeacht spatieel verschil. Hierdoor is het moeilijker te schatten waar de toon vandaan komt in vergelijking met het visuele object. Huidig onderzoek is gebaseerd op dit verschijnsel en zal later verder worden uitgelegd. 4

5 Ter ondersteuning van de gedragsonderzoeken, worden ook wel elektrofysiologische onderzoeken uitgevoerd om de reactie van de hersenen op bovenstaande verschijnselen te bekijken. Hier zijn verschillende technieken voor. Een methode om dit te meten is TMS, hierbij wordt een deel van de hersenen magnetisch beïnvloedt en zo kan een specifiek deel van de hersenen tijdelijk uitgeschakeld worden. Van de pariëtale cortex is bekend dat deze betrokken is bij het integreren van multisensorische informatie (Bien et. al., 2011). Bij TMS van de rechter pariëtale cortex is gebleken dat het de automatische integratie van multisensorische stimuli verstoort. Zonder TMS reageren proefpersonen minder accuraat op congruente multisensorische stimuli. Na interferentie van TMS was dit echter niet meer het geval, wat erop duidt dat het brein deze stimuli niet meer automatisch integreert (Bien et. al., 2011). Dit toont weer aan dat de rechter pariëtale cortex inderdaad betrokken is bij het automatisch integreren van multisensorische stimuli. Een andere methode om de uitwerking op de hersenen te bekijken is met het gebruik van functional magnetic resonance imaging (fmri). Tijdens de taak wordt de hersenactiviteit gemeten om zo te kijken naar de activatie van de delen van het brein waarvan verwacht wordt een rol te spelen bij het integreren van multisensorische stimuli (Bischoff et. al., 2007). In het onderzoek van Bischoff et. al. (2007) wordt fmri gebruikt om te onderzoeken waar er hersenactiviteit optreedt bij het manipuleren van proefpersonen met audiovisuele stimuli en het buiksprekereffect. Zij zijn tot de conclusie gekomen dat het gebruik van fmri in combinatie met het manipuleren van proefpersonen door middel van het buiksprekereffect een goede methode is om te onderzoeken of er een patroon van hersengebieden betrokken is bij multisensorische integratie. Daarnaast wordt vaak gebruik gemaakt van een elektro-encefalogram (EEG). Met behulp van het EEG kan gekeken worden naar de Event Related Potentials (ERP s), wat de directe reactie is van het brein op de prikkel (Keetels & Vroomen, 2011). In het kader van deze studie, kan door middel van een ERP gekeken worden of en wanneer het brein sneller reageert en bij welke prikkels dit het geval is. Dit kan men zien aan de tijdspanne van het ERP of de amplitude. Tevens kan gekeken worden op welke 5

6 locatie van het brein deze gemeten activiteit het meest significante resultaat oplevert. De ERP wordt bij alle trials opgenomen en later tot een gemiddelde gemaakt, zo ontstaat voor elke aparte stimulus één ERP, zodat deze gemakkelijk met elkaar vergeleken kunnen worden (Bonath et. al., 2007). Bien et. al. (2011) hebben ook onderzoek gedaan naar multisensorische processen door middel van ERP s. Zij hebben met behulp van TMS kunnen vaststellen dat het buiksprekereffect, en dus multisensorische processen, invloed heeft op de rechter intra pariëtale cortex. Aan de hand van de opgemeten ERP s konden ze zien dat deze invloed vooral plaatsvindt op 250ms na de stimulus, er is een significant effect gevonden voor de piek P2. Daarnaast was er een algemene trend te zien waarbij de congruente stimuli resulteerden in een ERP met grotere amplituden. Voor het onderzoek maakten zij gebruik van congruente en incongruente paren van audiovisuele stimuli, bestaande uit grote en kleine cirkels en hoge en lage tonen. Een onderzoek van Keetels en Vroomen (2011) naar het temporele buiksprekereffect heeft echter geen significant resultaat opgeleverd voor het verschil tussen congruente en incongruente paren. Zelfs wanneer zij dit effect expliciet duidelijk maakten aan de proefpersonen. In een ander artikel stellen zij dat er nog veel onderzoek nodig is naar intersensorische temporele integratie, daar het nog lang niet is opgelost (Vroomen & Keetels, 2011). Wel is duidelijk gevonden dat de hersengebieden superior colliculi en multisensorische superior temporale sulcus een prominente rol spelen in het integreren van multisensorische stimuli op basis van de temporele overeenkomsten. Sommige stimuli van verschillende zintuigmodaliteiten, binnen een multisensorische ervaring, horen duidelijk bij elkaar. Zoals het geluid van een blaffende hond en het zien van een hond die blaft (Bien et. al., 2011). Deze audiovisuele paren worden semantisch congruent genoemd, zo ligt het in ons semantisch geheugen opgeslagen. Onderzoek heeft uitgewezen dat niet alleen deze duidelijk bij elkaar horende multisensorische stimuli congruent zijn. Andere visuele en auditieve stimuli worden ook automatisch aan elkaar gelinkt, zoals cirkels en tonen, deze paren worden synesthetisch congruent genoemd. Synesthetisch congruente paren zijn bijvoorbeeld een kleine cirkel en een hoge 6

7 toon, of een grote cirkel en een lage toon (Bien et al., 2011). Deze subtiele vorm van synesthesie en de crossmodale integratie zijn sterk aan elkaar gelinkt en beïnvloeden dan ook het integreren van multisensorische perceptie. Multisensorische stimuli worden in het algemeen geïntegreerd wanneer de stimuli in plaats en/of tijd gelijk komen. Naast deze spatiele en temporele criteria kan ook de semantische congruentie een rol spelen in het integreren. Wanneer de stimuli inhoudelijk overeen komen zal ook multisensorische integratie plaatsvinden. Het is echter niet noodzakelijk dat deze 3 criteria tegelijk voorkomen om de integratie plaats te laten vinden. Synesthesie daarnaast is een andere vorm van crossmodale verwerking en is afhankelijk van dezelfde neuronale structuren als de normale crossmodale integratieprocessen (Bien et al., 2011). Het kan zich in meer of mindere mate manifesteren en invloed uitoefenen op multisensorische perceptie en integratieprocessen. Over deze synesthetische samenhang tussen auditieve en visuele stimuli is nog veel onduidelijk. Het automatisch samenvoegen van deze semantisch congruente paren zou ons helpen om de wereld om ons heen te begrijpen en er zo voor te zorgen dat we simpeler of sneller kunnen reageren op de ervaringen van alledag (Bien et. al., 2011). Wanneer toonhoogte en cirkelgrootte inderdaad synesthetisch congruent zijn, zullen deze congruente paren dus verschillen met incongruente paren. In een onderzoek van Bien et. al. (2011) is gebleken dat proefpersonen minder accuraat het spatiele verschil tussen de congruente auditieve en visuele bron kunnen beoordelen dan bij de incongruente paren. Dit wijst erop dat deze audiovisuele synesthetische samenhang inderdaad aanwezig is in de normale populatie en dat normale multisensorische integratieprocessen een rol spelen bij het integreren van audiovisuele stimuli. Parise en Spence (2008) hebben ook onderzoek gedaan om uit te vinden of er een sterkere link is tussen synesthetisch congruente paren. Zij deden dit aan de hand van het temporele buiksprekereffect en hebben gevonden dat proefpersonen een snellere reactietijd hadden op de congruente trials dan op de incongruente. Ook zij maakten gebruik van de congruente paren kleine cirkel, hoge toon en grote cirkel, lage toon. Deze snellere reactietijd wijst op een synesthetisch verband tussen auditieve en visuele stimuli en is zo het bewijs voor een groter 7

8 buiksprekereffect bij de congruente paren. Parise en Spence (2008) stellen dat de resultaten van het onderzoek benadrukken dat er een sterkere crossmodale binding plaatsvindt tussen de congruente audiovisuele stimuli in vergelijking met de incongruente audiovisuele stimuli. Tegenover deze bevestigende resultaten staat echter ook onderzoek waarin dit niet is gebleken. In het eerder genoemde onderzoek van Keetels en Vroomen (2011) is namelijk geen significant effect gevonden voor het temporele buiksprekereffect. Verwacht werd dat, net als bij bovenstaand onderzoek van Parise en Spence (2008), de prestatie van de proefpersonen verbeterd bij het beoordelen van de congruente paren. Dit was echter niet het geval, er werd geen effect van synesthetische congruentie gevonden. Hieruit blijkt dat het temporele buiksprekereffect niet wordt beïnvloedt door synesthetische congruentie (Keetels & Vroomen, 2011). Onderzoek heeft dus nog niet kunnen uitwijzen hoe de synesthetische samenhang tussen auditieve en visuele stimuli in elkaar steekt, er zijn nog veel onzekerheden. In het huidige onderzoek zal hetzelfde onderliggende proces worden onderzocht als in de onderzoeken van Bien et. al. (2011), Keetels en Vroomen (2011) en Parise en Spence (2008), namelijk het buiksprekereffect. Echter zal dit aan de hand van een ander experimenteel design gebeuren. Er zal gekeken worden naar synesthesie binnen een crossmodaal onderzoek, aan de hand van multisensorische perceptie. Dit gebeurt, net als bij Bien et. al. (2011) middels een gedragsstudie en een EEG onderzoek naar ERP s van congruente en incongruente audiovisuele stimuli, in combinatie met het spatiele buiksprekereffect, als tegenhanger van het temporele buikspreker effect onderzocht door Parise en Spence (2008). Huidig onderzoek maakt gebruik van audiovisuele stimuli in de vorm van cirkels en tonen. Congruente paren bestaan uit de combinaties lage toon en grote cirkel, en hoge toon en kleine cirkel. Incongruente paren daartegenover zijn lage toon en kleine cirkel, en hoge toon en grote cirkel. De visuele stimuli kunnen verschillen van plaats op het beeldscherm, de cirkels worden ofwel links, ofwel rechts op het beeldscherm getoond. De auditieve stimuli worden op 7 verschillende posities aangeboden. Verwacht wordt dat bij het gebruik van congruente audiovisuele 8

9 stimuli, het voor de proefpersonen moeilijker is om accuraat te bepalen op welke positie het geluid wordt aangeboden, dan bij incongruente audiovisuele stimuli. Dit omdat congruente stimuli sneller worden waargenomen als één geheel en het zo lastiger wordt om de precieze locatie van de auditieve stimulus te bepalen. Een ander facet van het onderzoek zal zich richten op het Colavita effect. Dit effect stelt dat wanneer een proefpersoon geconfronteerd wordt met een bimodale audiovisuele stimulus, de visuele component hiervan een dominante rol speelt (Koppen, Levitan & Spence, 2009). In een onderzoek van Koppen et. al. (2009) is gebleken dat proefpersonen minder goed reageren op auditieve stimuli, wanneer deze gelijktijdig met een visuele stimulus wordt aangeboden. Dit kan men wijten aan het feit dat de aandacht van de proefpersoon naar de dominante visuele stimulus getrokken wordt en zo onvoldoende aandachtspanne overblijft om adequaat op de auditieve stimulus te reageren. Hieruit kan men concluderen dat het Colavita effect een daadwerkelijke perceptueel fenomeen is (Koppen et. al., 2009). In eerder onderzoek van Koppen, Alsius en Spence (2007) is onderzocht of er een congruentie effect binnen het Colavita effect gevonden kon worden. Er werd gebruik gemaakt van manipulatie van semantisch congruente stimulus paren om te kijken of dit effect heeft op het Colavita effect. De sterkte van het Colavita effect werd echter niet beïnvloedt door semantische congruentie tussen auditieve en visuele stimuli in bimodale trials (Koppen et. al., 2007). Huidig onderzoek zal hierop verder gaan en ook onderzoeken of er een effect van congruentie gevonden kan worden binnen het Colavita effect. Dit zal gebeuren aan de hand van dezelfde cirkels en tonen als omschreven voor het buiksprekereffect. Tevens zal hier een EEG afgenomen worden om ook het Colavita effect te onderzoeken aan de hand van ERP s. Verwacht wordt dat bij het aanbieden van een congruent paar het Colavita effect sterker zal worden, omdat congruente paren sneller als één geheel worden gezien en de proefpersoon nog meer aandacht aan de visuele stimulus zal schenken ten kosten van de auditieve stimulus. 9

10 Methode experiment 1 Deelnemers: Aan het onderzoek deden 17 proefpersonen mee, waarvan 11 man en 6 vrouw, met een leeftijd tussen de 17 en 28 jaar (M = 20.18, SD = 2.60). Ook werd gecontroleerd voor handvoorkeur, 16 van de proefpersonen waren rechtshandig en slechts 1 linkshandig. In ruil voor deelname aan het onderzoek kregen de deelnemers proefpersoonuren. Proefpersonen dienen een goed gehoor en zicht te hebben. Materiaal: Deelnemers dienen plaats te nemen in een geluidsisolerende kamer en gebruik te maken van een computer. Aan deze computer is een kastje gekoppeld, door middel van dit kastje reageert de proefpersoon op de aangeboden stimuli. Tevens bevonden zich in de kamer een camera en intercom. Dit om met de proefpersoon te kunnen communiceren en van buiten de geluidsisolerende kamer in de gaten te kunnen houden. De stimuli werden aangeboden met behulp van het programme E- prime. Deze kon via de PC buiten de geluidsisolerende kamer gestart worden door de proefleider. De visuele stimuli verschenen op het beeldscherm en de auditieve stimuli bereikten de proefpersonen door middel van 2 geluidsboxen die zich aan weerszijden van het beeldscherm bevinden. Onderzoeksopzet: Er is gebruik gemaakt van een within-subjects design. Tijdens het experiment werd gebruik gemaakt van zowel auditieve als visuele stimuli. De auditieve stimuli bestonden uit een hoge (4500Hz) of lage (300Hz) toon die beide 200ms werden getoond. De visuele stimuli bestonden uit een grote witte 10

11 (6,3cm) of kleine witte cirkel (2,6cm) op zwarte achtergrond, deze konden links of rechts op het beeldscherm verschijnen 8,7cm vanuit het midden en werden ook 200ms getoond. De tonen verschilden eveneens van positie, van uiterst links naar uiterst rechts in 7 stappen, door middel van verschillen in intensiteit van het geluid vanuit de 2 geluidsboxen. De proefpersoon zit op een kijkafstand van 60cm van het beeldscherm. Zie figuur 1 voor een voorbeeld van de visuele en auditieve stimuli. Fig. 1.Voorbeeld grote visuele stimulus links, kleine visuele stimulus rechts en 7 geluidsposities. Procedure: Deel 1. Het eerste deel van het onderzoek bestond slechts uit het lokaliseren van het geluid, welke op 7 verschillende posities kon worden waargenomen. De hoge dan wel lage tonen werden random verdeeld over deze posities en elke unieke conditie werd 15 keer herhaald, er waren 14 unieke condities (7 geluidsposities 2 toonhoogtes). De taak van de proefpersoon is om aan te geven of het geluid van links of rechts kwam, met behulp van de toetsen op het kastje. De wijsvinger werd gebruikt om aan te geven dat het geluid van links kwam en de ringvinger om aan te geven dat het 11

12 geluid van rechts kwam. Met de middelvinger dient de proefpersoon te reageren op de catch-trial, deze komt random 15 maal in beeld en bestaat uit een rood streepje in het midden van het scherm. Bij het reageren op de catch-trial vervalt het reageren op de locatie van het geluid en is bedoelt om te controleren of de proefpersoon niet van het scherm wegkijkt. De 15 catch-trials en unieke condities zorgden samen voor een totaal van 225 trials. De stimuli werden 200ms getoond en de volgende trial begon wanneer de proefpersoon had gereageerd, gemiddeld duurde een trial 500ms. Na uitleg over het onderzoek werd eerst een oefensessie gestart. Dit duurde ongeveer 1 minuut. De volgende sessie hield hetzelfde in als de oefensessie, echter dan met meer trials en duurde 5 minuten. Na deze sessie volgde nog eenzelfde blokje van 5 minuten. Deel 2. Naast de auditieve stimuli werd er in dit tweede deel ook gebruik gemaakt van een visuele stimuli. De grote en kleine cirkels verschenen random zowel links als rechts op het beeldscherm, gelijktijdig met een auditieve stimulus. Echter is het nog steeds de bedoeling slechts op de auditieve stimulus te reageren en daarbij dus de visuele stimulus te negeren. Ook in dit deel van het onderzoek wordt weer gebruik gemaakt van 15 catch-trials. Bij aanvang van deel 2 van het onderzoek werd eveneens een oefensessie van ongeveer 1 minuut gedaan. Na goed verloop van deze oefensessie werd het eerste blokje gestart van 5 minuten. Hiervan werden er in totaal 5 uitgevoerd, van 56 unieke condities. In totaal 10 herhalingen 56 unieke condities 5 blokken + 15 catch-trials = 2815 trials. Data-analyse: Gemeten is het aantal keer dat de proefpersoon aangaf dat het geluid van rechts kwam, in het vervolg zal dit rechts drukken worden genoemd. Als afhankelijke variabele zal gebruik gemaakt worden van de proporties van dit aantal keer rechts drukken. Deze proporties worden berekend door 12

13 het aantal keer dat er rechts is gedrukt te delen door 10, van de 10 unieke condities. Er zal gebruik gemaakt worden van een Repeated Measure MANOVA, Pan con side. Pan is de positie van het geluid, wat zich op 7 verschillende locaties kan bevinden. Con is of de stimuli congruent of incongruent zijn, beide congruente condities zijn samengevoegd tot een conditie congruent. Hetzelfde is gedaan voor beide incongruente condities. Side is de positie van de visuele stimulus, wat links of rechts kan zijn. Resultaten experiment 1 Deel 1: auditief Deel 2: audiovisueel Er is een repeated measure uitgevoerd op drie onafhankelijke variabelen, namelijk: pan, con en side. pan is gemeten op 7 niveaus en con en side beide op 2 niveaus. Er is een significant hoofdeffect gevonden voor de variabele pan op rechts drukken, F(6,11) = 38.17, p <.001. Dit wil zeggen dat de positie van het geluid effect heeft op het aantal keer dat de proefpersoon op rechts drukt. Ook is er een hoofdeffect gevonden van side op rechts drukken, F(1,16) =.20, p <.001. Dit is een effect van de visuele stimulus op het aantal keer rechts drukken en betekend dat bij eenzelfde auditieve stimulus, bijvoorbeeld toon komt uit het midden, de proefpersonen vaker dachten dat de auditieve stimulus van rechts kwam, wanneer de visuele stimulus van rechts kwam. Naast deze hoofdeffecten is er ook een significant interactie effect gevonden voor pan side, F(6.11) = , p <.001, wat erop wijst dat een combinatie van de positie van de auditieve en visuele stimuli invloed heeft op het aantal keer rechts drukken van de proefpersonen. 13

14 proporties Invloed van synesthetische congruentie op multisensorische audiovisuele integratie congruentie Links congruent Links incongruent Rechts congruent Rechts incongruent geluidspositie Fig. 2.invloed van congruentie op aantal keer rechts drukken. Links en rechts staan voor de posities van de visuele stimulus. Op de x-as zijn de 7 verschillende posities van de auditieve stimulus te zien. Op de y-as zijn de proporties uitgezet. Voor con is echter geen bewijs gevonden, F(1,16) =.03, p =.87. Er is dus geen congruentie effect gevonden, het buiksprekereffect wordt niet sterker wanneer de stimuli congruent zijn aan elkaar. In de grafiek van figuur 2 is te zien dat er geen congruentie effect is gevonden. De lijnen van congruent en incongruent lopen immers nagenoeg gelijk. De grafiek is gebaseerd op het aantal keer rechts drukken van de proefpersonen. Wel is duidelijk te zien dat naarmate het geluid dichterbij uiterst rechts ( pan = 7) komt, er vaker op rechts wordt gedrukt. Daarnaast is ook goed te zien dat wanneer de visuele stimulus zich rechts bevindt, de proefpersonen ook vaker op rechts drukken, ongeacht de positie van het geluid. 14

15 Methode experiment 2 Deelnemers: Aan het EEG onderzoek deden 14 proefpersonen mee. Hiervan is er 1 afgevallen, uiteindelijk werden er dus 13 proefpersonen meegenomen in de data-analyse, met een gemiddelde leeftijd van 21,15 en een standaarddeviatie van 1,95. Alleen rechtshandigen konden zich inschrijven voor het onderzoek. Proefpersonen dienen een goed gehoor en zicht te hebben. Voor deelname kregen de proefpersonen 3,5 proefpersoonuren bijgeschreven. Materiaal: Naast dezelfde materialen als gebruik gemaakt bij het gedragsonderzoek, wordt er bij het EEG onderzoek tevens gebruik gemaakt van materiaal om het EEG te maken. Dit bestaat uit een kap, voor op het hoofd van de proefpersoon, waaraan de sensoren bevestigd worden. Naast deze sensoren zullen er ook 6 sensoren op het gezicht van de proefpersoon geplaatst worden, dit om te kunnen controleren voor de oogbewegingen. Om te zorgen dat de signalen goed gemeten kunnen worden, wordt gebruik gemaakt van een gel, voor een goede geleiding tussen hoofdhuid en sensoren. Als stimuli werd gebruik gemaakt van dezelfde auditieve en visuele stimuli als in experiment 1, echter verschilden ze nu niet van positie en werden in het midden getoond. Onderzoeksopzet: Er is gebruik gemaakt van een within-subjects design. Tijdens het EEG experiment werd ook gebruik gemaakt van zowel auditieve als visuele variabelen. De auditieve stimuli bestonden uit een hoge (4500Hz) of lage (300Hz) toon. De visuele stimuli bestonden uit een grote (6,3cm) of kleine cirkel 15

16 (2,6cm). De diameter van de kleine cirkel is na het gedragsonderzoek aangepast. Zowel de auditieve als visuele stimuli komen allen vanuit het midden, en worden random 200ms aangeboden. Er wordt ofwel een unisensorische stimulus aangeboden, in de vorm van een hoge of lage toon (auditief) of een grote of kleine cirkel (visueel), ofwel een multisensorische stimulus. Deze bestaat uit een audiovisuele stimulus en kan congruent of incongruent zijn. In totaal zijn er 8 unieke stimuli en zal een totale tijd van ongeveer 3,5 uur in beslag nemen. Procedure: De procedure zal grotendeels hetzelfde zijn als in experiment 1. Er wordt een korte oefensessie gehouden van 2 minuten. Als alles duidelijk is word het eerste blok gestart. Er zijn in totaal 5 blokken onderverdeeld in 10 kleine blokjes, tussen deze 10 kleine blokjes zit een pauze die de proefpersoon zelf kan bepalen. Tussen de 5 grote blokken zal de proefleider de kamer binnengaan en controleren of alles in orde is met de proefpersoon en wordt er een langere pauze gehouden. Elk groot blok neemt gemiddeld 15 minuten in beslag, afhankelijk van de proefpersoon. Taak van de proefpersoon is om zo snel mogelijk aan te geven of hij of zij een auditieve, visuele of audiovisuele stimulus hebben geobserveerd. Dit middels het kastje wat voor hen op tafel ligt. Elke unieke unisensorische conditie wordt 10 keer herhaald, elke unieke multisensorische conditie 15 keer. Er zijn vier unisensorische condities, namelijk: auditief hoog, auditief laag en visueel klein, visueel groot. En ook vier multisensorische condities, namelijk: twee audiovisueel synesthetisch congruente condities (hoog, klein en laag, groot) en twee audiovisuele synesthetisch incongruente condities (hoog, groot en laag, klein). Dit komt neer op 100 trials per blokje, 1000 per blok en 5000 trials in totaal. De stimuli worden voor 200ms aangeboden en tussen de trials zit ook 200ms. Het afmeten van het EEG neemt 2,5 uur in beslag. Een extra uur wordt gerekend voor het aansluiten van het EEG materiaal en het verwijderen na afloop. 16

17 Data-Analyse Er zal gebruik gemaakt worden van een Repeated Measures MANOVA met een within-subjects design, en zal bestaan uit 8 condities. Dit zijn 2 multisensorische congruente paren (hoge toon, kleine cirkel en lage toon, grote cirkel), 2 multisensorisch incongruente paren (hoge toon, grote cirkel en lage toon, kleine cirkel) en 4 unisensorische stimuli bestaande uit ofwel een auditieve stimulus (hoge of lage toon) ofwel een visuele stimulus (kleine of grote cirkel). EEG-meting Het EEG werd gemeten met behulp van 32 sensoren op het hoofd en 6 sensoren op het gezicht en verwerkt in het programma Brain Vision Analyzer. Als eerst werd de referentie aangepast naar de linker en rechter mastoïd. Vervolgens worden alle niet neuronale voltages uit het EEG gefilterd, denk aan een knipper of saccade van de ogen, de altijd aanwezige 50Hz of een beweging van het hoofd. Hierna worden in de segmentatie alle condities benoemd. Als volgt wordt gecorrigeerd voor de knipperbewegingen die niet door de filtering eruit zijn gefilterd. Wanneer het EEG een te grote amplitude meet, wordt deze trial met de functie artifact rejection eruit gehaald. Als laatst wordt er een base-line aangelegd, het gemiddelde van de negatieve en positieve amplitudes wordt aangemerkt als nulpunt. Met behulp van dit programma is gekozen om voor de data analyse gebruik te maken van de pieken N1 en P2 en het gebied van N , ook wel N450 genoemd. 17

18 Resultaten experiment 2 Deel 1: gedragsstudie Colavita effect Voor het onderzoek naar het Colavita effect wordt alleen gekeken naar de audiovisuele stimuli, waarop de proefpersonen fout geantwoord hebben, omdat dit de situatie is waarin het Colavita effect kan optreden. Dus wanneer ze hebben aangegeven dat het om een unisensorische stimulus ging, terwijl het om een multisensorische audiovisuele stimulus ging. Als eerst wordt gefilterd zodat alleen multisensorische audiovisuele trials overblijven, vervolgens wordt gefilterd op het verkeerd beantwoorden van deze audiovisuele trials, zodat alleen de audiovisuele trials overblijven waarop de proefpersonen auditief of visueel hebben geantwoord. Wanneer er vaker voor visueel wordt gekozen toont dit het Colavita effect aan. Er is een repeated measures ANOVA uitgevoerd met twee onafhankelijke variabelen. Deze variabelen waren modaliteit en congruentie. Modaliteit staat voor het gekozen antwoord, auditief of visueel, en congruentie staat voor of de audiovisuele stimulus congruent of incongruent was. Uit de resultaten is gebleken dat er een significant hoofdeffect voor modaliteit is gevonden, F(1,12) = 8.888, p=.011, wat erop wijst dat er vaker voor visueel wordt gekozen dan voor auditief. Dit is bewijs voor het Colavita effect, er is een visueel dominantie effect gevonden. Er is echter geen hoofdeffect voor congruentie gevonden, F(1,12) =.131, p =.724, en ook geen interactie effect tussen modaliteit en congruentie, F(1,12) = 1.233, p =.289. In figuur 3 is goed te zien dat er gemiddeld meer voor visueel wordt gekozen ten opzichte van auditief, wat duidt op de aanwezigheid van het Colavita effect. Echter is ook te zien dat dit voor de congruentie niet verschilt. Voor congruent en incongruent zijn de waardes bijna hetzelfde, er werd gemiddeld 30,08 (SD = 15,93) keer gekozen voor visueel in geval van congruente audiovisuele stimuli en 17,77 (SD = 9,58) keer voor auditief. In geval van incongruente audiovisuele stimuli werd er gemiddeld 28,62 (SD = 14,98) keer gekozen voor visueel en 18,31 (SD = 10,56) keer voor auditief. 18

19 congruentie Invloed van synesthetische congruentie op multisensorische audiovisuele integratie Colavita effect incongruent auditief congruent visueel gemiddeld aantal x gekozen Fig. 3. Gemiddeld aantal auditieve en visuele antwoorden op audiovisuele stimuli. Opgesplitst in congruente en incongruente trials. Deel 2: EEG studie Colavita effect Naast de gedragsstudie is er ook een EEG gemeten om onderzoek naar de invloed van congruentie op het Colavita effect te doen. Voor het analyseren van de data is gekozen om in de ERP s te kijken naar de piek N1 en het gebied N450 frontaal en de piek P2 pariëtaal. Dit omdat er op deze locaties op die momenten veel activiteit gevonden werd. In figuur 4 is een ERP zichtbaar van een frontale electrode op het moment van zowel een congruente als incongruente trial. Fig. 4. ERP van frontale electrode Fz. Zwarte lijn is een congruente trial, rode lijn is een incongruente trial. 19

20 Op de pieken N1 en P2 is een repeated measures ANOVA uitgevoerd met als variabelen sensoren en congruentie. Voor de N1 zijn de sensoren F 1, F z, F 2, F c1, F cz, F c2, C 1, C z en C 2 gekozen om mee te nemen in de analyse en voor de P2 zijn de sensoren P 3, P 1, P z, P 2, P o3, P oz, O 1 en O z gekozen. Congruentie is wederom onder te verdelen in congruent of incongruent. De N1 en P2 zijn verdeeld in een latentie en amplitude dataset. De latentie meet de afstand van aanvang stimulus tot de piek. Door middel van data analyse wordt gekeken hoe deze pieken verschuiven als functie van congruentie. Hier is voor zowel de N1 als de P2 geen significant verschil gevonden ten opzichte van de prestimulus baseline. De amplitude meet de daadwerkelijke hersenactiviteit op een bepaald tijdstip. Voor de N1 is hier een significant hoofdeffect gevonden voor de sensoren, F(8,5) = 5.360, p =.021. Echter zowel het hoofdeffect van congruentie, F(1,12) =.01, p =.940, als het interactie effect, F(8,5) =.37, p =.680, zijn niet significant bevonden. Voor de P2 is er geen effect gevonden voor zowel de sensoren, F(7,6) = 1.50, p =.244, congruentie, F(1,12) =.00, p =.999, als het interactie effect van sensoren en congruentie, F(7,6) = 1.16, p =.339. Ten slotte is er gekeken naar de gemiddelde activiteit tussen 430 en 550ms, de N450. Hiervoor is alleen de amplitude gemeten en wederom naar het verschil tussen congruent en incongruent. Er is een repeated measures ANOVA uitgevoerd met als variabelen sensoren en congruentie. Voor de variabele sensoren is gekozen om F 2, F z en F 1 mee te nemen in de analyse. Er is geen significant effect gevonden voor de interactie tussen congruentie en de sensoren, F(2,11) =.37, p =.653. Wel is er voor zowel congruentie, F(1,12) = 5.23, p =.041, als sensoren, F(2,11) = 5.08, p =.032, een significant hoofdeffect gevonden binnen het gebied N450. Dit wijst erop dat er een significant verschil is in frontale hersenactiviteit tussen congruente en incongruente audiovisuele stimuli op de N450. Er is een grotere gemiddelde negatieve activiteit gevonden bij het integreren van synesthetisch congruente audiovisuele stimuli binnen het gebied van ms, ten opzichte van synesthetisch incongruente audiovisuele stimuli. 20

21 Discussie De studie onderzocht het effect van synesthetische congruentie op de manier waarop multisensorische stimuli worden geïntegreerd in het brein. Dit werd gedaan aan de hand van onderzoek naar het buiksprekereffect en het Colavita effect, waarbij gekeken werd naar de invloed van synesthetische congruentie op deze effecten. Verwacht werd dat zowel bij het buiksprekereffect als bij het Colavita effect de synesthetische congruentie van multisensorische stimuli een rol speelt in de verwerking ervan. Bij het buiksprekereffect werd verwacht dat de proefpersonen, in het geval van een multisensorisch synesthetisch congruent paar, minder accuraat zouden reageren op de positie van de auditieve stimulus, dan in het geval van een incongruent paar. De verwachting bij het onderzoek naar het Colavita effect was dat dit effect sterker zou worden in geval van een synesthetisch congruent paar tegenover een incongruent paar. In het eerste en tweede deel van het onderzoek is zowel het buiksprekereffect als het Colavita effect aangetoond. Dit is in overeenstemming met eerder onderzoek naar het buiksprekereffect (Bien et al., 2011; Parise en Spence, 2008) en het Colavita effect (Koppen, Alsius en Spence, 2007; Koppen, Levitan en Spence, 2009). In geval van het buiksprekerexperiment hadden de proefpersonen de neiging om de auditieve stimulus eerder toe te schrijven aan de kant waar ook de visuele stimulus zich bevond, wat bewijs is voor het aanwezig zijn van het buiksprekereffect. Het Colavita effect werd aangetoond, omdat proefpersonen een visuele dominantie blijken te hebben. In het geval van een audiovisuele stimulus werd vaker aangegeven dat het om een unimodale visuele stimulus ging dan om een unimodale auditieve stimulus. Betreffende het congruentie effect was geen enkel effect van synesthetische congruentie op het integreren van audiovisuele stimuli op gedragsniveau gevonden. Dit is in tegenspraak met de uitkomst van de onderzoeken van Parise en Spence (2008, 2009), waarin zij wel een effect vonden 21

22 van synesthetische congruentie op het buiksprekereffect. Zij vonden een sterkere link tussen synesthetisch congruente audiovisuele paren, ofwel een groter buiksprekereffect bij congruente trials tegenover incongruente trials (Parise & Spence, 2008). In het latere onderzoek werd gevonden dat de auditieve stimulus slechter werd beoordeeld wanneer de stimuli synesthetisch congruent waren (Parise & Spence, 2009). Ook dit wijst op het aanwezig zijn van een synesthetisch congruentie effect binnen het buiksprekereffect. Echter zijn beide studies gebaseerd op het temporele buiksprekereffect en huidig onderzoek op het spatiële buiksprekereffect. Daarbij was in beide onderzoeken (Parise & Spence, 2008; 2009) de visuele stimulus het referentiepunt, in het midden van het beeldscherm. De proefpersoon was zich dus bewust van zowel de auditieve en visuele stimuli, terwijl daarentegen in huidig onderzoek alleen de auditieve stimuli bewust werden meegenomen. Wellicht werd in huidig onderzoek de visuele stimulus onvoldoende opgemerkt, waardoor de proefpersonen de congruentie niet konden opmerken, en kan dit als mogelijke oorzaak gezien worden dat er geen effect werd gevonden. Echter, wanneer de visuele stimulus niet wordt opgemerkt kan er ook geen sprake zijn van het buiksprekereffect en hier is wel bewijs voor gevonden. Mogelijk dat synesthetische congruentie in het huidige experiment na het integreren van multisensorische stimuli wordt verwerkt en op deze manier geen invloed heeft op het buiksprekereffect. Radeau en Bertelson (1977, 1978) hebben onderzoek gedaan naar de invloed van semantische congruentie op het buiksprekereffect in tegenstelling tot synesthetische congruentie. Daaruit is gebleken dat het gebruik van realistische stimuli, dus stimuli die semantisch overeenkomstig zijn, ten opzichte van niet realistische stimuli geen invloed hebben op de verwerking van audiovisuele stimuli. Zij stellen dat semantische congruentie niet belangrijk is voor het optreden van het buiksprekereffect in tegenstelling tot het overeenkomen van stimuli in tijd en plaats. Hoe meer informatie de proefpersoon krijgt van de stimuli, hoe makkelijker een verschil in plaats of tijd opvalt, dus hoe minder sterk het buiksprekereffect is (Radeau & Bertelson, 1877). Wat zij zeggen is dus in overeenkomst met de resultaten van huidig onderzoek, er is geen effect van zowel semantische als synesthetische congruentie gevonden. 22

23 Keetels en Vroomen (2011) deden, evenals huidig experiment, ook onderzoek naar het temporele buiksprekereffect en vonden echter geen bewijs voor het congruentie effect. Zelfs wanneer zij de proefpersonen bewust maakten van de congruente en incongruente paren, had dit geen effect op de uitslag van het onderzoek. In een ander onderzoek naar congruentie tussen auditieve en visuele stimuli, van Klapetek, Ngo en Spence (2012), werd in eerste instantie ook geen bewijs gevonden voor het congruentie effect. Echter na bewustmaking van de proefpersonen van de congruente en incongruente paren presteerden zij significant beter. Dit wijst erop dat men de informatie over synesthetische congruentie op een bewuste manier kan gebruiken, en wanneer dit het geval is men beter reageert op de synesthetisch congruente paren ten opzichte van de incongruente paren. Tevens kan dit wijzen op een late bewustwording van synesthetische congruentie, waardoor het geen effect heeft op de audiovisuele integratie. Dit is terug te zien in de uitslag van het EEG onderzoek. In het EEG onderzoek naar het Colavita effect is wel een effect gevonden van synesthetische congruentie. Er is een laat effect gevonden in de ERP van het frontale deel van de hersenen in het gebied tussen ms, de N450. Dit wil zeggen dat er binnen dit tijdsinterval een verhoogde negatieve activatie is bij synesthetische congruente audiovisuele paren in vergelijking met audiovisuele incongruente paren. Uit eerder onderzoek is gebleken dat dit late negatieve effect samenhangt met het proces van semantisch coderen in het brein (John, 2005) en met de processen die onderliggend zijn aan een taak waarbij de proefpersoon onderscheid moet maken tussen semantisch congruente of incongruente stimuli, zoals de Stroop test (Larson, Kaufman & Perlstein, 2008). In de studie van Larson et al. (2008) is onderzoek gedaan naar het late negatieve effect op de N450 in het frontale deel van de hersenen. Zij vonden dat de N450 betrokken is bij conflict controlerende processen, met een hogere betrokkenheid bij incongruente stimuli. Ook Szücs en Soltész (2012) concluderen dat de N450 vooral te maken heeft met het verwerken van tegenstrijdige stimuli. In een onderzoek van Koppen, Alsius en Spence (2007) naar het effect van semantische 23

24 congruentie op het Colavita effect is echter geen bewijs gevonden voor het congruentie effect. Zij zeggen dat door de grote hoeveelheid complexe informatie van de auditieve en visuele stimuli, de proefpersonen meer te verwerken hebben en zo meer fouten maken. Bij de semantisch congruente audiovisuele trials werden significant meer fouten gemaakt en was de reactietijd langer dan bij de incongruente trials (Koppen, Alsius & Spence, 2007). Dit kan komen doordat bij de incongruente audiovisuele trials het duidelijker was dat de stimuli niet bij elkaar hoorden en daardoor makkelijker voor de proefpersonen te bepalen dat het een audiovisuele stimulus was, terwijl bij de congruente audiovisuele trials het meer als een geheel werd gezien. De semantische congruentie beïnvloedde dus wel de prestatie van de proefpersonen op de taak, maar niet de sterkte van het Colavita effect zelf. Als verklaring voor het feit dat er geen semantisch congruentie effect werd gevonden gaven zij aan dat semantische congruentie een aangeleerde associatie is tussen auditieve en visuele stimuli, en dat dit later voorkomt in de verwerking van audiovisuele stimuli dan temporele en spatiële factoren. Hierdoor zal het Colavita effect wel beïnvloedt worden door de temporele en spatiële kenmerken van de stimuli, maar treedt het congruentie effect te laat op in de verwerking van audiovisuele stimuli om nog invloed te hebben op het Colavita effect. Dit is in overeenstemming met de bevindingen van huidig onderzoek, waarbij een laat effect werd gevonden op de N450 bij het contrast tussen congruentie en incongruente stimuli. Dit is tevens in overeenstemming met de uitkomsten van een onderzoek van Radeau en Bertelson (1977), die ook stellen dat het overeenkomen van stimuli in tijd en plaats belangrijker is bij het integreren van audiovisuele stimuli dan de congruentie tussen audiovisuele stimuli. Semantische congruentie is volgens Laurienti et al. (2004) een belangrijke factor van het integreren van multisensorische stimuli. Zij stellen echter wel dat het hier complexe stimuli betreft, waarbij de auditieve en visuele component op natuurlijke wijze bij elkaar horen. Zoals het zien van een ambulance en het tegelijk horen van de sirene. In dit geval spreken we van semantische congruentie, een aangeleerde associatie tussen de auditieve en visuele stimuli die in de hersenen tot een geheel 24

25 geïntegreerd worden. Wanneer echter gebruik gemaakt wordt van stimuli die niet op natuurlijke wijze bij elkaar te plaatsen zijn, kan men alsnog spreken van congruentie. Zoals de stimuli gebruikt in huidig onderzoek, een grote cirkel is congruent aan een lage toon. Als men dit natuurkundig bekijkt kan dit toegeschreven worden aan het feit dat grote objecten op een lagere frequentie resoneren (Klapetek, Ngo & Spence, 2012). In dit geval spreekt men van een synesthetische congruentie. Voor zowel het semantische congruentie effect (Laurienti et al., 2004) als het synesthetische congruentie effect (Bien et al., 2011; Parise & Spence, 2008) is in eerder onderzoek bewijs gevonden. Naast eerdere studies (Koppen, Alsius & Spence, 2007; Keetels & Vroomen, 2011) heeft ook huidig onderzoek dit echter niet kunnen bevestigen. Dit duidt aan dat er nog veel vervolgonderzoek nodig is naar het congruentie effect. Het is nog onduidelijk waaraan deze verschillen in uitkomst aan te wijten zijn, echter kunnen stimulus en taak effecten mogelijkerwijs een rol spelen. Bien et al. (2011) deden ook onderzoek naar synesthetische congruentie van auditieve en visuele stimuli. Dit onderzoek had dezelfde onderzoeksopzet als huidig onderzoek, echter vonden zij een rechter pariëtaal effect op de P2 in het ERP onderzoek, wat in huidig onderzoek niet het geval was. De oorzaak van deze discrepantie is onduidelijk, wel zijn er enkele kleine verschillen in de aangeboden stimuli. Zo werden in het onderzoek van Bien et al. (2011) grijze cirkels op een witte achtergrond gebruikt en in huidig onderzoek witte cirkels op een zwarte achtergrond. Tevens werd in huidig onderzoek gebruik gemaakt van 7 verschillende posities van het geluid en de lage toon was 300Hz, terwijl in het onderzoek van Bien et al. (2011) onderscheid werd gemaakt tussen 5 verschillende posities en de frequentie van de lage toon was 250Hz. Als aanbeveling voor een vervolgstudie kan men deze kleine verschillen uitsluiten om zo de condities voor alle proefpersonen gelijk te houden en op deze manier verschillende onderzoeken te kunnen vergelijken. Daarnaast zou men verder onderzoek kunnen doen naar de relevantie van het ERP op 250ms, ofwel de rechter pariëtale P2. 25

26 In de huidige studie is bewijs gevonden voor zowel het buiksprekereffect als het Colavita effect. Beide effecten kwamen in de data duidelijk naar voren. Voor de gedragsstudies naar het buiksprekereffect en het Colavita effect in combinatie met het synesthetische congruentie effect is geen bewijs gevonden, tegen de verwachting in werd er geen congruentie effect gevonden. Wel werd er een laat negatief effect gevonden in de ERP op de N450 in het frontale deel van de hersenen, wat mogelijk te wijten is aan de late verwerking van het synesthetische congruentie effect op de integratie van audiovisuele stimuli. Voor toekomstig onderzoek is aan te raden dieper op het congruentie effect in te gaan. Dit kan zowel voor het semantische congruentie effect als het synesthetische. Tevens kan gekeken worden naar andere combinaties van de veelgebruikte visuele en auditieve stimuli, de cirkels en tonen, zoals een visuele stimulus hoog in het beeldscherm aanbieden in combinatie met een hoge toon, laag in het beeldscherm in combinatie met een lage toon. Daarnaast zouden ook de relevante hersengebieden beter in kaart kunnen worden gebracht door middel van verder EEG onderzoek. 26

27 Referenties Bien, N., ten Oever, S., Goebel, R., & Sack, A. T. (2011). The sound of size Crossmodal binding in pitch size synesthesia: A combined TMS, EEG and psychophysics study. NeuroImage, 59, Bischoff, M., Walter, B., Blecker, C. R., Morgen, K., Vaitl, D., & Sammer, G. (2007). Utilizing the ventriloquism-effect to investigate audio-visual binding. Neuropsychologica, 45, Bonath, B., Noesselt, T., Martinez, A., Mishra, J., Schwiecker, K., Heinze, J-H., & Hillyard, S. A. (2007). Neural basics of the ventriloquist illusion. Current Biology, 17, Keetels, M., Vroomen, J. (2011). Perception of synchrony between the senses. Klapetek, A., Ngo, M. K., & Spence, C. (2012). Does crossmodal correspondence modulate the facilitatory effect of auditory cues on visual search? Atten Percept Psychophys, 74, Koppen, C., Alsius, A., & Spence, C. (2007). Semantic congruency and the Colavita visual dominance effect. Experimental Brain Research, 184, Koppen, C., Levitan, C. A., & Spence, C. (2009). A signal detection study of the Colavita visual dominance effect. Experimental Brain Research, 196, Laurienti, P. J., Kraft, R. A., Maldjian, J. A., Burdette, J. H., & Wallace, M. T. (2004). Semantic congruence is a critical factor in multisensory behavioral performance. Experimental Brain Research, 158, 405. Munhall, K. G., Gribble, P., Sacco, L., & Ward, M. (1996). Temporal constraints on the McGurk effect. 27

28 Perception & Psychophysics, 58, Parise, C., & Spence, C. (2008). Synesthetic congruency modulates the temporal ventriloquism effect. Neuroscience Letters, 442, Parise, C, & Spence, C. (2009). When birds of a feather flock together: synesthetic correspondences modulate audiovisual integration in non-synesthetes. PLoS ONE, 4. Parise, C., & Spence, C. (2012). Audiovisual crossmodal correspondences and sound symbolism: a study using the implicit association test. Experimental Brain Research, 220, Radeau, M., & Bertelson, P. (1977). Adaptation to auditory-visual discordance and ventriloquism in semirealistic situations. Perception & Psychophysics, 22 (2), Radeau, M., & Bertelson, P. (1978). Cognitive factors and adaptation to auditory-visual discordance. Perception & Psychophysics, 23 (4), Ramachandran, V. S., & Hubbard, E. M. (2001). Synesthesia A window into perception, thought and language. Journal of Consciousness Studies, 12, Spence, C., Senkowski, D., & Röder, B. (2009). Crossmodal processing. Experimental Brain Research, 198,