College Spreken en Verstaan 10. Hoofdstuk 11 Herkenning van gesproken woorden

Transcriptie

1 College Spreken en Verstaan 10 Hoofdstuk 11 Herkenning van gesproken woorden

2 Informatie college via Hugo Quené

3

4

5 Vragen in het boek 1-5 Wat is de functie van het middenoor? Wat is het gevolg van frequentieverandering voor beweging basilair membraan? En intensiteitsverandering? Hoe noemen we het frequentiegebied waarin gelijktijdige tonen elkaars waarneming beïnvloeden? Hoe groot is dat gebied ruwweg? Wat is JND? Wat is het effect van maskering op waargenomen scherpte klinkerformanten?

6 Vragen in boek 6-10 Als we aak achterstevoren afdraaien horen we gaa. Hoe verklaar je verandering plofklank in fricatief? Obstruenten kunnen we verdelen in +/- stem. Is stembandtrilling het belangrijkste verschil? Waaraan horen we dat een spraakklank een klinker is? Wat is cue-trading? Geef een voorbeeld. Hoe horen we bij een plofklank wat de articulatieplaats is?

7 Vragen in boek Klinkers in context beter te verstaan dan los. Hoe komt dat? Hoe kunnen we aantonen dat luisteraar ook gebruik maakt van visuele informatie? Kenmerken van klanken worden herkend in brein niet in oor. Hoe kun je dit aantonen?

8 Als we in figuur 10.8 (bovenste paneel) de even harmonischen weglaat welke toon hoor je dan? En als je de oneven weglaat?

9 Herkenning van woorden

10 Woordherkenning Wat zijn voorwaarden van iets herkennen?

11 Woordherkenning Wat zijn voorwaarden van iets herkennen? Je moet het kennen, in geheugen Partiele informatie is voldoende In context is herkenning makkelijker, voorspelbaarheid in zinnen

12 Modellen voor woordherkenning Hoeveel woorden kent de gemiddelde Nederlander? Hoe zijn we in staat zo snel te kiezen uit zo n grote set woorden? Wat maakt woordherkenning lastig?

13 Modellen voor woordherkenning Hoeveel woorden kent de gemiddelde Nederlander? Hoe zijn we in staat zo snel te kiezen uit zo n grote set woorden? Wat maakt woordherkenning lastig? Geluid komt sequentieel binnen voor verwerking en is vluchtig itt schrift Auditief geheugen maar 250 ms (ca 1 syllabe), gemiddelde duur woord 500 ms

14 Hoe herkennen we lange woorden? Input woordherkenningssysteem output

15 Modellen van woordherkenning Het logogenmodel (John Morton) Het cohortmodel (Marslen-Wilson) NAM het Neighboorhood Activation Model (Luce & Pisoni) Het TRACE-model (McClelland & Elman) Het Shortlist model (Norris & McQueen)

16 Logogen model Herkenning van zintuiglijke input Groot aantal logogen Spraaksignaal wordt parallel naar alle logogen doorgestuurd Activatiemodel Herkende woorden behouden hoger activatieniveau Bottom up en top down informatie

17

18 Kattepult?

19 Cohortmodel Wel specifiek spraak. Tijdgevoelig en efficiënt. Maakt ook gebruik van negatieve informatie 1. Prelexicale activatiefase 2. Lexicale selectiefase 3. Postlexicale verifiatiefase en integratiefase

20 3 fases Cohortmodel 1. Prelexicale activatiefase: begincohort obv klanken in eerste 200 ms 2. Lexicale selectiefase: daarna verder met herkenning maar geen hogere activatie hits - deactivatie misses. 1 kandidaat blijft over 3. Postlexicale verifiatiefase en integratiefase: controle woordeinde, klemtoonpositie, zinscontext

21 Uniekheidspunt in cohortmodel Wat wordt hiermee bedoeld?

22 Uniekheidspunt in cohortmodel Wat wordt hiermee bedoeld? Advocaat Advies Advertentie Attentie Adjudant Administratie

23 Neighborhood Activation model Bottom-up herkenning losse woorden via neighborhood Buren = woorden die opelkaar lijken in klankstructuur Veel buren bij korte woorden Frequentie van buur heeft effect Aantal buren heeft effect op snelheid en accuratesse van woordherkenning (zit niet in Cohortmodel)

24 Trace model (1) Neurale netwerken, activatie en activatiedrempel Drie niveaus 1. Kenmerkdetector: bv +stem 2. Klankherkenner 3. Woordherkenner: inhibitie concurrenten

25

26 Trace model (2) Activatieniveau wordt bijgesteld door interactie tussen verschillende niveau s, bidirectioneel Representatie van uiting: kenmerken, fonemen, woorden, betekenissen

27 Trace model (3) Voordelen van dit model Lange decay tijd van activatie en daarom minder afh van links-rechts verwerking Segmentatieprobleem wordt opgelosd. Verborgen woorden worden ook geactiveerd maar ook snel uitgedoofd Verklaart boundary shift vanuit invloed lexicon op waarneming, task-dask versus tash-dash Kan omgaan met verstoorde invoer, kan later bijgesteld worden Geen regels nodig, neuraal netwerk is zelflerend systeem

28 Trace model (4) Nadeel Geen preselectie van woordkandidaten waardoor bij start onjuiste herkenning of juist heel veel kandidaten die allemaal uitgedoofd moeten worden

29 Shortlist model (Merge) Net als Trace en NAM connectionistisch model = interactief activatiemodel Eerste fase: acticatie set kandidaten obv eerste klanken Tweede fase: concurrentie zoals in Trace, interactie op alle niveau s Intreactie niet bidirectioneel (Trace), maar unidirectioneel, van prelexicaal naar lexicaal

30 Shortlist B (Norris & McQueen, 2008) Model werkt op basis van kansberekening Zoals in Nam neighbors worden meegenomen Tot nu toe beste model om menselijke woordherkenning mee te simuleren

31 Effecten van woordprosodie Inbreng woordprosidie in modellen? Rol klemtoon bij herkenning van woorden? Bv Balkan vs balkon? Effecten incorrecte klemtoon aangetoond Verschil tussen Engelse en nederlandse luisteraars?

32 Effecten van woordprosodie Inbreng woordprosidie in modellen? Rol klemtoon bij herkenning van woorden? Bv Balkan vs balkon? Effecten incorrecte klemtoon aangetoond Verschil tussen Engelse en nederlandse luisteraars? Ja, Engelse pas effect in de lexicale fase, Nedelandse al in de prelexicale fase Klemtoon speelt grote rol herkenning van Nederlandse klinkers/woorden Wat is het meest voorkomende klemtoonpatroon in het Nederlands?

33 Woordherkenningstaken Wat is het verschil tussen off-line en on-line herkenningstaken? Noem een aantal on-line woordherkenningstaken

34 Woordherkenningstaken Noem een aantal woordhekenningstaken Lexicale decisie Detectietaken Cross-modal priming Gating

35 Woordherkenningstaken (1) Lexicale decisie Reactietijd beslissing wel/niet woord mbv drukknop Sneller bij hoog dan bij laag frequentie woorden Detectietaken Reactietijd waarneming target (\t\) Pp luistert tot uniekheidspunt (herkenning van woord) Syllabe, woord, rijm, betekenis-detectie

36

37 Woordherkenningstaken (2) Cross-model priming Visuele lexicale decisie simultaan met auditieve stimulus/woordherkenning Nagaan welke woorden als kandidaat optreden in fasen van herkenning Gating Woordaanvulproef, off-line Steeds meer auditieve info woord Bepaling van uniekheidspunt

38 Demo gating Demo foneemherstel

39 Oogbewegingsregistratie Bij oogbewegingsregistratie hoeft pp helemaal niets te doen Dahan e.a. (2001) 4 plaatjes en 1 auditieve stimulus Bank (tarhet) Bal (hoog frequent) Bas (laag frequent) Tijger (geen relatie) Naar welk plaatje kijkt pp?

40 Woordgrensmarkering Zoalsuitdezininhetboekalblijktisbegrijpenzond erspatiesbestlastig Hoe helpt de spreker de luisteraar bij het herkennen van woordgrenzen?

41 Woordgrensmarkering Zoalsuitdezininhetboekalblijktisbegrijpenzond erspatiesbestlastig Hoe helpt de spreker de luisteraar bij het herkennen van woordgrenzen? Initial articulatory strength: opscherping klanken begin woorden Domain-final lengthening: verlenging laatste klanken woord Welke informatie kan de luisteraar nog meer gebruiken?

42 Woordgrenscues Fonologische en taalstatistische regelmatigheden, fonotactische regels Fonemen alleen initieel of in off set Welke? Welke fonemen hebben plaatsafhankelijke allofonen? Spreekpauze

43

44 Voorspellingen over taalstructuur Spraak is geluid dat snel vervaagt Begininformatie is belangrijk voor herkenning Zie je dat terug in de taal?

45 Voorspellingen over taalstructuur Spraak is geluid dat snel vervaagt Begininformatie is belangrijk voor herkenning Zie je dat terug in de taal? Meer verschillende beginklanken dan eindklanken Meer verschillende beginlettergrepen Woordbegin onaangetast door context: vooral anticiperende assimilatie (p. 203); klopt dat voor het NL?

46 Woordbegin onaangetast door context: vooral anticiperende assimilatie (p. 203); klopt dat voor het NL? Ja, behalve voor obstruent-fricatief = persevererend op saterdag, stofsak, zoutsuur Maar weinig minimale paren +/- stem fricatieven Wel plosieven en daar zie je weer anticiperende assimilatie = avdoen, mizdaat

47 Vragen hoofdstuk 11 Marike Kempen Jeanette de Berg Anke Bekkenutte Maaike de Boer