College Spreken en Verstaan 9 De verwerving van spraakklanken Hoofdstuk 10 De waarneming van spraak
Informatie college via Hugo Quené http://www.hugoquene.nl/sv
De verwerving van spraakklanken Anniek van der Zee-van Doornik
Hoofdstuk 10 De waarneming van spraak
Spraakwaarneming Waarneming van spraak = waarneming van geluid Luchtdrukverstoringen > oor > zenuwimpulsen > hersenen > geluid
Het oor Anatomie en fysiologie gehoor Wat is het verschil?
Het oor Anatomie en fysiologie gehoor Wat is het verschil? Bouw en Functie Bouw wordt pas interessant als functie wordt besproken, fysiologische functie pas duidelijk als bouw bekend is
Het oor Perifere gehoor: Het uitwendige oor (Buitenoor): oorschelp en gehoorgang. Gehoorgang is resonator die 1-4 khz versterkt (spraakgebied) Middenoor: tussen trommelvlies en ovale venster, hamer, aambeeld, stijgbeugel = gehoorbeentjesketen Versterking beweging via gehoorbeentjes Aanspanningsreflex bij harde geluiden, bv concert
De cochlea
Relatie trilling en reactie basilair membraan Ovale venster = basis bij stijgbeugel in stijve deel bovenste kamer Ronde venster = einde in stijve deel onderste kamer Membraan in begin dikke basis = snelle trillingen, hoge frequenties Membraan brede punt = langzame trillingen, lage frequenties Locatie deining = afhankelijk van frequentie Omvang deiningsgebied = intensiteit
Bewegingsgedrag basilair membraan Verdubbeling frequentie = verschuiving uitwijking 3 mm richting ovale venster Spreiding uitwijking is altijd richting ovale venster, dus richting hogere frequenties Hoe weet het brein waar er deining ontstaat op het basilair membraan?
Hoe weet het brein waar er deining ontstaat op het basilair membraan? Over de hele lengte bevinden zich 15.000 haarcellen. Elke haarcel of het stukje membraan waar het zich bevindt deint en vuurt een zenuwimpuls af als het zo is. Zo kunnen hersenen bijhouden waar langs membraan deining ontstaat en welke frequenties in het geluid aanwezig zijn. Uit spreiding van vurende haarcellen kan intensiteit opgemaakt worden.
Waaruit kan het gehoor frequentie-informatie afleiden?
Uitwendig deel CI?
Inwendig deel CI?
Criteria voor cochleaire implantatie Toonaudiogram: > 120 db, > 100 db, 90. > 75 db gehoorverlies Spraakaudiogram: minder dan 30% CVC woordherkenning Intacte gehoorzenuw Beste oor = hoortoestel Rechteroor of linkeroor?
Demo geluid CI Ingesproken zin simulatie 1, 2, 4, 8, 32 kanaals electrode systeem en originele zin Muziek: 4, 8, 16, 32 kanaalselectrode Ingesproken zin van origineel naar 32, 16, 8, 4, 2, 1 kanaals electrode
Effect CI op spraakwaarneming Welke spraakverstaanscores verwacht je na cochleaire implantatie bij: Plotsdove volwassenen (postlinguaal)? Volwassenen die al 20 jaar doof zijn (prelinguaal)? Congenitaal dove baby s die op eenjarige leeftijd een implantaat krijgen?
Gevoeligheid van het gehoor Welke veranderingen in fysisch signaal leiden tot verandering in gehoorsindruk? Psycho-akoestiek of psychofysica
Eigenschappen spraakgeluiden Productie Akoestiek Perceptie Herhalingsfreque ntie stembandtrilling Vocale inspanning Supraglotalle systeem Timing spraakorganen Grondfrequentie F 0 Intensiteit, spectrale helling Formanten (F 1 - Fn) Fysieke tijdsduur Toonhoogte Luidheid Klankkleur Waargenomen duur
Absolute hoorbaarheid Kunnen we elke luchtdrukverstoring horen? Wat gebeurt er bij een heel sterke luchtdrukverstoring?
Absolute hoorbaarheid Hoorbare luchtdrukverstoring alleen tussen frequenties van 20-20.000 Hz, en intensiteiten 0-120 db Zwakste geluid dat we kunnen horen = bij afspraak 0 db; pijngrens = 120 db Elke toename van 10 db is voor gehoor constante toename. 1 db kleinste verschil dat we kunnen horen
Lage frequenties moeilijker hoorbaar dan hoge frequenties, zie isofonen figuur 10.4 Beste waarneming tussen 2000-5000 Hz (spraak)
Isofonen
Hoorbaarheid van verschillen JND Just Noticeable Difference Discriminatietaak AX, 75% correct waargenomen verschil Waarom is kennis over de gevoeligheid van het gehoor voor allerlei geluidsverschillen van belang?
Maskering: gelijktijdig
Maskering Gelijktijdige maskering en ongelijktijdige maskering Lage toon maskeert hoge toon sterker dan omgekeerd Hoe verklaar je dat?
Kritieke band Kritieke band: Het gebied waarbinnen tonen elkaars waarneembaarheid (via gelijktijdige maskering) beïnvloeden
Harmonische Demo: afstand tussen harmonischen/boventonen is voor gehoor hulpmiddel om toonhoogte te bepalen
Voorwaartse maskering Geluid wordt even minder hoorbaar, na een ander geluid Meer maskering bij op elkaar lijkende geluiden Hoe lang duurt de ongevoeligheid? Welk kenmerk van de plofklank voorkomt maskering door voorgaande klinker?
Psychofysische schalen Perceptieve schalen Toonhoogte Mel-schaal: luisteraars stellen toonhoogte in langs referentietoon van 1000 Hz (= 1000 mel) Semitonen schaal:12 semitonen = 1 octaaf. Basisfrequentie = 50 Hz Verdubbeling frequentie = 1 octaaf verschil St = 39,86 x log (Hz/basisfrequentie) Verschil tussen 50 en 100 Hz is dan 39,86 x log 2 = 12 semitonen (11,99 st) Bark en Equivalent Rectangular Bandwidth schalen Semitoon en ERB, melodie van spraak
Herkennen van spraakklanken Articulatorisch verschil vocalen en consonanten? Auditief verschil vocalen en consonanten?
Herkennen van spraakklanken Articulatorisch verschil vocalen en consonanten? Auditief verschil vocalen en consonanten? Oor herkent spectrale toppen Relatief verschil in intensiteit Stemhebbendheid = toonhoogtegewaarwording Oor heeft referentie nodig, meerdere klanken zoals in een syllabe
Auditieve verschillen tussen klinkers Ligging van formanten in spectrum Tweeklank: richting van de verandering Duurverschillen bv korte a en lange aa
Auditieve verschillen tussen medeklinkers Obstruenten Sonoranten
Plofklanken Stilte en korte explosie Ruis p-t-k zorgt voor breedbandige stimulering op verschillende delen basilair membraan F2 verandering klinker voor de stilte F2 verandering klinker na de knal Verschil +/- stem?
Verschil plofklanken en fricatieven?
Fricatieven Stille, formantloze deel plofklanken wordt opgevuld met ruis Ruis van fricatieven is minder abrupt en duurt langer Minder duidelijke formantveranderingen agv articulatieplaats +/- Stem niet in toonhoogte maar vooral in informatie in ruisduur en -intensiteit
Sonoranten Nasalen Halfklinkers Liquidae /h/
Gesproken context Drie soorten contextinformatie 1. Spectrale normering 2. Temporele normering 3. Coarticulatie
Gesproken context Drie soorten contextinformatie 1. Spectrale normering: kort zinnetje zodat we eigenaardigheden van spreker herkennen (bv dovenspraak) 2. Temporele normering: door tempo van volgende klanken 3. Coarticulatie: bij segmenteren en knippen CVC syllabe zijn klanken toch herkenbaar, bv door informatie in formanttrandities
Rechteroorvoordeel Gespecialiseerde verwerking van spraak door linkerhersenhelft Linkerhersenhelft vooral contact met rechter lichaamshelft Rechteroor gespecialiseerd in spraakwaarneming? Ja, spraakgeluiden worden sneller en doeltreffender verwerkt door rechter- dan door linkeroor
Categorische perceptie Categoriale waarneming Sterke indeling in twee categorieen fonemen = efficient Irrelevante, betekenisloze verschillen worden niet waargenomen Test = identificatie en discriminatietaak met stimuli op een continuum tussen twee fonemen bv ba-da of pop-kop
Continuum pop-kop Akoestische verschil tussen pop-kop op 8 stappen continnum is gelijk Toch hoor je dit verschil pas ongeveer in het midden van het continuum Daar ligt de foneemgrens
Typische categorische perceptiecurve 100 80 60 40 20 0 1 2 3 4 5 6 7 8
Motor theory of speech perception Categorische perceptie gevolg van categorische articulatie Ba-Da = sterke categorische waarneming omdat we geen klanken tussenin kunnen maken Spraakwaarneming = beeld dat luisteraar maakt van spraakproductieproces dat eraan ten grondslag ligt
Adaptatie Criterium onderscheid tussen klanken verandert agv gewenning Bv lang en kort = 100ms, na veel aanbiedingen van heel korte klinkers wordt lang oordeel korter dan 100ms Pasgeborenen en dieren vertonen ook adaptatie en categorische waarneming => we gebruiken spraakgeluiden waar het gehoor van nature al gevoelig voor is Ook in productie: papa en mama eerste woordje
Motor theory of speech perception Categorische perceptie gevolg van categorische articulatie Ba-Da = sterke categorische waarneming omdat we geen klanken tussenin kunnen maken Maar pop- kop (top?) Tussen p en k is geen t perceptie?
Vragen in het boek 1-5 Wat is de functie van het middenoor? Wat is het gevolg van frequentieverandering voor beweging basilair membraan? En intensiteitsverandering? Hoe noemen we het frequentiegebied waarin gelijktijdige tonen elkaars waarneming beïnvloeden? Hoe groot is dat gebied ruwweg? Wat is JND? Wat is het effect van maskering op waargenomen scherpte klinkerformanten?
Vragen in boek 6-10 Als we aak achterstevoren afdraaien horen we gaa. Hoe verklaar je verandering plofklank in fricatief? Obstruenten kunnen we verdelen in +/- stem. Is stembandtrilling het belangrijkste verschil? Waaraan horen we dat een spraakklank een klinker is? Wat is cue-trading? Geef een voorbeeld. Hoe horen we bij een plofklank wat de articulatieplaats is?
Vragen in boek 11-14 Klinkers in context beter te verstaan dan los. Hoe komt dat? Hoe kunnen we aantonen dat luisteraar ook gebruik maakt van visuele informatie? Kenmerken van klanken worden herkend in brein niet in oor. Hoe kun je dit aantonen? Als we in figuur 10.8 (bovenste paneel) de even harmonischen weglaat welke toon hoor je dan? En als je de oneven weglaat?
Opdracht 4 vrijwilligers Maak 17 vragen volgende hoofdstuk 11 Vraag 1-4 Vraag 5-8 Vraag 9-12 Vraag 13-17 Coordinator verzamelen vragen en verwerken in word document
Vervolg cursus Woensdag 12 januari College Hoofdstuk 11 Hertkenning van Gesproken Woorden Vrijdag 14 januari Laatste practicum College Hoofdstuk 12 Prosodie: functies Woensdag 19 januari Laatste college, vragen + samenvatting Vrijdag 21 januari Zelfstudie voor tentamen en practicumverslag