College Spreken en Verstaan 9. De verwerving van spraakklanken Hoofdstuk 10 De waarneming van spraak

Transcriptie

1 College Spreken en Verstaan 9 De verwerving van spraakklanken Hoofdstuk 10 De waarneming van spraak

2 Informatie college via Hugo Quené

3 De verwerving van spraakklanken Anniek van der Zee-van Doornik

4 Hoofdstuk 10 De waarneming van spraak

5 Spraakwaarneming Waarneming van spraak = waarneming van geluid Luchtdrukverstoringen > oor > zenuwimpulsen > hersenen > geluid

6 Het oor Anatomie en fysiologie gehoor Wat is het verschil?

7 Het oor Anatomie en fysiologie gehoor Wat is het verschil? Bouw en Functie Bouw wordt pas interessant als functie wordt besproken, fysiologische functie pas duidelijk als bouw bekend is

8 Het oor Perifere gehoor: Het uitwendige oor (Buitenoor): oorschelp en gehoorgang. Gehoorgang is resonator die 1-4 khz versterkt (spraakgebied) Middenoor: tussen trommelvlies en ovale venster, hamer, aambeeld, stijgbeugel = gehoorbeentjesketen Versterking beweging via gehoorbeentjes Aanspanningsreflex bij harde geluiden, bv concert

9

10

11

12 De cochlea

13

14 Relatie trilling en reactie basilair membraan Ovale venster = basis bij stijgbeugel in stijve deel bovenste kamer Ronde venster = einde in stijve deel onderste kamer Membraan in begin dikke basis = snelle trillingen, hoge frequenties Membraan brede punt = langzame trillingen, lage frequenties Locatie deining = afhankelijk van frequentie Omvang deiningsgebied = intensiteit

15 Bewegingsgedrag basilair membraan Verdubbeling frequentie = verschuiving uitwijking 3 mm richting ovale venster Spreiding uitwijking is altijd richting ovale venster, dus richting hogere frequenties Hoe weet het brein waar er deining ontstaat op het basilair membraan?

16 Hoe weet het brein waar er deining ontstaat op het basilair membraan? Over de hele lengte bevinden zich haarcellen. Elke haarcel of het stukje membraan waar het zich bevindt deint en vuurt een zenuwimpuls af als het zo is. Zo kunnen hersenen bijhouden waar langs membraan deining ontstaat en welke frequenties in het geluid aanwezig zijn. Uit spreiding van vurende haarcellen kan intensiteit opgemaakt worden.

17 Waaruit kan het gehoor frequentie-informatie afleiden?

18 Uitwendig deel CI?

19 Inwendig deel CI?

20

21 Criteria voor cochleaire implantatie Toonaudiogram: > 120 db, > 100 db, 90. > 75 db gehoorverlies Spraakaudiogram: minder dan 30% CVC woordherkenning Intacte gehoorzenuw Beste oor = hoortoestel Rechteroor of linkeroor?

22 Demo geluid CI Ingesproken zin simulatie 1, 2, 4, 8, 32 kanaals electrode systeem en originele zin Muziek: 4, 8, 16, 32 kanaalselectrode Ingesproken zin van origineel naar 32, 16, 8, 4, 2, 1 kanaals electrode

23 Effect CI op spraakwaarneming Welke spraakverstaanscores verwacht je na cochleaire implantatie bij: Plotsdove volwassenen (postlinguaal)? Volwassenen die al 20 jaar doof zijn (prelinguaal)? Congenitaal dove baby s die op eenjarige leeftijd een implantaat krijgen?

24 Gevoeligheid van het gehoor Welke veranderingen in fysisch signaal leiden tot verandering in gehoorsindruk? Psycho-akoestiek of psychofysica

25 Eigenschappen spraakgeluiden Productie Akoestiek Perceptie Herhalingsfreque ntie stembandtrilling Vocale inspanning Supraglotalle systeem Timing spraakorganen Grondfrequentie F 0 Intensiteit, spectrale helling Formanten (F 1 - Fn) Fysieke tijdsduur Toonhoogte Luidheid Klankkleur Waargenomen duur

26 Absolute hoorbaarheid Kunnen we elke luchtdrukverstoring horen? Wat gebeurt er bij een heel sterke luchtdrukverstoring?

27 Absolute hoorbaarheid Hoorbare luchtdrukverstoring alleen tussen frequenties van Hz, en intensiteiten db Zwakste geluid dat we kunnen horen = bij afspraak 0 db; pijngrens = 120 db Elke toename van 10 db is voor gehoor constante toename. 1 db kleinste verschil dat we kunnen horen

28 Lage frequenties moeilijker hoorbaar dan hoge frequenties, zie isofonen figuur 10.4 Beste waarneming tussen Hz (spraak)

29 Isofonen

30 Hoorbaarheid van verschillen JND Just Noticeable Difference Discriminatietaak AX, 75% correct waargenomen verschil Waarom is kennis over de gevoeligheid van het gehoor voor allerlei geluidsverschillen van belang?

31 Maskering: gelijktijdig

32 Maskering Gelijktijdige maskering en ongelijktijdige maskering Lage toon maskeert hoge toon sterker dan omgekeerd Hoe verklaar je dat?

33 Kritieke band Kritieke band: Het gebied waarbinnen tonen elkaars waarneembaarheid (via gelijktijdige maskering) beïnvloeden

34 Harmonische Demo: afstand tussen harmonischen/boventonen is voor gehoor hulpmiddel om toonhoogte te bepalen

35 Voorwaartse maskering Geluid wordt even minder hoorbaar, na een ander geluid Meer maskering bij op elkaar lijkende geluiden Hoe lang duurt de ongevoeligheid? Welk kenmerk van de plofklank voorkomt maskering door voorgaande klinker?

36 Psychofysische schalen Perceptieve schalen Toonhoogte Mel-schaal: luisteraars stellen toonhoogte in langs referentietoon van 1000 Hz (= 1000 mel) Semitonen schaal:12 semitonen = 1 octaaf. Basisfrequentie = 50 Hz Verdubbeling frequentie = 1 octaaf verschil St = 39,86 x log (Hz/basisfrequentie) Verschil tussen 50 en 100 Hz is dan 39,86 x log 2 = 12 semitonen (11,99 st) Bark en Equivalent Rectangular Bandwidth schalen Semitoon en ERB, melodie van spraak

37 Herkennen van spraakklanken Articulatorisch verschil vocalen en consonanten? Auditief verschil vocalen en consonanten?

38 Herkennen van spraakklanken Articulatorisch verschil vocalen en consonanten? Auditief verschil vocalen en consonanten? Oor herkent spectrale toppen Relatief verschil in intensiteit Stemhebbendheid = toonhoogtegewaarwording Oor heeft referentie nodig, meerdere klanken zoals in een syllabe

39 Auditieve verschillen tussen klinkers Ligging van formanten in spectrum Tweeklank: richting van de verandering Duurverschillen bv korte a en lange aa

40 Auditieve verschillen tussen medeklinkers Obstruenten Sonoranten

41 Plofklanken Stilte en korte explosie Ruis p-t-k zorgt voor breedbandige stimulering op verschillende delen basilair membraan F2 verandering klinker voor de stilte F2 verandering klinker na de knal Verschil +/- stem?

42 Verschil plofklanken en fricatieven?

43 Fricatieven Stille, formantloze deel plofklanken wordt opgevuld met ruis Ruis van fricatieven is minder abrupt en duurt langer Minder duidelijke formantveranderingen agv articulatieplaats +/- Stem niet in toonhoogte maar vooral in informatie in ruisduur en -intensiteit

44 Sonoranten Nasalen Halfklinkers Liquidae /h/

45 Gesproken context Drie soorten contextinformatie 1. Spectrale normering 2. Temporele normering 3. Coarticulatie

46 Gesproken context Drie soorten contextinformatie 1. Spectrale normering: kort zinnetje zodat we eigenaardigheden van spreker herkennen (bv dovenspraak) 2. Temporele normering: door tempo van volgende klanken 3. Coarticulatie: bij segmenteren en knippen CVC syllabe zijn klanken toch herkenbaar, bv door informatie in formanttrandities

47 Rechteroorvoordeel Gespecialiseerde verwerking van spraak door linkerhersenhelft Linkerhersenhelft vooral contact met rechter lichaamshelft Rechteroor gespecialiseerd in spraakwaarneming? Ja, spraakgeluiden worden sneller en doeltreffender verwerkt door rechter- dan door linkeroor

48 Categorische perceptie Categoriale waarneming Sterke indeling in twee categorieen fonemen = efficient Irrelevante, betekenisloze verschillen worden niet waargenomen Test = identificatie en discriminatietaak met stimuli op een continuum tussen twee fonemen bv ba-da of pop-kop

49 Continuum pop-kop Akoestische verschil tussen pop-kop op 8 stappen continnum is gelijk Toch hoor je dit verschil pas ongeveer in het midden van het continuum Daar ligt de foneemgrens

50 Typische categorische perceptiecurve

51 Motor theory of speech perception Categorische perceptie gevolg van categorische articulatie Ba-Da = sterke categorische waarneming omdat we geen klanken tussenin kunnen maken Spraakwaarneming = beeld dat luisteraar maakt van spraakproductieproces dat eraan ten grondslag ligt

52 Adaptatie Criterium onderscheid tussen klanken verandert agv gewenning Bv lang en kort = 100ms, na veel aanbiedingen van heel korte klinkers wordt lang oordeel korter dan 100ms Pasgeborenen en dieren vertonen ook adaptatie en categorische waarneming => we gebruiken spraakgeluiden waar het gehoor van nature al gevoelig voor is Ook in productie: papa en mama eerste woordje

53 Motor theory of speech perception Categorische perceptie gevolg van categorische articulatie Ba-Da = sterke categorische waarneming omdat we geen klanken tussenin kunnen maken Maar pop- kop (top?) Tussen p en k is geen t perceptie?

54 Vragen in het boek 1-5 Wat is de functie van het middenoor? Wat is het gevolg van frequentieverandering voor beweging basilair membraan? En intensiteitsverandering? Hoe noemen we het frequentiegebied waarin gelijktijdige tonen elkaars waarneming beïnvloeden? Hoe groot is dat gebied ruwweg? Wat is JND? Wat is het effect van maskering op waargenomen scherpte klinkerformanten?

55 Vragen in boek 6-10 Als we aak achterstevoren afdraaien horen we gaa. Hoe verklaar je verandering plofklank in fricatief? Obstruenten kunnen we verdelen in +/- stem. Is stembandtrilling het belangrijkste verschil? Waaraan horen we dat een spraakklank een klinker is? Wat is cue-trading? Geef een voorbeeld. Hoe horen we bij een plofklank wat de articulatieplaats is?

56 Vragen in boek Klinkers in context beter te verstaan dan los. Hoe komt dat? Hoe kunnen we aantonen dat luisteraar ook gebruik maakt van visuele informatie? Kenmerken van klanken worden herkend in brein niet in oor. Hoe kun je dit aantonen? Als we in figuur 10.8 (bovenste paneel) de even harmonischen weglaat welke toon hoor je dan? En als je de oneven weglaat?

57 Opdracht 4 vrijwilligers Maak 17 vragen volgende hoofdstuk 11 Vraag 1-4 Vraag 5-8 Vraag 9-12 Vraag Coordinator verzamelen vragen en verwerken in word document

58 Vervolg cursus Woensdag 12 januari College Hoofdstuk 11 Hertkenning van Gesproken Woorden Vrijdag 14 januari Laatste practicum College Hoofdstuk 12 Prosodie: functies Woensdag 19 januari Laatste college, vragen + samenvatting Vrijdag 21 januari Zelfstudie voor tentamen en practicumverslag