Biofysisch Practicum Geluid Spraakanalyse Richtinghoren Gehoortest

Transcriptie

1 Biofysisch Practicum Geluid Spraakanalyse Richtinghoren Gehoortest Denise van Barneveld SprintUp Radboud Universiteit Nijmegen

2 Geluiden opnemen In dit practicum zullen jullie je eigen stem gaan analyseren. Hiervoor moeten jullie eerst enkele klanken opnemen en opslaan op de computer. Maak geluiden van ongeveer 3 seconde. Het gaat om de volgende geluiden: Op constante toonhoogte: aa ee ie oo uu ie-aa-ie-aa-ie-aa Let hierbij op dat je een constante toonhoogte houdt. Het wordt dus geen ezel-geluid! Met oplopende toonhoogte: aa Algemene aanwijzingen Leg bij alle antwoorden goed uit waarom je dit als antwoord geeft. Je kunt plaatjes van spectra of spectrogrammen toevoegen, als dit je antwoord verduidelijkt. Met Alt-PrintScreen kun je een kopie van het actieve venster maken.

3 Spraak Het bron-filtermodel Dit model beschrijft ons spraaksysteem als een bron, een filter en de spraak. De bron bestaat uit de luchtstroom die uit de longen komt en de stembanden die deze lucht in trilling brengen. Het spectrum bestaat uit de grondfrequentie van deze trilling en de harmonische boventonen. Het filtergedeelte bestaat uit de mond- en keelholte. Deze holtes versterken bepaalde frequenties (resonantiefrequenties) en verzwakken andere frequenties. Dit staat weergegeven in de middelste grafiek. De pieken in deze grafiek zijn dus deze resonantiefrequenties. Deze worden formanten genoemd. Elke klinker heeft zijn eigen formantenpatroon. Het filterdeel filtert dus het geluid dat uit de bron komt, wat resulteert in spraak. In het spectrum van de spraak zie je de formanten (resonantiefrequenties) weer terug als de pieken.

4 Handleiding bij PRAAT Start het programma PRAAT. Er verschijnen dan twee windows, Praat Objects en Praat Picture. Meestal hebben we te maken met Praat Objects. In dit window kunnen we geluid-files inladen, de file kiezen die we willen analyseren. Hieronder staat een algemene uitleg over de analyses die jullie gaan doen in de practica Grondtoon bepalen en Formanten bekijken. Werk deze uitleg stap voor stap door. Begin maar meteen met de computer erbij. Begin met het inladen van een geluids-file door in het menu van Praat Objects Read/Read from file te kiezen (zie onderstaande figuur). Kies het geluid aa.wav als voorbeeld. Nu is het geluid ingeladen en ga je dit geluid analyseren. Selecteer het object Sound aa en kies vervolgens Edit, de tweede knop in de rechter kolom. Nu verschijnt er een nieuw window. In dit window zie je verschillende panelen. De bovenste (twee, als het een stereo geluid is en één als het een mono-geluid is) zijn een amplitude-tijdrepresentatie van het geluid. Hierin zien de dus de uitslag die het membraan van de microfoon heeft gekregen, toen deze klank werd gemaakt. Het is dus een representatie van de drukgolf die de stembanden, samen met het mond-keelkanaal hebben gemaakt. Eronder staat een grijs vlak met waarschijnlijk rode en blauwe strepen. Dit grijze vlak is de frequentie-tijdrepresentatie van het geluid, die we spectrogram noemen. Hierin zie je hoe de frequenties in de tijd veranderen. Bij dit geluid is de intensiteit van de frequenties (de grijze kleur) constant in de tijd (van links naar rechts hetzelfde). Hoe zwarter de kleur, hoe hoger de intensiteit. De frequentieas staat aan de linkerkant van de figuur gegeven (0 tot 5000 Hz). Als je geen rode strepen ziet, klik je Formant/Show formants. De rode strepen die je nu ziet, zijn de formanten, de resonantiefrequenties van het mond-keelkanaal. Deze lopen van lage (onderaan) naar hoge frequenties (bovenaan). Aan de linker kant staat de schaal gegeven, het is dezelfde schaal als

5 die van de grijze frequentie-tijd representatie. We zien dat de formanten F1, F2 en F3 (van onder naar boven) redelijk constant zijn in de tijd. De hogere formanten zijn minder constant. Als je geen blauwe streep ziet, vink je Pitch/Show pitch aan. Deze blauw lijn geeft de grondtoon (Pitch, in het Engels) van deze klank. De schaal van deze blauwe lijn is in blauw weergegeven aan de rechterkant van de grafiek. In dit geval is de grondtoon Hz. Soms is er ook een gele lijn te zien, die de intensiteit (geluidsterkte) van het geluid weergeeft. Deze kun je aan en uitzetten met Intensity/Show intensity. Je kunt dit geluid beluisteren door op de grijze balken onderaan te klikken. Soms is het nodig een selectie te maken van een stukje van een geluid, bijvoorbeeld voor het precies uitsnijden van een klinker uit een woord. Een selectie maken doe je door met je muis over een gedeelte van de grafieken te slepen. Je ziet dan een roze selectie ontstaan en ook de bovenste grijze balk (onderaan) verdeeld worden. Dan kun je door op de bovenste van de grijze balken te klikken horen of je ook precies de klinker te pakken hebt. Je kunt in- en uitzoomen met de 4 kleine grijze knopjes in de linkeronderhoek. De eerste (all) laat het hele geluid zien. Met in en out kun je in- en uitzoomen. En met sel maak je de selectie beeldvullend.

6 Grondtoon bepalen Begin met het inlezen van aa.wav en druk op Edit. Allereerst zet je alle overbodige informatie uit. Dit doe je door te zorgen dat de géén vinkjes staan bij Pitch/Show pitch (pitch is Engels voor toonhoogte), Intensity/Show intensity en Formant/Show formants. Nu zijn er geen rode, gele en blauwe lijnen meer te zien in het spectrogram. Zoom zo ver in dat je de afzonderlijke trillingen in de tijd-representatie kunt zien. Zorg dat er een vinkje staat voor Pulses/Show pulses. Er verschijnen nu vertikale blauwe lijnen in de tijdrepresentatie van de aa-klank, die de afzonderlijke trillingen voorstellen die de stembanden maken. Het mond-keelkanaalfilter filtert deze trillingen tot bijvoorbeeld deze aa-klank. Opdracht: Bepaal de trillingstijd (de tijd voor één herhaling van het patroon, dus de tijd tussen twee pulsen) en bereken hiermee de grondfrequentie van deze aa-klank. Het programma bepaalt ook automatisch de grondtoon. Hier kunnen we ook naar kijken. Hiertoe zoom je weer uit en zet je de toonhoogte aan. Klik op Pitch/Show pitch. Je ziet nu een blauwe lijn, met bijbehorende as aan de rechterkant. In dit voorbeeld is de toonhoogte vrijwel constant (een vrijwel horizontale rechte lijn). Als je met je cursor ergens op deze blauwe lijn klikt, kun je de toonhoogte aan de rechter zijkant aflezen. Aflezen is meestal niet erg nauwkeurig. Je kunt de computer de grondtoon ook laten berekenen. Maak daartoe een selectie van een stuk waarin de toonhoogte vrijjwel constant is en bepaal de toonhoogte door F5 te drukken. Deze verschijnt in een apart venster. Opdracht: Bepaal de grondtoon op de twee bovenstaande manieren. Scheelt het antwoord van de computeranalyse veel met het aflezen? En komen deze overeen met je antwoord op de vorige vraag? Spectrum bekijken Een andere manier om naar een geluidsignaal te kijken is het spectrum. De klanken zijn opgebouwd uit een grondtoon en boventonen. Idealiter zijn dit dunne pieken in het spectrum, maar door de ruis van het opnemen zijn de pieken nu wat breder. Nu ga je naar één zo n spectrum kijken. Selecteer in het Praat Objects venser Sound aa en klik op Spectrum/To Spectrum. Zorg dat in het venster dat verschijnt fast staat aangevinkt en druk OK. Selecteer in het Objects venster Spectrum aa en klik daarna Edit. Nu zie je het spectrum van 0 Hz (links) tot Hz (rechts). Hiervan zijn de lage frequenties het interessants voor spraakherkenning. Je gaat dus een stukje inzoomen. Dit doe je door View/Zoom te klikken en daarin de range van (from) 0.0 tot (to) 5000 in te vullen en OK te klikken. Nu zie je onderstaand spectrum, van 0 Hz tot 5000 Hz. Met de cursor kun je weer de waardes aflezen.

7 Opdracht: Vind de frequentie van de grondtoon en van de eerste vijf boventonen. Komt je deze grondtoon bekend voor? En controleer of de boventonen ook daadwerkelijk veelvouden zijn van de grondtoon. Opdracht: Deel het spectrum in hoge en lage frequenties, door met de cursor ergens halverwege te klikken. Welke frequenties zijn het belangrijkst voor het herkennen van de spraak? Opdracht: Als je nog tijd over hebt, kun je andere (eigen) klinkers gaan bekijken. Bekijk ook de aa met oplopende toonhoogte. Hoe zie je dit in de toonhoogte grafiek (blauwe lijn)? Je kunt ook kijken of het gelukt is om de ie-aa-ie-aa-klank op constante toonhoogte te produceren. Met welke van de 3 methodes heb je dit gedaan?

8 Formanten bekijken Begin met het inlezen van aa.wav en druk op Edit. Allereerst zet je alle overbodige informatie uit. Dit doe je door te zorgen dat de géén vinkjes staan bij Pitch/Show pitch (pitch is Engels voor toonhoogte), Intensity/Show intensity en Formant/Show formants. Nu zijn er geen rode, gele en blauwe lijnen meer te zien in het spectrogram. Iedere klinker heeft zijn eigen formantenpatroon. In dit practicum ga je kijken of je de verschillende klinkers kunt herkennen aan hun formanten. Eerst ga je de formanten eens nader bekijken. Zorg ervoor dat je in het spectrum alleen de formanten te zien hebt door Pitch/Show pitch en Intensity/Show intensity uit te vinken en Formant/Show formants aan te vinken. Dan kun je je beter concentreren op de rode lijnen van de formanten. Deze formanten zijn de resonantiefrequenties van het mond-keelkanaal. Elke klinker en klank heeft zijn eigen formantenpartoon. Je ziet dat ze liggen op plekken van de pieken in het spectrogram (de donkergekleurde stukken). Als je met je cursor ergens op de formant klikt (op de rode lijn), kun je de frequentie van deze formant aflezen. Deze verschijnt in rood op de frequentie-as (links). Voor een echte analyse van de formanten selecteer je eerst een stuk waarin de formanten duidelijk te zien zijn en een constante frequentie hebben. Met de toetsen F1, F2 en F3 kun je de gemiddelde eerste, tweede en derde formant in de selectie verkrijgen. Deze worden in een nieuw window geopend. Opdracht: Maak een tabel van de eerste drie formanten van de aa-klank voor zowel aflezen als computeranalyse. De formanten kun je ook vinden in het spectrum. Maak daartoe eerst het spectrum van deze Sound aa. Selecteer in het Praat Objects venser Sound aa en klik op Spectrum/To Spectrum. Zorg dat in het venster dat verschijnt fast staat aangevinkt en druk OK. Selecteer in het Objects venster Spectrum aa en klik daarna Edit. Nu zie je het spectrum van 0 Hz (links) tot Hz (rechts). Hiervan zijn de lage frequenties het interessants voor spraakherkenning. Je gaat dus een stukje inzoomen. Dit doe je door View/Zoom te klikken en daarin de range van (from) 0.0 tot (to) 5000 in te vullen en OK te klikken. Nu zie je onderstaand spectrum, van 0 Hz tot 5000 Hz. Om de formanten te vinden, trek je in gedachten een grove lijn over de toppen van het spectrum (zie onderstaande figuur). De toppen van deze lijn geven de formanten. Met de cursor kun je weer de waardes aflezen. Opdracht: Welke frequenties vind je voor de formanten? Ga na of deze overeenkomen met de formanten die je in het spectrogram gevonden had.

9 Opdrachten 1) Bepaal van de lang-aangehouden klinkers (aa, ee, ie, oo, uu) de frequenties van de eerste en tweede formant (F1 en F2) met behulp van de computeranalyse. Maak een tabel van deze waardes en zet deze uit in een F1-F2 vlak (met Excel), waarbij je de eerste formant op de x- as zet en de tweede formant op de y-as. Vraag aan je klasgenoten hun resultaten, zet deze er ook bij en vergelijk deze gegevens met gegevens in de literatuur (zie bijvoorbeeld Wikipedia). 2) Bekijk het spectrogram met formanten van de ie-aa klank. Kun je hierin de ie en ee herkennen op basis van de formanten? 3) Bekijk het spectrogram, de formanten en de grondtoon van de aa met oplopende toonhoogte. Wat valt je op? En wat zou je verwachten op grond van het bron-filter model? Als je het practicum Grondtoon bepalen nog niet gedaan hebt: met Pitch/Show pitch kun je de grontoon in het spectrogram laten zien. Er verschijnt dan een blauwe lijn die de grondtoon voorstelt. Let op: de bijbehorende frequentie-as staat aan de rechter kant! 4) Nu ga je kijken of je in een lied ook klanken kunt herkennen aan hun formanten. Lees hiertoe een mp3 (Nederlandstalig, want Engelstaligen hebben formanten op een andere plek) in en kijk of je daar enkele klinkers (bijvoorbeeld ee, oo, uu) uit kunt herkennen. Waarschijnlijk moet je eerst een stuk inzoomen voordat je het spectrogram in beeld kunt krijgen.

10 Extra opgaves bij PRAAT Intensiteit bekijken We kunnen ook de intensiteit van het signaal bekijken. Daartoe zet je eerst de toonhoogte uit (Pitch/Show pitch), dan klik je op Intensity/Show intensity. Nu verschijnt er een gele lijn met een groene decibelschaal aan de rechterkant van het spectrogram. In dit geval is de intensiteit nagenoeg constant (de lijn loop vrijwel horizontaal), maar dat is vaak anders. Opdracht: Wat is de intensiteit van deze aa-klank? Bekijk ook de intensiteiten van een paar van jullie eigen opgenomen klanken. Reconstructie pulssignaal stembanden Het is mogelijk om de computer een recontructie te laten maken van het geluid dat de stembanden maken, zonder de latere vervorming van het mond-keelkanaal. Dit gaat als volgt: selecteer in Praat Objects Sound aa. Klik op Periodicity aan de rechterkolom en selecteer To pitch (de bovenste optie). Nu verschijnt er een venster waar een aantal waardes in kunt vullen. Laat deze staan zoals ze staan (Time step = 0.0 (=auto), Pitch floor = 75.0, Pitch ceiling = 600.0) en klik OK. Er verschijnt dan een nieuw object onder Sound aa: Pitch aa. Als je nu op Play/Hum klikt, hoor je het geluid dat de stembanden produreren. De invloed van de resonantie in mond en keelholte is dus enorm!

11 Richtinghoren Let op: Gebruik in dit practicum een koptelefoon. Richtinghoren is op twee verschillende mechanismen gebaseerd. Ons brein meet de tijds- of faseverschillen en intensiteitverschillen tussen de twee oren en bepaalt zo de horizontale positie van het geluid. De geluidsfile tijdsverschil.wav laat het effect van een tijdsverschil van 0.45 ms tussen beide oren op de waarneming horen van een lage (500 Hz) en een hoge (2000 Hz) toon. Eerst hoor je de lage toon waarbij het linker oor 45 ms eerder begint dan het rechter oor, daarna begint het rechter oor iets eerder dan het linker oor. Dit wordt 4 keer herhaald. Daarna volgt het zelfde voor de hoge toon. In de onderstaande figuur zie je de tijdsrepresentatie van het eerste stuk van deze geluiden. Het geluid komt hier later aan in het rechter oor dan in het linker oor. Opdracht: Bij welke toon hoor je het richtingsverschil het sterkst? Hoe kan dat? Als we hetzelfde trucje toepassen met de intensiteitsverschillen, hoor je wel beide toonhoogtes op een aparte locatie in het hoofd. Dit kun je beluisteren in de geluidsfile intensiteitsverschil.wav. Bij deze geluiden wordt het ene oor iets harder afgespeeld dan het andere. In de grafiek op de volgende pagina zie je de tijdsrepresentatie van deze geluiden. In het dagelijkse leven (dus zonder koptelefoon) kom je dit soort tonen nooit tegen. De intensiteitsverschillen die je daar tegenkomt, komen door een hoofdschaduw. Lage tonen kunnen om objecten heen buigen (denk aan een zware bas die je wel hoort als je tijdens een popconcert naar de grond bukt), terwijl hoge tonen worden tegengehouden door je hoofd. Er ontstaat dan een

12 zogenaamde hoodfschaduw, waarbij hoge tonen dus wel en lage tonen geen intensiteitsverschillen hebben. Opdracht: Vat nog eens samen welke mechanismen het belangrijkst zijn voor het horen van richting van lage en hoge tonen. Het cocktailparty effect In ruizige omgevingen zoals tijdens een feestje, is het meestal wel goed mogelijk om een gesprek te voeren. Je gaat nu onderzoeken of richting helpt om een toon in ruis te detecteren. Start het programma SoundTests.exe en kies in het menu Tests/Cocktail Party Effect. Je bepaalt de drempel voor een stimulus (samengestelde tonen van 200 tot 3500 Hz) gemengd met een 8000 Hz brede ruisband. Je gaat de drempel wanneer dezelfde stimulus aan beide oren wordt aangeboden vergelijken met de drempel wanneer de stimulus in het ene oor ietwat (360 µs) later wordt aangeboden. In de eeste situatie komt de stimulus dus van recht van voren (er is geen tijdsverschil tussend de twee oren). In de laatste situatie wordt er dus een tijdsverschil tussen de oren aangeboden en lijkt het geluid van links of rechts te komen. De ruis is in beide condities gelijk in beide oren. Opdracht: Start met geen tijdsverschil (no delay) en de ruis op nul en verhoog de signaalruisverhouding (SNR) totdat je de stimulus in de ruis kunt onderscheiden. Bepaal de drempel. Dit is de SNR waarbij je het signaal net wel kunt horen. Herhaal dit met een tijdsverschil van 360 µs. Luister naar de stimulus en beschrijf wat er verandert in de kwaliteit van de stimulus door een tijdsverschil tussen de twee oren op te leggen. Hoe verklaar je het verschil tussen beide bepalingen? Opdracht: Hebben mensen die aan één oor doof zijn ook dit vermogen? Motiveer je antwoord. Waarvan zal dit verder afhangen?

13 Toondrempelaudiogram meten Let op: Gebruik in dit practicum een koptelefoon. Ons gehoor is niet voor alle geluidsfrequenties even gevoelig. Dit is eenvoudig zichtbaar te maken met een audiogram waarin de hoogte van de drempelintensiteit van een toon wordt uitgezet tegen de frequentie van de toon. In de volgende proef bepaalt een proefnemer de drempelintensiteit voor verschillende frequenties bij een proefpersoon. Kies zelf wie proefnemer en wie proefpersoon is. Als er nog tijd over is kun je ook andere personen in jullie groepje testen. Opdracht: Start het programma SoundTests.exe en kies in het menu Tests/Audiogram. Bepaal voor elke frequentie in het programma de drempelintensiteit, zet je resultaten in een tabel (zodat je medeleerlingen deze kunnen overnemen) en teken de drempels in de onderstaande figuur, uitgezet de frequentie van de toon. Dit doe je als volgt: 1) De drempelwaarden zijn alleen goed te bepalen als het stil is in de omgeving. Maak daarom zo weinig mogelijk lawaai in de proefruimte. In de praktijk wordt een audiogram bepaald in een geluidsarme omgeving. 2) De proefnemer start de drempelbepaling met een duidelijk hoorbare toon. Vervolgens wordt de toon verzwakt totdat de proefpersoon hem niet meer hoort. De proefpersoon mag niet zien wat de proefnemer doet! De proefnemer druk ook af en toe op Blank zodat de proefpersoon niet weet wanneer hij een geluid aangeboden krijgt. In de praktijk zou je de toon moeten versterken totdat de persoon het geluid weer hoort, en vervolgens weer verzwakken. Dit zou een aantal keren herhaald moeten worden om zo de drempel betrouwbaar te bepalen. Dit kost te veel tijd en zullen we hier niet doen. 3) Test de volgende frequenties 125, 250, 500, 2000, 4000 en 8000 Hz. De apparatuur op school is niet nauwkeurig gecalibreerd op toonsterktes. De vorm van de grafiek geeft dus slechts een indicatie. 4) Verzamel de gegevens van klasgenoten en zet deze bij elkaar in een tabel. Bepaal de gemiddelde drempel per frequentie. Nu door je eigen gemeten drempels te vergelijken met de gemiddelde waardes, weet je of je beter of slechter hoort dan je klasgenoten. Zijn er klasgenoten met een zogenoemde disco dip? Dit is een uitval bij Hz, die ontstaat door langdurige blootstelling aan lawaai, of muziek, bijvoorbeeld van een mp3- speler. Opdracht: Geef de theoretische grenzen van het gehoorbereik van gezonde mensen aan in onderstaande figuur. Voor welke frequenties is de proefpersoon het gevoeligst?

14