Analyse spraakspectrogram

Transcriptie

1 Analyse spraakspectrogram Heidi Holvoet - Online studiebegeleiding Inhoudsopgave 1 Omschrijving 2 2 Spraakklanken registreren Signaal Spectrum Spectrogram Eigenschappen van de verschillende types spraakklanken Stemhebbende en stemloze spraakklanken Formanten Analyse spraakspectrogrammen Voorbeeld Lessius Voorbeeld De bal vloog over de schutting Audio analyse programma Spectrogram Opmerkingen Dit document is bestemd voor, voor persoonlijk en niet-commercieel gebruik. Het document moet in zijn geheel en onveranderd gebruikt worden. Hoewel de grootste zorg besteed is aan de correctheid van de inhoud, aanvaardt de auteur geen verantwoordelijkheid voor fouten of schade ondervonden ten gevolge daarvan. 1

2 Fysica - Analyse spraakspectrogram 1 2 / 12 Omschrijving Analyse van een spraaksignaal en bijhorend smalbandspectrogram. We bekijken eerst de verschillende methodes om gemeten spraaksignalen voor te stellen en te analyseren. Daarna behandelen we de verschillende spraakklanken en hun typische eigenschappen, wat zal toelaten om de verschillende types klanken te herkennen in de spectrogrammen. Ten slotte analyseren we dan in meer detail ree el opgemeten signalen. Ter vergelijking refereren we hieronder soms naar je voorbeeldfiguur (Figuur 1). Opmerking. Voor verdere gedetailleerde literatuur kan je bijvoorbeeld het boek van Nooteboom en Cohen [1] bekijken, met een beetje geluk vind je het hier in de bibliotheek: Figuur 1: Voorbeeld. c 2007 Heidi Holvoet - GraspScience.com

3 Fysica - Analyse spraakspectrogram 3 / 12 2 Spraakklanken registreren 2.1 Signaal De geluidstrillingen die uit spraak voortkomen, geven aanleiding tot een spanningsverschil dat gemeten kan worden. Dit wordt gevisualiseerd in een oscillogram: de gemeten spanning, oftewel amplitude, als functie van de tijd. Dit komt overeen met het signaal bovenaan in Figuur 1. De amplitudespanning wordt meestal omgezet in decibels [db] om de luidheid van het gemeten geluid uit te drukken. Soorten geluidsignalen: toon en ruis. Het verloop van de gemeten amplitude is een golfvorm, die periodiek of a-periodiek kan zijn. In Figuur 2 worden twee stukken uit een signaal uitvergroot: de uitspraak van de klinker [e] is een periodiek signaal en de stemloze medeklinker [s] is a-periodiek. Periodieke signalen duiden we doorgaans aan als tonen of tonaal en a-periodieke als ruis. Figuur 2: Uitvergroting van een periodiek signaal (links) en een a-periodiek signaal [2]. Een signaal is periodiek als de golfvorm zich binnen het signaal telkens herhaalt, zoals de eerste uitvergroting in Figuur 2. Dergelijke golfvorm heeft een karakteristieke periode T (eenheid: [s]): dit is het kleinste zich herhalende deel van de golfvorm. Deze definitie is geïllustreerd in Figuur 3. De afgebeelde golfvorm komt overeen met een samengesteld signaal: de som van meerdere periodieke signalen. Zodoende zijn er ook meerdere periodes T : één overeenkomend met elk deelsignaal.

4 Fysica - Analyse spraakspectrogram 4 / 12 Figuur 3: Illustratie van de periode T in een typische golfvorm van een periodieke geluidstrilling (hier uitgedrukt in arbitraire luchtdrukeenheden, overeenkomend met de amplitude van het signaal) [1]. 2.2 Spectrum De hierboven gedefinieerde periodetijd T bepaalt direct de toonhoogte van het geluid, uitgedrukt als de frequentie f = 1/T (eenheid [1/s] = [Hz]). De amplitude van het signaal kan dan ook uitgezet worden als functie van deze frequentie, en meer precies van elke frequentie van de deelsignalen in geval van een samengesteld signaal. Het resultaat is een spectrum. Het spectrum voor een periodiek signaal zoals in Figuur 3 zie je in Figuur 4. Figuur 4: Gedeelte van het spectrum overeenkomend met het signaal in Figuur 3 [1]. De eerste lijn in het spectrum komt overeen met de grondtoon: de laagste frequentie van het gemeten stemgeluid. De hogere frequenties zijn de boventonen. Grondtoon en boventonen worden samen ook harmonischen genoemd. De grondtoon is dan de eerste harmonische, de eerste boventoon de tweede harmonische, etc. Bij ruis zien we in het spectrum niet de duidelijk gescheiden spectrale componenten zoals in Figuur 4. Het signaal bevat immers in principe een oneindig aantal frequentiecomponenten. Men beschouwt typisch twee soorten ruis: witte ruis en roze ruis. Witte ruis bevat alle frequentiecomponenten evenveel terwijl bij roze ruis de lage frequentie domineren. (De naamgeving is naar analogie met lichtspectra: wit licht bevat alle frequenties, rood

5 Fysica - Analyse spraakspectrogram 5 / 12 licht bevat meer lage dan hoge frequenties.) Dit geeft duidelijk verschillende spectra zoals geïllustreerd in Figuur 5. De zacht aflopende roze ruissignalen zijn voor ons gehoor meestal aangenamer te horen. De meeste natuurlijke ruissignalen zijn witte ruis en horen we vaak als scherpe sisklanken. Figuur 5: Signaal en spectrum van witte ruis (boven) en roze ruis [2]. 2.3 Spectrogram Een vaak gebruikte methode om de fysische eigenschappen van een spraakgeluid weer te geven is het spectrogram (combinatie van spectrum en oscillogram). Amplitude en frequentie worden gelijktijdig uitgezet als functie van de tijd: frequentie op de y-as en amplitude als de mate van zwarting (cfr. de tweede en derde plot van je voorbeeldfiguur Figuur 1). Zo laat een spectrogram toe een indruk te krijgen van het verloop in de tijd van het spectrum. Voor de analyse van spraak worden de gemeten signalen vaak door een filter gestuurd. Er bestaan verschillende soorten filters, afhankelijk van wat ze met welke frequenties doen (bepaalde frequenties doorlaten of tegenhouden, dan wel verzwakken of versterken). De smalband- en breedbandspectrogrammen waarover hier sprake zijn bekomen met zogenaamde bandfilters. Deze laten frequenties binnen een bepaald gebied door, en verzwakken alle daarbuiten gelegen frequenties. Een breedbandfilter heeft een grote bandbreedte (typisch 300 Hz) en laat dus een groter frequentiegebied door. Hierdoor is de nauwkeurigheid waarmee frequenties van elkaar gescheiden worden redelijk slecht, maar de nauwkeurigheid waarmee verschijnselen in de tijd van elkaar gescheiden worden redelijk goed. Daardoor kan je in een breedbandspectrogram wel formanten (zie verder) herkennen, maar geen afzonderlijke harmonischen (de hierboven gedefinieerd grond- en boventonen. De smalbandfilter heeft typisch een bandbreedte van slechts 25 Hz en heeft daardoor een veel beter oplossend vermogen voor frequenties. Daardoor kan je de afzonderlijke harmonischen goed herkennen. Op jouw voorbeeldfiguur Figuur 1 zie je dit laatste het duidelijkst geïllustreerd doordat het smalbandspectrogram duidelijke horizontale lijntjes vertoont: dit is de scherpte van het oplossend vermogen voor frequenties. Figuren 6 en 7 tonen elk ook duidelijc 2007 Heidi Holvoet - GraspScience.com

6 Fysica - Analyse spraakspectrogram 6 / 12 ke voorbeelden van een breedband- en een smalbandspectrogram, respectievelijk, van eenzelfde spraakfragment. Figuur 6: Boven: oscillogram. Midden: spectrum bij t=0.5 s. Onder: breedbandspectrogram [2]. 3 Eigenschappen van de verschillende types spraakklanken 3.1 Stemhebbende en stemloze spraakklanken De klanken die we horen als iemand spreekt zijn gefilterde brongeluiden, dwz de spreker produceert een geluid en dat wordt dan gefilterd door de (stand van de) mond-keelneusholte. De manier waarop het brongeluid geproduceerd wordt, bepaalt de classificatie van de klanken als stemhebbend dan wel stemloos. Stemhebbende klanken: klinkers en stemhebbende medeklinkers /m,n,b,d,- z,l/. De stemhebbende klanken ontstaan door stembandtrillingen, letterlijk het laten trillen van de stembanden. Dit brongeluid wordt dan gefilterd door de mond-keelneusholte en resulteert in de klinkers en stemhebbende medeklinkers zoals /m,n,b,d,z,l/. Het stembandgeluid is periodiek en deze klanken hebben dus een voorspelbaar signaal, ttz. een steeds weerkerende vorm (cfr. Figuur 3). De lagere frequentiecomponenten zijn sterker dan de hogere. Stemloze klanken: /p,t,k,f,s,x/. De stemloze klanken ontstaan uit een luchtstroom uit de longen die door een sterke vernauwing van de mondholte worden geperst

7 Fysica - Analyse spraakspectrogram 7 / 12 Figuur 7: Boven: oscillogram. Midden: spectrum bij t=0.5 s. Onder: smalbandspectrogram [2]. of na plotse opening van de mondholte vrijgelaten worden: de wrijfklanken (of fricatieven) /f,s,x/ en de plofklanken /p,t,k/, respectievelijk. Deze naamgeving kan je gemakkelijk begrijpen als je de medeklinkers even uitspreekt. Stemloze klanken zijn ruis. Deze eenduidige classificatie is evenwel niet alles: er bestaan ook klanken waarbij een stembandtrilling gecombineerd wordt met een ruisgeluid: stemhebbende wrijfen plofklanken (terwijl plof- en wrijfklanken normaal gezien stemloos zijn). Bij de stemhebbende plofklanken /b,d/ wordt de ruis bijvoorbeeld gemaakt door afsluiting en plotselinge opening van de mondholte. Bij de stemhebbende wrijfklanken /v,z/ ontstaat de ruis door vernauwing van de mondholte. De luchtstroom vanuit de longen wordt sterk afgeremd door de trillende stembanden, waardoor de ruis gecreëerd door stemhebbende wrijf- en plofklanken steeds zwakker is dan de ruis van de stemloze. 3.2 Formanten In de praktijk geven metingen van een periodiek spraakgeluid zelden een spectrum zoals in Figuur 4. Dat spectrum kwam overeen met het brongeluid van een klank. Zoals hierboven gezien, werkt de mond-keel-neusholte dan als een filter en dat bepaalt de klank die we uiteindelijk waarnemen verder: afhankelijk van de stand van de mondholte worden bepaalde frequentiecomponenten versterkt en andere dan weer verzwakt. Ook de verwerking via computerprogramma s heeft zijn invloed op hoe het spectrum eruit ziet. De versterkingen zijn in het spectrum terug te vinden als pieken, de verzwakkingen

8 Fysica - Analyse spraakspectrogram 8 / 12 als dalen. Vooral bij klinkers is de resonantie groot genoeg om echt pieken en dalen te creëren. De plaatsen van de pieken en de dalen hangen samen met de vorm van de filter, ttz. van de stand van de spraakorganen en dus van de klank die de persoon uitspreekt. Ze zijn verder ook afhankelijk van de specifieke bouw van de spraakorganen en dus duidelijk verschillend bij mannen, vrouwen en kinderen. Daardoor zijn de plaatsen van de pieken en de dalen bij vrouwen, mannen en kinderen enigszins verschillend. De pieken noemen we formanten. Formanten worden gekarakteriseerd door hun piekfrequentie (plaats van de piek op de frequentie-as) ofte formantfrequentie, de formantamplitude (amplitude bij piekfrequentie) en bandbreedte (de breedte van de piek, gemeten op 3 db onder de formantamplitude). In Figuur 8 wordt het signaal van de uitspraak van een klinker weergegeven. Bij klinkergeluiden noemen we deze - min of meer - brede pieken in het spectrum formanten [2]. Figuur 8: Spectrale omhullende van de klinker /i/ uitgesproken door een man. De eerste drie formanten zijn aangeduid [2]. Formanten worden dus voornamelijk gebruikt bij de beschrijving van klinkers. De formant met de laagste piekfrequentie heet de F1-formant, de volgende is de F2, daarna F3, etc. en daarbij zijn het de laagste drie formanten die de waargenomen klinkerkleur bepalen. De hoger gelegen formanten kunnen onze oren niet meer onderscheiden en ze worden dan ook normaal niet meegenomen bij de spraakanalyse. Figuur 9 toont de gemiddelde formantfrequenties van de klinkers in het Nederlands. Dit is de figuur zoals op Slide 8 van je Les ppt.

9 Fysica - Analyse spraakspectrogram 9 / 12 Figuur 9: Gemiddelde formant-piekfrequenties voor de verschillende de klinkers in het Nederlands [1]. 4 Analyse spraakspectrogrammen 4.1 Voorbeeld Lessius We hernemen het signaal uit je voorbeeldfiguur, waar het woord Lessius uitgesproken werd in Figuur 10. Ik heb de plots in 5 gebieden verdeeld en ook aangeduid met welke letter(s) elk gebied overeenkomt. Het valt direct op hoe gebieden 1, 2 en 4 gelijkaardig zijn en zich onderscheiden van gebieden 3 en 5. De eerstgenoemde gebieden bevatten periodieke signalen, de laatste zijn ruis. De stemloze wrijfklanken van de /s/ zijn geprononceerd en je ziet ze heel duidelijk als ruis, zowel in het signaal als in beide spectrogrammen (gebied 3 en 5). In het signaal zie je hier de typische weergave van ruis, er is geen duidelijk herkenbare en zich herhalende golfvorm. In de beide spectrogrammen (breed- en smalband) zie je het ontbreken van zwarting in de lage frequentiezone. De overige gebieden, 1, 2 en 4, bevatten periodieke signalen: de periodieke stembandtrillingen van de stemhebbende /l/ en de klinkers /e/ en /i/. De signalen zijn typisch periodische golfvormen. In de spectrogrammen zie je dat hier wel lagere frequentiecomponenten aanwezig zijn (in tegenstelling tot bij de ruissignalen van de /s/). De figuur is niet zeer scherp maar je kan inderdaad toch goed de horizontale lijnen zien in het smalbandspectrum onderaan, waarin je de afzonderlijke harmonischen (gronden boventonen) kan herkennen. De formanten kan je inderdaad in het breedbandspectrum onderscheiden (je kan de waarden van de formantfrequenties F1, F2 en F3 van in Figuur 9 vergelijken met de ligging in het spectrogram). 4.2 Voorbeeld De bal vloog over de schutting Figuur 11 toont het smalbandspectrogram van de zin De bal vloog over de schutting. De letters staan op de juiste plaats bij de figuur aangegeven. De zwarte vertikale stukken komen hier overeen met stilte.

10 Fysica - Analyse spraakspectrogram 10 / 12 Figuur 10: Signaal en spectrogrammen voor het woord Lessius. Bij de klinkers herken je telkens gemakkelijk de typische horizontale golfjes (hier de witte strepen) van de periodieke signalen: de stembandtrillingen van de klinkers (met rood aangeduid op de figuur). Plofklanken, zoals de stemhebbende plofklanken /d/ en /b/ zijn zoals we gezien hebben stembandtrillingen met ruis gecombineerd. We herkennen ze door een typische stilte voor de plof, gevolgd door een korte ruisstoot en dan de aanzet van de periodieke trillingen bij de overgang naar de eropvolgende klinker, zoals in de woorden De en bal. Ook bij de ploffende /t/ in schutting zien we eerst de typische stilte, gevolgd door een korte ruisstoot De stiltes voor de plof heb ik met blauw aangeduid, de ruisstoten met een groen pijltje bovenaan. De wrijfklanken of fricatieve klanken van de /vl/ en /g/ in vloog vertonen ruis, gelijkaardig aan de /s/ in schutting maar bij de laatste overheersen de hogere frequenties sterker. Zoals we gezien hebben is de /v/ een stemhebbende wrijfklank, waardoor de ruis onderdrukt wordt door de stembandtrillingen.

11 Fysica - Analyse spraakspectrogram 11 / 12 Figuur 11: Smalbandspectrogram voor de zin De bal vloog over de schutting. 4.3 Audio analyse programma Spectrogram Op deze site vond ik het programma Spectrogram. Je kan het gratis downloaden voor een testperiode van 10 dagen en eenvoudig installeren. Je kan wat inspreken en je ziet onmiddellijk het signaal en smalbandspectrogram verschijnen. Om verder voeling te krijgen met welke klanken welke karakteristieken vertoont kan je hier zelf ook wat mee spelen. Als je bij Function en daaaronder Scan input de standaardwaarden laat staan en dan op Ok klikt wordt je spraak direct weergegeven. 4.4 Opmerkingen Zoals je me hebt laten weten, weet je op het examen welke tekst is ingesproken. Dat helpt je al direct goed op weg omdat je met bovenstaande weet welke van de meest voorkomende letters periodieke, ruissignalen of een combinatie hiervan produceren. Probeer eerst de uitgesproken letters op de precieze plaatsen te verdelen. Je kan je hiervoor het gemakkelijkst baseren op de klinkers, die zie je duidelijk in het smalbandspectrogram (de horizontale golfjes ). Als je ook het breedbandspectrum hebt, kan je met de eerste drie formantfrequenties controleren of je de juiste klinkers op de juiste plaats hebt. Duidelijke ruissignalen (/s/ is altijd een goeie landmark) kan je in het signaal herkennen en in de spectrogrammen ook vooral door het ontbreken van de lagere frequenties. Werk dan verder met de overige medeklinkers, op basis van de eigenschappen van stemhebbende, stemloze of gecombineerde klanken en de bijhorende periodieke en/of ruissignalen.

12 Fysica - Analyse spraakspectrogram 12 / 12 Referenties [1] Nooteboom S.G., Cohen A. Spreken en Verstaan - Een inleiding tot de experimentele fonetiek. Van Gorcum, [2] Quené H., Inleiding tot de fonetiek - Practicum werkboek. Universiteit Utrecht, 2004.