Samenvatting in het Nederlands Er zijn vele applicaties denkbaar waarbij kunstmatige versnelling van spraak nuttig zou kunnen zijn. Versnelde spraak wordt bijvoorbeeld gebruikt om voicemail-berichten versneld af te luisteren, maar zou ook handig kunnen zijn om lange opnames snel door te kunnen luisteren. Bij de meeste tekst-naar-spraaksystemen kunnen de gebruikers zelf het gewenste voorleestempo instellen. In 1991 werd in Nederland het Electronisch Lezen van een Krant (ELK) project gestart dat als doel had het voor visueel gehandicapten makkelijker te maken om snel kennis te nemen van het nieuws (in dit geval het dagblad Trouw). De digitale tekst van deze krant kon hoorbaar gemaakt worden met behulp van een tekst-naar-spraaksysteem. De spraakkwaliteit en segmentele verstaanbaarheid van het spraak-synthesesysteem waren niet al te best (zie evaluatierapport Jongenburger & van Bezooijen 1992), maar desondanks gaven sommige luisteraars aan dat ze de voorkeur gaven aan een versneld afspeeltempo. Onderzoek uit de jaren 60 (Zemlin, Daniloff & Shriner 1968) had ook al laten zien dat het begrip van versnelde spraak relatief intact blijft bij versnelling tot twee keer het normale tempo, maar dat het luisteren dan wel meer moeite kost. Het ELK evaluatierapport liet ook zien dat de luisteraars snel aan de spraaksynthese gewend raakten. De bevindingen van het ELK-project hebben geleid tot de huidige studie naar de productie en perceptie van snelle spraak. Het hoofddoel van deze studie is om een vergelijking te maken tussen de waarneming van natuurlijke snelle spraak en kunstmatig versnelde spraak. De studie valt uiteen in 4 thema s, te weten: 1. Robuustheid en gemak van verwerking 2. Adaptatie aan snelle spreektempo s 3. Hogere spreektempo s in spraakperceptie dan in spraakproductie 4. Natuurlijk geproduceerde snelle spraak makkelijker te verwerken dan kunstmatig versnelde spraak? Per thema zal hieronder worden uitgelegd om wat onderzocht werd en waarom, wat de experimenten lieten zien en wat hieruit geconcludeerd mag worden met betrekking tot het proces van spraakproductie en spraakperceptie. 1 Robuustheid en gemak van verwerking Het feit dat luisteraars sterk versnelde spraak nog goed kunnen verstaan betekent dat veel van het spraaksignaal kennelijk redundant is, d.w.z. gemist kan worden. In hoofdstuk 2 van deze dissertatie werd de robuustheid van spraakperceptie tegen sterke
SUMMARY IN DUTCH 226 versnelling onderzocht, onder andere door het effect van lexicale redundantie te bekijken. Lexicale redundantie houdt in dat je bij een echt woord niet elke klank hoeft te verstaan om het woord te kunnen herkennen. De verwachting was dat het effect van lexicale redundantie groter zou zijn na tijdscompressie en dit werd onderzocht aan de hand van het verschil in verstaanbaarheid tussen echte woorden en onzinwoorden. De identificatie van echte woorden heeft inderdaad relatief weinig te lijden onder sterke versnelling (ten opzichte van het originele tempo), maar de identificatie van nietbestaande woorden wel. Zo helpt lexicale redundantie om niet-herkende segmenten aan te vullen. Voor de niet-bestaande woorden kon onderzocht worden of de robuustheid tegen versnelling mede afhangt van de segmenten zelf: klanken met een langer steady-state (stabiel) stuk, zoals klinkers en fricatieven, zouden beter bestand moeten zijn tegen tijdscompressie dan klanken met een korter of zelfs geen steady-state stuk (zoals plosieven). De identificatie van klinkers en fricatieven bleek inderdaad het minst te lijden onder sterke versnelling en de identificatie van plosieven het meest. Hoewel sterk versnelde spraak nog goed verstaanbaar kan zijn kost het luisteren ernaar meer moeite dan het luisteren naar spraak op een gewoon tempo. In hoofdstuk 3 werd onderzocht in hoeverre die extra moeite meetbaar is: het verwerken van normale spraak werd vergeleken met het verwerken van versnelde maar nog goed verstaanbare spraak (ongeveer 1.5 keer sneller dan normaal). De toegenomen verwerkingsdruk vertaalde zich niet in langere reactietijden (die waren juist iets korter in de versnelde dan in de normale conditie), maar wel in een groter foutpercentage. Luisteraars slagen er dus redelijk in hun verwerkingssnelheid aan te passen aan het snelle afspeeltempo, maar wel ten koste van de nauwkeurigheid. De redundantie van normaal-tempo spraak maakt de verwerking ervan makkelijker en daardoor ook beter bestand tegen verstoringen. 2 Adaptatie aan snelle spreektempo s In hoofdstuk 2 werd ook het proces van adaptatie (of gewenning ) aan snelle spraak onderzocht. Voor adaptatie is slechts een beperkte hoeveelheid materiaal nodig: aan het eind van het experiment (na ongeveer 30 minuten) leek het erop dat de identificatiepercentages niet meer verder stegen. De gewenning die optrad bij de proefpersonen uit het eerste experiment was echter na een paar maanden weer verdwenen: luisteraars die niet hadden meegedaan aan het eerste experiment scoorden nauwelijks slechter dan luisteraars die voor de tweede keer naar sterk versnelde spraak luisterden. Dit betekent dat deze gewenning geen expliciet leerproces is, maar een flexibel aanpassen aan de huidige luisteromstandigheden.
SUMMARY IN DUTCH 227 3 Hogere spreektempo s in spraakperceptie dan in spraakproductie In hoofdstukken 4 en 5 werd snelle spraak ontlokt aan sprekers. Als de sprekers gedwongen werden zeer snel te spreken (zonder dat het absoluut onverstaanbaar werd), haalden ze articulatiesnelheden van ongeveer 10 lettergrepen per seconde (vgl. hun normale spreektempo van gemiddeld 6.7 lettergrepen/sec). Hoewel sprekers erg hard hun best doen slagen ze er niet in hun articulatiesnelheid te verdubbelen. En dat terwijl de verstaanbaarheid van spraak die kunstmatig versneld is tot tweemaal de originele snelheid nauwelijks problemen oplevert voor luisteraars. Deze discrepantie tussen productie en perceptie moet veroorzaakt worden door beperkingen aan de spraakproductie. Articulatoren hebben een minimum duur nodig om hun articulatorisch/akoestisch gedefinieerde doel te bereiken (Kiritani 1977; McClean 2000; Perkell 1997). Zo is de kaak is een relatief langzame articulator. Afgezien van beperkingen aan de maximale spreeksnelheid op het laagste fysische niveau, zijn er wellicht ook beperkingen op het motorcommando-niveau of op hogere spraakplanningsniveaus. De discrepantie tussen wat mensen aankunnen als luisteraars en wat ze zelf kunnen produceren wordt dus veroorzaakt door beperkingen op verschillende niveaus van spraakproductie. 4 Natuurlijk geproduceerde snelle spraak makkelijker te verwerken dan kunstmatig versnelde spraak? Hoewel sommige sprekers erin zullen slagen om sneller te spreken en tegelijkertijd nauwkeurig te blijven articuleren, werd voor deze studie aangenomen dat de articulatietempo s dermate hoog waren dat gereduceerde articulatie onvermijdelijk was. Snel uitgesproken spraak bleek dan ook minder makkelijk te verwerken dan kunstmatig versnelde spraak, zelfs op een tempo waarbij beide typen spraak nog perfect verstaanbaar waren (hoofdstuk 5). Hoewel luisteraars geen problemen hebben met bijv. het ongedaan maken van assimilatie bij normaal spreektempo (vgl. studies van Gaskell & Marslen-Wilson 1996, 1998) zijn ze sneller met het verwerken van redundante of niet-gereduceerde woordvormen als ze snelle spraak aangeboden krijgen. Kohler (1990) noemde assimilatie perceptually tolerated articulatory simplification. Luisteraars tolereren de gereduceerde vorm van articulatie in normale luisteromstandigheden, maar in moeilijke luisteromstandigheden hebben ze liever spraak die zo netjes mogelijk is. Sprekers kunnen hun spreektempo kennelijk niet verhogen zonder het verwerkingsproces voor de luisteraar moeilijker te maken. De tweede vraag is of dit laatste ook geldt voor de prosodische (meer specifiek, temporele) veranderingen die de spreker toepast bij het versnellen van spraak. Uit eerder onderzoek was al gebleken dat er verschillen zijn tussen de temporele organisatie van normale spraak en spraak die snel wordt uitgesproken. Eén van de meest in het oog
SUMMARY IN DUTCH 228 lopende verschillen is het pauzegedrag: als sprekers hun spreektempo verhogen zullen ze dat onder meer doen aan de hand van het weglaten en/of sterk verkorten van spreekpauzes. Afgezien daarvan blijkt de spreker sommige stukken spraak sterker te versnellen dan andere stukken. De verwachting voor de productiestudie uit hoofdstuk 4 was dat onbeklemtoonde lettergrepen (in meerlettergrepige woorden) sterker verkort zouden worden dan beklemtoonde lettergrepen omdat de spreker er bij het sneller spreken rekening mee houdt dat de beklemtoonde lettergrepen het meest informatief zijn. Deze verwachting was afgeleid van de Hyper- en Hypoarticulatietheorie van Lindblom (1990). Deze theorie komt erop neer dat de spreker voortdurend een afweging maakt tussen wat wat hij/zij zichzelf kan permitteren en wat de luisteraar nodig heeft. De resultaten van de productiestudie leken deze hypothese te bevestigen: onbeklemtoonde ( onbelangrijke ) lettergrepen werden sterker verkort dan beklemtoonde ( belangrijke ). In daarop volgende luisterexperimenten werd onderzocht of de verstaanbaarheid van kunstmatig versnelde spraak verbeterd zou kunnen worden door niet linear te versnellen, maar door de onbeklemtoonde lettergrepen sterker te verkorten dan de beklemtoonde om zodoende het temporeel patroon van kunstmatig versnelde spraak meer te laten lijken op dat van natuurlijke snelle spraak. Uit de luisterexperimenten bleek echter dat verstaanbaarheid en verwerkingsgemak juist verslechterden als de temporele structuur van snel uitgesproken spraak werd aangebracht, ten opzichte van lineaire versnelling. Het lijkt erop dat het sterk verkorten van pauzes (sterker dan de resterende spraak) het enige aspect is van natuurlijk geproduceerde snelle spraak dat de verstaanbaarheid van kunstmatig versnelde spraak zou kunnen verbeteren t.o.v. lineaire versnelling (zie resultaten met Mach1 algoritme; Covell, Withgott & Slaney 1998): de resterende spraak kan dan immers minder sterk versneld worden. Niet-lineaire aanpassingen onder het fraseniveau (dus afgezien van die pauzes) die de spreker toepast bij sneller spreken leveren alleen een verslechtering van de verstaanbaarheid op. De natuurlijke niet-lineaire manier van versnellen is dus niet bedoeld om het de luisteraar makkelijker te maken, maar sprekers zijn waarschijnlijk niet in staat om min of meer lineair te versnellen. Dit zou het gevolg kunnen zijn van de manier waarop meerlettergrepige woorden gespecificeerd zijn in het mentale lexicon. Lexicale klemtoon is onderdeel van die uitspraakspecificatie. Als gevolg hiervan worden beklemtoonde lettergrepen uitgesproken met meer articulatorische precisie dan onbeklemtoonde (van Bergem 1993, Lehiste 1970). De articulatorische of akoestische doelen in de opgeslagen uitspraakrepresentatie zijn nauwkeuriger gespecificeerd voor beklemtoonde dan voor onbeklemtoonde lettergrepen. De Jong (1995) noemt klemtoon dan ook locale hyperarticulatie. Als nu deze doelen voor beklemtoonde lettergrepen nauwkeuriger gespecificeerd zijn voor beklemtoonde dan voor
SUMMARY IN DUTCH 229 onbeklemtoonde lettergrepen, moet de spreker wel meer moeite doen om die doelen ook te bereiken en zal daarom tijdelijk minder goed kunnen versnellen. Een sterker prosodisch patroon (meer uitgesproken afwisseling van sterke en zwakke lettergrepen) helpt de luisteraar kennelijk niet bij de woordherkenning. Er lijkt een optimale balans te bestaan tussen de bijdrage van prosodie en segmentele inhoud aan woordherkenning. In hoofdstuk 3 werd deze interactie tussen prosodie en segmentele inhoud ook nog eens benadrukt. In die studie werd onderzocht wat het effect van tijdscompressie was op de verwerking van natuurlijke spraak en op die van synthetische difoonspraak. Difoonspraak bestaat uit aan elkaar geregen stukjes spraak waarbij de bouwstenen (in dit geval) allemaal oorspronkelijk beklemtoond en gehyperarticuleerd zijn. Normaal gesproken is natuurlijke spraak gemakkelijker te verwerken dan synthetische spraak. Dit verwerkingsvoordeel werd echter nog groter na tijdscompressie. Dit zou te maken kunnen hebben met het feit dat beklemtoonde en onbeklemtoonde lettergrepen wel verschillen in duur in de synthetische spraak, maar er is nauwelijks afwisseling tussen sterke (luide/nauwkeurig uitgesproken) en zwakkere (minder luide/minder nauwkeurig uitgesproken) lettergrepen. Hoewel hyperarticulatie wellicht de fonetische verwerking van klanken vergemakkelijkt, levert het gebrek aan variatie in sprekerinspanning een probleem op bij het groeperen van zwakke en sterke lettergrepen tot één woord of frase, juist in moeilijke luisteromstandigheden. Segmentele en prosodische factoren dragen beide bij aan het proces van woordherkenning. Hun relatieve bijdrage lijkt onafhankelijk te zijn van tempo: teveel nadruk op de één verstoort de balans tussen een natuurlijk prosodisch patroon en een verstaanbaar spraaksignaal. Hoe meer een spraaksignaal afwijkt van de normale vorm, des te meer moeite zal de luisteraar hebben om dit te mappen op het mentale lexicon. De experimenten hebben ook laten zien dat spraakwaarneming erg flexibel is in het omgaan met minder verstaanbare spraak. Woordherkenning kan eventueel wat vertraagd worden, maar vaak kan hogere-orde-informatie helpen om het lexicalecompetitieproces op te lossen. In normale lopende spraak varieert het spreektempo ook continu. Een locaal hoger spreektempo is niet alleen nadelig voor spraakwaarneming: hoewel de locale woordherkenning misschien even moeilijker is geeft het hogere tempo ook gelijk weer aan dat het om een redundant of minder belangrijk onderdeel gaat. Over het geheel genomen is variatie in spreektempo dus niet problematisch, maar is juist nuttige informatie voor de meer globale niveaus van spraakwaarneming en taalbegrip.