Herkennen van symbolenreeksen binnen een oneindige reeks met Hidden Markov Modellen. Werner ( ), Maaike ( ) begeleider Bart de Boer

Transcriptie

1 Herkennen van symbolenreeksen binnen een oneindige reeks met Hidden Markov Modellen Werner ( ), Maaike ( ) begeleider Bart de Boer 3 september 2005

2 Inhoudsopgave 1 Introductie 2 2 Onderzoeksopzet Hidden Markov Modellen Ons systeem Doel van het onderzoek Onderzoeksvragen Onze toevoegingen aan de HMM van Rabiner Learningrate bij training Tweakfunctie bij training Herkenning in de laatste toestand Maximale lengte van woorden Het model voor herkenning 8 5 Testopzet Woorden-generator Berekening prestatie Testresultaten 10 7 Conclusie 14 8 Discussie 14 1

3 1 Introductie Mensen kunnen woorden herkennen binnen een oneindige reeks van klanken terwijl er behoorlijk wat variatie in de uitspraak zit. Dit fenomeen hebben we bekeken, niet vanuit de Taalkunde of Psycholinguïstiek, maar vanuit ons eigen vakgebied, de Kunstmatige Intelligentie. Kunstmatige spraakherkenners zijn gebaseerd op verschillende technieken, zoals bijvoorbeeld recurrent networks (Davis et al., 1997) en statistische modellen (Jelinek, 1976). Veel van de huidige spraakherkenners werken met hidden Markov modellen (HMM). Een grote beperking hierbij is echter dat deze modellen enkel om kunnen gaan met discrete structuren. Hier wordt over het algemeen omheen gewerkt door een spraaksignaal eerst op te breken in discrete stukken. Omdat vaak niet zo makkelijk is aan te geven waar de woordeinden zich bevinden in het continue signaal, kunnen bij deze voorbewerking al de nodige fouten optreden. Voor het kleine project dat onderdeel is van onze studie hebben we een model geïmplementeerd dat niet om de beperking heen werkt, maar een aantal toevoegingen maakt aan de HMM, zodat ze om kunnen gaan met een oneindig signaal. Om het simpel te houden werkt ons systeem niet met gesproken taal, maar met een simulatie daarvan in de vorm van tekst. Dankzij aanpassingen aan de conventionele HMM is het systeem in staat om net als mensen een woord binnen een reeks klanken te herkennen. Het systeem krijgt een reeks binnen en herkent daar woorden in terwijl de reeks binnen blijft stromen en het einde nog niet bekend is. Deze nieuwe toepassing met HMM biedt interessante mogelijkheden voor verwerking van oneindige structuren. Niet alleen op het gebied van spraakherkenning kan dit nuttig zijn, maar ook binnen andere gebieden zoals bijvoorbeeld bij het herkennen van genen binnen DNA. Bij dit soort herkenningsprocessen worden al HMM gebruikt (Lukashin & Borodovsky, 1998), maar deze nieuwe manier kan de mogelijkheden vergroten. 2 Onderzoeksopzet 2.1 Hidden Markov modellen Als basis voor ons systeem gebruiken we het HMM zoals beschreven door Eddy (2004). Dit model beschrijft op een statistische manier iets dat geobserveerd kan worden, zoals bijvoorbeeld een letter-reeks. Het model bestaat uit een aantal toestanden waartussen bewogen kan worden. Hoe deze beweging precies is staat niet vast, maar bestaat uit kansen. De beweging hangt af van de initiële waarschijnlijkheidskansen van een toestand en van de overgangskansen. Daarnaast omschrijven de waarnemingskansen de kans op bepaalde observaties. Omdat we een model maken van een reeks die in de tijd verandert is een left-right HMM het meest geschikt. In zo n model is 2

4 het niet mogelijk om terug (in de tijd) te gaan, maar kan je alleen voor uit. We kiezen bovendien voor een two-step model. Dit houdt in dat de stappen binnen het model niet groter kunnen zijn dan twee toestanden. Er kan bijvoorbeeld dus niet in één stap naar de laatste toestand worden gegaan. Waarom de keuze op dit model is gevallen wordt in paragraaf 3.3 verder toegelicht. A B C A B C A B C A B C b b 2 ( 1) b 2 ( 2 1 ( 1) b 1 ( 2) b ) 1 ( 3) b 2 ( 3) b 3 ( 1) b 3 ( 2) b 3 ( 3) b 4 ( 1) b 4 ( 2) b 4 ( 3) a 12 a 23 a 34 a 11 a 22 a 13 a 24 a 33 a Figuur 1: Een voorbeeld van een two-step left-right HMM λ S π π i A a ij V M B b j (k) het complete model verzameling van N toestanden verzameling initile waarschijnlijkheidskansen kans dat je begint in toestand i verzameling van overgangskansen overgangskans van i naar j verzameling waarneembare symbolen aantal verschillende observatiesymbolen verzameling van waarnemingskansen waarnemingskans van symbool k in toestand j Tabel 1: De parameters die het model beschrijven Hoe goed een observatie binnen het model past hangt dus af van de initiële waarschijnlijkheidskansen, overgangskansen en waarnemingskansen. Herkenning m.b.v. HMM vindt over het algemeen plaats door te kijken naar de waarschijnlijkheid van een observatie gegeven het model; P (O λ). Deze waarschijnlijkheid kan je berekenen door elke mogelijke sequentie van toestanden te doorlopen en de kans hiervan te berekenen (Rabiner, 1989). Dit gebeurt aan de hand van de variabele α t (i); de kans op de observatiesequentie tot tijdstip t en toestand i op tijdstip t, gegeven het model. 3

5 P (O λ) wordt berekend in de onderstaande drie stappen. initialisatie : α t (i) = P (O 1 O 2 O t, q t = S i λ) (1) [ N ] inductie : α t+1 (j) = α t (i)a ij b j (O t+1 ) (2) i=1 terminatie : N P (O λ) = α τ (i) (3) i=1 Om het HMM zo te maken dat deze toegespitst is op een verzameling observaties moet het getraind worden. Met een methode van Rabiner kunnen we dit doen. Deze methode bepaalt aan de hand van de observaties de verwachtingen voor de toekomst en past daar de parameters van het model op aan. Dit wordt beschreven in de onderstaande formules. π i = γ 1 (i) (4) T 1 t=1 a ij = t(i, j) T 1 t=1 γ t(i) (5) b j (k) = Tt=1 γ t (j) s.t. Ot=V k Tt=1 γ t (j) (6) γ t (i) De kans om in toestand i te zijn op tijdstip t T 1 t=1 γ t(i) Verwachte aantal transities vanaf toestand i Tt=1 γ t (j) Verwachte aantal keer in toestand j Tt=1 γ t (j) s.t. Ot=V k Verwachte aantal keer dat V k geobserveerd wordt in toestand j ξ t (i, j) De kans om op tijdstip t in toestand i te zijn en toestand j op tijdstip t+1 T 1 t=1 ξ t(i, j) Verwachte aantal transities van toestand i naar j Tabel 2: Kansen en verwachtingen, berekend aan de hand van de observaties. Deze vormen de basis voor het optimaliseren van de parameters van het model. 2.2 Ons systeem Het systeem dat we hebben gemodelleerd en geïmplementeerd is gebaseerd op HMM en de trainingsmethode van Rabiner. Het systeem wordt getraind op een bepaald woord en willekeurige variaties hierop. Na de training krijgt het systeem een oneindige stroom tekens aangeboden waartussen af en toe het woord en de variaties hierop voorkomen. Dit wordt verwezenlijkt door 4

6 een generator die voortdurend willekeurige tekens genereert en daar af en toe een woord dat herkend moet worden tussendoor stopt. Het syteem moet dus woorden uit een stroom filteren terwijl er een continue input is, anders gezegd; het systeem werkt on-line. Variaties op een woord herkennen is iets waar een HMM erg geschikt voor is, maar het verwerken van een oneindige reeks en daarbinnen eindige combinaties herkennen is iets nieuws en hiervoor zijn toevoegingen aan het HMM nodig. keopqckljaeoiqjwedcqaeadpcitjkeaspcijeqelckjdsaalhiddenmarkov modeljkdlsajidlqedlkjdasdkjeddsasdfhideenmarkovmodeljfklskdfa adfadsfkljalqeriuoiczvpoiuzvadfqerouzcvoiuhiddenmarkovmodelad fjsdfjkliczvczvpioqeqerzczvuozcvzcoviuzcvpouibpiozcvrqehiddem narjovmodeldfasdfqeroiuzpocivuqerjklsdfmadfhiddenmarkovmodela fdeqroidadfqeroiuzoicuvozixuvcoiueqrlkjadsflkjas... Figuur 2: Een voorbeeld van wat het systeem moet herkennen als het getraind is op het woord hiddenmarkovmodel en variaties hier op 2.3 Doel van het onderzoek Het doel van ons onderzoek is de HMM zo aan te passen dat ze om kunnen gaan met een oneindige reeks. Dit willen we doen door het systeem, zoals hierboven beschreven, te verwezenlijken. We kijken welke toevoegingen er nodig zijn aan de conventionele HMM, hoe zo n systeem gemodeleerd kan worden en wat de prestaties zijn. 2.4 Onderzoeksvragen Welke aanpassingen op de conventionele HMM zijn nodig om de beschreven toepassing mogelijk te maken? Hoe kan zo n systeem gemodeleerd worden? Hoe kan de prestatie van het systeem gemeten worden? Hoe presteert het systeem? 3 Onze toevoegingen aan de HMM van Rabiner 3.1 Learningrate bij training Bij de training volgens de methode van Rabiner worden de parameters bij elke trainingsronde erg sterk aangepast. Hierdoor kan wat in vorige trai- 5

7 ningsrondes is geleerd verloren gaan. Bovendien kan er onevenwichtig getraind worden omdat in de traingroep die we gebruiken niet persé alle realistische symbolen en symboolcombinaties voorkomen. Om deze twee redenen hebben we ervoor gekozen om de parameters minder sterk aan te passen door gebruik te maken van een learningrate. Het leren gaat hierdoor langzamer maar is minder desastreus en het effect van onevenwichtig leren is geringer. 3.2 Tweakfunctie bij training Zoals eerder al gezegd omvat de traingroep niet altijd alle realistisch mogelijke symbolen en symboolcombinaties. Om de training nog wat evenwichtiger te maken hebben we een tweakfunctie toegevoegd. Deze functie zorgt ervoor dat het model nog extra getraind wordt op woorden met een lage waarschijnlijkheid. De functie werkt als volgt. Na de eerder beschreven training wordt de waarschijnlijkheid (gegeven het model) van de woorden uit de traingroep berekend. Vervolgens filtert de functie de woorden met een waarschijnlijkheid van nul weg, hier kan het model namelijk niet meer op getraind worden. Dit komt doordat de berekening tijdens de training gebaseerd wordt op de waarschijnlijkheid en als deze eenmaal geconvergeerd is naar nul kan dit getal niet meer stijgen. Na de filtering zorgt de functie ervoor dat er opnieuw getraind wordt op de woorden met een lage waarschijnlijkheid. Dit gebeurt door steeds te trainen op het woord met de laagste waarschijnlijkheid. Deze extra training stopt zodra de waarschijnlijkheid van een zojuist getraind woord lager is dan de waarschijnlijkheid van het daarvoor getrainde woord. Op dat moment heeft de training namelijk geen gunstig effect meer. Het voordeel van deze extra training is niet alleen dat woorden uit de trainingsset beter herkend worden, maar ook dat de threshold voor herkenning hoger gelegd kan worden en er zo minder stukken tekst onterecht herkend worden. Op de threshold komen we nog terug in paragraaf Maximale lengte van woorden Een oneindige reeks bevat een oneindig aantal observaties en deze kan je niet allemaal in redelijke rekentijd door het model laten analyseren. Om deze reden leggen we tijdens de training de maximale lengte van de observatie vast, aan de hand van de traingroep. Herkenning vindt vervolgens alleen plaats als een woord maximaal van deze lengte is. 3.4 Herkenning in de laatste toestand Voor het herkennen van eindige woorden binnen een oneindige reeks is een belangrijke aanpassing nodig. Met een HMM kan je berekenen hoe waarschijnlijk het is dat een bepaalde (eindige) observatie gedaan wordt, gegeven het model. Hierbij is de waarschijnlijkheid van het eerste karakter van de 6

8 observatie altijd groter is dan de waarschijnlijkheid van het eerste en tweede karakter. Dit komt door de vermenigvuldiging van kansen. Als we herkenning simpelweg zouden baseren op de waarschijnlijkheid van stukjes tekst, gegeven het model, zou daardoor vaak vroegtijdige herkenning plaatsvinden. Herkenning moet dus op een andere manier gerealiseerd worden. De toevoeging die we hiervoor hebben gemaakt is dat een woord alleen herkend kan worden als de laatste toestand van het HMM is bereikt. Als de waarschijnlijkheid van een stukje observatie daar boven een bepaalde threshold ligt vindt herkenning plaats. Deze threshold wordt na de training bepaald aan de hand van de waarschijnlijkheid, gegeven het model, van de woorden uit de traingroep. De laagste waarschijnlijkheid wordt gekozen als threshold, zodat al deze woorden worden herkend. De reden dat we voor een two-step model hebben gekozen heeft met deze toevoeging te maken. Herkenning vindt nu in de laatste toestand plaats, maar om te stimuleren dat een woord in zijn geheel herkend wordt is het niet handig als er heel snel van de eerste naar die laatste toestand kan worden gegaan. Bij de training kan het dan namelijk voorkomen dat het model zo gevormd wordt dat twee letters al voor herkenning kunnen zorgen. Het twostep model zorgt ervoor dat het model beter opgezet wordt zodat woorden eerder in hun geheel worden herkend. 7

9 4 Het model voor herkenning De werking van het herken-gedeelte van het systeem staat weergegeven in onderstaand figuur. Tijdens het proces wordt een matrix bijgehouden van α t (i), waarbij 0 < t < maxt en 0 < i < N. t staat voor het relatieve tijdstip t.o.v. het laatste stukje tekst in de stroom. Hierdoor komt t overeen met de lengte van het stukje tekst waarop de betreffende alpha van toepassing is. maxt is de maximale lengte van het te herkennen woord, deze is tijdens de training bepaald. i verwijst naar één van de N toestanden in het HMM. Figuur 3: Het model voor herkenning 8

10 Na elke nieuwe letter die binnenkomt worden de α-waarden aangepast. Omdat bij de berekening van de α t (i) gebruik wordt gemaakt van de α-waarden op tijdtip t 1, die bij de voorgaande letter in de stroom bepaald werden, wordt eerst α maxt (i) berekend. Deze α-waarden zijn dan gelijk aan de kans dat het laatste stuk tekst in de stroom met lengte maxt (met de laatste letter in toestand i) door het HMM wordt gerepresenteerd. Vervolgens wordt α maxt 1 (i) berekend, die staat voor de kans op het laatste stuk tekst met lengte maxt 1. Dit proces gaat door tot α 1 (i), dus de kans op alleen de laatste letter van de stroom in toestand i gegeven het model. Als alle α-waarden op deze manier berekend zijn, wordt gekeken of de hoogste α-waarde in de laatste toestand de threshold heeft overschreden. Als dit het geval is, heeft het model het woord herkend. Om dubbele herkenning te voorkomen worden na herkenning alle α-waarden gereset alvorens verder te gaan met detecteren. 5 Testopzet 5.1 Woorden-generator Om te testen of het systeem goed werkt moet het getraind worden op een woord en variaties hier op (de traingroep). Vervolgens moet een oneindige stroom karakters gegenereerd worden waar af en toe een woord tussendoor wordt gestopt uit een testgroep van datzelfde woord. In het geval van spraak kan je de train- en testgroep maken door mensen een woord te laten uitspreken, de variatie is er dan vanzelf. Maar voor ons systeem, dat werkt met een reeks karakters i.p.v. uitgesproken woorden, moeten de train- en testgroep op een andere manier gegenereerd worden. Hiervoor hebben we een generator gemaakt. Deze generator maakt willekeurige variaties van woorden door met een bepaalde kans de letters te veranderen. Bij het trainen wordt er steeds een nieuwe variatie gegenereerd en deze wordt aan het systeem aangeboden. Na het trainen vindt testen plaats door de variaties random (met een kans van 1%) te plaatsen in een oneindige stroom van willekeurige karakters. De variaties op een woord kunnen op heel veel verschillende manieren bepaald worden. De meest logische manier is om dit te baseren op een taalkundig model. Voor dit project was dit echter niet relevant en we hebben daarom voor een andere manier gekozen die niet op de realiteit is gebaseerd maar wel geschikt is voor het testen. Per letter van het woord is er een kans van 2% dat hier een mutatie onstaat. Zo n mutatie kan vier verschillende vormen aannemen, waar er random één van wordt gekozen. Het kan voorkomen dat de letter wordt verdubbeld of weggelaten. Of het kan voorkomen dat de letter wordt vervangen door de letter die er in het alfabet aan voorafgaat of er op volgt. Op deze manier worden er dus volgens begrensde willekeur 9

11 verschillende variaties op het woord gegenereerd. Maar het zal ook vaak voorkomen dat het woord ongemuteerd uit de generator komt. 5.2 Berekening prestatie Bij het testen komen de volgende variabelen naar voren die in combinatie met elkaar iets zeggen over de prestatie van het systeem: 1. Aantal correct herkende woorden 2. Aantal incorrect niet herkende woorden 3. Aantal correct niet herkende woorden (Dit zijn eigenlijk geen woorden, maar stukken random-stroom die correct niet worden herkend als woord) 4. Aantal incorrect herkende woorden (Dit zijn eigenlijk geen woorden, maar stukken random-stroom die foutief als woord worden herkend) Aan de hand van 1 en 2 kunnen we het percentage correct herkende woorden berekenen. Dit zegt echter nog niet genoeg over de prestatie van het systeem. Er worden namelijk ook woorden herkend in de random-stroom (4), terwijl hier niets herkend zou moeten worden. Deze fouten zeggen ook iets over de prestatie van het systeem. Om dit mee te nemen zou je eigenlijk het percentage correct niet herkende woorden willen bepalen, maar dit is niet mogelijk omdat je niet kan zeggen hoeveel woorden er in een oneindige random-stroom voorkomen. Omdat het aantal woorden in de random-stroom wel direct gerelateerd is aan de lengte van de stroom kiezen we ervoor om deze variabele bij het testen vast te zetten. Door elke test met een even lange stroom te doen, zorgen we ervoor dat we het aantal incorrect herkende woorden in de verschillende tests met elkaar kunnen vergelijken. We komen uiteindelijk dus tot twee dingen die iets zeggen over de prestatie van ons systeem. % correct herkende woorden = 6 Testresultaten correct herkende woorden woorden in stroom (7) aantal incorrect herkende woorden (8) We hebben tests gedaan met een learningrate van 0,01 en een trainingsperiode van 9000 epochs. Het model had steeds een aantal toestanden dat gelijk was aan de lengte van het trainwoord plus 2. Voor deze waarden hebben we gekozen aan de hand van pre-tests, deze waren niet significant dus de 10

12 waarden zijn wellicht niet optimaal. Dit heeft geen effect op de tests die voor ons onderzoek relevant zijn, maar het is misschien wel mogelijk om het systeem nog meer te optimaliseren. De reden dat we dit zelf niet hebben gedaan is dat het de omvang van het project te groot zou maken. Voor het testen gebruikten we een woordenlijst met woorden van verschillende lengtes. Per woord vond een training plaats zoals eerder beschreven en vervolgens werd een test uitgevoerd met een woordenstroom die karakters lang duurde. In deze stroom werden testwoorden geplaatst volgens de beschreven methode. Dit komt er op neer dat er gemiddeld zo n testwoorden in de stroom voorkwamen. We kwamen zo tot de testresultaten in figuur 4 en 5. correct herkende woorden % woordlengte Figuur 4: Het percentage correct herkende woorden, gesorteerd op de lengte van het getrainde woord. In de grafieken valt op dat de prestatie over het algemeen erg goed is. Het percentage correct herkende woorden is overal bijna 100% en het aantal in- 11

13 incorrect herkende woorden aantal (x ) woordlengte Figuur 5: Het aantal woorden dat incorrect herkend wordt in de stroom, gesorteerd op de lengte van het getrainde woord. correct herkende woorden is erg laag. De prestatie van korte woorden is echter wat minder, vooral die met lengte 3 en 4. Dit kunnen we simpel verklaren aan de hand van figuur 6. Hier is te zien hoeveel unieke woorden incorrect herkend worden. Voor de woorden met een korte lengte gaat het om lage aantallen. Dit komt doordat er weinig symboolcombinaties mogelijk zijn voor een woord van lengte 3 of 4. Aan de andere kant worden deze combinaties in de willekeurige stroom van karakters sneller per ongeluk gegenereerd. Dit zorgt ervoor dat er ook vaker incorrecte herkenningen plaatsvinden. De piek in de figuur valt verder als volgt te verklaren. Hoe langer een woord is, hoe meer symboolcombinaties er mogelijk zijn en hoe meer unieke (incorrecte) herkenningen er dus kunnen plaatsvinden. Dit zorgt voor de stijgende lijn. Maar aan de andere kant is het geval dat langere woorden 12

14 uniek incorrect herkende woorden aantal (x1000) woordlengte Figuur 6: Het aantal unieke woorden dat incorrect herkend wordt in de stroom, gesorteerd op de lengte van het getrainde woord. minder vaak incorrect herkend worden (zie figuur 5). Dit komt ten eerste omdat het model van een langer woord specifieker is, door de lengte is het model meer aan banden gelegd, waardoor een vreemd woord er minder snel in zal passen. Ten tweede komt dit doordat zo n lang woord minder snel per ongeluk in de random-stroom gegenereerd zal worden. Dit zorgt voor de dalende lijn na de piek. Figuur 7 is echter moeilijker uit te leggen. Dat er minder unieke woorden correct herkend worden heeft te maken met het soort model waar we voor hebben gekozen in combinatie met het aantal toestanden. Doordat er gebruik wordt gemaakt van een two-step model en er bij het testen sprake is van een aantal toestanden dat gelijk is aan de lengte van het trainingswoord plus twee, is er voor korte woorden weinig vrijheid in het model. Bij een woord van drie letters moeten altijd de grote stappen van twee toestanden gemaakt worden omdat anders de laatste toestand niet 13

15 uniek correct herkende woorden % woordlengte Figuur 7: Het aantal unieke woorden dat correct herkend wordt in de stroom, gesorteerd op de lengte van het getrainde woord. bereikt kan worden. Bij een woord van vier letters is deze beperking al minder en bij langere woorden valt deze beperking uiteindelijk helemaal weg. Door de beperking bij de korte woorden zal hier vaker een woord gemist worden. Dit zou wellicht opgelost kunnen worden door het aantal toestanden bij korte woorden te verlagen. 7 Conclusie Gezien de testresultaten kunnen we concluderen dat het systeem goed werkt, dat wil zeggen; voor de toepassing die wij hebben gebruikt. Deze toepassing is echter relatief simpel en de vraag is dus of het systeem ook goed werkt in complexere gebieden. In zulke gebieden kan rekentijd een probleem worden en zal scaling moeten worden toegepast. Hiervoor is dus meer onderzoek 14

16 nodig, maar het is veelbelovend dat vooral lange woorden goed herkend worden. Immers in de complexe gebieden zal het vaak gaan om het herkennen van lange reeksen. Verder zijn er nog optimalisaties mogelijk. Ten eerste, zoals eerder gezegd, door de ideale parameters te bepalen (learningrate en trainingstijd). Ten tweede door een functie te maken die de beste waarde voor de threshold kan bepalen. Ook kan de tweakfunctie wellicht nog meer geoptimaliseerd worden en kan er een oplossing gezocht worden voor de slechtere prestatie bij korte reeksen. Referenties [1] Davis, M. H., Gaskell, M. G., Marslen-Wilson, W., Recognising embedded words in connected speech: context and competition. Proceedings of the fourth neural computation in Psychology Workshop. [2] Eddy, S. R., What is a hidden Markov model? Nature Biotechnology, vol. 22, [3] Jelinek, F., Continuous speech recognition by statistical methods. Proceedings of the IEEE, vol. 64, pp [4] Lukashin, A. V., Borodovsky, A, GeneMark.hmm: new solutions for gene finding. Nucleic acids research, vol. 26, no. 4. [5] Rabiner, L. R., A tutorial on hidden Markov models and selected applications in speech recognition. Proceedings of the IEEE, vol. 77, no.2. 15