13 Hidden Markov Modellen.

Transcriptie

1 3 Hidden Markov Modellen. 3. Inleiding. In dit Hoofdstuk bekijken we Markov modellen waarvan we de toestanden niet met zekerheid kunnen waarnemen. In plaats daarvan gaan we ervan uit dat toestand i met kans b iα tot waarneming α leidt. Zo n Hidden Markov Model wordt dus beschreven door de volgende gegevens: Een collectie van N mogelijk toestanden. Een collectie van V mogelijke waarnemingen. Een N-vector (π) waar π i de kans aangeeft dat de eerste toestand van het model toestand i is. Een N N-matrix (a) waar a ij de kans aangeeft dat het model van toestand i in toestand j overgaat. Een N V -matrix b waar b iα de zogenaamde emissie-kans aangeeft dat we toestand i als waarneming α registreren. Er is dus sprake van een kansrij X, X 2,... van verborgen toestanden, en een kansrij Y, Y 2,... van waarnememingen waarbij geldt dat p(x = i) = π i p(x n = j X n = i, X n 2 = i n 2,... ) = a ij p(y n = α X n = i,... ) = b iα We kunnen de be-invloedingen schematisch zo weergeven: a X n X a n b b X n+ Y n Y n Y n+ b We proberen in dit Hoofdstuk een relatie te leggen tussen een rij van T verborgen toestanden X, X 2,..., X T en de bijbehorende observaties Y,..., Y T. We doen dat aan de hand van het volgende mini rekenvoorbeeld, afkomstig van Jacob Eisner. Stel in het jaar AD 2700 wil iemand bestuderen hoe in de 2-ste eeuw het klimaat is veranderd. Helaas zijn de directe meetgegevens verloren gegaan. Wat nog wel beschikbaar is, is het dagboek van Jacob Eisner, waarin staat genoteerd hoeveel ijsjes Jacob op elke dag verorberde. De details van het model zijn als volgt: Er zijn 2 mogelijke verborgen toestanden: de dag is warm of koud.

2 2 3 HIDDEN MARKOV MODELLEN. Er zijn 3 mogelijke waarnemingen: Jacob at die dag, 2 of 3 ijsjes. De eerste dag was met 80% kans warm en met 20% kans koud. Na een warme dag komt met 70% kans weer een warme dag en met 30% kans een koude. Na een koude dag komt met 60% kans weer een koude dag en met 40% kans een warme. Op een warme dag eet Jacob met 20% kans één ijsje, met 40% kans twee ijsjes en met 40% kans drie ijsjes. Op een koude dag eet Jacob met 50% kans één ijsje, met 40% kans twee ijsjes en met 0% kans drie ijsjes. We stellen ons bij een HMM model in het algemeen drie vragen, van oplopende moeilijkheids-graad:. Wat is de kans op een bepaalde rij waarnemingen (o, o 2,..., o T ), gegeven de structuur van het model, en gegeven de parameters (π), (a) en (b) van het model. Deze vraag wordt beantwoord door het zogenaamde forward-algoritme, wat we straks gaan bespreken. We bespreken ook een variant hiervan, het zogenaamde backward-algoritme. 2. Wat is de meest waarschijnlijke rij verborgen toestanden (i, i 2,..., i T ), gegeven de structuur van het model en zijn parameters, en gegeven rij waarnemingen (o, o 2,..., o T ). Deze vraag wordt beantwoord door het zogenaamde Viterbi algoritme, wat we ook straks gaan bespreken. 3. Wat is de meest waarschijnlijke waarde voor de parameters van het model, gegeven de structuur van het model, en gegeven een voldoende grote rij waarnemingen. Dit noemt men het trainen van het model. Deze vraag wordt beantwoord door het zogenaamde Baum-Welch-algoritme, wat we ook nog gaan bespreken. 3.2 Het Forward algoritme. De kans p(y = o,..., Y T = o T ) op een rij waarnemingen (o,..., o T ) is in principe te berekenen als de som over de bijdragen van alle rijtjes (i,..., i T )

3 3.2 Het Forward algoritme. 3 van verborgen toestanden: p(y = o,..., Y T = o T ) p(y = o,..., Y T = o T, X = i,..., X T = i T ) p(y = o,..., Y T = o T X = i,..., X T = i T ) (i,...,i T ) (i,...,i T ) (i,...,i T ) p(x = i,..., x T = i T ) p(y = o X = i ) p(y T = o T X T = i T ) p(x T = i t X T = i T ) p(x 2 = i 2 X = i ) p(x = i ) b i,o b it,o T a it,i T a i,i 2 π i Het probleem hierbij is dat hier een som staat van N T vele rijtjes wat voor realistische N en T al gauw uit de hand loopt. Een sleutel tot de oplossing van het probleem wordt geleverd door de constatering dat in een heleboel termen van deze som producten voorkomen met eenzelfde beginstuk. We kunnen dus veel werk voorkomen door die beginstukken niet steeds opnieuw uit te rekenen maar slechts één keer, en de uitkomsten op te slaan. We definiëren daarom α n (j) als α (j) = π j b j,o N α n (j) = α n (i) a ij b j,on i= Men rekent gemakkelijk na dat dan geldt: voor n = 2,..., T () p(y = o,..., Y T = o T ) i α T (i) (2) en we hoeven slechts NT uitdrukkingen α n (j) uit te rekenen, die elk N termen hebben, voor een totaal van N 2 T termen. Meer algemeen heb je p(y = o,..., Y T = o t, X t = j) = α t (j) wat betekent dat de α n (j) een zinvolle interpretatie hebben als de kans op waarnemingen (o,..., o n ) veroorzaakt door een zekere rij verborgen toestanden (i,..., i n ) met i n = j. We kunnen het algoritme dat door formules () en (2) wordt beschreven als volgt in een diagram beschrijven. Horizontaal komen de tijdstippen n =,..., T, voorafgegaan door een beginpunt, en gevolgd door een eindpunt. Verticaal komen de toestanden j =,..., N. Op het kruispunt (n, j)

4 4 3 HIDDEN MARKOV MODELLEN. gaan we de waarde van α n (j) invullen. Bij elk kruispunt (n, i) zijn er uitgaande pijlen naar de kruispunten (n, j) voor alle mogelijke j; boven de pijl noteren we de kans op de overgang van i naar j, eronder de kans dat toestand j waarneming o n oplevert. Om een plek in het diagram in te vullen vermenigvuldig je voor elke binnenkomende pijl de getallen boven en onder de pijl met het getal aan de bron van de pijl, en je telt die producten op. We demonstreren nu het bovenstaande aan de hand van ons rekenvoorbeeld. We bepalen de kans op de rij waarnemingen (3,, 3). 0.7 warm koud begin 3 ijsjes ijsje 3 ijsjes einde Dus bijvoorbeeld α 2 (w) = α (w) a ww b w + α (k) a kw b w = = = waar w staat voor de verborgen toestand warm, en k voor koud. 3.3 Het backward algoritme. Dit algoritme is gebaseerd op de constatering dat in de som van N T termen veel producten voorkomen met hetzelfde eindstuk. We definiëren daarom β n (j) als β T (j) = N β n (i) = β n+ (j) a ij b j,on+ j= Weer rekent men gemakkelijk na dat dan geldt: p(y = o,..., Y T = o T ) = N π j b j,o β (j) en weer hoeven we slechts NT uitdrukkingen α n (j) uit te rekenen, die elk N termen hebben. De grootheid β n (i) beschrijft de kans dat we op tijdstip j=

5 3.4 Het Viterbi Algoritme. 5 n in toestand i zijn en bovendien de waarnemingen (o n+,..., o T ) te zien krijgen. We kunnen dit algoritme weer beschrijven door een diagram als eerder. Op plek (n, i) vullen we de waarde van β n (i) in, en deze wordt weer berekend als som van producten behorende bij binnenkomende pijlen. Het verschil is echter dat de pijlen allen in de andere richting wijzen. Ze zijn echter wel versierd met dezelfde factoren! We illustreren dit door ons rekenvoorbeeld: warm koud begin 3 ijsjes ijsje 3 ijsjes einde 3.4 Het Viterbi Algoritme. In de beschrijving van het forward en backward algoritme hebben we gebruik gemaakt van een diagram. Een mogelijk rijtje I = (i,..., i T ) van verborgen toestanden die het opgetreden rijtje waarnemingen O = (o,..., o T ) zou kunnen verklaren is voor te stellen als een pad door dat diagram dat begin en eind verbindt. Elk pad heeft een zekere waarde w(i), namelijk de kans dat de waarnemingen O gerealiseerd worden, gegeven dat rijtje I. We zoeken nu onder alle paden I het pad waarvoor die waarde w(i) maximaal is, een zogenaamd optimaal pad. In principe zouden we die kans voor elk rijtje (i,..., i T ) kunnen uitrekenen, om daar dan de beste uit te plukken. Maar dat zou betekenen dat er N T berekeningen moeten worden uitgevoerd, wat niet erg praktisch is. Ook hier kunnen we echter het werk drastisch inkorten door gebruik te maken een speciale eigenschap van de waarde-functie w, namelijk: De waarde van een pad I door een punt p hangt alleen af van de waarde van het beginstuk van het pad (van begin tot p) en de waarde van het eindstuk van het pad (van p tot het eind). Bovendien zijn beide afhankelijkheden stijgend. Onder deze omstandigheden geldt het volgende Bellman principe : Als I een optimaal pad is dat door p gaat dan moet het beginstuk van I optimaal zijn en ook het eindstuk van I optimaal zijn. Immers als bijvoorbeeld het beginstuk van I niet optimaal is dan kunnen we het vervangen door een andere met grotere waarde, en als we die andere combineren met het oude eindstuk dan krijgen we een volledig pad met een grotere waarde.

6 6 3 HIDDEN MARKOV MODELLEN. We kunnen dit principe verwerken in een algoritme door bij elk punt p = (n, j) van het forward diagram niet alleen de kans α n (j) op te slaan maar ook een optimaal pad van het beginpunt naar p. We bepalen het optimale pad naar p = (n, j) als volgt: We bekijken alle mogelijke voorgangers q i = (n, i). Voor die q i kennen we de bijdrage aan α n (j) namelijk α n (i) a ij b j,on. Kies de i waarvoor die bijdrage maximaal is. Verleng het optimale pad van het begin naar q i met de stap van i j. We illustreren dit weer aan ons rekenvoorbeeld: Het pad (begin,w) is optimaal voor het punt (, w) omdat het het enige pad is naar dat punt. Het pad (begin,k) is optimaal voor het punt (, k) omdat het het enige pad is naar dat punt. Punt (, w) geeft bijdrage α (w) a w,w b w,2 = aan α 2 (w). Punt (, k) geeft bijdrage α (k) a k,w b w,2 = aan α 2 (w). Het pad (begin,w,w) is dus optimaal voor het punt (2, w). Punt (, w) geeft bijdrage α (w) a w,k b k,2 = aan α 2 (k). Punt (, k) geeft bijdrage α (k) a k,k b k,2 = aan α 2 (k). Het pad (begin,w,k) is dus optimaal voor het punt (2, k). Punt (2, w) geeft bijdrage α 2 (w) a w,w b w,3 = aan α 3,w. Punt (2, k) geeft bijdrage α 2 (k) a k,w b w,3 = aan α 3,w. Het pad (begin,w,w,w) is dus optimaal voor het punt (3, w). Punt (2, w) geeft bijdrage α 2 (w) a w,k b k,3 = aan α 3,k. Punt (2, k) geeft bijdrage α 2 (k) a k,k b k,3 = aan α 3,k. Het pad (begin,w,w,k) is dus optimaal voor het punt (3, k). Punt (3, w) geeft bijdrage α 3,w = Punt (3, k) geeft bijdrage α 3,k = Het pad (begin,w,w,w,eind) is dus optimaal van begin tot eind. Tenslotte merken we op dat er een efficiënte manier is om voor elk punt het optimale pad op te slaan: het volstaat om een verwijzing op te slaan

7 3.5 Het Baum-Welch algoritme. 7 naar de voorganger in het optimale pad; in feite dus de toestand van die voorganger. warm koud Het diagram hierboven illustreert dit voor ons rekenvoorbeeld. 3.5 Het Baum-Welch algoritme. We proberen nu om, gegeven de structuur van het model, de parameters zó te kiezen dat ze de serie waarnemingen in de training zo goed mogelijk verklaren d.w.z. een zo groot mogelijke waarschijnlijkheid geven. Dit probleem heeft een iets ander karakter dan de twee voorgaande problemen. Daar ging het er om een groot aantal optellingen en vermenigvuldigingen zo efficiënt mogelijk uit te voeren. Hier gaat het erom een aantal (grote) vergelijkingen op te lossen. Omdat die vergelijkingen niet lineair zijn is het beste wat we kunnen hopen een benaderingsproces: Je begint met een niet heel slecht stel waarden voor de parameters, Daaruit bereken je een betere keuze voor de parameters En nog eens... En je hoopt dat die keuzes redelijk snel naar een limiet convergeren. Uit de vorige deelhoofdstukjes hebben het vertrwouwen gewekt dat we bij gegeven waardes van de parameters kunnen inschatten welke toestand op een zeker tijdstip n gedurende de training is opgetreden. Omdat we dat voor elke n kunnen doen krijgen we zo een schatting van de frequenties van de diverse toestanden, en ook van de frequenties van de overgangen tussen toestanden. Door deze twee frequenties op elkaar te delen krijgen we een schatting van de waarschijnlijkheden van de diverse overgangen d.w.z. nieuwe waardes van de parameters: de elementen van de matrices (a) en (b). Men kan laten zien dat deze waardes inderdaad beter zijn. We werken nu uit hoe we bovengenoemde frequenties bepalen. We hebben eerder gezien dat p(y = o,..., Y T = o T ) i,...,i T π i a i,i 2 a i2,i 3... a it,i T b i,o b i2,o 2... b it,o T

8 8 3 HIDDEN MARKOV MODELLEN. Op dezelfde manier zie je dat p(y = o,..., Y T = o T, X n = j) = π i a i,i 2 a i2,i 3... a in,ja j,in+... a it,i T i,...,i n,i n+,...,i T b i,o b i2,o 2... b j,on... b it,o T Vergelijken we dat met de formules voor α en β α n (j) =p(y = o,..., Y n = o n, X n = j) i,...,i n π i a i,i 2 a i2,i 3... a in,j b i,o b i2,o 2... b j,on β n (j) =p(y n+ = o n+,..., Y T = o T, X n = j) dan zien we dat i n+,...,i T a j,in+... a it,i T b in+,o n+... b it,o T p(y = o,..., Y T = o T, X n = j) = α n (j)β n (j) p(y = o,..., Y T = o T ) j α n (j)β n (j) De kans dat op tijdstip n toestand j is opgetreden, gegeven de waarnemingen (o,..., o T ) is dus γ n (j) = p(x n = j ; Y = o,..., Y T = o T ) = p(x n = j, Y = o,..., Y T = o T ) p(y = o,..., Y T = o T ) = α n(j) β n (j) k α n(k)β n (k) Op dezelfde manier zien we dat de kans dat in de stap n n+ de overgang van toestand i naar j is opgetreden gelijk is aan ξ n (i, j) = p(x n = i, X n+ = j ; Y = o,..., Y T = o T ) = p(x n = i, X n+ = j, Y = o,..., Y T = o T ) p(y = o,..., Y T = o T ) = α n(i) a ij b j,on+ β n (j) k α n(k)β n (k) Onze beste schatting van het aantal keren dat toestand j is opgetreden is dus T n= γ n(j), en onze beste schatting van het aantal keren dat de overgang van i naar j is opgetreden is dus T n= ξ n(i, j). Dit geeft ons de nieuwe waarden van de parameters: a i,j = n ξ n(i, j) n γ n(i), b i,o = n met o n=o γ n(i) n γ n(i)

9 3.6 De Levenshtein afstand De Levenshtein afstand. We bespreken nu een andere toepasing van Bellman s principe, en wel het bepalen van de mate van verschil tussen twee reeksen van symbolen. Een mogelijke maat daarvoor is de Edit afstand, die naar een van de uitvinders Levenshtein afstand heet. Het idee is daarbij dat je de ene reeks x x 2... x N in de andere reeks y y 2... y M probeert over te voeren door een aantal elementaire ingrepen, die elk met zekere kosten gepaard gaan. De Levenshtein afstand tussen de twee reeksen is dan het minimale totaal aan kosten waarmee dat lukt. De elementaire ingrepen zouden bijvoorbeeld kunnen zijn: Vervangen (substitution) van een symbool, bijvoorbeeld hard hart. Invoegen (insertion) van een symbool, bijvoorbeeld hard haard. Weglaten (deletion) van een symbool, bijvoorbeeld haard hard. Zeg dat de kosten van deze ingrepen respectievelijk k s, k i en k d zijn. Volgens Bellman s principe is het nuttig om te bepalen wat de prijs D(i, j) is van het transformeren van een beginstuk x x 2... x i van de ene reeks in een beginstuk y y 2... y j van de andere reeks. Dat levert de volgende formules: ) D(i, j) = min (D(i, j ) + v(i, j) k s, D(i, j ) + k i, D(i, j) + k d { 0 als i = j waar v(i, j) = en D(i, 0) = i k d en D(0, j) = j k i als i j De gevraagde afstand is dan D(N, M). Het schema hieronder illustreert deze berekening voor x = KUNSTMATIGE en y = INTELLIGENTIE in het geval k s = 5, k i = 3, k d = 4. I N T E L L I G E N T I E K U N S T M A T I G E

10 0 3 HIDDEN MARKOV MODELLEN. We zien dat de afstand van KUNSTMATIGE naar INTELLIGENTIE gelijk is aan 40, maar ook dat de afstand van KUNST naar INTELLIGENT gelijk is aan 35. De tabel wordt opgesteld door eerst de eerste rij en eerste kolom in te vullen, en vervolgens van links boven naar rechts onder te werken: op elke plek wordt het getal bepaald door het al dan niet gelijk zijn van het symbool van de rij en het symbool van de kolom, en door de drie getallen links, boven, en linksboven. Om een route te vinden die minimale kosten oplevert hoeven we alleen bij elk knooppunt (i, j) op te slaan welke van zijn drie voorgangers (i, j ) en (i, j) en (i, j ) het minimum in de formule voor D(i, j) oplevert (dat kunnen er meer dan één zijn). In het voorbeeld is dat aangegeven door de getallen te onderstrepen, en is een route als volgt: KU N S T M A T I G E d,s d s s s i,i,i,i I N T E L L I G EN T I E Hier staan d, s, i voor de drie soorten ingrepen, en de onderste rij geeft de bijdrage aan de totale kosten.