11 Informatie en entropie.

Transcriptie

1 1 11 Informatie en entropie Discrete kansverdelingen. Als we een experiment doen levert dat informatie op. Als de uitkomst van het experiment vrijwel zeker is, dan is dat weinig informatie. Als de uitkomst van het experiment iets is dat we vooraf een kleine kans hadden toegedicht, dan is dat veel informatie. De hoeveelheid informatie wordt bepaald door genoemde kans, dus is een functie I(p) van die kans p. Die functie I zou de volgende eigenschappen moeten hebben: 1. De hoeveelheid informatie is positief, of op zijn ergst nul: I(p) Als je de kansen maar een beetje verandert dan verandert ook de bijbehorende informatie maar een beetje: I(p) hangt continu van p af. 3. Hoe kleiner de kans op een gebeurtenis, hoe meer informatie als hij echt plaatsvindt: als p 1 p 2 dan I(p 1 ) I(p 2 ), 4. Stel dat je twee gebeurtenissen bestudeert die onafhankelijk zijn. Dat betekent dat de kans dat ze allebei gebeuren het product is van de kans p 1 dat de ene gebeurt én de kans p 2 dat de andere gebeurt. De informatie verkregen als de gebeurtenissen allebei plaatsvinden is dan de som van de informatie p 1 uit de ene gebeurtenis en de informatie p uit de nadere gebeurtenis: I(p 1 p 2 ) = I(p 1 ) + I(p 2 ) 5. Bovenstaande eigenschappen zijn al bijna voldoende om er voor te zorgen dat de functie I een veelvoud is van de logaritme. Om de functie I helemaal vast te leggen eisen we ook nog dat de hoeveelheid informatie in een (eerlijke) muntworp één eenheid van informatie bedraagt. De unieke functie die aan bovenstaande eisen voldoet is: I(p) = 2 log(p) Die laatste eis zorgt ervoor dat als we het resultaat van ons experiment naar een naburige ster willen verzenden het aantal nullen of enen (binary digits of kortweg bits) dat we moeten versturen precies gelijk is aan I(p). Hoe groot bedraagt onze onzekerheid vóór het experiment? Die onzekerheid wordt bepaald door de hoeveelheid informatie die we verwachten te oogsten. Als we de mogelijke uitkomsten 1, 2,..., n nummeren, met kansen respectievelijk p 1, p 2,..., p n dan is de verwachtingswaarde van de informatie gelijk aan n p 1 I(p 1 ) + p 2 I(p 2 ) + + p n I(p n ) = p 2 j log(p j ) We noemen dat de entropie H(p 1,..., p n ) van de kansverdeling (p 1,..., p n ). j=1

2 2 11 INFORMATIE EN ENTROPIE. Net als eerder voor I kunnen we eigenschappen formuleren van ons intuïtieve idee van het begrip onzekerheid en vervolgens nagaan dat H op een factor na de unieke uitdrukking is die aan die eisen voldoet. Die eisen luiden: 1. De onzekerheid is positief, of op zijn ergst nul: H(p 1,..., p n ) 0. Bovendien is de onzekerheid alleen nul als de uitkomst vaststaat: dus als er een j is met p j = 1, en p k = 0 voor k j. 2. Als je de kansen maar een beetje verandert dan verandert ook de bijbehorende onzekerheid maar een beetje: H(p 1,..., p n ) hangt continu van p 1,..., p n af. 3. De onzekerheid hangt niet af van de nummering van de alternatieven: H(p 1,..., p j, p j+1,..., p n ) = H(p 1,..., p j+1, p j,..., p n ). 4. Als een van de alternatieven geen kans maakt, dan blijft de onzekerheid hetzelfde bij weglating: H(p 1,..., p n, 0) = H(p 1,..., p n ). Omdat p 2 log(p) naar 0 gaat als p naar 0 gaat kunnen we dat zonder bezwaar als 0 lezen voor p = Als alle alternatieven gelijke kansen hebben dan wordt de onzekerheid groter naarmate het aantal alternatieven groter wordt: H( 1 n,..., 1 n ) < H( 1 n+1,..., 1 n+1 ). 6. Als een experiment uit twee onafhankelijke delen bestaat, en voor elk daarvan alle alternatieven gelijke kansen hebben, dan is de totale onzekerheid de som van beide onzekerheden: H( 1 km,..., 1 km ) = H( 1 k,..., 1 k ) + H( 1 m,... 1 m ). Zie overigens verderop voor een algemenere uitspraak. 7. Beschouw een experiment met k+m mogelijke uitkomsten, met kansen p 1,..., p k+m. Je kunt dat opvatten als bestaande uit twee fazes: Eerst een eerste experiment waarin uit de eerste k en de laatste m alternatieven gekozen wordt. De kansen zijn dan q = p p k en r = p k p k+m. Vervolgens een tweede experiment waarin uit de overblijvende k of m alternatieven gekozen wordt, afhankelijk van de uitkomst van het eerste deel. De kansen zijn p 1 q,..., p k q of p k+1 r,..., p k+m r. De onzekerheid over de uitkomst van het geheel is de som van de onzekerheid over de uitkomst van het eerste deel en de onzekerheid over de uitkomst van het tweede deel. Omdat er twee mogelijkheden zijn voor het tweede deel is de onzekerheid over de uitkomst ervan een gewogen gemiddelde van twee onzekerheden: H(p 1,..., p k+m ) = H(q, r) + qh ( p1 q,..., p k q ) + rh ( pk+1 r,..., p ) k+m r

3 11.1 Discrete kansverdelingen. 3 Onze verwachting over de hoeveelheid informatie besloten in elke mogelijke uitkomst kunnen we gebruiken om een efficiënte codering van die uitkomsten te ontwerpen. We doen dat door uitkomsten met een kleinere waarschijnlijkheid een codering met grotere lengte te geven. In detail gaat dat als volgt. Als er maar twee alternatieven zijn coderen we de ene met een 0 en de andere met een 1. Stel nu dat er n > 2 alternatieven zijn. Kies er daartussen twee uit, zeg a en b, waarvoor de kansen de twee kleinste van de voorkomende kansen zijn. Vat die twee alternatieven samen tot één nieuw alternatief c met als kans de som van de twee voornoemde kansen. We hebben dan een nieuwe situatie met n 1 alternatieven. We mogen aannemen dat daarvoor al n 1 codes zijn bedacht. We krijgen nu een codering voor de n alternatieven als volgt: De code voor a is die voor c gevolgd door een 0. De code voor b is die voor c gevolgd door een 1. De code voor een alternatief verschillend van a of b is dezelfde als de code voor het overeenkomstige alternatief onder de n 1. Deze manier van codering heet Huffman codering. Omdat er keuzes gemaakt moeten worden is de codering niet uniek, maar de lengtes van de codewoorden liggen wel vast. We zullen straks bewijzen dat de verwachtingswaarde voor de lengte van het codewoord groter of gelijk is aan de entropie van de kansverdeling. Ook kan men bewijzen dat deze codering de beste is als men aan elk alternatief één enkel codewoord met een gehele lengte toekent. Toch kan de efficiëntie tegenvallen met name als de grootste kans groter is dan een half. Omdat het bovendien nodig is alle kansen van te voren te kennen is er toch emplooi voor andere coderingstechnieken. In het omgaan met de functie H is er een eenvoudige ongelijkheid die van groot belang is. Lemma 1. log(t) t 1 voor t > 0. Gelijkheid is er alleen voor t = 1. Bewijs: Als t > 1 dan log(t) = t 1 x 1 dx < t 1 1 dx = t 1. Als 0 < t < 1 dan log(t) = 1 t x 1 dx > 1 t 1 dx = 1 t. QED. Lemma 2. Als (p 1,..., p n ) en (q 1,..., q n ) twee kansverdelingen zijn dan is n n H(p 1,..., p n ) = p 2 j log(p j ) p 2 j log(q j ) j=1 j=1 Gelijkheid is er alleen als de verdelingen samenvallen.

4 4 11 INFORMATIE EN ENTROPIE. Bewijs: Omdat termen met p j = 0 noch aan het linkerlid noch aan het rechterlid bijdragen mogen we aannemen dat p j > 0 voor alle j. Nu is p j log(q j ) p j log(p j ) = p j log(q j /p j ) j j j ( qj ) p j 1 = q j p j = 1 1 = 0 p j j j j Het vervangen van log door 2 log scheelt een factor 2 log(e). QED. Stelling. Voor elke kansverdeling p is H(p 1,..., p n ) 2 log(n), Gelijkheid treedt alleen op bij een uniforme verdeling. Bewijs: Pas het lemma toe met q j = n 1, en bedenk dat j p j = 1. Dat geeft H(p 1,..., p n ) n j=1 p j 2 log(n 1 ) = 2 log(n). QED. De stelling zegt dus dat onder alle kansverdelingen de uniforme verdeling degene is met de grootste onzekerheid over de uitkomst van een experiment. Stelling. Voor elke kansverdeling is de verwachtingswaarde van de codelengte groter of gelijk aan de entropie. Bewijs: Zij L de lengte van het langste codewoord. Er zijn dan 2 L codewoorden van die lengte ter beschikking, maar een codewoord van kleinere lengte l neemt daarvan alle 2 L l woorden in beslag met het gegeven beginstuk. Als we alternatief j met een woord van lengte l j coderen dan moet j 2L l j = 1. Als we dus q j = 2 l j noteren dan is j q j = 1. De verwachtingswaarde van de codelengte is nu j p jl j = j p j ( 2 log(q j )) = j p j 2 log(q j ) j p j 2 log(p j ) = H(p 1,..., p n ). QED. Aan het bewijs zie je dat het optimale resultaat alleen gehaald kan worden als alle kansen gehele machten van 1/2 zijn. Als X een stochast is met mogelijke uitkomsten x 1,..., x n dan geeft p j = P (X = x j ) de kans op uitkomst x j en we noteren voortaan H(X) voor H(p 1,..., p n ), de entropie van de kansverdeling van X. Stel dat Y een andere stochast is met mogelijke uitkomsten y 1,..., y s, zodat q k = P (Y = y k ) de kans is op uitkomst y k. We noteren dan (X, Y ) voor de combinatie van X en Y. Dan zijn r jk = P (X = x j, Y = y k ) de bijbehorende kansen. Als r jk = p j q k voor alle j en k dan heten X en Y onafhankelijk. Stelling. Er geldt H(X, Y ) H(X) + H(Y ), en gelijkheid treedt alleen op als X en Y onafhankelijk zijn.

5 11.1 Discrete kansverdelingen. 5 Bewijs: Als we voor vaste j de kansen r jk = P (X = x j, Y = y k ) optellen krijgen we de kans P (X = x j ) = p j. Evenzo is k r jk = q k. Als we dat combineren met 2 log(p j q k ) = 2 log(p j ) + 2 log(q k ) en met lemma 2 dan vinden we H(X, Y ) = j,k = j,k r jk 2 log(r jk ) j.,k r jk ( 2 log(p j ) + 2 log(q k )) r jk 2 log(p j q k ) = j p j 2 log(p j ) k q k 2 log(q k ) = H(X) + H(Y ) QED De voorwaardelijke entropie van stochast X gegeven Y is gedefinieerd als H(X Y ) = H(X, Y ) H(Y ) Volgens bovenstaande stelling is altijd H(X Y ) H(X): de onzekerheid die we nog over de uitkomst van X hebben na kennis van de uitkomst van Y is hoogstens gelijk aan de onzekerheid over X zonder kennis van Y. Het is niet te verbazen dat we voorwaardelijke entropie in voorwaardelijke kansen kunnen uitdrukken door middel van P (X = x j, Y = y k ) = P (X = x i Y = y k ) P (Y = y k ) Dat levert de formule H(X Y ) = j,k P (X = x j Y = y k ) P (Y = y k ) 2log(P (X = x j Y = y k )) waaruit blijkt dat H(X Y ) 0. De informatie die kennis van de uitkomst van Y over de uitkomst van X onthult is de afname in onzekerheid I(X Y ) = H(X) H(X Y ) Vullen we de eerdere definities in dan levert dat de enigszins verassende vaststelling dat deze grootheid symmetrisch is in de rollen van X en Y : I(X Y ) = H(X) + H(Y ) H(X, Y ) Ook zegt de eerdere stelling over H(X, Y ) precies dat I(X Y ) 0. We komen nog even terug op de uitspraak van Lemma 2. Deze zegt dat voor twee verschillende kansverdelingen A = (a 1,..., a n ) en B = (b 1,..., b n ) de relatieve entropie D(A, B) = p 2 j log(p j /q j ) j

6 6 11 INFORMATIE EN ENTROPIE. steeds positief is. Je kunt deze grootheid daarom opvatten als een maat in hoeverre A en B verschillen, en daarom noemt men dit ook wel de Kullback- Leibler afstand. Deze term is enigszins misleidend omdat het in de wiskunde gebruikelijk is om een uitdrukking D een afstand te noemen als hij voldoet aan de volgende drie eisen: D(A, B) > 0 voor A B, en D(A, B) = 0 als A = B. D(B, A) = D(A, B) voor alle A en B. D(A, B) D(A, C) + D(C, B) voor alle A, B, C. Aan de eerste eis is hier voldaan, maar aan de tweede niet en aan de derde ook niet. De tweede kunnen we nog redden door de symmetrische Kullback- Leibler afstand in te voeren: D s (A, B) = 1 2 D(A, B) + 1 2D(B, A) = 1 2 j p j 2 log(p j /q j ) j q j 2 log(q j /p j ) maar de derde eis blijft niet voldaan Continue kansverdelingen. We hebben ons tot nog toe beperkt tot discrete kansverdelingen. Er is echter een logische uitbreiding tot continue kansverdelingen. In plaats van het rijtje kansen (p 1,..., p n ) dat moet voldoen aan p j 0 en j p j = 1 krijgen we dan te maken met een dichtheidsfunctie f die moet voldoen aan f(x) 0 en f(x) dx = 1. De eindige sommen veranderen in integralen. Zo hebben we de entropie H(f) = en de Kullback-Leibler afstand D(f, g) = f(x) 2log(f(x)) dx f(x) 2log(f(x)/g(x)) dx 0 Een belangrijk verschil is dat de entropie H(f) ook negatief kan zijn zoals blijkt uit het volgende voorbeeld met H(f) = 1: { 2 als 0 x 1 f(x) = 2 0 elders Ook is er geen bovengrens aan H. In het bijzonder wordt de entropie niet maximaal gemaakt door een uniforme verdeling over de reële getallen, want zoiets bestaat niet eens (de dichtheid zou overal nul moeten zijn).

7 11.2 Continue kansverdelingen. 7 In plaats daarvan kunnen we kijken naar verdelingen met een gegeven verwachtingswaarde µ en variantie σ 2, en er is een mooie stelling die zegt dat onder zulke verdelingen de normale verdeling de grootste entropie heeft. Voor de geïnteresseerde lezer volgt hier een bewijs. Stelling N1. De normale verdeling met verwachtingswaarde µ en variantie σ 2 f(x) = 1 σ /2σ2 e (x µ)2 2π heeft entropie H(f) = 2 log(σ 2πe). Bewijs: Kwestie van invullen. We beginnen met H(f) = = ( 1 = 2 log σ 2π ( 1 log(2) f(x) 2 log(f(x)) dx ( f(x)( 2 1 log ) ) = 2 log(σ 2π) 1 σ 2π ( ) f(x) dx ( ) ( + 2 log e (x µ)2 /2σ 2)) dx ( f(x) log e (x µ)2 /2σ 2) ) dx ( 1 ) ( (x µ) 2 ) f(x) log(2) 2σ 2 dx maar σ 2 = f(x)(x µ)2 dx per definitie van variantie dus dit wordt 2 log(σ ( 1 )( σ 2 ) 2π) + log(2) 2σ 2 = 2 log(σ 2πe) Stelling N2. Voor elke verdeling g met verwachtingswaarde µ en variantie σ 2 geldt H(g) H(f), met f als in bovenstaande stelling N1. Bewijs: Voor g moet dus gelden dat g(x) 0 voor alle x en 1. g(x) dx = xg(x) dx = µ ofwel (x µ)g(x) dx = 0 3. (x µ)2 g(x) dx = σ 2 Hieruit volgt dat g(x) dx = f(x) dx. xg(x) dx = xf(x) dx x2 g(x) dx = x2 f(x) dx

8 8 11 INFORMATIE EN ENTROPIE. Schrijf f(x) = e αx2 +βx+γ, waar α = 1 H(g) = = g(x) 2 log(g(x)) dx 2σ 2 g(x) 2 log(g(x)/f(x)) dx = D(g, f) 2 log(e) = D(g, f) 2 log(e) = D(g, f) + enzovoorts. Dan g(x)(αx 2 + βx + γ) dx f(x)(αx 2 + βx + γ) dx g(x) 2 log(f(x)) dx f(x) 2 log(f(x) dx = D(g, f) + H(f) Het gestelde volgt dus uit het positief zijn van de KL-afstand Toepassing: Automatische Taalherkenning QED. Als voorbeeld voor de toepassing van de concepten van entropie en informatie bekijken we het probleem van automatische taalherkenning van geschreven tekst. Voor een mens is dit meestal geen probleem, tenminste bij talen waar men iets over weet, maar de automatisering hiervan is al een stukje lastiger. Onze insteek is, de relatieve frequenties van de letters te gebruiken. Het is natuurlijk bekend dat de letters in het alfabet niet even vaak gebruikt worden, in het Nederlands is bijvoorbeeld de letter E de meest frequente. Het idee is dat de relatieve frequenties voor verschillende talen er verschillend uit zien en dat we hiermee de talen kunnen onderscheiden. Voor een gegeven taal kan men van een groot en representatief tekstbestand de letterfrequenties tellen en dit als kansverdeling nemen van de stochast X die de letters beschrijft. Men krijgt zo de kansen p 1 := p(x = A), p 2 := p(x = B),... p 26 := p(x = Z), p 27 := p(x = spatie) De kans p 27 van de spatie bepaalt de gemiddelde lengte l gem van de woorden, namelijk door l gem = 1 p Tabel 1 geeft de kansverdelingen voor de vier talen Nederlands, Engels, Duits en Fins weer. Het gebruikte tekstbestand is een tekst van de Europese Unie die in de verschillende talen vertaald is en ongeveer letters bevat. Men ziet dat de woorden in het Fins gemiddeld duidelijk langer zijn dan in de andere drie talen.

9 11.3 Toepassing: Automatische Taalherkenning 9 letter Nederlands Engels Duits Fins A 5.55% 6.37% 4.14% 9.57% B 1.45% 0.99% 1.82% 0.10% C 1.45% 3.20% 2.09% 0.05% D 4.72% 2.56% 4.09% 1.40% E 17.31% 9.93% 13.89% 8.50% F 0.68% 1.95% 2.28% 0.07% G 2.79% 1.41% 2.67% 0.19% H 1.83% 3.00% 3.00% 1.77% I 6.09% 7.62% 8.22% 9.90% J 0.70% 0.10% 0.14% 1.57% K 1.51% 0.27% 1.21% 4.74% L 2.87% 2.93% 2.83% 3.75% M 1.98% 2.52% 2.81% 2.65% N 8.67% 7.63% 9.14% 8.08% O 4.94% 7.73% 2.92% 6.68% P 1.53% 2.78% 1.03% 1.78% Q 0.01% 0.04% 0.01% 0.01% R 5.81% 5.15% 6.69% 2.16% S 3.44% 4.92% 5.10% 8.24% T 5.63% 8.30% 5.40% 9.54% U 2.01% 2.57% 3.85% 4.70% V 2.77% 0.70% 0.80% 2.10% W 0.67% 0.75% 0.77% 0.02% X 0.05% 0.12% 0.05% 0.01% Y 0.04% 0.84% 0.06% 1.71% Z 0.55% 0.02% 1.36% 0.05% spatie 14.94% 15.61% 13.63% 10.64% Tabel 1: Letter frequenties voor vier talen Een betere voorstelling van de frequentieverdelingen dan met de tabel krijgt men door de verdelingen als histogrammen te plotten, zo als in Figuur 1 te zien. Hier valt bijvoorbeeld op, dat er in het Fins meer letters met een relatief hoge frequentie zijn, en dat in het Nederlands en Duits de letter E met duidelijke afstand de hoogste frequentie heeft. Als we de frequentieverdelingen als kansverdelingen opvatten, kunnen we voor de verschillende talen de entropieën van deze verdelingen uitrekenen. Dit geeft de volgende waarden: H(Nederlands) = 4.019, H(Engels) = 4.070, H(Duits) = 4.109, H(Fins) = Het gemiddelde aantal alternatieven, dat we in de verschillende talen voor een letter verwachten is dus respectievelijk

10 10 11 INFORMATIE EN ENTROPIE. 2 H(Nederlands) = 16.21, 2 H(Engels) = 16.80, 2 H(Duits) = 17.26, 2 H(Fins) = Je moet dit vergelijken met de 27 alternatieven bij een uniforme verdeling. De volgende tabel geeft de Kullback-Leibler afstanden tussen bovenstaande frequentieverdelingen. Merk op dat de tabel niet symmetrisch is, omdat we de gewone Kullback-Leibler afstand en niet de symmetrische versie toepassen. taal NL EN DU FI NL EN DU FI Het is opvallend hoe sterk Duits en Fins van elkaar afwijken, terwijl Nederlands en Duits redelijk dicht bij elkaar liggen. Een andere toepassing: Monoalfabetische substitutie is een techniek voor geheimschrift waarbij elke letter door een andere vervangen wordt, maar één letter steeds door dezelfde. Oorspronkelijk dacht men dat zo n versleuteling niet te kraken was omdat er teveel sleutels bestaan om ze allemaal te proberen, namelijk 26! Als men echter weet dat de meest frequente letter in de versleuteling een E is en de volgende waarschijnlijk een N kan men al gauw verdere letters gokken. Vanaf de 16e eeuw zijn de relatieve frequenties gebruikt om zulke codes te kraken. Op het feit dat de letters überhaupt verschillende frequenties hebben, is men waarschijnlijk pas na de opkomst van de boekdrukkunst attent geworden, omdat de loden letters in een verschillend tempo versleten.

11 11.3 Toepassing: Automatische Taalherkenning 11 ABCDEFGHI JKLMNOPQRSTUVWXYZ ABCDEFGHI JKLMNOPQRSTUVWXYZ ABCDEFGHI JKLMNOPQRSTUVWXYZ ABCDEFGHI JKLMNOPQRSTUVWXYZ Figuur 1: Frequentieverdelingen van de letters in het Nederlands (linksboven) en Engels (rechtsboven), Duits (linksonder) en Fins (rechtsonder).