ENTROPIE, INFORMATIE EN HET MAXIMUM ENTROPIE PRINCIPE

Transcriptie

1 ENTROPIE, INFORMATIE EN HET MAXIMUM ENTROPIE PRINCIPE Een introductie tot de actuele conceptie en toepassingen van entropie Verslag van Bachelorproject Natuur- en Sterrenkunde, omvang 12 EC, uitgevoerd tussen en bij het Institute of Physics aan de Universiteit van Amsterdam, Faculteit der Natuurwetenschappen, Wiskunde en Informatica. Door: Rebecca Sier Studentnummer: Inleverdatum: 25 mei 2012 Begeleider: Prof.dr.ir. F.A. Bais Tweede beoordelaar: J.P. van der Schaar, Ph.D.

2 Rebecca Sier Bachelorscriptie natuur- en sterrenkunde ABSTRACT The concept of entropy as originally defined by physicists Boltzmann and Gibbs has been radically changed over the past century. In the search for a quantity that measures both the information in and uncertainty of a stochastic system, Shannon found the same expression that Gibbs used to define the entropy of a grand canonical system. With this new conception of entropy as a measure of information, it was Jaynes who first used the maximum entropy principle as a starting point from which he was able to deduce all of statististical mechanics concerning states in thermodynamic equilibrium. In this overview we introduce this chronological development of de concept of entropy, starting as a thermodynamical quantity, leading to being a measure for probability and information. Finally the general utility of this new conception will be illustrated by giving examples of the maximum entropy principle, bringing out the multidisciplinary usefulness of this quantity, which started out having only physical meaning. Finally, an example in linguistics is worked out in some detail. 2

3 Entropie, Informatie en het Maximum Entropie Principe POPULAIR WETENSCHAPPELIJKE SAMENVATTING Entropie is van origine een grootheid uit de warmteleer ofwel thermodynamica. Elk thermodynamisch systeem heeft naast temperatuur, druk en volume ook een waarde voor de hoeveelheid entropie. De tweede hoofdwet van de thermodynamica definieert een toename in entropie als de toename in warmte gedeeld door de temperatuur van het systeem. Erg intuïtief is deze definitie echter niet. Door de jaren heen zijn handigere definities van entropie geformuleerd. Aan de hand van een voorbeeld met bits kunnen we deze definities Magnetron aan, ingesteld op begrijpen. Magnetron aan, ingesteld op watt Magnetron uit, ingesteld op watt Magnetron uit, ingesteld op Figuur - de vier toestandsmogelijkheden van een magnetron beschreven door twee bits Een bit is een systeem met twee opties: op of neer. Uit de toestand waarin een bit zich bevindt lezen we informatie af. Bijvoorbeeld: een magnetron kan aan of uit staan; zit de bit in toestand, dan staat de magnetron aan, terwijl bij toestand de magnetron is uitgeschakeld. Een tweede bit laten we corresponderen met de energieinstelling van de magnetron: toestand staat voor een vermogen tussen de en watt; toestand voor een instelling tussen de en watt. Met deze twee bits kunnen vier verschillende toestanden van de magnetron worden beschreven, zoals te zien in de figuur. Laten we meer bits corresponderen met de instellingen van de magnetron, dan hebben we meer informatie over de instellingen van het apparaat. We kunnen daarom zeggen dat het aantal bits aangeeft hoeveel informatie over de magnetron we tot onze beschikking hebben. Stel nu dat bij het instellen van de magnetron geen onderscheid bestaat tussen de instelling watt en watt de enige instelling die je kunt doen is het aan- of uitzetten van de magnetron. De twee bittoestanden en beschrijven nu dezelfde magnetroninstelling, aangezien het wattage niet meer relevant is. Omdat elke bittoestand even waarschijnlijk is zal een magnetroninstelling die correspondeert met meerdere bittoestanden waarschijnlijker zijn dan een instelling die slechts door één bepaalde bittoestand wordt beschreven. Het aantal bittoestanden dat correspondeert met één magnetroninstelling is daarom een maat voor de waarschijnlijkheid van die instelling. Zo hebben we in een paar alinea s twee interpretaties van het bitsysteem gevonden: het aantal bits is een maat voor de informatie in een systeem en het aantal bittoestanden is een maat voor de waarschijnlijkheid om het systeem in een bepaalde toestand aan te treffen. Wat heeft dit met entropie te maken? Wel, de door natuurkundigen gevonden formules voor entropie blijken exact overeen te komen met de wiskunde die een maat voor informatie en waarschijnlijkheid uitdrukt. Entropie, informatie en waarschijnlijkheid blijken twee kanten van dezelfde medaille te zijn. Zo kunnen we entropie herdefiniëren als maat voor het aantal manieren waarop de toestand van een systeem kan worden gerealiseerd. Daarnaast weten we dat het systeem met maximum entropie het meest waarschijnlijke systeem is. Dit geeft handvatten voor een methode voor het verkrijgen van optimale voorspellingsmodellen: het maximum entropiebeginsel. Aan de hand van dit principe worden uiteenlopende soorten optimale modellen gecreëerd, bruikbaar voor voorspelling van bijvoorbeeld het weer, de beurskoers en voor het maken van vertalingen. De opvatting van entropie als maat voor informatie en waarschijnlijkheid laat zien hoe alomvattend en verbazingwekkend alledaags het begrip is. 3

4 Rebecca Sier Bachelorscriptie natuur- en sterrenkunde INHOUDSOPGAVE 1. EEN BIT 6 2. FYSISCHE ENTROPIE HOOFDWETTEN VAN DE THERMODYNAMICA ENTROPIE EN STATISTIEK STATISTISCHE MECHANICA, DE BASIS BOLTZMANN ENTROPIE GIBBS ENTROPIE SAMENGEVAT 25 3 INFORMATIE EN ENTROPIE HET OPTIMALE MODEL SHANNON: ENTROPIE, EEN MAAT VOOR INFORMATIE INFORMATIE EN DE TWEEDE HOOFDWET MAXWELL S DUIVEL SZILARD S CYCLUS LANDAUER S PRINCIPE REDDING VAN DE TWEEDE HOOFDWET VAN DE THERMODYNAMICA SAMENGEVAT 42 4 HET MAXIMUM ENTROPIEBEGINSEL HET EQUIPARTITIEPRINCIPE HET KANONIEK ENSEMBLE 46 5 ANDERE TOEPASSINGEN VAN HET MAXIMUM ENTROPIE PRINCIPE ANT COLONY OPTIMIZATION BEELDRECONSTRUCTIE GEOGRAFISCHE DISTRIBUTIE VAN DIERSOORTEN 54 6 MAXIMUM ENTROPIE IN DE TAALWETENSCHAP TAALHERKENNINGSPROGRAMMA S KENMERKEN EN VOORWAARDEN DEFINITIE EN MAXIMALISATIE VAN DE ENTROPIE DE OPTIMALE GEWICHTEN VAN DE VOORWAARDEN 63 7 CONCLUSIE 67 DANKWOORD 70 4

5 Entropie, Informatie en het Maximum Entropie Principe GERAADPLEEGDE LITERATUUR 71 5

6 Rebecca Sier Bachelorscriptie natuur- en sterrenkunde 1. EEN BIT Laat me u tot het onderwerp van deze scriptie inleiden door te beginnen met een eenvoudig voorbeeld. Een bit is een systeem met twee opties: of, op of neer, aan of uit, licht of donker. Uit de toestand waarin een bit zich bevindt lezen we informatie af. Een voorbeeld: een magnetron kan aan of uit staan, twee mogelijkheden die beschreven worden door een bit; zit de bit in toestand op, dan staat de magnetron aan, terwijl bij toestand neer de magnetron is uitgeschakeld. Een tweede bit kunnen we laten corresponderen met instellingen van de magnetron, zoals het wattage waarop het apparaat staat ingesteld: toestand neer staat voor een vermogen tussen de en watt; toestand op voor een instelling tussen de en watt. De toestand van de magnetron wordt nu beschreven door twee bits die elk twee mogelijkheden inhouden. Twee maal twee mogelijkheden geeft vier mogelijke toestanden waarin de magnetron zich volgens onze informatie bevinden kan. De toestandsmogelijkheden zijn getekend in Figuur. Een bit in toestand op wordt aangegeven met een omhoog wijzende pijl, de toestand neer met een naar beneden gerichte pijl; de linker pijl geeft de bit weer die correspondeert met het aan- of uitstaan van de magnetron, de rechtse pijl geeft informatie over het vermogen. Magnetron aan, ingesteld op watt Magnetron aan, ingesteld op watt Magnetron uit, ingesteld op watt Magnetron uit, ingesteld op watt Figuur 1 - De vier toestandsmogelijkheden van een magnetron beschreven door twee bits. Laten we meer bits corresponderen met de instellingen van de magnetron, dan hebben we meer informatie over de instellingen van het apparaat. Het ingestelde 6

7 Entropie, Informatie en het Maximum Entropie Principe vermogen kan bijvoorbeeld accurater worden bepaald bij gebruik van extra bits. Het aantal afleesbare toestandsmogelijkheden van de magnetron groeit hierdoor sterk. Drie bits kunnen verschillende toestanden beschrijven. Bits kunnen verschillende toestanden beschrijven. Geven we het aantal toestanden weer met, dan vinden we de volgende uitdrukking voor het aantal bits : log. Hoe meer bits, hoe meer toestanden mogelijk, des te meer informatie over de toestand van de magnetron. Bovenstaande logaritmische uitdrukking is daarom een maat voor de hoeveelheid informatie over het beschreven systeem, in termen van het aantal toestanden waarin het systeem zich kan bevinden. Stel nu dat meerdere bittoestanden dezelfde instelling van de magnetron beschrijven. Dit is bijvoorbeeld het geval wanneer er bij het instellen van de magnetron geen onderscheid bestaat tussen de instelling watt en watt de enige instelling die je kunt doen is het aan- of uitzetten van de magnetron. De twee bittoestanden en beschrijven nu dezelfde magnetroninstelling, aangezien het wattage niet meer relevant is. Omdat elke bittoestand even waarschijnlijk is zal een magnetroninstelling die correspondeert met meerdere bittoestanden waarschijnlijker zijn dan een instelling die slechts door één bepaalde bittoestand wordt beschreven. Het aantal bittoestanden dat correspondeert met één magnetroninstelling is daarom een maat voor de waarschijnlijkheid van die instelling, evenals de logaritme van. Met de twee gevonden interpretaties van een maat voor de hoeveelheid informatie en de waarschijnlijkheid van een toestand is het geen verrassing dat een logaritme in de uitdrukking voorkomt. De logaritme vervult een handige rol omdat deze voldoet aan de eigenschap log log log. Wordt beschouwd als maat voor informatie, dan zorgt de logaritme ervoor dat de totale hoeveelheid informatie een optelling vormt van afzonderlijke hoeveelheden informatie, : log. In het geval dat wordt beschouwd als maat voor de waarschijnlijkheid van een toestand, dan moet gelden dat wanneer deze toestand is opgebouwd uit afzonderlijke stappen, het product van de kansen op deze stappen gelijk is aan de totale waarschijnlijkheid van de toestand: log log log. De genoemde eigenschap van de 7

8 Rebecca Sier Bachelorscriptie natuur- en sterrenkunde logaritme voldoet aan beide eigenschappen voor de twee betekenissen die gegeven zijn aan : log log ( ). Uit dit simpele voorbeeld de beschrijving van de toestand van een magnetron in termen van bits dient zich een interessant verband aan. De logaritme van het aantal mogelijke toestanden is een bekende uitdrukking voor entropie een grootheid uit de thermodynamica zodat met de gevonden uitdrukking een verband tussen entropie, waarschijnlijkheid en informatie wordt gesuggereerd. Om dit verband beter te kunnen begrijpen is kennis over entropie en informatie nodig. Aan de hand van een chronologische beschrijving van de ontwikkeling van thermodynamica, statistische mechanica en het begrip entropie zal in hoofdstuk 2 worden toegewerkt naar eerst Boltzmann s, dan Gibbs begrippen van en uitdrukkingen voor entropie en waarschijnlijkheid. Shannon s statistische interpretatie en uitwerking van het begrip informatie geeft vervolgens in hoofdstuk 3 stevigere handvatten om informatie en entropie aan elkaar te koppelen. Hoofdstuk 4 laat zien hoe entropie in plaats van het eindpunt ook als beginpunt van statistische fysica kan dienen, aan de hand van hoe Jaynes met het principe van maximum entropie gebruik maakte van Shannon s uitwerking en perceptie van entropie. Deze aanpak geeft aan dat de statistische mechanica één van de vele toepassingen van het begrip entropie is, waarna in het vijfde hoofdstuk ter illustratie een aantal voorbeelden wordt gegeven van nieuwe, geheel van natuurkunde losstaande toepassingen van het maximum entropie principe. In hoofdstuk zes wordt een laatste voorbeeld van het maximum entropie principe nauwkeuriger uitgewerkt. Hoewel in historisch perspectief het entropiebegrip aanvankelijk enkel als onderdeel van de bèta-disciplines werd beschouwd, is het inmiddels een begrip dat door zijn interpretatie als maat voor informatie in de meest algemene zin, succesvolle toepassingen heeft gevonden in tal van vakgebieden. Het is deze verbinding tussen entropie en informatie die de conceptie en het gebruik van deze fundamentele grootheid veranderden. In deze scriptie wordt daarvan een overzicht gegeven. 8

9 Entropie, Informatie en het Maximum Entropie Principe 2. FYSISCHE ENTROPIE Om inzicht te geven in het begrip entropie en haar rol in de ontwikkeling van thermodynamica en statistische mechanica wordt allereerst de ontwikkeling zelf beschreven. Via de hoofdwetten van de thermodynamica en haar statistische interpretatie wordt het huidige begrip van entropie geformuleerd. 2.1 HOOFDWETTEN VAN DE THERMODYNAMICA Thermodynamica ontstond in de 19 e eeuw, toen atomen als bouwstenen van materie nog een omstreden onderwerp waren. Omstreden juist omdat met de thermodynamica, zonder gebruik te maken van atoomstructuur, een aantal wetten konden worden opgesteld waarmee conclusies werden getrokken over het gedrag van macroscopische systemen. Bij een eenvoudige formulering van de thermodynamica denken we aan een mechanisch systeem dat energie in de vorm van warmte kan opnemen of afstaan en dat arbeid kan verrichten. De eerste wet van de thermodynamica luidt en komt neer op de stelling dat energie behouden is: in een systeem is de verandering in interne energie gelijk aan de hoeveelheid geabsorbeerde warmte minus de hoeveelheid verrichtte arbeid. Warmte is een vorm van energie, namelijk thermische energie in een systeem opgenomen warmte-energie kan volgens de eerste hoofdwet worden omgezet in interne energie en mechanische energie, ofwel arbeid. De vergelijking 9

10 Rebecca Sier Bachelorscriptie natuur- en sterrenkunde staat toe dat alle opgenomen warmte bijvoorbeeld in arbeid wordt omgezet. Of en in hoeverre dat mogelijk is wordt vastgelegd door de tweede hoofdwet. De tweede hoofdwet van de thermodynamica luidt, en definieert de verandering in entropie als de ratio van de verandering in warmte ten opzichte van de temperatuur van het systeem. Entropie wordt hier gedefinieerd als een toestandsgrootheid, net zoals druk, volume of temperatuur. Elk macroscopisch mechanisch systeem heeft een bepaalde entropie, wat van entropie een fundamentele grootheid maakt, net zo fundamenteel als bijvoorbeeld temperatuur en even belangrijk voor begrip van de werking van het betreffende systeem. Des te opvallender is het dat entropie een relatief onbekende grootheid is. Tevens wordt gesteld de eigenlijke tweede hoofdwet dat de hoeveelheid entropie voor een afgesloten systeem met het verstrijken van de tijd nooit af zal nemen. Implicaties van deze wetten blijken uit argumenten van Nicholas Léonard Sadi Carnot ( ). Hij zette de eerste stappen richting thermodynamica als nieuwe discipline en haar hoofdwetten. Carnot onderzocht de werking van warmte en was de eerste natuurkundige die een verband zag tussen warmte en beweging dit inzicht leidde tot de zojuist geformuleerde eerste hoofdwet. Afhankelijk van de temperatuur verricht warmte arbeid, wat hij aantoonde met behulp van de cyclus die inmiddels zijn naam draagt, weergegeven in Figuur 2. Deze tekening gebruikte Carnot zelf overigens niet, maar werd pas later door Benoît Paul Émile Clapeyron ( ) zoals in onderstaande figuur afgebeeld. 10

11 Entropie, Informatie en het Maximum Entropie Principe Figuur 2 Carnot s cyclus, de verandering van een gas in een cilinder afhankelijk van druk P en volume V. Uit: Bais, F.A. & Farmer, J.D. (2008). The physics of information. In de cyclus bekijkt Carnot de veranderingen in druk en volume van een in een cilinder opgesloten gas. De cilinder is voorzien van een zuiger, zodat het volume van het gas aan kan worden gepast. Daarnaast zijn er twee warmtereservoirs met verschillende temperaturen waar de cilinder mee in contact kan worden gebracht als wel van kan worden geïsoleerd. Het gas krijgt hierdoor achtereenvolgens de temperaturen en, waarbij geldt dat. In vier stappen ondergaat de cilinder Carnot s cyclus. Van punt naar punt vindt een isotherme expansie plaats: het gas heeft in punt temperatuur en is gekoppeld aan het warme reservoir, wat de temperatuur in de cilinder constant houdt. Er wordt een isotherm beschreven volgens de wet van Boyle en Gay Lussac,, met voor de hoeveelheid gas in een mol en voor de gasconstante: de druk van het gas zal de zuiger van de cilinder doen uitschuiven onder absorptie van een hoeveelheid warmte. Met andere woorden: onder afname van de druk van het gas neemt het volume waarin het gas zich bewegen kan toe. Van punt naar is de cilinder van het warmtereservoir losgekoppeld, wat zorgt voor adiabatische expansie: het gas verricht nog altijd arbeid door de zuiger uit te schuiven, maar ontvangt niet meer de warmte om het verlies aan energie te compenseren. Zo zal de cilinder in temperatuur dalen tot het in punt temperatuur bereikt. Voor de stap naar punt wordt de cilinder gekoppeld aan het koude reservoir, wat zorgt voor isotherme compressie: een hoeveelheid warmte wordt afgegeven aan het reservoir, de omgeving van de cilinder zal arbeid verrichten om de 11

12 Rebecca Sier Bachelorscriptie natuur- en sterrenkunde zuiger in te duwen en het volume te verkleinen. Wordt de cilinder in punt losgekoppeld van het koude reservoir, dan blijft de omgeving arbeid verrichten, zonder daar nog warmte van de cilinder voor te ontvangen. Deze adiabatische compressie houdt daarom een stijging van de temperatuur in de cilinder in, tot de temperatuur is bereikt de cyclus is voltooid, de cilinder is terug bij haar beginpunt. Welke implicaties van de twee hoofdwetten vinden we terug in deze cyclus? Om dit in te zien kan de in de cyclus netto hoeveelheid verkregen arbeid berekend worden met de volgende integraal, herschreven met behulp van de eerste hoofdwet. De interne energie verdwijnt uit de integraal aangezien het een kringintegraal betreft en de interne energieën op begin- en eindpunt gelijk zijn. De verandering in entropie van de twee reservoirs kan met behulp van de tweede hoofdwet worden verkregen:. De gevonden uitdrukkingen gebruiken we voor berekening van het rendement van een machine die de Carnot-cyclus ondergaat: de ratio van uitgevoerde arbeid ten opzichte van de hoeveelheid ontvangen energie.. Het rendement is gelijk aan wanneer de hoeveelheid entropie constant blijft. Dit is het maximaal haalbare rendement, alleen afhankelijk van de ratio van de koude en warme 12

13 Entropie, Informatie en het Maximum Entropie Principe temperatuurbaden. Een vergroting van entropie maakt het rendement kleiner dan. Omdat, geldt onder alle omstandigheden dat het rendement kleiner is dan. Dit betekent dat in alle gevallen ; door de cilinder ontvangen energie is altijd groter dan de hoeveelheid uitgevoerde arbeid. Niet-gebruikte energie wordt omgezet in warmte, wat geen rendement oplevert. De tweede hoofdwet legt zo restricties op aan de eerste hoofdwet: energie in de vorm van arbeid kan volledig omgezet worden in warmte, maar warmte kan niet volledig in arbeid worden omgezet. Er zijn twee verschillende warmtebronnen met verschillende temperatuur nodig om thermische energie in arbeid om te kunnen zetten. Dit is een belangrijke consequentie van de tweede hoofdwet: warmte kan niet zomaar van een koud naar een warm reservoir lopen er zal arbeid nodig zijn om warmte uit een koelkast naar een warmere omgeving te transporteren. Een tweede consequentie van de tweede hoofdwet is de irreversibiliteit van processen waarbij entropie toeneemt. Zojuist bleek dat bij vergroting van entropie een lager rendement wordt behaald dan wanneer een Carnot-cyclus wordt doorlopen, met gelijke entropie in begin- en eindpunt. Bij vergroting van entropie zal extra warmte verloren gaan, welke niet kan worden teruggewonnen wanneer het proces in tegengestelde richting wordt doorlopen. Dit in tegenstelling tot de Carnot-cyclus, welke zowel met de klok mee als tegen de klok in kan worden uitgevoerd. Dit brengt een nieuwe eigenschap van toename van entropie aan het licht: processen waarbij de entropie toeneemt zijn irreversibel, in tegenstelling tot processen waarbij de hoeveelheid entropie gelijk blijft. Het is deze laatste eigenschap van entropie die een volgende stap in het begrip over deze grootheid mogelijk maakte. Ludwig Boltzmann zette deze stap, met behulp van opnieuw een nieuwe tak van de fysica: statistische mechanica. 13

14 Rebecca Sier Bachelorscriptie natuur- en sterrenkunde 2.2 ENTROPIE EN STATISTIEK Met de thermodynamica en haar hoofdwetten kwam ook de grootheid entropie, als nieuwe systeemvariabele naast druk, temperatuur en volume. De nieuwe grootheid gedefinieerd door de tweede hoofdwet is de oorzaak van thermodynamische processen, zoals de verschijnselen reversibiliteit en irreversibiliteit, evenals het verschijnsel dat warmte in bepaalde gevallen niet volledig in arbeid kan worden omgezet. Een veel dieper begrip van de betekenis en werking van entropie werd echter pas verkregen met de komst van statistische mechanica. Het doel van de statistische mechanica is om het macroscopische gedrag van systemen zoals gassen en vloeistoffen te verklaren uit de microscopische eigenschappen, dat wil zeggen de wetten waaraan de microscopische bouwstenen voldoen. Anders dan bij de thermodynamica wordt in statistische mechanica gebouwd op kennis over individuele deeltjes of atomen, met elk een eigen snelheid en energie. We moeten ons realiseren dat macroscopische systemen een enorm aantal microscopische vrijheidsgraden hebben, typisch van de orde van het getal van Avogadro,. Nauwgezette kennis over de precieze toestand van al deze minuscule deeltjes is natuurlijk onmogelijk te verkrijgen. Dat is ook niet nodig, het blijkt dat om het macroscopische systeem in evenwicht te beschrijven in termen van de macroscopische toestandsvariabelen, we alleen maar kennis van de gemiddelde eigenschappen van de microscopische deeltjes variabelen hoeven te hebben. En aangezien de aantallen zeer groot zijn, zijn de statistische voorspellingen zeer accuraat, zoals elke verzekeringsagent je kan vertellen. Zo leveren de fysische wetten waaraan microdeeltjes onderhevig zijn, in combinatie met de bekende wetten van de statistiek genoeg informatie om een uitstekende beschrijving van het macroscopische systeem te geven. Met behulp van deze statistiek kunnen thermodynamische processen van macroscopische systemen worden begrepen door kennis van onderliggende microscopische wetten, zonder daarbij de precieze toestand van individuele deeltjes te hoeven kennen. Zo kon ook de macroscopische grootheid entropie begrepen worden aan de hand van een microscopische definitie. 14

15 Entropie, Informatie en het Maximum Entropie Principe STATISTISCHE MECHANICA, DE BASIS Statistische mechanica doet uitspraken over hoe toestanden van grootschalige systemen in termen van de toestanden van kleinere onderdelen samengesteld zijn, zoals microscopisch kleine deeltjes. Dit laatste, de toestand van individuele deeltjes, wordt de microtoestand genoemd, terwijl de grootschaliger toestanden, van een gas bijvoorbeeld, bekend staan als macrotoestanden. Elke nieuwe toestand door een verschil in bijvoorbeeld de positie, snelheid of energie van een atoom in een gas, geeft een nieuwe microtoestand. Het geheel aan mogelijke microtoestanden heet de faseruimte. Eén microtoestand correspondeert met één punt in de faseruimte. Die faseruimte is dus gigantisch: elk deeltje wordt beschreven in termen van een positie (drie getallen) en drie snelheidscomponenten, zodat die fase ruimte dimensies heeft. Zoals gezegd hebben we geen nauwgezette kennis over welke van de mogelijke microtoestanden een heersende macrotoestand veroorzaakt. Wel zijn de fysische wetten bekend waaraan individuele deeltjes zich moeten houden. Daarnaast geeft kennis over de macrotoestand aan van welke microtoestanden uit de faseruimte sprake zou kunnen zijn. Deze mogelijke microtoestanden worden de accessible states of toegankelijke toestanden genoemd. De hoeveelheid toegankelijke microtoestanden, behorend bij een bepaalde macrotoestand, wordt de multipliciteit van die bepaalde macrotoestand genoemd. Statistische fysica maakt gebruik van twee grondbeginselen. Het eerste beginsel stelt dat alle toegankelijke toestanden van een gesloten systeem in evenwicht, dat wil zeggen van een gegeven macrotoestand, even waarschijnlijk zijn. Met andere woorden, de kans dat er sprake is van microtoestand is even groot als de kans op het geval van microtoestand, waarbij beide microtoestanden deel uitmaken van dezelfde groep toegankelijke microtoestanden. Dit geldt niet voor een systeem waarbij energie of deeltjes kunnen worden uitgewisseld. In dit laatste geval zal de waarschijnlijkheid van bepaalde microtoestanden apart moeten worden berekend. Alvorens het tweede principe van de statistische mechanica te introduceren is begrip over de in deze tak van de natuurkunde veelgebruikte term ensemble vereist. Een ensemble is een verzameling deeltjessystemen of toegankelijke microtoestanden. Macroscopische grootheden worden beschreven door statistische kennis over verschillende ensembles. De volgende deeltjessystemen zijn hierbij gangbaar: het microkanoniek ensemble, een geïsoleerd systeem met constante energie en constante 15

16 Rebecca Sier Bachelorscriptie natuur- en sterrenkunde hoeveelheid deeltjes; het kanoniek ensemble, een systeem met constante hoeveelheid deeltjes en in thermisch evenwicht, in staat tot uitwisseling van energie met de omgeving; en het groot kanoniek ensemble, waarin zowel energie als deeltjes met de omgeving worden uitgewisseld. Het tweede principe, noodzakelijk voor het trekken van conclusies zoals de statistische fysica dat doet, is die van ergodiciteit. Volgens deze stelling is de evenwichtstoestand van een ensemble van deeltjessystemen, gemiddeld over de tijd, gelijk aan de gemiddelde toestand van dat gehele ensemble op één ogenblik. Dit betekent dat het niet nodig is om de precieze beweging van alle deeltjes in een ensemble te kennen gemiddeld over de tijd is dit namelijk gelijk aan de waarschijnlijkheidsverdeling over de microscopische toestanden van de systemen in het ensemble op één ogenblik. Omdat het vrijwel onmogelijk is om de exacte heersende microtoestanden te kennen en gedurende de tijd bij te houden biedt de stelling van ergodiciteit een belangrijk gereedschap van waaruit de statistische fysica kon ontstaan: door de mogelijke microtoestanden en hun waarschijnlijkheden horend bij een macrotoestand te berekenen kunnen uitspraken worden gedaan over de verandering van microtoestanden alsmede bijbehorende macrotoestanden in de tijd. Zo kan ondanks een gebrek aan kennis over de heersende microtoestand toch aan de hand van microscopische systemen een precieze verklaring en uitdrukking worden gegeven voor de toestandsvariabelen van een macrotoestand en vervolgens ook van de wetten van de thermodynamica BOLTZMANN ENTROPIE Het was Ludwig Boltzmann ( ) die een verbinding tussen de tweede hoofdwet en statistiek legde (Cercignani, 1998). Boltzmann stelde dat entropie een maat is voor de kans op een macrotoestand. De tweede hoofdwet die zegt dat entropie groter of gelijk blijft stelt daarmee dat er altijd een beweging naar de toestand met een grotere waarschijnlijkheid zal plaatsvinden. Hoe Boltzmann tot deze conclusie kwam kan het best worden ingezien aan de hand van een versimpeld voorbeeld van een fysisch systeem. Boltzmann zelf gebruikte het meest simpele model van een gas, opgesloten in een vat met perfect reflecterende wanden. 16

17 Entropie, Informatie en het Maximum Entropie Principe Daarnaast nam Boltzmann aan dat het gas uit deeltjes met discrete energieën,,,,, bestaat. In deze wordt een soortgelijk model gebruikt, met het verschil dat niet de toestand van gasdeeltjes, maar de toestand van bits wordt beschreven. Een microtoestand van vier bits bepaalt de energie van de macrotoestand. Een bit in toestand op draagt bij aan de totale energie, een bit in toestand neer draagt bij. Het aantal manieren waarop de vier bits kunnen worden gerangschikt is. Elk van deze 16 microtoestanden geeft een macroscopische energie. In Figuur 3 staan de 16 mogelijke microtoestanden weergegeven. Verschillende microtoestanden blijken dezelfde energie te leveren dit zijn de toegankelijke microtoestanden van één macrotoestand. E Ω E Ω E Ω E Ω E Ω Figuur 3 De 16 mogelijkheden waarop vier bits kunnen worden gerangschikt met bijbehorende macroscopische energie E. Het aantal toegankelijke microtoestanden ofwel de multipliciteit van een macrotoestand wordt volgens de regels van de combinatoriek berekend:, 17

18 Rebecca Sier Bachelorscriptie natuur- en sterrenkunde met voor het totaal aantal bits, het aantal bits in toestand op en het aantal bits in toestand neer. Een voorbeeld: voor de macrotoestand met geldt, en, zodat. We hebben te maken met een gesloten systeem, zodat het eerstgenoemde grondbeginsel van de statistische fysica geldt: alle microtoestanden van het systeem zijn even waarschijnlijk. De macrotoestand met grootste multipliciteit is daarom de meest waarschijnlijke macrotoestand. Sterker, de multipliciteit behorend bij een macrotoestand is een maat voor de kans op die bepaalde macrotoestand. In werkelijkheid hebben we te maken met een groot aantal bits of deeltjes. Volgens het getal van Avogadro bevat een mol gas, atomen (Schroeder, 2000), zodat we kunnen spreken over een hoeveelheid deeltjes in de orde van. Vanwege dit grote aantal kan bij berekening van multipliciteit gebruik worden gemaakt van de formule van Stirling:, waarbij vergeleken met de overige variabelen uit de formule langzaam verandert, zodat deze als een constante kan worden beschouwd. Invullen geeft. Door de logaritme van te nemen krijgen we een uitdrukking die net als de in het voorbeeld van een bit uit het eerste hoofdstuk voldoet aan de handige eigenschap log log log : log (log log log ) log log log log log log log log log, waarbij gebruik wordt gemaakt van. In Figuur 4 zien we de gevolgen van deze uitdrukking in het geval : de piek geeft aan dat een klein aantal macrotoestanden 18

19 Entropie, Informatie en het Maximum Entropie Principe een relatief grote multipliciteit kent deze macrotoestanden zijn waarschijnlijk. Hiermee vergeleken hebben de overige mogelijke macrotoestanden een aanzienlijk kleinere multipliciteit, zodat de kans op voorkomen van deze macrotoestanden klein is. Hoe meer deeltjes, des te scherper de piek, zodat in de praktijk bij een normaal deeltjesaantal in de orde grootte van alleen die paar macrotoestanden voorkomen met grote multipliciteit, enkel omdat de kans op voorkomen van deze macrotoestanden een factor groter is dan de kans op overige macrotoestanden. Figuur 4 Multipliciteit Ω uitgezet tegen het aantal bits n. Stel dat een gesloten systeem zich op tijd bevindt in een situatie met relatief lage multipliciteit. Is het systeem niet in evenwicht, dan zal het vanuit deze onwaarschijnlijke toestand bewegen richting een waarschijnlijkere toestand, tot de meest waarschijnlijke toestand is bereikt. Het is zeer onwaarschijnlijk dat een systeem naar een toestand van lagere multipliciteit beweegt niet omdat dit een onmogelijkheid is, maar omdat de kans dat dit gebeurt verwaarloosbaar klein is. Boltzmann trok uit deze eigenschappen van multipliciteit belangrijke conclusies. Zo wist hij entropie en de totale multipliciteit van een fysisch systeem aan elkaar te koppelen: It is well-known that, when a system of bodies undergoes purely reversible transformations, the total entropy of the system remains constant. If, on the contrary, among the transformations which the system undergoes, some are irreversible, its entropy cannot but increase. [T]he same is true of, the measure of permutability for the set of bodies. This measure of the permutability is thus a quantity which, in a state of thermodynamic equilibrium, coincides with entropy, apart from a constant factor, but 19

20 Rebecca Sier Bachelorscriptie natuur- en sterrenkunde which has a meaning even during each irreversible process, when it increases continuously Boltzmann, 77. Bij vergroting van multipliciteit, gepaard gaande met een vergroting van waarschijnlijkheid, vindt een irreversibel proces plaats: de multipliciteit zal niet meer verlagen aangezien daar een verwaarloosbaar kleine kans toe bestaat. Blijft de multipliciteit tijdens een verandering van het systeem gelijk, dan is deze verandering reversibel: begin- en eindtoestand van het systeem zijn even waarschijnlijk, zodat er een goede kans bestaat dat het proces wordt teruggedraaid. Deze eigenschappen zijn gelijk zoals het citaat van Boltzmann aangeeft aan die van entropie, zoals gezien aan de hand van Carnot s cyclus: bij een vergroting van entropie vindt een irreversibel proces plaats, terwijl een toestandsverandering zonder invloed op de hoeveelheid entropie reversibel is. Aan de hand van simpele telvoorbeelden en statistiek is een verband gelegd tussen entropie en multipliciteit, zoals Boltzmann stelde en zoals te lezen op zijn graftombe: log, met de constante van Boltzmann. Entropie blijkt in Boltzmann s definitie een maat voor de waarschijnlijkheid van een toestand. De tweede hoofdwet van de thermodynamica is zo niet meer dan de stelling dat een systeem van minder naar meer waarschijnlijke toestanden zal bewegen een tegengestelde beweging is niet onmogelijk maar zo onwaarschijnlijk dat we haar in de natuur niet tegenkomen GIBBS ENTROPIE De in de vorige sectie verkregen uitdrukking voor entropie, zoals gevonden door Boltzmann, geldt voor het microkanoniek ensemble waarbij geen energie- en 20

21 Entropie, Informatie en het Maximum Entropie Principe deeltjesuitwisseling mogelijk is. Josiah Willard Gibbs ( ) vond een algemenere uitdrukking entropie, geldend voor het groot kanoniek ensemble. Een uitdrukking voor entropie in het geval zowel energie als deeltjes in een systeem uitwisselbaar zijn houdt een verbinding tussen een macroscopische en een microscopische grootheid in. Het verbindt thermodynamica met statistische mechanica. Om een uitdrukking te vinden die beide niveaus bevat dient een aantal nieuwe grootheden te worden geïntroduceerd. Allereerst de Helmholtz vrije energie,. Deze macroscopische grootheid geeft de hoeveelheid energie, beschikbaar voor het verrichten van arbeid en is als volgt gedefinieerd:. De vrije energie is een grootheid uit de thermodynamica, welke een cruciale stap vormde richting de ontwikkeling van statistische mechanica. Deze stap omvatte de combinatie van macroscopische met microscopische grootheden, zoals in de volgende alinea s zal worden getoond. Een tweede uitdrukking van belang is de kansverdeling van de toestand van een systeem in thermisch evenwicht, ofwel een situatie van constante temperatuur. James Clerk Maxwell ( ) was de eerste die een dergelijke verdeling opstelde aan de hand van een aantal vooraf opgestelde relaties en aannames (Bais & Farmer, 2008): 1. Een kansverdeling van de toestand van een systeem in thermisch evenwicht, niet beïnvloed door externe krachten, hangt niet af van plaats of tijd. De kansverdeling is daarom enkel afhankelijk van de snelheden van individuele deeltjes. 2. Omdat de kans dat drie of meer deeltjes tegelijkertijd op elkaar inwerken veel kleiner is dan de kans dat slechts twee deeltjes wisselwerken kan de versimpelende aanname worden gedaan dat alleen wisselwerking van twee deeltjes voorkomt. 3. Aangenomen dat de snelheden van twee deeltjes en vóór interactie onafhankelijk zijn van elkaar kan de samengestelde waarschijnlijkheid, worden weergegeven als het product van de onafhankelijke waarschijnlijkheden:,. 4. In (thermisch) evenwicht dient de kansverdeling vóór een interactie gelijk te zijn aan de kansverdeling na afloop:,,. Gevolg 21

22 Rebecca Sier Bachelorscriptie natuur- en sterrenkunde hiervan is dat de kansverdeling enkel afhankelijk kan zijn van grootheden die behouden blijven gedurende de interactie. In het huidige geval van thermisch evenwicht gebruikte Maxwell het behoud van de kinetische energie van de deeltjes in het systeem. Uit deze relaties leidde Maxwell zijn kansverdeling voor een systeem in thermisch evenwicht af: ( ) e p ( ). Boltzmann vond een meer algemene kansverdeling door de gevolgen van een externe kracht werkend op het systeem mee te nemen. Dit is een verdeling voor het kanoniek ensemble en betekende een vervanging van de kinetische energie in Ma well s uitdrukking door de totale behouden energie, welke naast kinetische energie ook potentiële energie meeneemt. Boltzmann s kansverdeling werd met deze nieuwe aanname, waarbij de totale energie van toestand is. De partitiefunctie dient als normalisatiefactor, zodat. Met de Helmholtz vrije energie en Boltzmann s distributiefunctie in handen kan de verbinding tussen een macroscopische en een microscopische grootheid worden gemaakt. Tussen de Helmholtz vrije energie en de partitiefunctie bestaat de volgende relatie: 22

23 Entropie, Informatie en het Maximum Entropie Principe ln. Met de definitie voor Helmholtz vrije energie wordt gevonden dat. Vullen we de uitdrukking voor in in die van, dan volgt ln ln. Hieruit blijkt opnieuw dat een macroscopische grootheid wordt gekoppeld aan een uitdrukking op microscopisch niveau, aangezien de linkerzijde van de uitdrukking niet zoals de rechterzijde afhangt van. Tevens wordt gebruik gemaakt van een uitdrukking voor de interne energie, gedefinieerd als de gewogen som van alle mogelijke energietoestanden van het systeem. Omdat kan de volgende toevoeging aan de uitdrukking voor worden gedaan: ( ln ). 23

24 Rebecca Sier Bachelorscriptie natuur- en sterrenkunde Invullen geeft de uitdrukking voor entropie waar naar gezocht wordt: ( ln ) ln ln. Deze laatste uitdrukking is die van de bekende Gibbs entropie. Dat Gibbs entropie algemener is dan de uitdrukking die Boltzmann voor entropie vond kan worden ingezien door Gibbs uitdrukking te bekijken voor het specifieke geval waarin Boltzmann s entropie geldt; het microkanoniek ensemble. Omdat er geen energieen deeltjesuitwisseling plaatsvindt in dit ensemble zal de kans op voorkomen van de verschillende microtoestanden gelijk zijn aan. Invullen in de uitdrukking voor Gibbs entropie geeft Boltzmann s entropie ln ln ln. 2.3 SAMENGEVAT De grootheid entropie werd gedefinieerd als en voldoet aan de tweede hoofdwet van de thermodynamica:. 24

25 Entropie, Informatie en het Maximum Entropie Principe De hierin inbegrepen stelling dat de hoeveelheid entropie in een gesloten systeem met het verstrijken van de tijd nooit af zal nemen heeft verschillende consequenties. Een proces dat een toename in entropie veroorzaakt is irreversibel. Tevens kan warmte niet volledig worden omgezet in arbeid, terwijl arbeid wel in zijn geheel kan worden omgezet in warmte. Met de opkomst van statistische mechanica werd entropie beter begrepen in termen van het gedrag van individuele deeltjes. Boltzmann zag in dat entropie een maat voor het aantal mogelijke toestanden en stelde log Voor het microkanoniek ensemble. Gibbs gaf een algemenere uitdrukking voor entropie in termen van kansverdelingen, geldend voor het groot kanoniek ensemble. ln, waarbij de kansverdeling voor toestand aangeeft. 25

26 Rebecca Sier Bachelorscriptie natuur- en sterrenkunde 3. INFORMATIE EN ENTROPIE In de inleiding is een verband tussen entropie, waarschijnlijkheid en informatie gesuggereerd. In het voorgaande hoofdstuk zagen we hoe Boltzmann inderdaad liet zien hoe entropie begrepen kan worden in termen van kans ofwel waarschijnlijkheid. Het was Claude Shannon die entropie definieerde als uitdrukking voor de hoeveelheid informatie in een systeem. Shannon legde hiermee de basis voor de informatietheorie. De hier volgende secties geven aan hoe Shannon tot het verband tussen entropie en informatie kwam en hoe hij en fysici met hem deze ontdekking interpreteerden. Allereerst een korte introductie tot het optimale model, aanleiding gevend tot Shannon s werk. 3.1 HET OPTIMALE MODEL De complexiteit van fenomenen is vaak te ingewikkeld om er met absolute zekerheid precieze toekomstvoorspellingen over te doen. Neem de beweging van de beurskoers, het aantal studenten dat cum laude zal slagen in komend schooljaar of de beweging van individuele moleculen in een gas het zijn complexe macroscopische fenomenen, want afhankelijk van een groot aantal al dan niet meetbare microscopische factoren. Exacte toekomstvoorspellingen aan de hand van al die factoren vereist daarom een zeer tijdrovende en ingewikkelde berekening. Statistiek biedt uitkomst. Ze biedt geen zekerheden over toekomstige beweging van de beurskoers, maar kan aan de hand van resultaten uit het verleden kansen op specifieke uitkomsten geven. Met andere woorden: geeft de waarschijnlijkheid van de uitkomst. Resultaten uit het verleden geven voorwaarden waar een voorspellingsmodel, bestaande uit de set van waarschijnlijkheden, aan dient te voldoen. Verschillende voorspellingsmodellen zullen aan deze voorwaarden voldoen de vraag is welk model uit deze set de 26

27 Entropie, Informatie en het Maximum Entropie Principe kansverdeling van mogelijke uitkomsten het beste voorspelt. Om de kansverdeling te vinden die de toekomstige uitkomst het best voorspelt wordt gezocht naar de optimale verdeling. Laten we het voorbeeld van de veranderende beurskoers gebruiken om een versimpelde voorstelling te geven van de mogelijke voorspellingsmodellen. Stel dat resultaten uit het verleden vijf reële, mogelijke uitkomsten voor verwachte stijging of daling van de beurskoers geven:,,,,. Omdat de kansen van alle mogelijke uitkomsten bij elkaar opgeteld gelijk aan 1 horen te zijn geeft dit een eerste voorwaarde waar het voorspellingsmodel aan behoort te voldoen:,. Oneindig veel modellen voldoen aan deze voorwaarde. Een voorbeeld is, wat betekent dat de beurskoers zonder twijfel een stijging van zal doormaken. Ook het model waarbij, en de rest van de kansen gelijk is aan voldoet. Beide modellen nemen echter meer aan dan bekend is bekend is alleen de gegeven normalisatievoorwaarde, niet de individuele kansen op bepaalde toekomstscenario s. Intuïtief is het model dat zo min mogelijk aanneemt en derhalve de grootst mogelijke onzekerheid over de toekomst laat het aantrekkelijkst: het optimale model. In het huidige geval is dit het model waarbij alle kansen gelijk zijn: 27

28 Rebecca Sier Bachelorscriptie natuur- en sterrenkunde { De kansverdeling van het optimale voorspellingsmodel is zo uniform mogelijk zodat de uitkomst van de verandering van de beurskoers zo onzeker mogelijk is. Dit om niet meer aan te nemen dan in de gegeven voorwaarden besloten zit. Het is in lijn met Ockhams scheermes: Entia non sunt multiplicanda preater neccessitatem, ofwel Men moet de zijnden niet zonder noodzaak verveelvoudigen. Geen object binnen een hypothese behoort te worden bevoordeeld boven andere objecten zolang daar geen reden toe is in de vorm van voorwaarden. Een extra voorwaarde gevonden in de data uit koersbewegingen in het verleden zal een nieuw, zo onzeker mogelijk toekomstmodel geven. Stel bijvoorbeeld dat de kans op óf een stijging van, óf geen stijging of daling gelijk is aan. De nieuwe voorwaarde luidt. Het optimale voorspellingsmodel, behorend bij de twee gegeven voorwaarden met een zo uniform en onzeker mogelijke kansverdeling is eenvoudig na te rekenen: 28

29 Entropie, Informatie en het Maximum Entropie Principe { Volgt uit de data een derde voorwaarde, dan wordt het vinden van het optimale model, kloppend met de gegeven voorwaarden maar niets anders aannemend, complex. Een wiskundige maat voor uniformiteit of onzekerheid is hierom waardevol: maximalisatie van onzekerheid zou het unieke, meest uniforme model aanwijzen; het model dat de optimale waarschijnlijkheidsverdeling voor de mogelijke toekomstige uitkomsten geeft. Shannon vond deze maat. 3.2 SHANNON: ENTROPIE, EEN MAAT VOOR INFORMATIE Claude Elwood Shannon (1916- schreef in 9 zijn baanbrekende artikel A mathematical theory of communication, waarin hij een maat voor de hoeveelheid informatie in een bericht vond. Zoals in het eerste hoofdstuk begon Shannon met een uitdrukking voor de hoeveelheid informatie, gelijk aan het aantal bits welke een bericht (de toestand van de magnetron uit hoofdstuk 1) uitdrukken: log, met voor het aantal toestanden die de bits kunnen beschrijven en waarbij elke mogelijke toestand even waarschijnlijk is. Ook zag Shannon in dat deze uitdrukking voor informatie kan worden geïnterpreteerd als een uitdrukking voor de waarschijnlijkheid van het voorkomen van een specifieke toestand, zoals aangegeven in hoofdstuk 1. In de vorige paragraaf zagen we 29

30 Rebecca Sier Bachelorscriptie natuur- en sterrenkunde dat een grotere waarschijnlijkheid van een voorspellingsmodel gepaard gaat met een grotere onzekerheid over de uitkomst. De twee interpretaties van, die van een hoeveelheid informatie en die van een zo groot mogelijke onzekerheid, leidden Shannon tot de overtuiging dat er één algemene maat bestaat voor zowel een hoeveelheid aan informatie als voor onzekerheid. Gegeven een set kansen, zoals de hierboven gevonden modellen voor het beursverloop, zocht hij een maat die aangeeft hoeveel keuzevrijheid de kansverdeling openlaat of hoe onzeker de uitkomst van het model is. Shannon s maat,,, hoort volgens hem aan een aantal condities te voldoen (1948). Hij toonde aan dat er slechts één functie voldoet aan deze voorwaarden: 1. hoort continu the zijn in, want een continu stijgende kans dient een continue stijging in waarschijnlijkheid te leveren. 2. Als alle gelijk zijn,, dan is een monotoon stijgende functie van. Hoe meer mogelijke uitkomsten met dezelfde kans, hoe groter immers de keuzevrijheid of onzekerheid. 3. Als een uitkomst wordt verdeeld onder twee elkaar opvolgende keuzes, dan is de gewogen som van de individuele waarden van. Deze laatste voorwaarde licht Shannon toe met Figuur 5. De drie mogelijke uitkomsten van de linkse boom zijn gelijk aan die van de rechtse boom, met het verschil dat de rechtse meer stappen laat zetten om tot hetzelfde resultaat te komen. De onzekerheid van de linkerboom moet gelijk zijn aan die van de rechterboom: (,, ) (, ) (, ). 30

31 Entropie, Informatie en het Maximum Entropie Principe De coëfficient is hierbij de weging van de tweede onzekerheidsmaat in de boom deze tweede stap komt slechts in de helft van de gevallen voor. Figuur 5 Decompositie van drie mogelijke uitkomsten (Uit: Shannon, 1948). Aan de hand van de gegeven drie voorwaarden leidt Shannon (1948) als volgt een uitdrukking voor af. Laat (,,, ). Uit conditie (3) volgt dat de onzekerheid over even waarschijnlijke mogelijkheden gelijk is aan de onzekerheid over stappen van even waarschijnlijke mogelijkheden: achtereenvolgende. In Figuur 6 wordt dit opnieuw geïllustreerd met kansbomen, waarbij en. De acht mogelijke uitkomsten van de linkerboom zijn gelijk aan die van de rechterboom, met het verschil dat de rechterboom uit verschillende stappen bestaat. 31

32 Rebecca Sier Bachelorscriptie natuur- en sterrenkunde 1/2 1/8 1/8 1/8 1/2 1/2 1/8 1/8 1/2 1/2 1/2 1/8 1/8 1/8 1/8 1/2 1/2 1/2 1/2 1/2 1/8 1/8 1/8 1/8 1/8 1/2 1/2 1/8 1/2 1/8 Figuur 6 A s m ma s met m en s. De takken van de linkerboom vormen de mogelijke, even waarschijnlijke uitkomsten met kansen. De rechterboom bestaat uit elkaar opvolgende even waarschijnlijke stappen met kansen. Uit dit voorbeeld blijkt dat (,,,,,,, ) (, ). In het algemeen geldt daarom dat. En evenzo geldt. Shannon stelt dat een en gevonden kunnen worden waarvoor geldt dat 32

33 Entropie, Informatie en het Maximum Entropie Principe. Van deze uitdrukking de logaritme genomen en vervolgens gedeeld door log geeft log log log log log log log log log log log log log log, zodat, log log, of log log voor een willekeurig kleine. Uit de tweede conditie volgt voor dat op soortgelijke wijze 33

34 Rebecca Sier Bachelorscriptie natuur- en sterrenkunde en uit een deling door volgt, of. De twee verkregen ongelijkheden worden als volgt omgeschreven log log. Vermenigvuldigen we deze laatste uitdrukking met dan krijgen we. Dit opgeteld bij de eerste, nog onveranderde ongelijkheid geeft log log 34

35 Entropie, Informatie en het Maximum Entropie Principe log log. Het getal kan willekeurig klein worden gekozen, zodat deze gelijk aan kan worden gesteld: log log log log log log. Omdat de twee zijden van deze laatste vergelijking onafhankelijk zijn van elkaar kunnen we ze gelijk stellen aan een constante : log log. Shannon s derde conditie geeft opnieuw een volgende stap. Aangenomen wordt dat een keuze wordt gemaakt uit mogelijkheden met waarschijnlijkheden, zodat ( ) log ( ),,,, log. Nu kan een uitdrukking voor definitie, worden gevonden, waarbij gebruik wordt gemaakt van de 35

36 Rebecca Sier Bachelorscriptie natuur- en sterrenkunde,, ( ) log ( ) ( log ) [( ) log ( ) ( log )] [log ] log. We hebben Shannon s maat voor onzekerheid en informatie gevonden, de unieke oplossing van die voldoet aan de drie gegeven voorwaarden: log. Gegeven een aantal mogelijke voorspellingsmodellen wordt het unieke, meest onbevooroordeelde model gekenmerkt door de grootste onzekerheid. Het voorspellingsmodel met de maximale waarde voor is daarom het meest uniforme model, als beste bruikbaar voor toekomstvoorspellingen aan de hand van beperkte data uit het verleden. Met Shannon s maat voor informatie in handen zien we iets bijzonders: de uitdrukking voor is identiek aan de uitdrukking voor Gibbs entropie, aangenomen dat gelijk is aan Boltzmann s constante. Dit leidde Shannon tot de conclusie dat de door Boltzmann en Gibbs gevonden uitdrukkingen voor entropie in termen van statistische mechanica veel verregaandere toepassingen en betekenis hebben dan enkel de fysische. Shannon generaliseerde entropie van een thermodynamisch naar een informatietheoretisch concept, inzicht gevend in de hoeveelheid informatie in elke denkbare kansverdeling. De Gibbs-entropie geeft de Shannon-informatie van een kansverdeling. 36