Monte Carlo Markov-ketens

Transcriptie

1 Monte Carlo Markov-ketens Mark Plomp 17 juli 2011 Bachelorscriptie Begeleider: dr. Bas Kleijn 2/3 B A 1/3 1/2 1/4 1 C D 1 KdV Instituut voor wiskunde Faculteit der Natuurwetenschappen, Wiskunde en Informatica Universiteit van Amsterdam

2 Samenvatting In deze scriptie bekijken we Monte Carlo simulatie. Dat is het simuleren van kansexperimenten met behulp van de computer. Dit doen we om een nauwkeurige benadering te krijgen van antwoorden op analytisch moeilijk oplosbare problemen. In het algemeen kijken we naar problemen waarvan het antwoord in de vorm van een verwachting op te schrijven is. We bekijken eerst de klassieke theorie van de Monte Carlo simulatie. Omdat we met de klassieke theorie een groot aantal problemen niet op kunnen lossen, bespreken we daarna stochastische processen met geheugenloosheid als speciale eigenschap. Dit soort processen noemen we Markov-processen en kunnen we beschrijven met Markov-ketens. Als we de theorie van de Monte Carlo simulatie en de theorie van de Markov-ketens namelijk samenbrengen krijgen we een krachtige theorie; die van de Monte Carlo Markov-ketens. Deze stelt ons in staat om een goede benadering te krijgen van elke verwachting die we willen uitrekenen. Er zijn meerdere manieren om Monte Carlo Markov-ketens toe te kunnen passen. We bespreken hiervan de twee methodes: de Gibbs sampler en het Metropolis-Hastings. We sluiten de scriptie af door te kijken hoe we met Monte Carlo Markov-ketens een probleem in de Bayesiaanse statistiek kunnen oplossen. Gegevens Titel: Monte Carlo Markov-ketens Auteur: Mark Plomp, Begeleider: dr. Bas Kleijn Tweede beoordelaar: dr. Bert van Es Einddatum: 17 juli 2011 Korteweg de Vries Instituut voor Wiskunde Universiteit van Amsterdam Science Park 904, 1098 XH Amsterdam

3 Inhoudsopgave 1 Inleiding Inversie Verwerpingsmethode Markov-ketens Discrete Markov-ketens Recurrentie en irreducibiliteit Convergentie van Markov-ketens Monte Carlo Markov-ketens inleiding Preliminaria Gibbs sampler Bezoekschema s Metropolis-Hastings algoritme Bayesiaanse statistiek Populaire samenvatting 34 Appendix 36 1

4 Hoofdstuk 1 Inleiding Monte Carlo simulatie is een methode die gebruikt wordt om door middel van computer algoritmes statistische experimenten te simuleren. De methode is ontwikkeld om de eigenschappen van processen met een stochastische component te kunnen bestuderen zonder de, vaak ingewikkelde, stochastische experimenten uit te hoeven voeren. De ontwikkeling is vanaf halverwege de jaren 40 gedaan door Stanislaw Ulam en John von Neumann [1]. Ze bedachten de methode toen ze bezig waren met onderzoek naar bescherming tegen straling. Daarvoor moesten ze problemen oplossen die te maken hadden met de diffusie van neutronen. Vanwege de stochastische componenten van de problemen konden ze deze niet oplossen met analytische berekeningen. Tegenwoordig worden Monte Carlo methoden overal gebruikt. Zij worden gebruikt in de wetenschap, bijvoorbeeld bij wiskunde, natuurkunde en scheikunde, in het bedrijfsleven om bijvoorbeeld wachtrijsystemen te simuleren, maar ook in de entertainment industrie voor bijvoorbeeld computerspelletjes. In dit rijtje moeten we loterijen en casino s ook niet vergeten. De methode heeft zijn naam ook te danken aan het feit dat er in Monte Carlo veel casino s zijn, waar natuurlijk veel kansspelen worden gedaan. De problemen die we met Monte Carlo simulatie willen oplossen, zijn problemen waarvan we de oplossing in de vorm van een verwachting EX, voor een zekere stochast X, kunnen schrijven. Als we dan trekkingen doen van stochastisch onafhankelijke identiek verdeelde stochasten X 1,..., X n met dezelfde verdeling als X, dan geeft de wet van de grote aantallen ons dat 1 n n i=1 X i b.z. EX 1 als n. De Monte Carlo simulatiemethode stelt ons in staat om deze trekkingen van i.i.d. stochasten X 1,..., X n te kunnen doen en stelt ons instaat een benadering 2

5 van het antwoord op ons probleem te geven. Hoe goed deze benadering is, wordt gegeven door de centrale limietstelling. Als onze i.i.d. stochasten X 1,..., X n een eindige variantie σ 2 hebben dan geldt dat n ( 1 n n ) X i EX 1 N(0, σ 2 ). i=1 Dit houdt grofweg in dat de fout als 1/ n naar nul toe gaat. Ulam en von Neumann waren niet de eerste die dit soort statistische experimenten gebruikten ter benadering van wiskundige grootheden. Al in 1733 bedacht de franse wiskundige Comte de Buffon een statistisch experiment om π te benaderen. Buffon schatte π door een naald meerdere malen op een vlak met evenwijdige lijnen te gooien en vervolgens het aantal keer dat de naald een lijn kruist te tellen. We gaan nu kijken hoe deze methode werkt en waarom het een schattingsmethode voor π oplevert. Neem L als de lengte van de naald en d als de afstand tussen de evenwijdige lijnen. Als we de naald op het vlak hebben laten vallen dan noteren we met x de afstand tussen het midden van de naald en de dichtsbijzijnde lijn en we noteren met θ de hoek die de naald maakt ten opzichte van de lijnen. x θ L/2*Sin(θ) Figuur 1.1: De naald met afstanden en hoek We weten dat moet gelden dat 0 X d/2 en 0 θ π/2. Hieruit kunnen we afleiden dat de naald een lijn snijdt dan en slechts dan als x L 2 sin(θ). 3

6 Als we X en θ opvatten als onafhankelijke uniform verdeelde stochasten op de intervallen [0, d/2] en [0, π/2] dan kunnen we de kans dat de naald de lijn kruist berekenen met behulp van de oppervlakte onder de lijn y = L/2 sin(θ). Er geldt dat oppervlakte onder de lijn P(naald kruist een lijn) = oppervlakte van (0, π/2) (0, d/2) = π/2 0 L/2 sin(θ) dx = 2L πd Als we nu d = 2L nemen, is de kans op het raken van een lijn 1/π. Zoals eerder al opgemerkt is, kunnen we π schatten door de naald op stochastisch onafhankelijke manier N keer te laten vallen en dan het aantal keer dat de naald een lijn raakt te tellen. Laat X 1,..., X N de stochasten zijn die aangeven of de naald de lijn raakt of niet. X 1,..., X N zijn onafhankelijk Alt(1/π) verdeelde stochasten. Als we het aantal keer dat een lijn wordt geraakt noteren met H N = N i=1 X i dan zal H N /N volgens de wet van de grote aantallen convergeren naar 1/π. H N N = 1 N b.z. X i EX 1 = 1 als N. N π i=1 Zoals eerder al besproken is geeft de centrale limietstelling ons grofweg dat de fout van de schatting als 1/ N naar nul gaat. Voor Ulam en von Neumann was het niet mogelijk statistische experimenten daadwerkelijk uit te voeren. Ze waren gedwongen de experimenten te simuleren. Dit konden ze doen door gebruik te maken van wiskundige modellen. Het enige wat ze daarvoor moesten doen, was het genereren van willekeurige getallen in grote aantallen. Dit was niet mogelijk geweest zonder de ontwikkeling van de elektronische computer in die tijd. Deze gaf ze de mogelijkheid een groot aantal getallen te genereren. Zoals aan het begin al gezegd is, worden computers tegenwoordig nog steeds gebruikt om grote hoeveelheden data in statistische experimenten te simuleren. We gaan de rest van dit inleidende hoofdstuk bekijken hoe computers gebruikt worden om Monte Carlo simulaties uit te voeren. 1.1 Inversie Aan de basis van Monte Carlo simulatie staat een programma dat willekeurige getallen genereert, dit noemen we een random number generator of toe- 4 π d 2 2

7 valsgenerator. Meestal genereert zo n programma getallen in het interval [0, 1] die statistisch niet te onderscheiden zijn van onafhankelijke uniform[0, 1] verdeelde stochasten. Hoe zo n programma precies werkt staat uitgelegd in de Appendix A.1. Als we dan een programma hebben waarmee we trekkingen kunnen simuleren voor een uniform[0, 1] verdeelde stochast, kunnen we ons afvragen hoe we andere kansverdelingen kunnen simuleren. Één van de methodes waarmee dit kan, heet inversie. Laat een zekere stochast een discrete verdeling P hebben op r 1,..., r n met bijbehorende kansen p 1,..., p n. We verdelen het interval [0, 1] in disjuncte intervallen I 1,..., I n waarbij de lengt van I i gelijk is aan p i voor alle i {1,..., n}. Als de toevalsgenerator dan een realistie u geeft van een uniform[0, 1] verdeelde stochast U en u I j, geef dan X = r j als uitkomst. Zie Figuur 1.2 om te zien hoe dit een verband heeft met de inverse van de distributiefuntie. Figuur 1.2: Distributiefunctie van een discrete verdeling met trekking d.m.v. inversie. Als we nu een stochast X willen simuleren die continue strikt stijgende distributiefunctie F heeft en u is een realistie van een uniform[0, 1] verdeelde stochast U, dan nemen we X = F 1 (u) als de realisatie van onze stochast. Zie Figuur 1.3 voor een grafische weergave van de inversiemethode voor het strikt stijgende continue geval. Als we de inverse van F definiëren als F 1 (u) = inf{x F (x) u} dan kunnen bewijzen dat inversie klopt voor alle cumulatieve distributiefuncties. 5

8 Stelling 1.1. Als X F, U U[0, 1] en we hanteren de bovenstaande definitie van de inverse dan F 1 (U) D = X. Bewijs Omdat F een monotoon stijgende functie is, bestaat het infimum en kunnen we met behulp van de definitie concluderen dat F (F 1 (u)) u en dat F 1 (F (x)) = inf{y F (y) F (x)} x. Hieruit volgt dat {(u, x) F 1 (u) x} = {(u, x) u F (x)}. Waarmee we kunnen zien dat P(X x) = P(F 1 (U) x) = P(U F (x)) = F (x). Uit de bovenstaande stellingen kunnen we concluderen dat inversie een goede methode is voor het simuleren van een stochast met een makkelijke berekenbare inverse. Niet elke stochast heeft echter een inverse die makkelijk te berekenen is. Een voorbeeld hiervan is de normale verdeling, want de distributiefunctie daarvan is gedefinieerd als een integraal die niet kan worden uitgedrukt in termen van een primitieve, laat staan, kan worden geïnverteerd. Figuur 1.3: Een continue strikt stijgende distributiefunctie met trekking d.m.v. inversie. 6

9 1.2 Verwerpingsmethode We kijken nu naar een andere manier om getallen uit een distributie te trekken. Deze methode heet de verwerpingsmethode. Ten opzichte van inversie heeft deze methode als voordeel dat we niet de inverse van de distributiefuncie hoeven te kennen om de methode toe te kunnen passen. Stel dat we een willekeurig getal willen trekken uit een distributie F met dichtheid f en we kunnen getallen genereren uit een distributie G met dichtheid g. Gegeven een zogenaamde acceptatiefuntie h : R [0, 1] werkt de verwerpingsmethode door middel van het volgende algorithme: 1. Genereer een getal Y uit G; 2. Geef met kans h(y ) X = Y als uitkomst, ga anders weer terug naar 1. Indien we X uit F willen trekken, moeten we h kiezen volgens Stelling 1.3. Stelling 1.2. De uitkomst X van het verwerpingsalgoritme heeft een dichtheid proportioneel aan gh. Bewijs De stelling volgt uit P(Y x, Y wordt geaccepteerd) = E[1 (,x] (Y )1 [Y wordt geaccepteerd] ] = EE[1 (,x] (Y )1 [Y wordt geaccepteerd] Y ] = E[1 (,x] (Y )E(1 [Y wordt geaccepteerd] Y )] = E[1 (,x] (Y )P(Y wordt geaccepteerd Y )]. De laatste verwachting kunnen we nu schrijven als Dit impliceert dat E[1 (,x] (Y )P(Y wordt geaccepteerd Y )] = = x 1 (,x] (y)h(y) dp G (y) h(y)g(y) dy. P(Y wordt geaccepteerd ) = h(y)g(y) dy 7

10 En dat P(X x) = P(Y x Y wordt geaccepteerd ) x h(y)g(y) dy =. h(y)g(y) dy Uit deze stelling volgt dat f/g een kandidaat voor h is. Merk op dat P G (g = 0)= 0, waardoor f/g dus goed gedefinieerd is op R. We moeten wel zorgen dat h een funtie met waarden in [0, 1] is. Stel dat f/g M b.o. voor een zekere M. Als we dan h = f/(mg) gebruiken, zal X een dichtheid proportioneel aan f/m hebben. Aangezien f een dichtheid is en M een constante, moet gelden dat X dichtheid f heeft. Verder zien we dat de acceptatiekans dan 1/M is. Het algoritme is dus het meest efficiënt als M klein is, omdat de acceptatiekans dan hoger is. Om de afwijzingsmethode wat duidelijker te maken bekijken we nu een voorbeeld waarbij we willekeurige getallen uit een uniforme verdeling kunnen trekken en waarbij we uit een andere distributie F getallen willen trekken. In dit voorbeeld weten we dat f begrensd wordt door M en een begrensde drager [A, B] heeft. Als we nu kijken naar het algoritme dat hoort bij de verwerpingsmethode dan hebben we 1. Genereer een getal U 1 uniform uit [A, B]; 2. Genereer een getal U 2 uniform uit [0, M] en als U 2 < f(u 1 ) geef dan X = U 1 als antwoord, ga anders terug naar stap 1. Zie Figuur 1.4 voor een grafische weergave van de bovenstaande procedure. Figuur 1.4: Een voorbeeld van de verwerpingsmethode. 8

11 Wat we in dit voorbeeld eigenlijk doen is het uniform trekken van een punt (U 1, U 2 ) uit [A, B] [0, M]. Als dit punt onder de grafiek van f ligt dan accepteren we U 1 als trekking uit distributie F. Aan het begin van dit inleidende hoofdstuk hebben we gesteld dat we problemen willen oplossen waarvan we het antwoord als een verwachting EX kunnen schrijven, voor een zekere stochast X F. Om een benadering van het antwoord te krijgen wilden we i.i.d. stochasten X 1,..., X n F n simuleren. We hebben nu twee methoden gezien waarop we deze i.i.d. stochasten kunnen simuleren. De vraag dient zich nu aan of we met deze methoden alle mogelijke verdelingen kunnen simuleren. Dit is niet het geval. Ze geven bijvoorbeeld geen algemene manier om verdeling op uitkomstenruimtes van dimensie 2 te simuleren. Om onszelf in staat te stellen dit wel te doen, moeten we de theorie van de Monte Carlo simulatie uitbreiden. In het volgende hoofdstuk beginnen we hiermee door zogenaamde Markov-ketens te introduceren. De theorie van de Markov-ketens in combinatie met die van de Monte Carlo simulatie geeft ons dan uiteindelijk een manier om elke willekeurige verdeling te simuleren. 9

12 Hoofdstuk 2 Markov-ketens In hoofdstuk 3 passen we Monte Carlo simulatie toe met een sampling schema dat door een Markov-keten gegenereerd wordt. Hiertoe gaan we eerst bestuderen wat Markov-ketens zijn en wat voor speciale eigenschappen ze bezitten. Dit doen we door middel van een aantal definities, stellingen en een paar voorbeelden. Het belangrijkste resultaat van dit hoofdstuk is de convergentie naar een evenwichtdistributie van een Markov-keten, stelling Een groot deel van dit hoofdstuk zal daarom in het teken staan van de definities, lemma s en stellingen die nodig zijn om tot dit resultaat te komen. Omwille van de lengte en leesbaarheid van het hoofdstuk zullen we niet alle stellingen bewijzen. Zie [3] hoofdstuk 1 voor de ontbrekende bewijzen. 2.1 Discrete Markov-ketens Als we het over een Markov-keten hebben dan hebben we het over een stochastisch proces dat springt tussen verschillende toestanden en de Markov eigenschap bezit. De Markov eigenschap houdt in dat het proces geheugenloos is. Dat wil zeggen dat alleen de huidige toestand invloed heeft op de verdeling van de volgende toestand van het proces, en niet alle voorgaande toestanden. Als voorbeeld gaan we bij het spel slangen en ladders kijken naar een pion van één van de spelers. We kunnen dan een proces (X n ) n 0 beschrijven waarin X i de plaats aangeeft van de pion in beurt i voor een zekere i 0. Definitie 2.1. Laat I een (af)telbare verzameling zijn. Elke i I noemen we een toestand en I heet de toestandenruimte. 10

13 Figuur 2.1: Spelbord met pion. Het speelbord met de hokjes erop is een toestandenruimte voor ons voorbeeld. In het spel gooien we elke beurt met een dobbelsteen om te bepalen waar de pion heen springt. We kunnen dus zeggen dat hij op stochastische wijze over het bord springt. We zoeken een manier om te praten over de kans dat de pion op een bepaald hokje staat of in het algemeen de kans dat een Markov-keten in een bepaalde toestand i I verkeert. Hiervoor definiëren we allereerst de begrippen maat en distributie. Definitie 2.2. Laat I een aftelbare verzameling zijn. We noemen λ = (λ i i I) een maat op I als 0 λ i voor alle i I. Als daarnaast i I λ i = 1 dan noemen we λ een distributie. Als we nu zeggen dat λ een distributie is voor een stochast X : Ω I dan bedoelen we daarmee dat P(X = i) = λ i Voor ierdere A 2 I legt definitie 2.2 λ(a) = i A λ i vast en definieert dus een σ-eindige maat op I. Definitie 2.3. We noemen een matrix P = (p ij i, j I) stochastisch als elke rij (p ij j I) een distributie is. 11

14 We kunnen een stochastische matrix P gebruiken om aan te geven wat de kans p ij is voor onze pion om van plaats i op het bord naar plaats j te springen. Met de bovenstaande definties kunnen we nu formeel definiëren wat een Markov-keten is. Definitie 2.4. We zeggen dat (X n ) n 0 een Markov-keten is met begindistributie λ en transitiematrix P als 1. X 0 distributie λ heeft 2. voor n 0, gegeven X n = i, X n+1 distributie (p ij j I) heeft en onafhankelijk is van X 0, X 1,..., X n 1 Notatie: Als (X n ) n 0 aan de bovenstaande voorwaarden voldoet, zeggen we dat (X n ) n 0 Markov(λ, P ) is. Wat de bovenstaande definitie zegt over ons spel is dat de plek waar de pion de volgende beurt komt te staan alleen afhankelijk is van de huidige positie. De plekken waar de pion hiervoor stond hebben hier geen invloed op. We kunnen (1.) en (2.) uit de bovenstaande definitie ook noteren als 1. P(X 0 = i) = λ i voor alle i I 2. P(X n+1 = i n+1 x n = i n ) = p ini n+1 voor alle n 0. Door de geheugenloosheid van Markov-ketens is het ook makkelijk om ze weer te geven. We kunnen een Markov-keten weergeven als een gerichte, gewogen graaf. Hierbij zijn de knopen van de graaf de verschillende toestanden en geven de gewichten van de pijlen de overgangskansen aan. In dit soort grafen geven we overgangen van toestanden naar zichzelf niet weer. Hoewel er positieve kans kan bestaan dat de Markov-keten in dezelfde toestand blijft. 2/3 B A 1/3 1/2 1/4 1 C D Figuur 2.2: Een Markov-keten als graaf weergegeven 1 12

15 Voor de volgende stelling hebben we de Kronecker delta δ i nodig, deze is gedefinieerd als { 1 als i = j δ ij = 0 als i j We kunnen δ dus zien als een matrix, de identiteit op R n als I = {1, 2,..., d}. De i-de kolom is dan de hierboven beschreven vector δ i. Stelling 2.5. Laat (X n ) n 0 Markov(λ, P ) zijn. Voorwaardelijk op X m = i, voor een zekere i I, geldt dat (X m+n ) n 0 Markov(δ i, P ) is en onafhankelijk van X 0, X 1,..., X m. Dit noemen we de Markov eigenschap. Deze stelling benadrukt nog een keer de geheugenloosheid van Markov-ketens. Zij volgt meteen uit de manier waarop we Markov-ketens hierboven hebben gedefinieerd en dan in het bijzonder uit punt 2 van de definitie. 2.2 Recurrentie en irreducibiliteit Nu kunnen we ons afvragen wat de kans is dat we in n stappen in een zekere staat i I zijn. Stel dat we in een zekere staat i I zijn op tijdstip n, dan weten we dat P(X n+1 = j X n = i) = p ij. Nu kunnen kijken naar wat de kans is dat P(X n+2 = j X n = i). Deze kans is af te leiden met behulp van de Markov eigenschap: P(X n+2 = j X n = i) = P(X n+2 = j X n+1 = k, X n = i)p(x n+1 = k X n = i) k I = p ik p kj = (P 2 ) ij. k I Waarbij we hebben opgemerkt dat de som gelijk is aan het ij-de element van P 2 vanwege de definitie van (gegeneraliseerde) matrixvermenigvuldiging. Dat deze som altijd goed gedefinieerd is voor niet-eindige toestandenruimtes I volgt uit het feit dat P stochastisch is. Dan geldt dat p ik p kj p ik = 1. k I k I Hieruit kunnen we concluderen dat de som convergeert en eindig is. Voor het gemak zullen we vanaf nu p (n) ij = (P n ) ij schrijven voor het ij-de ele - ment van P n. Definieer daarnaast P 0 als de identiteitsmatrix. Als (X n ) n 0 13

16 Markov(λ, P ) is en λ i > 0 dan schrijven we P i (A) voor de conditionele kans P(A X 0 = i). Vanwege de Markov eigenschap op tijdstip m = 0 is (X n ) n 0 Markov(δ i, P ) onder P i. De volgende stelling geeft ons de n-staps overgangskansen. Stelling 2.6. Laat (X n ) n 0 Markov(λ, P ) zijn. Dan geldt voor alle m, n 0 1. P(X n = j) = (λp n ) j 2. P i (X n = j) = P(X m+n = j X m = i) = p (n) ij. Één van de voorwaarden van stelling 2.18, is dat de Markov-keten irreducibel is. Wat dit precies inhoudt zal duidelijk worden gemaakt met behulp van de onderstaande definities en stelling. Definitie 2.7. We zeggen voor i, j I dat i leidt tot j als P i (X n = j voor een zekere n 0) > 0. We noteren dit met i j. We zeggen dat i communiceert met j als i j en j i. We noteren dit met i j. Stelling 2.8. Voor i, j I, i j zijn de volgende uitspraken equivalent: 1. i j 2. p i0 i 1 p i1 i 2...p in 1 i n > 0 voor zekere i 0, i 1,...i n I waarbij i 0 = i en i n = j 3. p (n) ij > 0 voor zekere n 0 Bewijs Om de equivalentie te bewijzen tussen 1 en 3 merken we op dat p (n) ij Voorts geeft stelling 2.6 dat P i (X n = j voor een zekere n 0) p (n) ij = i 1,...,i n p ii1 p i1 i 2...p in 1 j. Hiermee is ook de equivalentie tussen 2 en 3 bewezen. n=0 p (n) ij. 14

17 Met behulp van de bovenstaande stelling kunnen we zien dat een equivalentierelatie is op I. Hiervoor moeten we controleren op reflexiviteit, symmetrie en transitiviteit. Vanwegen het n = 0 geval uit de definitie geldt dat i i, dus ook dat i i. De symmetrie volgt ook rechtstreeks uit de definitie voor. Als laatste kunnen we de transitiviteit afleiden met behulp van de laatste stelling. Laat i j, j k dan volgt uit (2.) dat p ii1 p i1 i 2...p in 1 j > 0 en p jin+1 p in+1 i n+2...p im 1 k > 0 dus dan p i0 i 1 p i1 i 2...p in 1 i n p jin+1 p in+1 i n+2...p im 1 k > 0. Dat is dan weer equivalent met i k. Dus is een equivalentierelatie. Equivalentieklassen voor de relatie worden communicerende klassen genoemd. Definitie 2.9. Een keten met transitiematrix P heet irreducibel als I één grote communicerende klasse is. Een voorbeeld van een Markov-keten die niet irreducibel (en dus reducibel) is, is de Markov-keten uit Figuur3.3. Daarbij zijn de communicerende klassen {A, B} en {C, D}. Hier onder staat een voorbeeld van een irreducibele Markov-keten. B 1 1 A 1/2 1/2 C Figuur 2.3: Een irreducibele Markov-keten We hebben eerder al vastgesteld dat voor een Markov-keten de Markov eigenschap geldt voor vastgestelde tijden m 0. Het is echter mogelijk om een sterkere versie van deze stelling te bewijzen. Definitie Een stochast T : Ω {0, 1,...} { } wordt een stoptijd genoemd als {T = n} alleen afhangt van X 0, X 1,..., X n voor n = 0, 1, 2,... Als we nu weer gaan kijken naar het spel slangen en ladders dan kunnen we snel een paar stoptijden voor onze pion vinden. Bijvoorbeeld, neem T de eerste keer dat de pion het laatste vakje van het spelbord haalt. Het geval dat T = n hangt dan alleen maar af van {T = n} = {X n = 9}. Andere stoptijden zijn bijvoorbeeld de vierde keer dat de pion via een slang gaat of de zevende keer dat de pion een ladder beklimt. 15

18 Stelling Laat (X n ) n 0 Markov(λ, P ) zijn en T een stoptijd van (X n ) n 0. Op voorwaarde dat T < en X T = i, geldt dat (X T +n ) n 0 Markov(δ i, P ) is en onafhankelijk van X 0, X 1,...X T. Dit noemen we de sterke Markov eigenschap. Bewijs Als B een gebeurtenis is die wordt bepaald door X 0, X 1,..., X T dan wordt B {T = m} bepaald door X 0, X 1,..., X m. Als we nu de Markov eigenschap op tijdstip m toepassen dan krijgen we P({X T = j 0, X T +1 = j 1,..., X T +n = j n } B {T = m} {X T = i}) = P i (X T = j 0, X T +1 = j 1,..., X T +n = j n )P(B {T = m} {X T = i}). Dit konden we doen door de conditie T = m te gebruiken om m door T te vervangen. Als we nu sommeren over m = 0, 1, 2,... en delen door P(T <, X T = i) krijgen we P({X T = j 0, X T +1 = j 1,..., X T +n = j n } B T <, X T = i) = P i (X T = j 0, X T +1 = j 1,..., X T +n = j n )P(B T <, X T = i). Een stoptijd die vaak gebruikt wordt en voor het bewijs van de convergentie stelling ook van belang is, is het eerste passage moment van i, gedefinieerd als T i = inf{n 1 X n = i}. Deze stoptijd komt van pas als we het aantal passages van een toestand van onze Markov-keten bekijken. Definitie Een toestand i I heet recurrent als Een toestand i I heet transiënt als P i (X n = i voor oneindig veel n) = 1. P i (X n = i voor oneindig veel n) = 0. Stelling Stel dat P irreducibel en recurrent is. Dan geldt voor alle i I P(T j < ) = 1 In lijn met hoe we P i gedefiniëerd hebben voorafgaand aan stelling 2.6 definiëren we E i als E i (T i ) = np i (T i = n). n=0 16

19 Definitie Als de verwachte terugkeertijd m i = E i (T i ) kleiner dan is dan noemen we i positief recurrent. 2.3 Convergentie van Markov-ketens We willen uiteindelijk kunnen bewijzen dat een Markov-keten, onder geschikte voorwaarden, naar een bepaalde evenwichtsdistributie convergeert. Hiervoor hebben we invariante distributies nodig. Deze zullen straks de gewenste evenwichtsdistributies blijken te zijn. Definitie λ is een invariante maat als geldt dat λp = λ. Als verder ook nog geldt dat i I λ i = 1 dan heet λ een invariante distributie. Stelling Laat P irreducibel zijn. Dan zijn de volgende drie uitspraken equivalent. 1. Elke toestand is positief recurrent 2. Een toestand i is positief recurrent 3. P heeft een invariante distributie π die voldoet aan m i = 1/π i voor alle i I. Het laatste begrip dat we nodig hebben om de convergentie naar de evenwichtsdistributie te kunnen bewijzen is aperiodiciteit. Definitie Een toestand i I heet aperiodiek als er een N N is zodanig dat voor alle n N p (n) ii > 0. Een voorbeeld van een aperiodieke Markov-keten is die uit Figuur 2.3. Hieronder een voorbeeld van een periodieke Markov keten. Als we beginnen in een willekeurige staat van deze Markov-keten dan kunnen we alleen in een even aantal stappen terug komen. De overgangskans p (n) ii is dus 0 voor alle oneven n. 17

20 1 A B 1 1/3 2/3 D 1 C Figuur 2.4: Een aperiodieke Markov-keten Stelling Convergentie naar een evenwichtsdistributie Laat P irreducibel en aperiodiek zijn. Neem daarnaast aan dat P een invariante distributie π heeft. Laat verder λ een willekeurige distributie zijn en neem ook aan dat (X n ) n 0 Markov(λ, P ) is. Dan geldt dat en in het bijzonder dat P(X n = j) π j als n, voor alle j I p (n) ij π j als n, voor alle j I. Bewijs De stelling wordt in drie stappen bewezen. Laat (Y n ) n 0 Markov(π,P ) zijn, onafhankelijk van (X n ) n 0. Nu kiezen we een referentietoestand b I en definiëren we T = inf{n 1 X n = Y n = b} Stap 1 We gaan nu eerst aantonen dat P(T < ) = 1. Vanwege de onafhankelijkheid van (X n ) n 0 t.o.v. (Y n ) n 0 is het proces W n = (Y n, X n ) een Markov-keten op I I met overgangskansen en begindistributie p (i,k)(j,l) = p ij p kl µ (i,k) = λ i π k. Omdat P aperiodiek is hebben we voor alle i, j, k, l dat p (n) (i,k)(j,l) = p(n) ij p(n) kl > 0 voor alle n die groot genoeg zijn. Dus hieruit kunnen we volgens stelling 2.8 tevens concluderen dat P irreducibel is. Daarnaast volgt de invariante distributie van P uit die van P, π (i,k) = π i π k 18

21 omdat (X n ) n 0 en (Y n ) n 0 onafhankelijk zijn. Hierdoor volgt uit stelling 2.16 dat P positief recurrent is. Aangezien T het eerste passage moment van (b, b) van W n is moet dus gelden dat P(T < ) = 1 volgens stelling Stap 2 We gaan nu aantonen dat (Z n ) n 0 Markov(λ, P ) is voor { X n als n < T Z n = als n T Y n Als we nu de sterke Markov eigenschap toepassen op (W n ) n 0 op tijdstip T dan is (X T +n, Y T +n ) n 0 Markov(δ (b,b), P ) en onafhankelijk van (X 0, Y 0 ),(X 1, Y 1 ),...,(X T, Y T ). Vanwege symmetrie kunnen we (X T +n, Y T +n ) n 0 vervangen door (Y T +n,x T +n ) n 0 wat dus ook Markov(δ (b,b), P ) is. Oftewel, W n = (Z n, Z n) is Markov(µ, P ) als hierbij { Z n Y n als n < T = X n als n T. Hieruit volgt i.h.b. dat (Z n ) n 0 Markov(λ, P ) is. Stap 3 We hebben nu dus: P(Z n = j) = P(X n = j en n T ) + P(Y n = j en n T ) Dus hieruit kunnen we afleiden dat P(Z n = j) π j = P(Z n = j) P(Y n = j) = P(X n = j en n < T ) P(Y n = j en n < T ) P(n < T ). En we weten dat P(n < T ) 0 als n. We weten al dat π invariant is als geldt dat πp = π. Als afsluiting van dit hoofstuk geef ik nog een voldoende voorwaarde waaronder π een invariante distributie is. Deze methode wordt in het volgende hoofstuk meerdere malen gebruikt. Definitie Een stochastische I I matrix P en een distributie π van lengte I zijn in detailed balance als geldt dat π i p ij = π j p ji voor alle i, j I Stelling Als P en π in detailed balance zijn dan is π een invariante distributie voor P. 19

22 Bewijs Er moet aangetoond worden dat geldt dat πp = π. Hieraan wordt voldaan aangezien (πp ) i = π j p ji = π i p ij = π i p ij = π i. j I j I j I We hebben bij de tweede gelijkheid de detailed balance vergelijking toegepast. Het is in het algemeen niet waar dat als π een invariante distributie is voor een stochastische matrix P, dat p en π dan in detailed balance zijn. Als voorbeeld hiervan bekijken we nogmaals de irreducibele aperiodieke Markov-keten uit Figuur 2.3. Hiervoor is de bijbehorende overgangsmatrix P = Hiervoor is π = (1/5, 2/5, 2/5) een invariante distributie. Detailed balance geldt echter niet want π 1 p 12 = = π 2p

23 Hoofdstuk 3 Monte Carlo Markov-ketens Stel we hebben een zekere verdeling Π op een toestandenruimte X en we willen deze verdeling simuleren of de verwachting voor f : X R benaderen. Wat we zoeken is een benadering voor π(f) = E[f(X)] = f(x)π(x) dx. (3.1) gebaseerd op trekkingen uit Π. Als π een eenvoudige vorm heeft dan kunnen we deze integraal analytisch uitrekenen. Het komt echter vaak voor dat X een hoog-dimensionale ruimte is, of dat π niet in gesloten vorm voor handen is. Dan is het direct uitrekenen van deze integraal onhaalbaar. 3.1 inleiding De Monte Carlo methode pakt dit probleem aan door trekkingen van stochastisch onafhankelijke identiek verdeelde kansvariabelen X 1, X 2,..., X n Π n. De realisatie wordt dan gebruikt om π(f) te schatten met de schatter X ˆπ(f) = 1 n n f(x i ), i=1 die convergeert naar 3.1 volgens de wet van de grote aantallen. We hebben in de inleiding besproken hoe dit in zijn werk gaat voor standaard (of klassieke) Monte Carlo simulatie. Het kan echter zelfs zo zijn dat Π te gecompliceerd is om directe simulatie toe te kunnen passen. In dat soort situaties kunnen Monte Carlo Markov-ketens uitkomst bieden. Wat we dan willen doen, is het maken van een Markov-keten op X met limietdistributie π. Om ons van convergentie te verzekeren eisen 21

24 we daarnaast ook dat onze keten irreducibel en aperiodiek is. Startend in een punt genereren we dan X 1, X 2,... door de keten stappen te laten doen. Vervolgens nemen we aan dat, voor een zekere grote N N, X N volgens de limietdistributie verdeeld is. We nemen dan Y 1 = X N als eerste trekking en starten de keten opnieuw om Y 2, Y 3,..., Y n te simuleren. Omdat de stappen die een Markov-keten doet onderling onafhankelijk zijn en X N volgens Π verdeeld is, kunnen we veronderstellen dat Y 1, Y 2,..., Y n een onafhankelijk identiek verdeelde steekproef uit Π vormt. Dit hoofdstuk zal belichten hoe we zulke Markov-ketens kunnen construeren. Hierbij is met name gebruik gemaakt van de theorie zoals die gepresenteerd is in [4] Preliminaria In het vorige hoofdstuk hebben we Markov-ketens gedefinieerd op aftelbare toestandenruimtes en stellingen bewezen voor Markov-ketens op deze ruimtes. In de praktijk van Monte Carlo Markov-ketens komen we echter problemen tegen op overaftelbare toestandenruimtes X. X kan bijvoorbeeld een open bol in R d zijn. We moeten ons dan realiseren dat we in feite alleen een (willekeurig nauwkeurige) discrete benadering van het probleem kunnen aanpakken. Dit hoeft geen probleem te vormen, aangezien we meestal slechts een antwoord met bepaalde nauwkeurigheid op ons probleem willen. We willen bijvoorbeeld een antwoord op tien decimalen nauwkeurig. Als ik het vanaf nu over een overaftelbare toestandenruimte heb dan bedoel ik daarmee de discrete benadering van deze ruimte. Laat X R d zijn en schrijf x = (x 1, x 2,..., x d ) voor x X. Laat daarnaast π een dichtheid op X zijn. We nemen vanaf nu voor het gemak aan dat er in X alleen punten x zitten waarvoor π(x) > 0. We zijn toch niet geïnteresseerd in punten x waarvoor π(x) = 0, aangezien we hier bijna-zeker nooit terecht zullen komen als we trekkingen uit Π doen. Als X = (X 1, X 2,..., X d ) Π n, dus P(X = x) = π(x) voor alle x X, dan noteren we de marginale dichtheid van de componenten X i van X met π Xi. dus voor i {1, 2,..., d} geldt π Xi (x i ) = P(X i = x i ) = P(X = y). y X,y i =x i Definitie 3.1. Als T {1, 2,..., d} en v = (v 1, v 2,..., v d ) dan noteren we met v T de vector met componenten v i voor i T. v T is dan de vector met componenten v i voor i / T. Als T = i dan noteren we v T = v i en v T = v i. 22

25 De marginale dichtheden voor X T en X T voor een zekere T {1, 2,..., d} noteren we met π XT resp. π X T en zijn op dezelfde manier gedefinieerd als π Xi. Om de π -notatie compleet te maken schrijven we voor de conditionele kans op x T gegeven X T = x T, π XT X T =x T (x T ) = P(X T = x T X T = x T ). Deze notatie wordt gebruikt in de volgende twee secties, waar we Markovketens construeren die slechts enkele componenten van de vector X per stap veranderen. 3.2 Gibbs sampler Laat net als hiervoor X R d zijn en π een bekende dichtheid op X. We construeren nu een proces (X n ) n 0 als volgt: We nemen een T {1, 2,..., d}. Als dan X n = x n voor een zekere x n X, dan definiëren we de kansvector X n+1 = (X n+1,1, X n+1,2,..., X n+1,d ) door X n+1, T = x n, T met kans één te stellen en X n+1,t te trekken in overeenstemming met de conditionele verdeling Π XT X T =x T (x n+1,t ). Dit proces (X n ) n 0 vormt een Markov-keten met overgangskansen { π XT X p xi x j = T =x T (x j,t ) als x i, T = x j, T (3.2) 0 als x i, T x j, T voor alle x i, x j X. Merk op dat op deze manier X n+1,t onafhankelijk is van X n,t. Het geconstrueerde proces, opgevat als sampling procedure, wordt de Gibbs sampler genoemd. Stelling 3.2. π is een invariante distributie voor de hierboven gedefinieerde keten. Bewijs Om dit aan te tonen laat ik zien dat π in detailed balance is met de bij (X n ) n 0 horende transitiematrix P. Neem x i, x j X. Als x i, T x j, T dan geldt dat p ij = p ji = 0, dus dan wordt er voldaan aan de detailed balance vergelijking. Laat nu x i, T = x j, T dan geldt π(x i )p ij = π(x i )π XT X T =x T (x j,t ) = π XT X T =x T (x i,t )π X T (x i, T )π XT X T =x T (x j,t ) = π XT X T =x T (x i,t )π X T (x j, T )π XT X T =x T (x j,t ) = π XT X T =x T (x i,t )π(x j ) = π(x j )p ji. 23

26 Vanwege de manier waarop we de overgangskansen hebben gedefineerd in 3.2 is de Markov-keten overigens wel aperiodiek. Als we namelijk X n = x n hebben en we gaan nu een stap doen in de Markov-keten, dan is p xnxn > 0, want als p xnxn = 0 dan hadden we x n bij de vorige stap niet kunnen bereiken. Hoewel π een invariante distributie is van deze Markov-keten, kunnen we niet garanderen dat de keten convergeert naar π. De keten is namelijk niet irreducibel. Als we een vector behorende tot X 0 gevonden hebben, door gebruik te maken van een zekere begindistributie, dan zal voor alle n N X n, T hetzelfde blijven. Om onze Markov-keten toch te laten convergeren zullen we verschillende verzamelingen T {1,..., d} moeten kiezen bij elke stap van onze Markov-keten. Een specifieke keuze van deelverzamelingen T noemen we een bezoekschema. Een bijzonder geval van deze Gibbs sampler is het geval waarin steeds T = {i} geldt voor een zekere i {1,..., d}. Dan maakt de Markov-keten dus componentsgewijs stappen door X. We kijken zometeen naar bezoekschema s in het algemeen. Merk op dat de Gibbs sampler alleen bruikbaar is in situaties waarin de marginale of conditionele distributies van π gemakkelijk met standaard Monte Carlo methoden te simuleren zijn. Als de Gibbs sampler kan worden toegepast dan krijgt deze in het algemeen de voorkeur boven andere Monte Carlo Markov-keten methoden, zoals het Metropolis-Hastings algoritme dat we in de volgende paragraaf bekijken. Dat komt doordat we bij elke stap uit de marginale verdeling van Π trekkingen doen. Als we een irreducibele aperiodieke Markov-keten behorende bij de Gibbs sampler hebben, verwachten we dat de verdeling van (X n ) n 0 relatief snel naar Π zal convergeren Bezoekschema s Om te zorgen dat de Markov-keten convergeert naar π, moeten we een bezoekschema vaststellen. Hierboven heb ik al het schema genoemd waarbij de Markov-keten componentsgewijs stappen maakt door X. Nu gaan we algemene schema s bespreken en methodes om deze schema s te maken, met bijzondere aandacht voor irreducibiliteit. Deterministische schema s Het eerste type bezoekschema dat ik bekijk, zijn de deterministische. In dit geval zijn de verschillende verzamelingen T {1,..., d}, die bij elke stap gebruikt worden, van tevoren vastgesteld. 24

27 We kiezen dan verzamelingen T 1,..., T k als een cykel. Dat houdt in dat we vervolgens de Gibbs sampler opeenvolgend stappen in de bij T i, i = 1,..., k behorende Markov-keten laten maken en daarna weer bij T 1 laten beginnen. De Markov-keten die we nu voor de Gibbs sampler bekijken, is de keten (Y n ) n 0 die telkens aan het einde van een cykel registreert waar in X we zijn. De bijbehorende transitiematrix van (Y n ) n 0 is dan P = P T1 P T2...P Tk, waarbij P Ti de transitiematrix is die bij de Markov-keten van T i hoort. Alleen als geldt dat i=1,...,k T i = {1,..., d}, kan onze Markov-keten (Y n ) n 0 irreducibel zijn, omdat de Markov-keten zich anders niet in alle richtingen kan verplaatsen. (Let op dat deze eis nog niet voor alle toestandenruimtes X garandeert dat de resulterende Markov-keten irreducibel is.) Stelling 3.3. π is een invariante distributie voor (Y n ) n 0. Bewijs Dit gaan we afleiden door gebruik te maken van het feit dat π een invariante distributie is voor de bij T horende Markov-keten voor alle T {1,..., d}. Dan geldt per definitie dat Dus πp T = π. πp = πp T1...P Tk = πp T2...P Tk =... = π. Als (Y n ) n 0 nu irreducibel en aperiodiek is kan Stelling 2.18 worden toegepast. Kansschema s We kunnen de verschillende T {1,..., d} ook bij elke stap willekeurig kiezen. Laat S = {T T {1,..., d}} de verzameling van alle deelverzamelingen van {1,..., d} zijn. We kunnen dan bij elke stap in onze Markov-keten een willekeurige verzameling T kiezen door een dichtheid q op S te definiëren. (Dus als q T = q(t ) dan moet gelden dat T S q T = 1.) Bij elke stap van de keten trekken we eerst met behulp van q een verzameling T S, genoteerd met S, en vervolgens gebruiken we de bij T behorende Markov-keten om een stap te zetten. De resulterende keten (Y n ) n 0 kan weer irreducibel zijn, op 25

28 voorwaarde dat geldt dat T S,qT >0T = {1,...d}. Dan kan de keten namelijk met positieve kans stappen alle kanten op maken. (Ook hier garandeert deze voorwaarden de irreducibiliteit nog niet.) De overgangskansen p xnxn+1 van deze Markov-keten zijn, p xnxn+1 = P(X n+1 = x n+1 X n = x n ) = P(X n+1 = x n+1, X n = x n ) P(X n = x n ) = P(X n+1 = x n+1, X n = x n, S = T ) P(X n = x n ) T S = P(S = T ) P(X n+1 = x n+1, X n = x n, S = T ). P(X n = x n )P(S = T ) T S Als we nu gebruiken dat S onafhankelijk is van X n dan krijgen we p xnx n+1 = T S P(S = T ) P(X n+1 = x n+1, X n = x n, S = T ) P(X n = x n, S = T ) = T S q T P(X n+1 = x n+1 X n = x n, S = T ) = T S q T p T x nx n+1. Waarbij p T x nx n+1 de overgangskansen van de Markov-keten van T aanduidt. Stelling 3.4. π is een invariante distributie van (Y n ) n 0. Bewijs We gaan dit weer bewijzen door gebruik te maken van de detailed balance vergelijking. π(x n )p xnx n+1 = T S q T π(x n+1 )p T x nx n+1 = T S q T π(x n )p T x n+1 x n = π(x n+1 )p xn+1 x n, waarbij ik gebruik heb gemaakt van het feit dat de detailed balance vergelijking geldt voor de bij T behorende Markov-keten. Als (Y n ) n 0 nu ook irreducibel is kan Stelling 2.18 worden toegepast. 26

29 3.3 Metropolis-Hastings algoritme Het tweede algoritme dat we bekijken is het Metropolis-Hastings algoritme. N.C. Metropolis kwam samen met een aantal andere natuurkundigen in 1953 met de eerste versie van dit algoritme [6]. Ze hadden het algoritme gemaakt om de Boltzmann distributie te kunnen simuleren. Dit is een distributie die onder andere wordt gebruikt om de toestanden van deeltjes in een gas te beschrijven. Later, in 1970, is het algoritme door W.K Hastings gegeneraliseerd [7]. Wat het algoritme en de generalisering precies inhouden bekijken we in deze paragraaf door eerst het Metropolis algoritme te bekijken en vervolgens te bekijken wat Hastings hieraan heeft toegevoegd. Net als hiervoor is het doel een i.i.d. steekproef te benaderen uit een verdeling Π met bekende dichtheid π op een toestandenruimte X R d. Het Metropolis-Hastings algoritme maakt op een simpele maar ingenieuse manier gebruik van de rejectiemethode om te garanderen dat π de limietdistributie is van de bij dit algoritme behorende Markov-keten. Voor het Metropolis algoritme kiezen we een Markov-keten (X n ) n 0 op X, waarvan we eisen dat de overgangskansen symmetrisch zijn, i.e. q xi x j = q xj x i voor alle x i, x j X, en verder eisen we aperiodiciteit en irreducibiliteit. Deze eisen zijn niet voldoende om te verzekeren dat π een invariante distributie is van deze Markov-keten. Daarom passen we het proces (X n ) n 0 aan zodat het een Markov-proces (Y n ) n 0 genereert met invariante distributie π. Als op een gegeven moment n geldt dat Y n = x n voor een zekere x n X dan laten we de keten (X n ) n 0 een stap doen. Stel dan dat X n+1 = x n+1, dan accepteren we Y n+1 = x n+1 met kans a xnx n+1 = min { 1, π(x n+1) π(x n ) Anders wordt Y n+1 = x n aangenomen. Merk hierbij op dat dichtheid π alleen voor komt in de vorm π(x i )/π(x j ). We hoeven dus alleen deze verhoudingen van π te kennen. In de volgende paragraaf zullen we zien dat dit erg goed van pas kan komen. Zoals eerder genoemd, is het Hastings algoritme een generalisatie van het Metropolis algoritme. Door de strenge eisen die gesteld worden aan de overgangskansen in het Metropolis algoritme kan de convergentie van de Markovketen erg traag verlopen. Bij voorkeur geven we de Markov-keten zo veel 27 }.

30 mogelijk eigenschappen mee waarvan we weten dat π ze ook heeft. Als we dat doen verloopt de convergentie in het algemeen veel sneller. De generalisatie van Hastings geeft extra vrijheid bij het kiezen van de overgangskansen van de Markov-keten, maar benut tegelijkertijd wel de voordelen van de rejectiemethode. Voor de aanvankelijk gekozen Markov-keten (X n ) n 0 moet in het Hastings algoritme gelden dat q xnx n+1 > 0 q xn+1 x n > 0 voor alle x n, x n+1 X. De bijbehorende acceptatiekans van x n+1 is a xnx n+1 = min { 1, π(x n+1)q xnx n+1 π(x n )q xn+1 x n Uit de manier waarop we (Y n ) n 0 ten opzichte van (X n ) n 0 hebben gedefinieerd volgt ook bijna meteen dat (Y n ) n 0 aperiodiek en irreducibel is. De irreducibiliteit volgt uit het feit dat alle toestanden waarnaar we positieve overganskans hadden nog steeds positieve overgangskans hebben. Stel dat we in x X zitten en bij het proces (X n ) n 0 hebben we een positieve kans om naar y X te springen. Als dan geldt dat π(x) π(y) dan is π(y)/π(x) 1, dus blijft de overgangskans hetzelfde. Als dan geldt dat π(x) π(y) dan is 0 < π(y)/π(x) < 1, aangezien we in onze toestandenruimte X alleen punten x hebben zitten waarvoor π(x) > 0. De overgangskans is dan ook nog steeds groter dan 0. Aangezien (Y n ) n 0 irreducibel is, moet (Y n ) n 0 dat dus ook zijn. De aperiodiciteit van (Y n ) n 0 volgt uit het feit dat (X n ) n 0 aperiodiek is en het argument dat we zojuist ook voor de irreducibiliteit hebben gebruikt: positieve overgangskansen blijven positief, zodat de aperiodiciteit van (X n ) n 0 die van (Y n ) n 0 impliceert. Stelling 3.5. π is invariant voor (Y n ) n 0 Bewijs Om de stelling te bewijzen maken we weer gebruik van de detailed balance vergelijking. Als p xnx n+1 de overganskans is voor x n, x n+1 X horend bij (Y n ) n 0 dan geldt }. π(x n )p xnxn+1 = π(x n )q xnxn+1 a xnxn+1 { = π(x n )q xnxn+1 min 1, π(x } n+1)q xn+1 x n π(x n )q xnxn+1 = min{π(x n )q xnxn+1, π(x n+1 )q xn+1 x n } = π(x n+1 )q xn+1 x n a xn+1 x n = π(x n+1 )p xn+1 x n. 28

31 We kunnen nu weer stelling 2.18 toepassen. De simpele opzet van het algoritme zorgt ervoor dat het Metropolis- Hastings algoritme zeer makkelijk toe te passen is. Het is namelijk heel makkelijk om een Markov-keten (X n ) n 0 te construeren die aan de eerder genoemde eisen voldoet. Stel dat X R 2. De discrete benadering van X kunnen we zien als een rooster van toestanden. In Figuur 3.1 is een voorbeeld te zien van een punt op dit rooster en de overgangskansen behorend bij dit punt. Als alle punten op dit rooster op een zelfde manier de overgangskansen krijgen toegewezen dan voldoet de bijbehorende Markov-keten (X n ) n 0 aan de eisen die hierboven hebben vastgelegd. B 1/5 C 1/5 A 1/5 D 1/5 D Figuur 3.1: Een punt A op een rooster met overgangskansen naar de naarburige punten Er hangt echter ook een prijskaartje aan het gemak waarmee het algoritme toepasbaar is. De Markov-keten behorende bij de Gibbs sampler convergeert in het algemeen veel sneller naar π dan die van het Metropolis- Hastings algoritme. Dat komt doordat bij het Metropolis-Hastings algoritme de verdeling van (X n ) n 0 niets te maken hoeft te hebben met Π. Dit in tegenstelling tot de Gibbs sampler, waarbij de overgangskansen worden gedefinieerd door de marginale verdelingen van Π. 29

32 3.4 Bayesiaanse statistiek In deze paragraaf hebben we het over de mogelijheid om Monte Carlo Markovketens toe te passen ter benadering van de zogenaamde posterior verdeling in de Bayesiaanse statistiek. We kijken naar een model van kansmaten P = {P θ θ Θ} waarbij we Θ de parameterruimte noemen. De parameterruimte Θ kan van hoge dimensie zijn.in tegenstelling tot de frequentistische statistiek heeft de Bayesiaanse statisticus van tevoren een zekere mening over Θ, deze geeft hij weer met een verdeling op Θ Definitie 3.6. De verdeling op Θ noemen we de prior en noteren we met π ϑ waarbij ϑ de kansvariabele is behorende bij θ Θ. Als de Bayesiaanse statisticus vevolgens een nieuwe verzameling data x 1,..., x n tot zijn beschikking krijgt dan zal hij zijn mening aanpassen op basis van het model P en de prior. We kunnen zeggen dat het geheel van data en parameters een zekere verdeling heeft en opvatten als een stochastische vector (X 1,...X n, ϑ) Π. Een element P (n) θ van het model wordt gezien als de verdeling van X 1,...X n gegeven ϑ, i.e. de conditionele verdeling van (X 1,..., X n ) ϑ = θ. In overeenstemming met wat we eerder gedaan hebben noteren we deze verdeling met P (n) θ = Π X(n) ϑ=θ Wat de Bayesiaanse statisticus wil, is de conditionele verdeling van ϑ (X 1,..., X n ) = (x 1,..., x n ) uitrekenen. Definitie 3.7. De conditionele verdeling van ϑ gegeven X 1,..., X n noemen we de posterior en wordt genoteerd met Π ϑ X(n) =x (n) Op basis van deze zgn. posterior verdeling trekt de Bayesiaanse statisticus zijn inferentiële conclusies. De posterior kunnen we uitrekenen met behulp van de regel van Bayes: π ϑ X(n) =x (n) (θ) = π X (n) ϑ=θ(x (n) )π ϑ (θ) π X(n) (x (n) ) = π X (n) ϑ=θ(x (n) )π ϑ (θ) Θ π X (n) ϑ=θ(x (n) ) dπ ϑ (θ). Het is in het algemeen onhaalbaar om de bovenstaande integraal uit te rekenen als Θ een hoog of zelfs oneindig dimensionale ruimte is. Om dan toch de posterior te benaderen pssen we een Monte Carlo Markov-keten toe. We maken een Markov-keten die naar de prior π ϑ convergeert en vervolgens simuleren we met behulp van deze Markov-keten waarden θ 1,..., θ m Θ. We schatten de integraal dan met ˆπ X(n) (x (n) ) = 1 m π X(n) ϑ=θ m i (x (n) ). i=1 30

33 Zo krijgen we een benadering van de posterior van de vorm ˆπ ϑ X(n) =x (n) (θ) = π X (n) ϑ=θ(x (n) )π ϑ (θ) ˆπ X(n) (x (n) ) Het doel is echter om de posterior distributie te benaderen, dus zouden we liever meteen waarden uit de posterior simuleren. Tot nu toe hebben we steeds aangenomen dat we de verdeling die we willen sampelen helemaal kennen. Dit is hier niet het geval voor de posterior aangezien we de uitkomst van de integraal niet kennen. Toch kunnen we de posterior direct simuleren. We kennen de posterior tot op een constante (1/ π Θ X (n) ϑ=θ(x (n) ) dπ ϑ (θ)). Dit betekent dat we de onderlinge verhouding van de posterior tussen verschillende θ i, θ j Θ kennen, want π ϑ X(n) =x (n) (θ j ) π ϑ X(n) =x (n) (θ i ) = π X (n) ϑ=θ j (x (n))π ϑ (θ j ) π Θ X (n) ϑ=θ(x (n) ) dπ ϑ (θ) = π X (n) ϑ=θ j (x (n) )π ϑ (θ j ) π X(n) ϑ=θ i (x (n) )π ϑ (θ i ) Θ π X (n) ϑ=θ(x (n) ) dπ ϑ (θ) π X(n) ϑ=θ i (x (n) )π ϑ (θ i ) en zowel de prior als het model zijn bekend. Zoals we in paragraaf 3.3. hebben opgemerkt, is dit voldoende om het Metropolis-Hastings algoritme toe te kunnen passen! De posterior komt namelijk alleen voor in de acceptatie discipline { } a θi θ j = min 1, π ϑ X (n) =x (n) (θ j )π ϑ (θ j )q θi θ j π ϑ X(n) =x (n) (θ i )π ϑ (θ i )q θj θ i waarbij q θi θ j de overgangskans is voor de bij het algoritme behorende Markovketen. Als afsluiting kijken we naar een Bayesiaans voorbeeld. Voor een numerieke beargumentatie van de resultaten die ik in dit voorbeeld geef, zie Appendix A.2. In dit voorbeeld hebben we een model P = {N (θ, 1) θ R} en een prior ϑ Π = N (1, 1). Daarnaast hebben we een experiment van i.i.d. stochasten X 1,..., X n N (0, 1). Het doel is om met behulp van het Metropolis-Hastings algoritme de posterior benaderen. We nemen X = R en voor y R definiëren we de verdeling van de overgangskansen als q(y,.) N (y, (0.5) 2 ). Als we nu kijken naar de acceptatie dicipline a yz dan zien we, 31

34 dat π ϑ X(n) =x (n) (θ j )π ϑ (θ j )q θi θ j π ϑ X(n) =x (n) (θ i )π ϑ (θ i )q θj θ i = e 1 2 (z 1)2 n i=1 e 1 2 (y 1)2 n i=1 = e 1 2 ((z 1)2 (y 1) 2 ) 1 σ 2π e 1 2 ( Xi z 0.5 )2 1 σ 2π e 1 2 ( Xi y 0.5 )2 n i=1 e 1 8 ((X i z) 2 (X i z) 2 ) = e 1 2 ((z 1)2 (y 1) 2) e 1 8 (2(z y) n i=1 X i+(ny 2 nz 2 )) = e 1 2 ((z 1)2 (y 1) 2) e n 8 (2(z y)xn+(y2 z 2 )). Uit deze uitdrukking kunnen we een aantal dingen afleiden. Stel dat onze Markov-keten in een punt y R zit dat ver weg ligt van zowel de verwachting van de prior (1) als de verwachting van de data X 1,..., X n (0), bijvoorbeeld y=10. Dan geldt voor alle n N dat het verwerpingsalgoritme een voorgestelde stap richting deze verwachtingen met kans 1 accepteert en een stap de andere richting op met een kans kleiner dan 1 accepteert. Er zal een drift in de richting van de verwachtingen waarneembaar zijn. We kijken nu wat er gebeurt als n. Volgens de wet van de grote aantallen krijgen we dan dat X n 0, en zien we dat lim 1 n e 2 ((z 1)2 (y 1) 2) e n 8 (2(z y)xn+(y2 z 2 )) = lim n e 1 2 ((z 1)2 (y 1) 2) e n 8 (y2 z 2 ) = lim n e n(y2 z 2). In dit limietgeval zien we dat als z < y dan wordt de stap met kans 1 geaccepteerd en als z > y dan wordt de stap met kans 0 geaccepteerd. Hieruit kunnen we afleiden dat als we onze Markov-keten lang genoeg laten lopen hij altijd in 0 terecht zal komen. De posterior zal een ontaarde verdeling in het punt 0 zijn. We kunnen aan de hand van dit voorbeeld ook zien wat voor invloed het gebruik van een Markov-keten kan hebben. De burn-in periode is het aantal stappen N dat we onze Markov-keten (Y n ) n 0 laten doen om vervolgens Y N als trekking uit de posterior te accepteren. Als we de burn-in periode te laag kiezen dan krijgen we totaal verkeerde resultaten. Als we bijvoorbeeld in het bovenstaande limietgeval de Markov-keten in y=10 laten starten en dan een burn-in periode van 10 kiezen, dan is de kans erg groot dat we resultaten krijgen die helemaal niet in de buurt van 0 liggen. Het is daarom erg belangrijk dat we voor onze Markov-keten een goed aantal stappen kiezen. Als we echter een extreem groot aantal stappen kiezen, zal de 32

35 computer er heel lang over doen om alle berekeningen uit te voeren. Om de Monte Carlo Markov-keten methode praktisch bruikbaar te houden, moeten we op zoek naar de optimale balans tussen een zo groot mogelijke burn-in periode en een zo kort mogelijk rekentijd van de computer. 33

36 Populaire samenvatting In deze scriptie bespreken we Monte Carlo simulatie. Dat is het simuleren van kansexperimenten met behulp van de computer. Een voorbeeld hiervan is het simuleren van een roulettewiel, zoals je die vaak in casino s ziet. In plaats van daadwerkelijk een balletje in het wiel te gooien en te wachten totdat het op vakje stil komt te liggen, laten we de computer doen alsof we er een balletje ingooien. De computer geeft dan als antwoord een hokje, bijvoorbeeld 15 zwart, woor ons virtuele balletje terecht is gekomen. Figuur 3.2: Een roulettewiel. Er zijn verschillende technieken waamee een computer dergelijke simulaties uit kan voeren. Twee klassieke methoden zijn de verwerpingsmethode en inversie, waarvan de naam afgeleid is van het gebruik van de inverse van een cumulatieve distributie functie. Deze klassieke methoden zijn echter niet goed genoeg om verschillende complexe kansexperimenten te simuleren. Om deze kansexperimenten toch te kunnen simuleren, moeten we gebruik maken van zogenaamde Markovketens. Markov-ketens beschrijven stochastische processen die tussen verschillende toestanden springen en die geheugenloos zijn. Dat wil zeggen 34