Monte Carlo Markov Chains voor Bayesiaanse statistiek

Transcriptie

1 Bachelorscriptie Monte Carlo Markov Chains voor Bayesiaanse statistiek Jochem Braakman, 19 juli 1 Begeleiding: dr. B.J.K. Kleijn µ λ KdV Instituut voor wiskunde Faculteit der Natuurwetenschappen, Wiskunde en Informatica Universiteit van Amsterdam

2 Samenvatting In deze scriptie nemen wij een kijkje in de wereld van Monte Carlo Markov Chains. Monte Carlo Markov Chains zijn een klasse van algoritmes die ons in staat stellen kansverdelingen te simuleren. De simulatie wordt uitgevoerd met behulp van een computer. In de Bayesiaanse statistiek wil men de zogenaamde posterior verdeling bepalen. Omdat de posterior in de meeste situaties niet in een gesloten vorm beschikbaar is, wil men deze discreet benaderen. Dit kan met behulp van Monte Carlo Markov Chains. De scriptie is als volgt opgebouwd. In het eerste hoofdstuk gaan we naar de basis van simulatietechnieken en gaan we in op Markov Chains. In het tweede hoofdstuk gaan we in op de beginselen van de Bayesiaanse statistiek om de posterior verdeling af te leiden. Daarna leggen wij uit waarom de posterior zo belangrijk is voor een Bayesiaanse statisticus. In het derde hoofdstuk combineren wij de theorie van Hoofdstuk 1 en Hoofdstuk om vervolgens de Monte Carlo Markov Chains te introduceren. We bespreken daarbij twee methodes: Het symmetrische Metropolis Hastings algoritme en de Gibbs Sampler. Aan het eind van het hoofdstuk voeren we simulaties van bekende en onbekende kansverdelingen met behulp van de reeds genoemde algoritmes uit. Gegevens Titel: Monte Carlo Markov Chains voor Bayesiaanse statistiek Auteur: Jochem Braakman, jochem.braakman@student.uva.nl, Begeleider: dr. B.J.K. Kleijn Tweede beoordelaar: dr. Bert van Es Einddatum: 19 juli 1 Korteweg de Vries Instituut voor Wiskunde Universiteit van Amsterdam Science Park 94, 198 XH Amsterdam

3 Inhoudsopgave 1 Inleiding 1.1 Monte Carlo integratie Inversie en Verwerpingsmethode Verwerpingsmethode Markov Chains Convergentie Markov Chains Bayesiaanse statistiek 15.1 Prior en posterior verdelingen Inferentiële aspecten van de posterior Monte Carlo Markov Chains Symmetrisch Metropolis Hastings algoritme Gibbs Sampler Voorbeelden Conclusie en discussie Samenvattend Resterende vragen Populaire samenvatting 41 Bibliografie 43 1

4 Hoofdstuk 1 Inleiding In deze scriptie zullen we ons richten op Monte Carlo Markov Chains en hun toepassingen in de Bayesiaanse statistiek. De Bayesiaanse statisticus is geïnteresseerd in de posterior verdeling. De posterior verdeling stelt de Bayesiaan in staat inferentiële aspecten van de statistiek zoals bijvoorbeeld schatten, toetsen, het vinden van betrouwbaarheidsverzamelingen te kunnen doen. In het algemeen is het niet zo eenvoudig de posterior in een gesloten vorm te vinden en daarom is ons doel van de scriptie de posterior numeriek te benaderen. Hier bieden Monte Carlo Markov Chains uitkomst. Voor verdere informatie over de posterior en het belang daarvan verwijzen wij naar hoofdstuk. Voor de Monte Carlo Markov Chains verwijzen wij naar hoofdstuk 3. In dit inleidende hoofdstuk houden we ons bezig met het simuleren van kansverdelingen en de theorie van Markov Chains. 1.1 Monte Carlo integratie Zij een ruimte X gegeven. Stel wij willen een integraal g(x) dx berekenen. X Als het mogelijk is g te factoriseren in een functie f(x) en een kansdichtheid π(x) dan geldt: g(x) dx = f(x)π(x) dx = E π (f(x)). X X De wet van de grote aantallen implicieert, dat als men een groot aantal X 1,..., X n uit de kansdichtheid π kan simuleren, dat de verwachting benaderd kan worden door het steekproefgemiddelde. 1 n n f(x i ) E π (f(x)), (π bijna zeker ). i=1

5 De Monte Carlo integreermethode stelt ons in staat integralen van bovenstaande vorm te benaderen. De vraag die direct volgt aangaande de nauwkeurigheid van deze benadering, wordt beantwoord door de centrale limietstelling. Als men i.i.d. X 1,..., X n stochasten trekt met marginale kansdichtheid π en als deze eindige variantie σ hebben, geldt dat, n ( 1 n ) n X i EX 1 N (, σ ). i=1 We concluderen dat het verschil tussen de approximatie en de verwachting van X 1 met grofweg 1/ n naar gaat. Voorbeeld 1.1. We willen de variantie met schatten voor de stochast X die de Student t-verdeling heeft met een onbekend aantal ν > vrijheidsgraden. Deze heeft dichtheid f(x ν) = Γ( ν+1 ) ( 1 Γ( ν ) νπ 1 + x ν ) ( ν+1 ). De verwachting EX is bekend en wordt gegeven door, zodat de variantie van X gelijk is aan EX. Met de Monte Carlo benadering, EX = x f(x ν) dx = E f(x ν) (X ) 1 n n Xi, i=1 waarbij wij X 1,..., X n willen trekken uit f(. ν). De resterende vraag is hoe wij punten kunnen simuleren zo dat deze bij benadering volgens de Student t-verdeling verdeeld zijn. Dat antwoord zullen wij in de populaire samenvatting geven. Daar zullen we ook met behulp van zo genaamde Monte Carlo Markov Chains de varianties van de Student t-verdeling voor verschillende vrijheidsgraden ν schatten. Opmerking 1.. Voor dat wij ons met algoritmes bezig houden, beginnen wij bij de basis van simulatie. Alles wat wij hier bij nodig hebben is een random number generator. Een random number generator genereert getallen tussen en 1 die uniform U[, 1] verdeeld zijn. Omdat computerpaketten zoals MATLAB over random number generators beschikken houden we ons in deze scriptie niet met de vraag bezig, hoe een dergelijke random number generator functioneert en beschouwen dit als een gegeven. 3

6 1. Inversie en Verwerpingsmethode We zullen nu twee simulatiemethodes geven om uit een bepaalde distributie willekeurige getallen te trekken. Gegeven een random number generator die uniform getallen u tussen en 1 genereert, geven wij de inversiemethode voor continue stochasten. Zij F de verdelingsfunctie waaruit we een trekking willen simuleren. Als F een strict stijgende, continue verdelingsfunctie heeft, definiëer dan de stochast X door: X F 1 (U). Stelling 1.3. Gegeven een verdelingsfunctie F. Zij (U 1,..., U n ) U[, 1] n en definiëer X i = F 1 (U i ) voor 1 i n. Dan is (X 1,..., X n ) F n. Bewijs. Aangezien voor alle A = A 1... A n geldt dat, P(X 1 A 1,..., X n A n ) = P(U 1 F (A 1 ),..., U n F (A n )) n n = P(U i F (A i )) = P(X i A i ), i=1 i=1 vormen de X 1,..., X n een onafhankelijke steekproef. Uit het feit dat P(X i x) = P(F 1 (U i ) x) = P(U i F (x)) = F (x), volgt daarnaast, dat X i marginaal verdeeld is volgens F voor iedere 1 i n. Een i.i.d. steekproef U 1,..., U n U[, 1] n kan met behulp van deze stelling worden getransformeerd naar een i.i.d. steekproef X 1,..., X n F n. Voorbeeld 1.4. Beschouw voor zekere λ > de exponentiële verdeling met dichtheid f λ (x) = λe λx 1 {x }. De bijbehorende verdelingsfunctie is F λ (x) = (1 e λx )1 {x } met inverse F 1 log(1 u) λ (u) = voor u (, 1). Toepassing λ van stelling 1.3 ter verkrijging van een gesimuleerde steekproef X 1,..., X n leidt tot het algoritme van figuur 1.1. Daadwerkelijke simulatie van een i.i.d. steekproef ter groote N = leidt tot het histogram in figuur 1.. 4

7 1. Trek een getal u uit U[, 1]. Bereken F 1 (u) = log(1 u) λ 3. Herhaal tot een bovengrens N. f u n c t i o n [X] = i n v e r s i e e x p o n e n t i e e l ( lambda,n) f o r i =1:N end U=rand ; X( i )= l o g (1 U) /lambda ; end Figuur 1.1: Links zien wij een beschrijving van het inversiealgoritme. Rechts implementeren wij deze beschrijving in een MATLAB code Figuur 1.: Histogram met N = trekkingen door middel van de inversiemethode voor de exponentiële verdeling met λ = 1. Opmerking 1.5. De inversiemethode werkt voor alle verdelingen waarvoor de verdelingsfunctie inverteerbaar is, indien de inverse F 1 in gesloten vorm beschikbaar is. Dit is niet het geval voor bijvoorbeeld de normale verdeling. De verdelingsfunctie van de normale verdeling is een integraal die geen 5

8 primitieve heeft. Dit heeft tot gevolg dat we geen expliciete vorm van de inverse kunnen vinden voor de verdelingsfunctie van de normale verdeling. Een sterker voorbeeld wordt gevormd door Bayesiaanse posteriors. In Bayesiaanse context is het probleem ook aanwezig, aangezien de posterior weliswaar een formele definitie heeft, maar helemaal niet eenvoudig toegankelijk is in praktisch (of computationele) zin. Het is dus zaak naar andere methodes te kijken. Een bekend algoritme voor trekkingen uit een verdeling is de verwerpingsmethode. Net als bij de inversie werken we met continue stochasten Verwerpingsmethode Stel wij willen random getallen uit een verdeling F simuleren en we kunnen random getallen genereren uit een verdeling G. We noteren de dichtheden behorende bij de verdelingen f respectievelijk g. Zij M > een constante zo dat f(x) M voor alle x en zo dat g(x) voor alle x. We hebben dan het g(x) volgende algoritme om een stochast X met dichtheid f te simuleren. 1. Genereer een waarde Y uit G en trek onafhankelijk daarvan een U U[, 1].. Als U f(y ) Mg(Y ) 3. Als U > f(y ) Mg(Y ) dan is X = Y. Wij accepteren Y. verwerp Y, wijs niets toe aan X en begin opnieuw. Deze procedure kunnen wij tot een vaste bovengrens N herhalen om een i.i.d. steekproef te genereren. Stelling 1.6. De stochast X die gegenereerd wordt door de verwerpingsmethode heeft dichtheid f. Bewijs. P(X x) = P(Y x Y geaccepteerd ) ( = P X x U f(y ) ) = Mg(Y ) P(X x, U f(y ) Mg(Y ) ) P(U f(y ) Mg(Y ) )). 6

9 Zij m = P(U f(y ) )). Dan is Mg(Y ) P(X x) = P(X x, U f(y ) ) Mg(Y ) m = P(X x, U f(y ) Y = y)p(y = y) Mg(Y ) = x Neem de limiet x, dan f(y) g(y) dy Mg(y) m m = x f(y) M m dy. P(X x) = 1 = f(y) dy Mm, hetgeen impliceert dat m = 1/M. Opmerking 1.7. Het beste zou zijn als de acceptatiekans m = P(U f(y ) ) = 1 is. Dit zou betekenen dat f = g bijna overal. Maar dat is een Mg(Y ) tegenspraak met de aanname dat we uit de verdeling G kunnen simuleren en niet uit F. Dus M > 1. Merk op dat f/(gm) 1. Wij noemen dan f/(gm) ook de acceptatiefunctie voor het verwerpingsalgoritme. Het algoritme is het meest effectief als M klein is, want dan is de kans op acceptatie hoog en worden tijdrovende herhalingen met hoge kans vermeden. De verwerpingsmethode stelt ons in staat om uit de normale verdeling trekkingen te doen, hetgeen van praktisch nut zal zijn in het vervolg van deze scriptie. Voorbeeld 1.8. Als X N (µ, σ ) dan is X = D σz +µ, waarbij Z N (, 1) de standaard normale verdeling is. Het is voldoende om uit de standaard normale verdeling te trekken. Omdat de standaard normale verdeling een symmetrische dichtheid rond heeft, is het voldoende om uit Z trekkingen te doen en het teken van Z te trekken uit de Bernoulli( 1) verdeling. De stochast Z heeft dan dichtheid f(x) = π e x 1 {x }. We kiezen nu een verdelingsfunctie G met dichtheid g met de eigenschap dat er een M > 1 bestaat zodat f Mg en dat we makkelijk uit G kunnen simuleren. Hiertoe bedienen wij ons uit het vorige voorbeeld, namelijk met G exp(1). Volgens het verwerpingsalgoritme moeten we h(x) = moeten berekenen. f(x) Mg(x) kiezen, waarbij we M Nu is f(x) g(x) = e x x / /π. Het maximum M van de functie ligt bij x = 1. Dan is M = f(1)/g(1) = e/π. We krijgen dan h(x) = e (x 1) /. Om uiteindelijk uit Z te trekken definiëren we een stochast 7

10 U U[, 1] en accepteren wij Z = Z als U.5 en zetten we Z = Z als U >.5. Dit doen we omdat de kansmassa van Z symmetrisch rond ligt. Het algoritme om uit Z te trekken ziet er dan als volgt uit: 1. Trek Y uit exp(1).. Genereer U uit U[, 1]. 3. Accepteer Z = Y als U e (Y 1) / ga terug naar de eerste stap. 4. Genereer een nieuwe U uit U[, 1], zet Z = Z als U.5 en zet Z = Z. Opmerking 1.9. We kunnen dit algoritme nog versimpelen. Omdat U e (Y 1) / is dit equivalent met log(u) (Y 1) /. Nu is volgens de inversiemethode log(u) exp(1). Het resultaat is een eenvoudiger algoritme: 1. Trek Y en U onafhankelijk van elkaar uit exp(1). accepteer Z = Y als U (Y 1) / ga anders terug naar stap 1 3. Genereer een nieuwe U uit U[, 1], zet Z = Z als U.5 en zet Z = Z elders. f u n c t i o n [X] = rejectionmethodnormal (N, sigma,mu) i =1; w h i l e i<=n Y=i n v e r s i e e x p o n e n t i e e l ( 1, 1 ) ; U=i n v e r s i e e x p o n e n t i e e l ( 1, 1 ) ; i f U>=.5 (Y 1) ˆ Z( i )=Y; i=i +1; end end f o r i =1: l e n g t h (Z) U=rand ; i f U<=.5 Z( i )=Z( i ) ; e l s e Z( i )= Z( i ) ; end end X=sigma Z+mu; h i s t (X, 3 ) end Figuur 1.3: Links zien we een beschrijving van het algoritme om met behulp van de verwerpingsmethode uit een normale verdeling N (µ, σ ) te trekken en rechts zien wij de implementatie van de beschrijving in een MATLAB code. 8

11 Figuur 1.4: Histogram voor N = 1 trekkingen uit de standard normale verdeling N (, 1) met behulp van de verwerpingsmethode. We hebben gezien dat de basis voor simulatie een random number generator is. Vanuit daar kan men de exponentiële verdeling simuleren. Deze verdeling hebben wij op zijn beurt gebruikt om met de verwerpingsmethode de normale verdeling te simuleren. De vraag of men daarmee uit de posterior kan simuleren moet met nee beantwoord worden. Toch vormen deze twee onderdelen een belangrijke basis voor het nog komende. We zullen onze theorie over simulatie moeten uitbreiden om in staat te zijn uit de posteriors trekkingen te doen. 1.3 Markov Chains In hoofdstuk 3 passen we Monte Carlo Markov Chains toe op posteriors. Zoals de naam Monte Carlo Markov Chains al suggereert moeten we iets te weten komen over Markov Chains. Dit doen we door middel van definities en stellingen om het uiteindelijke doel, de convergentie naar een evenwichtsdistributie, te bereiken. (Stelling 1.7). Omwille van de lengte en de leesbaarheid van deze sectie zullen we de stellingen niet in detail bewijzen en meestal naar het boek Markov Chains van James R. Norris verwijzen [5]. De 9

12 resultaten die we krijgen stellen ons in staat door de combinatie van Markov Chains en de simulatiemethoden uit hoofdstuk 1 een Monte Carlo Markov Chain te construeren, met die we uit posterior verdelingen kunnen trekken. Zie verder hoofdstuk en 3. Definitie 1.1. Zij I een aftelbare verzameling. We noemen i I een toestand en I de toestandsruimte. We noemen λ = (λ i : i I) een maat als geldt dat λ i < voor alle i. Indien i I λ i = 1, dan wordt λ een distributie genoemd. Definitie We noemen een matrix P = (p ij : i, j I) de transitiematrix van de Markov Chain als p ij en voor alle j I, i I p ij = 1. Definitie 1.1. We zeggen dat (X n ) n een Markov Chain is met begindistributie λ en transitiematrix P, als er aan de volgende twee voorwaarden voldaan wordt: (i) X is verdeeld volgens distributie λ. (ii) voor n, gegeven X n = i, heeft X n+1 de distributie (p ij : j I), i.e. X n+1 is onafhankelijk van X,..., X n. Met gebruik van de notatie P voor de kansmaat geassociëerd met (X n ) kunnen we deze definiërende eigenschappen voor toestanden i 1,..., i n+1 I herformuleren als volgt: (i) P(X = i ) = λ i, (ii) P(X n+1 = i n+1 X = i,..., X n = i n ) = P(X n+1 = i n+1 X n = i n ) = p ini n+1. We zeggen dan ook wel dat het proces (X n ) n een Markov-proces is beginnend bij λ, met transitiematrix P. We noteren dit ook wel met Markov(λ, P ). Met de gebruikelijke definitie van de Kronecker delta δ ij = 1{i = j} beschouwen wij nu (λp ) j = i I λ ip ij. Stelling (Markov eigenschap) Laat (X n ) n Markov(λ, P ) zijn. Gegeven X m = i, is (X m+n ) n Markov(δ i, P ) en onafhankelijk van X,..., X m. Bewijs. Het bewijs is te vinden in het boek Markov Chains (Norris (1998) [5]). We voeren de volgende notatie in: p (n) ij is de (i, j)-de entry in de matrix P n, de n-staps transitiematrix. We noemen p (n) ij de n-staps overgangskans tussen i en j. Verder als λ i > noteren we P(A X = i) met P i (A). Door 1

13 de Markov eigenschap op tijdstip m =, onder P i is (X n ) n Markov(δ i, P ). Dus (X n ) n onder P i hangt niet af van λ. Stelling Zij (X n ) n Markov(λ, P ). Dan geldt voor alle m, n dat i) P(X n = j) = (λp n ) j, ii) P i (X n = j) = P(X n+m = j X m = i) = p (n) ij. Bewijs. Er geldt voor i) door over alle toestanden i 1,..., i n 1 te sommeren dat P(X n = j) =... P(X = i 1,..., X n 1 = i n 1, X n = j) i 1 I i n 1 I =... λ i1 p i1 i...p in 1j = (λp n ) j. i 1 I i n 1 I Voor ii) gebruiken wij de Markov eigenschap uit de Die zegt gegeven X m = i, dat (X m+n ) n Markov(δ i, P ) is. We kiezen om ii) te krijgen λ = δ i in i). Wij zijn in het vervolg geïnteresseerd in lim n p (n) ij, de overgangskans na aantal stappen. Definitie We zeggen dat voor i, j I dat i naar j leidt, als P i ( n X n = j) >. We schrijven dan ook i j. Als er nu ook geldt dat j i, dan zeggen we dat i en j met elkaar communiceren. Wij noteren dit met i j. Stelling Voor de toestanden i, j I zijn volgende uitspraken equivalent: (i) i j. (ii) Er bestaat een n en i 1,..., i n zdd: p i1 i p i i 3...p in 1 i n > voor toestanden i 1,..., i n I met i 1 = i, i n = j. (iii) p (n) ij > voor een zekere n. Bewijs. Voor het bewijs zie ook Markov Chains (Norris (1998) [5]). 11

14 Wij kunnen aan de hand van communicerende toestanden een equivalentierelatie I geven op de toestandsruimte I door te stellen dat i I j d.e.s.d.a. i j. Door n = te kiezen is meteen duidelijk dat voor een i I geldt dat i I i. Als geldt dat i I j dan geldt dat i j hetgeen equivalent is met j i hetgeen equivalent is met j I i. Dit bewijst symmetrie. Als i I j en j I k, betekent dit dat i j en j k. Dit betekent in het bijzonder dat i j en j k. Met behulp van stelling 1.16 is dit equivalent met p ij > en p jk >, maar dan is p ik = p ij p jk > hetgeen betekent dat i k. Op een zelfde manier kunnen wij aantonen dat k i, hetgeen de transitiviteit bewijst. Dus I is een equivalentierelatie op I die partitioneert in communicerende klassen. Definitie Een Markov Chain (X n ) n met transitiematrix P heet irreducibel als de toestandsruimte I onder de equivalentierelate I één enkele communicerende klasse is. Definitie Een stochast T : Ω {, 1,,...} { } is een stoptijd als voor iedere n, het evenement {T = n} alléén afhangt van X,..., X n voor n =, 1,,.... Stelling (De sterke Markov eigenschap.) Zij (X n ) n een Markov Chain met transitiematrix P en zij T een stoptijd. Gegeven T < en X T = i, is (X T +n ) n een Markov Chain met begindistributie δ i en overgangsmatrix P en is deze onafhankelijk van X,..., X T. Bewijs. Het bewijs is te vinden in Norris (1998) [5]. Definitie 1.. Een toestand i I van een Markov Chain (X n ) n is recurrent als Een toestand i I heet transiënt als P i (X n = i voor oneindig veel n) = 1. P i (X n = i voor oneindig veel n) =. Definitie 1.1. De first passage time naar een toestand i is de stochast T i die gedefiniëerd wordt door met inf = T i (ω) = inf{n 1 : X n (ω) = i}, Stelling 1.. Stel P is irreducibel en recurrent, dan is P(T j < ) = 1. Bewijs. Voor het bewijs zie Norris (1998) [5]. 1

15 Ook hier is de stelling alleen van belang voor het nog komende resultaat over convergentie van Markov Chains 1.7. Definitie 1.3. Als een toestand i recurrent is en daarbij de verwachte terugkeer tijd m i = E i (T i ) eindig is, dan noemen wij i ook wel positief recurrent. Definitie 1.4. We noemen een maat π invariant, als geldt dat πp = π. Als bovendien geldt dat i I π i = 1, noemen wij π een invariante distributie. Nu volgt weer een stelling die nodig is voor een belangrijk eindresultaat voor de convergentie van Markov Chains. Stelling 1.5. Zij P irreducibel. Dan zijn de volgende uitspraken equivalent: (i) iedere toestand is positief recurrent; (ii) een toestand i is positief recurrent; (iii) P heeft een invariante maat die we π noemen. In dat geval is m i = 1/π i voor alle i. Bewijs. Ook hier verwijzen we naar Norris (1998) [5]. 1.4 Convergentie Markov Chains Definitie 1.6. Een toestand i I heet aperiodiek als er een N N bestaat zodanig dat voor alle n N, p (n) ii >. Stelling 1.7. Zij P irreducibel en aperiodiek en stel dat P een invariante verdeling π heeft. Zij λ een willekeurige distributie. Als (X n ) n Markov(λ, P ) is dan geldt en in het bijzonder, P(X n = j) π j als n voor alle j, p (n) ij π j als n voor alle i, j. Bewijs. We zullen niet het hele bewijs in detail geven, maar een schets. Voor het gedetailleerde bewijs verwijzen wij naar het boek Markov Chains van Norris (1998) [5]. Het bewijs gaat in 3 stappen en maakt gebruikt van een koppelingsargument. Men definiëert een keten (Y n ) die Markov(π, P ) is en onafhankelijk van (X n ) n. De eerste stap is te bewijzen dat voor een 13

16 vaste toestand b de Markov Chains elkaar in eindige tijd ontmoeten. Dus er wordt bewezen dat P(T = inf{n 1 : X n = b = Y n } < ) = 1. Men doet dit door een Markovproces W n = (X n, Y n ) te maken met overgangskansen p (i,k)(j,l) = p ij p kl en met beginverdeling µ (i,k) = λ i π k. Daarna kan men door gebruik van de aperiodiciteit van P bewijzen dat P irreducibel is en dat P een invariante maat heeft. Met behulp stelling 1.5 is P positief recurrent. Dit betekent met stelling 1. dat P(T < ) = 1. In de tweede stap definiëert men een Markovproces Z n = X n als n < T en Z n = Y n als n T. Met behulp van de sterke Markoveigenschap voor (W n ) n op tijdstip T is (W T +n ) n Markov(δ (b,b), P ) en onafhankelijk van (X, Y ),..., (X T, Y T ). Door gebruik van symmetrie is ( W T +n ) n = (Y T +n, X T +n ) n Markov(δ (b,b), P ). We krijgen dan dat W n = (Z n, Z n) Markov(µ, P ), waarbij Z n = Y n als n < T en Z n = X n als n T. In het bijzonder is dan (Z n ) n Markov(λ, P ). In de derde stap kan men dan eenvoudig afleiden dat P(X n = j) π j als n, hetgeen betekent dat p (n) ij = π j. We hebben de nodige stellingen over Markov Chains gegeven en deels bewezen. In hoofdstuk 3 zullen er nog twee resultaten met betrekking tot Markov Chains volgen die nodig zijn voor Monte Carlo Markov Chain algoritmes. 14

17 Hoofdstuk Bayesiaanse statistiek.1 Prior en posterior verdelingen In dit hoofdstuk gaan we op de Bayesiaanse statistiek in. In de frequentistische statistiek wordt er aangenomen dat i.i.d. data X 1,..., X n gedetermineert worden door een vaste, maar onbekende parameter θ. Anders gezegd: Gegeven een model in de vorm van een verzameling kansmaten P = {P θ : θ Θ}, zijn we op zoek naar de P θ die de data zo goed mogelijk verklaart. Het doel is om dan met frequentistische inferentiële methoden een uitspraak te doen over de onbekende parameter θ. In de Bayesiaanse statistiek daarentegen wordt er geen onderscheid gemaakt tussen data X en parameters θ. Er wordt aangenomen dat θ een stochastische grootheid is op Θ. We willen dan een uitspraak doen over de verdeling op θ conditioneel op data X. Om dit te kunnen bewerkstellingen kiezen we een model voor de data conditioneel op θ. Het model is dan een verzameling kansmaten conditioneel op θ, dat wil zeggen P = {π(x θ) : θ Θ}. Om uiteindelijk de conditionele verdeling op θ te vinden moeten we eerst kennis verzamelen over de verdeling van θ zelf. Dit doen we door een distributie θ π(θ) te geven. Deze verdeling noemen wij de prior. We kunnen met behulp van de regel van Bayes dan de posterior verdeling π(θ X) afleiden. π(θ X) = = π(x, θ) = π(x θ)π(θ) π(x) π(x θ) dπ(θ) Θ π(x θ)π(θ). π(x θ)π(θ) dθ Θ We zien dat we de posterior verdeling op θ gegeven data X op een constante na kennen, dit kan men ook schrijven als π(θ X) π(x θ) π(θ). 15

18 Men kan ook π(x θ) als de likelihoodfunctie bekijken. Deze noteren we dan met L(θ X). We onthouden de volgende regel voor de posterior: π(θ X) L(θ X) π(θ), posterior likelihood prior. In het algemeen zal het lastig zijn de integraal π(x θ)π(θ) dθ te berekenen als Θ bijvoorbeeld een hogere dimensionale ruimte is. We zullen in Θ hoofdstuk 3 een uitweg vinden uit deze situatie. We kunnen dan zelfs zonder de normalisatieconstante te kennen direct uit de posterior trekken. Om wat gevoel voor een Bayesiaanse procedure te krijgen introduceren wij een voorbeeld van Rev. Thomas Bayes zelf (1763) [1],[4]. Voorbeeld.1. Gegeven een biljarttafel waarbij de langere zijde van de biljarttaffel lengte 1 heeft. Op deze tafel hebben wij n + 1 ballen, waarbij 1 bal wit is en de andere n zijn rood. Zij X [, 1], de parameterruimte die de positie van de witte bal beschrijft. Laat (Y 1,..., Y n ) de stochasten zijn die de positie tussen en 1 van de rode ballen aangeeft. Het doel is, om op basis van K = aantal rode ballen dichter bij dan de witte bal een aanpassing te geven van de a-priori uniform verdeelde positie van de witte bal. Figuur.1: Een plaatje van de biljarttafel van Bayes. We zien een witte bal en n = 6 rode ballen. Er liggen K = 5 rode ballen dichter bij dan de witte bal. Gegeven deze observatie, wat kunnen wij over de positie van de witte bal zeggen? Dan is (X, Y 1,...Y n ) U[, 1] n+1 verdeeld. De ballen zijn onafhankelijk op de tafel geplaatsd met als identieke distributies U[, 1]. Wat weten we van X? Het enige wat we kunnen zeggen is dat de positie X = x tussen en 1 16

19 ligt. Het beste wat we kunnen zeggen is dat X U[, 1]. Deze nemen wij als prior. De observatie is het aantal K rode ballen dichter bij dan de witte bal. Dit betekent dat K = n i=1 1{Y i X}. Nadat wij deze observaties gemaakt hebben kunnen wij nog steeds niet zeggen wat P(X K) is. Er geldt voor iedere i dat Y i en X onafhankelijk zijn en dus is P(Y i X X = x) = P(Y i X) = P(Y i = x) = x. Dus kiezen we als model distributies P(Y i X X = x) = x. Nu geldt voor iedere Y i dat deze boven de parameter x ligt of eronder. Dus voor iedere rode bal geldt als we willen vinden of deze dichter bij ligt dan de witte bal dat we een Bernoulli experiment hebben met parameter x. Omdat alle Y i i.i.d. zijn betekent dit dat K X = x = n i=1 1{Y i X} X = x binomiaal(x; n) verdeeld is. Dus P(K = k X = x) = ( n k) x k (1 x) n k. Hieruit kunnen wij P(X = x K = k) bepalen. = P(X = x K = k) = x [,1] P(K = k X = x) P(K = k X = x) dx P(K = k X = x) 1 P(K = k X = x) dx = B(n, k)xk (1 x) n k, waarbij B(n, k) een normalisatie constante is. Deze normalisatieconstante moeten wij berekenen. We zien aan de vorm van X K dat deze beta(k + 1, n k + 1) verdeeld moet zijn. Dit betekent dat de normalisatieconstante B(n, k) = Γ(n + )/Γ(k + 1)Γ(k + ) moet zijn. Wat betekent dit intuïtief? Stel nou dat voor n = 1 = K. Dat betekent dat alle rode ballen dichter bij liggen dan de witte bal. Uit deze observatie mogen wij concluderen dat het zeer aannemelijk is dat de witte bal dicht bij 1 ligt. Omgekeerd als n = 1 en K = is het zeer waarschijnlijk dat de witte bal in de buurt bij ligt. We hebben een plaatje gemaakt van de kansverdelingen voor n = 6 en bekijken de gevallen voor K {, 1,..., 6}. 17

20 K= K=1 K= K=3 K=4 K=5 K= Figuur.: We zien de kansdichtheden van de posterior x K bij behorende het voorbeeld van de biljarttafel van Bayes. Voor n = 6 laten we K = k lopen van tot 6. Het moge met de intuïtieve uitleg duidelijk zijn voor welke k wij welke kansdichtheid hebben. We sluiten deze sectie af met een definitie die belangrijk zal zijn voor hoofdstuk 3. Definitie.. Zij (P, A ) een meetbaar model voor data X X. Zij M een verzameling verdelingen op (P, A ). De verzameling heet een geconjugeerde familie voor het model P, als de posterior gebaseerd op de prior uit de verzameling M weer een element van M is: voor alle x X. Π M = Π( X = x) M Als we een bepaalde keuze voor de prior hebben zodat de posterior ook in dezelfde familie van kansverdelingen ligt, is het mogelijk met hoge convergentiesnelheid in MATLAB de posterior te simuleren. In Hoofdstuk 3 zullen wij deze eigenschap gebruiken voor de Gibbs Sampler. 18

21 . Inferentiële aspecten van de posterior De posterior is het gereedschap dat een Bayesiaanse statisticus de mogelijkheid geeft de belangrijke onderdelen van de statistiek zoals schatting, het vinden van betrouwbaarheidsverzamelingen en toetsing te kunnen uitvoeren. We zullen dit aan hand van definities en voorbeelden duidelijker maken. Wij beginnen met een voorbeeld voor schatting. Definitie.3. Zij P een model met prior Π op Θ. Neem aan dat de posterior absoluut continu is ten opzichte van een σ eindige maat µ op P. We schrijven voor de µ dichtheid van Π(, X) θ π(θ X). De maximum-a-posteriori (MAP) schatter ˆθ(X) voor θ is gedefiniëerd als het punt in het model, waar de posterior verdeling zijn maximum aanneemt (gegeven dat er een maximum bestaat en uniek is). Dus ˆθ(X) wordt zodanig gekozen dat: π(ˆθ X) = sup π(θ X). θ Θ Merk op dat de MAP-schatter een zwak punt heeft. Een andere keuze voor de dominiërende maat µ leidt tot een andere MAP-schatter. Voorbeeld.4. Stel wij hebben data X = (X 1,..., X n ) die onafhankelijk van elkaar π(x θ) N (θ, σ ) verdeeld zijn. Laat de prior voor θ π(θ) N (µ, σ ), waarbij µ, σ, σ bekend zijn. Dan is de posterior dichtheid π(θ X) π(x θ)π(θ). Omdat wij de posterior op een constante na kennen, is het voldoende om π(x θ)π(θ) ten opzichte van θ te maximaliseren. π(x θ)π(θ) { ( n = (πσ) n (πσ ) 1 exp 1 ( ) ( ) )} Xi θ θ µ +. σ Hieruit volgt dat wij i=1 n ( ) ( Xi θ θ µ + ) σ i=1 σ σ moeten maximaliseren. Door de afgeleide naar θ gelijk aan te stellen verkrijgen wij ( ) ˆθ(X) = nσ 1 n σ X nσ + σ i + n nσ + σ µ. i=1 19

22 Dit kan men ook schrijven als ( ) ) σ ˆθ(X) = (X σ + n 1 σ n + σ µ nσ. De MLE (maximum likelihood estimator) schatter voor θ is X n. We zien dat er sprake is van een n 1 -proportionele bias term die de MAP-schatter ˆθ(X) richting µ drijft. Deze bias verdwijnt echter asymptotisch: lim n ( σ σ + n 1 σ ) (X n + σ ) µ nσ = X n. en we zien dat in dit voorbeeld de MAP schatter convergeert naar de MLE schatter. We merken op dat er ook andere methoden zijn voor schatting zoals de posterior mean of de posterior median. Voor verdere voorbeelden zie de syllabus voor Bayesian statistics (11) [4] en het boek the Bayesian Choice (7) [1]. We zullen nu een manier aangeven hoe een Bayesiaan betrouwbaarheidsverzamelingen met behulp van de posterior kan vinden. Definitie.5. Zij (Θ, G ) een meetbare ruimte die een model Θ P : θ P θ voor data X parametrizeert, met een prior Π : G [, 1]. Kies een α (, 1). Zij D G een deelverzameling van Θ. Dan noemen we D een level-α credible set, als Π(ϑ D X) 1 α. Definitie.6. We definiëren voor iedere k de level-set: D(k) = {θ Θ : π(θ X) k}. Definitie.7. Zij (Θ, G ) een meetbare ruimte die een model Θ P : θ P θ voor data X X parametrizeert met een prior Π : G [, 1]. Neem aan dat de posterior gedominiëerd wordt door een σ-eindige maat µ op (Θ, G ), met dichtheid π( X). Kies een α (, 1). Een level-α HPD-credible set (HPD=highest posterior density) voor ϑ is de deelverzameling D α = D(k α ), waarbij, k α = sup{k : Π(ϑ D(k) X) 1 α}. Voorbeeld.8. Zij X = (X 1,..., X n ) een i.i.d. steekproef uit N (θ, σ ) met θ R onbekend en σ bekend. Laat de prior π(θ) N (µ, σ), waarbij µ en σ bekend zijn. De posterior is dan π(θ X) N (µ p, σp), waarbij

23 µ p = σ µ nσ + nσ X +σ nσ n en σ +σ p = σ σ. Een level-α HPD credible set nσ wordt gegeven door +σ } {θ Θ : e (µp θ)/σ p kα πσp D = = { θ Θ : θ µ p } σ p [ log(k α πσp )] 1. We willen nu dat π(θ X)(D) = 1 α. Met een beetje rekenwerk komt dit erop neer dat ( σp [ log(k α πσp )] 1 = σp Φ 1 1 α ), hetgeen betekent dat ( D = [µ p σ p Φ 1 1 α [ = µ p ) (, µ p + σ p Φ 1 1 α )] σσ ( nσ + σ Φ 1 1 α ), µ p + σσ ( nσ + σ Φ 1 1 α ) ] een HPD-credible set voor θ is. Hypothese-toetsing in Bayesiaanse context lijkt veel op classificatie lijkt en dit is aanzienlijk eenvoudiger dan het populaire Neyman-Pearson-paradigma uit de frequentistische statistiek. Ten slotte geven wij een voorbeeld van toetsing in Bayesiaanse context. Definitie.9. Zij (Θ, G ) een meetbare ruimte die een model Θ P : θ P θ voor data X X parametrizeert met een prior Π : G [, 1]. Zij {Θ, Θ 1 } een partitie van Θ zdd. Π(Θ ) > en Π(Θ 1 ) >. We schrijven voor de posterior odds: en voor de prior odds Π(Θ X) Π(Θ 1 X), Π(Θ ) Π(Θ 1 ). De Bayesfactor met voorkeur voor de deelverzameling Θ is B = Π(Θ X) Π(Θ 1 ) Π(Θ 1 X) Π(Θ ). 1

24 Dit betekent voor een (subjectieve) Bayesiaan dat als in onze defini- > 1, dat we de voorkeur geven aan de verzameling Θ en als tie Π(Θ X) Π(Θ 1 X) Π(Θ X) Π(Θ 1 X) < 1, dat we de voorkeur geven aan Θ 1. Dit zullen we aan hand van een voorbeeld duidelijker maken: Voorbeeld.1. We nemen als voorbeeld de posterior verdeling van het biljardprobleem van Bayes. De posterior heeft dichtheid π(x K = k) = Γ(n + )/Γ(k + 1)Γ(k + )x k (1 x) n k. Laat het aantal rode ballen n = 1 zijn en laat k = 8 zijn. We kiezen Θ = [, 1] en Θ 1 = ( 1, 1]. Dit komt er op neer om H : x 1/ tegen H 1 : x > 1/ te toetsen. De Bayesfactor met voorkeur voor Θ is B = Π(Θ K) Π(Θ 1 ) Π(Θ 1 K) Π(Θ ) = x8 (1 x) dx 1/ x 8 (1 x) dx 1/ = 67/ /11376 = Omdat < 1, concluderen wij dat het aannemelijker is dat x Θ 1. We verwerpen H en accepteren H 1.

25 Hoofdstuk 3 Monte Carlo Markov Chains Wij hebben nu het gereedschap verzameld om algoritmes te introduceren die wij Monte Carlo Markov Chain algoritmes noemen. (Deze worden vaak ook wel afgekort met MCMC.) We construeren hierbij Markov Chains die als limietverdeling onze doeldistributie zullen krijgen. We merken hierbij op dat wij meestal met toestandsruimtes werken die overaftelbaar zijn. Dit heeft tot gevolg dat wij alleen een discrete benadering van ons probleem kunnen geven. Wij zullen in dit hoofdstuk twee algoritmes geven en aan het eind van ons hoofdstuk de algoritmes toepassen voor bekende dichtheden zoals de Cauchyverdeling, maar ook voor posterior verdelingen. 3.1 Symmetrisch Metropolis Hastings algoritme We geven eerst een definitie en een stelling. Definitie 3.1. Een stochastische matrix P en een maat π zijn in detailed balance, als π i p ij = π j p ji i, j I. Stelling 3.. Als P en π in detailed balance zijn, dan is π een invariant voor P. Bewijs. (πp ) i = j I π j p ji = j I π i p ij = π i. 3

26 Voor we het algoritme geven, geven wij uitleg over notatie. De toestandsruimte van de Markov Chain die wij construeren is gelijk aan de parameterruimte Θ. Verder nemen wij aan dat de overgangskansen van de proposaldistributie symmetrisch zijn, dat q(x y) = q(y x). We construeren een Markov Chain als volgt. 1. Kies een startwaarde θ.. Gegeven θ n, trek vervolgens een proposal Y n+1 q(θ i θ j ) = q(θ j θ i ). { } 3. Bereken de acceptatieratio α(θ n, Y n+1 ) = min. 4. Zij U U[, 1]. 5. Accepteer proposal Y n+1 als U < α. 1, π(y n+1) π(θ n) 6. Als we accepteren zetten we θ n+1 = Y n+1 en θ n+1 = θ n elders. 7. Herhaal stap t/m 6! We merken op voor het geval dat π(θ n ) = wij α(θ n, Y n+1 ) = 1 zetten. De keuze voor de acceptatiekans α komt neer op de volgende propositie: Propositie 3.3. Het symmetrische Metropolis Hastings algoritme genereert een Markov Chain (θ n ) n die invariant is ten opzichte van π( ). Bewijs. Wij moeten de detailed balance vergelijking nagaan: We moeten voor alle θ i, θ j Θ laten zien of π(θ i ) q(θ j θ i ) α(θ i, θ j ) = π(θ j ) q(θ i θ j ) α(θ j, θ i ) Nu is q(θ i θ j ) = q(θ j θ i ), dit heeft tot gevolg dat π(θ i ) q(θ i θ j ) α(θ i, θ j ) { = π(θ i ) q(θ j θ i ) min 1, π(θ } j) π(θ i ) = q(θ j θ i ) min {π(θ i ), π(θ j )} { } π(θi ) = q(θ j θ i ) π(θ j ) min π(θ j ), 1 = π(θ j ) q(θ j θ i ) α(θ j, θ i ). Het symmetrische Metropolis Hastings algoritme voldoet aan de detailed balance vergelijking. Dus is π invariant voor de keten. 4

27 Opmerking 3.4. Als wij uit een posterior met dichtheid π(θ X) willen trekken zijn er drie ingrediënten nodig. Wij hebben de dichtheid van de prior π(θ) nodig en we hebben een model nodig voor onze data. In onze voorbeelden hebben wij deze ingediënten gegeven. Verder moeten wij een symmetrische propsaldistributie voor het algoritme kiezen. We zullen daarvoor de normale verdeling gebruiken. Andere symmetrische distributies zijn natuurlijk ook mogelijk. Herinner dat de dichtheid van de posterior geschreven kan worden als Θ π(x θ)π(θ). π(x θ)π(θ) dθ Omdat wij π(x θ)π(θ) dθ niet kennen zouden wij voor deze integraal Θ Monte Carlo integratie kunnen toepassen. Dit hoeft echter niet: Wij kunnen namelijk meteen uit de posterior simuleren, omdat voor alle θ i, θ j Θ geldt dat π(θ X)(θ j ) π(θ X)(θ i ) = π(x θ)(θ j)π(θ j ) π(x θ)π(θ) dθ Θ π(x θ)π(θ) dθ π(x θ)(θ Θ i )π(θ i ) = π(x θ)(θ j)π(θ j ) π(x θ)(θ i )π(θ i ), en zowel de prior als ook het model zijn in θ i respectievelijk θ j bekend. Hieruit volgt voor posteriors dat de acceptatiekans { α(θ i, θ j ) = min 1, π(x θ)(θ } j)π(θ j ) π(x θ)(θ i )π(θ i ) is. We kunnen dus met behulp van het symmetrische Metropolis Hastings algoritme direct uit de posterior trekkingen doen. We hebben nu een algoritme gezien dat het mogelijk maakt een posterior verdeling op basis van een keuze voor het model en een prior te benaderen. Een nadeel van het symmetrische Metropolis-Hastings algoritme is dat een getrokken proposalwaarde een bepaalde acceptatiekans heeft. Het is mogelijk dat waarden gegenereerd door de proposalverdeling niet geaccepteerd worden. We zullen daarom een ander algoritme bekijken dat helemaal geen acceptatievoorwaarde heeft. We introduceren in de volgende sectie de Gibbs Sampler. 3. Gibbs Sampler Voor dat wij het algoritme van de Gibbs sampler geven, zijn er nog belangrijke notatiekwesties te behandelen. Zij X R m en zij x = (x 1,..., x m ) T 5

28 een vector in X. Zij {π(x) : x X } een verdeling op X. We noteren de stochastische vector X = (X 1,..., X m ) T zo dat P(X = x) = P(X 1, = x 1,..., X m = x m ) = π(x 1,..., x m ), voor alle x X. Voor de marginale dichtheden van X i schrijven we π Xi dat zo P(X i = x i ) = π Xi. Voor een deelverzameling T M = {1,,..., m} is X T de vector met de componenten X i, waarvoor geldt dat i T en X T is de vector met de componenten X i, i T. De marginale kans van X T schrijven wij π XT en voor de marginale kans van X T schrijven wij π X T. Met deze notatie kunnen wij nu handig conditionele kansen weergeven. Het is duidelijk dat P(X T = x T X T = x T ) = π XT X T =x T (x T ). Zij T een vast gekozen deelverzameling van M. We construeren nu een Markov Chain (X n ) afhankelijk van T als volgt. Zij X de toestandsruimte van de Markov Chain. Gegeven X = x zij X = (X 1,..., X m) de volgende toestand in de keten. Dan is gegeven X = x met X T = x T en wordt X T onafhankelijk getrokken met kans π XT X T =x T (x T ). Dan vormt (X n) een Markov Chain met overgangskansen { als x T p xx = x T π XT X T =x T (x T ) als x T = x T voor alle x, x X. Stelling 3.5. Als X de distributie π heeft dan heeft X ook distributie π. Bewijs. We ontlenen het bewijs uit Monte Carlo Markov Chain Simulation (11) van Bert van Es [3]. Er geldt: P(X C) = x C P(X = x) = x C P(X T = x T, X T = x T ) = x C P(X T = x T X T = x T ) P(X T = x T ) = π X T X T =x (x T ) π T X (x T ) T x C = x C π XT X T =x T (x T ) π X T (x T ) = x C π X (x) = π(c) Dus π is een invariante distributie voor de keten. 6

29 Opmerking 3.6. Het feit dat de keten een invariante verdeling heeft betekent niet dat de keten ook daadwerkelijk naar de invariante verdeling convergeert. De eisen voor convergentie zijn namelijk irreducibiliteit en aperiodiciteit. De aperiodiciteit volgt uit het feit dat als X n = x n en we willen een stap doen in de Markov Chain, dat p xnxn >. Stel maar dat p xnxn =, dan hadden we x n bij de vorige stap niet kunnen bereiken. Het probleem wat zich voor doet is dat de keten niet irreducibel hoeft te zijn. Als namelijk de keten een willekeurige begintoestand heeft, dan is de kansverdeling van de T -componenten hetzelfde als de kansverdeling onder de startverdelingen. Voor een manier om de Gibbs Sampler toch irreducibel te krijgen kiezen we voor iedere stap die we in de keten willen maken een andere deelverzameling T. Om hierover meer te weten te komen verwijzen wij naar de literatuur [3]. Onze keuze voor T zal T = {i} zijn. De zo verkregen keten wordt ook wel single site Gibbs sampler genoemd. De overgangskansen van de keten worden dan gegeven door: { als x i x p xx = i π Xi X i =x i (x i) als x i = x i De vraag is hoe de Gibbs Sampler er voor posterior verdelingen uit ziet. Om dit te beantwoorden zullen we de single site Gibbs sampler gebruiken: Zij θ = (θ 1,..., θ m ) T de parameter vector, L(X θ) de likelihood en π(θ) de prior voor θ. We hebben in Hoofdstuk gezien dat π(θ i θ j, i j, X) L(X θ)π(θ). We geven het algoritme van de single site Gibbs sampler voor posteriors: 1. Zij t = en kies een startwaarde θ () = (θ () 1,..., θ () m ) en een stoptijd T >.. Genereer de componenten van θ als volgt: trek θ (t+1) 1 uit π(θ 1 θ (t),..., θ (t) m, X) trek θ (t+1) uit π(θ θ (t+1) 1, θ (t) 3,..., θ (t) m, X)... trek θ (t+1) m uit π(θ m θ (t+1) 1,..., θ (t+1) m 1, X) 3. Zet t := t + 1. Als t < T herhaal de vorige stap. We zien dat wij de verdeling van de parameter θ gegeven X kunnen simuleren door uit de conditionele dichtheden op π(θ i...) te simuleren. Dit is alleen nuttig als we weten hoe de posterior eruit ziet. In sommige gevallen is het niet mogelijk de conditionele verdelingen te vinden en kunnen wij beter het symmetrische Metropolis Hastings algoritme gebruiken. We hebben 7

30 in Hoofdstuk echter een definitie van een geconjugeerde familie gegeven. Dit betekent dat als gegeven een model en een prior de posterior in dezelfde familie van kansverdelingen zit als de prior, dat wij de Gibbs Sampler de voorkeur zullen geven. Dit is omdat de Gibbs Sampler geen acceptatievoorwaarde heeft. We geven in de volgende sectie voorbeelden voor het uitvoeren van het symmetrische Metropolis Hastings algoritme en de Gibbs Sampler. We gebruiken de MCMC algoritmes daarbij ook voor bekende kansdichtheden zoals bijvoorbeeld de Cauchyverdeling maar zullen ook voorbeelden geven van onbekende posterior verdelingen. 3.3 Voorbeelden In deze sectie werken we voorbeelden voor het symmetrisch Metopolis Hastings algoritme en de Gibbs Sampler uit. Voorbeeld 3.7. Stel wij willen trekkingen doen uit de Cauchyverdeling met dichtheid f(x) = 1 1. Dit kan met het symmetrische Metropolis Hastings π 1+x algoritme. We kiezen als proposaldichtheid de normale verdeling. We testen het algoritme voor verschillende varianties σ van de proposalverdeling. We geven het algoritme. 1. Zij n = en kies een willekeurige startwaarde X n.. Zij Y de proposal q(y X n ) N (X n, σ) verdeeld 3. Bereken de ratio α(x n, Y ) { } f(y )q(xn Y ) = min f(x n )q(y X n ), 1 { 1 + } Xn = min 1 + Y, 1 f u n c t i o n [X] = SymMetropolisHastingsCauchy (N, sigma, x ) X( 1 )=randn ; f o r i =:N Y=normrnd (X( i 1), sigma ) ; % p r o p o s a l voor Y alpha=min ( (1+(X( i 1) x ) ˆ) /(1+( Y x ) ˆ), 1 ) ; %r a t i o u=rand ; i f u<alpha X( i )=Y; % a c c e p t e e r Y e l s e X( i )=X( i 1) ; % verwerp Y en begin weer opnieuw end end h i s t (X) end 4. Zij U U[, 1]. Accepteer als U < α, verwerp elders en zij n := n + 1, herhaal stap t/m 4. 8

31 Figuur 3.1: Het histogram links is verkregen met behulp van het symmetrische Metopolis Hastings algoritme met als proposaldichtheid een normale verdeling met variantie σ =. Rechts zien we een histogram dat door dezelfde methode verkregen wordt, maar dan met σ =.1. De σ in ons algoritme geeft aan met welke stapgroote wij een nieuwe proposal trekken. Als we bijvoorbeeld een hele kleine σ van.1 kiezen, zullen we maar in een klein gebied rond onze huidige toestand θ n een nieuwe proposal trekken. Een voordeel kan zijn dat een proposal in de buurt van θ n een hoge acceptatiekans heeft, maar een nadeel is wel dat wij door hele kleine stappen te maken niet de hele toestandsruimte te zien krijgen. We zien dan voor het geval σ =.1 dat de Cauchyverdeling nog niet goed benaderd wordt. Kiezen we dan σ = kan de acceptatiekans van nieuwe proposalwaarden kleiner zijn, maar heeft deze keuze van σ wel als voordeel dat we sneller een groter gedeelte van de toestandsruimte gezien hebben. Dit is goed te zien in figuur 3.. 9

32 4.6 (θ n ) n (θ n ) n iteraties n iteraties n Figuur 3.: We zien links het pad van de Markov Chain voor σ = en rechts het pad van de Markov Chain voor σ =.1. Als we deze twee vergelijken, valt op dat de Markov Chain links grotere sprongen maakt door de parameterruimte, maar daarvoor vaker blijft staan. De Markov Chain rechts beperkt zich tot een veel kleiner gedeelte van de parameterruimte, maar accepteert vaker nieuwe proposals. We zullen nu het symmetrische Metropolis Hastings algoritme gebruiken voor de benadering van een posterior. Hierbij zullen we gebruiken dat wij uit de Cauchyverdeling met willekeurige locatieparameter kunnen trekken. Voorbeeld 3.8. We bekijken het voorbeeld uit het boek The Bayesian Choice [1]. Gegeven een steekproef X 1,..., X n uit de Cauchyverdeling C(θ, 1) met locatieparameter θ en gegeven een prior op θ die N (µ, σ ) verdeeld is, waarbij µ en σ bekend zijn. We krijgen voor de posterior verdeling dat: π(θ X 1,..., X n ) e (θ µ) /σ n i=1 [1 + (X i θ) ] 1 Omdat men de posterior op een constante na kent is het handig het symmetrische Metropolis Hastings algoritme te gebruiken. Het vorige voorbeeld maakt het mogelijk uit een Cauchyverdeling met willekeurige locatieparameter trekken. We voeren het symmetrische Metopolis Hastings algoritme uit. 3

33 f u n c t i o n [ t h e t a ] = s y m m e t r o p o l i s h a s t i n g s p o s t e r i o r (mu, sigma, N1, N) t h e t a ( 1 ) =; produkt =1; f o r i =:N X= SymMetropolisHastingsCauchy (N1,., t h e t a ( i 1) ) ; % data Y=randn ; % p r o p o s a l voor Y f o r j =1:N1 produkt=produkt ((1+(X( j ) t h e t a ( i 1) ) ˆ) /(1+(X( j ) Y) ˆ) ) ; end alpha=min ( exp (( (Y mu) ˆ+( t h e t a ( i 1) mu) ˆ) /( sigma ˆ) ) produkt, 1 ) ; u=rand ; i f u<alpha t h e t a ( i )=Y; % a c c e p t e e r Y e l s e t h e t a ( i )=t h e t a ( i 1) ; % verwerp Y en begin weer opnieuw end produkt =1; end h i s t ( theta, 5 ) end Figuur 3.3: Het symmetrische Metopolis Hastings algoritme in een MATLAB code voor de posterior Figuur 3.4: Histogram van simulatie met N = 4 trekkingen gegenereerd door het symmetrische Metropolis Hastings algoritme met als proposalverdeling de normale verdeling. Links hebben we voor de variantie van de proposal σ k = 4 gekozen. In het midden hebben we σ k =.4 gekozen. Rechts hebben we σ k =.4 gekozen. De beste benadering van de posterior geeft het histogram in het midden. Ook hier zien we weer dat verschillende waarden van σ k tot snellere of langzamere convergentie tot de posterior kunnen leiden. De reden hiervoor is dezelfde als bij het voorbeeld van de Cauchy verdeling 3.7. We hebben voorbeelden voor het symmetrische Metropolis Hastings algoritme gegeven. Het symmetrische Metropolis Hastings is handig om posterior verdelingen die niet in gesloten vorm beschikbaar zijn discreet te benaderen. We geven nu voorbeelden van kansverdelingen waar voor wij de Gibbs Sampler zullen gebruiken. 31

34 Voorbeeld 3.9. Stel wij willen steekproeven genereren uit de verdeling f(θ 1, θ ) die N (µ, Σ) verdeeld is, met µ = (1, ) T en ( ) 1 ρ Σ = ρ 1 We weten voor de conditionele kansdichtheden dat f(θ 1 θ ) N (µ 1 + ρ(θ µ )), 1 ρ ) en f(θ θ 1 ) N (µ + ρ(θ 1 µ 1 )), 1 ρ ). We voeren de Gibbs Sampler uit: 1. Kies t = en T en zij σ = 1 ρ.. Kies een startwaarde voor (θ 1 θ ) = (, ) T. 3. trek θ (t+1) 1 uit f(θ (t) 1 θ (t) ) en trek θ (t+1) uit f(θ (t) θ (t+1) 1 ) 4. Herhaal tot t = T. f u n c t i o n [ t h e t a ] = Gibbs (T) Y = [ 1 ; ] ; %mu = [ 1 ; ] rho =. 1 ; %k i e s een g e t a l rho ; Hiermee maken we stappen i n de markovketen sigma = s q r t (1 rho ˆ) ; %d u i d e l i j k! t h e t a ( 1, : ) = [ ] ; %s t a r t w a a r d e f o r t = :T mu1 = Y( 1 ) + rho ( t h e t a ( t 1,) Y( ) ) ; %stappen voor de e e r s t e c o o r d i n a a t t h e t a ( t, 1 ) = normrnd (mu1, sigma ) ; % sample u i t n o r m a l e v e r d e l i n g met parameters mu1 en sigma mu = Y( ) + rho ( t h e t a ( t, 1 ) Y( 1 ) ) ; %stappen voor de tweede c o o r d i n a a t t h e t a ( t, ) = normrnd (mu, sigma ) ; %sample u i t normale v e r d e l i n g met parameters mu en sigma end ; t h e t a contour ( t h e t a ( :, 1 ), t h e t a ( :, ) ) end We voeren de simulatie in MATLAB uit en krijgen de volgende resultaten. 3

35 θ θ θ θ1 3 4 Figuur 3.5: We zien links een MATLAB plot van de vector (θ1, θ ) na T = iteraties. Rechts zien we het pad dat de Markov Chain aflegt na de eerste 3 iteraties. We zien hoewel wij in (, ) begonnen zijn, dat de getrokken punten zich centreren rond (θ1, θ ) = (1, ) θ 5 θ1 Figuur 3.6: Een 3d-plot van de multivariaat normale verdeling uit voorbeeld 3.9 met 3 datapunten (θ1, θ ) verkregen door de Gibbs Sampler. 33

36 θ θ 1 Figuur 3.7: We zien een contourplot verkregen door de Gibbs Sampler uit voorbeeld 3.9 voor punten. Ook hier zien we duidelijk dat de punten die we met de Gibbs Sampler trekken zich rond (θ 1, θ ) = (1, ) centreren. Voorbeeld 3.1. Wij geven nu een voorbeeld voor een Gibbs Sampler die trekking uit een posterior doet. Gegeven een model X p bin(n, p). Zij de π(p) de prior voor p met dichtheid Beta(α, β), waarbij α en β bekend zijn. De dichtheid is dan π(p X) p X (1 p) n X p α 1 (1 p) β 1 = p α+x 1 (1 p) n X+β 1. We concluderen dat de posterior in de famile van Betaverdelingen ligt. Dit is een voorbeeld van een geconjugeerde familie zoals wij dat in hoofdstuk gedefiniëerd hebben. De posterior is Π(, X) = Beta(α+X 1, n X +β 1) verdeeld. Omdat MATLAB een algoritme heeft om uit de beta verdeling te trekken is mogelijk met de Gibbs Sampler meteen uit de posterior te trekken. 34

37 f u n c t i o n [ t h e t a ] = Gibbsconjugate1 (T, alpha, beta, n ) p =.5; t h e t a ( 1 )=p ; t h e t a a c c e n t ( 1 ) =; f o r t = :T t h e t a a c c e n t ( t )=binornd ( n, t h e t a ( t 1) ) ; t h e t a ( t )=betarnd ( alpha+t h e t a a c c e n t ( t 1), beta+(n t h e t a a c c e n t ( t 1) ) ) ; end ; t h e t a h i s t ( theta, ) end Figuur 3.8: Simulatie van de posterior die in dezelfde familie van kansverdelingen als de prior ligt. We verkrijgen een histogram door de Gibbs Sampler uit te voeren voor T = 1, α =, β = 5, n =. Voorbeeld Dit voorbeeld is uit het boek The Bayesian Choice van Christian Robert [1]. Bekijk (λ, µ) N {} [, 1] en de posterior ( ) n π(λ, µ X) µ λ+α 1 (1 µ) n λ+β 1, λ waarbij α en β dataafhankelijke variabelen zijn. De conditionele dichtheden die nodig zijn voor de implementatie van de Gibbs Sampler zijn λ X, µ bin(n, µ) en µ X, λ Beta(α + λ, β + n λ). We kunnen met behulp van de Gibbs Sampler nu π(λ, µ X) simuleren. 35