Hoofdstuk 2. Aanvullingen Markovketens

Transcriptie

1 Hoofdstuk 2. Aanvullingen Markovketens Betere formulering van Stelling Stelling. (St. 2.20) Laat C een gesloten klasse zijn, en j C. Dan geldt dat {µ ij } i C zijn de minimale niet-negatieve oplossing (in [0, ]) van et stelsel vergelijkingen x i = 1 + p ik x k, i C. k j Als er een eindige niet-negatieve oplossing is, dan is j positief recurrent. Als C eindig is, dan is de oplossing uniek en eindig. Hieruit volgt nu onmiddellijk: als C eindig en gesloten, dan zijn alle toestanden van C positief recurrent. Herformulering Stelling 2.21 en gevolgen. Laten R 1,..., R m, m, de recurrente klassen van de Markov keten zijn en T de verzameling van transiënte toestanden. Stelling. (St. 2.21) P = lim n n 1 t=0 P (t) /n bestaat met de eigenscappen (I) p jj = { 1 µ jj, als j k R k 0, als j T. (II) p ij = f ijp jj, i, j S (III) p jj = E( Y 1 1 t=0 1 {j}(x t ) X 0 = i ), voor i, j R k met i positief recurrent, 1 k m. Hierbij is Y 1 = min{t 1 X t = i}. De gevolgen a, b, c en d volgen ieruit, zoals in et dictaat staat. Op pagina 28, in onderdeel (d) staan typefoutjes. d) P P = P. Je kunt weer nagaan dat de enige niet-triviale gevallen zijn wanneer i T R k en j R k, met R k een positief recurrente klasse. Laat i R k. Dan geldt Dus n t=1 p(t) ij n = n 1 l R k t=0 p(t) il p lj n. p ij = lim inf n l R k l R k lim inf n = l R k p il p lj. n 1 t=0 p(t) il p lj n n 1 t=0 p(t) il p lj n 1

2 Stel nu, dat er een j R k is en ɛ > 0 met p ij ɛ + l R k p il p lj. Dan geldt 1 = p ij ɛ + p il p lj = ɛ + 1, j R k l,j R k tegenspraak. Dus geldt gelijkeid. Het geval dat i T en j R k volgt ieruit direct. Uit eigenscap (II) volgt dat de rijen van P van toestanden in dezelfde recurrente klassen allemaal gelijk zijn, en, zoals in et dictaat uitgelegd, een stationaire verdeling zijn. Stelling. (St. 2.25) Zij x een stationaire kansverdeling van P. Laten R k, 1 k m, m, de positief recurrente klassen zijn en R 0 de vereniging van all nul-recurrente klassen. Voor 1 k m, laat P i k de rij van een toestand i k R k zijn. Dan geldt dat er getallen c k 0, k = 1,..., m, met k c k = 1, zijn, zodat x = m k=1 c k P i k, d.w.z. dat P ik, 1 k m, alle stationaire verdelingen voortbrengen. Het gevolg iervan is, dat in een Markovketen met één positief recurrente klasse, er precies één stationaire verdeling is, en wel een rij van P beorend bij een positief recurrente toestand. Hoofdstuk 3. Aaanvullingen Vernieuwingsteorie Poissonproces Zij λ 0, en laten X 1, X 2,... onderling onafankelijk exp(λ) verdeelde stocastisce grooteden zijn, d.w.z. P{X i x} = e λx, x 0, en E(X i ) = 1/λ, i = 1, 2,.... Het geassocieerde vernieuwingsproces N(t), t 0, eet een Poisson proces met parameter λ. We ebben op college afgeleid, dat P{N(t) = n} = e λt (λt) n, n = 0, 1, 2,..., n! oftewel N(t) eeft een Poissonverdeling met parameter λt. Voor et bewijs ebben we gebruik gemaakt van et feit dat de kansverdeling van S n = n i=1 X d i een Gammaverdeling eeft met parameters (n, λ), notatie: S n = Γ(n, λ). D.w.z., de dicteid f (n,λ (t), t 0, van S n is gegeven door λt (λt)n 1 f (n,λ) (t) = λ e (n 1)!, t 0, en P{S n x} = x n 1 λx (λx)j f (n,λ) (t)dt = e, x 0. j! j=0 2

3 Verder adden we op college aangetoond dat de tijdsduur tot de eerstvolgende vernieuwing na tijdstip t een exponentiële verdeling eeft met parameter λ, formeel: P{S N(t)+1 t y} = e λy, y 0. De geeugenlooseid van de exponentiële verdeling zorgt voor nog enkele prettige eigenscappen, die we zonder bewijs noemen: 1) N(t + s) N(t) eeft dezelfde kansverdeling als N(s), s, t 0. 2) N(t + s) N(s) en N(s) zijn onderling onafankelijk, s, t 0. Hieronder bescouwen we nog enige andere eigenscappen van et Poisson proces. Opgave VT.1 Laten X en Y twee onderling onafankelijke stocasten zijn, die beide exponentieel verdeeld zijn met parameters respectievelijk λ en µ. a) Laat zien dat min(x, Y ) een exponentiële verdeling eeft met parameter λ + µ. Bereken P{X = min(x, Y )}. b) Zij t 0. Bewijs dat de tijdsduur tot de eerstvolgende vernieuwing na t onafankelijk is van N(t), m.a.w. bewijs dat P{N(t) = n, S N(t)+1 t > y} = P{N(t) = n} P{S N(t)+1 t > y}, y 0, n = 0, 1,.... c) Laten N 1 (t), t 0, en N 2 (t), t 0, onderling onafankelijke Poissonprocessen zijn, met parameters respectievelijk λ en µ. Stel dat X 1, X 2, X 3,... de tussentijden van N 1 (t) zijn en Y 1, Y 2, Y 3,... die van N 2 (t). Onafankelijkeid van de twee bovenstaande Poissonprocessen wil zeggen dat voor elke k, l N, en rijen niet-negatieve, reële getallen t 1, t 2,..., t k, s 1,..., s l, geldt dat P{X 1 t 1,..., X k t k, Y 1 s 1,..., Y l s l } = P{X 1 t 1,..., X k t k }P{Y 1 s 1,..., Y l s l }. Beargumenteer, dat N 1 (t) + N 2 (t), t 0, een Poisson proces is met parameter λ + µ. Opgave VT.2 Laat X 1, X 2,... een rij onafankelijke, exponentieel verdeelde stocasten zijn met parameter λ. Laat verder K een geometrisc verdeelde stocast zijn met succesparameter p, ofwel P{K = j} = (1 p) j 1 p, die onafankelijk is van X 1, X 2,.... Laat vervolgens de stocast Y gegeven zijn door Y = K j=1 X j. 3

4 a) Laat zien dat Y exponentieel verdeeld is met parameter λp. Bescouw een Poisson proces N(t), t 0, met parameter λ. Stel dat we elke gebeurtenis gegenereerd door dit Poisson proces registreren met kans p. Dit gebeurt onderling onafankelijk: et al dan niet registreren van de ene gebeurtenis geeft geen informatie over of we een andere gebeurtenis wel of niet zullen registreren. Laat R(t) et aantal geregistreerde gebeurtenissen tot tijdstip t. We noemen R(t), t 0, vervolgens een uitgedund telproces. b) Bereken P{R(t) = k N(t) = n}. c) Bewijs dat R(t), t 0, een Poisson proces is met parameter λp. Opgave VT.3 Laat N(t), t 0 een Poisson proces zijn met parameter λ, met tussentijden X 1, X 2,.... Laten U 1,..., U k onderling onafankelijke continue stocasten zijn met een uniforme verdeling op (0, t) (d.w.z. P{U i s} = 1 s/t, s (0, t)). a) Laat zien dat P{(X 1 s N(t) = k) = 1 (1 s t )k, s t. Hint: aan welke eigenscap moet N(s) voldoen als X 1 s? b) Laat zien dat P{min(U 1,..., U k ) s} = 1 (1 s t )k, s t. c) Kennelijk geldt dat P{(X 1 s N(t) = k) = P{min(U 1,..., U k ) s}. Geef iervoor een intuïtieve uitleg. N.B. Bij de onderstaande opgaven mag gebruik gemaakt worden van de eigenscappen van et Poisson proces die boven vermeld staan (al dan niet in een opgave!). Opgave VT.4 De voetbalclubs Ajax en R.K.S.V. Nuenen spelen in de Amsterdam ArenA een voetbalwedstrijd, die bestaat uit twee elften van elk precies 45 minuten. De verwacting van et aantal doelpunten dat in een willekeurige elft valt is gelijk aan 5. Doelpunten van Ajax en doelpunten van R.K.S.V. Nuenen vallen elk volgens een Poisson proces. Je mag er van uit gaan dat deze twee processen onafankelijk zijn. Verder is gegeven dat Ajax gemiddeld gesproken anderalf keer zoveel doelpunten maakt als R.K.S.V. Nuenen, en dat er in de eerste elft in totaal precies 3 doelpunten vallen. Lict je antwoorden bij onderstaande opgaven kort toe! a) Wat is de kans dat er in de eerste 10 minuten van de eerste elft twee doelpunten vallen? b) Wat is de kans dat er in de eerste 10 minuten van de tweede elft twee doelpunten vallen voor Ajax, en een voor R.K.S.V. Nuenen? c) Wat is de kans dat Ajax meer doelpunten maakt dan R.K.S.V. Nuenen in de eerste elft? d) Wat is de kans dat de wedstrijd met 4-0 wordt afgesloten in et voordeel van Ajax? 4

5 Opgave VT.5 In de immer zo pittoreske gemeente Ermelo in Gelderland liggen 10 dorpen, waarvan één ook de naam Ermelo draagt. Uit statistisce analyse blijkt dat de tijd tussen twee elektriciteitsstoringen in de gemeente exponentieel verdeeld is met verwacting een alf jaar. Tijden tussen twee elektriciteitsstoringen zijn onderling onafankelijk. Ook blijkt dat een elektriciteitsstoring in de gemeente met kans 0,75 niet et dorp zelf treft, onafankelijk van eerdere of toekomstige elektriciteitsstoringen. Lict je antwoorden bij onderstaande opgaven kort toe. a) Wat is de kans dat in et komende alf jaar zic drie elektriciteitsstoringen in et dorp Ermelo voordoen, en twee in de overige 9 dorpen? b) Wat is de kans dat van de eerstvolgende vijf elektriciteitsstoringen in de gemeente, zic twee in et dorp Ermelo voordoen? c) Wat is de kans dat de eerstvolgende elektriciteitsstoring in et dorp Ermelo zic pas na et komende jaar voordoet? d) Stel dat er, bij wijze van oge uitzondering, zic de komende week drie elektriciteitsstoringen voordoen. Hoe lang duurt et naar verwacting vanaf nu totdat de eerste van de drie zic voordoet? Opgave VT.6 De illustere meneer X vervangt de batterij van zijn telefoon wanneer deze kapot gaat. Het vervangen van een batterij kost een negeerbare oeveeleid tijd. De tijd (ofwel de levensduur) totdat een telefoonbatterij van meneer X et begeeft, gemeten vanaf de installatie, is uniform(6) verdeeld, gemeten in maanden. De levensduren van verscillende batterijen zijn onafankelijk. Lict je antwoorden kort toe. a) Laat meneer X 3 maanden geleden een nieuwe batterij geïnstalleerd ebben. Wat is et verwacte aantal batterijen dat door meneer X sindsdien tot nu toe is geïnstalleerd? Hint: zie Voorbeeld 3.3. b) Meneer X is et vervangen van kapotte batterijen eigenlijk spuugzat, en ij besluit om per direct zijn strategie te veranderen. Wanneer een batterij al kapot gaat voordat deze 3 maanden oud is, dan vervangt meneer X deze. Ecter, als een batterij na 3 maanden nog steeds functioneert, dan vervangt meneer X em nu ook preventief, ook al functioneert ij nog steeds. Wat is bij deze nieuwe strategie de verwacte tijd tussen twee vervangingen van batterijen in de telefoon van meneer X? Wat is dus de lange-termijn vervangingsfrequentie van batterijen in de telefoon van meneer X? c) Laat Z een uniform(6)-verdeelde stocast zijn. Toon aan, dat P{Z s Z 3} = s/3, s [0, 3]. Bereken ieruit E(Z Z 3}. Op de lange termijn, oe vaak per maand moet meneer X naar verwacting zijn batterij vervangen omdat deze is stukgegaan? 5

6 Opgave VT.7 Meneer X besluit op willekeurige tijdstippen zijn telefoonbatterij door te meten en deze gegevens bij te ouden. De meting geeft als resultaat een uitslag oe lang de batterij nog mee gaat. Na een paar jaar middelt ij de verkregen uitkomsten. Hij verwact dat dit ongeveer de elft van de door de fabrikant opgegeven levensduur zal zijn. Tot zijn verbazing is et gemiddelde groter dan de elft. Wat is ier aan de and? Laten X 1,... onderling onafankelijke, identiek verdeelde, niet-negatieve stocasten zijn, met 0 < EX 1 <, en EX 2 1 <. Laat u [0, ), en Ru de tijdsduur tot de volgende vernieuwing. M.a.w. R u = S N(u)+1 u. Op college ebben we aangetoond, dat E [0,t) Ru du t 1 2 EX2 1 EX 1 > 1 2 EX 1, t, tenzij X n deterministisce variabelen zijn, dus met kans 1 gelijk aan de verwacting. Toegepast op et batterijenvoorbeeld: de gemiddelde verwacte resterende levensduur van een batterij is groter dan of gelijk aan de alve verwacte levensduur van een batterij. Hij is dan en slects dan gelijk aan de alve verwacte levensduur, als de levensduur een deterministisce stocast is, dus met kans 1 gelijk aan zijn verwacting. A u. Stel dat we geïnteresseerd zijn in de tijdsduur sinds de laatste vernieuwing voor u, noem dit i) Bewijs dat E [0,t) Au du t 1 2 EX2 1 EX 1 > 1 2 EX 1. ii) Uit bovenstaande kunnen we direct concluderen wat de gemiddelde verwacte duur van een willekeurig gekozen vernieuwingsinterval is. Hoe groot is deze? Kun je dit intuïtief verklaren? Om de intuïtie te verkrijgen, kun je bijvoorbeeld denken aan et geval dat de vernieuwingsintervallen met kans 1/2 duur 1 ebben en met kans 1/2 duur 2. Bewijs Lemma 4.2 Merk op, dat Dus zodat Voor j i, met ν j ν i geldt Hoofdstuk 4. Aanvullingen Markovprocessen p ii () = P{X() = i X(0) = i} P{T i > X(0) = i} = e ν i. p ii () 1 lim inf 0 e νi 1, p ii () 1 ν i. p ij () P{T i <, X(T i ) = j, T i + T j > X(0) = i} = p ij e νj( s) e νis ds = ν ip ij ν i ν j ( e ν j e ν i ). 6 0

7 Daaruit volgt dat lim inf 0 p ij () lim inf 0 ν i ν i ν j ( e ν j s e ν is ) = ν i p ij. Als ν i = ν j, dan volgt dezelfde liminf op analoge wijze. Nu krijgen we p ij () lim sup 0 lim sup 1 p ii() 1 e ν i lim sup 0 = lim inf 0 e ν i 1 ν i. Anderzijds, lim inf 0 1 p ii () p ij () lim inf p ij () lim inf ν i p ij = ν i. 0 0 In de tweede ongelijkeid ebben we gebruik gemaakt van et Lemma van Fatou, en et feit dat p ij () 0. Combinatie van bovenstaande ongelijkeden levert op, dat lim sup 1 p ii () analoog: lim 0 = lim inf 0 1 p ii () p ij () = ν i. analoog: lim inf 0 p ij() = ν i. = ν i, zodat lim 0 1 p ii () bestaat en gelijk is aan ν i. We moeten nog zien te bewijzen dat lim 0 p ij () bestaat en gelijk is aan ν i p ij. Stel dat de limiet voor zekere (i, j 0 ) niet bestaat. Dan is lim sup 0 p ij () > lim inf 0 p ij0 () ν i p ij0. Dus is er een rij { n } n, n 0, n, en ɛ > 0 zodat Dus geldt Tegenspraak! p ij0 ( n ) p ij0 () lim = lim sup = ν i p ij0 + ɛ. n n 0 p ij ( n ) ν i = lim p ij ( n ) lim inf ν i p ij0 + ɛ + ν i p ij = ν i + ɛ. n n n n,j 0 p We gebruiken ier, dat lim inf ij ( n) p n n lim inf ij () 0 ν i p ij voor j j 0, i (je neemt et liminf over de kleinere collectie { n } n, dus dat kan nooit iets kleiners opleveren dan de liminf p over de collectie [0, )). Verder, is lim inf ij ( n) p n n = lim ij ( n) n n = ν i p ij0 + ɛ. Opm. De ongelijkeden en zijn gelijkeden als de som van de kansen gelijk is aan 1, etgeen we ier veronderstellen. In de algemene teorie van Markovprocessen is et niet altijd opportuun 7

8 deze aanname te maken (er kan ook kansmassa verdwijnen ), maar in dat geval gaat de ele afleiding nog wel op door de gebruikte ongelijkeden in te zetten. Herformulering Stelling 4.7 (ii) (de zuinigste vorm totnutoe) Stel et MP eeft één gesloten klasse, zeg C, C S. Stel er is een oplossing van et stelsel x i q ij = 0, j S. i S Dan is x i 0 voor all i S, of x i 0, voor alle i S. Als i x i <, dan is P i := x i / j x j, i C, de stationaire verdeling op C, d.w.z. dat lim t P ij (t) = P j, i, j C. Als voor alle i C geldt dat P{ t : X(t) C X(0) = i} = 1, dan is lim t P ij (t) = P j voor i, j S. Opgave VT.8 Een databank eeft N verscillende items die gebruikt worden voor transacties. Een transactie eeft m items nodig met kans 1/M, 1 m N, voor zekere M N. Gegeven dat een transactie m items nodig eeft, is elke deelverzameling van m gevraagde items even waarscijnlijk. Aanvragen voor transacties komen binnen volgens een Poisson proces met parameter λ. De verwerkingstijd van een transactie die bestaat uit m items, is exp(µ) verdeeld. Een item dat gebruikt wordt bij de beandeling van een transactie, is niet bescikbaar voor andere transacties zolang de verwerking duurt. Aanvragen voor transacties waarvoor niet alle items bescikbaar zijn, gaan verloren. Dit model kan bescreven worden door een Markovproces met als toestanden (n 1, n 2,..., n M ), waarbij n m et aantal lopende transacties is met m items, 1 m M. a) Bepaal de overgangsintensiteiten van et Markovproces. b) Toon voor N = 4 en M = 2 aan dat et proces reversibel is. Zal dit ook voor algemene N en M waar zijn? c) Bepaal de stationaire verdeling voor N = 4 en M = 2. Reversibiliteit voor een discrete-tijdsmarkovketen Laat {X n } n {, } een discretetijdsmarkovketen zijn, die al oneindig lang loopt. We veronderstellen dat de keten irreducibel is en positief recurrent. Het ele reversibiliteitsbegrip kan analoog worden opgezet. De rol van Q in continue tijd wordt nu weer gespeeld door de overgangsmatrix P. We krijgen dan dat de Markovketen reversibel is d.e.s.d.a. P i p ij = P j p ji, i, j S, waarbij {P i } i S de stationaire verdeling van de Markovketen is. Dit is et analogon van (4.6.1) in et dictaat. Hiermee kunnen we ook Stelling 4.8 erformuleren voor et discrete-tijdsgeval. Stelling 0.1. De Markovketen is reversibel d.e.s.d.a. voor elke pijlenronde in de geassocieerde graaf geldt dat et product van de overgangskansen langs de pijlenronde gelijk is aan et product van de overgangskansen langs de omgekeerde ronde. 8

9 Je kunt iermee gemakkelijk laten zien dat een stocastisce wandeling op een ongericte graaf (zoals de webgraaf, die gebruikt wordt voor et berekenen van de Google PageRank), reversibel is. Opgave VT.9 Laat G = (V, E) een ongericte graaf zijn, met knooppuntenverzameling V = {1,..., n}, en takkenverzameling E een verzameling van ongeordende paren knooppunten. Laat d(i) de graad van knooppunt i zijn, d.w.z. et aantal takken dat aan knooppunt i grenst, i V. Een stocastisce wandelaar loopt over de graaf, en kiest in elk knooppunt geeel willekeurig een aangrenzende tak. Dit is een discrete-tijdsmarkovketen met overgangsmatrix P, waarbij p ij = 1/d(i), voor alle knooppunten j met (i, j) E. a) Laat zien dat de Markovketen reversibel is. b) Leidt een formule voor de stationaire verdeling af, en toon de correcteid iervan aan. c) Bescouw nu een scaakbord met de gebruikelijke 64 velden. Zet een paard in één van de oekpunten, en laat et over et scaakbord springen door steeds geeel willekeurig één van de mogelijke sprongen te kiezen. Hoe lang doet et paard er in verwacting over om in ditzelfde oekpunt terug te keren? En oe lang wanneer je et paard op één van de naburige velden laat beginnen? Hoofdstuk 8. Aanvullingen Markov beslissingsteorie Opgave VT.10 Het bewijs van Stelling 8.19 in et dictaat is gebaseerd op een argument dat gebruikt maakt van superarmonisce vectoren. Een alternatief bewijs maakt gebruik van strategieverbetering. Kies strategie f 0, met f 0(i) = 1 (stoppen) als i S 0, en f 0 (i) is willekeurig voor i S 0. Dan geldt dat v i (f 0 ) = r i, i S 0. Algoritme 8.2 toepassen geeft een optimale strategie in eindig veel iteraties, zeg N. De strategie f N is dus optimaal. a) Laat zien dat f n (i) = 1, voor i S 0, n = 1,.... Bij gevolg is stoppen op S 0 optimaal. b) Vervolgens willen we aantonen dat doorgaan in i S 0 { } optimaal is. Neem daartoe aan dat f N (i) = 1 voor een toestand i S 0 { } en leidt een tegenspraak af. 9