BESLISKUNDE A. Najaar 2016 Deel 1. L.C.M. KALLENBERG en F.M. SPIEKSMA

Transcriptie

1 BESLISKUNDE A Najaar 26 Deel L.C.M. KALLENBERG en F.M. SPIEKSMA UNIVERSITEIT LEIDEN

2

3 Inhoudsopgave DISCRETE MARKOV KETENS. Inleiding en voorbeelden Klassificatie van de toestanden Eigenschappen gebaseerd op de geassocieerde gerichte graaf Absorptiekansen Absorptietd Absorptiekansen en absorptietd Het limietgedrag van de overgangsmatrix Algoritmes voor eindige Markovketens Opgaven VERNIEUWINGSTHEORIE Inleiding Vernieuwingsvergelking en Vernieuwingsstelling Vernieuwingskansen en Laplace-Stieltjes transformatie Vernieuwingsprocessen met opbrengsten Regeneratieve processen Opgaven MARKOVPROCESSEN Inleiding Differentiaalvergelkingen en transiënt gedrag Geboorte-sterfte processen Uniformisatie Stationair gedrag Reversibiliteit Opgaven ACHTERGROND STELLINGEN Convergentiestellingen Abel en Césarolimieten

4 A OPLOSSING VAN DE VRAGEN 97 A. Hoofdstuk A.2 Hoofdstuk A.3 Hoofdstuk B Index 9

5 Hoofdstuk DISCRETE MARKOV KETENS. Inleiding en voorbeelden Een stochastisch proces {X t, t T } is een collectie stochastische variabelen, d.w.z. dat X t voor iedere t T een stochastische variabele is. De verz. T wordt de indexverzameling van het proces genoemd. De index t is vaak de td en X t noemen we dan de toestand van het proces op tdstip t, bvoorbeeld het aantal klanten dat in de supermarkt is op tdstip t. De toestandsruimte S van het proces is de verzameling realisaties van X t, t T. Als T aftelbaar is, dan noemen we het proces een discreet proces; is T een interval, bv. [, ), dan heet het proces continu. In dit hoofdstuk zullen we ons beperken tot discrete stochastische processen. Voorbeeld. Bernoulli wandeling Z Y i, i =, 2,... een collectie onderling onafhankelke en identiek verdeelde stochastische variabelen zn. Definieer X t = X t + Y t, t N en X willekeurig, dan is {X t, t =,,... } een stochastische wandeling. Een speciaal geval hiervan is de Bernoulli wandeling, waarb S = Z en de stappen slechts de waarden + of kunnen aannemen. Voor zo n wandeling noteren we p = P{Y i = +} en q = p = P{Y i = }. Deze wandeling wordt ook wel een ééndimensionale stochastische wandeling genoemd. Als p = 2, dan spreken we van een symmetrische wandeling. Voorbeeld.2 Gokmodel Op tdstip begint de gokker met n euro. H speelt iedere keer hetzelfde spel; met kans p wint h euro en met kans p verliest h euro. Neem X = n en laat Y i de verandering van het kapitaal op de i-de dag zn, dan is X t, het kapitaal na t dagen, een ééndimensionale stochastische wandeling. Meestal heeft een gokmodel absorberende toestanden en N, d.w.z. als de toestand

6 2 HOOFDSTUK. DISCRETE MARKOV KETENS of N is dan stoppen we: X t als X t =, N; X t+ = X t + Y t+ als X t =, 2,... N. In het algemeen is de kansverdeling op tdstip t, zelfs van een eenvoudig proces als de stochastische wandeling, niet eenvoudig te bepalen. Voor grote waarden van t kunnen we wel het e.e.a. zeggen. Voorbeeld. Bernoulli wandeling (vervolg) Omdat E(Y i ) = 2p is, volgens de sterke wet van de grote aantallen (zie Stelling 2.2), het kapitaal van de gokker voor grote waarden van t na t dagen b benadering gelk aan n + (2p )t. Beschouw een r {X t, t =,,... } stochastische variabelen met X t S met S een eindige of aftelbare toestandsruimte. {X t, t =,,... } heet een Markov keten als voor iedere i, i,..., i t, i, j S en alle t =,,... geldt dat P{X t+ = j X = i, X = i,..., X t = i t, X t = i} = P{X t+ = j X t = i}. (..) In woorden, een stochastisch proces is een Markov keten als, gegeven het heden, de toekomst niet afhangt van het verleden. De Markov keten heet stationair of homogeen als de kansen P{X t+ = j X t = i} ook niet van t afhangen. Voor een stationaire Markov keten noteren we p = P{X t+ = j X t = i} en we noemen de getallen p de overgangskansen. Merk op dat p voor alle i en j, en j S p = voor alle i. Een stationaire Markov keten wordt volledig beschreven door de overgangsmatrix P = (p ); we spreken dan ook in dit geval over de Markov keten P. We zullen ons beperken tot discrete stationaire Markov ketens: als we in het vervolg spreken over een Markov keten, dan bedoelen we een discrete stationaire Markov keten. Voorbeeld. Bernoulli wandeling (vervolg) De stochastische wandeling, en dus ook het gokmodel, is een Markov keten, immers: z p k = P{Y = k}, dan worden de overgangskansen gegeven door p = p j i (ga dit zelf na). Voorbeeld.3 Voorraadmodel Beschouw een winkel waarin een bepaald artikel wordt verkocht. Veronderstel dat de wekelkse vraag naar dit artikel onderling onafhankelke identiek verdeelde stochastische variabelen zn met kansverdeling D k = P{Y t = k}, k =,, 2,... De Rus Andrey Markov ( ) introduceerde dit begrip in 96. Zie ook Andrey Markov.

7 .. INLEIDING EN VOORBEELDEN 3 met Y t de vraag in week t. We veronderstellen dat de winkelier de volgende (s, S)-strategie hanteert: als aan het begin van de week de voorraad minstens s is, dan wordt er niets besteld; is de voorraad i < s is, dan wordt S i bbesteld, zodat het voorraadniveau na aanvulling S is. We nemen aan dat aanvulling van de voorraad geen td vereist, en verder nemen we aan dat als er vraag is, terwl de voorraad is, deze klant niet geholpen kan worden (geen nalevering). Laat X t de voorraad zn aan het begin van de t-de week, voordat wordt besteld, dan geldt: max{x t Y t+, } als X t s X t+ = max{s Y t+, } als X t < s. Hieruit volgt dat {X t } een Markov keten is op Z + met overgangskansen p = k i D k als i s, j = D i j als i s, j i k S D k als i < s, j = D S j anders. Voorbeeld.4 Markov modellen in de genetica 2 als i < s, j i Veronderstel dat we een vaste populatie van 2N genen hebben, samengesteld uit type-a en type-b genen. Een nieuwe generatie genen komt tot stand door 2N onderling onafhankelke Bernoulli proefnemingen, waarb iedere proefneming, als de huidige generatie i genen van type-a bevat, kans p i = op succes heeft (we spreken van een succes als een gen van type-a ontstaat). Dus alleen het i 2N heden en niet het verleden is van belang voor de toekomst. De samenstelling van de generaties vormt daarom een Markov keten op de toestandsruimte S = {,,..., 2N}, waarb toestand i het aantal genen van type-a voorstelt. De samenstelling X t+ van de (t + )- ste generatie, gegeven dat X t = i, is dan een binomiaal verdeelde stochastische variabele met parameters (2N, p i ). De overgangskansen p van de Markov keten worden gegeven door p = ( ) 2N p j i j q2n j i. (..2) waarb q i = p i = 2N i 2N. 2 Voor een biologische verantwoording van dit model zie R.A. Fisher, The genetical theory of natural selection, Oxford Press (962)

8 4 HOOFDSTUK. DISCRETE MARKOV KETENS Merk op dat de toestanden en 2N absorberende toestanden zn. Dit is een vr simpel model. Behalve reproductie vertonen genen ook mutatiegedrag. Dit houdt in dat voordat de reproductie plaatsvindt de genen van type-a met een zekere kans, zeg α, muteren tot type-b, en omgekeerd de genen van type-b met een zekere kans, zeg β, muteren tot type-a. Het verwachte aantal genen van type-a vlak voor de reproductie is dus i( α) + (2N i)β. In dit geval krgen we weer Bernoulli proefnemingen, maar met succeskans Dan voldoet q i aan p i = q i = p i = i( α) + (2N i)β. 2N iα + (2N i)( β). 2N Voor de overgangen van de Markov keten kan weer formule (..2) worden gebruikt. Merk op dat, als αβ >, dan zn er geen absorberende toestanden. Voorbeeld.5 Wachtrmodel Veronderstel dat patiënten b de dokter komen en dan in de wachtkamer plaatsnemen. De dokter heeft voor iedere patiënt precies één kwartier nodig (ieder kwartier is een periode) en begint ieder kwartier de behandeling van een nieuwe patiënt (ook als er geen patiënten zn en er komt een nieuwe patiënt binnen, dan moet deze wachten tot het volgende kwartier begint). We veronderstellen dat het aantal patiënten dat gedurende de t-de periode binnenkomt een stochastische variabele Y is met een discrete kansverdeling die onafhankelk is van t (we schrven daarom Y i.p.v. Y t ), waarb p k = de kans dat er in een periode k patiënten binnenkomen, k =,,.... We kunnen het proces van de aantallen patiënten per kwartier modelleren als een Markov keten. Als toestand X t nemen we het aantal patiënten aan het begin van periode t, t =, 2,.... Als dit aantal i is, dan is het aantal patiënten aan het begin van de volgende periode i + Y ; als het aantal is, dan is het aantal aan het begin van de volgende periode Y. We kunnen daarom schrven: X t+ = (X t ) + + Y, waarb x + = max(x, ) voor iedere x. De overgangsmatrix P voldoet aan: P = p p p 2 p 3... p p p 2 p 3... p p p 2... p p

9 .. INLEIDING EN VOORBEELDEN 5 Voorbeeld.6 Wachtrmodel 2 (M/G/-wachtr) In dit voorbeeld illusteren we de techniek van de ingebedde Markov keten. Hierb wordt een continu proces omgezet in een discreet proces door geschikte discrete tdstippen te kiezen. Veronderstel dat klanten b een loket arriveren met tussentden die onderling onafhankelk en exponentieel verdeeld zn met parameter λ. Exponentiële verdelingen worden vaak gekozen als klanten onderling onafhankelk van elkaar op willekeurige tdstippen aankomen. Wiskundig heeft de exponentiële verdeling de prettige eigenschap van geheugenloosheid, d.w.z. dat de resterende tdsduur dezelfde verdeling heeft als de oorspronkelke, in formulevorm: P{T > t + s T > t} = P{T > s} = e λs voor alle s, t. Een klant die binnenkomt en geen andere klanten b het loket aantreft wordt direct geholpen. Een klant die binnenkomt, terwl ook andere klanten aanwezig zn, sluit achteraan in de wachtr aan. We veronderstellen dat de klanten aan het loket worden geholpen gedurende een stochastische tdsduur T die onafhankelk is van de klant en een dichtheid f heeft. Z X t het aantal klanten dat op tdstip t aanwezig is. Dan is {X t, t } een continu stochastisch proces, dat in het algemeen geen Markov proces is, omdat voor het bepalen van de toekomst niet alleen het huidige aantal klanten van belang is, maar ook hoelang de bediende bezig is met de klant die nu wordt geholpen. We maken een ingebed discreet proces door als discreet tdstip t n het vertrektdstip van de n-de klant te nemen (n =, 2,... ) en voor de toestand X n het aantal klanten te nemen dat aanwezig is direct na het vertrek van de n-de klant (neem t = en X = ). Analoog aan Voorbeeld.4 krgen we dan de relatie X n = (X n ) + + A n, met A n het aantal aankomsten tdens de bediening van klant n. Omdat de verdeling van de resterende tdsduur tot de eerste klant komt na t n dezelfde is als de verdeling van de tdsduur van een aankomende klant, is A n stochastisch gezien hetzelfde als het aantal aankomsten gedurende tdsduur T. Er kan worden bewezen 3 dat voor T = y de stochastische variabele A n een Poisson verdeling heeft met parameter λy, d.w.z. dat P{A n = k T = y} = e λy (λy)k k!, k =,,.... We zien uit deze relatie dat het proces een Markov keten is, want alleen het aantal klanten X n op tdstip t n is van belang voor X n, immers: A n is een discrete kansverdeling die onafhankelk is van n en waarvoor geldt: p k = P{A n = k} = P{A n = k T = y}f(y)dy = e λy (λy)k k! f(y)dy, k =,,.... Voor de overgangskansen van de Markov keten krgen we: p j i+ als i, j i p = P{X n = j X n = i} = P{A n = j (i ) + } = p j als i =, j anders 3 Zie S.M. Ross, Introduction to probability models 7th edition, Academic Press (2) paragraaf 5.3.

10 6 HOOFDSTUK. DISCRETE MARKOV KETENS Voor de simultane verdeling van een Markov keten geldt: P{X = i, X = i,..., X t = i t } = P{X = i } p i i p i i 2 p it i t, t N. De simultane verdeling is dus geheel vastgelegd door de overgangskansen en de beginverdeling (de getallen P{X = i}, i S). De zogenaamde t-stapsovergangskansen P{X t = j X = i} noteren we met p (t). N.B. p() = δ, de Kroneckerdelta. Stelling. (Chapman-Kolmogorov) 4 Voor iedere s, t N met s t geldt: p (t) = k p(s) ik p(t s) kj voor alle i, j S. Bews Neem s, t N met s t. Kies i, j S willekeurig. We kunnen nu schrven: p (t) = P{X t = j X = i} = k P{X t = j, X s = k X = i} = k P{X t = j X s = k, X = i} P{X s = k X = i} = k P{X t = j X s = k} P{X s = k X = i} = k P{X t s = j X = k} P{X s = k X = i} = k p(s) ik p(t s) kj. Gevolg.2 Voor alle t N geldt: P (t) = P t, d.w.z. de matrix P (t) is de t-de macht van de overgangsmatrix P (ga dit zelf met inductie na). Vraag. Beschouw een eindige Markov keten met S = {,, 2} en met overgangsmatrix.7.2. P = Bepaal de voorwaardelke kansen P{X =, X 2 = X = } en P{X 2 =, X 3 = X = }. Vraag.2 Beschouw op de tdstippen t =,,... een voorraadsysteem, waarb het voorraadniveau i wordt waargenomen en waarin het volgende gebeurt: () als i, dan worden 4 i eenheden besteld en direct geleverd; als i 2, dan wordt er niets besteld. (2) gedurende een periode is de vraag, of 2, elk met kans 3. Z X t, t =,,... de voorraad aan het begin van periode t + (vóór een eventuele levering). Toon aan dat {X t, t =,,... } een Markov keten is en stel de overgangsmatrix op. Vraag.3 Bews de geheugenloosheid van de exponentiële verdeling met parameter λ, d.w.z. P{T > t + s T > t} = P{T > s} = e λs voor alle s, t. 4 Zie ook equation.

11 .2. KLASSIFICATIE VAN DE TOESTANDEN 7.2 Klassificatie van de toestanden.2. Eigenschappen gebaseerd op de geassocieerde gerichte graaf Een Markovketen kan worden voorgesteld door middel van een gerichte graaf. De knooppunten corresponderen met de toestanden en er is een pl van i naar j als p >. Dan geldt dat p (t) gelk is aan de som van de producten van de kansen over alle plenpaden van t plen van i naar j. Er is dus een positieve kans om in t stappen toestand j te bereiken vanuit toestand i d.e.s.d.a. er een plenpad van t plen van i naar j. Dat betekent dat eigenschappen die te maken hebben met bereikbaarheid essentieel eigenschappen zn van de geassocieerde graaf. Een toestand j heet bereikbaar vanuit toestand i (notatie i j) als er een tdstip t N is met p (t) stel p (n) >. Deze eigenschap is transitief, immers: > en p (m) jk >, dan geldt volgens de stelling van Chapman-Kolmogorov: p (n+m) ik = l p (n) il p (m) lk p (n) p(m) jk >. De toestanden i en j communiceren (notatie i j) als j bereikbaar is vanuit i en i bereikbaar is vanuit j. Lemma.3 De eigenschap communiceren is een equivalentierelatie. Bews De eigenschappen reflexiviteit, symmetrie en transitiviteit zn eenvoudig verifieerbaar. Gevolg.4 S is de vereniging van een aantal disjuncte equivalentieklassen, kortweg de klassen van de Markov keten genoemd. Toestand j is bereikbaar vanuit toestand i komt dan overeen met het bestaan van een plenpad van i naar j in deze graaf. Uit de definitie van communiceren volgt dat de equivalentieklassen overeenkomen met streng samenhangende componenten van de b de Markov keten behorende gerichte graaf. We zullen zien dat de toestanden binnen een klasse bepaalde eigenschappen gemeen hebben. Een toestand i die communiceert met iedere toestand die vanuit i bereikt kan worden heet essentieel; is dit niet het geval, dan heet de toestand inessentieel. Vanuit een essentiële toestand is dus geen enkele inessentiële toestand bereikbaar. De eigenschappen essentieel en inessentieel zn dus eigenschappen van een gehele klasse. Een deelverz. C S heet gesloten als p = voor alle i C en j / C. Lemma.5 Een klasse is essentieel d.e.s.d. als de klasse gesloten is.

12 8 HOOFDSTUK. DISCRETE MARKOV KETENS Bews Als C een essentiële klasse is, i C en p >, dan is i j, zodat ook j i: j behoort ook tot de klasse C. Hieruit volgt de geslotenheid. Omgekeerd, als C gesloten is en i C, dan volgt uit i j dat j C, zodat i j, waarmee is aangetoond dat C essentieel is. Een andere klasse-eigenschap, die onder andere een rol speelt b het bepalen van het limietgedrag van de t-stapsovergangskansen voor grote waarden van t, betreft de periode. De periode d(i) van toestand i is gedefinieerd door: d(i) = g.g.d.{t N p (t) ii > } (als p (t) ii = voor alle t N dan is d(i) = ) (.2.) Stelling.6 Als i j, dan geldt d(i) = d(j). Bews Wegens de symmetrie tussen i en j is het voldoende om aan te tonen dat d(j) een deler is van d(i). Hiervoor is het voldoende om aan te tonen dat d(j) een deler is van elke t N waarvoor >. Laat t N zdd. p (t) ii > (zo n t bestaat omdat i j), en laat k N en l N zdd. p (t) ii p (k) en > en p (l) ji >. Omdat ook p (2t) ii > geldt p (k+t+l) jj p (k+2t+l) jj p (l) ji p(t) ii p(k) > p (l) ji p(2t) ii p (k) >. Dus d(j) is een deler van zowel k + t + l als van k + 2t + l, dus d(j) is ook een deler van (k + 2t + l) (k + t + l) = t. De toestanden uit dezelfde klasse hebben dezelfde periode: we spreken daarom over de periode van een klasse. Als de Markov keten slechts één klasse heeft, d.w.z. dat alle toestanden met elkaar communiceren, dan heet de keten irreducibel. Als de keten irreducibel is, dan is de periode van alle toestanden hetzelfde en spreken we over de periode van de Markov keten. Als d(i) =, dan heet i een aperiodieke toestand en de bbehorende klasse aperiodiek; als d(i) = voor alle i S, dan heet de keten aperiodiek. Stelling.7 Z F een essentiële klasse met periode d.. Voor iedere i, j F is er een unieke r(i, j) N met r(i, j) d zdd. t r(i, j) (mod d) als p (t) > ; 2. Er bestaat een partitie van F in F, F,... F d zdd. als p > en i F k, dan j F k+, waarb F d F.

13 .2. KLASSIFICATIE VAN DE TOESTANDEN 9 Bews. Neem een tweetal toestanden i, j F. Laat k, l N zdd. p (k) > en p (l) ji r(i, j) {,,..., d } zdd. r(i, j) k (mod d). Z nu t N zdd. p (t) deler van t + l en van k + l, dus ook van het verschil: t k r(i, j) (mod d). >. Neem >. Dan is d een 2. Kies een vaste toestand l F en definieer voor k =,,..., d : F k = {j F p (t) lj > impliceert dat t k (mod d)}. Uit onderdeel volgt dat deze definitie consistent is. Veronderstel dat p > met i F k en laat t N zdd. p (t) li p (t+) lj p (t) li p > en t + k + (mod d), geldt dat j F k+. De verzamelingen F, F,... F d heten de cyclische deelverzamelingen van F. >, dus t k (mod d). Omdat Voor de begrippen essentieel, inessentieel en periode ging het in wezen om de vraag of een bepaalde eventualiteit ooit, of in een bepaald aantal stappen, mogelk is, d.w.z. een positieve kans heeft. Daarb ging het alleen om het onderscheid tussen nul of positief zn van bepaalde kansen. Hoe groot een positieve kans was deed niet ter zake. We zullen nu gaan kken naar vragen of een bepaalde eventualiteit zeker is, d.w.z. kans heeft..2.2 Absorptiekansen Laat f (t) de kans zn dat de Markov keten, als gestart wordt in toestand i, op tdstip t voor het eerst in toestand j komt. Laat f de kans zn dat de keten, startend in toestand i, ooit in toestand j komt; deze kans heet de absorptiekans. Voor deze begrippen geldt: f (t) = P{X t = j, X s j voor s =, 2,..., t X = i}; f = P{ t= {X t = j} X = i} = t= f (t). f ii is de kans dat als we in toestand i starten, we ooit nog terugkeren in toestand i. Definitie Toestand i heet recurrent als f ii = en transiënt als f ii <. Deze definitie zegt dat als we in een recurrente toestand starten we er met kans in terugkeren. Volgens de Markov eigenschap is het gedrag dan alsof de keten op dat moment opnieuw begint in die toestand. Het is dus zeker dat we oneindig vaak in deze toestand terugkomen. Anderzds geldt voor een transiënte toestand dat er een positieve kans, namelk f ii, is dat we nooit meer in toestand i terugkeren. Als we er toch in terugkeren, dan is op grond van de Markov eigenschap de kans dat we er nooit meer terugkeren wederom f ii. Startend in i is dus de kans dat we precies n keer in toestand i zn gelk aan fii n ( f ii ), n. Het is dus net alsof er iedere keer dat de keten in toestand i is met een munt, die succeskans f ii heeft, wordt gegooid, waarb succes betekent dat we nooit meer in i terugkeren. Het verwachte aantal keren dat we in i zn is dus de verwachting van een geometrisch verdeelde stochastische variabele met

14 HOOFDSTUK. DISCRETE MARKOV KETENS succeskans f ii en deze verwachting is gelk aan f ii. Het verwachte aantal keren dat we er terugkomen is dus gelk aan f ii = f ii f ii. Uit het bovenstaande volgt ook dat een toestand recurrent is d.e.s.d. als het verwachte aantal keren dat we er terugkeren oneindig is. Soms is het gemakkelker om onderstaand criterium voor transiënt te gebruiken voor de verificatie of een toestand transiënt dan wel recurrent is. Stelling.8 Toestand i is transiënt d.e.s.d. als Bews Neem een toestand i en laat I t = t= p(t) { als Xt = i als X t i. ii <. Dan is t= I t het aantal keren dat toestand i wordt bezocht vanaf tdstip t =. Nu geldt: { } E I t X = i = E {I t X = i} = P{X t = i X = i} = p (t) ii. t= t= Noteer anderzds het aantal keren dat i wordt bezocht met de stochastische variabele N i. Dan geldt (zie Vraag.5) dat N i voldoet aan Dus geldt E{N i X = i} = t= Dit is oneindig als f ii = en anders t= P{N i k X = i} = k= p (t) ii = E{N i X = i} = f ii f ii <. (f ii ) k. k= (f ii ) k. k= t= Lemma.9 Als toestand i recurrent is en i j, dan is ook toestand j recurrent. Bews Kies k en l zdd. p (k) > en p (l) ji >. Dan geldt: t= p(t) jj t= p(k+t+l) jj t= p(l) ji p(t) ii p(k) = p (l) ji p(k) t= p(t) ii =. Gevolg. De eigenschap recurrent is een eigenschap van een klasse: we kunnen daarom spreken over een recurrente klasse of een transiënte klasse. Voorbeeld. Bernoulli wandeling (vervolg) Beschouw Bernoulli wandeling. In deze Markov keten communiceren alle toestanden met elkaar: er is dus één essentiële klasse. Ieder pad van toestand naar zichzelf heeft een even aantal stappen. Neem een pad van naar met 2n stappen. ( ) Dit pad ligt vast door te zeggen welke n 2n stappen uit de 2n stappen naar rechts zn. Er zn van dergelke paden en ieder pad heeft n een kans p n q n. Er geldt dus ( ) p (2n+) = ; p (2n) 2n = p n q n = (2n)! n n!n! pn q n, n =,,....

15 .2. KLASSIFICATIE VAN DE TOESTANDEN Stirling s formule 5 geeft de benadering n! n n e n 2nπ p (2n) 22n nπ p n q n = (4pq)n nπ. Merk verder op dat pq 4 met gelkheid d.e.s.d. als p = 2. Als p = 2, dan geldt de keten is recurrent. n= p (n) n= Als p 2, dan is voor a n = (4pq)n nπ : = nπ π n= n π n= n = : lim n a n+ a n = lim n 4pq n = 4pq <, n + zodat n= p(n) <, waarmee is aangetoond dat de keten transiënt is. Voor transiënte toestanden j geldt zelfs dat t p(t) hebben we het volgende decompositie lemma nodig. < voor all i S. Om dat te bewzen Lemma. p (t) Bews = t s= f (s) p(t s) jj voor alle i, j S en alle t. Neem voor i en j twee willekeurige toestanden. Laat X = i en τ j = het (stochastische) tdstip waarop toestand j voor het eerst wordt bereikt. Dan geldt: p (t) = t s= P{τ j = s; X t = j X = i} = t s= P{τ j = s X = i}p{x t = j X s = j, X s j,..., X j, X = i} = t s= P{τ j = s X = i}p{x t = j X s = j} = t s= f (s) p(t s) jj. Het bovenstaande resultaat kan ook met een wat intuïtiever bews worden gegeven: om in t stappen van i naar j te komen, moet dit ergens voor de eerste keer gebeuren, zeg in stap s, waarb s de waarden, 2,..., t kan hebben. B gegeven s moet dan in t s stappen van j naar j worden gegaan. Dit levert het resultaat p (t) = t s= f (s) p(t s) jj. 5 zie bv.

16 2 HOOFDSTUK. DISCRETE MARKOV KETENS De laatste redenering is niet geheel formeel, omdat het tdstip s, waarop we voor het eerst j bereiken, niet deterministisch maar stochastisch is. In de hierboven gegeven formele behandeling wordt ook duidelk waar we de Markov eigenschap gebruiken. In het vervolg zullen we gemakshalve steeds de intuïtieve benadering gebruiken. In alle gevallen kan dit echter, zoals in bovenstaand bews, ook een strikt formeel bews worden omgezet. Lemma.2 Veronderstel dat toestand j transiënt is. Dan geldt voor iedere toestand i S dat t p(t) < en dus geldt dat lim t p (t) =. Bews Volgens Stelling.8 is t= p(t) jj <, dus lim t p (t) jj =. Neem nu een toestand i j. Volgens Lemma. is p (t) = t k= f (k) p(t k) jj voor t. Nu geldt t p (t) = t t k= f (k) p(t k) jj = k= f (k) t=k p (t k) jj = f t= p (t) jj <. Het is intuïtief duidelk dat een recurrente klasse gesloten moet zn. Om dit formeel aan te tonnen, gebruiken we de volgende stelling die laat zien dat de getallen {f } i bepaald kunnen worden via een stelsel lineaire vergelkingen. Stelling.3 Laat j S gegeven zn, en laat S = {i S f > }. Dan geldt dat {f } i S minimale, niet-negatieve oplossing zn van het stelsel de g i = p + k j p ik g k, i S. Het is de unieke oplossing in een eindige Markovketen. Bews Merk op dat, als de Markovketen S kan verlaten, dan keert h met kans terug. We mogen de Markovketen dus tot S beperken. Zonder verlies der algemeenheid mogen we dan aannemen dat S = S, waarb nu de overgangsmatrix substochastisch kan zn, d.w.z. j p. Dat maakt voor de analyse niet uit. We bewzen eerst dat {f } i een oplossing zn. f = t= f (t) = f () = p + k j p ik + t=2 f (t) Stel {g i } i zn een andere oplossing. Dan geldt = p + t=2 t=2 f (t ) kj = p + k j p ikf kj. g i = p + k j p ik g k = f () + k j p ik g k f () + k j p ik (p kj + l j = f () + f (2) + k,l j p ik p kl g l p kl g l ) k j p ikf (t ) kj = f () + f (2) + l jp (2) il g l,

17 .2. KLASSIFICATIE VAN DE TOESTANDEN 3 waarb { j p il } i,l S de matrix j P is die uit P verkregen wordt door de kolom van j gelk te maken aan, en { j p (t) il } i,l S de t-de macht van deze gereduceerde matrix. Iteratie geeft voor elke N en i S dat N g i f (t) + t= l De limiet N nemen geeft het gewenste resultaat. jp (N) il g l Stel nu dat de Markovketen eindig is, en laat g i f een andere oplossing zn. Dan geldt dat N t= f (t). g i f = k j p ik (g k f kj ) = k jp ik (g k f kj ). Iteratie geeft dat g i f = k jp (n) ik (g k f kj ), n. Merk op dat j P de overgangsmatrix van een transiënte Markovketen is. Volgens Lemma.2 geldt dat j p (n) ik, voor n. Omdat de sommatie over k eindig is, geldt dus ook dat k jp (n) ik (g k f kj ), als n. Dus is g i f = voor alle i S. Gevolg.4 Als i j en toestand i is recurrent, dan geldt f =. Bews zelf! Voorbeeld.2 Gokmodel (vervolg) We zullen de kansen f i,n, i N (de winstkansen) expliciet berekenen. Pas Stelling.3 toe: f N = ; f NN = ; f i,n = pf i+,n + ( p)f i,n, i, N. Hieruit volgt (schrf f i,n = pf i,n + ( p)f i,n ) p{f i+,n f i,n } = ( p){f i,n f i,n }, i =, 2,..., N. Z g(i) = f i+,n f i,n, i N en q = p, dan geldt: g(i) = q ( q i ( ) q i p p) g(i ) = = g() = f,n. p We krgen nu voor i =, 2,..., N: f i,n = (f i,n f i,n ) + (f i,n f i 2,N ) + + (f,n f,n ) = {( q p )i + ( q p )i ( q p ) }f,n ( q p )i = q f,n voor p q p if,n voor p = q = 2 Aangezien f N,N =, kunnen we f,n oplossen uit bovenstaande uitdrukking voor i = N en daaruit volgen dan de andere f i,n s: f,n = q p ( q p )N voor p 2 N voor p = 2 ( q p )i ; f i,n = ( q voor p p )N 2 i N voor p = 2

18 4 HOOFDSTUK. DISCRETE MARKOV KETENS Voorbeeld. Bernoulli wandeling (vervolg) In geval p /2 kunnen we met behulp van het lineaire stelsel de kans f berekenen dat we ooit nog terugkeren in toestand. Veronderstel dat p > 2, dan geldt volgens Stelling.3: f = pf + ( p)f,. Omdat (zie de eerste bespreking van dit voorbeeld) volgens de Sterke wet van de grote aantallen de toestand voor grote waarden van n na n stappen met kans b benadering gelk is aan (2p )n, en dus naar + gaat, is f, =, zodat Verder geldt (gebruik weer Stelling.3): f = pf + ( p). f = ( p) + pf 2. Om vanuit toestand 2 in toestand te komen moeten we eerst in toestand komen en de kans dat dit ooit gebeurt is ook f (waarom?). Als we in toestand zn dan is de kans om ooit in toestand te komen f. Er geldt dus f = ( p) + pf 2, waaruit volgt dat f = of f = p p. Echter, f = is onmogelk omdat de keten transiënt is en we niet met kans ooit in terugkeren. Dit geeft: f = ( p) + p p p = 2( p). Analoog krgen we voor p < 2 dat f = 2p, zodat algemeen geldt f = 2 min(p, p). Lemma.5 Laat C een gegeven recurrente klasse zn, dan is C gesloten. Bews Stel dat C niet gesloten is, d.w.z. p > voor zekere i C en j / C. Veronderstel dat voor zekere k geldt dat p (k) ji >. Dan communiceren i en j wat een tegenspraak oplevert. Er geldt dus p (k) ji Hiermee is bewezen dat voor iedere k / C met p ik > f ki =, d.w.z. p ik f ki = voor alle k / C. = voor iedere k. Maar dan is volgens f (k) ji = voor alle k en dus ook f ji =. Verder geldt volgens Gevolg.4 f ki = voor alle k C. We kunnen nu schrven (gebruik Stelling.3) = f ii = p ii + k i wat eveneens een tegenspraak oplevert. p ik f ki = k C p ik ( p ) <, Gevolg.6 Elke open klasse is transiënt. Omdat inessentiële klassen open zn, zn de inessentiële toestanden ook transiënt.

19 .2. KLASSIFICATIE VAN DE TOESTANDEN 5 Het volgende voorbeeld laat zien dat essentiële klassen zowel recurrent als transiënt kunnen zn. Dit is alleen waar als de toestandsruimte niet eindig is. We zullen later zien dat voor een eindige toestandsruimte essentieel en recurrent (en dus ook inessentieel en transiënt) hetzelfde zn. Voorbeeld.7 Laat S = N en neem als overgangskansen p i, = p i, en p i,i+ = p i voor alle i S met de p i s nog nader te bepalen kansen uit (, ). Het is eenvoudig in te zien dat de keten aperiodiek is. Merk verder op dat alle toestanden met elkaar communiceren, zodat er één klasse is (de keten is irreducibel), die dus gesloten is, zodat alle toestanden essentieel zn. Alle toestanden zn wat betreft recurrentie of transiëntie van hetzelfde type. Het is dus voldoende om na te gaan tot welk type toestand behoort. Als we in starten dan kunnen we slechts dan nooit in toestand terugkeren als we steeds overgangen van toestand t naar toestand t + maken, dus als X t = t voor t =,,.... Er geldt dus zodat f = P{X t = t, t =,,... X = } = ( p t ), f < (d.w.z. de klasse is transiënt) d.e.s.d. als t= ( p t) >. Het is bekend dat dit alleen het geval is indien t= p t <. 6 Met de keuze p i =, i =,,... 2i+ krgen we dus een transiënte keten, terwl de keuze een recurrente keten oplevert. p i =, i =,,... i + 2 t=.2.3 Absorptietd Binnen de klassen van recurrente toestanden kunnen we nog een verder verfning aanbrengen. Voor een recurrente toestand i definiëren we de verwachte terugkeertd µ ii door µ ii = t= tf (t) ii, d.w.z. het verwachte aantal transities voordat we voor de eerste keer weer terug zn in toestand i. Definitie Een recurrente toestand i heet positief recurrent als µ ii µ ii =. < en nul-recurrent als 6 Voor het bews wordt gebruik gemaakt van de ongelkheid e x x, die impliceert dat p t e p t voor alle t. Hieruit volgt T t= ( pt) T e t= p t. Verder wordt gebruikt dat voor alle T en m geldt dat T +m t=t ( pt) T +m t=t pt.

20 6 HOOFDSTUK. DISCRETE MARKOV KETENS We zullen later zien dat nul-recurrent alleen voor kan komen als de toestandsruimte aftelbaar (en niet eindig) is. Opmerking De eigenschappen positief recurrent en -recurrent zn klasse-eigenschappen. Het bews wordt gegeven in paragraaf.4. Voorbeeld.8 Dit is een voorbeeld met een transiënte, een nul-recurrente en een positief recurrente klasse. Neem 3 kopieën van de natuurlke getallen N. Noteer de knooppunten in de eerste verz. met i, in de tweede met j en in de derde met k. In de eerste verz. zn er vanuit toestand positieve overgangskansen p i naar toestand i, waarb p i zdd. i= ip i <. Vanuit een toestand i gaan we met kans naar toestand i. Alle toestanden in deze verz. communiceren onderling en de verz. is gesloten. In de tweede verz. zn er vanuit iedere toestand j overgangskansen 2 naar toestand j + en van iedere j ook een overgangskans 2 naar toestand. Verder is er vanuit een kans 4 om naar de in de eerste verz. te gaan en ook een kans 4 voor een overgang naar in de derde verz. Alle toestanden in deze tweede verz. communiceren onderling, maar de verz. is niet gesloten. In de derde verz. is er vanuit iedere toestand k een overgang met kans naar toestand k en vanuit toestand is er een positieve overgangskans q k naar toestand k, waarb q k zdd. k= kq k =. Alle toestanden in deze verz. communiceren onderling en de verz. is gesloten. Het is nu duidelk dat de eerste verz. een positieve recurrente klasse is, de tweede een transiënte en de derde een nul-recurrente. De periode van iedere toestand is : de keten is dus aperiodiek. Vraag.4 Bews dat als i j en j transiënt is, dan is ook i transiënt. Vraag.5 a. Toon aan dat voor een niet-negatieve geheeltallige stochastische variabele X geldt E{X} = P{X k}. b. Toon aan dat voor een N i uit het bews van Stelling.8 geldt dat E{N i X = i} = (f ii ) k. k= k= Vraag.6 Toon m.b.v. de Sterke wet van de grote aantallen aan dat een Bernoulli wandeling transiënt is als p 2. Vraag.7 a. Bepaal een discrete kansverdeling p op N zdd. i= ip i <. b. Bepaal een discrete kansverdeling q op N zdd. i= iq i =.

21 .3. ABSORPTIEKANSEN EN ABSORPTIETIJD 7.3 Absorptiekansen en absorptietd Voor praktische doeleinden is het van belang om de absorptiekansen en absorptietd te kunnen uitrekenen. Allereerst geldt dat de absorptiekansen in toestanden van een recurrente klasse gelk zn. Laat R k de k-de recurrente klasse zn. Definieer a k i = P{ n : X n R k X = i}, dit is de absorptiekans op de R k, als gestart wordt in toestand i. Stelling.7 Indien j en l tot dezelfde recurrente klasse R k behoren, dan geldt: f = f il = a k i voor alle i S. Bews Schrf R = R k. Als i R dan geldt f = = f il. Als i R, i recurrent, dan is f = = f il op grond van Lemma.5. We nemen dus aan dat i transiënt is. Dan geldt f = t = t f (t) = t t n= r R,r j + t P{X t = j, X s R, s < t X = i} t n= r R,r j P{X n = r, X t = j, X s R, s < n, X u j, u < t X = i} + f (t n) rj P{X n = r, X s R, s < n X = i} + + t P{X t = j, X s R, s < t X = i} = P{X n = r, X s R, s < n X = i}f rj + P{X t = j, X s R, s < t X = i} n r R,r j t = P{X n = r, X s R, s < n X = i} = a k i. n r R Gevolg.8 Aangezien de absorptiekansen op toestanden uit dezelfde recurrente klasse gelk zn, spreken we over de absorptiekansen op een recurrente klasse. Z Q de submatrix van de overgangsmatrix behorende b de transiënte toestanden T. Op grond van Lemma.2 geldt dat t Qt <. Stelling.9 Voor iedere k =, 2,..., m zn de absorptiekansen a k i, i T, de minimale nietnegatieve oplossing van het lineaire stelsel x = b k + Qx met b k i = j R k p, i T. De oplossing is uniek in een eindige Markovketen. Bews zie Opgave.33. Voorwaardelke overgangskansen gegeven absorptie Stel dat de Markovketen een productieproces beschrft, waarin producten uiteindelk goedgekeurd dan wel afgekeurd kunnen worden. De afkeur- en goedkeurtoestanden zn dan absorberende toestanden, en vormen ieder

22 8 HOOFDSTUK. DISCRETE MARKOV KETENS een gesloten recurrente klasse. De overige toestanden vormen dan een transiënte klasse, zeg T. Hoe kun je de voorwaardelke overgangskansen van de Markovketen gegeven absorptie in de goedkeurtoestand berekenen? Laten we deze toestand G noemen, en A de gebeurtenis dat de keten uiteindelk in G eindigt. De vraag reduceert tot het berekenen van de voorwaardelke kans P(X = j X = i, A) voor i, j T. Laat i, j T, dan geldt P(X = j X = i, A) = P(X = j, X = i, A) P(X = i, A) = P(A X = i, X = j) P(A X = i) = f jg f ig p. P(X = i, X = j) P(X = i) Gegeven absorptie in G, kun je grootheden waarin je geïnteresseerd bent dus uitrekenen door een Markovketen te beschouwen op T, met overgangskansen (p f jg /f ig ) i,j T. In deze nieuwe keten is de kans op absorptie in G natuurlk. Je kunt hiermee bv. bepalen, wat het verwachte aantal productiehandelingen is voor producten die uiteindelk goedgekeurd worden. Ga zelf na, hoe de n-staps overgangskansen van deze voorwaardelke Markovketen gerelateerd zn aan de n-staps overgangskansen van de oorspronkelke, onvoorwaardelke, Markovketen. Absorptietden Laat Z = t= Qt. Dan is z het verwachte aantal keren is dat j wordt bezocht als gestart wordt in i, immers: { als toestand j op tdstip t wordt bezocht indien gestart wordt in toestand i. Z N t = anders. Dan is het verwachte aantal bezoeken aan j als gestart wordt in i gelk aan E {N t } = t= P{N t = } = t= In een eindige Markovketen geldt dat Z = t Qt = (I Q). Dit kun je verifiëren door links en rechts te vermenigvuldigen met (I Q). De absorptietd t i, i T, is gedefinieerd door t= p (t). t i = j T z. Dit is dus de verwachte td voordat absorptie optreedt als we starten in transiënte toestand i. In een eindige Markovketen is t i <, maar in een aftelbare Markovketen hoeft dat niet per sé het geval te zn. Zowel voor de getallen {t i } i als {z } i kun je lineaire stelsels opstellen waarvan deze getallen een oplossing zn (mits zn eindig zn). Voor de eindige toestandsruimte is uniciteit van de oplossing gemakkelk aan te tonen. Voor de aftelbare toestandsruimte hoeft uniciteit niet noodzakelk te gelden. Voorbeeld. (vervolg)

23 .3. ABSORPTIEKANSEN EN ABSORPTIETIJD 9 Q = ( ) ; I Q = ( ) {I Q} = ( ) ; t = 3 t 2 = 7 2. Voorbeeld.2: Gokmodel (vervolg) Bschouw het gokmodel voor p = 2. Voor de absorptietd t i van een transiënte toestand i N geldt: t i = + 2 t i + 2 t i+; t = t N =. Dit is een inhomogene differentievergelking waarvan de oplossing luidt t i = i(n i), i N. Voorbeeld.9 Stochastische wandeling op een cirkel We plaatsen N 2 punten op een cirkel op gelke afstanden van elkaar en noemen de punten,, 2,, N. Z {X t } een stochastische wandeling op deze cirkel met p i,i+ = p i,i =, i N, waarb i + = als i = N en i = N als i =. 2 Veronderstel dat X = en z T N het eerste (stochastische) tdstip waarop alle N punten zn bezocht. We zullen aantonen dat E {T N } = N(N ). 2 Laat T k het eerste tdstip waarop k punten zn bezocht. Dan zn T en T 2 deterministisch, namelk T = en T 2 =. We zullen eerst r(k) = E {T k T k } berekenen. Merk allereerst op dat op ieder tdstip de bezochte toestanden een aaneengesloten verz. op de cirkel vormen en dat op de tdstippen T i een nieuw punt wordt bezocht. Toestand X Tk een randpunt van de verz. en op tdstip T k is één van de buren van X Tk is dus wel bezocht en de andere nog niet. Op het volgende tdstip wordt dan òfwel een nieuw punt (het k-de) bezocht òfwel we gaan naar een punt dat één plaats van de rand naar binnen ligt, en beide mogelkheden hebben kans 2. Als we naar zo n inwendig punt gaan dan duurt het weer enige td voordat we op een randpunt zn. Deze td is de absorptietd van het gokmodel (Voorbeeld.2) met k toestanden en we hebben hiervoor afgeleid (neem i = en N = k 2) dat deze td als verwachting {(k 2) } = k 3 heeft. In dat randpunt zitten we dan weer in dezelfde situatie als op tdstip T k. Hieruit volgt r(k) = + {(k 3) + r(k)}, 2 d.w.z. dat r(k) = k. Hiermee krgen we tenslotte: E {T N } = T 2 + N E {T k T k } = + k=3 N r(k) = + k=3 N k=3 (k ) = N(N ). 2 Eerste doorkomsttden We willen niet alleen de kans kunnen bepalen dat toestand j vanuit toestand i ooit bereikt wordt (de absorptiekans), maar ook het verwachte aantal stappen om

24 2 HOOFDSTUK. DISCRETE MARKOV KETENS vanuit toestand i toestand j voor het eerst te bereiken. De eerste doorkomsttd van i naar j, genoteerd met µ. Een voor de hand liggende definitie lkt µ = t= tf (t). We moeten ons echter realiseren dat de getallen f (t), t =, 2,... in het algemeen geen echte kansverdeling zn: zo zn de getallen f (t) ii, t =, 2,... alleen een echte kansverdeling als f ii =, d.w.z. als toestand i recurrent is. Een correcte definitie is daarom µ = t= tf (t) + ( f ). Omdat deze laatste uitdrukking oneindig is voor f <, is het alleen zinvol om het geval te beschouwen dat f =. Stelling.2 Laat C een positief recurrente klasse zn. Dan geldt voor een vaste j R: µ, i R, zn de minimale niet-negatieve oplossing van het stelsel x i = + k j p ik x k, i R. (.3.) Deze is uniek als de klasse R eindig is. Omgekeerd, als het stelsel (.3.) een niet-negatieve oplossing op een gesloten klasse C heeft, dan is C een positief recurrente klasse. Bews Opgave.34. Voorbeeld. Beschouw een Markov keten met zes toestanden en met overgangsmatrix P = De bbehorende graaf bestaat uit de plen (, 4), (, 5), (2, 3), (2, 6), (3, 3), (4, 4), (4, 5), (5, ), (6, 2) en (6, 3). Ga zelf na dat {, 4, 5}, {2, 6} en {3} de equivalentieklassen zn, waarvan de tweede transiënt is en de eerste en de derde recurrent. We kunnen in C = {, 4, 5} als volgt de eerste doorkomsttden naar berekenen: µ = + 2 µ µ 5; µ 4 = + 2 µ µ 5; µ 5 =. Dit geeft: µ = 3; µ 4 = 3; µ 5 =.

25 .4. HET LIMIETGEDRAG VAN DE OVERGANGSMATRIX 2.4 Het limietgedrag van de overgangsmatrix Als je het gedrag van P (t) bestudeert voor t, dan valt het op dat deze matrix vaak convergeert naar een matrix met identieke ren. Beschouw bvoorbeeld P = ( ). Dan is P (2) = ( ) , P (4) = ( ) en P (8) = ( ). In het algemeen hoeft de matrix P (t) niet te convergeren als t (bvoorbeeld is er geen convergentie als P = ( ) (ga dit zelf na). Voor een Markov irreducibele aperiodieke keten zullen we bewzen dat wel geldt dat lim t P (t) bestaat en identieke ren oplevert. Het bews maakt gebruik van vernieuwingstheorie. In Lemma.2 is aangetoond dat de transiënte toestanden verdwnen, d.w.z. dat lim t p (t) = voor i, j transiënte toestanden. We hebben echter gezien dat in het algemeen lim t P (t) niet bestaat in verband met periodiciteit. Vandaar dat we het gedrag omzichtiger zullen bestuderen, via de zogenaamde Césaro-limiet. Z A, A 2,... en A reële N N-matrices en laat Indien dan schrven we B n = n n A k, n N. k= A = lim n B n, A = c lim n A n en A heet de Césaro-limiet van de r A, A 2,.... Ga zelf na dat als de gewone limiet bestaat, de Cesaro-limiet ook bestaat en dat beide limieten aan elkaar gelk zn. Stelling.2. p = lim n n Er geldt dat P P = P P = P. n k= p(k) bestaat voor iedere i, j S. 2. Voor iedere j S geldt: p jj = { µ jj als j recurrent is; als j transiënt is. 3. Voor iedere i, j S geldt: p = f p jj. Bews () Z B (n) = n P k, n N. n k= Omdat p (k) voor alle k, is ook b (n) voor alle n. Dus voor iedere i, j S heeft iedere oneindige deelr van de r {b (n), n N}, een ophopingspunt. Stel dat er een paar i, j zodanig de r {b (n), n N} twee verschillende opeenhopingspunten, zeg J en K heeft.

26 22 HOOFDSTUK. DISCRETE MARKOV KETENS Dan zn er deelren {n k } k en {m l } l zodanig dat b (n k) J en b (m l) K. Via een Cantordiagonalisatie procedure kunnen we nu verdere deelren vinden, die we weer {n k } k en {m l } l noemen, en matrices J en K zodanig dat B (nk) J, k en B (ml) K, l. Met behulp van Fatou s lemma volgt dat j J en j K voor i S. Omdat B (n) + n {P n I} = P B (n) = B (n) P geldt J = P J = JP en K = P K = KP. Dit is niet triviaal. De gelkheden J = P J en K = P K volgen door toepassing van de gedomineerde convergentie stelling, waarb we gebruiken dat J en K niet-negatieve matrices zn, met rsommen kleiner dan of gelk aan. We leiden af dat J = JP. Met behulp van Fatou s lemma volgt dat J JP. Stel er is een paar i, j waarvoor geldt dat J (JP ) + ɛ voor een ɛ >. Dus geldt dat J il J ik P kl + ɛ = J ik + ɛ, l k,l k tegenspraak. Merk op dat je de sommatievolgorde mag verwisselen, omdat alle termen nietnegatief zn! Limiet en som verwisselen mag hierb door de gedomineerde convergentie stelling. Eveneens volgt hieruit: J = P k J = JP k en K = P k K = KP k voor alle k N. Dus: J = B (n) J = JB (n) en K = B (n) K = KB (n) voor alle n N. Met dezelfde argumenten als boven krgen we dat zodat J = K. Tegenspraak. J = KJ = JK en K = JK = KJ, De limiet bestaat dus. Noem deze P. Uit het bovenstaande volgt dat ook geldt P P = P P = P P = P. (2) Neem allereerst een transiënte toestand j. Volgens Lemma.2 is lim n p(n) =, i S, zodat ook de Cesaro-limiet bestaat en gelk is aan n p = lim n p (k) =, i S. n k= Beschouw vervolgens een recurrente toestand j, waarvoor dus f jj =. De tden tussen opeenvolgende bezoeken aan j zn onderling onafhankelke, identiek verdeelde stochastische variabelen met verwachting µ jj. Z N(n) het totaal aantal bezoeken aan j op de tdstippen,,..., n, als gestart wordt in j, met bbehorende vernieuwingsfunctie m(n) = E {{N(n)}. Dan geldt volgens Stelling 2.7 (zowel als µ jj < als voor µ jj = ): lim n m(n) n = µ jj. (.4.)

27 .4. HET LIMIETGEDRAG VAN DE OVERGANGSMATRIX 23 Definieer de indicator variabele Y k = { als Xk = j, gegeven X = j; als X k j, gegeven X = j. Omdat N(n) = Y + Y + + Y n kan (.4.) herschreven worden als lim n n E {Y k } =. (.4.2) n µ jj k= Aangezien E {Y k } = P{X k = j X = j} = p (k) jj, kunnen we schrven: p jj = lim n n p (k) jj = lim n n k= n E {Y k } =. n µ jj k= (3) Kies een i, j S. Door te conditioneren naar de eerste keer dat we vanuit toestand i toestand j bezoeken is in te zien dat Hieruit volgt m m p (t) t= m t= p(t) = m p (t) t = f (t k) p (k) jj, t N. m t t= k= k= f (t k) p (k) jj = m m k= p (k) jj { m k Z ε m = p jj m jj, dan geldt: lim m ε m =. Verder kunnen we schrven { f p jj m m t } { p (t) jj f (l) m f ε m + m } p (t) jj f (l). m t= l= ε m t= l= f (l) } l=m t+ Kies ε > willekeurig. Omdat f, is er een m zdd. l=m f (l) ε. Er geldt dus m m t= p(t) jj { l=m t+ f (l) } = m m + m t= p (t) jj { l=m t+ f (l) } + m m t=m m +2 p(t) jj { l=m t+ f (l) } m m + t= p (t) jj + m (m 2) 2ε voor m voldoende groot. Dit geeft f p jj = lim m m m t= p (t) jj { m t l= f (l) } = lim m m Ten overvloede presenteren we voor Stelling.2 een alternatief bews. m t= p (t). = p. Alternatief bews Stelling.2 We hadden gezien dat de uitspraken alleen nog bewezen hoeven te worden voor i T en j k R k, en voor i, j R k. Dat gaat via de volgende stappen: i) p jj = µ jj, j R k. ii) p = f p jj, i T R k, j R k, i j; iii) p jj = E{V j X =i} µ ii <, als i positief recurrent is, Y de terugkeertd van een toestand naar zichzelf, V j = Y t= {j}(x t ) en i, j R k.

28 24 HOOFDSTUK. DISCRETE MARKOV KETENS Als dit bewezen is, dan volgen uitspraken 2 en 3 van de stelling. Voorts gelden ook de volgende uitspraken. { } a) Als i positief recurrent is, dan is E V j X = i E {Y X = i} <. Dus is p jj >, en dus is µ jj <, zodat j positief recurrent is. D.w.z. positief recurrentie is een klasseeigenschap. b) P P = P. Uit (i,ii) volgt j R k p jj, i R k p = a k i p jj, i T, anders. Dus geldt voor i T dat p il p lj = p il p lj + p il p lj l l T l R k = p il a k l p jj + p il p jj l T l R k = ( p il a k l + p il )p jj = a k i p jj. l T l R k Voor i R k krgen we l p ilp lj = l R k p il p jj = p jj. Immers R k is gesloten. Voor de overige paren i, j komt er links en rechts te staan. c) j R k p =, voor i R k, als R k een positief recurrent klasse is. Dat volgt uit (iii), omdat j R k V j = Y. d) P P = P. Je kunt weer nagaan dat de enige niet-triviale gevallen zn wanneer i T R k en j R k, met R k een positief recurrente klasse. Laat i R k. Dan geldt Dus n t= p(t) n p = lim inf n = n p (t) il p lj. l R k t= n l R k t= lim inf n l R k = p il p lj. l R k n t= p (t) il p lj p (t) il p lj Stel nu, dat er een j R k is en ɛ > met p ɛ + l R k p il p lj. Dan geldt = p ɛ + p il p lj = ɛ +, j R k l,j R k tegenspraak. Dus geldt gelkheid. Het geval dat i T en j R k volgt hieruit direct.

29 .4. HET LIMIETGEDRAG VAN DE OVERGANGSMATRIX 25 De gevallen (i) en (iii) volgen uit vernieuwingsargumenten. We bewzen slechts (ii). Laat i T R k en j R k gegeven zn, met i j. Stel X = i. Schrf Y voor de tdsduur tot j voor het eerst bereikt wordt. Laat Y n de tdsduur zn tussen twee opeenvolgende bezoeken aan j, n =,.... Schrf Nj (n) voor het aantal bezoeken aan j voor (en het laatst op) tdstip n, en N j (n) voor het vernieuwingproces geassocieerd met Y, Y 2,.... N.B. Y i! Dan geldt n n= p t = E { Nj (n) X = i } = s n Kies ɛ > en n ɛ zodat s n ɛ f (s) E { Nj (n) X = i } = s n f (s) ( + E {N j(n s) X = j)} f ɛ(> ). Dan geldt voor n > n ɛ f (s) ( + E {N j(n s) X = j} s n ɛ f (s) E {N j (n s) X = j}. Dus voor all ɛ > klein geldt n n= p(t) n E { Nj (n) X = i } = lim inf n n s n lim inf ɛ f (s) E {N j (n s) X = j} n n E {N j (n s) X = j} n s lim inf (f ɛ) = (f ɛ)p n n s n µ jj. jj s n ɛ Door de limiet ɛ te nemen krgen we n n= p(t) n f p jj. Voor een bovengrens krgen we n n= p(t) n f ( + E {N j (n) X = j}, n zodat lim sup n n n= pt n lim sup n f ( + E {N j (n) X = j} n = f p jj N.B. j p = k : R k pos.rec. ak i, voor i T. Dit kan mogelk < zn! Gevolg.22 De eigenschappen positief recurrent en -recurrent zn klasse-eigenschappen. Bews Veronderstel dat C een communicerende klasse is en dat j positief recurrent is. Neem een i C. Omdat i en j communiceren zn er indices k en l zdd. p (k) > en p (l) ji >. Voor iedere n geldt zodat ook p (k+n+l) ii p (k) p(n) jj p(l) ji, m m n= p(k+n+l) ii p (k) p (l) ji m m n= p(n) jj voor alle m.

30 26 HOOFDSTUK. DISCRETE MARKOV KETENS Laat m, dan geeft dit p ii p (k) p (l) ji p jj. Omdat j positief recurrent is, is volgens Stelling.2 p jj >, dus ook p ii >, d.w.z. toestand i is ook positief recurrent. Hiermee hebben we aangetoond dat positief recurrent een klasseeigenschap is. Tevens volgt hieruit dat ook -recurrent een klasse-eigenschap is..2 presenteren Gevolg.23 In een eindige Markov keten is elke essentiële klasse positief recurrent. Voor Stelling Bews Laat C een essentiële klasse zn. Dan is C gesloten. Laat i C. Dan geldt dat j C p(t) = voor t. Er geldt dat = lim N N j C N t= p (t) = j C lim N N N t= p (t) = j C Dus is P > voor minstens één toestand j C. Op grond van Stelling.2 (3) geldt dat Pjj >. Op grond van (2) van dezelfde stelling geldt dat µ jj <, dus is j positief recurrent. Omdat positieve recurrentie een klasse-eigenschap is, geldt dat C positief recurrent is. P. We kunnen nu ook nagaan, wanneer de lim t p (t) bestaat, en wat deze dan is. Zoals al gezien, is het noodzakelk voor het bestaan van de limiet dat de keten aperiodiek is. Dit is ook voldoende. Gevolg.24 In een aperiodieke Markovketen geldt dat lim t p (t) = P. Bews Combineer Blackwell s stelling 2.8 met Stelling.2 (2) en het bews van deze laatste uitspraak. De matrix P wordt de stationaire matrix genoemd. Een kansverdeling x op toestandsruimte S heet stationair indien x = xp, waarb x als rvector wordt beschouwd. Uit x = xp volgt dat x = x( N t= P (t) /N). Door de gedomineerde convergentiestelling toe te passen, volgt dat ook geldt dat x = xp, d.w.z. x is ook stationair t.o.v. P. Omdat P = P P is iedere r van P een stationaire kansverdeling van P. De volgende stelling laat zien dat iedere stationaire kansverdeling van P een convexe combinatie van de ren van P is. Stelling.25 Z x een stationaire kansverdeling van de overgangsmatrix P, met positief recurrente klassen R, R 2,..., R m, met m, en R de vereniging van alle nul-recurrente klassen. Dan geldt: x i = { als i T R c k p ii als i R k, met c k, k m, en m k= c k =.