Stochastische processen

Transcriptie

1 Stochastische processe 3de bachelor wiskude Vrije Uiversiteit Brussel U. Eimahl Academiejaar 2016/2017

2 Ihoudsopgave 1 Markovketes Defiities e voorbeelde Classificatie va de toestade Otbidig va de toestadsruimte Irreducibele geboorte- e sterfteketes Vertakkigsketes Kasgeererede fucties Kas dat ee vertakkigskete gaat uitsterve Statioaire verdelige Covergetie aar statioaire verdelige Verieuwigsprocesse Defiitie e elemetaire eigeschappe Limietstellige De verieuwigsvergelijkig Toepassige Browse bewegig e martigale De Browse bewegig Coditioele verwachtige Martigale: discrete tijd Martigale: cotiue tijd Stochastische itegrale (Ileidig) Costructie Het Itô-itegraal proces Het berekee va Itô-itegrale

3 Hoofdstuk 1 Markovketes 1.1 Defiities e voorbeelde Ee stochastisch proces is ee collectie toevalsvariabele {X t t T } die op ee kasruimte (Ω, F, P) gedefiieerd zij e waar T ee iet-lege idexverzamelig is. Vaak kieze we voor T de verzamelige [0, [ of {0, 1, 2,...} e kue i dit geval t als cotiue of discrete tijdparameter iterpretere. De toestadsruimte va ee stochastisch proces zij alle mogelijke waarde die de toevalsvariabele X t, t T kue aaeme. We duide deze verzamelig meestal door S aa. Defiitie 1.1 Ee Markovkete is ee rij toevalsvariabele {X 0} met waarde i ee hoogstes aftelbare verzamelig S zodaig dat voor 1 e (x 0,..., x +1 ) S +2 met P(X 0 = x 0,..., X = x ) > 0 geldt: P(X +1 = x +1 X = x,..., X 0 = x 0 ) = P(X +1 = x +1 X = x ) = P(X 1 = x +1 X 0 = x ) Dus het is ee stochastisch proces met discrete tijdparameter i {0, 1,...} e ee discrete (dwz hoogstes aftelbare) toestadsruimte. De defiitie beteket dat de toekomstige realisatie X +1 allee afhakelijk is va de toestad x hede e iet va het verlede x 0,..., x 1. Dit oemt me ook de Markoveigeschap. Verder is voor elke keuze x, y de coditioele kas P(X +1 = y X = x) statioair, dwz oafhakelijk va de tijdparameter. We oeme deze kas de overgagskas va x aar y e duide ze door p(x, y) aa. Het is zeer hadig deze overgagskase als ee matrix p = p(x, y) x,y S op te schrijve e we oeme deze matrix de overgagsmatrix. Als S eidig is met elemete, verkrijge we ee (, )-matrix e we kue producte va dergelijke matrices berekee. Ook i het oeidige geval is dit mogelijk. We vervage gewoo de som i de defiitie va het matrixproduct door ee reeks. (Dit ka omdat de overgagskase iet-egatief zij.) Uit de defiitie volgt omiddellijk dat overgagsmatrices stochastische matrices zij, waar we ee matrix p = p(x, y) x,y S stochastisch oeme idie we hebbe 0 p(x, y) 1, x, y S e de rijsomme gelijk aa 1 zij, dwz p(x, y) = 1, x S. y S 1

4 HOOFDSTUK 1. MARKOVKETENS 2 We oeme de verdelig va X 0 de startverdelig va de Markovkete {X 0}. Deze is atuurlijk bepaald (het is ee discrete toevalsvariabele) door de kasfuctie π(x) = P{X 0 = x}, x S. Om kase voor de Markovkete te berekee, hebbe we allee de startverdelig e de overgagsmatrix odig. Stellig 1.1 Zij {X 0} ee Markovkete met startverdelig π(x) = P{X 0 = x}, x S e overgagsmatrix p. Da geldt voor 1 e x 0,..., x S P{X 0 = x 0,..., X = x } = π(x 0 ) p(x j 1, x j ). Bewijs Dit volgt direct via de kettigregel. Ee direct gevolg daarva is de volgede formule die geldig is voor (x 0,..., x ) S +1 met P{X 0 = x 0,..., X = x } > 0 e voor elke keuze (y 1,..., y m ) S m, j=1 P(X +1 = y 1,..., X +m = y m X = x,..., X 0 = x 0 ) = P(X +1 = y 1,..., X +m = y m X = x ) m = p(x, y 1 ) p(y j 1, y j ). Als B 1,..., B m deelverzamelige va S zij volgt verder dat j=2 P(X +1 B 1,..., X +m B m X = x,..., X 0 = x 0 ) =... p(x, y 1 ) p(y j 1, y j ). y 1 B 1 y m B m j=2 Dit kue we og verder veralgemee met behulp va het volgede lemma. Lemma 1.1 Beschouw ee klasse va gebeurteisse C i, i I (I hoogstes aftelbaar) die disjuct zij e waarvoor geldt P(C i ) > 0. Veroderstel dat voor ee bepaalde gebeurteis D F geldt: P(D C i ) = p, i I. Da geldt er ook P(D C i ) = p. i I Bewijs Dit volgt direct uit de defiitie va coditioele kase. We hebbe: Daarmee is het lemma beweze. P(D C i ) = P(D i I C i ) = P( i I(C i D)) i I P( i I C i ) i I P(C i ) = i I P(D C i ) i I P(C i ) = p i I P(C i ) i I P(C i ) = p. = i I P(D C i )P(C i ) i I P(C i ) m

5 HOOFDSTUK 1. MARKOVKETENS 3 Stellig 1.2 Zij {X 0} ee Markovkete met overgagsmatrix p. Da geldt er voor x S, A 0,..., A 1 S zodaig dat P{X 0 A 0,..., X 1 A 1, X = x} > 0 e B 1,..., B m S, m, 1 P(X +1 B 1,..., X +m B m X = x, X 1 A 1..., X 0 A 0 ) =... p(x, y 1 ) p(y j 1, y j ) y 1 B 1 y m B m j=2 = P(X 1 B 1,..., X m B m X 0 = x). Bewijs Stel I = A 0... A 1 e m C i = {X 0 = x 0,..., X 1 = x 1, X = x}, i = (x 0,..., x 1 ) I. Het is evidet dat deze gebeurteisse disjuct zij e we hebbe voor elke i I, P(X +1 B 1,..., X +m B m C i ) =... p(x, y 1 ) p(y j 1, y j ). y 1 B 1 y m B m j=2 Gezie i I C i = {X = x, X 1 A 1..., X 0 A 0 } volgt de eerste gelijkheid via lemma 1.1. De tweede gelijkheid is ee direct gevolg va 1.1. Als m = 2, verkrijge we met de keuze B 1 = S e B 2 = {y} P(X +2 = y X = x, X 1 A 1,..., X 0 A 0 ) = p(x, z)p(z, y), z S hetgee gelijk is aa q(x, y), waar q = p 2 het kwadraat va de overgagsmatrix p is. Aaloog vide we dat als m 3, geldt P(X +m = y X = x, X 1 A 1,..., X 0 A 0 ) = z 1 S z m 1 S m m 2 p(x, z 1 ) j=1 p(z j, z j+1 )p(z m 1, y), hetgee gelijk is aa het elemet i rij x e kolom y va de m-de macht va p die we i het vervolg altijd door p (m) (x, y) x,y S gaa aaduide. Gevolg 1.1 Zij {X 0} ee Markovkete met overgagsmatrix p. Als x S e A 0,..., A 1 S verzamelige zij zodaig dat P{X 0 A 0,..., X 1 A 1, X = x} > 0, geldt er voor m 1 P{X +m = y X 0 A 0,..., X 1 A 1, X = x) = p (m) (x, y), y S, waar p m = p (m) (x, y) x,y S de m-de macht va de overgagsmatrix p is. Verder hebbe we voor m 1, P{X m = y} = x S π(x)p (m) (x, y). Bewijs Het eerste gedeelte va het gevolg is al beweze. We gebruike stellig 1.1 om het tweede gedeelte voor m 2 te bewijze. P{X m = x m } =... P{X 0 = x 0,..., X m 1 = x m 1, X m = x m } x 0 S x m 1 S = π(x 0 )... x 0 S x 1 S m x m 1 S j=1 = π(x 0 )p (m) (x 0, x m ). x 0 S Als m = 1 volgt dit direct via de wet va de totale kas. p(x j 1, x j )

6 HOOFDSTUK 1. MARKOVKETENS 4 Stelle we p 0 = I (dus p (0) (x, y) = 1 als x = y e = 0 als x y), zij de bovestaade betrekkige ook correct als m = 0. Het volgede resultaat toot dat we voor elke gegeve stochastische matrix p e elke gegeve verdelig π op S ee Markovkete met overgagsmatrix p e startverdelig π bestaat. Stellig 1.3 Zij S hoogstes aftelbaar met mistes twee elemete. Gegeve ee stochastische matrix p(x, y) x,y S e ee kasfuctie π(x), x S, bestaat er op ee geschikte kasruimte (Ω, F, P) ee Markovkete {X 0} zodaig dat P{X 0 = x} = π(x), x S e P(X 1 = y X 0 = x) = p(x, y), x, y S. Bewijs Kies ee kasruimte (Ω, F, P) waar we ee uiform(0,1)-verdeelde toevalsvariabele U Ω [0, 1] kue defiiëre. (Ee mogelijke keuze is Ω =]0, 1], F = Borel dele va ]0, 1] e P = λ F, U(ω) = ω, ω Ω.) Noteer S als {x i i I}, waar I = {0,..., m} i het eidige geval of I = {0, 1, 2,...} i het oeidige geval e waar i beide gevalle x i x j, i j. Stel α i = π(x i ) e β i = i j=0 α i, i I. Da hebbe we β m = 1 i het eidige geval e lim β = i=0 α i = 1 i het oeidige geval, We gaa recursief partities {B () i 0,...,i =]β () i 0,...,i, γ () i 0,...,i ] (i 0,..., i ) I +1 } va ]0, 1] defiiëre die uit halfope itervalle bestaa: Stel Het is da evidet dat β (0) 0 = 0 e β (0) i = γ (0) i 1 i 1 = j=0 α j, i 1. P{U B (0) i } = P{β (0) i < U γ (0) i } = α i, i I. Als we de itervalle B () i 0,...,i =]β () i 0,...,i, γ () i 0,...,i ], (i 0,..., i ) I +1 gedefiieerd hebbe, stelle we β (+1) i 0,...,i,0 = β() i 0,...,i e β (+1) i 0,...,i,i = γ(+1) i 0,...,i,i 1 = β() i 1 i 0,...,i + j=0 p(x i, x j )(γ () i 0,...,i β () i 0,...,i ), i 1. Aagezie p e ee stochastische matrix is (dus, j I p(x i, x j ) = 1), volgt er dat B () i 0,...,i = j I B (+1) i 0,...,i,j, (i 0,..., i ) I +1. Verder is het evidet dat P{U B (+1) i 0,...,i } = p(x,j i, x j )P{U B () i 0,...,i } e via iductie zie we dat Stel e P{U B () i 0,...,i } = α i0 j=1 p(x ij 1, x ij ), (i 0,..., i ) I +1, 1. X 0 = x i I (0) {U B i } i I X = x i I, 1, () {U C i } i I

7 HOOFDSTUK 1. MARKOVKETENS 5 waar Uit bovestaade defiitie blijkt duidelijk dat C () i = B () i 0,...,i 1,i, i I, 1. (i 0,...,i 1 ) I P{X 0 = x i } = P{U B (0) i } = α i = π(x i ), i I e verder geldt er voor 1 e (i 0,..., i ) I +1, P{(X 0,..., X ) = (x i0,..., x i )} = P{U B () i 0,...,i } = α i0 j=1 p(x ij 1, x ij ). Dit impliceert voor 0 e (i 0,..., i ) I +1 met P{(X 0,..., X ) = (x i0,..., x i )} > 0, e via Lemma 1.1 volgt verder dat P(X +1 = x i+1 X = x i,..., X 0 = x i0 ) = p(x i, x i+1 ) P(X +1 = x i+1 X = x i ) = p(x i, x i+1 ), 0. Dus is {X 0} ee Markovkete met overgagsmatrix p e startverdelig π. We bekijke u ekele Voorbeelde 1. Zij f(x), x Z d ee willekeurige kasfuctie, dus, 0 f(x), x Z d e x Z d f(x) = 1. Da is p(x, y) = f(y x), x, y Z d ee stochastische matrix. (Merk op dat y Z d f(y x) = z Z d x f(z) = z Z d f(z) = 1.) Zij verder π ee willekeurige verdelig op Z d. Stellig 1.3 impliceert da dat er ee Markovkete {X 0} met overgagsmatrix p e startverdelig π bestaat. Stel ξ 0 = X 0 e ξ = X X 1, 1. Da geldt er voor 1 e y 1,..., y Z d, P{ξ 0 = y 0,..., ξ = y } = P{X 0 = z 0,..., X = z }, waar z = j=0 y j, 0. Stellig 1.1 impliceert da verder dat de kas rechts gelijk is aa π(z 0 ) f(z j z j 1 ) = π(y 0 ) f(y j ). j=1 Dus zij de toevalsvariabele ξ, 0 oafhakelijk e bovedie zij de toevalsvariabele ξ, 1 idetiek verdeeld met de door f bepaalde verdelig. Gezie X = j=0 ξ j, 0, hebbe we somme va oafhakelijke toevalsvariabele. We spreke i dit geval ook va ee stochastische wadelig. 2. Ee speciaal geval is de 1-dimesioale stochastische wadelig met f(1) = p = 1 f(0). (Beroulli(p)-verdelig) Als we de startverdelig zo kieze dat j=0 π(j) = 1 verkrijge we ee stochastische wadelig X, 0 met toestadsruimte {0, 1, 2,...}. I dit geval hebbe we X 0 X 1 X Verder is ook voor elke m 0 X m i dit geval ee stochastische wadelig met ee absorberede gres. (We hebbe p(m, m) = 1.) j=1

8 HOOFDSTUK 1. MARKOVKETENS 6 3. (Ehrefestkete) We hebbe twee ure e m balle die tusse deze twee ure verdeeld zij. Veroderstel dat op elke bal ee ummer va 1 t/m m staat. Kies (uiform) ee ummer uit {1,..., m} e leg de bal met dit ummer i de adere ur. Stel X = aatal balle i ur 1 op tijdstip. Het is evidet dat als X = x er (hoogstes) twee mogelijkhede zij voor X +1, amelijk x 1 e x + 1. We hebbe da voor de overgagskase: p(0, 1) = 1 = p(m, m 1) e p(x, x 1) = x/m, p(x, x + 1) = 1 x/m, 1 x m 1. Als m = 3 krijge we bv de volgede overgagsmatrix /3 0 2/ /3 0 1/ (Ruïerigskete) Er zij twee spelers A e B met startkapitaal i Euro e m i Euro, waar 1 i m 1. Speler A werpt ee mutstuk waar de kas op kop gelijk aa p is. I dit geval zal hij ee Euro va B krijge. Als het mut is moet hij 1 Euro aa B betale. Ze gaa dit zo lag doe totdat de eerste speler geruïeerd is. (Dit zal het geval zij als het kapitaal va A gelijk is aa 0 of m.) Zij X het kapitaal va A op tijdstip. Da is dit ee Markovkete zodaig dat p(0, 0) = p(m, m) = 1 e p(x, x + 1) = p, p(x, x 1) = 1 p, 1 x m (Geboorte- e sterfteketes) Deze zij Markovketes met toestadsruimte S = {0,..., m} of S = {0, 1,...} waar voor de overgagskase geldt: De overgagsmatrix p is da bepaald door p(x, y) = 0 als x y 2. r x = p(x, x), x 0, q x = p(x, x 1), x 1 e p x = p(x, x + 1), x 0, waarbij p m = 0 als S = {0,..., m}. Voorbeelde 2-4 zij speciale gevalle va geboorte- e sterfteketes. 6. (Vertakkigskete) Beschouw partikels die ieuwe partikels kue geerere (bv, bacterië, eutroe). Stel X 0 = het aatal partikels op het startmomet (geeratie 0), e X = het aatal partikels va de -de geeratie, waarbij de partikels va de eerdere geeraties iet meetelle. Voorwaarde De toevalsvariabele ξ () i = het aatal kidere va partikel i va de -de geeratie, i 1, 0 zij oafhakelijk e idetiek verdeeld. Da hebbe we voor 1 0 als X = 0, X +1 = X ξ() i als X > 0. De bovestaade voorwaarde impliceert da dat X, 0 ee Markovkete is met overgagsmatrix p(m, ) m, 0 die bepaald is door p(0, 0) = 1 e m p(m, ) = P{ ξ (0) i = }, m 1, 0.

9 HOOFDSTUK 1. MARKOVKETENS Classificatie va de toestade Stel voor A S, T A = if{ 1 X A}, waar if =. Als X 0 = x / A, is T A de itreetijd va {X 1} i A. I het geval x A gaat het om de terugkeertijd. I plaats va T {a} zulle we altijd T a, a S schrijve. Verder gaa we voorwaardelijke kase P(A X 0 = x) door P x (A), A F aaduide e schrijve E x [X] voor de verwachtigswaarde va ee toevalsvariabele X Ω R t.o.v. P x. Stel ρ xy = P x {T y < }, x, y S. Defiitie 1.2 We oeme ee toestad y S recurret idie ρ yy = 1. Als ρ yy < 1 zegge we dat de toestad trasiët is. Het is evidet dat elke absorberede toestad y recurret is. (We hebbe da p(y, y) = 1 of P y {T y = 1} = 1 e dus ρ yy = P y {T y < } = 1.) Stel verder voor elke toestad y S, N(y) = I {X=y}, =1 dus het aatal tijdstippe (vaaf 1) waeer X = y. Aagezie P x {X = y} = p () (x, y) kue we via de stellig va de mootoe covergetie cocludere dat E x [N(y)] = =1 p () (x, y), x, y S. (1.1) Stellig 1.4 Zij {X 0} ee Markovkete met toestadsruimte S. Da hebbe we voor elke toestad y S (i) y trasiët E x [N(y)] = ρxy 1 ρ yy <. (ii) y recurret P x {N(y) = } = ρ xy. I het bijzoder: P y {N(y) = } = 1. Bewijs We toe eerst dat voor alle toestade x, y S geldt: P x {N(y) k} = ρ xy ρ k 1 yy, k 1. (1.2) We gaa dit via iductie bewijze. k = 1 Dit is evidet omdat {T y < } = {N(y) 1} e dus geldt er: P x {N(y) 1} = P x {T y < } = ρ xy, hetgee toot dat de bewerig klopt als k = 1. k k + 1 Stel T y (1) = T y e waarbij if =. T (k+1) y = if{ > T (k) y X = y}, k 1,

10 HOOFDSTUK 1. MARKOVKETENS 8 Kies atuurlijke getalle m 1,..., m k+1 1 e stel j = j m i, 1 j k + 1. We berekee eerst de voorwaardelijke kas dat T y (k+1) = k+1, gegeve dat T y (j) = j, 1 j k. Dus 1 < 2 <... < k+1 zij precies de tijdstippe i {1,..., k+1 }, waeer de Markovkete op y zit. Uit de defiitie va voorwaardelijke kase volgt dat P x (T (k+1) y = P (T (k+1) y = k+1 T (j) y = j, 1 j k) = k+1 T (j) y = j, 1 j k, X 0 = x) Omdat T y (j) = j, 1 j k + 1 beteket dat X = y als { j 1 j k + 1} e X y als / { j 1 j k + 1} kue we de laatste kas via de Markov-eigeschap herschrijve als P (X k+1 = y, X y, k < < k+1 k {X i = y} {X y, / { 1,... k }} {X 0 = x}) = P (X k+1 = y, X y, k < < k+1 X k = y) = P y (X k+1 k = y, X k y, k < < k+1 ) = P y (X mk+1 = y, X m y, 0 < m < m k+1 ) = P y (T y = m k+1 ) We kue cocludere dat voor m 1,..., m k 1 geldt Aagezie zie we via Lemma 1.1 dat = = Omdat we hebbe {T (j) y P x (T (k+1) y m k+1 =1 < T (j) y = P x (T (k+1) y j m i, 1 j k) = k + m k+1 T (j) y = j, 1 j k) P y (T y = m k+1 ) = P y (T y < ) = ρ yy m k+1 =1 {T y (k) < } =... m 1 =1 P x (T (k+1) y m k =1 {T (j) y = j < T (k) y < ) = ρ yy. m i, 1 j k}, < } = {N(y) j}, j 1, volgt verder dat P x {N(y) k + 1} = P x (N(y) k + 1 N(y) k)p x {N(y) k} = P x (T (k+1) y = ρ yy P x {N(y) k} e dus impliceert de iductie-hypothese dat Daarmee is (1.2) beweze. P x {N(y) k + 1} = ρ xy ρ k yy. < T (k) y < ) P x {N(y) k}

11 HOOFDSTUK 1. MARKOVKETENS 9 We kue u cocludere dat als ρ yy < 1, we hebbe E x [N(y)] = k=1 P x {N(y) k} = Als y recurret is, dwz ρ yy = 1, da hebbe we k=1 P x {N(y) k} = ρ xy, k 1 ρ xy ρ k 1 yy = ρ xy 1 ρ yy <. e bijgevolg P x {N(y) = } = lim P x {N(y) k} = ρ xy. k Daarmee is de stellig beweze. Opmerkige 1. Als y trasiët is, geldt er: p () (x, y) 0 als. (x S) (Dit volgt direct uit (1.1) omdat E x [N(y)] < i dit geval.) 2. Als S eidig is, bestaa er recurrete toestade. (Oderstel dat alle toestade trasiët zij. Gezie y S p () (x, y) = 1, 1, hebbe we 1 = lim p () (x, y) = lim p() (x, y), y S waar weges de eerste opmerkig de laatste som gelijk aa 0 is als alle toestade trasiët zij. Deze tegespraak toot dat er recurrete toestade moete bestaa.) 3. y recurret =1 p () (y, y) =. (Dit volgt weer via (1.1) omdat stellig 1.4 impliceert dat y recurret is als e slechts als E y [N(y)] =.) 1.3 Otbidig va de toestadsruimte Zij {X 0} ee Markovkete met toestadsruimte S e overgagsmatrix p(x, y) x,y S. Defiitie 1.3 We zegge dat ee toestad y vauit x bereikbaar is idie ρ xy > 0. (Notatie: x y) Lemma 1.2 Voor toestade x, y, z S, geldt: (i) x y als e slechts als 1 p () (x, y) > 0. (ii) x y e y z impliceert x z. Bewijs (i) Het is evidet dat x y P x {N(y) 1} > 0 E x [N(y)] > 0. Aagezie E x [N(y)] = =1 p () (x, y) (zie (1.1)), hebbe we ook y S E x [N(y)] > 0 1 p () (x, y) > 0. (ii) Weges (i) bestaa er 1, 2 1 zodaig dat p ( 1) (x, y) > 0 e p ( 2) (y, z) > 0. Dit impliceert p ( 1+ 2 ) (x, z) = p (1) (x, a)p (2) (a, z) p (1) (x, y)p (2) (y, z) > 0, a S wat weges de equivaletie i (i) beteket dat x z.

12 HOOFDSTUK 1. MARKOVKETENS 10 Stellig 1.5 Als x S recurret is e x y, da is ook y recurret e bovedie geldt er ρ xy = ρ yx = 1. Bewijs Zoder beperkig va de algemeeheid kue we veroderstelle dat x y. (i) Stel 0 = mi{ 1 p () (x, y) > 0}. (Dit bestaat weges lemma 1.2(i).) Stel y 0 = x e y 0 = y. Als 0 2 hebbe we da 0 < p (0) (x, y) =... y 1 S 0 y 0 1 S j=1 p(y j 1, y j ), hetgee impliceert dat er y 1,..., y 0 1 S bestaa zodaig dat p(y j 1, y j ) > 0, 1 j 0. Omdat 0 het kleiste aatal stappe is om va x aar y te kome (zie defiitie va 0 ) hebbe we ook dat y i / {x, y}, 1 i 0 1. Als 0 = 1 hebbe we dat p(x, y) = p(y 0, y 1 ) > 0. (ii) ρ yx = 1 Aagezie P y zoals elke kasmaat cotiu va bove is, hebbe we 1 ρ yx = P y ( {X m x}) = lim P y ( m=1 De toestad x is recurret e dus wete we dat 0 = P x ( 0 {X j = y j } j=1 j= 0 +1 m=1 {X j x}) = lim P x ( 0 {X j = y j } 0+ {X j x}) = 0 j=1 j=1 j= 0 +1 p(y j 1, y j ) lim P y ( {X m x}) 0 m=1 = (1 ρ yx ) p(y j 1, y j )( weges (1.3)) De overgagskase p(y j 1, y j ) zij positief e bijgevolg is 1 ρ yx = 0. j=1 {X m x}) (1.3) (iii) y is recurret Weges stellig 1.4 is het voldoede te toe dat E y [N(y)] =. Kies 1, 2 1 zodaig dat p ( 1) (x, y) > 0 e p ( 2) (y, x) > 0. ( 2 bestaat weges ρ yx = 1.) Da geldt er p (+ 1+ 2) (y, y) p ( 2) (y, x)p () (x, x)p ( 1) (x, y), 1 e dus (zie (1.1)), E y [N(y)] m= p (m) (y, y) =1 p ( 2) (y, x)p () (x, x)p ( 1) (x, y) = p ( 1) (x, y)p ( 2) (y, x)e x [N(x)] =. (iv) We wete u dat y recurret is e ook dat y x. Verwissele we x e y i (i) e (ii), volgt er ook dat ρ xy = 1, waarmee de stellig beweze is. Defiitie 1.4 Ee iet-lege verzamelig C S heet geslote idie geldt: x C, y / C ρ xy = 0.

13 HOOFDSTUK 1. MARKOVKETENS 11 Ee eevoudig voorbeeld voor ee geslote verzamelig is {a} als a absorbered is. Het volgede lemma toot hoe me door ispectie va de overgagsmatrix geslote dele va S ka vide. Lemma 1.3 C S is geslote als e slechts als geldt: p(x, y) = 0, x C, y / C. Bewijs Zij x C e y / C. Da hebbe we per defiitie ρ xy = 0, hetgee impliceert dat p () (x, y) = 0, 1 (zie lemma 1.2). Dus hebbe we zeker (kies = 1) dat p(x, y) = 0 als x C e y / C. We toe via iductie dat p () (x, y) = 0, 1 als x C, y / C. ( = 1) Dit is de voorwaarde. ( + 1) Veroderstel dat we reeds wete dat p () (x, y) = 0, 1 als x C, y / C. Aagezie p (+1) (x, y) x,y S de ( + 1)-ste macht va de overgagsmatrix p is e bijgevolg gelijk aa het matrixproduct va de -de macht p e p is, volgt uit de iductiehypothese voor x C e y S, p (+1) (x, y) = p () (x, z)p(z, y) = p () (x, z)p(z, y). z S z C Als y / C, geldt ook p(z, y) = 0, z C e dus is p (+1) (x, y) = 0, x C, y / C. Defiitie 1.5 Ee geslote verzamelig C S heet irreducibel idie ρ xy > 0, x, y C. We zegge verder dat ee Markovkete irreducibel is als de toestadsruimte S irreducibel is. Als a 1, a 2 twee verschillede absorberede toestade zij (bv, a 1 = 0, a 2 = m i de ruïerigskete), da zij {a 1 }, {a 2 } geslote e irreducibel, maar {a 1, a 2 } is iet irreducibel (wel geslote). Stellig 1.5 impliceert da omiddellijk: Gevolg 1.2 Als C S geslote e irreducibel is, da zij er twee mogelijkhede: (a) alle toestade i C zij recurret of (b) alle toestade i C zij trasiët. I geval (a) hebbe we ook ρ xy = 1, x, y C. Soms is het moeilijk te zie of de toestade i ee geslote e irreducibele verzamelig C S recurret of trasiët zij. Dit probleem bestaat allee voor oeidige verzamelige. Als C eidig is, zij alle toestade i C recurret. Lemma 1.4 Zij C S ee eidige verzamelig die geslote e irreducibel is. Da zij alle toestade i C recurret. Bewijs Als X 0 = x C volgt er dat X C, 1. Dus hebbe we y C N(y) = e ook y C E x [N(y)] =. De coclusie is dat er ee y C moet bestaa zodaig dat E x [N(y)] =. (Als ee eidige som = is, moet ee va de terme die we optelle oeidig zij.) We kue via stellig 1.4 cocludere dat y recurret is. Dit impliceert atuurlijk dat da alle toestade i de verzamelig C recurret zij.

14 HOOFDSTUK 1. MARKOVKETENS 12 Voorbeelde 1. Zij {X 0} ee Markovkete met toestadsruimte S = {0, 1, 2, 3} e overgagsmatrix 1/2 1/ /2 0 1/2 0 p = 1/ / I dit geval is S irreducibel (e atuurlijk ook geslote) e dus zij alle toestade recurret. Dat deze kete irreducibel is, volgt direct uit het feit dat er ee positieve kas is voor Omdat deze pad alle elemete va S bevat e bij zij startput 0 eidigt is het evidet dat voor twee willekeurig gekoze elemete x, y S geldt: x y. 2. Bekijk u ee Markovkete met toestadsruimte S = {0, 1, 2, 3, 4} e overgagsmatrix p = /3 0 2/ /4 0 1/4 1/5 1/5 1/5 1/5 1/ /4 0 3/4 Da is 0 absorbered e dus recurret. Verder volgt via Lemma 1.3 dat {2, 4} geslote is. Gezie alle overgagskase p(x, y), x, y {2, 4} positief zij, volgt er dat {2, 4} ook irreducibel is. Lemma 1.4 impliceert da dat 2, 4 recurrete toestade zij. De toestade 1, 3 zij trasiët omdat ρ 10, ρ 30 > 0, maar ρ 01 = ρ 03 = 0. Dit is omogelijk voor recurrete toestade (zie stellig 1.5). Stellig 1.6 Zij X, 0 ee Markovkete met toestadsruimte S waaroder ook recurrete toestade zij. Da geldt er: S = S T C i, i I waar S T de verzamelig va de trasiëte toestade is e de verzamelige C i irreducibele geslote klasse va recurrete toestade zij. Bewijs Als S R de verzamelig va de recurrete toestade i S is, hebbe we atuurlijk S = S T S R e het is voldoede te toe dat S R ee disjucte uie va geslote irreducibele verzamelige is. Stellig 1.5 impliceert dat ee equivaletierelatie op S R is. Stel voor x S R D x = {y S R x y}. Da geldt voor x 1, x 2 S R D x1 = D x2 of D x1 D x2 =. Dus bestaa er toestade x i, i I zodaig dat S R = i I D xi. Stel C i = D xi, i I. We moete og toe dat deze verzamelige geslote e irreducibel zij. Om i te zie dat C i geslote is, eme we ee y 1 C i e ee y 2 S zodaig dat y 1 y 2. Da hebbe we x i y 1 y 2 e dus x i y 2, wat beteket dat y 2 C i. We zie dat y 1 y 2 allee voor y 2 C i mogelijk is. Dus is C i geslote. De verzamelige C i zij irreducibel: als z 1, z 2 C i hebbe we z 1 x i (weer weges stellig 1.5) e x i z 2. Dus z 1 x i z 2 e z 1 z 2. Daarmee is de stellig beweze.

15 HOOFDSTUK 1. MARKOVKETENS 13 Veroderstel dat we ee Markovkete hebbe waar S T eidig is. Gezie de kete deze toestade telkes voor eidig veel tijdstippe gaat zie of helemaal iet, komt de kete uiteidelijk i ee recurrete toestad terecht. Als i de bovestaade otbidig meer da ee irreducibele geslote klasse va recurrete toestade bestaat, stelt zich de vraag wat de respectieve kase zij uiteidelijk i C i terecht te kome, i I. Merk op dat zodra de kete i ee va deze verzamelige zit, ze ook eri zal blijve (omdat deze klasse geslote zij). Vadaar dat me ook va absorptiekase spreekt. Probleem Zij X, 0 ee Markovkete met overgagsmatrix p e zij S = S T i I C i de otbidig va de toestadsruimte zoals i stellig 1.6. Bepaal ρ Ci (x) = P x {T Ci < }, x S T, i I. Stellig 1.7 Zij X, 0 ee Markovkete met overgagsmatrix p e zij S T eidig. Als C ee geslote e irreducibele klasse va recurrete toestade is, da is ρ C (x), x S T de uieke oplossig va het volgede stelsel f(x) = p(x, y) + p(x, y)f(y), x S T. y C y S T Bewijs (i) We toe eerst dat f(x) = ρ C (x), x S T ee oplossig va het bovestaade stelsel is. Via de wet va de totale kas (op de kasruimte (Ω, F, P x )) volgt dat ρ C (x) = p(x, y)p x (T c < X 1 = y) + p(x, y)p x (T c < X 1 = y) y C y S T + p(x, y)p x (T c < X 1 = y) y S R C Het is evidet dat P x (T C < X 1 = y) = 1 als y C omdat {X 1 = y} {T C < } i dit geval. Verder geldt voor x, y / C, P x (T C < X 1 = y) = P(T C < X 1 = y, X 0 = x) = P y (T C < ) (1.4) Om de laatste gelijkheid i te zie, redeere we zoals volgt, P(T C < X 1 = y, X 0 = x) = = = = m=2 m=2 m=2 P(T C = m X 1 = y, X 0 = x) (omdat x, y / C) P(X m C, X j / C, 2 j < m X 1 = y, X 0 = x) P(X m 1 C, X j / C, 1 j < m 1 X 0 = y) (stellig 1.2) P y {T C = m 1} = P y {T C < } m=2 Als y recurret is, maar iet i C, hebbe we ρ zy = 0 e weges stellig 1.5 ook ρ yz = 0, z C. Dit impliceert dat P y (T C < ) = P y ( {T z < }) P y {T z < } = ρ yz = 0. z C z C z C

16 HOOFDSTUK 1. MARKOVKETENS 14 De coclusie is dat ρ C (x) = p(x, y) + p(x, y)ρ C (y), x S T y C y S T e dus is f(x) = ρ C (x), x S T iderdaad ee oplossig va het bovestaade stelsel. (ii) (Uiciteit va de oplossig). We toe eerst via iductie dat als f(x), x S ee oplossig va het bovestaade stelsel is, geldt: f(x) = P x {T C } + z S T p () (x, z)f(z), x S T. (1.5) Dit klopt zeker als = 1 omdat P x {T C = 1} = P x {X 1 C} = y C p(x, y). + 1 Vervage we i formule (1.5) f(z) door y C p(z, y) + y ST p(z, y)f(y), da volgt voor x S T dat f(x) = P x {T C } + p () (x, z) ( p(z, y) + p(z, y)f(y)) z S T y C y S T = P x {T C } + p () (x, z)p(z, y) + z S T y C = P x {T C } + P x {T C = + 1} + y S T z S = P x {T C + 1} + y S T p (+1) (x, y)f(y). y S T p () (x, z)p(z, y)f(y) z S T p () (x, z)p(z, y)f(y) [omdat p(z, y) = 0, z / S T ] Daarmee is (1.5) beweze. Aagezie p () (x, z) 0, x S, z S T (zie opmerkig 1 a stellig 1.4) e S T eidig is, kue we de limiete i (1.5) berekee e we zie dat f(x) = lim P x {T C } + z S T f(z) lim p () (x, z) = ρ C (x), x S T. Dus is ρ C (x) de eige mogelijke oplossig. Voorbeeld We bekijke og ee keer de Markovkete met toestadsruimte S = {0, 1, 2, 3, 4} e overgagsmatrix /3 0 2/ /4 0 1/4 1/5 1/5 1/5 1/5 1/ /4 0 3/4 We hebbe al gezie dat 0, 2, 4 recurrete toestade zij e dat 1, 3 trasiët zij. Verder is het evidet dat C 1 = {0} e C 2 = {2, 4} irreducibel e geslote zij. We kue u via stellig 1.7 de absorptiekase ρ Ci (x), x = 1, 3, i = 1, 2 bepale. Aagezie ρ C1 (x)+ρ C2 (x) = 1, x = 1, 3 is het voldoede de stellig voor C 1 te gebruike. I dit geval verkrijge de twee volgede vergelijkige: e f(1) = p(1, 0) + p(1, 1)f(1) + p(1, 3)f(3) = 0 + 1/3f(1) + 2/3f(3) f(3) = p(3, 0) + p(3, 1)f(1) + p(3, 3)f(3) = 1/5 + 1/5f(1) + 1/5f(3). Dus f(1) = f(3) = 1/3. De coclusie is dat ρ C1 (1) = ρ C1 (3) = 1/3 e ρ C2 (1) = ρ C2 (3) = 2/3.

17 HOOFDSTUK 1. MARKOVKETENS Irreducibele geboorte- e sterfteketes Zij X, 0 ee geboorte- e sterftekete, dus ee Markovkete met toestadsruimte {0,..., m} of {0, 1,...} e overgagskase zodaig dat p(x, y) = 0 als x y 2. Stel q x = p(x, x 1), x 1, p x = p(x, x + 1), x 0 e (als S eidig is) p m = 0. Zij verder r 0 = 1 p 0, r x = 1 p x q x, x 1. Het is da evidet dat ee geboorte- e sterftekete i het oeidige geval irreducibel is als e slechts als geldt: q x > 0, x 1 e p x > 0, x S. I het eidige geval is de kete irreducibel idie q x > 0, 1 x m e p x > 0, 0 x < m. Lemma 1.4 impliceert da dat alle toestade i S recurret zij. I het oeidige geval is dit iet altijd het geval e we gaa hier ee stellig herleide die toot waeer irreducibele geboorte- e sterfteketes met oeidige toestadsruimte recurret zij. Daarvoor hebbe we ee lemma odig dat ook voor bepaalde iet irreducibele geboorte- e sterfteketes va toepassig is. Lemma 1.5 Zij X, 0 ee geboorte- e sterftekete. Neem drie toestade a < x < b e veroderstel dat p j > 0, a < j < b. Da geldt: waar γ y = y z=a+1 q z/p z, a < y < b e γ a = 1. P x {T a < T b } = b 1 y=x γ y, b 1 y=a γ y Bewijs Stel v(a) = 1, v(b) = 0 e v(y) = P y {T a < T b }, a < y < b. We moete v(x) bepale. Algemee kue we v(y) met behulp va de wet va de totale kas herschrijve als v(y) = P y (T a < T b X 1 = y 1)q y + P y (T a < T b X 1 = y)r y + P y (T a < T b X 1 = y + 1)p y. Als y = a + 1, hebbe we P y (T a < T b X 1 = y 1) = 1 = v(y 1). Dit klopt ook als y > a + 1. I dit geval volgt via stellig 1.2: P y (T a < T b X 1 = y 1) = = = = m=2 m=2 m=2 =1 P(T a = m < T b X 1 = y 1, X 0 = y) P(X m = a, X j / {a, b}, 2 j < m X 1 = y 1, X 0 = y) P y 1 (X m 1 = a, X j / {a, b}, 1 j < m 1) P y 1 (T a = < T b ) = P y 1 (T a < T b ) = v(y 1). Aaloog zie we dat P y (T a < T b X 1 = y) = v(y) e P y (T a < T b X 1 = y + 1) = v(y + 1), a < y < b. Dus hebbe we v(y) = q y v(y 1) + r y v(y) + p y v(y + 1), a < y < b. (1.6)

18 HOOFDSTUK 1. MARKOVKETENS 16 Aagezie q y + r y + p y = 1, zie we dat hetgee omiddellijk impliceert dat e verder dat p y (v(y + 1) v(y)) = q y (v(y) v(y 1)), a < y < b, v(y + 1) v(y) = γ y(v(a + 1) v(a)), a y < b b 1 1 = v(b) v(a) = (v(a + 1) v(a)) γ y. Vervage we bove v(a + 1) v(a) door 1/ b 1 y=a γ y, volgt er dat We cocludere dat v(x) = v(y) v(y + 1) = b 1 y=x waarmee het lemma beweze is. y=a γ y, a y < b. b 1 y=a γ y (v(y) v(y + 1)) = b 1 y=x γ y b 1 y=a γ y, a < x < b, Toepassig We bekijke de ruïerigskete: I dit geval zij de twee toestade 0 e m absorbered (dus recurret) e de adere toestade zij trasiët (omdat ρ 0j = 0 als 1 j < m). Verder geldt p j = 1 q j = p = 1 q, 1 j < m. Het bovestaade lemma impliceert da dat voor 0 a < x < b m geldt: P x {T a < T b } = b 1 j=x(q/p) j b 1 j=a(q/p). j Als p = q = 1/2 verkrijge we dat P x {T a < T b } = (b x)/(b a), a < x < b. I het geval p q hebbe we P x {T a < T b } = (q/p)x (q/p) b (q/p) a (q/p) b. Kieze we a = 0 e b = m, verkrijge we P x {T 0 < T m }, wat de kas is dat speler A (met startkapitaal x) failliet gaat e het gase kapitaal aar speler B gaat. We kere terug aar het probleem waeer irreducibele geboorte- e sterfteketes recurret zij. Stel y q j γ 0 = 1, γ y =, y 1. j=1 p j Stellig 1.8 Zij X, 0 ee irreducibele geboorte- e sterftekete met toestadsruimte S = {0, 1,...}. Deze is recurret als e slechts als y=0 γ y =. Bewijs Weges gevolg 1.2 is de Markovkete recurret als e slechts als 0 recurret is, dus als ρ 00 = 1. Met ee aaloge redeerig als i het bewijs va (1.4) zie we dat ρ 00 = P 0 {T 0 < } = r 0 P 0 (T 0 < X 1 = 0) + p 0 P 0 (T 0 < X 1 = 1) = r 0 + p 0 ρ 10. Dit impliceert (weges r 0 + p 0 = 1 e p 0 > 0) dat ρ 00 = 1 ρ 10 = 1.

19 HOOFDSTUK 1. MARKOVKETENS 17 De kas ρ 10 kue we met behulp va lemma 1.5 berekee. Merk op dat als X 0 = 1 er geldt T 1, 0 omdat X X 1 1, 1. Bovedie impliceert dit dat de rij toevalsvariabele T, 1 mootoo stijged is, dwz we hebbe T 1 < T 2 <.... De coclusie is dat ρ 10 = P 1 {T 0 < } = lim P 1 {T 0 < T }. Weges lemma 1.5 geldt er voor 2, P 1 {T 0 < T } = 1 y=1 γ y 1 1 = 1 y=0 γ y y=0 1. γ y Dus hebbe we (stel 1/ = 0) 1 ρ 10 = 1 y=0 γ y e het is evidet dat ρ 10 = 1 y=0 γ y =. Daarmee is de stellig beweze. 1.5 Vertakkigsketes We bekijke u vertakkigsketes ( voorbeeld 6 i 1.1). Deze worde gebruikt om de evolutie va bepaalde bevolkige te modellere. We hebbe de toestadsruimte S = {0, 1, 2,...} e overgagskase m p(0, 0) = 1, p(m, ) = P { ξ i = }, m 1, 0, waar ξ, 1 (de aatalle kidere ) oafhakelijke, idetiek verdeelde toevalsvariabele zij met waarde i {0, 1,...}. We otere de kasfuctie va deze toevalsvariabele als f(k), k = 0, 1,.... Het is evidet dat 0 ee absorberede toestad is. Als f(0) > 0 volgt er dat p(m, 0) = f(0) m > 0, m 1 e we zie dat 0 vauit m bereikbaar is, maar m is iet meer vauit 0 bereikbaar. Stellig 1.5 impliceert da dat de toestade m 1 trasiët zij. Dit klopt ook als f(0) = 0 e f(1) < 1. I dit geval hebbe we amelijk p(m, ) = 0, m > (omdat ξ i 1, i 1). Verder bestaat er ee k 2 met f(k) > 0. We hebbe da voor elke m 1, p(m, mk) P{ξ i = k, 1 i m} = f(k) m > 0. Dus is mk bereikbaar vauit m, maar m is iet bereikbaar vauit mk, hetgee weer via stellig 1.5 impliceert dat m trasiët is. Als f(1)=1 geldt er p(m, m) = 1 e alle toestade zij absorbered, hetgee impliceert dat da de vertakkigskete X, 0 costat is. De coclusie is dat behalve i het triviale geval f(1) = 1 er twee mogelijkhede zij voor ee vertakkigskete: (A) X als (B) X = 0, uiteidelijk (de bevolkig gaat uitsterve). Om ρ x0 (= voorwaardelijke kas op (B), gegeve X 0 = x) te berekee, hebbe we kasgeererede fucties odig.

20 HOOFDSTUK 1. MARKOVKETENS Kasgeererede fucties Stel Z Ω {0, 1, 2,...} ee discrete toevalsvariabele met waarde i {0, 1,...}. Da is de kasgeererede fuctie G [ 1, 1] R va Z gedefiieerd door G(t) = k=0 P{Z = k}t k. We merke op dat G(0) = P{Z = 0} e G(1) = 1. Ee stadaard resultaat over machtreekse impliceert verder dat G afgeleide va elke orde op het ope iterval ] 1, 1[ heeft. Deze hebbe ook represetaties als machtreekse. Er geldt voor 1 < t < 1 e elke m = 1, 2,... G (m) (t) = k=m k! P{Z = k}tk m (k m)! Uit deze formule kue we hale dat G (m) (0) = m!p{z = m}, m = 1, 2... e ook dat E[Z] = lim t 1 G (t). Om de kas dat ee vertakkigskete gaat uitsterve te berekee, moete we de vergelijkig G(t) = t, 0 t 1 bestudere. Het volgede lemma toot dat er hoogstes twee oplossige zij waarva ee triviaal is, amelijk t = 1. Lemma 1.6 Zij Z Ω {0, 1,...} ee toevalsvariabele met kasgeererede fuctie G. (i) Als E[Z] 1 e P{Z = 1} < 1, is t = 1 de eige oplossig va de vergelijkig G(t) = t. (ii) Als E[Z] > 1 zij er precies twee oplossige: 1 e t 0 [0, 1[. Bewijs. Stel H(t) = t G(t), 1 t 1. We moete de ulpute va deze fuctie i [0, 1] bepale. (i) Als E[Z] 1 e P{Z = 1} < 1, volgt er dat p = P{Z = 0} > 0 e dus H(0) = p < 0. Verder geldt er dat H (t) = 1 G (t) = 1 kp{z = k}t k 1 1 E[Z]. k=1 Als E[Z] < 1, is het evidet dat H (t) > 0, 0 < t < 1. I het geval E[Z] = 1 hebbe we voor 0 < t < 1. G (t) = k=1 kp{z = k}t k 1 < k=1 kp{z = k} = E[Z] omdat er mistes ee k 2 moet bestaa met P{Z = k} > 0. (P{Z = 1} = 1 is iet mogelijk.) Dus hebbe we i beide gevalle dat H positief op ]0, 1[ is e bijgevolg is H (strikt) mootoo stijged op [0, 1], hetgee weges H(0) < 0 e H(1) = 0 impliceert dat H precies ee ulput i [0, 1] heeft, amelijk 1. (ii) (Stap 1) [H heeft mistes ee ulput i [0, 1[.] Als P{Z = 0} = 0 is dit evidet omdat da H(0) = 0. Als P{Z = 0} = p > 0, geldt er weer H(0) = p < 0. Verder hebbe we dat lim t 1 H (t) = 1 lim t 1 G (t) = 1 E[Z] < 0.

21 HOOFDSTUK 1. MARKOVKETENS 19 Dus bestaat er ee ɛ ]0, 1[ zodaig dat H (t) < 0, 1 ɛ < t < 1. Dit impliceert dat er ee t ɛ ]1 ɛ, 1[ bestaat zodaig dat H(1 ɛ) = H(1) H(1 ɛ) = H (t ɛ )ɛ < 0. Bijgevolg is H(1 ɛ) > 0. Aagezie H(0) < 0, kue we via de tussewaardestellig cocludere dat er ee t 0 tusse 0 e 1 ɛ moet bestaa zodaig dat H(t 0 ) = 0. (Stap 2) [H heeft hoogstes ee ulput i [0, 1[.] (idirect) Veroderstel dat er twee ulpute 0 t 1 < t 2 < 1 bestaa. Da geldt er H(t 1 ) = H(t 2 ) = H(1) = 0. Dit impliceert via de stellig va Rolle dat er t 1 < u 1 < t 2 < u 2 < 1 bestaa zodaig dat H (u 1 ) = H (u 2 ) = 0. Ee tweede toepassig va de stellig va Rolle toot da dat er ee u 1 < t < u 2 bestaat met Dit is omogelijk omdat we hebbe, G (t) = H (t) = G (t) = 0. k=2 k(k 1)P{Z = k}t k 2 > 0. (Er moet mistes ee k 2 bestaa met P{Z = k} > 0 omdat E[Z] > 1.) Deze tegespraak impliceert dat er hoogstes ee ulput va H is i [0, 1[. Daarmee is het lemma beweze Kas dat ee vertakkigskete gaat uitsterve Zij ξ Ω {0, 1,...} ee toevalsvariabele met kasfuctie f(k), k 0. Stel µ = E[ξ] e zij G(t), t 1 de kasgeererede fuctie va ξ. Als µ > 1 heeft de vergelijkig G(t) = t ee uieke oplossig ρ i [0, 1[ (zie lemma 1.6). Stellig 1.9 Zij X, 0 de vertakkigskete met overgagskase bepaald door de kasfuctie f(k), k 0. (i) Als µ 1 e f(1) < 1, hebbe we: P x {X = 0 uiteidelijk} = 1, x 1. (ii) Als µ > 1, hebbe we P x {X = 0 uiteidelijk} = ρ x, x 1. Bewijs Zij 0 < t < 1 e stel Z = t X, 0. Da geldt atuurlijk Z (ω) 0 als X (ω) e Z (ω) 1 als X (ω) = 0 uiteidelijk (of equivalet T 0 (ω) < ). Dus hebbe we bija overal: Z Z = I {T0 <}. De stellig va de begresde covergetie impliceert da dat ρ x0 = E x [Z ] = lim E x [Z ]. Het is evidet dat E x [Z 0 ] = t x. Verder geldt er als 1 e m {1, 2,...} E x [Z X 1 = m] = = t k P x (X = k X 1 = m) k=0 k=0 t k m P { ξ i = k} = E [t m ξ i ],

22 HOOFDSTUK 1. MARKOVKETENS 20 waar de toevalsvariabele ξ i oafhakelijk zij met kasfuctie f. Dus E x [Z X 1 = m] = E [t m ξ i ] = m Dit klopt ook als m = 0. (Da is X = 0 e Z = 1 = G(t) 0.) Bijgevolg, hebbe we voor elke 1, E [t ξ i ] = G(t) m, m 1. E x [Z X 1 ] = G(t) X 1 (1.7) Bewijs va (i) Lemma 1.6 impliceert dat G(t) t, t [0, 1[ i dit geval. Aagezie G(0) = f(0) > 0, hebbe we G(t) > t, 0 t < 1. Uit betrekkig (1.7) volgt da dat E x [Z X 1 ] Z 1 e dus E x [Z ] = E x [E x [Z X 1 ]] E x [Z 1 ], 1. We zie dat ρ x0 = lim E x [Z ] E x [Z 0 ] = t x. Omdat we t willekeurig i [0, 1[ kue kieze volgt er dat ρ x0 = 1. Bewijs va (ii) Als ρ = 0, geldt er f(0) = 0, dus X 0 X I dit geval is het evidet dat ρ x0 = 0 = ρ x, x 1. Als ρ > 0, stelle we t = ρ i betrekkig (1.7). Da is E x [Z X 1 ] = Z 1, 1. Dus hebbe we i dit geval ρ x0 = lim E x [Z ] = E x [Z 0 ] = ρ x, waarmee ook deel (ii) va de stellig beweze is. 1.6 Statioaire verdelige Defiitie 1.6 Ee rij toevalsvariabele X, 0 heet statioair idie geldt: P (X,...,X +m) = P (X0,...,X m), m, 0. Het stelt zich de vraag of er ook statioaire Markovketes bestaa. Ee odige voorwaarde is dat de startverdelig π(x), x S zo gekoze is dat geldt P X1 (x) = π(x), x S. Dit kue we via gevolg 1.1 herschrijve als π(x)p(x, y) = π(y), y S (1.8) x S Dus we hebbe ee stelsel lieaire vergelijkige wat we i bepaalde gevalle kue oplosse. De oplossig is iet uiek (omdat als π(x), x S ee oplossig is dit ook het geval is voor απ(x), α R). Om ee statioaire verdelig te verkrijge, moete we echter ook og hebbe dat π(x) 0, x S e x S π(x) = 1. Als we ee oplossig va (1.8) zoeke die aa deze extra voorwaarde voldoet, is deze i veel gevalle uiek. Soms is het ook uttig (1.8) als matrixproduct op te schrijve: (π(x)) x S (p(x, y)) x,y S = (π(y)) y S (1.9) waar (π(x)) x S de door π bepaalde rijvector is. Merk op dat als p t de getraspoeerde va de overgagsmatrix p is, dit equivalet daarmee is dat 1 ee eigewaarde va p t is e de colomvector (π(x)) t x S ee eigevector voor deze eigewaarde va p t is. De volgede stellig toot dat als we ee verdelig π gevode hebbe die aa (1.8) voldoet e deze als startverdelig kieze, de resulterede Markovkete X, 0 statioair is.

23 HOOFDSTUK 1. MARKOVKETENS 21 Stellig 1.10 Zij π 0 ee verdelig op S die aa coditie (1.8) voldoet. Als X, 0 ee Markovkete met startverdelig π 0 ee overgagsmatrix p is, is X, 0 ee statioaire rij toevalsvariabele. We oeme π 0 ee statioaire verdelig voor p. Bewijs Omdat aa (1.8) voldaa is, geldt er dat P X1 = π 0. Aagezie P{X = y} = P{X 1 = x}p(x, y), y S, x S volgt via iductie dat P X = π 0, 1. Weges stellige 1.2 e 1.1 geldt verder voor y 1,..., y m S, m 1 e 1, P{X = y 0,..., X +m = y m } = P{X = y 0 } p(y j 1, y j ) e we zie dat de rij X, 0 statioair is. Voorbeelde m j=1 m = P{X 0 = y 0 } p(y j 1, y j ) j=1 = P{X 0 = y 0,..., X m = y m } 1. Zij X, 0 ee Markovkete met toestadsruimte S = {0, 1} e overgagsmatrix [ 1 p p ], waar p, q ]0, 1[. I dit geval moete we ee oplossig vide va q 1 q Dus [ α 0 α 1 ] [ 1 p p q 1 q ] = [ α 0 α 1 ]. α 0 = α 0 (1 p) + α 1 q e α 1 = α 0 p + α 1 (1 q). Dit is het geval als e slechts als α 0 = qα 1 /p. Om ee kasverdelig te verkrijge moet ook α 0 + α 1 gelijk aa 1 zij. Het volgt dat π(0) = α 0 = q/(p + q), π(1) = α 1 = p/(p + q) ee statioaire verdelig voor p is e deze is ook uiek. Verder ka me toe dat als, p () (x, y) π(y), x, y = 0, 1 Dus is -de macht p va de overgagsmatrix [ π(0) π(0) π(1) ] als groot. π(1) 2. Zij X, 0 de Ehrefestkete met toestadsruimte S = {0,..., m}. I dit geval bestaat er ook ee uieke statioaire verdelig π - de biomiaal(m, 1/2)-verdelig. Aagezie p (2) (x, y) = 0 als x y oeve is, hebbe we echter p () (x, y) / π(y), y S als. Me ka zich afvrage waeer ee Markovkete ee (uieke) statioaire verdelig π heeft e waeer i dit geval de overgagskase p () (x, y) aar π(y) covergere. De eerste vraag kue we i het vervolg volledig beatwoorde voor irreducibele geboortee sterfteketes.

24 HOOFDSTUK 1. MARKOVKETENS 22 Stellig 1.11 Zij X, 0 ee irreducibele geboorte- e sterftekete. (i) Als S = {0,..., m} bestaat er ee uieke statioaire verdelig. (ii) Als S = {0, 1, 2,...} bestaat er ee uieke statioaire verdelig als e slechts als C = S {0} j=1 p j 1 q j <. I beide gevalle is de statioaire verdelig π bepaald door π(0) = i 1 C + 1, π(i) = 1 p j 1, i 1. C + 1 j=1 q j Bewijs We gaa eerst a of er α i 0, i S bestaa zodaig dat α i p(i, j) = α j, j 0. (1.10) i 0 Aagezie p(j, j) = r j, p(j, j +1) = p j (waar we p m = 0 stelle i het eidige geval), p(j, j 1) = q j, j 1 e p(i, j) = 0 als i j 2, kue we dit herschrijve: We toe via iductie dat dit impliceert α 0 r 0 + α 1 q 1 = α 0, α i 1 p i 1 + α i r i + α i+1 q i+1 = α i, i 1. α i = (p i 1 /q i )α i 1, i 1 (1.11) i = 1 De eerste vergelijkig is (weges p 0 + r 0 = 1) equivalet met q 1 α 1 = p 0 α 0. i i + 1 Als we wete dat p i 1 α i 1 = q i α i volgt uit de i-de vergelijkig bove dat α i = (q i + r i )α i + α i+1 q i+1 hetgee weges p i + q i + r i = 1 toot dat p i α i = q i+1 α i+1. Uit betrekkig (1.11) volgt omiddellijk dat α = α 0 j=1 p j 1 q j, 1 (1.12) Omgekeerd geldt ook dat elke rij α va deze vorm ee oplossig va (1.10) is. Als er ee statioaire verdelig π bestaat geldt er (stel α = π(), 0) 1 = =0 π() = π(0)(c + 1), dus moet C eidig zij. (Dit is triviaal als S eidig is.) Omgekeerd, als C eidig is, stelle we π(0) = 1/(C + 1) e π() = p j 1 j=1 q j /(C + 1). Da geldt =0 π() = 1 e het is aa (1.10) voldaa. Dus π is ee statioaire verdelig. Deze is uiek omdat elke oplossig va (1.10) va de vorm i (1.12) moet zij.

25 HOOFDSTUK 1. MARKOVKETENS 23 We merke op dat we i de twee bovestaade voorbeelde de statioaire verdelige ook via stellig 1.11 hadde kue vide. We bekijke het probleem waeer de overgagskase va ee Markovkete aar statioaire kase covergere. Dit geldt oder zeer zwakke voorwaarde als we i plaats va de gewoe covergetie de Cesaro-covergetie bekijke. We zegge dat voor ee rij a, 1 i R Cesaro-covergetie aar ee reëel getal a bestaat idie geldt j=1 a j / a. Het is evidet dat de gewoe covergetie a a de Cesaro-covergetie impliceert, maar de omkerig daarva klopt iet. (Bekijk de rij 1, 0, 1, 0,...) Zij X, 0 ee Markovkete met toestadsruimte S e overgagsmatrix p. Stel N (y) = j=1 Da is G (x, y) = E x [N (y)] = j=1 p (j) (x, y). I {Xj =y}, y S, 1. Als y trasiët is, geldt atuurlijk sup 1 N (y) < b.o. (=bija overal) e bijgevolg N (y)/ 0 b.o. De stellig va de begresde covergetie impliceert da dat G (x, y)/ = E x [N (y)/] = 1 j=1 p (j) (x, y) 0 als. Dus we hebbe i dit geval Cesaro-covergetie va p () (x, y) aar 0 (voor elke x S.) Als y recurret is e vauit ee toestad x bereikbaar is, geldt E x [N(y)] = e we gaa met behulp va de sterke wet va de grote getalle toe dat i dit geval ook Cesaro-covergetie va de overgagskase p () (x, y) bestaat (waar de limiete verschilled va 0 kue zij.) We heriere dat T y = T (1) y = if{ 1 X = y} e T (k+1) y = if{ > T (k) y X = y}, k 1 Als T y <, zij dit de tijdstippe i {1, 2,...} waeer de Markovkete X, 0 op de recurrete toestad y zit. We defiiëre verder: W y (1) = T y (1) e voor k 1, W (k+1) y = y T (k+1) T (k) y als T y (k+1) als T y (k+1) < = Gezie y recurret is, hebbe we bija overal W y (k) <, k 1 op A = {T y < }. Als y vauit x S bereikbaar is, geldt ρ xy = P x (A) > 0, e we stelle Q x = P x ( A). Lemma 1.7 Zij y S recurret e zij x ee toestad zodaig dat x y. Da zij de toevalsvariabele W (k) y, k 2 Q x -oafhakelijk e we hebbe voor elke k 2, Q x {W (k) y = m} = P y {T y = m}, m = 1, 2,..., i.e. de Q x -verdelig va W (k) y is gelijk aa de P y -verdelig va T y.

26 HOOFDSTUK 1. MARKOVKETENS 24 Bewijs. We berekee voor k 2 de gezamelijke kasfuctie va (W y (2),..., W y (k) ) t.o.v. Q x. Dus kies m 2,..., m k 1. Da hebbe we, Q x {W (2) y = m 2,..., W y (k) = m k } = P x ({W y (2) = m 2,..., W y (k) = m k } {T y < }) Verder geldt voor elke m 1 1 zodaig dat P x {T y = m 1 } > 0, P x ({W (2) y = m 2,..., W y (k) = m k } {T y = m 1 }) = P x ({T y (2) = 2,..., T y (k) = k } {T y = 1 }), waar j = j m i, 1 j k. De laatste voorwaardelijke kas is weges de kettigregel gelijk aa P x ( k j=1{t (j) y = j }) P x {T y = 1 } = k j=2 P x ({T (j) j 1 y = j } {T (i) Uit het bewijs va stellig 1.4 volgt dat dit product gelijk is aa k j=2 P y {T y = m j }. Dus geldt er uiform voor m 1 1 met P x {T y = m 1 } > 0, P x ({W (2) y = m 2,..., W (k) y = m k } {T y = m 1 }) = k j=2 y = i }) P y {T y = m j }. Ee toepassig va lemma 1.1 levert da dat voor elke keuze va m 2,..., m k 1 geldt: Q x ({W (2) y = m 2,..., W y (k) = m k }) = P x ({W y (2) = m 2,..., W y (k) = m k } = k j=2 P y {T y = m j } m 1 =1 {T y = m 1 }) Dit impliceert atuurlijk dat de toevalsvariabele W y (j), j 2 Q x -oafhakelijk ee idetiek verdeeld zij (waar de verdelig gelijk is aa de P y -verdelig va T y. Daarmee is lemma 1.7 beweze. We defiiëre og voor elke toestad y S, m y = E y [T y ] [1, ] Merk op dat m y = als y trasiët is omdat da P y {T y = } > 0. Stellig 1.12 Zij X, 0 ee Markovkete met toestadsruimte S. Da geldt voor x, y S, (i) N (y) lim = 1 I {Ty<} P x -b.o. m y (ii) waar 1/ = 0. G (x, y) = 1 j=1 p (j) (x, y) ρ xy m y,

27 HOOFDSTUK 1. MARKOVKETENS 25 Bewijs (i) Het is voldoede dit te bewijze als y recurret is. (We hebbe al eerder getood dat N (y)/ 0 als y trasiët is.) We kue ook veroderstelle dat x y omdat aders de stellig triviaal is. (Da is N (y) = 0 = I {Ty<}, P x -b.o.) I dit geval kue we de kasmaat Q x defiiëre e de toevalsvariabele W y (k), k 2 zij Q x -oafhakelijk (zie lemma 1.7). De sterke wet va de grote getalle impliceert da dat als k, Aagezie k j=2 W (j) y 1 k k j=2 W (j) y E y [T y ] = m y Q x -b.o. = T (k) y T y e T y /k 0 op A = {T y < }, hebbe we als k, Als T y is N (y) 1 e het is evidet dat T (N(y)) y T (N(y)) y N (y) T (k) y /k m y Q x -b.o. (1.13) N (y) T y (N(y)+1) N (y) + 1 < T y (N(y)+1). Er geldt da N (y) + 1 N (y). (1.14) De toestad y is recurret e dus N (y) Q x -b.o. De twee betrekkige (1.13) e (1.14) implicere da same dat /N (y) m y Q x -b.o. of equivalet dat N (y)/ 1/m y Q x -b.o. Aagezie N (y)/ 0 op A c, kue we cocludere dat N (y)/ 1 m y I A P x -b.o., waarmee deel (i) beweze is. (ii) We hebbe 0 N (y)/ 1 e weges (i) N (y)/ I A /m y zodat we de stellig va de begresde covergetie kue toepasse. De coclusie is dat G (x, y)/ = E x [N (y)]/ P x(a) m y = ρ xy m y, waarmee ook deel (ii) beweze is. Defiitie 1.7 Zij X, 0 ee Markovkete met toestadsruimte S. We zegge dat ee recurrete toestad x positief recurret is idie m x = E x [T x ] <. Als m x = zegge we dat de toestad x ulrecurret is. Lemma 1.8 Zij X, 0 ee Markovkete met toestadsruimte S e overgagsmatrix p. Als x S positief recurret is e x y, da is ook y positief recurret. Bewijs We otere eerst dat weges stellig 1.5 de toestad y ook recurret is e bovedie geldt: ρ xy = ρ yx = 1. Dus (zie lemma 1.2) bestaa er 1, 2 1 zodaig dat p ( 1) (x, y) > 0 e p ( 2) (y, x) > 0.

28 HOOFDSTUK 1. MARKOVKETENS 26 Bijgevolg, p ( ) (y, y) cp () (x, x), 1, waar c = p ( 2) (y, x)p ( 1) (x, y) > 0. Als , volgt da dat 1 j=1 p (j) (y, y) c ( ) p (j) (x, x), j=1 waar het rechterlid aar c/m x > 0 covergeert als. De coclusie is dat de limiet va het likerlid die gelijk is aa 1/m y, ook positief moet zij. Dus is y positief recurret. Opmerkige 1. Als C S geslote e irreducibel zij er drie mogelijkhede: (A) alle toestade i C zij positief recurret, of (B) alle toestade i C zij ulrecurret, of (C) alle toestade i C zij trasiët. 2. Als C eidig e geslote is, bestaat er mistes ee positief recurrete toestad. (C geslote impliceert dat p (j) (x, z) = 0, x C, z / C, j 1 (zie lemma 1.3). Dus hebbe we voor x C, y C p (j) (x, y) = z S p (j) (x, z) = 1, j 1 e y C G (x, y)/ = 1, 1. Aagezie C eidig is, geldt er dat y C lim G (x, y)/ = 1, zodat er ee y C moet bestaa waarvoor lim G (x, y)/ = ρ xy /m y > 0. Deze toestad is positief recurret.) 3. Weges opmerkig 2 kue we cocludere dat als C S eidig, geslote e irreducibel is, alle toestade i C positief recurret zij. 4. Verder volgt dat als de toestadsruimte S eidig is, er allee positief recurrete of trasiëte toestade bestaa. Lemma 1.9 Zij X, 0 ee Markovkete waarvoor ee statioaire verdelig π bestaat. Da geldt er π(x) = 0 voor alle trasiëte e ulrecurrete toestade x S. Bewijs Als π ee statioaire verdelig is, geldt: π(x) = z S π(z)p (j) (z, x), x S, 1 j, hetgee impliceert dat π(x) = π(z)g (z, x)/. z S Als x vast is, is z g (z) = G (z, x)/ ee rij toevalsvariabele op de discrete kasruimte (S, 2 S, π) zodaig dat g (z) 0, z S (zie stellig 1.12). De stellig va de begresde covergetie impliceert da dat E π [g ] = z S g (z)π(z) 0. Aagezie z S g (z)π(z) = π(x), 1, volgt er dat π(x) = 0. Opmerkig Uit vorig lemma blijkt dat ee odige voorwaarde voor het bestaa va ee statioaire verdelig is dat er mistes ee positief recurrete toestad bestaat. De volgede stellig impliceert oder meer dat deze coditie ook voldoede is. Stellig 1.13 Zij X, 0 ee irreducibele, positief recurrete Markovkete. Da bestaat er ee uieke statioaire verdelig π die gedefiieerd is door π(x) = 1 m x, x S.

29 HOOFDSTUK 1. MARKOVKETENS 27 Bewijs (Stap 1: uiciteit) Aagezie X, 0 irreducibel is e alle toestade recurret zij, hebbe we weges stellig 1.5 dat ρ zx = 1, x, z S. Stellig 1.12(ii) impliceert da dat G (z, x)/ 1 m x, x, z S (1.15) e we kue zoals i het bewijs va lemma 1.9 cocludere dat als er ee statioaire verdelig π bestaat er moet gelde: π(x) = 1/m x, x S. (Stap 2) We toe dat x S 1 m x 1 (1.16) We gebruike weer het feit dat machte va stochastische matrices stochastische matrices blijve, dus we hebbe: p (j) (z, x) = 1, j 1, z S, x S hetgee impliceert dat G (z, x) = 1, 1, z S. x S Zij S 0 S eidig. Da volgt weges (1.15) dat G (z, x) G (z, x) 1 1 lim = lim = x S 0 x S 0 x S 0 m x Gezie S hoogstes aftelbaar is e dit voor elke eidige deelverzamelig S 0 va S geldt, volgt (1.16). (Stap 3) We toe dat We hebbe voor 1 j, e bijgevolg x S Als S 0 S eidig is, hebbe we x S 1 m x p(x, y) 1 m y, y S (1.17) p (j) (z, x)p(x, y) = p (j+1) (z, y) x S G (z, x) p(x, y) = G +1(z, y) G (z, x) p(x, y) G +1(z, y), x S 0 hetgee i combiatie met (1.15) impliceert dat 1 p(x, y) 1, y S. x S 0 m x m y p(z, y). Omdat dit weer voor elke eidige deelverzamelig S 0 va S geldt, volgt betrekkig (1.17).