Kanstheorie II: oefeningen 1 e licentie Wiskunde

Kanstheorie II: oefeningen 1 e licentie Wiskunde Stijn Symens Academiejaar 2003-2004

2

Hoofdstuk 1 Voorkennis 1.1 Inleiding In de cursus kanstheorie II wordt de voorkennis van de cursussen kanstheorie I en statistiek I verondersteld. Volgende items worden dan ook verwacht vlot gekend moeten zijn: basisbegrippen characteristieke functies convolutieproducten convergenties continue en discrete verdelingen Over convergenties en convolutieprodukten zijn er nog 2 bijlagen aan de cursus toegegevoegd. Helemaal achteraan bevindt zich ook een bijlage met combinatorische gelijkheden, of hoe je in sommaties enkele handige substituties kan doen. Volgende stellingen zijn zeker ook de moeite om eens te bekijken: Eigenschap 1.1. Indien X =(X 1,...,X d ) een stochastische vector is met kansdichtheid h gedefinieerd op R d. X 1,...,X d zijn dan onafhankelijk als en slechts als h(x 1,...,x d )=g 1 (x 1 )...g d (x d )b.o. enx k heeft dus als kansdichtheid h Xk (u) =g k (u)/ R g k(v) dv. Eigenschap 1.2. Veronderstel dat X een stochastische vector is met dichtheid h gedefinieerd op D, open deel in R d. Veronderstel verder dat ψ een

4 Voorkennis diffeomorfisme is van D naar een open deel R d en dat Y = ψ(x), dan heeft Y als kansdichtheid h(ψ 1 (y)) J(ψ 1 (y)) 1 (y). Deze eigenschap blijkt vooral nuttig bij het bepalen van de dichtheid van X + Y in het geval dat X en Y onafhankelijk zijn. Eigenschap 1.3 (onafhankelijkheidscriterium van Fourier). Stochastische variabelen (X 1,...,X n ), respectievelijk gedefinieerd op R d 1,...,R dn zijn onafhankelijk als en slechts als t 1 R d 1,..., t n R dn : φ (X1,...,X n)(t 1,...,t n )=φ X1 (t 1 ) φ Xn (t n ) waarbij φ Xi de karakteristieke functie van X i voorstelt. 1.2 Testoefeningen Om jezelf te testen op het al dan niet kennen van het vorige, zijn hieronder een aantal oefeningen gegeven die samen de bovengenoemde lading wel dekken. Kan je deze oefeningen oplossen, dan ben je klaar om de cursus kanstheorie II aan te vatten. Oefening 1.1. Banach is een verstokte roker. Hij beschikt dan ook permanent over een doosje lucifers in elk van zijn 2 broekzakken en als hij een sigaret opsteekt kiest hij willekeurig uit het ene of uit het andere doosje met dezelfde kans. Veronderstel dat hij 2 luciferdoosjes heeft genomen die allebei n lucifers bevatten. Wanneer hij voor de eerste keer merkt dat een doosje leeg is om het moment dat hij een lucifer wil nemen, noemen we X het aantal lucifers in het andere doosje. 1. Bereken p k = P(X = k), 0 k n. 2. Voor welke waarde(n) van k bereikt p k een maximum? 3. Bewijs dat E(X) =(2n +1)p 0 1. 4. Geef een equivalent van E(X) alsn. (Herinner dat ( 2n n ) 2 2n (πn) 1/2 ). Oefening 1.2. Een deeltje verplaatst zich in het georthonormeerde vlak (0, i, j ) volgens de volgende regels:

1.2 Testoefeningen 5 Het deeltje begint op het punt 0 en maakt achtereenvolgens sprongen van lengte 1. Enkele sprong gebeurt in een willekeurige richting, onafhankelijk van de vorige sprongen. M.a.w. als we volgende notatie gebruiken: A 0 =0,A 1,...,A n,... zijn de opeenvolgende posities van het deeltje, dan is de afstand A n 1 A n =1en dan zijn de hoeken θ n =( i, A n 1 A n ) onafhankelijke stochastische variabelen met dezelfde uniforme verdeling over [0, 2π). Indien we X n en Y n noteren als coördinaten van A n,danisd n de afstand 0A n. 1. Schrijf, voor n 1, X n en Y n in functie van cos θ i en sin θ i, 1 i n. 2. Bewijs dat X n en Y n gecentreerd zijn (dus met gemiddelde 0). 3. Bereken Var(X n )envar(y n ). 4. Bereken E(D 2 n) en leidt eruit af dat E(D n ) n. 5. Bereken Cov(X n,y n ). 6. (a) Bereken via oefening 1, en door inductie op n, de waarde van E(XnY 2 n 2 ). (b) Geldt dat Cov(Xn,Y 2 n 2 )=0? (c) Zijn X n en Y n onafhankelijke variabelen? Oefening 1.3. Laat X, Y twee stochastische variabelen zijn met dezelfde verdeling en ϕ hun characteristieke functie. Veronderstel dat X en Y onafhankelijk zijn, dat X + Y en X Y onafhankelijk zijn en dat verder E(X) =E(Y )=0enE(X 2 )=E(Y 2 )=1. 1. Druk de characteristieke functies van X +Y,X Y en 2X uit in functie van ϕ. Leidtookafdatϕ(2t) =ϕ(t) 3 ϕ( t). 2. Gebruik makende van 1, toon aan dat voor alle t geldt dat ϕ(t) 0. 3. Stel ρ(t) = ϕ(t) ϕ( t). Bewijs dat voor alle t, ρ(t) =(ρ( t 2 ))2. Bewijs dat ρ constant gelijk is aan 1 en dat ϕ reëel is. 4. Leidt af dat ϕ(t) =(ϕ( t 2 ))4. 5. Bepaal de verdeling van X.

6 Voorkennis Oefening 1.4. Zij X 1,X 2 en X 3 drie onafhankelijke bivariate stochastische variabelen met allen dezelfde verdeling N 2 (0,I 2 ). Bepaal de kans dat de driehoek gevormd door X 1,X 2 en X 3 een stompe hoek heeft. Nog enkele oefeningen gebaseerd op de eigeschappen 1.1 en 1.2: Oefening 1.5. Veronderstel dat X en Y twee onafhankelijke stochastische variabelen zijn, die respectievelijk Γ(a, c) enγ(b, c) verdeeld zijn, met a, b, c, > 0 (Herinner dat een Γ(a, c)-verdeelde variabele X verdelingsfunctie f X (x) = c a e cx x a 1 1 Γ(a) (0,+ ) (x)). Bepaal de verdeling van S = X + Y en T = X door X+Y een transformatie φ :(x, y) (s = x + y, t = x ) te definieren. x+y Oefening 1.6. Veronderstel dat Z = (X, Y ) een stochastische vector is gedefinieerd op R 2 met characteristieke functie Φ. 1. Bewijs dat de verdeling van Z invariant is onder rotatie (rond 0) als en slechts als er een functie ψ, gedefinieerd op R, bestaat zodat (u, v) R 2 :Φ(u, v) =ψ(u 2 + v 2 ). 2. Veronderstel nu dat Z aan de conditie uit punt 1 voldoet en dat X en Y bovendien onafhankelijk zijn. We noteren Φ X en Φ Y voor de characteristieke functies van X en Y. (a) Druk Φ uit in functie van Φ X en Φ Y. Druk Φ X en Φ Y uit in functie van ψ. Toon aan dat Φ X en Φ Y even functies zijn en besluit daaruit dat Φ X en Φ Y alleen waarden in R aannemen. (b) Leid uit 2a af dat ψ aan een relatie voldoet en toon daarna aan dat ψ nooit 0 wordt. (c) Bewijs dat X (en ook Y ) een gecentreerde normale verdeling hebben met varantie 2λ met λ = ln ψ(1). (d) Indien X = R cos θ en Y = R sin θ, met R > 0en0 θ < 2π. Bepaal de verdelingen van θ en R. Zijn deze twee variabelen onafhankelijk?

Hoofdstuk 2 De Riemann-zeta functie 2.1 Een kanstheoretische benadering Één van de meest bekende onopgeloste wiskundige vermoedens van de voorbije eeuw is wel de Riemann hypothese. Centraal in dit vermoeden staat de Riemann-zeta functie. Deze functie is gedefinieerd door volgend functievoorschrift: 1 ζ :(1, + ) R : s k. s Er bestaat echter nog een andere karakterisatie van deze functie: via de formule van Euler: Veronderstel dat de rij priemgetallen wordt voorgesteld door (p k ) k 1, dan geldt k=1 ζ(s) = k=1(1 1 ) 1. (2.1) p s k Deze formule wordt bewezen in oefening 2.2. Een ander formule die al eens van belang kan zijn is de formule van Poincaré: Eigenschap 2.1 (Formule van Poincaré.). Indien (Ω, A, P) een kansruimte is en A 1,...,A n A,danis ( n ) P A k = k=1 n ( 1) k 1 S k k=1 waarbij S k = 1 i 1 <...<i k n P(A i 1... A ik ).

8 De Riemann-zeta functie 2.2 oefeningen Oefening 2.1. Beschrijf de kansruimte (Ω, A, P N ) die bestaat uit het willekeurig trekken van 2 gehelen tussen 1 en N, metn 2 vast. Men introduceert de volgende gebeurtenissen: B = {beide gehele getallen zijn onderling ondeelbaar} A p = {beide gehele getallen zijn deelbaar door p} met p priem We noteren p 1,...,p n de priemgetallen kleiner of gelijk aan N en we kiezen een m vast groter dan 1. 1. Bewijs dat ( m ) P N A pk = k=1 waarbij S k = 1 N 2 1 i 1 <...<i k m k=1 N 2. p i1...p ik 2. Leid verder af dat voor vast m geldt dat ( m ) lim P N A pk =1 N k=1 3. Besluit dat, rekening houdend met de (2.1) m ( 1) k 1 S k m k=1 lim P N (B) = 1 N ζ(2) = 6 π 2 ( 1 1 ) p 2 k Oefening 2.2. Op N 0 definieerd men een discrete kansverdeling P s,voor s>1door P s (n) = 1 ζ(s)n. s en, gebaseerd op deze kansverdeling definieert men, voor p priem de stochastische variabelen ρ p en α p, gedefinieerd door ρ p (n) = 1 indien p een deler is van n en 0 indien niet. α p (n) =Demachtvanp in de priemdecompositie van n.

2.2 oefeningen 9 1. (a) Voor een vaste p, wat is de verdeling van de stochastische variabelen ρ p? (b) Bewijs dat de ρ p s onafhankelijk zijn. (c) Leid de formule van Euler (2.1). 2. (a) Voor een vaste p, wat is de verdeling van de stochastische variabelen α p? (b) Bewijs dat de α p s onafhankelijk zijn.

10 De Riemann-zeta functie

Hoofdstuk 3 Conditionele verwachting 3.1 Theorie Stel (Ω, B, P) een kansruimte en B een deelstam van A. Definitie 3.1. Indien X L 1 (Ω, A, P) een RSV is, dan noemen we de conditionele verwachting van X t.o.v. B die (unieke) Y L 1 (Ω, B, P) die voldoet aan YdP = XdP B B B B Notatie 3.1. Deze Y noteren we als E[X B] ofookwelalse B [X]. Voor B = σ(z) noteren we ook E[X Z] Opmerking 3.1. In plaats van intergreerbaar zou in bovenstaande definitie de X L 1 (Ω, A, P) resp. de Y L 1 (Ω, B, P) ook vervangen kunnen worden door X 0resp.Y 0enY B-meetbaar. In wat volgt noemen we B en C deelstammen van A en X, Y, (X n ) n L 1 (Ω, A, P). Definitie 3.2 (alternatieve definitie voor X L 2 (Ω, A, P)). Indien X L 2 (Ω, A, P) een RSV is, dan noemen we de conditionele verwachting van X t.o.v. B die (unieke) Y L 2 (Ω, B, P) die voldoet aan E[XZ]=E[YZ], Z L 2 (Ω, B, P) Opmerking 3.2. Een equivalent van deze definitie is voor X L 1 te vinden als een eigenschap, maar dan iets minder overtuigend: Indien X L 1,danvoldoetY = E B (X) aan Z L, E(YZ)=E(XZ).

12 Conditionele verwachting Eigenschap 3.1. E[E B (X)] = E(X). Eigenschap 3.2. E B (ax + by ) b.z. = ae B (X)+bE B (Y ). Eigenschap 3.3. Indien C B,danE C [E B (X)] b.z. = E C (X). Eigenschap 3.4. X Y E B (X) b.z. E B (Y ) Eigenschap 3.5. Indien Y een B-meetbare SV is zodat XY L 1 (Ω, A, P), dan is E B (XY ) b.z. = Y E B (X). In het bijzonder is dus E B (Y ) b.z. = Y. Eigenschap 3.6. Indien X onafhankelijk is van de stam B, dan geldt voor elke positieve of begrensde f dat E B (f(x)) b.z. = E(f(X))1 Ω. In het bijzonder is dus E B (X) b.z. = E(X)1 Ω Eigenschap 3.7 (Jensen). Indien f een reële convexe functie is, dan is f(e B (X)) b.z. E B (f(x)). In het bijzonder is E B (X) p b.z. E B ( X p ), p 1. Eigenschap 3.8 (Beppo Levi). Indien X n b.z. X, dane B [X n ] b.z. E B [X]. Eigenschap 3.9 (Fatou). Indien (X n ) n 0, dan E B ( lim X n ) b.z. lim E B (X n ). n n Eigenschap 3.10 (Lebesgue). Indien X n b.z. X en er een Z L 1 (Ω, A, P) bestaat zodat X n b.z. Z voor alle n N, dan geldt E B (X n ) b.z. E B (X). Eigenschap 3.11. Veronderderstel dat X L 1 (R, R, P). Dan geldt: Y = E(X T ) Y is van de vorm Y = h(t )meth een begrende reële functie en voor elke begrensde reële functie g geldt dat E(g(T )Y )=E(g(T )X). Eigenschap 3.12. Veronderderstel dat X 0. Dan geldt: Y = E(X T ) Y is van de vorm Y = h(t )meth een positieve reële functie en voor elke begrensde reële functie g geldt dat E(g(T )Y )=E(g(T )X).

3.2 Oefeningen 13 3.2 Oefeningen Oefening 3.1. Een machine vervaardigt staafjes waarvan de lengte een in cm uitgedrukte SV is, die normaal verdeeld is met gemiddelde 10 cm en standaardafwijking 0.5 cm. Enkel exemplaren met lengte tussen 9 cm en 10.25 cm worden afgeleverd. 1. Wat is de kans dat een door de machine vervaardigd staafje wordt afgeleverd? 2. Geef de verdelingsfunctie en de dichtheidsfunctie van de lengte van de afgeleverde staafjes. 3. Geef de gemiddelde lengte van de afgeleverde staafjes. Oefening 3.2. De levensduur van een gloeilamp is een (in uren uitgedrukte) 1 SV waarvan de verdeling exponentieel is met rate 1000 uren dus f X (x) = 1 x 1000 e 1000 1(x 0) 1. Bereken de kans dat de levensduur van de lamp langer is dan 1000 uur. 2. Als gegeven is dat de lamp langer heeft gebrand dan 500 uur, wat is dan de conditionele kans dat de lamp in totaal langer zal branden dan 1500 uur? Bereken eveneens de gemiddelde levensduur onder deze voorwaarde. 3. Bereken de tijdsduur zodat met een waarschijnlijkheid van 90% de lamp langer zal branden dan deze tijdsduur. 4. Wat is de rate α zodat met 75% kans de levensduur van zo n lamp langer is dan 500 uur? Oefening 3.3. Gegeven het universum Ω = [0, 3], de uniforme kansmaat P op [0, 3], de Borelstam A = R Ω en de deelstam B voortgebracht door de partitie {B 1,B 2,B 3 } waarbij B 1 =[0, 1],B 2 =]1, 2],B 3 =]2, 3]. Beschouw de stochastische variabele X(ω) :=ω 2. 1. Construeer en teken de afbeelding E[X B]. 2. Ga na dat E[X B] dp = XdP B B voor B = φ, B =Ω,B = B 1 en B = B 2 B 3

14 Conditionele verwachting Oefening 3.4. Zij Ω = [0, 3], A = R Ω, P de uniforme kansmaat op Ω en B 1 =[0, 1],B 2 =]1, 2],B 3 =]2, 3]. Beschouw de stochastieken X(ω) =e ω en Z =51 B1 +71 B2 B 3. Construeer en teken E[X Z]. Oefening 3.5. Zij Ω = R, A = R, P = N (0, 1) en Y (ω) =ω 2. Beschouw de stochastiek X(ω) =e ω. 1. Geef σ(y ). 2. Construeer E[X Y ]. 3. Bereken E[X Y =4]. 4. Geef E[X U] voor U(ω) = ω. 5. Bereken E[X U =4]. Oefening 3.6. Men veronderstelt een X L 2. Bewijs dan dat volgende eigenschappen equivalent zijn: 1. E B (X 2 )=(E B (X)) 2 2. X b.z. = E B (X) Oefening 3.7. Veronderstel (Ω, A, P) een kansruimte, B Aeen deelstam en A Aeen gebeurtenis. Stel dat Bewijs dat B b.z A c. B = {ω Ω:E B (1 A )(ω) =0}. Oefening 3.8. Veronderstel dat X en Y RSV s zijn, gedefinieerd op een kansruimte (Ω, B, P), en kwadratisch integreerbaar zijn. Veronderstel verder dat E[X Y ]=Y b.z. en E[Y X] =X b.z. 1. Toon aan dat X = Y b.z. 2. Wat als X, Y L 1 (Ω, B, P)? Oefening 3.9. Veronderstel X, Y, Z 3 RSV s gedefinieerd op een kansruimte (Ω, B, P). Hierbij zijn X, Y L 2 (Ω, B, P) en men definieert de conditionele covariantie door: Cov(X, Y Z) =E[(X E[X Z])(Y E[Y Z]) Z].

3.2 Oefeningen 15 1. Bewijs dat Cov(X, Y Z) =E[XY Z] E[X Z]E[Y Z]. 2. Men veronderstelt dat X = X + f(z) eny = Y + g(z) waar het paar (X,Y ) onafhankelijk is van Z. WatwordtCov(X, Y Z) in dit geval? 3. Geldt in het algemeen dat 4. Bewijs dat Cov(X, Y )=E[Cov(X, Y Z)]? Cov(X, Y )=E[Cov(X, Y Z)] + Cov(E[X Z], E[Y Z]). 5. Toon aan dat Var(X) = Var(E[X Z]) als en alleen als X een functie is van Z. Oefening 3.10. Stel X een n-variate RSV en Y een p-variate reële RSV zodat het koppel (X, Y ) een dichtheid heeft. Bovendien zijn ze onafhankelijk van elkaar. Veronderstel f : R n R p R Borelmeetbaar 0 of begrensd. Toon aan dat E[f(X, Y ) Y = y] =h(y) meth(y) =E[f(X, y)]. Oefening 3.11 (Examen juni 03). X =(X 1,X 2,X 3 ) is normaal verdeeld met dichtheid N 3 (0,I 3 ). We definieren nu de variabelen U =2X 1 X 2 X 3 V = X 1 + X 2 + X 3 W =3X 1 X 2 4X 3 1. Bepaal de verdelingen van U, V en W. Welke van de volgende koppels (U, V ), (V,W) en(u, W ) zijn onafhankelijk? 2. Bewijs dat er een a R zodat U en Z = W au onafhankelijk zijn. Gebruik dit gegeven om de verdeling van W wetende U = u te bepalen. Bereken ook E[W U = u].

16 Conditionele verwachting

Hoofdstuk 4 Conditionele verdeling, conditionele dichtheid 4.1 Marginale dichtheden: theorie De gemeenschappelijke verdelingsfunctie van de stochastische veranderlijken X en Y definiëren we als volgt. Definitie 4.1. Zij X, Y RSV s op de kansruimte (Ω, A, P). Dan heet de functie F X,Y : R 2 R :(x, y) P(X x, Y y) de gemeenschappelijke (gezamelijke) verdelingsfunctie van de stochastische veranderlijken X en Y. Opmerking 4.1. Als X en Y continue SV zijn en F X,Y afleidbaar is, dan is de gemeenschappelijke dichtheidsfunctie gelijk aan f X,Y (x, y) = 2 F X,Y (x, y). x y Men schrijft ook vaak F Z en f Z waar Z =(X, Y ). Opmerking 4.2. Deze definitie kan eenvoudig veralgemeend worden naar meerdere dimensies. Eigenschap 4.1. De marginale dichtheid kan berekend worden als volgt: Discrete geval: p X (k) =P(X = k) = l P(X = k, Y = l) p Y (l) =P(Y = l) = k P(X = k, Y = l)

18 Conditionele verdeling, conditionele dichtheid Continue geval: f X (x) = f X,Y (x, y)dλ(y) R f Y (y) = f X,Y (x, y)dλ(x) R waarbij P(X = x, Y = y) enf X,Y (x, y) resp. de discrete en continue gemeenschappelijke dichtheidsfuncties zijn. 4.2 Marginale dichtheden: oefeningen Oefening 4.1. Zij f X,Y,Z (x, y, z) =e (x+y+z) voor alle 0 < x,y,z < de gemeenschappelijke dichtheidsfunctie van de stochastische variabelen X, Y, Z. 1. Zoek dan hun gezamelijke verdelingsfunctie F X,Y,Z (x, y, z). 2. Bereken hun marginale dichtheid f X (x),f Y (y) enf Z (z). 4.3 Condictionele dichtheden en verdelingen: theorie Definitie 4.2. Zij X en T 2 discrete SV s met gemeenschappelijke dichtheid P(X = x, T = t) en marginale dichtheden p X en p T dan definiëren we de voorwaardelijke (conditionele) dichtheid door: n t (k) =P(X = k T = t) P(X = k, T = t) = P(T = t) als P(T = t) > 0 =0 als P(T = t) =0 Zij X en T 2 continue SV s met gemeenschappelijke dichtheid f X,T (x, t) en marginale dichtheden f X en f T dan definiëren we de voorwaardelijke (conditionele) dichtheid door: f X T (x t) = f X,T (x, t) f T (t) als f T (t) > 0 =0 als f T (t) =0 Voorbeeld 4.1. Zijn X P(λ) eny P(µ) i.i.d., dan is T = X + Y

4.3 Condictionele dichtheden en verdelingen: theorie 19 P(λ + µ). We krijgen dat voor 0 k t P(X = k T = t) = = e = = P(X = k, T = t) P(T = t) λ λk k! t! k!(t k)! ( ) t k = e µ µt k (t k)! eλ+µ t! (λ + µ) t λ k µ ( t k) (λ + µ) t P(X = k, Y = t k) P(T = t) p k (1 p) t k = n t (k) met p = λ λ + µ Men noemt (n t (k), 0 k t) de conditionele verdeling van X wetende dat T = t. Hier gaat het om een binomiale verdeling B(t, λ ). λ+µ Definitie 4.3. De conditionele verdeling van een continue stochastische variabele X gegeven T wordt ook dikwijls gegeven door de transitiekern n(t,dx), waarbij n(t,dx) eenduidig wordt bepaald doordat E(f(X) T ) b.z. = + geldt voor elke f begrensd en Borelmeetbaar. f(x)n(t,dx) Laten we dit even verduidelijken met een voorbeeld: Voorbeeld 4.2. Veronderstel X en Y i.i.d. met dezelfde verdeling U(0, 1). We zoeken de conditionele verdeling van (X Y ) + wetende dat Y = y. Oplossing. We zoeken de transitiekern n(y, dt) zódat f : R R Borelmeetbaar E(f((X Y ) + ) Y = y) = f(t) n(y, dt). Uit oefening 3.10 halen we dat E(f((X Y ) + ) Y = y) = E(f((X y) + )) = = 1 0 y 0 R f((x y) + )dx 0 y 1 f(0)dx + 1 y 1 = yf(0) + f(t)dt 0 def = f(t) n(y, dt) R y f(x y)dx

20 Conditionele verdeling, conditionele dichtheid De transitiekern van de gevraagde conditionele verdeling is dus n(y, dt) =y 0 (dt)+1 [0,1 y] (t)dt. Opmerking 4.3. n(t, dx) kan geïnterpreteerd worden als P(X dx T = t). Eigenschap 4.2. Indien X en T SV s zijn, dan wordt de voorwaardelijke verwachting van X wetende dat T = t geven door: kn t (k) in het discrete geval E[X T = t] = k xf X T (x t)dλ(x) in het continue geval Meer algemeen wordt dat: R Eigenschap 4.3. Indien X en T SV s zijn en g 0 borelmeetbaar, dan geldt: g(k)n t (k) in het discrete geval E[g(X) T = t] = k g(x)f X T (x t)dλ(x) in het continue geval R Eigenschap 4.4. Veronderstel dat X en Y beide absoluut continu zijn en dat f X (x) enf Y X (y x), dan vertelt de regel van Bayes dat de condtitionele dichtheid f X Y (x y) gegeven wordt door f Y X (y x)f X (x) f X Y (x y) = + f Y X(y z)f X (z) dz. Een dergelijke regel werd voor het discrete geval al bekeken (zie kanstheorie I). 4.4 Conditionele dichtheden en verdelingen: oefeningen Oefening 4.2. Zij X gegeven R exponentieel verdeeld d.w.z. f X R (x r) =re rx 1 {x>0} De variabele R is op haar beurt gammaverdeeld: f R (r) = 1 Γ(a) ra 1 e r 1 {r>0} met a>2

4.4 Conditionele dichtheden en verdelingen: oefeningen 21 1. Bereken de marginale verdeling van X. 2. Bereken E[X R]. Oefening 4.3. Veronderstel dat de gemeenschappelijke dichtheidsfunctie van de SV s X en Y gegeven is door Bewijs dat E[X Y = y] =0. f(x, y) = y2 x 2 e y 1 {0<y<+ } 1 { y x y} 8 Oefening 4.4. Veronderstel dat de gemeenschappelijke dichtheidsfunctie van de SV s X en Y gegeven is door Bewijs dat E[X Y = y] =y. f(x, y) = e x/y e y 1 {0<x<+ } 1 {0<y<+ } y Oefening 4.5. Zij X en Y discrete random variabelen on N met gezamelijke dichtheidsfunctie e 2 p(x, y) = y!(x y)!, y x en p(x, y) =0, y > x Bepaal E(Y X = x). Oefening 4.6. Bewijs dat als X en Y beide continu zijn, geldt E[X] = + E[X Y = y]f Y (y) dy. Oefening 4.7. Veronderstel dat Y een exponentiële verdeling heeft, maar we laten de parameter λ van de verdeling zelf ook een SV zijn (laten we hem voor de eenvoud X noemen in plaats van λ) met dichtheidsfunctie f X (x) = x2 2 e x 1 {x>0}. 1. Geef de dichtheidsfuntie van Y. 2. Geef de conditionele dichtheidsfunctie voor X gegeven Y = y.

22 Conditionele verdeling, conditionele dichtheid Opmerking 4.4. Een verdeling met dichtheidsfunctie f X (x) = λn (n 1)! xn 1 e λx 1 {x>0}. noemt men een Erlangverdeling met parameters n en λ. In oefening 4.7 heeft X een Erlangverdeling met parameters n =3enλ =1. Oefening 4.8 (Examen juni 03). De gezamelijke dichtheidsfunctie van X en Y wordt gegeven door 1. 2. Bepaal E[X 2 Y = y]. f X,Y (x, y) = e y y 1 {0<x<y<+ } f X,Y (x, y) =e y 1 {0<x<y<+ } Bepaal de dichtheidsfunctie van X + Y. Oefening 4.9. Indien E[Y X] = 1, bewijs dan dat Var(XY ) Var(X). Oefening 4.10. Zij X en T twee SV en zij g(t) =E[X T = t]. Dan geldt: 1. als E[X] bestaat: E[g(T )] = E[X] 2. als Var[X] bestaat: Var[g(T )] Var[X]. De gelijkheid treedt op a.s.a. P(X = g(t )) = 1. Oefening 4.11. Onderdelen komen aan in een station voor reparatie. Hun aankomst heeft plaats op de ogenblikken τ 1,τ 1 +τ 2,...,τ 1 + +τ n,..., waarbij de intervallen τ i onafhankelijke variabelen zijn met dezelfde exponentiële verdeling met parameter λ>0. De onderdelen worden gerepareerd in volgorde van aankomst. De duur van de reparatie van de n-de onderdeel is een SV σ n.derij(τ 1,σ 1,...,τ n,σ n,...) wordt onafhankelijk verondersteld. Ieder onderdeel dat arriveert wordt meteen behandeld indien er geen ander onderdeel in behandeling is, in het andere geval wacht het tot de reparatieservice vrij is. We noteren W n de wachttijd van het n-de onderdeel. Verder veronderstellen we dat alle σ i s dezelde exponentiële verdeling hebben met parameter µ>0. 1. Wat is de verdeling van de stochastische variabele ξ n = σ n τ n+1? Bewijs dat ξ n en W n onafhankelijk zijn.

4.4 Conditionele dichtheden en verdelingen: oefeningen 23 2. Bewijs dat W n+1 =sup(w n +ξ n, 0) en leidt hieruit af dat de conditionele verdeling van W n+1 wetende W n (dus η(t, dx) =P(W n+1 dx W n = t)) gegeven wordt door: η(t, dx) = µ µ + λ e λt δ 0 (dx)+ λµ [ 1[0,t[ (x)e λ(x t) + 1 [t, [ (x)e µ(x t)] dx µ + λ 3. Noem Φ n de characteristieke functie van W n. Bepaal, door gebruik te maken van deel 2, een relatie tussen Φ n en Φ n+1 van de vorm Φ n+1 (t) =a(t)φ n (t)+b(t)e[e λwn ], waarbij a(t) en b(t) alleen van t afhangen. 4. Leidt uit 3 af dat een noodzakelijke voorwaarde voor convergentie in verdeling van W n wordt gegeven door µ>λ. 5. Bewijs dat W n+1 =sup(0,ξ n,ξ n + ξ n 1,...,ξ n + ξ n 1 +...+ ξ 1 ) en dat bijgevolg W n+1 dezelfde verdeling heeft als sup(0,ξ 1,ξ 1 + ξ 2,...,ξ 1 + ξ 2 +...+ ξ n ). 6. Leidt uit 5 af dat W n in verdeling convergeert indien µ>λ. Convergeert W n onder dezelfde conditie ook in kans? 7. Veronderstel dat µ>λ. Leidt uit vraag 3 de characteristieke functie van de limiet van W n af. Geef dan ook de verdeling ervan. Wat is de limiet van P(W n = 0) indien n naar oneindig gaat? Wat betekent deze limiet?

24 Conditionele verdeling, conditionele dichtheid

Hoofdstuk 5 Berekenen van verwachtingswaarden en kansen door conditionering 5.1 Theorie en voorbeelden Door de volgende eigenschap kan men de verwachtingswaarde berekenen door conditionering. Deze eigenschap komt overeen met eigenschap 3.1. Eigenschap 5.1. Indien X en Y SV s zijn, dan geldt dat In het discrete geval krijgen we dat E(X) =E(E[X Y ]). E(X) = y E(X Y = y)p(y = y) en in het continue geval krijgen we dat E(X) = + E(X Y = y)f Y (y) dy Dikwijls bekomt men door het gebruik van deze eigenschap een vergelijking in E(X), waaruit men E(X) dan kan bepalen (Zie ook oefening 4.6). Voorbeeld 5.1. Het gemiddelde van de geometrische verdeling. Een muntstuk met kans p om munt te gooien wordt achter elkaar omhoog gegooid totdat het voor de eerste keer munt aangeeft. Wat is het verwachte aantal worpen?

26 Berekenen van verwachtingswaarden en kansen door conditionering Oplossing. Laat N hetaantalworpenzijnennoem { 1, indien de eerste worp munt aangeeft Y = 0, indien de eerste worp kruis aangeeft. Eigenschap 5.1 geeft dan E(N) =E(N Y =1)P(Y =1)+E(N Y =0)P(Y =0) = pe(n Y =1)+(1 p)e(n Y =0) We hebben echter dat E(N Y =1)=1enE(N Y =0)=1+E(N). Dit levert de vergelijking E(N) =p +(1 p)(1 + E(N)) waaruit E(N) =1/p. Als bijzonder geval van eigenschap 5.1 kan men ook kansen uitrekenen door conditionering: Eigenschap 5.2. Veronderstel dat B een willekeurige gebeurtenis is, en Y een SV. Dan geldt P(B) = y = + P(B Y = y)p(y = y), P(B Y = y)f Y (y) dy, als Y discreet is als Y continu is Opmerking 5.1. Het discrete geval van deze eigenschap is natuurlijk gewoon het theorema van totale waarschijnlijkheid (zie kanstheorie I). Voorbeeld 5.2. Veronderstel dat we 2 onafhankelijke X en Y met dichtheidsfuncties f X en f Y. Bereken P(X <Y). Oplossing. Conditioneren we op de waarde van Y dan krijgen we P(X <Y)= = = = + + + + P(X <Y Y = y)f Y (y) dy P(X <y Y = y)f Y (y) dy P(X <y)f Y (y) dy F X (y)f Y (y) dy

5.2 Oefeningen 27 5.2 Oefeningen Oefening 5.1. Bereken de variantie van de geometrische verdeling door middel van conditionering. Oefening 5.2. Elke klant die in de Hannah s klerenwinkel binnenwandelt zal met kans p ook effectief iets kopen. Als het aantal klanten per dag een poissonverdeelde variabele is (met parameter λ, wat is dan de kans dat Hannah vandaag niets zal verkopen? Oefening 5.3 (Het Ballot probleem). Bij een verkiezing krijgt de heer Janssens n stemmen en de heer Peeters m stemmen, met n > m. Veronderstel dat de stemmen willekeurig geordend zijn (elke ordening met dezelfde kans), bewijs dan dat de kans dat Janssens steeds voorop ligt in de telling van de stemmen gelijk is aan (n m)/(n + m). Oefening 5.4. Veronderstel dat de gemeenschappelijke dichtheidsfunctie van de SV s X en Y gegeven is door (a+bi) (bi)j a i P(X = i, Y = j) =e j! i!, i 0,j 0 1. Wat is de conditionele verdeling van Y gegeven dat X = i? 2. Zoek Cov(X, Y ). Oefening 5.5 (Examen juni 02). Een rat zit gevangen in een doolhof. Op de plek A waar hij nu zit heeft hij 2 mogelijkheden. Of hij gaat naar links, of hij gaat naar rechts. Indien hij naar rechts gaat, dan zal hij 3 minuten door de doolhof wandelen en dan terug op plek A terechtkomen. Gaat ie naar links, dan zal hij met kans 1 het doolhof verlaten na 2 minuten wandelen en 3 zal hij met kans 2 terug zijn op plek A na 5 minuten. Veronderstel dat de 3 rat op elk moment evenveel kans heeft om naar links of naar rechts te gaan. Wat is het verwacht aantal minuten dat de rat in het doolhof zal zitten? Oefening 5.6. Bepaal de variantie van de duur dat de rat uit oefening 5.5 nodig heeft om uit de doolhof te raken. Oefening 5.7. Stel dat U 1,U 2,...een rij is van i.i.d. variabele met verdeling U(0, 1). Noem S 1 =min{n 2:U n >U n 1 } en S 2 =min{n 1:U 1 +...+ U n > 1}

28 Berekenen van verwachtingswaarden en kansen door conditionering S 1 is dan de index van de eerste random variabele die groter is dan zijn voorganger, terwijl S 2 het aantal random variabelen aangeeft dat nodig is om een som groter dan 1 te hebben. Bewijs dat S 1 en S 2 dezelfde verdeling hebben en dat hun (gemeenschappelijke) gemiddelde e is. Oefening 5.8 (Examen juni 03). Aan een tennistoernooi doen er 2 n deelnemers mee. Het toernooi is met directe uitschakeling, d.w.z. de verliezer van de wedstrijd gaat naar huis, de winnaar gaat naar de volgende ronde. Zo zijn er in de 2 e ronde 2 n 1 spelers in de running, en bijft er uiteindelijk na de n-de en laatste ronde 1 spelers over die ongeslagen is, dit is de winnaar van het toernooi. Alle spelers krijgen een nummer van 1 tot 2 n en telkens wanneer een wedstrijd wordt gespeeld heeft de speler met het laagste nummer kans p om te winnen. In het begin wordt een binaire boom opgemaakt met aan elk blad 1 van de 2 n spelers. Bij een gewonnen wedstrijd stijg je in de boom en krijg je je nieuwe tegenstander. De winnaar staat uiteindelijk bovenaan in de boom. De spelers worden at random onderaan de boom geplaatst. Toon aan dat de kans dat speler met het nummer 2 het tornooi wint gegeven wordt door p n pn 1 2 n 1 (2n p n 1) Hint. Conditioneer op de ronde dat speler 1 en speler 2 elkaar mogelijk tegenkomen.

Hoofdstuk 6 Stochastische processen en beltijden 6.1 Theorie Definitie 6.1. Als (Ω, F, P) een kansruimte is en (F n ) n N een filtratie van deelstammen van F, dan is ν :Ω N { } een beltijd of stoptijd t.o.v. (F n ) n N indien n N : (ν n) F n. Definitie 6.2. Veronderstel (Ω, F, (F n ) n, P) een gefiltreerde kansruimte en ν een beltijd. Men noemt F ν = {F F; n N : F (ν n) F n } de door ν geïnduceerde deelstam van F. 6.2 Oefeningen Oefening 6.1. Veronderstel (Ω, F, (F n ) n een gefiltreerde kansruimte en ν 1 en ν 2 2 beltijden t.o.v. de filtratie (F n ) n.bewijsdat: 1. ν 1 + ν 2 een beltijd is t.o.v. de filtratie (F n ) n. 2. {ν 1 <ν 2 } F ν1 F ν2 en {ν 1 = ν 2 } F ν1 F ν2

30 Stochastische processen en beltijden Oefening 6.2. Veronderstel (Ω, F, (F n ) n ) een gefiltreerde kansruimte en τ een beltijd t.o.v. de filtratie (F n ) n. Veronderstel verder dat ν een F τ - meetbare stochastiek is op Ω met ν>τ.bewijsdatν een beltijd is voor de filtratie (F n ) n. Oefening 6.3. Indien τ en ν beltijden zijn t.o.v. een filtratie (F n ) n en A F ν,bewijsdandata (ν τ) F τ. Oefening 6.4. Zij (X n ) n N i.i.d. en F n = σ({x 1,...,X n }). Veronderstel T een beltijd t.o.v. (F n ) n. Toon aan dat X T +1,X T +2,... i.i.d. met dezelfde verdeling als X 1,X 2,....

Hoofdstuk 7 martingalen 7.1 Theorie en voorbeelden Definitie 7.1. Een reëel aangepast proces is een martingaal (resp. supermartingaal, resp.submartingaal) indienvoorelken, X n integreerbaar is en bovendien E(X n+1 F n ) b.z. = X n (resp, resp ). Of anders gezegd: Met de huidige informatie is je verwacht resultaat in de toekomst hetzelfde als het huidige. Een erg belangrijke stelling is de stopstelling: Eigenschap 7.1 (Stopping theorem). Indien X n een supermartingaal (resp. martingaal) is en ν een stoptijd, dan is X ν n ook een supermartingaal (resp. martingaal). Bewijs. De integreerbaarheid volgt direct uit Vermits {ν >n} F n,krijgenwedat X n ν X 0 +...+ X n. E ( ( ) n ) Fn X (n+1) ν = E F n X k 1 {ν=k} + X n+1 1 {ν>n} k=0 = n X k 1 {ν=k} + 1 {ν>n} E Fn (X n+1 ) k=0 n X k 1 {ν=k} + 1 {ν>n} E Fn X n+1 = X n ν k=0

32 martingalen Eigenschap 7.2. Indien X n een supermartingaal (resp. martingaal) is en ν 1 ν 2 begrensde stoptijden, dan geldt: 7.2 Oefeningen Oefening 7.1. E(X ν2 F ν1 ) b.z. X ν1 (resp =) 1. Het muntworp-model: gegeven de kansruimte ([0, 1], R [0,1],λ [0,1] ). Een rij experimenten levert een rij van nullen en enen ω =(1, 0, 1, 0, 0, 1, 1, 1, 0, 0,...), wat overeenkomt met de binaire notatie ω =0, 1010011100..., waar 1 staat voor het gooien van kop en 0 staat voor het gooien van munt. We vinden bijvoorbeeld P(ω 1 =1)= 1 2 en P(ω 1 =1,ω 2 =0)= P({ω; ω begint met 0.10...) = 1 4. (a) Als X n (ω) =ω n het resultaat van de n-de worp is, geef dan de stammen B n = σ({x 1,...,X n })voorn =1, 2, 3en4. (b) Veronderstel nu dat we een spelstrategie volgen waarbij we een constante inzet van 1 frank nemen. De return van spel i noteren we als { 1 als Xi =1 Y i = 1 als X i =0 Beschouw de totale return na n spelen, gegeven door S n = Y 1 + + Y n. Toon aan dat {S n ; n =1, 2,...} een martingaal is. (c) Construeer de verdeling van S n voor n =1,...,6. Wat is de kans om een positieve winst te bekomen? (d) Plot E[S n ]envar[s n ] in functie van n voor n =1,...,6. 2. Vervang nu de spelstrategie door een nieuw spelsysteem, d.w.z. de inzet Z i wordt dan gedefinieerd door { 1 als Yi 1 =1 Z i = als Y i 1 = 1 2Z i 1 De totale return is dan S n = Z 1 Y 1 + + Z n Y n.

7.2 Oefeningen 33 (a) Bewijs dat S n nog steeds een martingaal is. (b) Construeer de verdeling van S n voor n =1, 2, 3en4. Watisnu de kans om een positieve winst te bekomen? (c) Plot E[S n ]envar[s n ] in functie van n voor n =1, 2, 3, 4. 3. In het Casino van Knokke gaan we roulette spelen. De kans op winst is 18 19, de kans op verlies. We nemen de constante spelstrategie, met 37 37 een inzet van 1 frank. (a) Bewijs dat {S n ; n N} een supermartingaal is. (b) Zoek de verdeling van S n en teken ze voor n =1, 2, 3, 4. (c) Bereken en teken E[S n ]envar[s n ] in functie van n. 4. Pas de spelstrategie van deel 2 toe op de roulette van deel 3. (a) Bewijs dat {S n ; n N} een supermartingaal is. Oefening 7.2. Zij {X n n N} is een martingaal t.o.v. {A n n N} en {Z n n N} is een rij begrensde R.S.V. aangepast aan {A n n N}. Definieer dan per inductie: Y 1 := X 1 ; Y n+1 := Y n + Z n (X n+1 X n ) Toon aan dat {Y n n N} een martingaal is t.o.v. {A n n N}. Oefening 7.3. Zij {X n n N} een martingaal en X n L p (Ω, A,p)met1 p <. Toon aan dat { X n p n N} een submartingaal is. Oefening 7.4. Zij (Ω, F, P) kansruimte met filtratie (F n ) n waarop we 2 martingalen veronderstellen: (X n ) n 0 en (y n ) n 0,beideinL 2. 1. Bewijs dat, met m n dat E Fm (X m Y n )=X m Y m b.z. 2. Bewijs dat E(X n Y n ) E(X 0 Y 0 )= n E((X k X k 1 )(Y k Y k 1 )). k=1

34 martingalen Oefening 7.5. Een gokker A heeft een beginfortuin van a EUR; B bezit b EUR. Ze werpen herhaaldelijk een muntstuk op. Munt betekent dat A 1 EUR wint, kruis dat hij 1 EUR verliest (en B 1 EUR wint). Dit kan beschreven worden als volgt: een kansruimte (Ω, A, P) met daarop een rij van onafhankelijke stochasten X 1,X 2,...,X n,... waarbij X n =1alsdende worp munt is, en X n = 1 als de n-de worp kruis is. Speler A wint dus als X n =1. Zij S k := k i=1 X i de winst van A na k worpen. We hebben reeds aangetoond dat {S k k N} een martingaal is t.o.v. {A k k N} met A k := σ({x i i k}). 1. Zij T het ogenblik waarop één van de spelers zijn fortuin kwijt is, d.w.z. T(ω) :=min{k S k (ω) = a of S k (ω) =b} en T(ω)= als S k (ω) > a, S k (ω) <b k N. Toon aan dat T een beltijd is t.o.v. {A k k N}. 2. Toon aan dat {S T k k N} een uniform begrensde martingaal is t.o.v. {A T k k N}. 3. Toon aan dat S T k P-b.z. convergeert naar een P-integreerbare stochastiek S. 4. Besluit uit 3. dat T < P-b.z. 5. Toon aan met behulp van 2. en 3. dat E[S T ]= 0. 6. Bereken nu de kans p = P(S T = b) datbblutisvóór speler A. Oefening 7.6. Zij (S n ) n 0 een randomwalk op Z: S 0 =0,S n = U 1 + U 2 +...+ U n, waar U i onafhankelijke stochastische variabelen zijn met dezelfde verdeling en zodat 1. Zij Z n = 2. Toon aan dat 0 < P(U i =1)=p<1, P(U i = 1) = 1 p = q. ( q p) Sn. Bewijsdat(Zn ) n 0 een positieve martingaal is. ( ) P sup S n k n 0 en dus dat indien q>p, geldt dat ( E ) sup S n n 0 ( ) k p q p q p.

7.2 Oefeningen 35 Oefening 7.7 (Examen juni 02). Zij (Z n ) n 1 een randomwalk op Z, zodat i 1:P(Z i =1)=P(Z i = 1) = 1 2. We stellen S 0 =0enS n = Z 1 +...+Z n, F 0 = {φ, Ω} en F n = σ(z 1,...,Z n ). Veronderstel verder dat a>0 een vast geheel getal is en τ =inf{n 0:S n = a} de eerste keer dat S n het getal a bereikt. a) Bewijs dat X θ n = eθsn (cosh θ) n een (F n ) n 0 -martingaal is. Bewijs dat, indien θ 0, (X θ n τ ) n 0 een begrensde martingaal is. b1) Bewijs dat, voor θ 0, (X θ n τ ) n 0 bijna zeker en in L 1 convergeert naar de stochastische variabele W θ = e θa (cosh θ) τ 1 {τ<+ }. b2) Bewijs dat P(τ <+ ) = 1 en dat voor alle θ 0 geldt dat E[(cosh θ) τ ]=e θa. Oefening 7.8. We beschouwen een rij i.i.d. RSV s (X n ) n 1 met dezelfde normale verdeling N(m, σ 2 ). met m<0 en men stelt S 0 =0. S n = X 1 +...+ X n en B n = σ(s 0,...,S n ),W =sups n. n 0 Het doel van deze oefening is dat we wat eigenschappen van W opstellen. 1. Bewijs dat P(W < ) =1. 2. Voor λ reëel geldt dat E(e λx 1 )=e λ2 σ 2 /2 e λm.watwordt E(e λs n+1 B n ).

36 martingalen 3. Bewijs dat er een unieke λ 0 > 0 bestaat zodat (e λ 0S n ) n 0 een martingaal is. 4. Bewijs dat, voor elke t>0 geldt dat 5. Bewijs dat E(e λ W )=1+λ P(W >t) e λ 0t. + 0 e λt P(W >t) dt, en dus dat voor λ<λ 0, E(e λw ) <. In het bijzonder bezit W alle momenten. Oefening 7.9 (Examen juni 03). (Z n ) n 1 is een rij onafhankelijke random variabelen zodat P(Z i =1)=P(Z i = 1) = 1 2,voorelkei N 0. We stellen S 0 =0,S n = Z 1 +...+Z n, F 0 = {Ω,φ} en F n = σ(z 1,...,Z n ). Veronderstel a N 0 en λ R zodat 0 <λ< π 2a. Noem τ =inf{n 0, S n = a} het moment dat S n het interval ] a, a[ verlaat. 1. Bewijs dat een (F n ) n 0 -martingaal is. X n = cos(λs n) (cos λ) n 2. Bewijs dat 1=E(X n τ ) cos(λa)e((cos λ) (n τ) )

Hoofdstuk 8 Wet van de grote getallen 8.1 Oefeningen Oefening 8.1 (Een mogelijke gokstrategie). Veronderstel dat je herhaaldelijk een zeker kansspel speelt en dat je elk spel geld kan inzetten. Dat geld win je met kans p en verlies je met kans q. Opeenvolgende spelen zijn onafhankelijk. Je gebruik nu de stategie van steeds een percentage α van je huidig bezit in te zetten. Als je op een gegeven ogenblik x euro in bezit hebt, dan zet je het volgende spel αx in, met α een zekere constante tussen 0 en 1. Veronderstel dat je met C euro begint en dat je na spel nc n euro in bezit hebt. We gaan nu onderzoeken wat de beste waarde is van α om om uw succeskans te maximaliseren. 1. Indien S n het aantal successen is na n spelletjes, geef dan een formule voor C n. 2. Zij Y n = 1 ( ) n ln Cn. C Gebruik de wet van Kolmogorov om aan te tonen dat als n stijgt, Y n met kans 1 de limiet p ln(1 + α)+q ln(1 α) benadert. (We vinden dus dat C n asymptotisch is naar r n C met r constant (1 + α) p (1 α) q. Daarom, indien de kans p en q gegeven zijn, wil je proberen je α zo kiezen dat r zo groot mogelijk is. Je maakt slechts winst indien r>1). 3. Veronderstel r in functie van α: r(α) =(1+α) p (1 α) q.

38 Wet van de grote getallen Bewijs dat r stijgt op het interval ( 1,p q) en daalt op het interval (p q, 1). 4. Concludeer welke α we nu best nemen. Oefening 8.2 (Monte Carlo benadering van een integraal). Om de integraal 1 h(x) dx (8.1) 0 te benaderen, noemen we X een variable met een uniforme verdeling, maken we een groot aantal observaties van X en we nemen het gemiddelde van Y = h(x). Omdat E[Y ] gelijk isaandeintegraal (8.1), zal de verwachtingswaarde van heel veel samples de integraal (8.1) benaderen. In symbolen: Stel (X i ) n i=1 onafhankelijke observaties van X en zij Y i = h(x i ). Dan is Y n de monte Carlo schatter van de integraal (8.1) gebaseerd op n sampels. 1. Wat zegt de wet van Kolmogorov over deze situatie. 2. We willen nu de ongelijkheid van Chebychev gebruiken. Hiervoor moet devariantie vany eindig zijn. Welke veronderstelling moeten we maken over h(x). 3. Als we een bovengrens A kennen voor h ( h(x) A), toon dan aan dat Var[Y ] A 2. 4. Veronderstel Var[Y ] A 2 en veronderstel een tolerantie ɛ>0. Wat zegt Chebychev over de kans dat de schatter Y n niet dichter dan ɛ bij de echte waarde van de integraal (8.1) is. 5. veronderstel h(x) 1, x (0, 1). Hoeveel samples moet ik nemen om met 95% dichter dan 0.01 bij de echte waarde van de integraal te zitten.

Hoofdstuk 9 Inleiding tot Markov ketens 9.1 Inleiding Veronderstel een discreet stochastisch proces (X n ) n I (met indexverzameling I = {0,...,l} of N) waarbij de (X n ) n I waarden kunnen aannemen in J met J = {0,...,k} of J = N (of soms J = Z). Indien X n = i, dan zeggen we dat X n zich in toestand i bevindt. Definitie 9.1. (X i ) i I is een homogene markovketen indien er, wanneer het proces zich in toestand i bevindt, een vaste kans Q ij bestaat zodat de volgende toestand van het proces j is, m.a.w, n I, i 0,...,i n 1,i,j geldt P(X n+1 = j X n = i, X n 1 = i n 1,...,X 0 = i 0 )=P(X n+1 = j X n = i) =Q ij Al deze Q ij s vormen samen een matrix: Definitie 9.2. De matrix Q = Q 00 Q 0k.. Q k0 Q kk noemt men de transitiematrix. of Q = P 00 P 01 P 02 Q 10 Q 11 Q 12 Q 20 Q 21 Q 22 Eigenschap 9.1. Vermits kansen steeds groter zijn dan 0 en het proces steeds een transitie maakt naar een zekere toestand gelden volgende 2 eigenschappen: i, j 0:Q ij 0. i 0: j J Q ij =1.......

40 Inleiding tot Markov ketens Voorbeeld 9.1 (Weersvoorspelling). Veronderstel dat de kans op regen morgen afhangt van het al dan niet vallen van regen vandaag, maar niet afhankelijk is van alle vorige dagen. Indien het vandaag regent, dan regent het morgen met kans α. Indien het vandaag niet regent, regent het morgen met kans β. We zeggen dat het proces in toestand 0 is indien het regent en in toestand 1 indien het niet regent. De transitiematrix wordt dan gegeven door [ ] α 1 α Q = β 1 β Voorbeeld 9.2 (Random walk). Een random walk op Z (zoals in heeft hoofdstuk van de martingalen) heeft als toestanden alle gehele getallen en de transitiematrix is gegeven door Q i,i+1 = p =1 Q i,i 1. M.a.w., kans p om 1 te stijgen, kans 1 p om 1 te dalen. Voorbeeld 9.3 (Gokken). Een gokker wint telkens 1 euro met kans p of verliest 1 euro met kans 1 p. Als we veronderstellen dat hij stopt te gokken als hij blut is of als hij een fortuin van N euro bereikt, dan wordt de transitiematrix gegeven door i {1, 2,...,N 1} : Q i,i+1 = p =1 Q i,i 1 en Q 00 = Q NN =1. In matrixvorm wordt dit 1 0 0......... 0 1 p 0 p. 0 1 p 0. Q =....... 0 p 0. 1 p 0 p 0......... 0 0 1 De toestanden 0 en N worden absorberende toestanden genoemd. Voorbeeld 9.4 (Een proces omzetten in een Markov keten). We passen het bovenstaande voorbeeld van de weersvoorspelling wat aan op de volgende manier:

9.2 Kansverdelingen van een Markov keten 41 Regende het vandaag en gisteren, dan regent het morgen met kans 0.7. Regende het vandaag, maar gisteren niet, dan regent het morgen met kans 0.5. Regende het gisteren, maar vandaag niet, dan regent het morgen met kans 0.4. Regende het vandaag niet en gisteren niet, dan regent het morgen met kans 0.2. Dit proces is geen markov-keten, omdat de toestand van morgen niet enkel afhangt van de toestand van vandaag, maar ook van de toestand van gisteren. Een oplossing hier is het aanpassen van de oorspronkelijke 2-toestanden naar een model met 4 toestanden: toestand 0: Het regende gisteren en het regent vandaag. toestand 1: Het regende gisteren niet en het regent vandaag. toestand 2: Het regende gisteren en het regent vandaag niet. toestand 3: Het regende gisteren niet en het regent vandaag niet. De transitiematrix wordt dan gegeven door: 0.7 0 0.3 0 Q = 0.5 0 0.5 0 0 0.4 0 0.6. 0 0.2 0 0.8 9.2 Kansverdelingen van een Markov keten Definitie 9.3. De verdeling van X 0 noemt men de beginverdeling. Die verdeling zullen we hier noteren als µ(x). We kunnen ons afvragen wat er gebeurt als we meerdere tijdstappen vooruitdenken: Q n ij = P(X n+m = j X m = i) Eigenschap 9.2. Q n ij wordt gegeven door: Dit leidt tot + Q n+m ij = k=0 Q n ikq m kj Q (n+m) = Q (n) Q (m)

42 Inleiding tot Markov ketens 9.3 Recurrente en transiënte toestanden Toestand j is toegankelijk vanaf toestand i indien Q n ij > 0 voor zekere n. We zeggen dat i en j met elkaar communiceren als i toegankelijk is vanaf j en j toegankelijk is vanaf i. In dat geval noteren we i j. Eigenschap 9.3. Communiceren is een equivalentierelatie. De bijbehorende equivalentieklassen noemt men de communicatieklassen. Een Markovketen wordt irreducibel geheten indien er zo slecht 1 klasse is (m.a.w. alle toestanden communiceren met elkaar). Voorbeeld 9.5. De markovketen met 3 toestanden (0,1 en 2) en transitiematrix 1 1 0 2 2 Q = 1 1 is irreducibel. 1 2 4 0 1 3 Voorbeeld 9.6. De markovketen met 4 toestanden (0,1,2 en 3) en transitiematrix 1 1 0 0 2 2 1 1 Q = 0 0 2 2 1 1 1 1 4 4 4 4 0 0 0 1 heeft 3 communicatieklassen: {0, 1}, {2} en {3}. 4 2 3 Definiëren we even de volgende stoptijden: τ x =inf(n 0,X n = x), σ x =inf(n 1,X n = x) Definitie 9.4. Een toestand x wordt recurrent genoemd als P x (σ x < + ) =1. Een toestand x wordt transiënt genoemd als Eigenschap 9.4. P x (σ x < + ) < 1. Toestand i is recurrent als + n=1 Qn ii =+. Toestand i is transiënt als + n=1 Qn ii < +.

9.4 Limietkansen bij een markovketen 43 Eigenschap 9.5. Indien toestand i recurrent is en toestand j communiceert met toestand i, dan is toestand j ook recurrent. Voorbeeld 9.7 (Random walk op Z d ). In voorbeeld 9.2 zagen we de symmetrische random walk op Z. Dit kan eenvoudig veralgemeend worden naar Z 2, Z 3, of een andere willekeurige Z d. In het symmetrische geval zou bijvoorbeeld bij de random walk op Z 2 in elke toestand van Z 2 de keuze zijn om een met kans 1 naar links, rechts, boven of onder kunnen gaan. 4 Een verassend resultaat is dat de symmetrische random walk op Z en op Z 2 in alle toestanden recurrent is, geldt dit niet meer voor hogere machten. 9.4 Limietkansen bij een markovketen Laten we even teruggaan naar voorbeeld 9.1 en kijken naar de weersvoorspelling van morgen, overmorgen, over 3 dagen, over 4 dagen,... In het vorige werd vermeld dat Q n de transitiematrix van n achtereenvolgende transities met transitiematrix Q. In dit geval zou dat worden: [ ] 0.7000 0.3000 Q = 0.4000 0.6000 [ ] 0.6100 0.3900 Q 2 = 0.5200 0.4800 [ ] 0.5830 0.4170 Q 3 = 0.5560 0.4440 [ ] 0.5749 0.4251 Q 4 = 0.5668 0.4332 [ ] 0.5725 0.4275 Q 5 = 0.5700 0.4300 [ ] 0.5717 0.4283 Q 6 = 0.5710 0.4290 [ ] 0.5715 0.4285 Q 7 = 0.5713 0.4287 [ ] 0.5715 0.4285 Q 8 = 0.5714 0.4286 We merken dat: de matrices identiek aan elkaar worden.

44 Inleiding tot Markov ketens de rijen identiek aan elkaar worden. Er blijkt dus een limietkans te bestaan om in toestand j te raken na een groot aantal transities, een limietkans die onafhankelijk is van de begintoestand. Dit geldt echter niet voor elke Markovketen met willekeurige transitiematrix. Er zijn enkele voorwaarden. Definitie 9.5. Toestand i heeft periode d indien Q n ii = 0 indien n niet deelbaar is door d en d is het grootste getal met deze eigenschap. Met noemt een toestand aperiodisch indien het periode 1 heeft. Voorbeeld 9.8. Bij de randomwalk op Z heeft elke toestand periode 2. Na een oneven aantal transities is het immers steeds onmogelijk om terug in dezelfde toestand te geraken. Opmerking 9.1. Periodiciteit is een klasse-eigenschap: indien i communiceert met j dan hebben deze 2 toestanden dezelfde periode. Definitie 9.6. Als toestand i recurrent is, noemen we hem positief recurrent als, startend in toestand i, de verwachte tijd nodig om terug in i te raken eindig is. Opmerking 9.2. Ook dit is een klasse-eigenschap. Bovendien kan er aangetoond worden dat bij eindig aantal toestand recurrent en positief recurrent net hetzelfde is. Definitie 9.7. Positief recurrente, aperiodische toestanden noemt met ergodisch. Eigenschap 9.6. Bij een irreducible ergodische Markovketen, bestaat lim n + Qn ij en is onafhankelijk van i. Bovendien is π j = lim n + Q n ij de unieke positieve oplossing van + j=0 π j = π j = 1 + i=0 π i Q ij Opmerking 9.3. Het kan aangetoond worden dat π j, de limietkans is dat het proces in toestand j zal zijn op tijdstip n, ook gelijk is aan de lange termijn verhouding die aangeeft hoeveel tijd dat het proces in toestand j is.

9.5 Extra 45 9.5 Extra De transitiematrix in voorgaande voorbeelden kan ook in een graaf weergegeven worden. Zo kan de Markovketen uit vb 9.5 voorgesteld worden als 1 2 1 4 1 1 4 1 2 0 1 2 1 3 2 2 3 Dit hoofdstuk is veel te kort om alle eigenschappen van Markovketens te laten zien. De volgende eigenschap is een voorsmaakje van wat er allemaal mogelijkismetmarkovketens: Eigenschap 9.7. Noem φ A J een verzameling toestanden. Dan is u(x) =P x (τ A < + ) de kleinst mogelijke oplossing van het stelsel { u(x) =1 x A u(x) =Qu(x) x A c Voorbeeld 9.9. Een muis bevindt zich in een labirinth met 7 kamers: 2 kat 4 6 1 3 5 kaas 7 In kamer 7 ligt een stuk gruyerekaas, in kamer 4 zit een gevaarlijke kat. Aangrenzende kamers zijn met elkaar verbonden. In kamers 1,2,3,5 en 6 wandelt een muis naar 1 van haar k buurkamers met kans 1. Belandt ze in k kamer 4 of 7, dan blijft ze daar. Bepaal de kans dat een muis in kamer 1 de kaas in kamer 7 bereikt. De oplossing kan bepaald worden door voorgaande eigenschap, met A = {7},u(4) = 0. Uiteindelijk vind je 4. 29 9.6 Oefeningen Oefening 9.1. 3 witte en 3 zwarte ballen zitten verdeeld over 2 urnes zodat er in elke urne 3 ballen zitten. We zullen zeggen dat onze keten in toestand i zit indien er i =0, 1, 2, 3 witte ballen in urne 1 zitten. Tijdens elke stap

46 Inleiding tot Markov ketens trekken we 1 bal uit elke urne en verwisselen we de getrokken ballen van urne. Noem X n de toestand na de n-de stap. Waarom is (X n ) n een Markovketen en geef de transitiematrix. Oefening 9.2. Geef de verschillende communicatieklassen voor elk van de volgende transitiematrices. Bepaal eveneens welke toestanden recurrent zijn en welke transiënt zijn: Q 1 = 0 1 1 2 2 1 0 1 2 2 1 1 0 2 2 Q 2 = 1 0 1 0 0 2 2 1 1 1 0 0 4 2 4 Q 3 = 1 0 1 0 0 2 2 0 0 0 1 1 Q 4 = 2 2 0 0 0 1 1 2 2 0 0 0 1 0 0 0 1 1 1 0 0 2 2 0 0 1 0 1 3 0 0 0 4 4 1 1 0 0 0 2 2 0 0 1 0 0 0 0 1 2 0 3 3 1 0 0 0 0 Oefening 9.3. Munstuk 1 werp kop met kans 3. Muntstuk 2 werpt kop met 5 kans 1. Een muntstuk wordt continu opgegooid tot het resultaat letter is. 2 Op dat ogenblik neemt men het andere muntstuk en begint men dat op te gooien. 1. Hoeveel procent van de worpen gebeurt met munstuk 1. 2. Als we beginnen te werpen met muntstuk 1, wat is dan de kans dat we met munstuk 2 aan het werpen zijn tijdens de 5de worp. Oefening 9.4. Bekijk terug de transitiematrix uit voorbeeld 9.4. Hoeveel procent van de dagen regent het? Oefening 9.5. Een deeltje verplaatst zich op een cirkel door punten die 0, 1, 2, 3, 4 genummerd zijn (in wijzerszin). Tijdens elke stap heeft het kans p om wijzerszin te draaien en kansen 1 p om tegenwijzerszin te draaien. Noem X n zijn lokatie op tijdstip n. Het proces {X n,n 0} is een Markovketen. 1. Bepaal de transitiematrix. 2. Bereken de limietkansen. Oefening 9.6 (Examen juni 03). Gegeven een Markovketen met toestandsruimte E = {0, 1} en transitiematrix [ ] 1 α α Q = 0 <α,β<1. β 1 β

9.6 Oefeningen 47 Diagonaliseer Q en leid hieruit een algemene vorm van Q n af. Toon aan dat hieruit volgt dat de limietkans gegeven wordt door π 0 = β α + β, π 1 = α α + β

48 Inleiding tot Markov ketens

Bijlage A Goed of fout: bewijzen of tegenvoorbeelden Stelling A.1. Bij hoofdstuk 3 Voor X en Y onafhankelijk geldt steeds dat E B (XY )=E B (X)E B (Y ). fout. Neem als tegenvoorbeeld X, Y B(1,p) onafhankelijke bernouillivariabelen. Stel Z = X + Y. Z is dan B(2,p) verdeeld. Neem B = σ(z). We krijgen dan dat E(X Z =0)=0 E(Y Z =0)=0 E(XY Z =0)=0 E(X Z =1)= 1 2 E(Y Z =1)= 1 2 E(XY Z =1)=0 E(X Z =2)=1 E(Y Z =2)=1 E(XY Z =2)=1 Op (Z = 1) gaat de stelling bijvoorbeeld niet op. Indien X en Y bovendien onafhankelijk zijn van B, dan klopt de gelijkheid uit de stelling natuurlijk wel.