C.P. van Splunter. Grote afwijkingen. Bachelorscriptie, 21 april Scriptiebegeleiders: prof.dr. F. Redig prof.dr. E.A.

Transcriptie

1 C.P. van Splunter Grote afwjkngen Bachelorscrpte, 2 aprl 200 Scrptebegeleders: prof.dr. F. Redg prof.dr. E.A. Verbtsky Mathematsch Insttuut, Unverstet Leden

2 Inhoudsopgave Inledng 3 2 Bovengrens 6 3 Ondergrens 9 4 Methode van Cramer 2 5 Markov afhankeljke varabelen 4 6 Voorbeeld: 2x2 matrx 2 7 Voorbeeld: 3x3 matrx 24 8 Concluse 30 9 Referentes 3 0 Bjlage 32 2

3 Inledng In mjn onderzoek zal k mj bezg houden met ongewone gebeurtenssen, gebeurtenssen de slechts zeer zelden optreden. Voor een dee van dt soort gebeurtenssen kun je denken aan bjvoorbeeld aan het 00 keer opgooen van een geldstuk. Je verwacht dat dt geldstuk ongeveer 50 keer op kop valt en 50 keer op munt. De gebeurtens dat het geldstuk 0 keer op munt valt en 90 keer op kop, s zeer zeldzaam. Deze gebeurtens s dus een grote afwjkng ten opzchte van de verwachtng dat het geldstuk ongeveer 50 keer op kop valt en 50 keer op munt. In deze scrpte zal k mj gaan rchten op grote afwjkngen. Nadat k deze term gedefneerd heb, zullen we zen dat de kans op een dergeljke grote afwjkng naar 0 zal gaan. De gebeurtens dat zo n afwjkng toch optreedt, s dus zeer zeldzaam. Ergens begn 20 e eeuw begon men zch te nteresseren voor dt onderwerp. In de afgelopen ver decenna heeft het een grote vlucht genomen. Op 22 maart 2007 kreeg 67-jarge Srnvasa S.R. Varadhan n Oslo de Abelprjs utgerekt voor zjn fundamentele bjdragen n de kansrekenng, met n het bjzonder zjn werk aan de theore van de grote afwjkngen. Het onderwerp s dus zeer actueel en er wordt nog steeds veel onderzoek gedaan op dt gebed. Andere grote namen de veel onderzoek hebben verrcht op dt gebed zjn Donsker, Fredln en Wentzell. De theore van grote afwjkngen heeft onder andere toepassngen n de econome, natuurkunde en bologe. Ik zal begnnen met het maken van een aantal aannames (waaronder dentek en onafhankeljk verdeelde varabelen) en het defnëren van een aantal functes. Vervolgens zal k een stellng bewjzen de zegt dat de kans op een grote afwjkng zelfs exponenteel snel naar 0 gaat. Daarna zal k ets zeggen over de zogenaamde Cramér theore en tot slot ga k het geval bekjken waar de varabelen een specfeke Markov-verdelng hebben. Herbj zal k ook een tweetal voorbeelden geven. Maar eerst s het belangrjk om te weten wat nu preces een grote afwjkng s. De defnte hervan komt voort ut de wet van de grote aantallen. Om te zorgen dat we deze wet kunnen toepassen, hebben we een aantal aannames nodg: We nemen X, X 2,..., X n onderlng onafhankeljk en dentek verdeeld (n het vervolg zal k dt..d. (ndependent and dentcally dstrbuted) noemen). We nemen nu aan dat E(X ) = µ (endge verwachtng) en E(X 2 ) < (endge varante). Onder deze aannames geldt: lm n n n X = µ = 3

4 Deze wet van de grote aantallen wordt afgeled ut de ongeljkhed van Chebyshev. De zegt dat voor alle ɛ > 0: ( ) n P X µ n ɛ σ2 nɛ 2 = Als we n naar onendg laten lopen, geldt dus voor elke ɛ > 0: ( ) lm P n X n µ n ɛ σ 2 lm n nɛ 2 0 = Omdat P( n n = X µ ɛ) voor wllekeurg klene ɛ naar nul gaat als n n, weten we dat lm n n = X = µ. De gebeurtens n n = X µ ɛ noemen we een grote afwjkng. De theore van grote afwjkngen houdt zch bezg met het berekenen van kansen op dt soort afwjkngen. Het eerste wat k n mjn scrpte zal doen, s bewjzen dat de kans op een grote afwjkng exponenteel snel naar 0 gaat als n. We gaan herbj weer ut van d varabelen. Dus voor alle ɛ > 0: lm n P( n n = X µ ɛ) = lm n e ni(µ+ɛ) 0 () Herbj s I een of andere functe van µ + ɛ, onafhankeljk van n, de groter dan 0 s. Deze functe zullen we later specfceren. Om het schrjfwerk wat te reduceren, defnëren we: S n := n X, = a := µ + ɛ = EX + ɛ > EX. Omdat we deze later nodg zullen hebben defnëren we ook onderstaande functes: Defnte Defnte 2 ϕ(t) = E(e tx ) = E(e tx ) <, t R. F (t) = log ϕ(t). Als we nu n () lnks en rechts de natuurljke logartme nemen, en vervolgens delen door n, hebben we de volgende stellng te bewjzen: 4

5 Stellng Voor alle a > EX geldt: waarbj I(x) = sup t R (tx F (t)). lm n n log P(S n na) = I(a) Hoe we aan deze I(x) komen zal bljken ut het bewjs. 5

6 2 Bovengrens Zoals eerder aangegeven begn k deze scrpte met het bewjzen van stellng. Dt ga k doen door te laten zen dat I(a) zowel een bovengrens s, als een ondergrens voor lm n n log P(S n na). In deze paragraaf zullen we laten zen dat het een bovengrens s: Stellng 2 Voor alle a > EX geldt: lm sup n waarbj I(x) = sup t R (tx F (t)). n log P(S n na) I(a) Voor het bewjs van deze stellng hebben we nog ets meer nformate nodg. We hebben nodg dat F (t) convex s, en we zullen ϕ(t), zoals gedefneerd n defnte, omschrjven n een Taylorreeks n t = 0. We begnnen met het bewjs dat F (t) convex s: Stellng 3 F(t) s convex: voor alle 0 λ. F (λt + ( λ)s) λf (t) + ( λ)f (s) Bewjs: Allereerst merken we op dat voor λ = 0 en λ = het bewjs trvaal s. Vervolgens gebruken we de ongeljkhed van Hölder, de alsvolgt ludt: E(XY ) E( X p ) p E( Y q ) q waarbj p, q > en p + q = We kezen nu p en q alsvolgt: (dan geldt p + q p = λ en q = λ = λ + λ = en omdat 0 < λ <, geldt ook p, q > ) Nu zen we: F (λt + ( λ)s) = log E(e λtx+( λ)sx ) = log E(e λtx e ( λ)sx ) log((e(e tx )) λ (E(e sx )) ( λ) ) = λ log E(e tx ) + ( λ) log E(e sx ) = λf (t) + ( λ)f (s) 6

7 Dus F (t) s convex. Als we vervolgens ϕ(t) omschrjven n een Taylor reeks n t = 0, zen we, omdat, het volgende: n ϕ(t) t n t=0 = n E(e tx ) t n t=0 = E( n t n etx t=0 ) = E(X n ) ϕ(t) = n=0 t n n! E(Xn ) Dt s de reden dat ϕ(t) ook wel de momentgenererende functe wordt genoemd (E(X n ) zjn de momenten). We gaan nu over tot het bewjzen van stellng 2. Bewjs (Stellng 2): Eerst schrjven we P(S n na) anders: P(S n na) = P(S n na 0) = P(t(S n na) 0) = P(e t(sn na) ) t 0. Nu gaan we gebruk maken van de Markovongeljkhed: P(Y ) E(Y ) als Y 0 (n ons geval hebben we te maken met een e-macht, en s deze regel dus toe te passen). Het korte bewjs van de Markovongeljkhed volgt verderop. Als we de Markovongeljkhed toepassen, krjgen we: P(S n na) = P(e t(sn na) ) E(e t(sn na) ) = ϕ(t) n e nta n(ta F (t)) = e Wat we nu zen s dat als we van bede kanten de natuurljke logartme nemen, vervolgens delen door n en dan van de rechterkant ook nog het supremum nemen over t (dt kunnen we doen omdat de ongeljkhed geldt voor alle t 0), we onze functe I(a) gevonden hebben: n log P(S n na) sup(ta F (t)) = sup(ta F (t)) = I(a) t 0 De tweede stap kunnen we nemen omdat F convex s en (zoals we later zullen zen) F (0) = µ. Dt betekent dat als F (x) = µ + ɛ, moet gelden dat x > 0 (vanwege de convextet van F ). Het supremum van t(µ + ɛ) F (t) (als (µ + ɛ) F (t) = 0) wordt dus aangenomen voor een of andere t groter dan 0. Het bljkt dus dat onze functe I preces de Legendre getransformeerde s. Deze s gedefneerd als: t R I(x) = sup(tx F (t)) t 7

8 Wat we nu nog moeten doen, s laten zen dat deze functe I(a) strkt postef s. We zullen kjken hoe de afgelede van F (t) n het punt 0 erut zet: F (t) = (log E(e tx )) = F (0) = E(X) = EX = µ E() E(e tx ) E(XetX ) Als we nu F (t) gaan ontwkkelen met Taylorontwkkelng rond t = 0, zen we: F (t) = F (0) + tf (0) + 2 t2 F (0) + O(t 3 ) = tµ + 2 t2 F (0) + O(t 3 ) Invullen n I geeft: I(a) = sup(ta F (t)) = sup(t(µ + ɛ) (tµ + t t 2 t2 F (0) + O(t 3 ))) = sup(tɛ ( t 2 t2 F (0) + O(t 3 ))) We kunnen zeggen dat deze functe groter dan nul s, omdat voor t klen genoeg (zo klen dat ( 2 t2 F (0) + O(t 3 )) < tɛ) de functe postef s. Het supremum s dus zeker postef. Dus: I(a) > 0 Nu we hebben bewezen dat I(a) > 0 hebben we dus een bovengrens gevonden voor n log P(S n na): en dus ook: lm sup n n log P(S n na) I(a) n log P(S n na) I(a) Rest ons alleen nog de Markovongeljkhed te bewjzen. Dt bewjs ludt alsvolgt: E(Y ) = E(Y I(Y )) + E(Y I(Y < )) E(Y I(Y )) E(I(Y )) = P(Y ) (I s her de ndcatorfuncte, en dus net de eerdergenoemde I) 8

9 3 Ondergrens We hebben nu gezen dat e ni(a) een bovengrens s voor P( n S n a). Wat we nu zullen laten zen, s dat e ni(a) ook een ondergrens s voor P(S n na), als n : Stellng 4 lm nf n met I(a) = sup t (ta F (t)). n log P( n S n a) I(a) Als we deze stellng hebben bewezen kunnen we met stellng 2 zeggen: lm nf n n log P( n S n a) = I(a) Bewjs (Stellng 4): Als eerste defnëren we Y als Y := X a. Dan zen we: E X (e tx ) = E Y (e t(y +a) ) E X (e tx ) = e ta E Y (e ty ) log ϕ X (t) = ta + log ϕ Y (t) ta F X (t) = F Y (t) sup(ta F X (t)) = sup(t 0 F Y (t)) t t I X (a) = I Y (0) Dan komt de te bewjzen ongeljkhed er alsvolgt ut te zen: lm nf n n n log P( Y 0) I Y (0) = ( n = X na n = X na 0 n = (X a) 0 n = Y 0) Herbj geldt dat E(Y ) = E(X a) = E(X µ ɛ) = ɛ < 0. Het s dus voldoende om te bewjzen: lm nf n n log P(S n 0) I(0) met E(X ) < 0. Om dt te bewjzen zullen we eerst P(S n 0) gaan benaderen met de zogenaamde Cramér-truc. Deze truc s gebaseerd op het exponenteel veranderen van de maat, zodang dat de atypsche gebeurtens S n 0 (deze s atypsch 9

10 omdat E(X ) < 0), typsch wordt onder de neuwe maat. We schrjven P(S n 0) eerst om: P(S n 0) = E(I(S n 0)) = E(I(S n 0)e tsn e tsn ) E(e tsn ) E(e tsn ) = Ẽt(I(S n 0)e tsn )E(e tsn ) We hebben nu een neuwe kansmaat P t met een verwachtng Ẽt gemaakt, de we alsvolgt defnëren: Voor de neuwe kansmaat geldt: Ẽ t (Y ) = E(Y etsn ) E(e tsn ) d P t dp = etsn E(e tsn ) Merk op dat onder deze neuwe kansmaat de varablen verdeeld zjn: X,..., Xn Ẽ t (f ( X ),..., f n ( X n )) = E(f (X ),..., f n (X n )e tx... e txn ) E(e tx... e txn ) = E(f (X )e tx ) E(e tx )... E(f n(x n )e txn ) E(e tx ) weer d = Ẽt(f ( X ))... Ẽt(f n ( X n )) Vervolgens zullen we kjken wat er gebeurt als we X nvullen n de neuwe verwachtng: Ẽ t (X ) = E(X e tsn ) E(e tsn ) = E(X e tx )E(e tx2 )E(e tx3 )... E(e tx )E(e tx2 )E(e tx3 )... Omdat X,..., X n d zjn, weten dus nu dat voor alle : Ẽ t (X ) = d dt F (t) = E(X e tx ) E(e tx ) = d dt ϕ(t) = d ϕ(t) dt F (t) We nemen nu t = t, zodang dat d d dt ϕ(t dt ) = 0 en dus ϕ(t) ϕ(t) = d dt F (t ) = Ẽ t (X ) = 0. We kezen t op deze maner zodat n S n 0 onder de neuwe kansmaat en zodat dus onder de neuwe kansmaat, de kans P t ( n S n 0) typsch wordt. Verder s t ook het uneke mnmum van de functe ϕ(t). Deze bestaat omdat ϕ(t) convex s en omdat lm ϕ(t) = lm ϕ(t) = t t We kunnen nu P(S n 0) als volgt berekenen: P(S n 0) = Ẽ t (I(S n 0)e t S n )E(e t S n ) = Ẽ t (I(S n 0)e t S n )e nf (t ) = Ẽ t (I(S n 0)e t S n )e n sup x (x 0 F (x)) = Ẽ t (I(S n 0)e t S n )e ni(0) 0

11 Wat we nu nog moeten doen, s laten zen dat Ẽt (I(S n 0)e t S n ) verwaarloosbaar s op deze schaal als we de lm nf n nemen, dus: lm nf n Dat doen we als volgt: n log Ẽt (I(S n 0)e t S n ) = 0 Ẽ t (I(S n 0)e t S n ) Ẽt (I(S n 0)I(S n a n)e t S n ) e t a n Pt (0 n S n a) Omdat de verdelng van n S n voor n naar de normale verdelng gaat volgens de centrale lmetstellng (µ = Ẽt (X ) = 0 en σ 2 = Ẽt (X ) 2 < ), s de kans groter dan nul en onafhankeljk van n. Nu zen we: P(S n 0) e t a n Pt (0 S n a n) e ni(0) Als we van bede kanten de logartme nemen, vervolgens delen door n en tot slot de lm nf van n nemen, kunnen we schrjven: lm nf n n log P(S n 0) I(0) Omdat we hebben laten zen dat dt voldoende was om te bewjzen geldt nu: lm nf n n log P(S n na) I(a) Door de ondergrens en de bovengrens te combneren, kunnen we nu stellng bewjzen. Bewjs Stellng : Combneer Stellng 2 en Stellng 4.

12 4 Methode van Cramer In het bewjs van stellng 4 hebben we gebruk gemaakt van de zogenaamde Cramér truc. Bj deze truc hebben we gebrukt dat de varabelen d waren. De Cramér truc s echter ook algemeen toepasbaar. In het algemene geval zjn de varabelen net d verdeeld. De truc s nu gebaseerd op het exponenteel veranderen van maat zodang dat de atypsche kans P( n S n [x δ, x+δ]) met δ klen, typsch wordt. Deze kans zullen we voortaan noteren als P( n S n x). We schrjven weer eerst deze kans om totdat we onze neuwe verwachtng (dezelfde als hervoor) hebben gevonden: P( n S n x) = E(I( n S n x)) = E[(I( n S n x))e tsn e tsn ] E(e tsn ) E(e tsn ) = Ẽt(I( n S n x)e tsn ))E(e tsn ) De neuwe verwachtng Ẽt en de neuwe kans P t voldoen dus weer aan: Ẽ t (Y ) = E(Y etsn ) E(e tsn ) d P t dp = etsn E(e tsn ) Net zoals eerder kunnen we weer t = t kezen zoals we wllen, omdat de vergeljkng geldt voor alle t. In dt geval kezen we t zo, dat lm nf n Ẽ t ( n S n) = x (op deze maner wordt P( n S n x) typsch als n groot s, en dat s wat we wllen). Dan kunnen we zeggen: lm nf P( n n S n x) = lm nf Ẽ t (I( n n S n x)e t S n ))E(e t S n ) = lm nf n e t nx E(e t S n ) = lm nf n e( n(t x n Fn(t ))) Nu stuten we op een probleem: Eerder konden we zeggen dat, omdat de varabelen d waren n F n = n log E(etSn ) = log E(e tx ) = F en was n F n dus onafhankeljk van n. Dat dt nu ook het geval s, moeten we eerst nog maar bewjzen. Wat we dus egenljk wllen s dat voor n n F n(t ) F (t ) met F (t) een of andere functe onafhankeljk van n. Dt s n het algemeen net het geval. Wel kunnen we dt laten zen voor varabelen met een bepaalde afhankeljkhed. In het volgende hoofdstuk zullen we dt laten zen voor Markov afhankljke varabelen. Als we dt bewezen hebben voor varabelen met een bepaalde afhankeljkhed, kunnen we ook nog verder redeneren. 2

13 Als we gaan kjken naar de afgelede van n F n(t ) bljkt: lm nf n = lm nf n n F n(t ) = lm nf n nẽt (S n) = x E(S n e t S n ) n E(e t S n) Dus als we hebben bewezen dat n F n(t ) F (t ) voor n, dan weten we ook dat F (t ) = x. Wat we hermee kunnen zen, s dat (xt F (t )) = x F (t ) = 0 Dt betekent dus dat de functe xt F (t) zjn supremum aanneemt voor t = t. Nu zen we dus, als we de logartme nemen en delen door n: lm nf n n log P( n S n x) = lm nf n (t x n F n(t )) = (t x F (t )) = sup(tx F (t)) = I(x) t 3

14 5 Markov afhankeljke varabelen We weten dat we met de wet van de grote aantallen kunnen zen, dat als µ = E(X ) en n S n µ, dan P( n S n µ + ɛ) 0 Verder hebben we tot nu toe gezen dat als de varabelen X onafhankeljk verdeeld zjn, de kans op een grote afwjkng zelfs exponenteel snel naar 0 gaat. In deze secte gaan we ut van Markov afhankeljke varabelen X, X 2,.., X n. We wllen ets kunnen zeggen over een bepaalde functe f van deze Markov afhankeljk varabelen. We deferen Z k = f(x k ) We gaan ut van een Markov keten met een endge toestandsrumte Ω (dus X Ω), de aperodek en rreducbel s. Er s dan dus een uneke statonare maat op de Markov keten. Het eerste wat we zen met de wet van de grote aantallen, s dat voor n : n S n = n n = Z x Ω µ(x)f(x) = E µ (f(x )) Zonder verles van algemeenhed kunnen we deze verwachtng 0 nemen: E µ (f(x )) = 0 Om te kjken of P( n n = Z > ɛ) 0 als n, gebruken we weer de ongeljkhed van Chebyshev. Echter n dt geval moeten we eerst laten zen dat Var( f(x )) net van orde n 2 of hoger s. De wet van de grote aantallen geldt mmers net voor onendg grote varante. Dat s het eerste wat we zullen doen: n n n n Var( f(x )) = E µ (( f(x )) 2 ) E µ ( f(x )) 2 = E µ (( f(x )) 2 ) = E µ ( = = j= = = n n n f(x )f(x j )) = 2E µ ( f(x )f(x j )) = = j n n = 2E µ ( (f(x )) 2 ) + 2E µ ( f(x )f(x j )) = 2(I + II) = j> Wat we nu zullen laten zen, s dat deze bede termen van orde n zjn: I = E µ ( II = = n (f(x )) 2 ) = ne µ (f(x ) 2 ) = ne µ (f(x ) 2 ) = O(n) = n E µ (f(x )f(x j )) = = j> n E µ (f(x 0 )f(x j )) = j> 4

15 We hebben herbj gebrukt dat het voor de verwachtng net utmaakt of we een stuk naar lnks of naar rechts n de Markovketen opschuven. Dt volgt ut de statonartet van de Markov keten: k : P(X = a, X j = b) = P(X +k = a, X j+k = b) Wat we vervolgens zullen laten zen s dat geldt: E µ (f(x 0 )f(x j )) e c(j ) met c een of andere posteve constante. Als we dt nameljk hebben bewezen kunnen we zeggen: II = n n E µ (f(x 0 )f(x j )) = j> = r=0 e cr = We hebben nu alleen nog nodg dat n = O(n) e c E µ (f(x 0 )f(x j )) e c(j ) n = j> e c(j ) We maken herbj de aanname dat we te maken hebben met een prmteve matrx B. In dat geval s bovenstaande ongeljkhed een drect gevolg van de zogenaamde spectral gap de ontstaat tussen de grootste egenwaarde en alle klenere egenwaarden van de matrx. Dat deze spectral gap er s, zal k bewjzen n Stellng 5 deel (b). Wat we nu gaan doen, s naar een stellng toe werken de ets zegt over P( n S n x). Herbj bedoel k met x weer [x δ, x + δ]. Om deze stellng te kunnen bewjzen, heb k eerst een andere stellng nodg. Deze stellng van Perron- Frobenus beschrjft wat egenschappen van rreducbele matrces: Stellng 5 (Perron-Frobenus) Laat B = B(, j) Ω,j= een rreducbele, prmteve matrx (edere staat n de Markovketen s te bereken vanut edere wllekeurge staat en B k > 0 voor zekere k). Dan bevat B een egenwaarde ρ (de Perron- Frobenus egenwaarde) zodat: (a) ρ > 0 s reëel. (b) Voor edere egenwaarde λ ρ van B geldt: λ < ρ. (c) Er bestaan lnker en rechter egenvectoren bj de egenwaarde ρ met alleen maar strkt postteve coördnaten. (d) De lnker en de rechter egenvectoren µ en θ bj de egenwaarde ρ zjn unek op vermengvuldgng met een constante na. (e) Voor alle Ω en edere φ = (φ,..., φ Ω ) zodat φ j > 0 voor alle j geldt: Ω lm n n log[ B n (, j)φ j ] = lm n n log[ φ j B n (j, )] = log ρ j= Ω j= 5

16 Zoals eerder aangegeven zullen we deel (b) van deze stellng bewjzen. Voor het bewjs van deel (b) heb k ook het bewjs van deel (a) nodg. Omdat k voor het bewjs van stellng 6 deel (e) van deze stellng nodg heb geef k dus n totaal dre bewjzen: deel (a), (b) en (e). Bewjs (Stellng 5 deel (a)): Neem een rjvector x, x 0 en x 0. Laat ρ(x) = mn j x b j x j 0 ρ(x) < De rechterkant van deze vergeljkng nterpreteren we als als x j = 0. Dan geldt: x j ρ(x) x b j voor alle j x ρ(x) x B x ρ(x) x B We defneren K = max j b j Dan moet gelden B K en dus ρ(x) x K x = K = max j b j Dus ρ(x) s begrensd van boven. Omdat B prmtef s, bevat B geen kolommen met alleen nullen. ρ() > 0. We kunnen nu ρ alsvolgt defneren: ρ = sup mn x b j x 0;x 0 j x j Dus ook Herut zen we dat 0 < ρ() ρ K <. Omdat zowel de teller, als de noemer net veranderen met de norm van x (met de defnte van ρ(x) zen we ρ(cx) = ρ(x)), kunnen we ook een x nemen met norm : ρ = sup mn x b j x 0;x x= j x j Nu s het gebed {x; x 0, x x = } compact n de Eucldsche n-rumte R n en ρ(x) s de half-contnue projecte van dt gebed op R. Het supremum wordt 6

17 dus aangenomen voor een zekere x, zeg ˆx. Er bestaat dus een ˆx zodat mn ˆx b j = ρ j dus j ˆx j ˆx b j ρˆx j. Kortom ˆx B ρˆx. voor edere j =, 2,..., n en met geljkhed voor een zeker element van ˆx. Bekjk nu: z = ˆxB ρˆx 0 Nu geldt z = 0 of net. Stel dat z 0. We weten dat voor k k 0, B k > 0 (omdat B prmtef s). Omdat z 0, z 0 en B k > 0 geldt: Dus ook z B k > 0 z B k = (ˆx B k )B ρ(ˆx B k ) > 0 ((ˆx B k )B) ˆx B > ρ voor elke j k j Herbj geeft het subscrpt j, het j-de element aan. Dt s n tegenstellng met de defnte van ρ. Er geldt dus altjd z = 0, dus x B = ρx Bewjs (Stellng 5 deel (b)): Laat λ een egenwaarde van B. We moeten laten zen dat als λ ρ, dan geldt: λ < ρ. Dt zullen we doen door eerst te laten zen dat λ ρ en vervolgens dat als λ = ρ, dan λ = ρ (wat n tegenstellng s met de aanname λ ρ. Voor een zekere x 0 (mogeljk complex) geldt voor alle j s: x b j = λx j (2) λx j = x b j x b j x b j λ x b j (de rechterkant s her als x j geljk s aan 0) x j λ mn x b j ρ met de defnte van ρ n het bewjs van (a) j x j dus We moeten nu alleen nog laten zen dat λ ρ. Stel λ = ρ. Dan x b j λ x j = ρ x j 7

18 Dt s een soortgeljke stuate de we zagen n het bewjs van (a): x b j = ρ x j, > 0 j =, 2,..., n Nu zen we: x b (k) j = ρ k x j, > 0 j =, 2,..., n x b (k) j = λk x j = x b (k) j = x b (k) j Als voor twee getallen γ en δ geldt γ + δ = γ + δ, dan hebben deze twee getallen dezelfde rchtng n het complexe vlak. Als we dus x j schrjven als x j = x j e θj, dan geldt θ j = θ. Als we x j n deze vorm nvullen n vergeljkng (2), krjgen we x b j = λ x j Herbj geldt: x > 0 voor alle en λ s reeel en postef. Omdat λ = ρ, moet nu gelden λ = ρ. Dt s n tegenstellng met onze aanname λ ρ. Dus λ < ρ. Bewjs (Stellng 5 deel (e)): We defnëren α, β, γ en δ als volgt: α = sup θ β = nf θ > 0 γ = sup φ δ = nf φ > 0 Herbj s θ de rechter egenvector bj egenwaarde ρ en φ en ρ zoals n de stellng. Dan geldt voor alle, j Ω: We kunnen dus nu zeggen: γ β Bn (, j)θ j θ j β Bn (, j)φ j B n (, j)φ j θ j α Bn (, j)φ j δ α Bn (, j)θ j Ω lm n n log[ B n (, j)φ j ] = lm n n log[ B n (, j)θ j ] j= Ω j= = lm n n log(ρn θ ) = lm ( n n n log(ρ) + n θ ) = log ρ Zo kunnen we op vergeljkbare wjze laten zen dat ook: Ω lm n n log[ φ j B n (j, )] = log ρ j= 8

19 Nu we het bewjs hebben gezen van stellng 5 deel (e) kunnen we bjna overgaan tot het bewjzen van de hoofdstellng van dt hoofdstuk. Maar voordat we dat doen moeten we eerst nog een aantal defntes geven. Noem Π = π(, j) Ω,j= de transte matrx van onze Markov keten met π(, j) de kans dat er vanut punt naar punt j gesprongen wordt. Laat vervolgens P π σ de kansmaat horende bj deze transte matrx Π met als startpunt σ. Dus P π σ(y = y,..., Y n = y n ) = π(σ, y )Π n = π(y, y + ). (3) Verwachtngen horende bj P π σ noteren we als E π σ. We defnëren Π t als: Defnte 3 Π t = ( π t (, j) ) Ω,j= = ( π(, j)e tf(j)) Ω,j= Omdat we te maken hebben met een rreducbele Markovketen, s de transtemartx Π rreducbel. Omdat e tf(j) > 0 s Π t dus ook rreducbel. Verder noemen we ρ(π t ) de Perron-Frobenus egenwaarde van Π t. We hebben nu genoeg nformate om te kunnen overgaan tot het bewjzen van de hoofdstellng, de als volgt ludt. Stellng 6 Laat Y k een endge Markov keten met een rredubbele transtematrx Π. Voor alle x R defnëren we: I(x) = sup(tx log ρ(π t )) t R (Hern speelt log ρ(π t ) dus de rol van F (t).) Dan geldt: lm nf n Bewjs: We defnëren net zoals eerder: n log Pπ σ( n S n x) = I(x) F n (t) = log E π σ(e tsn ). Zoals we eerder zagen s het voldoende om te laten zen dat F (t) = lm n n F n(t) = lm n n log Eπ σ(e tsn ) bestaat voor alle t R, dat F endg s, dat F dfferenteerbaar s n heel R en dat F (t) = log ρ(π t ). 9

20 Om te begnnen kjken we naar F n (t) (onder de maat P n σ): F n (t) = log E π σ(e tsn ) = log y,...,y n P π σ(y = y,..., Y n = y n )Π n k=e tf(yk) = log y,...,y n π(σ, y )e tf(y)... π(y n, y n )e tf(yn) Ω = log (Π t ) n (σ, y n ). y n= Omdat Π t rreducbel s kunnen we deel (e) van stellng 5 gebruken. Daarbj nemen we φ = (,..., ): F (t) = lm n n F n(t) = lm n n log Ω (Π t ) n (σ, y n ) = log ρ(π t ) y n= En omdat Ω endg s, s ρ(π t ) (een oplossng van de karaktersteke functe van Π t ) postef, endg en dfferenteerbaar met betrekkng tot t. Met de Cramér truc zen we nu dat de stellng klopt. 20

21 6 Voorbeeld: 2x2 matrx We bekjken n deze secte een wllekeurg voorbeeld met Markov-afhankeljke varabelen. De Markovketen bj dt voorbeeld s uteraard aperodek en rreducbel. We bekjken de Markovketen met transtematrx ] Volgens defnte 3 geldt dan: Dus Π = [ Π t = ( π(, j)e tf(j)) 2,j= Π t = [ 2 etf() 2 etf(2) 2 etf() 2 etf(2) Nu we de matrx Π t hebben gevonden kunnen de Perron-Frobenus egenwaarde ervan utrekenen. We berekenen de egenwaarden van Π t als volgt: ] Π t λi = ( 2 etf() λ)( 2 etf(2) λ) 2 etf() 2 etf(2) Herut volgt: = 4 et(f()+f(2)) 2 λ(etf() + e tf(2) ) + λ 2 4 et(f()+f(2)) = λ(λ 2 (etf() + e tf(2) ) = 0 λ = 0 of λ 2 = 2 (etf() + e tf(2) ) Omdat λ 2 > λ = 0, s λ 2 de Perron-Frobenus egenwaarde: ρ t = ρ(π t ) = λ 2 = 2 (etf() + e tf(2) ) I(x) ut stellng 6 kunnen we nu schrjven als: ( I(x) = sup tx log( t R 2 (etf() + e tf(2) )) ) ( = sup tx + log(2) log(e tf() + e tf(2) ) ) t R Deze utdrukkng van I(x) kunnen we vervolgens verder utwerken, door t te berekenen. Voor t waarvoor tx log( 2 (etf() +e tf(2) )) zjn supremum aanneemt, moet gelden: (t x log( 2 (et f() + e t f(2) ))) = 0 2

22 Dus: x = 2 (et f() + e t f(2) ) 2 (f()et f() + f(2)e t f(2) ) = f()et f() + f(2)e t f(2) e t f() + e t f(2) = f() + f(2)et (f(2) f()) + e t (f(2) f()) Als f() = 0 en f(2) =, geldt Deze functe zet er alsvolgt ut: et x = + e t Fguur : x(t*) behorende bj de 2x2 matrx met f()=0 en f(2)= We substtueren nu y = e t (f(2) f()) en zen dan: x = f() + f(2)y + y x( + y) = f() + f(2)y y(x f(2)) = f() x y = f() x x f(2) e t (f(2) f()) = f() x x f(2) t = t (f(2) f()) = log f() x x f(2) f(2) f() log(f() x x f(2) ) 22

23 Invullen geeft: x I(x) = f(2) f() log(f() x x ) + log(2) log(f() x f(2) x f(2) e Als we weer f() = 0 en f(2) = nemen, geldt f() f(2) f() f() x + x f(2) e x x I(x) = x log( ) + log(2) log( + x x ) = x log( x ) + log(2) + log( x) x I(x) s alleen gedefneerd op (0, ) en zet er alsvolgt ut: f(2) f(2) f() ) Fguur 2: I(x) behorende bj de 2x2 matrx met f()=0 en f(2)= 23

24 7 Voorbeeld: 3x3 matrx Dan gaan we nu kjken naar een ets utgebredere keten met 3 staten. Bj deze keten hoort dus een 3x3 transtematrx. Deze s dus van de vorm: P P 2 P 3 Π = P 2 P 22 P 23 P 3 P 32 P 33 Voor de rjsommen van Π moet natuurljk gelden, dat deze geljk zjn aan. Eerst zullen we even kjken wat we nu preces gaan berekenen. Bj deze Markov keten met 3 staten nemen we: met I(.) de ndcator-functe. Dan geld: Omdat S n = n f(y ) = = f(y) = I(y = x ) n I(y = x ) = aantal bezoeken aan x = E(S n ) µ(x ) n en Var(S n ) = O(n) kunnen we nu weer met de wet van de grote aantallen zeggen dat voor n : Dus nu zen we n S n µ(x ) P( n S n µ(x ) ɛ) e n(nf x µ(x ) ɛ I(x)) met I(x) = sup(tx log ρ(π t )) t Als we nu kjken naar f(y) zen we dat deze geljk s aan voor de eerste staat en 0 voor de tweede en derde staat. Π t zet er dus alsvolgt ut: P e t P 2 P 3 Π t = P 2 e t P 22 P 23 P 3 e t P 32 P 33 Zoals we hebben gezen n voorbeeld moeten we een aantal stappen nemen om de utendeljke I(x) te kunnen berekenen. Dezelfde stappen zullen we bj een keten met 3 staten weer moeten nemen. Echter zouden deze stappen wel een stuk moeljker kunnen zjn bj een 3x3 matrx. 24

25 Om dt rekenwerk wat makkeljker te maken, kunnen we bepaalde esen stellen aan de transtematrx. We kunnen deze bjvoorbeeld symmetrsch nemen. Ik ben met Mathematca aan de slag gegaan om te kjken bj welke transtematrces, k een Perron-Frobenus egenwaarde kreeg, waar k mee verder kon rekenen. Utendeljk kon k pas echt goed verder werken bj een hele makkeljke matrx: Π = Op deze maner s Π rreducbel en zjn de rjsommen. Π t zet er dan alsvolgt ut: Π t = et 3 3 et 3 3 et 3 Van deze matrx heb k met behulp van Mathemca de egenwaarden berekend. Deze zjn: λ = 0, λ 2 = 0, λ 3 = 3 (2 + et ) De Perron-Frobenus (grootste) egenwaarde s dus dudeljke λ 3. Invullen n I(x) geeft: I(x) = sup(tx log( t 3 (2 + et ))) = sup(tx + log(3) log(2 + e t )) t Om het supremum over t te berekenen leden we weer af naar t en stellen dan geljk aan 0. Dan komen we op et x = 2 + e t 25

26 Deze functe zet er alsvolgt ut: Fguur 3: x(t) behorende bj de eerste 3x3 matrx Vervolgens drukken we t ut n x: (2 + e t )x = e t e t ( x) = 2x t = log( 2x x ) Tot slot vullen we t n: I(x) = x log( 2x x ) log( 2x (2 + elog( x ) )) 3 = x log( 2x x ) log( 2x (2 + 3 x )) 2 = x log(x) + x log(2) x log( x) + log(3) log( x ) = ( x) log( x) + x log(x) + log(3) ( x) log(2) 26

27 Deze functe zet er alsvolgt ut: Fguur 4: I(x) behorende bj de eerste 3x3 matrx Als laatste bekjken we nog een symmetrsche transttematrx. Hervoor kunnen we geen exacte oplossng vnden, maar kunnen we de oplossng wel numerek benaderen. We kezen P = 2 voor =, 2, 3 en P j = 4 met j en, j =, 2, 3. Alle rjsommen zjn dan en de overgangs matrx Π s rreducbel en symmetrsch. Π t zet er nu alsvolgt ut: Π t = 2 et 4 4 et 2 4 et 4 We berekenen wederom de egenwaarden met Mathematca. We krjgen dan de volgende egenwaarden: λ = 4 λ 2 = 8 (3 + 2et 9 4e t + 4e 2t ) λ 3 = 8 (3 + 2et + 9 4e t + 4e 2t ) Het s dudeljk dat λ 3 de grootste egenwaarde s, dus Voor I(x) geldt dus ρ(π t ) = 8 (3 + 2et + 9 4e t + 4e 2t ) I(x) = sup(tx + log(8) log(3 + 2e t + 9 4e t + 4e 2t )) t Door af te leden naar t en geljk te stellen aan 0, vnden we het supremum voor 27

28 een of andere t. Dus (t x + log(8) log(3 + 2e t + 9 4e t + 4e 2t )) = 0 Deze functe zet er alsvolgt ut: x = λ 3 λ 3 = 2e t + 2 4et +8e 2t 9 4e t +4e 2t 3 + 2e t + 9 4e t + 4e 2t Fguur 5: x(t) behorende bj de tweede 3x3 matrx Omdat we n dt voorbeeld net va de algebrasche weg t kunnen utdrukken n x, zullen we dt numerek gaan doen. Met behulp van het computerprogramma Matlab krjgen we dan de grafek van t de te zen s n fguur 6 (de bjbehorende code staat n de bjlage). 28

29 Fguur 6: t*(x) behorende bj de tweede 3x3 matrx Met deze numereke berekende waarden van t hebben we vervolgens ook de grafek van I(x) kunnen maken: Fguur 7: I(x) behorende bj de tweede 3x3 matrx We zen dus dat, als we te maken hebben met varabelen ut een rreducbele Markovketen, we ook dan de Legendre getransformeerde functe I(x) kunnen berekenen (explcet of numerek). Met deze functe I(x) kunnen we het bewjs leveren dat de kans op een grote afwjkng exponenteel snel naar 0 gaat: lm nf n Pπ σ( n S n x) = lm nf n e n I(x) 0 29

30 8 Concluse Voor mjn Bachelor-onderzoek ben k gedoken n de theore van de grote afwjkngen. Voordat k met dt onderzoek begon, had k nog noot gehoord van een dergeljke theore en wst k nog net eens wat er bedoeld werd met een grote afwjkng. Gedurende mjn onderzoek kreeg k een steeds beter beeld van wat deze theore preces nheld en kon k ook steeds meer bedenken n welke rchtngen nog verder gewerkt kan worden. Ik denk dan ook dat k op dt moment slechts een zeer klen gedeelte van de wereld van de grote afwjkngen heb bestudeerd. Zo heb k n de eerste hoofdstukken de aanname gedaan dat de varabelen onafhankeljk en dentek verdeeld waren. Deze aanname maakte het werk een stuk makkeljker. En k denk dat k op dt moment ook nog te weng kenns van allerle gebeden van de wskunde heb, om te werken zonder deze aanname (of met een verzwakkng van deze aanname). Op adves van mjn begeleder heb k nog wel gekeken naar varabelen de een bepaalde Markovafhankeljkhed hadden. Met deze verzwakte aanname heb k met mjn hudge kenns van wskunde nog wel wat onderzoek kunnen doen. Tot slot heb k zelfs wat voorbeelden kunnen geven van dt onderzoek met betrekkng tot Markovafhankeljke varabelen. Kortom, k heb na deze scrpte eng beeld gekregen van wat de theore van de grote afwjkngen nhoudt. Daarnaast kan k een aantal rchtngen aangeven waarn er op dt gebed onderzoek wordt gedaan of kan worden gedaan. 30

31 9 Referentes - F.W. Redg, Handouts, Leden Amr Dembo en Ofer Zetoun, Large Devatons Technques and Applcatons, 2 e edte - S.R.S. Varadhan, Large Devatons and Applcatons - Pet van Oostrum, Handledng LaTeX - E. Seneta, Non-negatve Matrces and Markov Chans, 2 e edte 3

32 0 Bjlage =; for =:200 z()=./20; (2.*exp(x)+(-4.*exp(x)+8.*exp(2.*x))./ (2.*sqrt(9-4.*exp(x)+4.*exp(2.*x))))./(3+2.*exp(x)+sqrt(9-4.*exp(x)+4.*exp(2.*x)))-z(); [w(),fval]=fsolve(y,0); x()=./20; p()=w().*x()+log(8)-log(3+2.*exp(w())+sqrt(9-4.*exp(w())+4.*exp(2.*w()))); =+; end plot(x,w, lnewdth,2) plot(x,p, lnewdth,2) 32