Formules uit de cursus Waarschijnlijkheidsrekenen en statistiek

Transcriptie

1 UNIVERSITY OF GHENT Samenvatting Formules uit de cursus Waarschijnlijkheidsrekenen en statistiek Auteur: Nicolas Vanden Bossche Lesgever: Prof. Hans De Meyer

2 Hoofdstuk 1 Het kansbegrip en elementaire kansrekening 1.1 Formules P (A) = #A #Ω P (A B) = P (A) + P (B) P (A B) p = oppervlakte A oppervlakte Ω R n (A) = F n(a) n P (A) = lim n R n(a) of nog P (A) = maat van A maat van Ω 1

3 Hoofdstuk Axioma s van de kanstheorie en het begrip voorwaardelijke kans.1 Unie van kansen ( ) A k disjunct P A k = P (A k ) k=1 k=1. Voorwaardelijke kansen P (A B) = P (A B) P (B) P (A B C) = P (A C) + P (B C) P (A B C) Vermenigvuldigingsregel: ( n ) P A i = P (A 1 ) P (A A 1 ) P (A 3 A 1 A ) i=1 Totalekansformule: P (B) = P (A 1 B) + P (A B) + + P (A n B) = P (A 1 ) P (B A 1 ) + P (A ) P (B A ) + + P (A n ) P (B A n ) Regel van Bayes: P (A i B) = P (A i)p (B A i ) P (A i )P (B A i ) = P (B) P (A 1 )P (B A 1 ) + + P (A n )P (B A n )

4 Hoofdstuk. Axioma s van de kanstheorie en het begrip voorwaardelijke kans3.3 Onafhankelijke gebeurtenissen.3.1 Gewoon onafhankelijk P (A B) = P (A) P (A B) = P (A)P (B).3. Voorwaardelijk onafhankelijk P (A B C) = P (A C)P (B C).4 Inclusie-exclusie.4.1 Formule Inclusie-exclusieformule: ( n ) n P A k = P (A i ) k=1.4. Incidentie i=1 1 i 1<i n ( n ) + ( 1) n+1 P A k k=1 De kans op ten minste 1 incidentie: ( ) N (N 1)! p a = P (A 1 A n ) = 1 N! = 1 1! + 1 3! + ( 1)N+1 1 N! P (A i1 A i ) + ( ) N (N )! + N! 1 i 1<i <i 3 n P (A i1 A i A i3 ) ( ) N (N 3)! 3 N! De kans op juist k incidenties: p k = q N k met q N = 1 k!! 1 3! ( 1)N+1 N! 3

5 Hoofdstuk 3 Rijen toevalsexperimenten en Markov-ketens 3.1 Bernoulli Kans op m keer succes op n experimenten: p n (m) = ( ) n m p m q n m 3. De Moivre-Laplace 3..1 Lokale limietstelling De kans dat A zicht juist m keer voordoet op n experimenten: Voor z : lim πnpq e z / p n (m) = 1 n met z = m np npq 1 Of nog: p n (m) πnpq e z / 3.. Integrale limietstelling Voor S n het aantal successen in n opeenvolgende experimenten en voor elke a ( b: lim P a S ) n np b = 1 b e z / dz n npq π a 4

6 Hoofdstuk 3. Rijen toevalsexperimenten en Markov-ketens Stochastisch convergeren (Stelling van Bernoulli) ( ) lim P S n n n p ɛ = 1, ɛ > 0 Of nog: S n n p p 3.4 De functie Φ Φ(x) = 1 π x e z / dx 1 b e z / dz = Φ(b) Φ(a) π a 3.5 Limietstelling van Poisson lim n p n(m) = λm m! e λ met λ = np Of nog: p n (m) (np)m e np m! 3.6 Markovketens π n = (π 1 ) n Evenwichtsvergelijkingen: p j = k p i p ij met p i j de kans om van i naar j te gaan in 1 stap i=1 Normaliseringsvergelijking: k p i = 1 i=1 3.7 Geboorte-dood processen Formule: p i b i = p i+1 d i+1 voori = 0,..., m met b i = P (A (n+1) i+1 A (n) i ) en d i = P (A (n+1) i 1 A (n) i ) Of nog: p i = p 0 b 0 b 1 b i 1 d 1 d d i met i = 1,..., m 5

7 Hoofdstuk 3. Rijen toevalsexperimenten en Markov-ketens Limietstellingen voor homogene Markov-ketens met k = Lokale limietstelling Voor p n (m) de kans op m keer succes in n opeenvolgende experimenten met de volgende parameters: ( ) α 1 α π 1 = met (α, β) ]0, 1[ β 1 β β, p = 1 α + β, q = 1 p Er geldt: 1 α + β z = (m np) mα(1 α) + (n m)β(1 β) Of nog (voor z eindig): 1 α + β / p n (m) πnpq(1 + α β) e z 3.8. Integrale limietstelling Voor S n het aantal successen in n opeenvolgende experimenten, voor alle a b en dezelfde parameters als hierboven: ( ) 1 α + β P a (S n np) npq(1 + α β) b 1 π b a = Φ(b) Φ(a) e z / dz 6

8 Hoofdstuk 4 Toevalsveranderlijken 4.1 Discrete toevalsveranderlijken Algemene formules P (X S) = p X (x) x W p x (x) = 1 x S Voor Y = g(x) geldt: p Y (y) = {x g(x) = y}p X (x) 4.1. Verwachtingswaarde en variantie Verwachtingswaarde E[X] = xp X (x) x W µ k (X) = E[X k ] Variantie var(x) = E[(X E[X]) ] σ X = var(x) Eigenschappen E[g(X)] = x W g(x)p X (x) Voor Y = ax + b geldt: 7

9 Hoofdstuk 4. Toevalsveranderlijken 8 E[Y ] = ae[x] + b var(y ) = a var(x) var(x) = E[X ] (E[X]) 4. Continue toevalsveranderlijken 4..1 Algemene formules P (X B) = f X (x)dx B P (a X b) = f X (x)dx = 1 b a f X (x)dx 4.. Verwachtingswaarde en variantie Verwachtingswaarde E[X] = xf X (x)dx Variantie var(x) = E[X ] (E[X]) Eigenschappen E[g(X)] = g(x)f X (x)dx Voor Y = ax + b geldt: E[Y ] = ae[x] + b var(y ) = a var(x) 8

10 Hoofdstuk 4. Toevalsveranderlijken Cumulatieve verdelingsfuncties Discreet F X (x) = P (X x) = k x p X (x) = F X (x) F X (x 1) 4.3. Continu x F X (x) = f X (t)dt f X (x) = df X dx (x) p X (k) 4.4 Centrale momenten, skewness en kurtosis (Genormaliseerde) centrale momenten Het k-de centrale moment: µ k (X) = E[(X E[X])k ] Het genormaliseerde k-de centrale moment: α k (X) = E[(X E[X])k ] (var(x)) k/ 4.4. Skewness α 3 (X) > 0: scheef naar rechts α 3 (X) < 0: scheef naar links α 3 (X) = 0: symmetrisch Kurtosis α 4 (X) > 3: gepiekt α 4 (X) < 3: afgeplat α 4 (X) 3: mesokurtic 9

11 Hoofdstuk 5 Gezamenlijke en voorwaardelijke kansverdelingen 5.1 Gezamenlijke discrete toevalsveranderlijken Algemeen p X,Y (x, y) = P ({X = x} {Y = y}) = P (X = x, Y = y) Marginaal: p X (x) = y p Y (y) = x p X,Y (x, y) p X,Y (x, y) 5.1. Eigenschappen Voor Z = g(x, Y ) geldt: p Z (z) = E[g(X, Y )] = x g(x, y)p X,Y (x, y) E[aX + by ] = ae[x] + be[y ] y {(x,y) g(x,y)=z} p X,Y (x, y) 5. Gezamenlijke continue toevalsveranderlijken 5..1 Algemeen P ((X, Y ) B) = (x,y) B f X,Y (x, y)dxdy 10

12 Hoofdstuk 5. Gezamenlijke en voorwaardelijke kansverdelingen 11 d P (a X b, c Y d) = P (X A) = A Marginaal: b c a f X,Y (x, y)dxdy f X,Y (x, y)dydx = F X (x) A f X (x) = f Y (y) = f X,Y (x, y)dy f X,Y (x, y)dx 5.. Eigenschappen Als X en Y gezamenlijk normaal verdeeld zijn met parameters σ X, σ Y, µ X, µ Y en ρ, dan geldt dat X d = N(µ X, σ X ) en Y d = N(µ Y, σ Y ) E[g(X, Y )] = E[aX + by ] = ae[x] + be[y ] g(x, y)f X,Y (x, y)dxdy 5.3 Gezamenlijke cumulatieve verdelingen Discreet F X,Y (x, y) = k x l ypx,y (k, l) Voor X = {x 1, x,...} en Y = {y 1, y,...}: p X,Y (x k, y l ) = F X,Y (x k, y l ) F X,Y (x k 1, y l ) F X,Y (x k, y l 1 )+F X,Y (x k 1, y l 1 ) 5.3. Continu x F X,Y (x, y) = y f X,Y (x, y) = F X,Y x y f X,Y (s, t)dsdt (x, y) 11

13 Hoofdstuk 5. Gezamenlijke en voorwaardelijke kansverdelingen Covariantie en correlatie Algemeen cov(x, Y ) = E[(X E[X])(Y E[Y ])] ρ(x, Y ) = cov(x, Y ) var(x)var(y ) 5.4. Eigenschappen cov(x, Y ) = E[XY ] E[X]E[Y ] cov(ax + by + c, Z) = acov(x, Z) + bcov(y, Z) var(ax + by ) = a var(x) + b var(y ) + abcov(x, Y ) 5.5 Voorwaardelijke kansverdelingen Discreet Algemeen p X A (x) = P (X = x A) = P ({X = x} A P (A) p X Y (x y) = P (X = x Y = y) = p X,Y (x, y) p Y (y) Totalekansformule: p X (x) = n P (A i )p X A (x) met A 1 A n een partitie voor Ω Verwachting i=1 E[X A] = x xp X A (x) E[X Y = y] = x xp X Y (x y) E[g(X) A] = x g(x)p X A (x) E[g(X) Y = y] = x g(x)p X Y (x y) Formule van totale verwachting: E[X] = n P (A i )E[X A i ] i=1 1

14 Hoofdstuk 5. Gezamenlijke en voorwaardelijke kansverdelingen Continu Algemeen f X A (x) = f X(x) P (X A) f X,Y (x, y), x A f X Y (x y) = f Y (y) 0, elders Totalekansformule: f X (x) = n P (A i )p X A (x) met A 1 A n een partitie voor Ω i=1 Verwachting E[X A] = xp X A (x) E[X Y = y] = xp X Y (x y) E[g(X) A] = g(x)p X A (x) E[g(X) Y = y] = g(x)p X Y (x y) Formule van totale verwachting: E[X] = n P (A i )E[X A i ] i=1 5.6 Onafhankelijkheden Voor alle X en Y onafhankelijk geldt: Discreet p X A (x) = p X (x) p X,Y (x, y) = p X (x)p Y (y) p X,Y A (x, y) = p X A (x)p Y A (y) p X1 X n (x 1 x n ) = p X1 (x 1 )p X (x ) 13

15 Hoofdstuk 5. Gezamenlijke en voorwaardelijke kansverdelingen Continu f X,Y (x, y) = f X (x)f Y (y) Of nog: f X Y (x y) = f X (x), (x, y) : f Y (y) > 0 f Y X (y x) = f Y (y), (x, y) : f X (x) > 0 f X1 X n (x 1 x n ) = f X1 (x 1 )f X (x ) Algemeen F X,Y (x, y) = F X (x)f Y (y) F X1 X n (x 1 x n ) = F X1 (x 1 )F X (x ) E[XY ] = E[X]E[Y ] cov(x, Y ) = 0 var(ax + by ) = a var + b var(y ) 14

16 Hoofdstuk 6 Functies van toevalsveranderlijken 6.1 Afgeleide verdelingen Algemeen Haal f Y uit f X met Y = g(x): 1. F Y (y) = P (g(x) y) =. f Y (y) = df Y (Y ) dy {x g(x) y} X d = N(0, 1) X d = Gamma( 1, 1 ) f X (x)dx Gamma( n, 1 ) = χ n met E[X] = n en var(x) = n 6.1. Lineaire functies Voor Y = ax + b geldt: Continu: f Y (y) = 1 a f X( y b a ) Exponentieel: f Y (y) = λ a e λ(y b)/a 15

17 Hoofdstuk 6. Functies van toevalsveranderlijken 16 Normaal: f Y (y) = 1 π a σ e (y b aµ) /a σ Monotone functies Voor g strikt monotoon en Y = g(x) waarbij y = g(x) en x = h(y) geldt: f Y (y) = f X (h(y)) dh(y) dy 6. Momentgenererende functies 6..1 Algemeen Functie: M X (s) = E[e sx ] = x e sx p X (x) = e sx f X (x)dx Y = ax + b M Y (s) = e sb M X (sa) µ k (X) = E[X k ] = dk ds k M X(s) s=0 6.. Onafhankelijkheden Voor X en Y onafhankelijk en Z = X + Y geldt: M Z (s) = M X (s)m Y (s) Voor X 1... X n onafhankelijke Poisson-veranderlijken met parameters λ 1... λ n : d Z = X X n = Poisson(λ1 + + λ n ) d Voor X 1 = N(µ1, σ1), d..., X n = N(µn, σn) en onafhankelijk: d Z = X X n = N(µ1 + + µ n, σ1 + + σn) d d Voor X 1 = Gamma(α1, β),..., X n = Gamma(αn, β) en onafhankelijk: d Z = X X n = Gamma(α1 + + α n, β) 16

18 Hoofdstuk 6. Functies van toevalsveranderlijken Convolutie Voor Z = X + Y en X en Y onafhankelijk, geldt: p Z (z) = x p X (x)p Y (z x) f Z (z) = f X (x)f Y (z x)dx 6.4 Randomgeneratoren Algemeen U 1, U,..., uniform verdeeld op [0, 1] noemen we een rij onafhankelijke randomgetallen. Multiplicatieve congruentiemethode met multiplicator r, de modulus m en de startwaarde x 0 : x n = rx n 1 modm, n = 1,, Pseudo-inverse van F X (x) F ( 1) X (y) = min{x R F X (x) y} Voor F X continu en strikt stijgend: F ( 1) X = F 1 X F ( 1) X (y) u y F X(u) Voor F : R [0, 1] een niet-dalende functie met F () = 0 en F ( ) = 1: U d = U[0, 1] X = F ( 1) (U) heeft F als cumulatieve verdelingsfunctie 6.5 Statistieken Een statistiek is een functie g(x 1, X,..., X n ) X n = n X i i=1 n met E[ X n ] = E[X] en var( X n ) = var(x) n ) X d = N(µ, σ ) X n d = N ( µ, σ n 17

19 Hoofdstuk 6. Functies van toevalsveranderlijken 18 Steekproefvariantie: S n = n (X i X n ) i=1 n 1 Steekproefstandaardafwijking: n (X i X n ) i=1 S = n 1 E[S n] = var(x) Voor de steekproefvariantie S n van een aselecte steekproef van omvang n, geldt: Steekproefmoment: Scheefheid: α 3 = M 3 (M )3/ Kurtosis: α 4 = M 4 (M ) (n 1)S n σ d = χ n 1 Sn is onafhankelijk van X n E[Sn] = σ Het k-de moment M k = Het k-de centrale moment M k = 6.6 Ordestatistieken Algemeen Men noemt Y k de k-de orde statistiek als: var(s n) = σ4 n 1 n Xi k i=1 n n (X i X n ) k i=1 n Y 1 Y n 18

20 Hoofdstuk 6. Functies van toevalsveranderlijken 19 F Yk (y) = n j=k Voor X continu: ( n ) j [FX (y)] j [1 F X (y)] n j F Yk (y) = k ( n k) [FX (y)] k 1 [1 F X (y)] n k f X (y) Voor k = 1: Voor k = n: F Y1 (y) = 1 [1 F X (y)] n f Y1 (y) = n[1 F X (y)] n 1 f X (y) 6.6. Begrippen Steekproefbereik R = Y n Y 1 F Yn (y) = [F X (y)] n f Yn (y) = n[f X (y)] n 1 f X (y) Midden van het steekproefbereik MR = Y 1 + Y n Y n + Y n +1, als n even is Steekproefmediaan M = Y n, als n oneven is Percentiel P p = (1 q)y k + qy k+1 met p ]0, 100[, k = het geheel deel van (n+1)p 100 en q het fractioneel deel P 5 = Q 1, P 5 0 = Q = M, P 7 5 = Q 3 Interkwartielbereik IRQ = Q 3 Q Eigenschappen Voor j < k geldt: n! (j 1)!(k j 1)!(n k)! [F X(y)] j 1 f X (y) f Yj,Y k (y, z) = [F X (z) F X (y)] k j 1 f X (z)[1 F X (z)] n k, als y z 0 elders 19

21 Hoofdstuk 6. Functies van toevalsveranderlijken 0 De kansdichtheidsfunctie van het steekproefbereik R: { n(n + 1) f R (r) = [F X(x) F X (x r)] n f X (x r)f X (x)dx, als r > 0 0, als r 0 0

22 Hoofdstuk 7 Wet van de grote aantallen en de centrale limietstelling 7.1 De ongelijkheden van Markov en Chebyshev De ongelijkheid van Markov P (X a) E[X] a!! Xn p E[X]!! 7.1. De ongelijkheid van Chebyshev P ( X E[X] c) var(x) c 7. De centrale limietstelling Voor X 1, X,... met dezelfde verdeling en onafhankelijk waarvoor E[X i ] = µ < en var(x i ) = σ < en > 0: ( ) x R : lim P (X1 µ) + + (X n µ) x = 1 x e z / dz n nσ π Of nog: n( Xn µ) d Z n = /rightarrow N(0, 1) σ 1

23 Hoofdstuk 8 Schatten, schatters en betrouwbaarheidsintervallen 8.1 Schatters Meest aannemelijke schatter ˆθ = max f n (x 1,..., x n θ) θ 8.1. De momentenmethode Voor n parameters te bepalen, gebruik je minstens n van de volgende vgl: µ k = m k of nog E[X k ] = 1 n X k i 8. Kwaliteit van schatters Een schatter δ is zuiver als: bias(δ) = E θ [δ] θ = 0 waarbij E θ [Z] = E θ [g(x 1,..., X n )] = g(x 1... x n )f(x 1... x n θ)dx 1... dx n Gemiddelde kwadratische fout: MSE(δ) = E θ [(δ(x 1,..., X n ) θ) ] = var(δ(x 1,..., X n )) + bias(δ)

24 Hoofdstuk 8. Schatten, schatters en betrouwbaarheidsintervallen Betrouwbaarheidsintervallen Voor de verwachtingswaarde Voor X normaal verdeeld met ONBEKENDE verwachting en BEKENDE variantie: T 1 = X n z α T = X n + z α 8.3. Voor relatieve frequenties σ n σ n Neem ˆp = S n n als schatter: T 1 = ˆp z α ˆp(1 ˆp) n ˆp(1 ˆp) T = ˆp + z α n Voor de variantie Voor X normaal verdeeld met BEKENDE verwachting en ONBEKENDE variantie: met ˆσ = 1 n i=1 (X i µ) Of met steekproefvariantie: met Sn = 1 n 1 i=1 (X i X n ) T 1 = nˆσ χ n, α nˆσ T = χ n,1 α T 1 = (n 1)S n χ n 1, α T = (n 1)S n χ n 1,1 α 3

25 Hoofdstuk 8. Schatten, schatters en betrouwbaarheidsintervallen z α -tabel α γ α z α z α

26 Hoofdstuk 9 Het toetsen van hypothesen 9.1 Testen en hun betrouwbaarheid De testfunctie { 1, x R(ejection) φ(x) = 0, x A(cceptance) 9.1. Fouten van type I en II Fout van type I : een ware H 0 wordt verworpen Fout van type II: een valse H 0 wordt aangenomen Tabel H 0 waar H 0 vals H 0 aanvaarden 1 α β H 0 verwerpen α 1 β 9. De verschillende testen 9..1 z-test normaal gemiddelde, 1 populatie, σ BEK- END Kies H 0 : µ = µ 0 Kies α Bereken x n en z = x n µ 0 σ n Kies H 1 = 5

27 Hoofdstuk 9. Het toetsen van hypothesen 6 H 1 : µ < µ 0 H 0 verwerpen z < z α H 1 : µ > µ 0 H 0 verwerpen z > z α H 1 : µ µ 0 H 0 verwerpen z > z α 9.. t-test normaal gemiddelde, 1 populatie, σ ONBEK- END Kies H 0 : µ = µ 0 Kies α Bereken x n, s n en t = x n µ 0 s n /n Kies H 1 = H 1 : µ < µ 0 H 0 verwerpen t < t n 1,1 α H 1 : µ > µ 0 H 0 verwerpen t > t n 1,α H 1 : µ µ 0 H 0 verwerpen t > t n 1, α 9..3 z-test normale gemiddelden, populaties, σ 1 en σ BEKEND Kies H 0 : µ 1 µ = δ Kies α Bereken x n, ȳ m en z = Kies H 1 = x n ȳ m δ σ 1 /n + σ /m H 1 : µ 1 µ < δ H 0 verwerpen z < z α H 1 : µ 1 µ > δ H 0 verwerpen z > z α H 1 : µ 1 µ δ H 0 verwerpen z > z α 9..4 t-test normale gemiddelden, populaties, σ 1 en σ ONBEKEND Kies H 0 : µ 1 µ = δ Kies α Bereken x n, ȳ m, s 1, s, s p = (n 1)s 1 + (m 1)s n + m en t = x n ȳ m δ s (n + m) p nm 6

28 Hoofdstuk 9. Het toetsen van hypothesen 7 Kies H 1 = H 1 : µ 1 µ < δ H 0 verwerpen z < z α H 1 : µ 1 µ > δ H 0 verwerpen z > z α H 1 : µ 1 µ δ H 0 verwerpen z > z α 9..5 Goodness-of-fit verwerp H 0 χ > χ j 1 r,α met r het aantal geschatte parameters Hierbij is χ = n (N j nπ j ) j=1 nπ j en π j = N p j met N j het aantal dat gemeten is voor j Veel succes op het examen! 7