Stochastiek 2. Inleiding in de Mathematische Statistiek 1 / 18

Transcriptie

1 Stochastiek 2 Inleiding in de Mathematische Statistiek 1 / 18

2 t-toetsen 2 / 18

3 Steekproefgemiddelde en -variantie van normale observaties Stelling. Laat X 1,..., X n o.o. zijn en N(µ, σ 2 )-verdeeld. Dan: (i) X N(µ, σ 2 /n), (ii) (n 1)S 2 X /σ2 χ 2 n 1, (iii) X en SX 2 zijn onafhankelijk (!), (iv) n( X µ)/s X t n 1. 3 / 18

4 Eensteekproef-t-toets Eensteekproef geval: we hebben één steekproef X 1,..., X n, o.o., N(µ, σ 2 )-verdeeld, met zowel µ als σ onbekend. Probleem: hypothese over de verwachting µ. Voor gegeven µ 0 R één van H 0 : µ µ 0, H 0 : µ µ 0, of H 0 : µ = µ 0. vb / 18

5 Tweesteekproevenprobleem Tweesteekproeven geval: we hebben twee steekproeven, X 1,..., X m o.o. uit verdeling I en Y 1,..., Y n o.o. uit verdeling II. Probleem: Algemeen: vergelijken verdelingen I en II. Meestal: is de verwachting van verdeling I gelijk aan die van verdeling II of niet? Twee deelgevallen: - gepaarde waarnemingen: m = n en data vormen natuurlijke paren (X 1, Y 1 ),..., (X n, Y n ). Coördinaten binnen een paar mogen afhankelijk zijn, paren onderling onafhankelijk. Typisch voorbeeld: X i voor, Y i na. - ongepaarde waarnemingen: mogelijk n m, meestal X -vector en Y -vector onafhankelijk. vb. 4.33, 4.34, / 18

6 Aanpassingstoetsen (goodness-of-fit) 6 / 18

7 Empirische verdelingsfunctie Gegeven: X 1,..., X n o.o., verdelingsfunctie F. Empirische verdelingsfunctie: F n (x) = 1 n #{i : X i x} = 1 n n 1 {Xi x},, x R. i=1 Voor elke x R: EF n (x) = F (x), F n (x) b.z. F (x) als n. Dus voor vaste x is F n (x) een zuivere, consistente schatter voor F (x). 7 / 18

8 Kolmogorov-Smirnov-toets (vb 4.38) Waarnemingen: X 1,..., X n o.o., verdelingsfunctie F. Hypothesen: H 0 : F = F 0, tegen H 1 : F F 0, gegeven F 0. Toetsingsgrootheid: T = sup x R F n (x) F 0 (x). Toets: verwerp H 0 als T c voor zekere c > 0. Stelling. Onder H 0 (i.e. als F = F 0 ) heeft T een verdeling die onafhankelijk is van F 0. N.B. Er zijn uitbreidingen naar H 0 : F {F θ : θ Θ}. Belangrijk voorbeeld: H 0 : F {N(µ, σ 2 ) : µ R, σ 2 > 0}. ZIE OPGAVE 4.46 (4.42)!!! 8 / 18

9 Likelihood-ratiotoetsen 9 / 18

10 Likelihood-ratiostatistiek Setting: waarneming X p θ, θ Θ, partitie Θ = Θ 0 Θ 1, hypotheses H 0 : θ Θ 0, H 1 : θ Θ 1. Definitie. De likelihood-ratiostatistiek is λ(x ) = sup θ Θ p θ (X ) sup θ0 Θ 0 p θ0 (X ) Idee: als λ(x ) groot is, dan is het sup over Θ 1 groter dan het sup over Θ 0. Dan ligt de MLS in Θ 1, wat er op duidt dat H 1 waar is. vb / 18

11 Likelihood-ratiostatistiek - asymptotische verdeling Nu: o.o. waarnemingen X 1,..., X n p θ, θ Θ R k. Voor alle x, θ p θ (x) is differentieerbaar. Aanname: stel dat voor θ 0 Θ 0 : n(θ θ0 ) k-dim. lineaire ruimte, n(θ0 θ 0 ) k 0 -dim. lineaire ruimte als n. Stelling In deze setting geldt onder regulariteitsvoorwaarden dat onder P θ0, 2 log λ n (X 1,..., X n ) d χ 2 k k 0 als n. 11 / 18

12 Likelihood-ratiotoets In de voorgaande setting heeft voor grote n de volgende toets dus bij benadering niveau α (0, 1): verwerp H 0 als 2 log λ n (X 1,..., X n ) χ 2 k k 0,1 α. Dit is de likelihood-ratiotoets. N.B.: als niet is voldaan aan de voorwaarden kan de chikwadraat benadering helemaal fout zijn! vb. 4.44, 4.46, / 18

13 Toetsingstheorie 13 / 18

14 Optimale toetsen - Definitie Definitie. Een toets met onderscheidend vermogen θ π(θ; K) heet uniform meest onderscheidend (UMP) bij niveau α, voor het toetsen van H 0 : θ Θ 0 tegen H 1 : θ Θ 1, als de toets niveau α heeft en voor iedere andere toets van niveau α, met kritiek gebied K, geldt dat θ Θ 1 : π(θ; K) π(θ; K ). 14 / 18

15 Optimale toetsen - enkele feiten UMP toetsen bestaan niet altijd. Het kan nodig zijn om lotingstoetsen te bekijken. Formeel een afbeelding ϕ : X [0, 1]. Interpretatie: als we X = x observeren, verwerpen we H 0 met kans ϕ(x). Als de hypothesen enkelvoudig zijn: H 0 : θ = θ 0 tegen H 1 : θ = θ 1 voor zekere θ 0, θ 1, dan bestaat er een UMP (lotings)toets: Neyman-Pearson lemma. 15 / 18

16 Neyman-Pearson Setting: waarneming X p θ, θ Θ = {θ 0, θ 1 }. Statistiek: L(θ 1, θ 0 ; X ) = p θ1 (X )/p θ0 (X ). Aanname: Voor α (0, 1) bestaat er een c α z.d.d. P θ0 (L(θ 1, θ 0 ; X ) c α ) = α. Stelling. (Neyman-Pearson Lemma) De toets met kritiek gebied K = {x : L(θ 1, θ 0 ; x) c α } is een UMP toets van niveau α voor dit probleem. vb / 18

17 Optimale toetsen - nog meer feiten Als de verdelingsfunctie van de statistiek L niet continu is onder H 0, dan lotingstoets nodig. (Zie Stelling 6.34, vb ) Voor modellen met een monotone likelihood-ratio bestaat er een UMP (lotings)toets voor hypothesen van de vorm H 0 : θ θ 0 tegen H 1 : θ θ 1. Speciaal geval: de Gauss-toets is UMP voor het toetsen van deze hypothesen (voor θ de verwachting). (Zie sectie ) 17 / 18

18 Optimale toetsen - t-toets Voor het probleem van de t-toets (normale steekproef, toets voor verwachting bij onbekende variantie) bestaat geen UMP toets (voor niveau α < 1/2) De t-toets is wel uniform meest onderscheidend binnen de klasse van zuivere toetsen. (Zie Stelling 6.50 (6.49).) Definitie. Een toets heet zuiver van niveau α als voor alle θ 0 Θ 0 en θ 1 Θ 1 geldt dat π(θ 0 ; K) α π(θ 1 ; K). 18 / 18