Testen omtrent µ (normale populatie): BI. Testen omtrent µ (normale populatie): fouten. Testen omtrent µ (normale populatie): P-waarde

Transcriptie

1 Testen omtrent µ (normale populatie) Hoofdstuk VII: HYPOTHESETESTEN Voorbeeld : X: Mortaliteit N(µ, σ ) µ = 1000 of µ 1000? x = X µ S/ n tn 1 als µ = 1000: Terminologie: X 1000 S/ 60 t59 P ( t 59,0.05 T t 59,0.05) = 0.95 met t 59,0.05 = als t = x 1000 s/ = 7.4 / [, µ als t = x 1000 s/ [, µ = nulhypothese H 0 versus alternatieve hypothese H 1 X 1000 Teststatistiek: S/ 60 t59 Aanvaardingsgebied [-, voor t en verwerpingsgebied=kritisch gebied - en zijn kritieke waarden verwerp H 0 of niet Significantieniveau α = 0.05 Het testen van hypothesen p. 1/34 Het testen van hypothesen p. /34 Testen omtrent µ (normale populatie): tweezijdig Testen omtrent µ (normale populatie): éénzijdig H 0 : µ = µ 0 versus H 1 : µ µ 0 x: verwerp H 0 als x te ver van µ 0 X onder H 0: ( ) X µ 0 S/ tn 1: P t n n 1, α T t n 1, α = 1 α aanvaardingsgebied voor t: [ t n 1, α, t n 1, α Opm: equivalent: aanvaard H 0 als x [µ 0 t n 1, α s n, µ 0 + t n 1, α s n ook weer afhankelijk van s, n en α Voorbeeld : H 0 : µ 1000 versus H 1 : µ < 1000 x = verwerp H 0 als x te veel < 1000 X µ S/ n tn 1 µ = 1000: X 1000 S/ 60 t59: P ( X µ0 S/ n tn 1,α ) = 1 α verwerp H 0 t = x 1000 s/ kleiner dan tn 1,α n x < 1000 t n 1,αs/ n Voorbeeld : H 0 : µ 1000 versus H 1 : µ > 1000 verwerp H 0 t = x 1000 s/ groter dan tn 1,α n x > t n 1,αs/ n Het testen van hypothesen p. 3/34 Het testen van hypothesen p. 4/34

2 Testen omtrent µ (normale populatie): fouten Testen omtrent µ (normale populatie): BI verwerp H 0 verwerp H 0 niet H 0 waar Type I fout geen fout H 0 niet waar geen fout Type II fout P(type I fout) = α P(type II fout µ = µ 1) = β(µ 1) 1 β: power of onderscheidingsvermogen van een test tweezijdige test: We verwerpen H 0 : µ = µ 0 op significantieniveau α als of equivalent als, t = x µ0 s/ n / [ t n 1, α, t n 1, α µ 0 / 100(1 α)% betrouwbaarheidsinterval voor µ. Testen omtrent µ (normale populatie): P-waarde P-waarde=de kans, onder H 0, op een testwaarde die minstens zo extreem ligt in de richting van het alternatief als de waarde die we bekomen voor de geobserveerde steekproef. Het testen van hypothesen p. 5/34 Het testen van hypothesen p. 6/34 Testen omtrent µ (normale populatie): P-waarde H 0 : µ 1000 versus H 1 : µ < 1000 ( ) P-waarde=P (T t µ = µ 0) = P X µ0 S/ x µ 0 n s/ µ = n µ0 verwerp H 0 als P-waarde klein met T = X µ 0 S/ n tn 1 Testen omtrent µ (normale populatie): P-waarde H 0 : µ µ 0 versus H 1 : µ > µ 0 P(T t), met T t n 1 P-waarde < α verwerp H0 t n-1, α <t H 0 : µ = µ 0 versus H 1 : µ µ 0 P-waarde < α t < -t n-1,α verwerp H 0 P(T t ), met T t n 1 P-waarde < α α α < < P-waarde < α Verwerp H 0 op significantieniveau α -t< -t n-1, α verwerp H t n-1, <t 0 α Het testen van hypothesen p. 7/34 Het testen van hypothesen p. 8/34

3 Algemene procedure bij hypothesetesten 1. Formuleer H 0 en H 1. opm: kans op type II fout kan vrij groot. kans op type I fout is beperkt door α. Kies α. Kies teststatistiek U (toevalsvariabele te berekenen op basis van steekproef) 3. Bepaal de verdeling van teststatistiek onder H 0 4. Voer de test uit: bepaal betrouwbaarheidsinterval (enkel bij tweezijdige test!) bereken aanvaardingsgebied (via kwantielen voor teststatistiek U). bepaal P-waarde. 5. Formuleer het besluit Testen omtrent µ (normale populatie): σ gekend 1. H 0 : µ = µ 0 versus H 1 : µ µ 0. α =.... Teststatistiek: Z = X µ 0 σ/ n 3. Als µ = µ 0: Z N(0, 1) 4. BI: [ x z α σ n, x + z α σ n aanvaardingsgebied voor z = x µ 0 σ/ n : [ z α, z α P-waarde: P(Z z ) 5. Besluit: Verwerp H 0 als µ 0 / BI z = x µ 0 σ/ / aanvaardingsgebied n P-waarde < α Het testen van hypothesen p. 9/34 Het testen van hypothesen p. 10/34 Testen omtrent µ (normale populatie): overzicht Testen van de normaliteitsassumptie H 0 Situatie µ = µ 0 σ gekend + normaliteit σ ongekend + normaliteit Teststatistiek H 1 Aanvaardingsgebied onder H 0 voor de teststatistiek Z = X µ 0 σ/ n N(0, 1) T = X µ 0 S/ n t n 1 µ µ 0 µ µ 0 [ z α, z α P-waarde P(Z z ) µ < µ 0 [ z α, [ P(Z z) µ > µ 0, z α P(Z z) [ t n 1, α, t n 1, α P(T t ) µ < µ 0 [ t n 1,α, [ P(T t) µ > µ 0, t n 1,α P(T t) H 0: de gegevens zijn normaal verdeeld versus H 1: de gegevens zijn niet normaal verdeeld. Teststatistiek: correlatiecoëfficiënt r Q van normale kwantielplot Verwerp H 0 als r Q te veel < 1: n α = 0.01 α = Het testen van hypothesen p. 11/34 Het testen van hypothesen p. 1/34

4 Testen omtrent centrum (niet-normale populatie) Mediaan test (niet-normale populatie) = teken-test Transformatie Voorbeeld: X: NO xpot H 0 : Med 15 versus H 1 : Med < 15, α = N0xPot Log(N0xPot) Teststatistiek? verwerp H 0 als de steekproefmediaan teveel < 15. A: het aantal steekproefobservaties 15 is te veel > n/ = 30. Steekproef: a = 38 A B(60, p). Als Med(X) = 15, p = 0.5. H 0 : µ log(x) = µ 0 versus H 1 : µ log(x) µ 0 NIET equivalent met H 0 : µ X = e µ 0 versus H 1 : µ X e µ 0 WEL volgt uit µ log(x) = µ 0 dat med(x) = e µ 0 P-waarde= P(A 38) met A B(60, 0.5) = 0.06 P-waarde < α verwerp H 0 niet-parametrische test voor mediaan Het testen van hypothesen p. 13/34 Het testen van hypothesen p. 14/34 Vergelijken van normale groepen Testen omtrent µ bij ongepaarde (normale) data X 1, X,..., X n1 N(µ 1, σ 1) Y 1, Y,..., Y n N(µ, σ ), onafh. van de X i Temperatuur Mortaliteit H 0 : µ 1 = µ versus H 1 : µ 1 µ H 0 : µ 1 µ = 0 versus H 1 : µ 1 µ Jan Jan Jul 1 X 1, X,..., X 60: JanT X 1, X,..., X 8: Mortaliteit ( Opleiding < 11 jaar ) Y 1, Y,..., Y 60: JulT Y 1, Y,..., Y 3 : Mortaliteit ( Opleiding 11 jaar ) Gepaard Ongepaard x ȳ X Ȳ E( X Ȳ ) Var( X Ȳ ) σ 1 en σ gekend: σ 1 en σ ongekend: X Ȳ µ1 µ N (0, 1) σ1 + σ n Het testen van hypothesen p. 15/34 Het testen van hypothesen p. 16/34

5 Testen omtrent µ bij ongepaarde (normale) data σ 1 σ : Behrens Fisher probleem X Ȳ µ1 µ t r met r = S1 + S n Teststatistiek: T = X Ȳ S 1 + S n ( s ) 1 + s n (s 1 /) + (s /n ) 1 n 1 σ 1 = σ : Gepoolde variantie: ( 1)S 1 +(n 1)S +n E(S p) = σ Testen omtrent varianties bij ongep. (normale) data H 0 : σ 1 σ = 1 versus H 1 : σ 1 σ Teststatistiek: F = S 1/S Verdeling onder H 0 (en normaliteit): F n1 1,n 1 P-waarde= 1 { P(Fn1 1,n 1 > f) als f > Q Fn1 1,n 1 (0.5) P(F n1 1,n 1 < f) als f Q Fn1 1,n 1 (0.5). X Ȳ µ1 µ S p n t n1 +n Teststatistiek: T = S p X Ȳ n Onder H 0 : µ 1 µ = 0 is de verdeling van de teststatistiek gekend BI, aanvaardingsgebied, P-waarde te bepalen. Het testen van hypothesen p. 17/34 Het testen van hypothesen p. 18/34 F-verdeling Testen omtrent µ bij ongepaarde (normale) data oef : X: Mortaliteit ( Opleiding < 11 ) ; Y : Mortaliteit ( Opleiding 11 ) H 0 : µ 1 µ = 0 versus H 1 : µ 1 µ 0 mean1 mean t value df p n std.dev1 std.dev F-ratio p variances met X χ n, Y χ m, X en Y onafh. X/n Y/m Fn,m oef : X: log(no xpot) ( Opleiding < 11 ) ; Y : log(no xpot) ( Opleiding 11 ) H 0 : µ 1 µ = 0 versus H 1 : µ 1 µ 0 mean1 mean t value df p n std.dev1 std.dev F-ratio p variances Besluit voor NO xpot? Het testen van hypothesen p. 19/34 Het testen van hypothesen p. 0/34

6 Testen omtrent µ bij gepaarde (normale) data Testen omtrent µ bij gepaarde (normale) data Probleem: Var( X Ȳ ) Var( X) + Var(Ȳ ) opm: transformatie: Ṽ = g(x) g(y ) Oplossing: V i = X i Y i E(V i) = µ 1 µ oef : X: NO xpot ; H 0 : µ 1 µ = 0 versus H 1 : µ 1 µ 0 H 0 : µ V = 0 versus H 1 : µ V 0 Y : HCPot H 0 : µ 1 µ = 0 versus H 1 : µ 1 µ 0 N0xPot-HCPot N0xPot log(noxpot) HCPot log(hcpot) r = 0.99 r = var Mean Std.Dv. N Diff. Std.Dv.Diff. t df p Log(NO xpot) Log(HCPot) Het testen van hypothesen p. 1/34 Het testen van hypothesen p. /34 Vergelijken van ongepaarde groepen: niet-parametrisch µ niet noodzakelijk geschikte maat vergelijk medianen, verdelingsfuncties... Maak gebruik van rangen Wilcoxon rang-som test Terry Hoeffding - van der Waerden test Wilcoxon test: niet-parametrisch Rangen: Mortaliteit stad Mortaliteit groep rang stad Mortaliteit groep rang San Jose Reading Wichita Syracuse San Diego Houston Lancaster St Louis Minneapolis Youngstown Dallas Columbus Los Angeles Detroit Miami Hialeah Nashville Providence Baltimore Flint New Orleans Het testen van hypothesen p. 3/34 Het testen van hypothesen p. 4/34

7 Wilcoxon test: niet-parametrisch Rangen met knopen = ties: NO xpot stad NO xpot groep rang stad NO xpot groep rang Dallas 1.5 Richmond Fort Worth 1.5 Albany 10 3 Miami Hialeah 1.5 Minneapolis Springfield 1.5 Reading Utica Rome Wilmingto1 34 Wichita 5.5 Buffalo GrandRapids Youngstow Greensboro Nashville Hartford 3 9 Akro New Haven 3 9 St Louis Worcester 3 9 New Orleans York San Francisco Columbus Los Angeles Wilcoxon test: niet-parametrisch Hoe rangen vergelijken? -3 - voorbeeld 1 voorbeeld groep 1: -3, -, -1, 0 groep 1: -3, -1, 1, 4 groep : -0.5, 1,, 3 groep : -, 0,, w = = 11 w = = 17 W : som van de rangen voor groep 1 Als groep 1 en dezelfde verdeling we verwachten 1+( +n ) ( gemiddelde rang ) Het testen van hypothesen p. 5/34 Het testen van hypothesen p. 6/34 Wilcoxon test: niet-parametrisch H 0: F 1 = F Teststatistiek W (F 1(t) = F (t), voor elke t IR) exacte verdeling gekend als geen knopen als, n voldoende groot: P-waarde (tweezijdig) P(W w) als w > 1+( +n ) P(W w) als w < 1+( +n ) verwerp als P-waarde < α W ( +n +1) N(0, 1) n1 n ( +n +1)/ Wilcoxon test: niet-parametrisch detecteren van detecteren van verschillen als niet (*) Wilcoxon test verschuivingen met F 1(t) F (t), t IR zal verschil niet steeds of F 1(t) F (t), t IR (*) detecteren (type II fout) F 1 F f 1 f a a f f F 1 F F 1 F X, Y lognormaal X Exp(λ 1), Y Exp(λ ) X N(µ, σ 1), Y N(µ, σ ) f f 1 Y = X + a λ 1 > λ σ 1 << σ Het testen van hypothesen p. 7/34 Het testen van hypothesen p. 8/34

8 Mediaan test voor gepaarde waarnemingen Testen omtrent 1 proportie V = X Y H 0 : Med(V ) 0 versus H 1 : Med(V ) < 0 Formuleer hypothesetest: Tweezijdig: H 0 : p = p 0 versus H 1 : p p 0 oef : X: JanT ; JanT-JulT Y : JulT ր ց JanT JulT Rechtseenzijdig: H 0 : p p 0 versus H 1 : p > p 0 Linkseenzijdig: H 0 : p p 0 versus H 1 : p < p 0 Benaderend: Teststatistiek: Z = ˆP p 0 p0 (1 p 0 )/n Nulverdeling: Z N(0, 1) Exact: Teststatistiek: n ˆP Nulverdeling: n ˆP B(n, p 0) Voer test uit: BI, aanvaardingsgebied, P-waarde Besluit No. of Non-ties Percent v<v Z p-level JanT & JulT Het testen van hypothesen p. 9/34 Het testen van hypothesen p. 30/34 Testen omtrent 1 proportie oef : Populatie : Vlaamse kiesgerechtigden, X : stemgedrag X= 1 als kiezer stemt voor partij-1 0 anders opiniepeiling va000 kiezers : 19.% voor partij-1 Stemt minder dan 0% van de kiezers op partij-1? oef : Vooraleer een extra busdienst wordt ingelegd in een stad, wil de vervoersmaatschappij nagaan of een meerderheid van de inwoners voor deze extra busdienst is. Immers enkel in dat geval kan de maatschappij winst maken met de nieuwe busdienst, terwijl de maatschappij zeker wil vermijden om verlies te maken. Na een onderzoek, bleek dat 160 personen van een steekproef van 300 personen, voor de extra dienst waren. Formuleer de hypothesetest die de vervoersmaatschappij zal uitvoeren. Vergelijken van proporties E( ˆP 1 ˆP ) = p 1 p Var( ˆP 1 ˆP ) = p 1(1 p 1 ) + p (1 p ) n ˆp BI: [ˆp 1 ˆp ± z 1 (1 ˆp 1 ) α/ + ˆp (1 ˆp ) n Hypothesetest: H 0 : p 1 p = 0 P-waarde=P N(0, 1) > P ( N(0, 1) > ˆp 1 ˆp ˆp 0 (1 ˆp 0 )( + 1 ) 1 n ( ˆP 1 ˆP ) (p 1 p ) p 1 (1 p 1 ) + p (1 p ) n N(0, 1) ˆp 1 ˆp ˆp 1 (1 ˆp 1 ) + ˆp (1 ˆp ) n ) (als en n groot) met ˆp 0 = ˆp 1 +n ˆp +n oef : I990 werd een enquête uitgevoerd omtrent de opinies van burgers met de vraag of er geen wet zou moeten zijn die wapenbezit beperkt tot politieambtenaren of andere officiële functionarissen. Een zuiver lukrake steekproef van 07 burgers (107 mannen e00 vrouwen) werd genomen en bij de mannen waren er 51 die positief reageerden op deze vraag, terwijl bij de vrouwen er 55 positief reageerden. Kan men stellen dat er een significant verschil (α = 0.1) is tussen de geslachten qua attitude? Het testen van hypothesen p. 31/34 Het testen van hypothesen p. 3/34

9 Onafhankelijkheid bij kwantitatieve X en Y : Correlatie test H 0 : ρ = 0 versus H 1 : ρ 0 X en Y afhankelijk Teststatistiek: R n 1 R Nulverdeling: R n tn als bivariate normaliteit 1 R Besluit: Verwerp H 0 als τ te veel 0 P-waarde=P(t n τ ) met τ = r n 1 r oef : Zijn de variabelen Mortaliteit en log(no xpot) afhankelijk? r=0.95 r n 1 r =.35 normaliteitsonderstellingen? P-waarde=0.0 ρ 0 Onafhankelijkheid bij kwalitatieve X en Y : chi-kwadraat test H 0 : X en Y zijn onafhankelijk versus H 1 : X en Y zijn afhankelijk oorspronkelijke tabel uit steekproef Inkomen Totaal oost west Totaal rij- x kolomtotaal tabel waarbij onafhankelijkheid n Inkomen Totaal oost west Totaal Teststatistiek: χ = (geobserveerde waarde verwachte waarde) verwachte waarde Nulverdeling: χ χ (aantal rijen-1)(aantal kolommen-1) =10.8 Besluit: Verwerp H 0 als χ te groot P-waarde=P(χ m χ ) = P(χ m 10.8) < 0.05 verwerp H 0 =χ 3 Het testen van hypothesen p. 33/34 Het testen van hypothesen p. 34/34