Vandaag. Onderzoeksmethoden: Statistiek 4. Recap: Hypothese toetsen. Recap: One-sample t-toets

Transcriptie

1 Vandaag Onderzoeksmethoden: Statistiek 4 Peter de Waal (gebaseerd op slides Peter de Waal, Marjan van den Akker) Departement Informatica Beta-faculteit, Universiteit Utrecht Recap: Hypothese toetsen t-toets met één steekproef Betrouwbaarheidsinterval Meer t-toetsen: t-toets met gepaarde metingen t-toets met onafhankelijke metingen Chi-kwadraat toetsen: Goodness-of-fit toets Toets van onafhankelijkheid Statistiek 4: 1 / 44 Statistiek 4: Recap 2 / 44 Recap: Hypothese toetsen Recap: One-sample t-toets Procedure: Formuleer hypotheses Kies teststatistiek en leg criterium vast Bereken teststatistiek uit steekproef Neem beslissing Vergelijking van één steekproefgemiddelde met een norm (een van te voren bepaald gemiddelde, zeg µ 0 ). σ uit populatie is niet bekend en wordt geschat met behulp van s. Het steekproefaantal is klein (n < 120). Meetwaarden onafhankelijk en identiek normaal verdeeld (met zelfde gemiddelde en variantie). Oplossing: t-verdelingen t obs = X(n) µ 0 (s/ n) Onder H 0 : t obs heeft t-verdeling met df = n 1 vrijheidsgraden t-table: zie boek, online, Excel, calculator... Statistiek 4: Recap Hypothese toetsen 3 / 44 Statistiek 4: Recap Hypothese toetsen 4 / 44

2 Hypotheses toetsen en omgekeerd Betrouwbaarheidsinterval Bij t-toets: Hypothese H 0 : µ = µ 0. Geobserveerd steekproefgemiddelde X. Q: Wanneer is X in overeenstemming met H 0? A: Als X niet meer afwijkt van µ 0 dan s n t crit. Andersom: Geobserveerd steekproefgemiddelde X. Q: Met welke hypothesewaarden µ 0 is X in overeenstemming? A: Als µ 0 niet meer afwijkt van X dan s n t crit. Stel: ik meet steekproefgemiddelde X(n) = 23.4 Kan ik nu met 95% betrouwbaarheid zeggen in welk gebied het onbekende populatiegemiddelde µ ligt? 95% betrouwbaarheidsinterval: [ X(n) s t crit ; X(n) + s ] t crit n n waarbij t crit de kritieke waarde is voor α = 0.05 bij df = n 1. Statistiek 4: Recap Betrouwbaarheidsintervallen 5 / 44 Statistiek 4: Recap Betrouwbaarheidsintervallen 6 / 44 Betrouwbaarheidsinterval: voorbeeld Betrouwbaarheidsinterval (Interpretatie) Student Rick Mark Tom Ken Edwin # uren gamen per week X = 21 n = 5 s 2 = 9 t crit (df = 4) = voor α = % betrouwbaarheidsinterval [ ; ] = 5 5 [ ] ; (1 α)100% betrouwbaarheidsinterval, b.v. α = NIET: De echte waarde van µ valt met kans 95% binnen het interval WEL: Als we vaker een steekproef nemen met 5 studenten en telkens de bijbehorende betrouwbaarheidsintervallen uitrekenen, dan valt de echte waarde van µ binnen 95% van deze intervallen. Statistiek 4: Recap Betrouwbaarheidsintervallen 7 / 44 Statistiek 4: Recap Betrouwbaarheidsintervallen 8 / 44

3 Betrouwbaarheidsinterval Toetsen t-toets: 3 soorten onderzoeksvraagstellingen H 0 : µ = µ 0 wordt geaccepteerd in tweezijdige t-toets met significantie α dan en slechts dan als µ 0 ligt in het (1 α) 100% betrouwbaarheidsinterval Voorbeeld in SPSS: 1 t-toets met één steekproef: one-sample t-test) 2 t-toets met gepaarde metingen: (dependent-samples t-test) (matched-subjects t-test) (between-subjects t-test) 3 t-toets voor twee onafhankelijke steekproeven (independent-samples t-test) Statistiek 4: Recap Betrouwbaarheidsintervallen 9 / 44 Statistiek 4: Recap t-toets met gepaarde metingen 10 / 44 t-toets met gepaarde metingen (Paired-samples t-test) t-toets met gepaarde metingen: voorbeelduitwerking Voorbeeld 1: 30 zware rokers worden aan een trainingsprogramma onderworpen om van het roken af te komen, Vóór de training rookten zij gemiddeld 36 sigaretten per dag; Eén maand na de training rookten dezelfde rokers gemiddeld 28 sigaretten per dag. Is dit verschil groot genoeg om te mogen zeggen dat het trainingsprogramma effect heeft? Voorbeeld 2: Convergeert het force-directed graph algoritme bij parameters (s A, u A, r A ) langzamer of sneller dan bij (s B, u B, r B )? Paren van observaties: B.v. 40 testgrafen met 100 punten Run op elk van de testgrafen het force-directed graph algoritme bij parameters (s A, u A, r A ) en met (s B, u B, r B ) Voor elke graaf: X A = het aantal iteraties bij (s A, u A, r A ) en X B = het aantal iteraties bij (s B, u B, r B ) Neem aan: XA en X B ongeveer normaal verdeeld Voor ieder paar waarnemingen bereken je de verschilscore D = X A X B Verder werken met D als bij de one-sample t-toets met hypothese H 0 : µ D = 0. Statistiek 4: Recap t-toets met gepaarde metingen 11 / 44 Statistiek 4: Recap t-toets met gepaarde metingen 12 / 44

4 t-toets met gepaarde metingen: voorbeelduitw. (2) t-toets met gepaarde metingen: voorbeelduitw. (3) Toetsingsgrootheid: t = D µ d (s D / n). Significantieniveau: α =.01. We observeren: D obs = 23 en s D = 51: ((s B, u B, r B ) leverde gemiddeld 23 méér iteraties op dan (s A,, u A, r A )) s D n = = t = = Beslissingsregel: Verwerp H0 indien t obs t crit of t crit t obs. Verwerp H0 niet indien t crit < t obs < t crit. Criterium: Tweezijdige toetsing met α =.01: t crit (df = 39) Toetsingsgrootheid: t = Conclusie? Verwerp H 0 : er is een significant verschil tussen de twee parameterinstellingen. Statistiek 4: Recap t-toets met gepaarde metingen 13 / 44 Statistiek 4: Recap t-toets met gepaarde metingen 14 / 44 t-toets met gepaarde metingen: formules Consistentie van het effect D = X A X B, t = D µ d s D = D µ d (s D /, (df = n 1). n) Onder aanname van (meest gebruikelijke) H 0 : µ D = 0 is t = D s D = D (s D /, (df = n 1). n) en het (1 α)100% betrouwbaarheidsinterval voor µ D : [D s D t(df ) crit ; D + s D t(df ) crit ] Verschil is dus significant: Maar nader onderzoek levert: 11 grafen gaven bij (s B, u B, r B ) meer iteraties dan (s A, u A, r A ) 20 grafen gaven bij (s B, u B, r B ) gelijk # iteraties als (s A, u A, r A ) 9 grafen gaven bij (s B, u B, r B ) minder iteraties dan (s A, u A, r A ) Bij significantie wil je eigenlijk meer: Minstens de helft? Of nog meer (toevalseffect)? Waargenomen verschillen geven consistent effect als: Minimale aantal = 0.5(n + 1) n bij α = 0.05 Minimale aantal = 0.5(n + 1) n bij α = 0.01 Statistiek 4: Recap t-toets met gepaarde metingen 15 / 44 Statistiek 4: Recap t-toets met gepaarde metingen 16 / 44

5 Kwaliteit van het effect: voorbeelduitwerking t-toetsen We zien (s B, u B, r B ) levert méér iteraties op dan (s A, u A, r A ) n = 40 Minimale aantal = = 27.8 = 28 bij α = 0.05 Als tenminste 28 van de testgrafen meer iteraties nodig heeft bij (s B, u B, r B ) dan bij (s A, u A, r A ) dan mogen we concluderen dat in het algemeen dit bij tenminste de helft van de grafen het geval zal zijn. t-toets met één steekproef (one-sample t-test) t-toets met gepaarde metingen (dependent-samples t-test) (matched-subjects t-test) (between-subjects t-test) t-toets voor twee onafhankelijke steekproeven (independent-samples t-test) Statistiek 4: Recap t-toets met gepaarde metingen 17 / 44 Statistiek 4: Recap t-toets met gepaarde metingen 18 / 44 t-toets voor twee onafhankelijke metingen t-toets voor twee onafhankelijke metingen Eng: Independent samples t-test. Bestaat er een (significant) verschil tussen bachelor studenten en masterstudenten wat betreft leeftijd? Is er een (significant) verschil tussen uitwonende en thuiswonende studenten Informatica wat betreft het geld dat zij te besteden hebben? Rekenvoorbeeld: Is er een significant verschil in looptijd van het force-directed graph algoritme tussen bipartiete grafen en niet-bipartiete grafen (met gelijk aantal 100 knopen en 200 kanten)? We meten één afhankelijke interval of ratio variabele. Twee onafhankelijke steekproeven: Steekproef 1: Grootte n1, met metingen X 1,1, X 1,2,..., X 1,n1 Steekproef 2: Grootte n2, met metingen X 2,1, X 2,2,..., X 2,n2 Aannames: Afhankelijke variabele (meetresultaten) zijn normaal verdeeld Gelijke variantie (niet strict: klopt meestal wel met even grote steekproeven) H 0 : µ 1 = µ 2 (ook wel µ 1 µ 2 = 0) Vrijheidsgraden: df = n 1 + n 2 2. In Excel: t-test: Two-Sample Assuming Equal Variances Statistiek 4: t-toetsen Independent samples t-test 19 / 44 Statistiek 4: t-toetsen Independent samples t-test 20 / 44

6 t-toets voor twee onafhankelijke metingen t-toets voor twee onafhankelijke metingen: voorbeeld Onder aanname H o : µ 1 = µ 2 heeft toetsingsgrootheid: t = (X 1 X 2 ) (µ 1 µ 2 ) s X1 X 2 = (X 1 X 2 ) s X1 X 2 een t-verdeling met df = n 1 + n 2 2 vrijheidsgraden, s X1 X 2 = s 2 X n 1 + s2 X n 2 Met pooled variance s 2 X = s2 X 1 (n 1 1) + s 2 X 2 (n 2 1) en s 2 X n 1 + n 2 2 1, s 2 X 2 steekproefvarianties van de twee respectievelijke steekproeven. Let op: formule in boek veronderstelt s X1 = s X2 en wijkt dus af. 1. Formuleer hypothese H 0 : µ 1 = µ 2 H 1 : µ 1 µ Kies test-statistiek en leg criterium vast: t = (X 1 X 2 ) s X1 X 2 Significantieniveau: α =.05 n 1 = 46 (bipartiet) en n 2 = 56 (niet bipartiet) Onder H 0 heeft t een t-verdeling met df = 100 Kritieke waarde t crit = 1.99 (tweezijdig) Statistiek 4: t-toetsen Independent samples t-test 21 / 44 Statistiek 4: t-toetsen Independent samples t-test 22 / 44 t-toets voor twee onafhankelijke metingen: voorbeeld 3. Bereken teststatistiek uit steekproef: X 1 = , S X1 = , n 1 = 46, t-toets voor twee onafhankelijke metingen (100 α)% Betrouwbaarheidsinterval voor verschil: [(X 1 X 2 ) s X1 X2 t(df ) α/2, (X 1 X 2 ) + s X1 X2 t(df ) α/2 ] X 2 = , S X1 = , n 1 = 56, s 2 X = (1.6714) (1.5216) = s X1 X 2 = = t = = Neem beslissing:?? t crit < t < t crit, dus H 0 niet verwerpen. Statistiek 4: t-toetsen Independent samples t-test 23 / 44 Statistiek 4: t-toetsen Independent samples t-test 24 / 44

7 Effectgrootte Bij onafhankelijke metingen en significant verschil: percentage verklaarde variantie Hoeveel van de verschillen in de scores op de afhankelijke variabele wordt verklaard doordat ze uit een verschillende groep afkomstig zijn? Percentage verklaarde variantie is ω 2 100% met ω 2 = t2 obs t 2 obs + df waarbij (vuistregel): 0 5% is een zwak effect 5 20% is een matig effect > 20% is een sterk effect In dit geval: ω 2 = dus percentage verklaarde variantie is 3.21% (zwak effect) Statistiek 4: t-toetsen Independent samples t-test 25 / 44 Wat als waarnemingen niet normaal verdeeld zijn? T-toets is een zgn. parametrische toets:, i.e. Hypothese gaat over een parameter van de verdeling. Gebaseerd op aanname dat steekproefwaarnemingen bepaalde verdeling hebben (vaak Normale verdeling). Q: Wat te doen als niet aan aannames is voldaan? 1 Neem het gemiddelde van een aantal waarnemingen. Dit is normaal verdeeld volgens Centrale Limietstelling. Bijv. de gemiddelde looptijd van 20 restarts van Simulated Annealing 2 Wilcoxon signed-rank test (Ref. bijv. Wikipedia) Dit is een niet parametrische test (geen aanname op de verdeling van de steekproefwaarnemingen). Statistiek 4: t-toetsen Independent samples t-test 26 / 44 χ 2 (Chi-kwadraat) toets χ 2 -toets type 1: goodness of fit Verwachtingen over een variabele in een distributie. Met een Chi2 (χ 2 ) toets ga je na hoe waarschijnlijk het is dat verhoudingsmaten aan bepaalde verwachtingen of voorwaarden voldoen Twee soorten: Goodness-of-fit Onafhankelijkheid Geen aanname vooraf op bepaalde verdeling! Voorbeeld: Zijn verschillende typen internet-aansluitingen gelijk verdeeld? Zijn de verschillende soorten smartphones in deze klas gelijk verdeeld als in de rest van Nederland? Smartphonegebruik in NL 2012 (Q4) onder mobile phone users: Source: Telecompaper Smartphone Smartphone Smartphone Geen Android ios Anders Smartphone 47% 13% 10% 30% Statistiek 4: χ 2 -toetsen Intro 27 / 44 Statistiek 4: χ 2 -toetsen Goodness-of-Fit 28 / 44

8 Voorbeeld Steekproef van n = 60 proefpersonen met mobiel: χ 2 volgt Chi-kwadraat (χ 2 ) verdeling Familie van verdelingen met vrijheidsgraad: Hypothese H 0 : resultaten komen overeen met de verwachte aantallen volgens de gegeven verdeling: Goodness-of-fit Android ios Anders geen Verwacht % 47% 13% 10% 30% Verwachte frequentie E i Geobserveerde freq. O i Toetsingsgrootheid: χ 2 = K (O i E i ) 2 i=1 met K gelijk aan het aantal mogelijke uitkomstwaarden (Dit geval K = 4) E i Statistiek 4: χ 2 -toetsen Goodness-of-Fit 29 / 44 Statistiek 4: χ 2 -toetsen Goodness-of-Fit 30 / 44 χ 2 voor Goodness-of-Fit test χ 2 tabel χ 2 volgt een chi-kwadraat verdeling met df = K 1 vrijheidsgraden. Beslissing? Critical H 0 niet verwerpen. 2 Voorbeeld: α =.05 χ 2 = χ 2 α(df ) = χ 2 α(3) = (Tabel in boek of in Excel CHISQ.INV(0.95;3)) Verwerp H 0 als χ 2 χ 2 α(df ). Statistiek 4: χ 2 -toetsen Goodness-of-Fit 31 / 44 Critical 2 Proportion in Critical Region df Statistiek 4: χ 2 -toetsen Goodness-of-Fit 32 / 44

9 Voorbeeld Voorwaarden voor een χ 2 -toets Steekproef van n = 57 studenten (2013-3) met mobiel: χ 2 = Goodness-of-fit Android ios Anders geen Verwacht % 47% 13% 10% 30% Verwachte frequentie E i Geobserveerde freq. O i K i=1 (O i E i ) 2 E i = ( ) met K = 4. (7 7.41) (6 5.7) (8 17.1) = df = 3, χ 2 α(3) = 7.815, dus significant verschillend van verdeling over NL bevolking. Statistiek 4: χ 2 -toetsen Goodness-of-Fit 33 / 44 De steekproefelementen zijn onafhankelijk van elkaar en willekeurig getrokken Iedere observatie kan in precies één cel van de tabel worden geklassificeerd De verwachte celfrequenties zijn voldoende groot, d.w.z. minder dan 20% van de cellen heeft Ei < 5 geen enkele cel heeft Ei < 1 Statistiek 4: χ 2 -toetsen Goodness-of-Fit 34 / 44 χ 2 -toets type 2: onafhankelijkheid Hangen twee nominale variabelen samen? Kruistabel voorbeeld voorkeur Spelcomputer Observed Man Vrouw Kind Totaal Xbox PlayStation Wii Totaal Hangt gezinssamenstelling samen met type internetaansluiting Hangt keuze smartphone OS samen met afstudeerrichting? Hangt keuze spelcomputer samen met geslacht+leeftijd? Statistiek 4: χ 2 -toetsen Onafhankelijkheid 35 / 44 Statistiek 4: χ 2 -toetsen Onafhankelijkheid 36 / 44

10 Kruistabel voorbeeld voorkeur Spelcomputer Observed Man Vrouw Kind Totaal Xbox PlayStation Wii Totaal Expected Man Vrouw Kind Totaal Xbox?????? 30 PlayStation?????? 30 Wii?????? 40 Totaal Kruistabel voorbeeld voorkeur Spelcomputer Observed Man Vrouw Kind Totaal Xbox PlayStation Wii Totaal Expected Man Vrouw Kind Totaal Xbox PlayStation Wii Totaal Statistiek 4: χ 2 -toetsen Onafhankelijkheid 37 / 44 Statistiek 4: χ 2 -toetsen Onafhankelijkheid 38 / 44 χ 2 -toets voor onafhankelijkheid kruistabel Hypotheses: H0 : Elke groep (man, vrouw, kind) heeft dezelfde verdeling van voorkeuren over de verschillende spelcomputers, ofwel H 0 : voorkeur is onafhankelijk van de groep. H1 : bij minstens één van de groepen is de verdeling anders. (H 1 : keuze spelcomputer is afhankelijk van groep) R = aantal rijen en C = aantal kolommen Expected celaantallen E ij = (O i O j ) N Toetsstatistiek: χ 2 = i,j (O ij E ij ) 2 E ij, met df = (R 1)(C 1) Kruistabel voorbeeld voorkeur Spelcomputer Obs./Exp. Man Vrouw Kind Totaal Xbox 4 / 3 10 / 9 16 / / 30 PlayStation 4 / 3 9 / 9 17 / / 30 Wii 2 / 4 11 / / / 30 Totaal 10 / / / / 100 (O ij E ij ) 2 /E ij Man Vrouw Kind Xbox PlayStation Wii Sum = Statistiek 4: χ 2 -toetsen Onafhankelijkheid 39 / 44 Statistiek 4: χ 2 -toetsen Onafhankelijkheid 40 / 44

11 Rekenvoorbeeld Voorkeur vs. Spelcomputer Smartphone vs. Afstudeerrichting χ 2 = df = (R 1) (C 1) = 2 2 = 4 Opzoeken in Tabel: χ 2 α(df = 4) = 9.488, voor α =.05. Dus? H 0 niet verwerpen. Obs./Exp. Android ios Anders Geen Totaal Informatica Classic 14 / / / / / 22.0 Informatica Gametech 22 / / / / / 35.0 Totaal 36 / / / / / 57.0 df = (R 1) (C 1) = 1 3 = 3, χ 2 (df = 3) = 7.815, χ 2 = ( ) (2 2.7) (4 4.9)2 4.9 = Dus H 0 niet verwerpen: er is geen aanleiding te concluderen dat smartphone keuze afhangt van studierichting. Statistiek 4: χ 2 -toetsen Onafhankelijkheid 41 / 44 Statistiek 4: χ 2 -toetsen Onafhankelijkheid 42 / 44 χ 2 -test Type 2: Onafhankelijkheid Tot zover Zo meteen: Werkcollege Volgende week: Toets Datum: Woensdag 4 maart 2015 Oplossing voor lege cellen: Fischer Exact test Cellen samenvoegen (zorg voor logische samenvoegingen) Tijdstip: 13:30 15:30 Plaats: EDUC-GAMMA Meenemen: Calculator A4 (tweezijdig) handgeschreven/bedrukt met formules en aantekeningen Papier en kopieën van tabellen worden verstrekt Let op: je moet zelf kunnen bepalen welke toets je moet gebruiken! Statistiek 4: χ 2 -toetsen Onafhankelijkheid 43 / 44 Statistiek 4: Tot slot 44 / 44