introductie toetsen power pauze hypothesen schatten ten slotte introductie toetsen power pauze hypothesen schatten ten slotte

Transcriptie

1 toetsende statistiek week 1: kansen en random variabelen week 2: de steekproevenverdeling week 3: schatten en toetsen: de z-toets Moore, McCabe, and Craig. Introduction to the Practice of Statistics Chapter 6: Introduction to Inference 6.1: Estimating with Confidence 6.2: Test of Significance 6.3: Use and Abuse of Tests 6.4: Power and Inference as a Decision week 4: het toetsen van gemiddelden: de t-toets week 5: het toetsen van varianties: de F-toets week 6: het toetsen van tellingen: de χ 2 -toets week 7: verdelingsvrije toetsen Frank Busing, Universiteit Leiden 1/45 deze week: wat hebben we al geleerd? kennis en begrip van de (standaard) normaalverdeling kennis en begrip van z-scores (gestandaardiseerde scores) kennis en begrip van de 5 kansregels onderscheid kunnen maken tussen populatieverdelingen, steekproefverdelingen en steekproevenverdelingen kennis en begrip van de centrale limietstelling en de steekproevenverdeling van het gemiddelde 2/45

2 onderzoeksvraag onderzoeksvraag wanneer we eekhoorns een bepaalde tijd uithongeren, gaan deze eekhoorns dan meer voedsel verzamelen? 1 TS: toevalsfluctuaties weerleggen als oorzaak van verschillen 3/45 hypothese stap 1: hypothese uitgehongerde eekhoorns verzamelen gemiddeld meer voedsel 2 TS: toevalsfluctuaties weerleggen als oorzaak van verschillen 4/45

3 steekproevenverdeling stap 2: steekproevenverdeling steekproefgemiddelden uit een populatie zijn bij benadering normaal verdeeld 3 TS: toevalsfluctuaties weerleggen als oorzaak van verschillen 5/45 steekproefstatistiek en toetsingsgrootheid stap 3: toetsingsgrootheid bereken de z-score en vindt de plek in de standaard normaal verdeling 4 TS: toevalsfluctuaties weerleggen als oorzaak van verschillen 6/45

4 verwerpingsgebied 5% % van de waarden % stap 4: verwerpingsgebied of -grens bepaal de grens vanaf waar we het geen toeval meer vinden 5 TS: toevalsfluctuaties weerleggen als oorzaak van verschillen 7/45 statistische conclusie 5% % van de waarden % stap 5: statistische conclusie wanneer onze z-score zich binnen de grens bevindt en dus niet in de staart van de verdeling dan hebben we niets bijzonders gevonden 6 TS: toevalsfluctuaties weerleggen als oorzaak van verschillen 8/45

5 inhoudelijke conclusie stap 6: inhoudelijke conclusie uitgehongerde eekhoorns verzamelen gemiddeld evenveel voedsel 7 TS: toevalsfluctuaties weerleggen als oorzaak van verschillen 9/45 stappenplan voor toetsing de verschillende stappen voor toetsing stap 1 afleiden van de hypothese stap 2 vaststellen van de steekproevenverdeling stap 3 uitrekenen van de toetsingsgrootheid stap 4 bepalen van het verwerpingsgebied of -grens stap 5 trekken van de statistische conclusie stap 6 neerzetten van de inhoudelijke conclusie 10/45

6 stap 1: de hypothese hypothese een uitspraak over parameters in de populatie of in een model de nul-hypothese H 0 is de uitspraak waarvan we de juistheid willen weerleggen het is de geen effect of geen verschil hypothese de alternatieve hypothese H a is de uitspraak die we willen bewijzen het is de uitspraak waarop we terugvallen wanneer H 0 niet houdbaar blijkt het is de interessante hypothese, de onderzoeksvraag stap 1: de hypothese H 0 : µ = 9.0 uitgehongerde eekhoorns verzamelen gemiddeld evenveel voedsel H a : µ > 9.0 uitgehongerde eekhoorns verzamelen gemiddeld meer voedsel 8 een hypothese wordt altijd verwoord in termen van populatieparameters 11/45 stap 2: de steekproevenverdeling de hypothese doet een uitspraak over een steekproefstatistiek dit kan een gemiddelde, een som of een variantie zijn om H 0 te kunnen verwerpen moeten we de steekproevenverdeling van de toetsstatistiek kennen als H 0 waar is stap 2: de steekproevenverdeling steekproefgemiddelden uit een populatie zijn bij benadering normaal verdeeld als een variabele normaal verdeeld is (centrale limietstelling) dan volgen de z-scores de standaard normale verdeling N(0, 1) 12/45

7 stap 3: de toetsingsgrootheid een toetsingsgrootheid (test statistic) meet de verenigbaarheid tussen de steekproefstatistiek en de populatieparameter om het verschil tussen x en µ te toetsen gebruiken we als toetsingsgrootheid het gestandaardiseerde verschil z = schatting hypothese standaarddeviatie van schatting = x µ σ/ n = / 8 = dit is de z-score voor x = in een verdeling met µ = 9.0 en standaarddeviatie σ/ n = als H 0 waar is, dan ligt x dicht bij de gespecificeerde µ (z dicht bij nul) als H 0 niet waar is, dan ligt x ver van de gespecificeerde µ af (z ver van nul af) 13/45 stap 4: verwerpingsgebied of verwerpingsgrens p 0 z het vooraf gekozen verwerpingsgebied α is veelal 0.05 of 5% groot er zijn 2 methoden om toetsingsgrootheid z te vergelijken met α merk hiervoor op dat z een waarde op een as is en α een oppervlakte is, boven deze as 14/45

8 stap 4: het verwerpingsgebied p 0 z methode 1: verwerpingsgebied: z p α bepaal het gebied dat hoort bij de toetsingsgrootheid bijvoorbeeld voor z = 1.553, P(z > 1.553) = 1.0 P(z < 1.553) = = = p 15/45 stap 4: de verwerpingsgrens 0 z z* methode 2: verwerpingsgrens: α z z bepaal de grenswaarde die hoort bij het verwerpingsgebied α bijvoorbeeld voor α = 0.05, z = /45

9 stap 5: de statistische conclusie p 0 z z* methode 1: verwerpingsgebied: z p α we verwerpen H 0 als p kleiner is dan α bijvoorbeeld: p = > 0.05 = α en H 0 wordt niet verworpen methode 2: verwerpingsgrens: α z z we verwerpen H 0 als z verder van nul af ligt dan z bijvoorbeeld: z = < = z en H 0 wordt niet verworpen 17/45 stap 6: de inhoudelijke conclusie H 0 wordt niet verworpen dus uitgehongerde eekhoorns verzamelen gemiddeld evenveel voedsel 18/45

10 ander voorbeeld bij een service-afdeling was de tijd om te reageren op een klacht normaal verdeeld de verdeling heeft een gemiddelde van 2 uur en een standaarddeviatie van 15 minuten men meent dat de tijd tegenwoordig gemiddeld wat langer is een random steekproef van 25 gevallen geeft een gemiddelde van 126 minuten is dit wel of niet in tegenspraak met de eerdere situatie van 2 uur (=120 minuten)? 19/45 de one-sample z-toets het toetsen van één gemiddelde met de z-toets de z-toets voldoet bij kwantitatieve variabelen met bekende variantie steekproefgegevens: n = 25 en x = 126 (en σ = 15) stappenplan one-sample z-toets: 1 hypothese H 0 : µ = 120 en H a : µ > steekproevenverdeling normaal verdeeld 3 toetsingsgrootheid z = (x µ)/(σ/ n) = ( )/(15/5) = 2 4 verwerpingsgebied α = 0.05 en P(z > 2) = statistische conclusie p = < 0.05 = α en H 0 wordt verworpen 6 inhoudelijke conclusie de gemiddelde wachttijd is tegenwoordig wat langer 20/45

11 ge- en misbruik van toetsen gedragsregels voor evaluatie er is geen scherpe grens tussen significant en niet significant alleen maar sterkere evidentie tegen H 0 naarmate de p-waarde kleiner is: de p-waarde is dus informatiever dan significant of niet significant significante effecten kunnen heel klein zijn denk met name aan de rol van steekproefgrootte n: statistisch significant is iets anders dan praktisch significant zonder randomisatie gelden de kanswetten niet significantie toetsen en betrouwbaarheidsintervallen rekenen hierop een heleboel toetsen doen op dezelfde steekproef geeft altijd wel enig significant verschil: speciale maatregelen noodzakelijk geen exploratie en confirmatie op dezelfde data gebrek aan significantie betekent niet dat H 0 waar is of H a fout soms zijn er meer gegevens nodig voor een goed onderscheid 21/45 type I fout H 0 is waar 0 verwerp H 0 niet verwerp H 0 α: men concludeert ten onrechte dat er een verschil is α = P(type I fout) = de kans op een type I fout (gullibility risk) type I fout: het verwerpen van H 0, terwijl H 0 waar is men vindt een kans van 5% of kleiner een aanvaardbaar risico 22/45

12 type II fout H 0 is waar 0 verwerp H 0 niet verwerp H 0 H a is waar a β: men concludeert ten onrechte dat er een geen verschil is β = P(type II fout) = de kans op een type II fout (blindness risk) type II fout: het accepteren van H 0, terwijl H a waar is 23/45 power H 0 is waar 0 verwerp H 0 niet verwerp H 0 H a is waar power a power: men concludeert terecht dat er een verschil is power: kans op verwerpen van H 0, terwijl H a waar is dus een hogere power geeft een kleinere kans op een type II fout en een hogere kans op het verwerpen van H 0 terwijl H a waar is 24/45

13 vergroten van de power de power van een toets kan worden vergroot door: 1 het vergroten van het verschil tussen µ 0 en µ a 2 het verkleinen van σ/ n door 1 het verkleinen van σ 2 het vergroten van n 3 het vergroten van α deze mogelijkheden worden nu achtereenvolgens besproken 9 in week 5 wordt er met power geoefend in de werkgroepen en practica 25/45 vergroten van de power: vergroten effectsize H 0 is waar 0 verwerp H 0 niet verwerp H 0 0 verwerp H 0 niet verwerp H 0 H a is waar power power a a effect size maat: Cohen s d d = (µ 0 µ a )/σ (gestandaardiseerd verschil) Cohen s d is onafhankelijk van steekproefgrootte n 10 vuistregel: small effect: d = 0.2; medium effect: d = 0.5; large effect: d = /45

14 vergroten van de power: vergroten effectsize H 0 is waar 0 verwerp H 0 niet verwerp H 0 0 verwerp H 0 niet verwerp H 0 H a is waar power power a een effect kan worden omschreven als een relevant verschil de grootte van het effect wordt veelal bepaald op basis van 1 eerdere bevindingen (literatuur, pilot studie) 2 het kleinste relevante verschil dat acceptabel is a 27/45 vergroten van de power: verkleinen spreiding H 0 is waar 0 verwerp H 0 niet verwerp H 0 0 verwerp H 0 niet verwerp H 0 H a is waar power power a a 1 verkleinen van σ door beter meten of een homogenere steekproef 2 vergroten van n door een grotere steekproef te gebruiken de spreiding van de verdelingen wordt smaller: meer informatie over µ 28/45

15 vergroten van de power: vergroten alpha H 0 is waar 0 verwerp H 0 niet verwerp H 0 0 verwerp H 0 niet verwerp H 0 H a is waar power power a door α te vergroten, vergroten we de kans op een type I fout maar verkleiner we de kans op een type II fout (β) deze optie heeft zo z n beperkingen (meestal: 0.01 α 0.05) a 29/45 samenvatting: hypothese toetsen en beslissingen uw beslissing handhaaf H 0 verwerp H 0 type I fout: zeggen dat iets NIET WAAR is = P (type I fout) juiste beslissing 1 - H 0 is waar toestand in de wereld H 0 is niet waar / H a is waar juiste beslissing 1 - = power type II fout: niet zeggen dat iets WAAR is = P (type II fout) men vindt dat een toets minimaal een power van 0.80 moet hebben het berekenen van de power voor verschillende toetsen is een hels karwei: er zijn tabellen die de power geven voor bepaalde toetsen er is software waarmee de power kan worden uitgerekend (G*Power) 30/45

16 links- versus rechtszijdige alternatieve hypothese men meent dat de tijd tegenwoordig gemiddeld wat langer is rechtszijdige alternatieve hypothese H 0 : µ = 120 H a : µ > 120 maar stel nu dat men meent dat de tijd korter is geworden linkszijdige alternatieve hypothese H 0 : µ = 120 H a : µ < /45 één versus tweezijdige alternatieve hypothese men meent dat de tijd tegenwoordig gemiddeld wat langer is éénzijdige alternatieve hypothese H 0 : µ = 120 H a : µ > 120 maar stel nu dat men meent dat de tijd veranderd is, zonder richting twéézijdige alternatieve hypothese H 0 : µ = 120 H a : µ /45

17 één versus tweezijdige alternatieve hypothese z z 0 z* -z* 0 z* éénzijdige (rechtzijdige) toetsing tweezijdige toetsing voor een gegeven α is 1-zijdig toetsen altijd te prefereren boven 2-zijdig toetsen: voor de hierboven gegeven z wordt H 0 verworpen bij een 1-zijdige toetsing maar niet bij een 2-zijdige toetsing 2-zijdig toetsen hangt samen met het beoordelen van een betrouwbaarheidsinterval 33/45 introductie onze uitgehongerde eekhoorns verzamelen gemiddeld gram voedsel dit is het gemiddelde en noemen we een puntschatting een schatting zonder indicatie van de nauwkeurigheid heeft weinig waarde statistische betrouwbaarheid geeft een indicatie van nauwkeurigheid 12 statistische (confidence) verschilt van psychometrische betrouwbaarheid (reliability) 34/45

18 betrouwbaarheidsinterval geval 1 geval 2 = 1.5 = zonder indicatie van de nauwkeurigheid heeft een schatting weinig waarde: het steekproevengemiddelde µ x = 9.0 het steekproefgemiddelde x = het absolute verschil µ x x = = dit verschil zegt heel weinig zonder kennis van de spreiding van de steekproevenverdeling 35/45 betrouwbaarheidsinterval kans = 95% centrale limiet stelling: gemiddelden zijn is (bij benadering) normaal verdeeld en we weten dat N(µ,σ/ n), waarbij σ = en n = 8 95% ligt tussen z = 1.96 standaarddeviaties van µ dus 95% ligt tussen / 8 = van µ 36/45

19 betrouwbaarheidsinterval scharniermoment kans = 95% er is dus een kans van 95% dat x niet meer dan van µ af ligt dus is er een kans van 95% dat µ niet meer dan van x af ligt 37/45 begrip van een betrouwbaarheidsinterval steekproevenverdeling van x eerste 12 steekproeven met 95% betrouwbaarheidsintervallen de kansuitspraak zegt wat er zou kunnen gebeuren bij herhaald steekproeftrekken: in 95% van de gevallen valt µ binnen de betrouwbaarheidsmarges 38/45

20 berekenen van een betrouwbaarheidsinterval het steekproefgemiddelde x is normaal verdeeld N(µ,σ/ n) dus er is een kans C dat x ligt tussen µ z σ n en µ+z σ n wat hetzelfde is als een kans C dat µ ligt tussen x z σ n en x+z σ n normal-based betrouwbaarheidsinterval puntschatting±foutenmarge = x±m = x±z σ/ n waarbij 1 x het steekproefgemiddelde is, 2 m de margin of error, 3 z de z-score behorend bij kans C en 4 σ/ n de standaarddeviatie van de steekproevenverdeling 39/45 voorbeeld bij een service-afdeling was de tijd om te reageren op een klacht normaal verdeeld de verdeling heeft een gemiddelde van 2 uur en een standaarddeviatie van 15 minuten een random steekproef van 25 gevallen geeft een gemiddelde van 126 minuten wat is het 95% betrouwbaarheidsinterval voor µ? x±z σ n = 126±z σ n = 126±1.96 σ n = 126± = 126±5.88 TABLE D t distribution critical values Upper-tail probability p df z* % 60% 70% 80% 90% 95% 96% 98% 99% 99.5% Confidence level C 40/45

21 tweezijdig toetsen versus betrouwbaarheidsinterval het 95% betrouwbaarheidsinterval is [120.12, ] het betrouwbaarheidsinterval ligt de toetsingsgrootheid in de staart van de steekproevenverdeling of niet? µ = 120 valt niet in het interval [120.12,131.88] dus ligt µ = 120 in de staart van de steekproevenverdeling en wijkt x significant af van µ: we hebben iets opmerkelijks gevonden tweezijdig toetsen bij toetsing gaat het om kwantificatie van de evidentie vóór of tegen H 0 2-zijdig toetsen met α = 0.05 geeft (als eerder) z = 2 en P(z > 2) = (1) aangezien p = < = 0.05/2 = α/2, verwerpen we H 0 (2) aangezien 2 p = = < 0.05 = α, verwerpen we H 0 en wijkt x significant af van µ: we hebben iets opmerkelijks gevonden 13 merk op: met een betrouwbaarheidsinterval zijn alle tweezijdige hypothesen te toetsen 41/45 aan- en/of toepassingen vraag: wat kan men doen aan een betrouwbaarheidsinterval dat te breed is? x±z σ n 1 verklein z met een lager betrouwbaarheidsniveau, bv C = 90% ipv C = 95% 2 verklein de spreiding door 1 σ te verkleinen (beter meten, homogenere steekproef) 2 de steekproefgrootte te vergroten (n) 42/45

22 aan- en/of toepassingen vraag: hoeveel eekhoorns hebben we ongeveer nodig om het gemiddeld aantal gram te schatten met een marge van 0.25 gram en een betrouwbaarheidsinterval van C = 0.95? m = z σ n n = ( z ) 2 σ = m ( ) /45 deze week: wat hebben we geleerd? kennis van basisbegrippen: nulhypothese (H 0 ), alternatieve hypothese (H a ), verwerpingsgebied, handhavingsgebied, p-waarde (z), α (z ), β, Cohen s d, power, puntschatting en foutenmarge de one-sample z-toets verschillende alternatieve hypothese vormen: 1- (links of rechts) en 2-zijdig de relatie tussen toetsstatistiek en steekproevenverdeling van een statistiek de relatie tussen z en p tegenover z en α kennis en begrip van het betrouwbaarheidsinterval de relatie tussen een gewenste foutenmarge en de steekproefgrootte de relatie tussen betrouwbaarheidsinterval en 2-zijdig toetsen de gebieden links en rechts van het verwerpingscriterium onder H 0 en H a de criterium waarden voor α, β en power de relatie tussen effect size, spreiding, steekproefgrootte en power 44/45

23 deze week: wat moeten we nog leren? het formuleren van stelsels van hypothesen het uitvoeren van een one-sample z-toets het vaststellen van een betrouwbaarheidsinterval het beoordelen en veranderen van de power (week 5) 45/45