Toetsende Statistiek Week 3. Statistische Betrouwbaarheid & Significantie Toetsing

Transcriptie

1 Toetsende Statistiek Week 3. Statistische Betrouwbaarheid & Significantie Toetsing M, M & C, Chapter 6, Introduction to Inference 6.1 Estimating with Confidence 6.2 Tests of Significance 6.3 Use and Abuse of Tests Francis Ysidro Edgeworth ( ) Law of Diminishing Returns schreef Mathematical Psychics (1881) onwikkelde de significantie toets 1

2 Statistische Inferentie: Hoe trekken we conclusies uit data rekening houdend met toevalseffecten? zonder hypothese:schatten Inferentie met hypothese: toetsen Inferentie begint met schatten. De steekproef statistiek als indicatie voor de parameter in de populatie (het model). estimator (schatter): estimate (schatting): estimation (schatting): procedure om parameter te schatten resultaat van de procedure in bepaald geval het schatten (bezigheid, niet het resultaat) Een schatting zonder indicatie van de nauwkeurigheid heeft weinig waarde. Bepalen van statistische betrouwbaarheid (confidence). NB Verschil met psychometrische betrouwbaarheid (reliability). 2

3 Steekproevenverdeling is het Basisinstrument Stel we hebben testscores verzameld (σ = 90) in een steekproef met n = 400. De Centrale Limiet Stelling zegt dat x bij benadering normaal verdeeld is: x N(µ, σ/ n) σ x = = = 4.5 kans van 95% dat x niet meer dan 9 punten van µ af ligt. (Waarom?) dus ook kans van 95% dat µ niet verder dan 9 punten van x af ligt 3

4 Betrouwbaarheidsintervallen: Algemene Redenering Elk betrouwbaarheidsinterval bestaat uit 2 stukken: puntschatting ± foutenmarge Het interval heeft de vorm (a, b) waarbij a en b uit de data worden berekend. Kansuitspraak zegt wat er zou kunnen gebeuren bij herhaald sampelen: in 95% (of 99%) van de gevallen zal µ inderdaad binnen de marges vallen Dit is betrouwbaarheidsnivo C. 4

5 Betrouwbaarheidsinterval voor Populatiegemiddelde met σ bekend x ± z * σ n Voorbeeld: Testscores hebben een verdeling N(3, 0.8). In nieuwe studie met n = 50 vinden we x = Wat is het 95% CI of 95% betrouwbaarheidsinterval? standaard normale verdeling De oppervlakte C onder normale verdeling ligt in het interval [ z*, z*]. Opzoeken in Tabel A (of Tabel D, onderste rij, gelabeld ). 5

6 Het 95% CI of 95% betrouwbaarheidsinterval? σ x ± z * n ± ± [2.14, 2.58] 6

7 Eigenschappen van Betrouwbaarheidsintervallen Het interval is gebaseerd op de steekproevenverdeling van x en is exact wanneer de populatieverdeling normaal is. Anders is het interval bij benadering correct voor grote steekproeven. De steekproef moet een SRS zijn x is gevoelig voor uitbijters, dus interval ook checken! foutenmarge houdt alleen rekening met random trekkingsfouten Als data niet normaalverdeeld zijn en de steekproef klein is, kunnen we toch een betrouwbaarheids-interval bepalen door een steekproevenverdeling te simuleren. 7

8 Bootstrappen (optrekken aan straps, MM&C: 368) We gaan er dan van uit dat populatieverdeling gelijk is aan verdeling in steekproef. a) We trekken een groot aantal nieuwe steekproeven en doen dit met teruglegging. b) We bepalen steeds x en sorteren deze waarden van x Het 95% bootstrap CI omvat alle waarden van x behalve de 2.5% grootste en de 2.5% kleinste waarden. 8

9 Wat te doen als het Interval te breed is? Gebruik lager betrouwbaarheidsnivo (kleinere C kleinere z*) Vergroot de steekproef (grotere n) Verklein σ (Hoe?) Omgekeerde toepassing: Hoe kiezen we de Steekproefgrootte? Voor de foutenmarge m geldt: m = σ z * σ z * σ z * n = n = n m m 2 Voorbeeld: Hoeveel observaties hebben we nodig om iemands gemiddelde reactietijd schatten met marge van 10ms en C = 95%? [σ reactietijd = 25ms] 9

10 Hoeveel observaties hebben we nodig? m = z * σ n n = = n = n = 25 2 n z * σ = m

11 Let op de interpretatie van een CI Een random steekproef van 85 studenten aan de Chicago City High School neemt deel aan een cursus om hun SAT scores te verbeteren. Gebaseerd op resultaten van deze studenten wordt het 90% CI voor de gemiddelde verbetering in SAT scores berekend: [72.3; 91.4]. De correcte interpretatie van dit interval is... dat de kans 90% is dat de ware gemiddelde verbetering tussen de 72.3 en 91.4 punten ligt. dat 90% van de studenten in de steekproef hun scores tussen de 72.3 en 91.4 punten verbeterden dat 90% van de studenten in de populatie hun scores tussen de 72.3 en 91.4 punten zouden verbeteren Geen van bovenstaande alternatieven is correct 11

12 Statistisch Toetsen: Weerleggen van Toevalsfluctuatie als Oorzaak Het resultaat dat in een steekproef gevonden wordt moet bestand zijn tegen de tegenwerping: "Dit resultaat is het gevolg van toeval!". De tegenwerping heet nul-hypothese. In de statistiek is een hypothese een uitspraak over parameters in populatie of model. Ingrediënten Statistische toets A. Van onderzoekshypothese naar H 0 en H a (of H 1 ) B. Toetsingsgrootheid & steekproevenverdeling C. Verwerpingsgebied & acceptatiegebied D. P-waarde & statistische significantie 12

13 Ingrediënt A: H 0 en H a (of H 1) H 0 : Nul Hypothese Betreft gespecificeerde parameterwaarde Uitspraak waarvan we de juistheid willen weerleggen. "geen effect of "geen verschil hypothese. H a : Alternatieve Hypothese Kan 1-zijdig of 2-zijdig zijn. Uitspraak waarop we terugvallen als H 0 niet houdbaar blijkt. De interessante hypothese, onderzoeksvraag. Voorbeelden groep waarvan we bijzondere verbale begaafdheid verwachten twee groepen die random aan treatment/control zijn toegewezen twee variabelen waartussen men een verband veronderstelt 13

14 1-zijdige of 2-zijdige Alternatieve Hypothese? De kennis en verwachting vooraf over het steekproefresultaat bepaalt de keuze voor 1- of 2-zijdige Alternatieve hypothese. Stel een test met µ = 10. Dit wordt nu opnieuw onderzocht. De kennis / verwachting vooraf is beperkt tot: steekproefresultaat wijst op afwijkende populatiewaarde gebruik 2-zijdige hypothese. H 0 : µ = 10 H a : µ 10 De kennis / verwachting vooraf bevat een richting bijv.: steekproefresultaat wijst op grotere populatiewaarde gebruik 1-zijdige hypothese. H 0 : µ = 10 H a : µ > 10 14

15 Ingrediënt B: Toetsingsgrootheid met Steekproevenverdeling Een toetsingsgrootheid (test statistic) meet de verenigbaarheid tussen de steekproefstatistiek en de populatieparameter. Bijv.: Om het verschil tussen x en µ te toetsen gebruiken we als toetsingsgrootheid het gestandaardiseerde verschil: z = x µ σ n Als H 0 waar is, dan ligt x dicht bij gespecificeerde µ. Als H a waar is, dan ligt x ver van gespecificeerde µ af. Om H 0 te kunnen verwerpen moeten we van de toetsstatistiek de steekproevenverdeling kennen als H 0 waar is. Bijv. Als H 0 : µ = 100 en X is normaal verdeeld, dan volgt z de standaard normale verdeling N(0, 1) (waarom?). 15

16 Ingrediënt C: Verwerpingsgebied en Handhavingsgebied In de eenvoudigste vorm bestaat een significantie toets uit het verifiëren waar de steekproefwaarde van de toetsingsgrootheid (test statistic) valt, met een vooraf gekozen verwerpingskans α (alfa). 1-zijdige toets, α = 5% 2-zijdige toets, α = 5% z HHandhaaf H 0 Verwerp H 0 Verwerp H 0 Handhaaf H 0 Verwerp H 0 Voor gegeven α is 1-zijdig toetsen altijd te prefereren (indien mogelijk) boven 2-zijdig toetsen (waarom?). z 16

17 Ingrediënt C: Verwerpingsgebied en Handhavingsgebied Handhaaf H 0 Verwerp H 0 Handhavingsgebied: die waarden op de x-as uit een steekproevenverdeling, waarvoor men H 0 handhaaft. Verwerpingsgebied: die waarden op de x-as uit een steekproevenverdeling, waarvoor men H 0 verwerpt. De grens tussen beide gebieden wordt bepaald door α en de * bijbehorende waarde op de x-as (bijv. x, te bepalen via z*). Hoe groot eenzijdig tweezijdig kies je α? α = 5% z* = z* = en dus z*? α = 1% z* = z* =

18 Ingrediënt D : P-waarde en Statistische Significantie De P-waarde is de waarschijnlijkheid onder de H 0 verdeling dat de toetsingsgrootheid (Z) een waarde zou aannemen, even extreem als of extremer dan de uit de steekproef berekende waarde (bijv z=1.4). 1-zijdig toetsen 2-zijdig toetsen z=1.4, P=0.08 z=-1.4, P=0.08 z=1.4, P= z z NB Hoe kleiner de P-waarde, des te sterker de evidentie tegen H 0. Als P-waarde < α, dan spreken we van significantie op nivo α. Met kennis van de P-waarde is toetsen op ieder niveau mogelijk. 18

19 Het Toetsen van een Gemiddelde: de z-toets Deze toets is in voorafgaande als voorbeeld gebruikt. De toets is van toepassing op alle kwantitatieve variabelen met bekende σ. Bij een service-afdeling was de tijd om te reageren op een klacht normaal verdeeld met een gemiddelde van 2 uur en een standaarddeviatie van 0.25 uur. Men meent dat de tijd tegenwoordig gemiddeld wat langer is. Een random sample van 25 gevallen geeft een gemiddelde tijd van 2.10 uur. Is dit wel of niet in tegenspraak met de eerdere situatie (2 uur)? Wat is de P-waarde van de toets. Hypothesen? Waarde toetsingsgrootheid, α, verwerpingsgebied? P-waarde? Conclusie 19

20 Hypothesen? H 0 : µ = 2 H a : µ > 2 Waarde toetsingsgrootheid, verwerpingsgebied? x µ z = = σ 0.25 n 25 P-waarde? P(Z > 2)= = = met α = 5% Conclusie Verwerp H 0 20

21 Relatie tussen Significantie Toets en Betrouwbaarheidsinterval Een 2-zijdige significantie toets op nivo α verwerpt de nulhypothese precies wanneer µ 0 buiten het betrouwbaarheidsinterval 1-α valt. Voorbeeld: zie sheet 5. Gegeven: populatie N(3, 0.8). steekproef n = 50, x = % CI = [2.14, 2.58]. Hoe hangen het 95%CI en de 2-zijdige significantie toets met elkaar samen? 21

22 a) b) H 0 : µ = 3 H a : µ 3 95% CI = [2.14, 2.58] en µ = 3. Conclusie? α=5% z*=1.960 in één figuur: z = x σ µ = n = = %CI x 22

23 Gebruik & Misbruik van Toetsen: Gedragsregels voor Evaluatie 1. Kiezen van het significantie nivo: er is geen scherpe grens tussen significant en niet significant, alleen maar sterkere evidentie tegen H 0 naarmate de P-waarde kleiner is. Dus is P- waarde informatiever. 2. Significante effecten kunnen heel klein zijn. Denk aan de rol van n. Bijvoorbeeld een significant verschil in IQ van 1 punt. 3. Gebrek aan significantie betekent niet dat H 0 waar is of H a fout. 4. Zonder een vorm van randomisatie in het onderzoeksontwerp is een significant resultaat niet te interpreteren. 5. Een heleboel toetsen doen op dezelfde steekproef geeft altijd wel enig significant verschil. Hier zijn speciale maatregelen nodig (zie volgende sheet). 6. Geen exploratie en confirmatie op dezelfde data. 23

24 Voorbeeld: Verifiëren of een Steekproef Representatief is Vaak moet men aannemelijk maken dat getrokken steekproef inderdaad representatief is. Dit kan men doen door op een aantal belangrijke eigenschappen (leeftijd, opleidingsniveau, en diverse testscores) de gemiddelden te toetsen. De Bonferroni procedure beschermt tegen te veel significante resultaten: als k toetsen gezamenlijk α moeten hebben, wordt bij elke afzondelijke toets α/k gebruikt. Hoe valt dit bij volgende 6 uit? α = 0.05 α/6 = toets-1 toets-2 toets-3 toets-4 toets-5 toets-6 P-waarde α = 5% apart SIG SIG SIG SIG Bonferroni SIG SIG 25

25 Tot Besluit SCHATTEN EN TOETSEN: Er zijn twee typen inferentie: o voeg een foutenmarge toe aan een steekproefstatistiek, o kijk of een toetsingsgrootheid in een staart van de steekproevenverdeling van H 0 ligt (of niet) Bij toetsing gaat het om kwantificatie van de evidentie vóór of tegen de H 0 Met een betrouwbaarheidsinterval zijn alle mogelijke H 0 s (tweezijdig) te toetsen Stof Volgende Week: Moore, McCabe & Craig, hoofdstuk 7 Inference for Distributions 7.1 Inference for the Mean of a Population 7.2 Comparing Two Means 26