Data analyse Inleiding statistiek

Transcriptie

1 Data analyse Inleiding statistiek 1 Terugblik - Inductieve statistiek Afleiden van eigenschappen van een populatie op basis van een beperkt aantal metingen (steekproef) Kennis gemaakt met kans & kansverdelingen» binomiale verdeling» normale verdeling 2 1

2 Centrale vraag deze keer Wat zegt het gemiddelde van een steekproef over het gemiddelde van de populatie? 3 Notatie (ratio & interval) Steekproef» Gemiddelde: : X» Standaarddeviatie: : s Populatie» Gemiddelde: μ» Standaarddeviatie: σ Populatie 4 2

3 Steekproef Random bemonsteren! Steekproef is dan representatief voor de populatie. Anders: systematische afwijking (bias) 5 Steekproef we maken heel vaak een steekproef met n monsters uit dezelfde populatie elke steekproef heeft een eigen gemiddelde X steekproefvariabiliteit (sampling variability) 6 3

4 Steekproevenverdeling kansverdeling van steekproeven- gemiddelden noemt men de steekproevenverdeling (Eng. sampling distribution) 7 Steekproevenverdeling Populatie: gemiddelde: μ standaarddeviatie: σ Steekproevenverdeling: 1. gemiddelde is gelijk aan μ 2. standaarddeviatie is gelijk aan σ/ n 3. populatie normaal? steekproevenverdeling ook normaal 4. n groter dan 30? steekproevenverdeling normaal, ongeacht kansverdeling van populatie 8 4

5 Populatie-gegevens gegevens: μ = 11 ha; σ = 3 ha 9 We hebben dus nu te maken met: Populatie Steekproef We doen 100 steekproeven,, elk ter grootte van 16 percelen Wat kunnen we zeggen over de steekproef- gemiddelden? Steekproeven- verdeling Gemiddelde μ X μ St. dev. σ s SE = σ/ n 10 5

6 Populatie-gegevens gegevens: μ = 11 ha; σ = 3 ha We doen 1 steekproef ter grootte van 45 percelen.. Hoe groot is de kans dat het gemiddelde van deze steekproef groter is dan 12 ha? 11 Binomiale verdeling Tot nu toe alles behandeld voor continue variabelen op ratio schaal Wat te doen voor dichotome (discrete) variabelen?» wel of geen zandsteen» wel of geen kwarts» kop of munt» jongen of meisje» goed of fout 12 6

7 Steekproevenverdeling Populatie: gemiddelde: π Steekproevenverdeling: 1. gemiddelde is gelijk aan π 2. standaarddeviatie is gelijk aan (π(1- π)/n) 3. n groter dan 30? steekproevenverdeling normaal!! (blz( 207 boek) 4. n kleiner dan 30? gebruik binominale verdeling 13 Wel of geen kwarts? Populatie: : 40% is kwarts Steekproef: : 60 kiezels Vraag: : hoe groot is de kans dat deze steekproef minder dan 35% kwarts bevat? 14 7

8 Terugblik we maken heel vaak een steekproef met n monsters uit dezelfde populatie elke steekproef heeft een gemiddelde X het gemiddelde van alle X is gelijk aan μ de standaarddeviatie van alle X is gelijk aan SE normale verdeling bij n > 30 PRAKTIJK: 1 steekproef!! 15 Betrouwbaarheidsinterval We gaan werken met intervallen μ = X ± waarde Praktijk: kies interval zo breed dat er een 95% kans is dat het interval de werkelijke waarde μ omvat 95% kans α =

9 95% betekent dat: er is een 95% kans dat het interval μ omvat [... X...] μ 17 Betrouwbaarheidsinterval 95% betekent ook dat: er is een 2.5% kans dat het interval in z n geheel groter is dan μ μ [... X...] er is een 2.5% kans dat het interval in z n geheel kleiner is dan μ [... X...] μ 18 9

10 σ bekend» Z-verdeling» waarde = 1.96*SE (bij( 95% interval) Dus: Waarde? μ = X ± Z0.025 *SE = X ± 1.96*SE 19 Vraag σ bekend» Z-verdeling» wat is de waarde voor een 99% kans (α = 0.01)? μ = X ± Z0.005 *SE = X ± 2.58*SE 20 10

11 σ onbekend» neem s i.p.v. σ» gebruik t-verdeling t-verdeling correctie op normale verdeling» iets breder! Waarde? 21 breedte wordt bepaald door grootte n van steekproef df = n 1 t verdeling Tabel V (blz( 673 boek) 22 11

12 Tabel V 95% betrouwbaarheid = 2.5% in staart t df = n 1 Stel n = 6 df = 5 t = 2.57 μ = X ± t0.025 *SE was 1.96 bij Z

13 Tabel V Bij n > 30: t-verdeling = Z-verdelingZ μ = X ± t0.025 *SE X ± Z0.025 *SE 25 Waarde - samenvattend σ bekend» Z-verdeling σ onbekend» neem s i.p.v. σ» n > 30; Z-verdelingZ» n < 30; t-verdeling 26 13

14 Steekproefgegevens: n = 60; X = 13 ha; s = 4 ha Wat kunnen we zeggen over het populatiegemiddelde bij α = 0.05? 27 Steekproefgegevens: n = 5; X = 13 ha; s = 4 ha Wat kunnen we zeggen over het populatiegemiddelde bij α = 0.05? 28 14

15 Steekproefgegevens: n = 60; X = 13 ha; s = 4 ha Wat kunnen we zeggen over het populatiegemiddelde bij α = 0.05? Interval [ ] ha. Breedte = 2 ha Hoeveel waarnemingen waren nodig geweest voor breedte van 1 ha? 29 Samenvatting (interval/ratio) Is het gemiddelde van een steekproef een goede schatting van het gemiddelde van de populatie? Populatie Steekproef Steekproef- verdeling Gemiddelde μ X μ St. dev. σ s SE = σ/ n 30 15

16 Toetsen Hypothese: veronderstelling over het gemiddelde van een populatie (μ) Voer een steekproef uit Bereken het betrouwbaarheidsinterval voor μ voor een bepaalde α Beslis of de uitkomst consistent is met de hypothese 31 Klassieke toetsprocedure 5 stappen aanpak 1. Veronderstellingen meetschaal: ordinaal/nominaal/interval/ratio? model: aselecte (random) steekproef hypothese: : H 0 alternatieve hypothese: : H a 32 16

17 Hypothese Hypothese H 0 : veronderstelling over het gemiddelde van een populatie (μ) H 0 : μ = 11 ha (bijvoorbeeld( bijvoorbeeld) Alternatieve hypothese H a : wat als H 0 niet waar is? H a : μ 11 ha of H a : μ > 11 ha of H a : μ < 11 ha richting van afwijking niet bekend } richting van afwijking bekend < 11 ha 33 Hypothese Wanneer niet en wanneer wel richting van afwijking bekend? Niet: bij een toets of een steekproef wel of niet uit een bepaalde populatie komt Wel: als uit het probleem duidelijk is dat er een richting is: vervuiling & ingreep: : is de vervuiling afgenomen? 34 17

18 Klassieke toetsprocedure 2. Significantieniveau (α) α?» meest gebruikt: α = 0.05 of α = Klassieke toetsprocedure 3. Steekproevenverdeling en kritiek gebied welke verdeling neemt de steekproeven- verdeling aan?» Z-verdeling» t-verdeling welke karakteristieken heeft de verdeling?» gemiddelde» standaardfout» aantal vrijheidsgraden 36 18

19 Klassieke toetsprocedure Kritiek gebied: Kritiek gebied: wanneer we verwerpen we H 0? Kritiek gebied: afhankelijk van α en H a 37 Kritiek gebied Stel: α = 0.05, H 0 : μ = 11 ha en Z verdeling Geval 1: H a : μ 11 ha Verdeel α over beide staarten van de steekproevenverdeling Betrouwbaarheidsinterval: : [-Z[ α/2.. Z α/2 /2]] = [-1.96[ ] Kritieke gebied: : Z < en Z > 1.96 Tweezijdig 38 19

20 Kritiek gebied Stel: α = 0.05, H 0 : μ = 11 ha en Z verdeling Geval 2: H a : μ > 11 ha Leg α geheel aan één zijde Kritiek gebied: : Z > 1.64 Eénzijdig 39 H a : μ... (tweezijdig( tweezijdig) α = % 2.5%

21 H a : μ>... (éé( éénzijdig) α = % 41 H a : μ<... (éé( éénzijdig) α = %

22 Klassieke toetsprocedure 4. Bereken de toetsgrootheid bereken de Z-Z of t-waarde 43 Klassieke toetsprocedure 5. Maak een beslissing Ligt de toetsgrootheid in het kritieke gebied? Nee:» we accepteren de nul-hypothese met het α significantie niveau (of met het 1-α1 betrouwbaarheid) Ja» we verwerpen de nul-hypotese met het α significantie niveau 44 22

23 α = % 2.5% Ligt Z in t t rode deel: verwerpen H 0 Ligt Z in t witte deel: accepteren H 0 45 Toets 1 Stel,, de porositeit in een bepaalde formatie is normaal verdeeld.. We willen toetsen of onze steekproef (X = 0.27, s = 0.075, n = 36) in overeenstemming is met de hypothese dat het populatie- gemiddelde 0.3 is

24 Toets 2 Wat was er veranderd als we α = 0.01 hadden genomen? 47 Niet ideaal Subjectieve keuze α Toets 1: α = 0.05, H0 verwerpen Toets 2: α = 0.01, H0 aannemen Kan het anders? 48 24

25 p-waarde Ja: p-waarde (waargenomen significantie niveau) p-waarde = kans dat de toetsgrootheid even extreem of extremer is dan berekend, onder de aanname dat H0 waar is 49 Voorbeeld - 1 Stel,, de porositeit in een bepaalde formatie is normaal verdeeld.. We willen weten of onze steekproef (X = 0.27, s = 0.075, n = 36) in overeenstemming is met de hypothese dat het populatie- gemiddelde 0.3 is. Wat is de p-waarde? 50 25

26 Relatie p-waarde en α Hoe lager de p-waarde,, hoe lager de kans dat H0 correct is p-waarde < α: verwerp H0 p-waarde > α: neem H0 aan In ons eerdere voorbeeld < 0.05: verwerp H > 0.01: neem H0 aan 51 Samenvatting Klassieke toets 1. H0 en Ha 2. α 3. Toetsgrootheid 4. Kritiek gebied 5. Beslissing 6. Interpretatie p-waarde aanpak 1. H0 en Ha 2. α 3. Toetsgrootheid 4. p-waarde 5. Beslissing 6. Interpretatie 52 26

27 Steekproef Kans op verkeerde conclusie bij een toets Conclusie Werkelijkheid H 0 is correct H a is correct H 0 is correct Goede conclusie Kans = 1-α1 Foute conclusie Type II; kans = β H a is correct Foute conclusie Type I; I kans = α Goede conclusie Kans = 1-β1 53 Voorbeeld Lozen van koelwater; ; effect op ecosysteem 54 27

28 H 0 : μ = 30 ºC H a : μ > 30 ºC Hypothesen Wat betekenen deze hypothesen? Wat betekent een type I fout? Wat betekent een type II fout? 55 H0 is correct; SE = 1 o C; n = 65 α = Temperatuur o C acceptatie gebied C kritiek gebied Type I: α 56 28

29 H0 is false; SE = 1 0 C α = acceptatie gebied Ha is true; μ = C; SE = 1 0 C α = 0.05 Type II: β kritiek gebied Temperatuur o C 57 Grootte van β β is alleen te bepalen als we de echte alternatieve populatie waarde weten Dit voorbeeld: β = Stel μ a = 32.5 β =

30 Hoe Type I fout te verlagen? H0 is correct; SE = 1 0 C α = Temperatuur o C acceptatie gebied kritiek gebied C 59 H0 is false; SE = 1 0 C α = acceptatie gebied Ha is true; μ = C; SE = 1 0 C α = 0.01 kritiek gebied β = Temperatuur o C 60 30

31 α en β Het verlagen van Type I fout (α) verhoogt de Type II fout (β) Wat helpt dan wel? 61 H0 is false; SE = C α = acceptatie gebied Ha is true; μ = C; SE = C α = 0.05 kritiek gebied β = Temperatuur o C 62 31

32 Grotere steekproef Type I fout blijft hetzelfde Standaardfout omlaag Daarmee kans op Type II fout omlaag 63 Steekproef Kans op verkeerde conclusie bij een toets Conclusie Werkelijkheid H 0 is correct H a is correct H 0 is correct Goede conclusie Kans = 1-α1 Foute conclusie Type II; kans = β H a is correct Foute conclusie Type I; I kans = α Goede conclusie Kans = 1-β

33 Heeft de aanleg van een zuiveringsinstallatie geleid tot een schonere beek? steekproef voor de ingreep steekproef na de ingreep 65 Gepaarde data 10 watermonsters in watermonsters in 2003 Is er sprake van een verandering over de periode ? 66 33

34 67 Metingen NO 3 (mg/l) D D = 1.71 mg/l s D = 2.74 mg/l Reductie van 2 steek- proeven naar 1: het verschil 68 34

35 Toets Veronderstellingen: H 0 : Δ = 0 (populatie( verschil = 0) H a : Δ 0 α = Gepaarde data Terug naar 1 data set: verschil Toets of verschil