Data analyse Inleiding statistiek

Maat: px

Weergave met pagina beginnen:

Download "Data analyse Inleiding statistiek"

Hendrik Kuiper
6 jaren geleden
Aantal bezoeken:

1 Data analyse Inleiding statistiek Terugblik - Inductieve statistiek Afleiden van eigenschappen van een populatie op basis van een beperkt aantal metingen (steekproef) Kennis gemaakt met kans & kansverdelingen Z- & t-toetstoets hypotheses; type I & II fout

2 Exploratieve statistiek Relatie tussen twee variabelen Interval of ratio meetschaal lineaire regressie 3 Lineaire regressie Kwantificeren van lineaire relatie tussen een onafhankelijke variabele X en een afhankelijke variabele Y Kwantificeren van de sterkte van deze lineaire relatie M.b.v. de relatie een voorspelling maken van Y zodra een nieuwe waarde van X beschikbaar komt 4

3 Voordat je begint Grafiek maken van Y tegen X spreidingsdiagram (scatterplot, scattergram) Controle: : is er wel een lineair verband? Beschrijving: positieve of negatieve relatie zwakke of sterke relatie 5 lineair, positief, zeer sterke relatie 6 3

4 lineair, positief, redelijk sterke relatie 7 lineair, positief, zwakke relatie 8 4

5 geen relatie 9 lineair, negatief, zwakke relatie 0 5

6 lineair, negatief, sterke relatie lineair, negatief, zeer sterke relatie 6

7 Locatie Voorbeeld Afstand (km) Neerslag (mm) X: afstand Y: neerslag 3 Kwantificeren best-fit lineaire lijn ( X, Yˆ ) ( X, Y ) d = Y Yˆ Yˆ = a+ bx cov r = s s X Y = = *

8 Ordinary Least Squares a en b kunnen worden bepaald door Σd i te minimaliseren Methode: : ordinary least squares Best-fit lineaire lijn = least-squares squares linear line Boek: : H 5 Ordinary Least Squares Uitkomst van Ordinary Least Squares (blz( 36 & 36 boek): ( X X)( Y Y) xy b = = ( X X) x a= Y bx x = X X y = Y Y 6 8

9 9 7 7 Voorbeeld Voorbeeld Neerslag Neerslag (mm) (mm) Afstand Afstand (km) (km) Locatie Locatie X: X: afstand afstand Y: Y: neerslag neerslag X = 8.5 = 8.5 Y = 39 = Y-Y Y X-X (X (X-X)(Y X)(Y-Y) Y) X Locatie Locatie

10 Yˆ = a+ bx Yˆ = X ( X X)( Y Y) xy 668 b = = = = 0.75 ( X X) x 3878 a= Y bx = 39 ( 0.75*8.5) = Geen lineaire relatie: Residuen zijn afhankelijk van X: 0 0

11 Wel lineaire relatie: Maar residuen zijn afhankelijk van X: Lineaire relatie? Erg afhankelijk van uitschieters. Zonder uitschieters geen relatie tussen X en Y

12 Voorwaarden voor regressie lineair verband tussen X en Y y is de afhankelijke variabele residuen moeten: een gemiddelde hebben van 0 normaal verdeeld zijn onafhankelijk zijn van X 3 Voorspellen Nieuwe waarneming X Schatting Ŷ d.m.v. regressie-lijn ˆ Y a bx = + Voorbeeld: : X = 35 km Ŷ = *35 = 9.6 mm 4

13 ˆ Y a bx = + Ŷ cov r = s s X Y = = *0.88 X 5 Kwantificeren sterkte relatie. Covariantie (cov). Correlatie coëffici fficiënt (r) 6 3

14 Bij variabele: Covariantie n s = ( Xi - X)( Xi - X) n -i= Bij variabelen: n cov = ( Xi - X)( Yi - Y) n -i= 7 Covariantie n n cov = ( - )( - ) - X i X Y i Y = n i n- xy = i= Covariantie beschrijft hoe twee variabelen tezamen variëren ren bij grotere X, ook grotere Y cov positief bij grotere X, kleinere Y cov negatief X en Y onafhankelijk 0 8 4

15 Voorbeeld Voorbeeld Neerslag Neerslag (mm) (mm) Afstand Afstand (km) (km) Locatie Locatie X: afstand afstand Y: neerslag neerslag X = 8.5 = 8.5 Y = 39 = 39 s x = 58.9 = 58.9 s y = 0.88 = Covariantie Covariantie Y-Y Y X-X (X (X-X)(Y X)(Y-Y) Y) X Locatie Locatie

16 Covariantie n cov = ( Xi - X)( Yi - Y) n -i= cov = - ( 4+ ( 50.5) ( 7.5) ) = * 668 = spreidingsdiagram: negatieve relatie covariantie: negatief getal 3 Correlatie-co coëfficiënt r cov sxsy = of xy r = of x y correlatie-co coëfficiënt is genormaliseerde covariantie r = : perfect positief lineair verband r = -: perfect negatief lineair verband r = 0 : X en Y lineair onafhankelijk 3 6

17 r = 33 r =

18 r = r =? Y X 36 8

19 cov r = = = sxsy 58.9* b en r b = x xy r = xy x y s b= r s Y X 38 9

20 Y Y Yˆ Y Yˆ = a+ bx ( ˆ ) ( ˆ) Y Y = Y Y + Y Y 39 Variatie ( Y Y) = ( Yˆ Y) + ( Y Yˆ) Σ(...) noemt men variatie (sum of squares) Σ(Y-Y) = totale variatie Σ(Ŷ-Y) = regressie-variatie ( verklaarde ) Σ(Y-Ŷ) = residu-variatie ( onverklaarde ) 40 0

21 Variatie ( Y Y) = ( Yˆ Y) + ( Y Yˆ) totaal = verklaard + onverklaard verklaarde variatie totale variatie ( Yˆ Y) = = r ( Y Y) 4 r (Boek:: 5.) r is coefficient of determination r * 00% = percentage variatie in Y verklaard door de lineaire relatie tussen Y en X (-r )*00% = percentage nog onverklaarde variatie in Y 4

22 r = r = 0.90 Huidig voorbeeld Oftewel,, 90% van de variatie in neerslag wordt verklaard door de lineaire relatie tussen neerslag en afstand 43 Steekproeven a, b, r en Ŷ zijn gebaseerd op steekproeven Net iets andere steekproeven, dus ook net iets andere waardes voor a, b, r en Ŷ Hoe nauwkeurig zijn a, b, r en Ŷ? Wat zeggen a, b, r en Ŷ over de populatie waardes α, β, ρ en μ? 44

23 Inductieve statistiek Wat zeggen a, b, r en Ŷ over de populatie waardes α, β, ρ en μ? Uitrekenen betrouwbaarheidsintervallen voor a, b, r en Ŷ!! 45 Residuele variantie Centraal bij uitrekenen betrouwbaarheidsintervallen staat de residuele variantie: s ˆ Y Y = ( ) n s wordt groter als de relatie tussen X en Y minder sterk wordt s wordt ook wel de schattingsfout genoemd 46 3

24 Residuen - voorbeeld Locatie X Y Ŷ Y- Ŷ ŷ= x ( ) s = = n 3.3 ˆ Y Y s = Betrouwbaarheidsinterval b Blz 380 boek s b t *... b+ t * x α/ α/ s x df = n 48 4

25 Betrouwbaarheidsinterval b Voorbeeld (α = 0.05) SE s b b t t **... b + t * x [ ] SEs x α/ α/ α / S xx S xx * * = Betrouwbaarheidsinterval b Belangrijkste gebruik van dit interval: Omvat het berekende interval 0? Ja?? Dan is de relatie tussen X en Y niet statistisch significant bij de gekozen α Waarom? 50 5

26 Betrouwbaarheidsinterval a α = 0.05 a t s + a+ t s + n x n x x α/ * *... α/ * * x *3.64* *3.64* + = [ ] 5 Betrouwbaarheidsinterval Ŷ 5 6

27 Betrouwbaarheidsinterval Ŷ Blz 385 boek ˆ /* * ( X Y t s X)... Yˆ t ( ) /* s* X X α + + α + n n x x df = n 53 Betrouwbaarheidsinterval Ŷ Voorbeeld: : X = 35, α = 0.05, ŷ = 9.6 ˆ /* * ( X Y t s X)... Yˆ t ( ) /* s* X X α + + α + n n x x (35 8.5) (35 8.5) 9.6.3*3.64* *3.64* + = [ ] 54 7

28 Betrouwbaarheidsinterval Ŷ ˆ /* * ( X Y t s X)... Yˆ t ( ) /* s* X X α + + α + n n x x Breedte van interval hangt af van X Hoe dichter bij het gemiddelde van X zit, hoe smaller het interval 55 bovengrens regressie-lijn ondergrens 56 8

29 Betrouwbaarheidsinterval Probleem: r ligt altijd tussen - en Betrouwbaarheidsinterval moet dat ook... Methode: Figuur 5.4 uit boek, blz Betrouwbaarheidsinterval r Belangrijkste gebruik van dit interval: Omvat het berekende interval 0? Ja?? Dan is de relatie tussen X en Y niet statistisch significant bij de gekozen α Waarom? 58 9

30 Boek: : r = 0.6; n = 0 Grens : 0.87 Grens : < ρ < 0.87 Asymmetrisch!! Interval omvat 0: niet significant 59 Betrouwbaarheidsinterval [ondergrens < ρ < bovengrens] Dus: als betrouwbaarheidsinterval 0 omvat,, is relatie statistisch niet significant bij α =

Grens : -0.85 Grens : -0.98-0.85 < ρ < -0.98 interval omvat 0 niet, relatie statistisch significant bij α = 0.05 6 Significant of niet?

31 Grens : Grens : < ρ < interval omvat 0 niet, relatie statistisch significant bij α = Significant of niet? Er zijn dus manieren om uit te rekenen of relatie tussen X en Y statistisch significant is: betrouwbaarheidsinterval voor b betrouwbaarheidsinterval voor r Omvat interval 0, dan niet significant Uitkomst van beide methoden altijd hetzelfde! 6 3

Vergelijkbare documenten

b) Het spreidingsdiagram ziet er als volgt uit (de getrokken lijn is de later uit te rekenen lineaire regressie-lijn): hoogte

b) Het spreidingsdiagram ziet er als volgt uit (de getrokken lijn is de later uit te rekenen lineaire regressie-lijn): hoogte Classroom Exercises GEO2-4208 Opgave 7.1 a) Regressie-analyse dicteert hier geen stricte regels voor. Wanneer we echter naar causaliteit kijken (wat wordt door wat bepaald), dan is het duidelijk dat hoogte