mlw stroom 2.1: Statistisch modelleren

Transcriptie

1 mlw stroom 2.1: Statistisch modelleren College 5: Regressie en correlatie (2) Rosner Arnold Kester Capaciteitsgroep Methodologie en Statistiek Universiteit Maastricht Postbus 616, 6200 MD Maastricht 2 nov 2005 Methodologie en Statistiek Universiteit Maastricht

2 Inhoud 1. (11.5) Intervalschatting van regressiecoëfficiënten 2. Voorspellingsinterval 3. (11.6) Modelvoorwaarden en controle 4. (11.7) Correlatie, berekening 5. (11.8) Toetsen v.d. correlatiecoëfficiënt 6. Betrouwbaarheidsinterval voor de correlatiecoëfficiënt 7. Vergelijken van twee onafhankelijke correlaties Methodologie en Statistiek Universiteit Maastricht College 5: Regressie en correlatie (2): 1 Arnold Kester 25 oktober 2005

3 Estriol voorbeeld: SPSS uitvoer Model Summary Model R R Square Adjusted R Square Std. Error of the Estimate 1.610(a) a) Predictors: (Constant), ESTRIOL ANOVA(b) Model Sum of Squares df Mean Square F Sig. 1 Regression (a) Residual Total a) Predictors: (Constant), ESTRIOL b) Dependent Variable: BIRTHWGT Coefficients(a) Unstand. Coefs Stand. Coefs t Sig. Model B Std. Error Beta 1 (Constant) ESTRIOL a) Dependent Variable: BIRTHWGT Methodologie en Statistiek Universiteit Maastricht College 5: Regressie en correlatie (2): 2 Arnold Kester 25 oktober 2005

4 SPSS uitvoer, commentaar Eerste tabel: Correlatie tussen X en Y ; kwadraat van de correlatie; idem gecorrigeerd voor aantal verklarende variabelen; schatting van modelparameter σ Tweede tabel: Variantie-analyse met kwadratensommen, vrijheidsgraden, gemiddelde kwadraten en F -toets Derde tabel: Geschatte regressiecoëfficiënten, standaardfouten en t-toetsen. De kolom genaamd Beta geeft de z.g. gestandaardiseerde coëfficiënten, dat zijn de regressiecoëfficiënten die verkregen worden na standaardisatie van de variabelen X en Y : X Z = (X X)/ SD(X), Y Z = (Y Ȳ )/ SD(Y ) Methodologie en Statistiek Universiteit Maastricht College 5: Regressie en correlatie (2): 3 Arnold Kester 25 oktober 2005

5 Recapitulatie: voorbeeld estriol. birthweight a=21.5 b=0.608 is stijging per eenheid estriol estriol Beschrijf verband met regressielijn: y = x x = 10 geeft ŷ = = x = 20 geeft ŷ = = verschil = 6.08 = b 10 Methodologie en Statistiek Universiteit Maastricht College 5: Regressie en correlatie (2): 4 Arnold Kester 25 oktober 2005

6 Recapitulatie: residuen. birthweight voorspelling bij x = 24: y^ = residu y i y^i punt i: (x i = 24, y i = 28) Residu: d i = y i ŷ i lijn gedefinieerd door min a,b (yi ŷ i ) 2 minimum d 2 i is SS Res = estriol Voorspelde waarde ŷ i = a + bx i Geschatte σ 2 is s 2 y x = MS Res = SS Res/(n 2) = Methodologie en Statistiek Universiteit Maastricht College 5: Regressie en correlatie (2): 5 Arnold Kester 25 oktober 2005

7 Recapitulatie: Standaardfouten van coëfficiënten s.e.(b) = s 2 y x L xx = s y x Lxx = s y x s x n 1 s.e.(a) = s 2 y x ( ) 1 n + x2 L xx = s y x 1 n + x2 L xx Estriol: s.e.(b) = / = = s.e.(a) = (1/ /677.42) = = Methodologie en Statistiek Universiteit Maastricht College 5: Regressie en correlatie (2): 6 Arnold Kester 25 oktober 2005

8 Intervalschatting van regressieparameters (11.5) Betrouwbaarheidsinterval voor helling. Uitgaande van (b β)/ s.e.(b) t n 2 : betrouwbaarheidsinterval voor β wordt gegeven door (b t n 2, 1 α/2 s.e.(b); b t n 2, 1 α/2 s.e.(b)). Vb.: Estriol; betrouwbaarheidsinterval voor helling is 0.608±t 29,0.975 (0.147) = 0.608±2.045(0.147) = (0.308, 0.908) helling zou ook zowat half zo groot of 50% groter kunnen zijn! Betrouwbaarheidsinterval voor intercept. betrouwbaarheidsinterval voor α wordt gegeven door a ± t n 2, 1 α/2 s.e.(a). = 21.5 ± 2.045(2.62) = (16.14; 26.86) Maarrrr... Wat betekent dit eigenlijk? Methodologie en Statistiek Universiteit Maastricht College 5: Regressie en correlatie (2): 7 Arnold Kester 25 oktober 2005

9 Vb. Estriol en Geboortegewicht birthweight Grenzen b.i. voor intercept estriol Methodologie en Statistiek Universiteit Maastricht College 5: Regressie en correlatie (2): 8 Arnold Kester 25 oktober 2005

10 Geldigheid betrouwbaarheidsinterval v.h. intercept Estriol = 0 komt niet voor, dus wat betekent α eigenlijk? Is de relatie wel lineair buiten het data-gebied? Extreem voorbeeld: X is lichaamstemperatuur bij binnenkomst op intensive care, Y is verblijfsduur op intensive care... Wél zinnig: s.e. voor a + bx als x binnen de data-range ligt. Eigenlijk is het doel van het onderzoek: Hoe groot is het geboortegewicht bij gegeven waarde van estriol? Methodologie en Statistiek Universiteit Maastricht College 5: Regressie en correlatie (2): 9 Arnold Kester 25 oktober 2005

11 Betr. int. voor gemiddelde y bij gegeven x s.e. 2 (ŷ) = s.e. 2 (a + bx) = s 2 y x ( 1 n + (x x)2 L xx betrouwbaarheidsinterval: ŷ ± t 29,0.975 s.e. 2 (ŷ) Vb. estriol = 25, wat is gemiddelde y (geboortegewicht)? ŷ = = 36.73, s.e. 2 (ŷ) = ( 1/31 + ( ) 2 / ) = 1.33 interval: ŷ ± t 29,0.975 s.e. 2 = ± 2.045(1.33) = (34.01; 39.45) Methodologie en Statistiek Universiteit Maastricht College 5: Regressie en correlatie (2): 10 Arnold Kester 25 oktober 2005 )

12 Betrouwbaarheidsinterval voor gemiddelde birthweight estriol Methodologie en Statistiek Universiteit Maastricht College 5: Regressie en correlatie (2): 11 Arnold Kester 25 oktober 2005

13 Voorspellingsinterval voor nieuwe data Veronderstel nieuwe zwangere heeft estriol x = 25. Wat kunnen we voorspellen over het geboortegewicht y van haar baby? y = α + βx + e = (α + βx ) + e Schat α + βx met ŷ = a + bx, ( 1 s.e. 2 (ŷ ) = s 2 y x n + (x x) 2 ) L xx e N(0, σ 2 ), schat σ 2 met s 2 y x, dus samen: s.e. 1 (y ) = s.e. 2 (ŷ ) 2 + s 2 y x = s 2 y x ( 1 n + (x x) 2 ) + 1 L xx Methodologie en Statistiek Universiteit Maastricht College 5: Regressie en correlatie (2): 12 Arnold Kester 25 oktober 2005

14 Voorbeeld: geboortegewicht bij estriol=25 Predictie-interval: ŷ ± t n 2,1 α/2 s.e. 1 (y ) In estriol voorbeeld: a + b 25 = (3673 gram) s.e. 1 = /31 + ( ) 2 / = 4.05 Interval is dus (28.48, 44.98). Opm. Interval alleen correct als residuen zeer goed normaal verdeeld zijn. Methodologie en Statistiek Universiteit Maastricht College 5: Regressie en correlatie (2): 13 Arnold Kester 25 oktober 2005

15 Voorspellingsinterval voor nieuwe data birthweight estriol Methodologie en Statistiek Universiteit Maastricht College 5: Regressie en correlatie (2): 14 Arnold Kester 25 oktober 2005

16 Conclusies voorspellingsinterval Als aan de voorwaarden voldaan is, dan: Bij estriol groter dan ongeveer 19 weet je vrij zeker dat birthweight groter is dan 2500 gram. Bij alle andere waarden kan het geboortegewicht zowel groter als kleiner zijn dan 2500 gram. De waarde van de estriol bepaling is dus vrij beperkt. Methodologie en Statistiek Universiteit Maastricht College 5: Regressie en correlatie (2): 15 Arnold Kester 25 oktober 2005

17 Fout voorbeeld in Rosner (example 11.18) Voorspellingsinterval gebaseerd op FEV data (table 11.4): 655 jongens jaar oud FEV John H., FEV=2.5 s y x = = 0.12, predictie-interval voor individu met x = 160 is (2.62, 3.18) Waarom is dit fout? height Model? (zie een v.d. volgende sheets) Methodologie en Statistiek Universiteit Maastricht College 5: Regressie en correlatie (2): 16 Arnold Kester 25 oktober 2005

18 Modelvoorwaarden (11.6) 1. (Lineariteit) De verdeling van y heeft gemiddelde α + βx 2. (Normale verdeling) y N(α + βx, σ 2 ); waarbij σ 2 niet afhankelijk is van x 3. (Onafhankelijkheid) Voor elk paar (x 1, y 1 ), (x 2, y 2 ) zijn de fouttermen e 1 en e 2 onafhankelijk Methodologie en Statistiek Universiteit Maastricht College 5: Regressie en correlatie (2): 17 Arnold Kester 25 oktober 2005

19 Residuenplot, opbouw birthweight estriol residual estriol residual predicted studentized residual standardized prediction Methodologie en Statistiek Universiteit Maastricht College 5: Regressie en correlatie (2): 18 Arnold Kester 25 oktober 2005

20 Modelvoorwaarden, controleren residual predicted Lineariteit Constante variantie Normale verdeling Als je niets ziet is het goed Wat is hier het geval? Methodologie en Statistiek Universiteit Maastricht College 5: Regressie en correlatie (2): 19 Arnold Kester 25 oktober 2005

21 Modelvoorwaarden, voorbeelden (a) (b) a) Alles OK (normaliteit?) b) Lineariteit? c) Constante variantie? (c) residual (d) height d) Wat zie je hier? En wat zie je nu in het estriol voorbeeld? Methodologie en Statistiek Universiteit Maastricht College 5: Regressie en correlatie (2): 20 Arnold Kester 25 oktober 2005

22 Modelvoorwaarden, remedies Kwaal Remedies Opmerking Niet Andere methode komt in stroom 2.2 onafhankelijk Niet constante Transformeer y, variantie bijv. Dit beïnvloedt ook de y of log(y). verdeling en de Niet normaal Niet lineair Gewogen regressie Transformeer y Andere methode Transformeer x of y lineariteit bijv. als punten gemiddelden van verschillende aantallen subjecten zijn bijv. rangcorrelatie Methodologie en Statistiek Universiteit Maastricht College 5: Regressie en correlatie (2): 21 Arnold Kester 25 oktober 2005

23 Correlatie, definitie en berekening (11.7) r(x, y) = = L xy Lxx L yy (xi x)(y i ȳ) (xi x) 2 (y i ȳ) 2 1 r 1 Dimensieloos Schaal-invariant Plaats-invariant r is positief: stijgend verband r is negatief: dalend verband r is nul: geen verband voorbeelden p 137 Methodologie en Statistiek Universiteit Maastricht College 5: Regressie en correlatie (2): 22 Arnold Kester 25 oktober 2005

24 Voorbeeld: Estriol: Vervolg correlatie r = L xy / L xx L yy = 412/ = 0.61 r = s xy s x s y (covariantie s xy = L xy /(n 1)) b = r s y s x (verband met regressie) Methodologie en Statistiek Universiteit Maastricht College 5: Regressie en correlatie (2): 23 Arnold Kester 25 oktober 2005

25 Voorbeeld: FEV versus lengte (table 11.4) 655 jongens jaar oud FEV data in plaatje: r = Zéér sterk verband Waarom is dit misleidend? height Methodologie en Statistiek Universiteit Maastricht College 5: Regressie en correlatie (2): 24 Arnold Kester 25 oktober 2005

26 Correlatie, toets H 0 : ρ = 0 (11.8) Verband tussen cholesterol v. echtgenoten: x = cholesterol (man), y = cholesterol (vrouw). H 0 : ρ = 0, alternatief H 1 : ρ 0. Waargenomen: r = 0.25 in n = 100 paren. n 2 Toets: t = r 1 r 2 heeft onder H 0 een Student verdeling met n 2 vrijheidsgraden. Bereken t = /( ) = Conclusie? Methodologie en Statistiek Universiteit Maastricht College 5: Regressie en correlatie (2): 25 Arnold Kester 25 oktober 2005

27 Toets voor H 0 : ρ = ρ 0 met ρ 0 0, Fisher s z-transformatie Probleem: 1 r 1 Vb. H 0 : ρ = 0.5, meer ruimte voor afwijking naar onder dan naar boven, dus r is niet symmetrisch (dus niet N en niet t) Oplossing: definieer z = 1 ( ) 1 + r 2 ln, dan is < z < 1 r Let op: Natuurlijke logaritme! Wiskundige statistiek: z is ongeveer normaal met gemiddelde z 0 = 1 ( ) ln ρ0 en variantie 1/(n 3). 1 ρ 0 Methodologie en Statistiek Universiteit Maastricht College 5: Regressie en correlatie (2): 26 Arnold Kester 25 oktober 2005

28 dus z z 0 1/(n 3) N(0, 1). (Voorbeeld 11.31) H 0 : ρ = 0.5, waargenomen r = 0.38 (n = 100). De waargenomen z = 1 2 ln(1.38/0.62) = 0.400, de nulhypothese-waarde z 0 = 1 2 ln(1.5/0.5) = (Gebruik tabel 13 of rekenmachine) z is normaal verdeeld met variantie 1/(100 3), dus λ = ( )/ 1/97 = 1.47 is standaard normaal. p = 2(1 Φ(1.47)) = Conclusie? Methodologie en Statistiek Universiteit Maastricht College 5: Regressie en correlatie (2): 27 Arnold Kester 25 oktober 2005

29 Correlatie, betrouwbaarheidsinterval voor ρ z = 1 ( ) 1 + r 2 ln, en laat z 0 = 1 ( ) 1 + ρ 1 r 2 ln 1 ρ Dan is z N(z 0, 1/(n 3)), dus betrouwbaarheidsinterval voor z 0 is (z 1, z 2 ) = z ± z 1 α/2 / n 3 betrouwbaarheidsinterval voor ρ = (ρ 1, ρ 2 ): terugtransformeren ρ 1 = e2z 1 1 e 2z 1 + 1, ρ 2 = e2z2 1 e 2z Methodologie en Statistiek Universiteit Maastricht College 5: Regressie en correlatie (2): 28 Arnold Kester 25 oktober 2005

30 Opbouw betrouwbaarheidsinterval, r = 0.718, n = betrouwbaarheidsinterval voor Z Z waarde 3 b.i. voor ρ Correlatie, r 1 r=0.718 Methodologie en Statistiek Universiteit Maastricht College 5: Regressie en correlatie (2): 29 Arnold Kester 25 oktober 2005

31 Hoe groot moet het onderzoek zijn voor H 0 : ρ = 0 Nóg een toepassing van de z-transformatie! Tweezijdige toets, onbetrouwbaarheid α. Bij het alternatief H 1 : ρ = ρ 1 is een power 1 β gewenst. Bereken z 1 = 1 ( ) ln ρ1. Let op de notatie! 1 ρ 1 n = (z 1 α/2 + z 1 β ) 2 z Methodologie en Statistiek Universiteit Maastricht College 5: Regressie en correlatie (2): 30 Arnold Kester 25 oktober 2005

32 Vergelijken van twee onafhankelijke correlatiecoëfficiënten Dit is een z-toets op z-getransformeerde correlaties: Toetsingsgrootheid: λ = z 1 z 2 1 n n 2 3 N(0, 1) De nulhypothese wordt verworpen als λ > z 1 α/2. De p-waarde is 2Φ( λ ). Methodologie en Statistiek Universiteit Maastricht College 5: Regressie en correlatie (2): 31 Arnold Kester 25 oktober 2005

33 Samenvatting Regressie Intervalschatting voor helling en intercept Interval voor α + βx als x gegeven is Predictie-interval voor y als x gegeven is Modelvoorwaarden en controle Correlatie Definitie en berekening Toetsen voor ρ = 0 en voor ρ = ρ 0 0 Intervalschatting voor ρ Toets voor ρ 1 = ρ 2 uit twee steekproeven Methodologie en Statistiek Universiteit Maastricht College 5: Regressie en correlatie (2): 32 Arnold Kester 25 oktober 2005