Hoofdstuk 12 : Regressie en correlatie. Marnix Van Daele. Vakgroep Toegepaste Wiskunde en Informatica Universiteit Gent.

Transcriptie

1 Hoofdstuk 12 : Regressie en correlatie Marnix Van Daele MarnixVanDaele@UGentbe Vakgroep Toegepaste Wiskunde en Informatica Universiteit Gent Regressie en correlatie p 1/26

2 Regressielijn Vraag : vind het verband Y = F (X) Werkwijze : steekproef waarbij X ingesteld en Y gemeten wordt Worden (x i,y i ), i =1,, nuitgezet in grafiek, dan zal dit een beeld geven over het functionele verband : lineair, kwadratisch, exponentieel, y = F (x) : regressielijn van Y op X Maar : Y is onderhevig aan meetfouten Y = F (X)+ɛ ɛ : N(0, σ) E[Y X = x] =F (x) Regressie en correlatie p 2/26

3 Regressie : lineair model Y = a + bx x 1 x x 3 x 4 x 2 y = a + bx y Regressie en correlatie p 3/26

4 De best passende kromme Eens de aard (lineair, kwadratisch, ) vanf (x) bepaald is, moet binnen deze klasse van functie de beste oplossing nog gezocht worden principe der kleinste kwadraten : de best passende kromme is de kromme die de som van de kwadraten van de afwijkingen van de waargenomen waarden tov de hypothetische kromme minimaal maakt minimaliseer (y i F (x i )) 2 Regressie en correlatie p 4/26

5 Lineaire regressie : Y = a + bx minimaliseer [y i F (x i )] 2 = [y i (a + bx i )] 2 = S y ŷ na+ b a x x i = x i + b S a =0 S b =0 = x 2 i = y i x i y i 2 2 [y i (a + bx i )] = 0 [y i (a + bx i )] x i =0 a + b x = y a x + b x 2 = xy Regressie en correlatie p 5/26

6 Lineaire regressie : Y = a + bx = minimaliseer [y i F (x i )] 2 = a x + b x 2 = y x a x + b x 2 = xy = a = y b x b = xy x y x 2 x 2 [y i (a + bx i )] 2 b (x 2 x 2 )=xy x y a + b x = y = s xy s xx y = a + bx: lineaire regressielijn b : regressiecoëfficiënt (van Y op X) Regressie en correlatie p 6/26

7 Voorbeeld : voorbeeldsteekproef lineair verband tussen X =gewicht en Y =gestalte voor mannen : regressielijn van Y op X : y = x GESTALTE GEWICHT Regressie en correlatie p 7/26

8 Voorbeeld : voorbeeldsteekproef lineair verband tussen X =gewicht en Y =gestalte voor mannen : regressielijn van Y op X : y = x Wat als de rollen van X en Y worden omgekeerd? Y : ingesteld en X gemeten regressielijn van Y op X : x = y Dit is een andere rechte! Regressie en correlatie p 8/26

9 Lineaire regressie y = a+bx met residu{ regressie{ y a = y b x b = xy x y x 2 x 2 (x, y) = s xy s xx (x i,y i ) (x i, ŷ i ) stel ŷ i = a + bx i y = a + bx x y i ȳ = (y i ŷ i )+(ŷ i ȳ) = residu + regressie Regressie en correlatie p 9/26

10 Lineaire regressie y = a+bx met 1 n (y i ŷ i ) 2 = 1 n = 1 n = 1 n a = y b x b = xy x y x 2 x 2 (y i a bx i ) 2 = 1 n = s xy s xx stel ŷ i = a + bx i (y i y + b x bx i ) 2 [(y i y) b (x i x)] 2 (y i y) 2 2b 1 n (x i x)(y i y)+b 2 1 n (x i x) 2 = s yy 2 bs xy + b 2 s xx = s yy s2 xy s xx s yy Regressie en correlatie p 10/26

11 Lineaire regressie y = a+bx met a = y b x b = xy x y x 2 x 2 (y i ŷ i ) 2 (y i ȳ) 2 = = s xy s xx (y i y) 2 (y i ŷ i ) 2 + (ŷ i ȳ) 2 stel ŷ i = a + bx i Regressie en correlatie p 11/26

12 Componenten van variabiliteit (y i ȳ) 2 = (y i ŷ i ) 2 + (ŷ i ȳ) 2 Som van kwadraten rond het gemiddelde = Som van kwadraten tov de regressielijn + Som van kwadraten te wijten aan regressie y ȳ x y ŷ x y ŷ ȳ x Regressie en correlatie p 12/26

13 Componenten van variabiliteit (y i ȳ) 2 = = = ((y i ŷ i )+(ŷ i ȳ)) 2 (y i ŷ i ) 2 +2 (y i ŷ i ) 2 + (y i ŷ i )(ŷ i ȳ)+ (ŷ i ȳ) 2 (ŷ i ȳ) 2 als (y i ŷ i )(ŷ i ȳ) =0 Regressie en correlatie p 13/26

14 Componenten van variabiliteit (y i ŷ i )(ŷ i ȳ) = (y i ŷ i )(a y + bx i ) =(a y) =(a y) (y i ŷ i )+b x i (y i ŷ i ) (y i a bx i )+b x i (y i a bx i ) =(a y) n (y a b x)+bn(xy a x b x 2 )=0 S want a =0 a + b x = y = S b =0 a x + b x 2 = xy Regressie en correlatie p 14/26

15 a en b De waarden a en b zijn steekproefafhankelijk, dus het zijn op hun beurt steekproefwaarden van veranderlijken A en B We noemen de gevonden waarden â en ˆb en ze stellen schattingen voor van de ware a en de ware b σ A = σ x 2 σ B = σ Y = F (X)+ɛ ɛ : N(0, σ) s x n s x n Betekenis σ : ongeveer 95 % van alle meetpunten liggen hoogstens 2 σ van de regressielijn af σ 2 1 (y i ŷ i ) 2 = n ( ) s 2 y s2 xy n 2 n 2 s 2 x 1 σ 2 (y i ŷ i ) 2 : χ 2 (n 2) Regressie en correlatie p 15/26

16 Toevalsveranderlijken Op A en B kunnen bvb testen uitgevoerd worden H 0 : b = b 0 H 1 : b b 0 Als H 0 waar is, is B b 0 : T (n 2) σ B Voorbeeldsteekproef : gestalte op gewicht voor mannen met b 0 =0: voor α =5%verwerpen we H 0 als t > 198 σ B = σ σ 2 1 (y i ŷ i ) 2 s x n n 2 σ = en s x =856 t = =1076 Dit is een zeer significant resultaat Regressie en correlatie p 16/26

17 Schatten en voorspellen De regressielijn kan gebruikt worden om een gemiddelde waarde E[Y X = x p ] te schatten om een toekomstige meetwaarde y p te voorspellen Regressie en correlatie p 17/26

18 Schatten van E[Y X = x p ] Ware verband y = a + bx y E[Y x = x p ] ŷ p { x p Geschatte verband ŷ =â + ˆbx ŷ p =â + ˆbx p ŷ =â + ˆbx y = a + bx x ŷ p : onvertekende schatter voor E[Y X = x p ] ŷ p :N(E[Y X = x p ],σŷp ) σŷp = σ 2 n [ 1+ (x p x) 2 s 2 x ] E[Y X = x p ] ŷ p σŷp T (n 2) Regressie en correlatie p 18/26

19 Voorspellen van toekomstige waarde y { ɛ { E[Y x = x p ] ŷ p ŷ =â + ˆbx y = a + bx x p x y ŷ =(y E[Y X = x]) + (E[Y X = x] ŷ) E[Y X = x] ŷ : fout in de regressie y E[Y X = x] : random fout ɛ σy ŷ 2 = σy 2 + σŷ 2 = σ 2 + [1+ σ2 (x ] p x) 2 n s 2 x ( = σ [1+ (x ]) p x) 2 n s 2 x Regressie en correlatie p 19/26

20 Schatten en voorspellen Zowel voor het schatten als voor het voorspellen kunnen betrouwbaarheidsintervallen opgesteld worden GESTALTE GEWICHT Regressie en correlatie p 20/26

21 Correlatie Dmv regressie : de best passende rechte Vraag : in hoeverre liggen die punten effectief rond een rechte? Dit wordt uitgedrukt door de correlatiecoëfficiënt r 1 n r = xy x y s x s y (y i ŷ i ) 2 = s yy s2 xy s xx = s yy = s xy s x s y ( ) 1 s2 xy s 2 x s 2 y = s yy (1 r 2 ) 1 r 2 = (y i ŷ i ) 2 (y i y) 2 Regressie en correlatie p 21/26

22 Correlatiecoëfficiënt 1 r 2 = (y i ŷ i ) 2 (y i y) 2 y y 1 r 2 bepaalt het percentage (van de som van de kwadraten van de afwijkingen tov het gemiddelde) dat niet kan verklaard worden door regressie ŷ ȳ x x Regressie en correlatie p 22/26

23 Correlatie r = xy x y s x s y = s xy s x s y 1 r 2 = (y i ŷ i ) 2 0= 1 r 1 (y i y) 2 Liggen alle punten exact op een rechte, dan is y i =ŷ i, zodat 1 r 2 =0 Regressie en correlatie p 23/26

24 Correlatie r drukt uit in hoeverre er een lineair verband is tussen X en Y x r 1 y y y y x r 1 r 0 x r 0 x Regressie en correlatie p 24/26

25 Voorbeeld : voorbeeldsteekproef X =gewicht en Y =gestalte voor mannen : regressielijn van Y op X : y = x GESTALTE GEWICHT r 2 =0323 : slechts 32 % van de deviaties verklaard worden door regressie Regressie en correlatie p 25/26

26 Correlatie r = s xy : correlatiecoëfficiënt (voor steekproeven) s x s y ρ = σ XY : correlatiecoëfficiënt (voor populaties) σ X σ Y r is de waarde van een veranderlijke R R n 2 1 R 2 : T(n 2) De test ρ =0is statistisch volledig equivalent met de test b =0 niet-parametrische test : op basis van Spearman rang coëfficiënt Regressie en correlatie p 26/26