College 2 Enkelvoudige Lineaire Regressie

Transcriptie

1 College Enkelvoudige Lineaire Regressie - Leary: Hoofdstuk 7 tot p. 170 (Advanced Correlational Strategies) - MM&C: Hoofdstuk 10 (Inference for Regression) - Aanvullende tekst 3 Jolien Pas ECO

2 Correlatie: Hoe en Waarom? Een correlatie beschrijft niet HOE en WAAROM er een relatie is tussen X en Y. Dit kan wel worden onderzocht met: 1. Advanced Correlational Strategies (term van Leary). Experimenten ( vanaf week 4) HOE onderzoeken: gaat heel goed met 1 en WAAROM onderzoeken: gaat het beste met

3 Regressie-analyse Is één van de advanced correlational strategies Vindt een regressievergelijking in een steekproef, waarmee wordt aangegeven hoe de variabelen aan elkaar gerelateerd zijn de ene variabele voorspeld kan worden uit de andere(n) 1 predictor variabele: Enkelvoudige Lineaire Regressie Meerdere predictor variabelen: Meervoudige Lineaire Regressie 3

4 Enkelvoudige Lineaire Regressie Gebaseerd op de lineaire samenhang tussen één predictor variabele X en respons variabele Y IMT: regressievergelijking y ˆ = a + bx ECO: regressievergelijking voor een steekproef yˆ = b0 + b1 x met b 0 = intercept en b 1 = slope / regressiegewicht / helling Intercept en slope heten ook wel regressiecoefficienten 4

5 Enkelvoudige Lineaire Regressie Voorbeeld: Evaluatie ECO vorig jaar Variabele 1: Hoe vaak heb je de opdrachten uit het werkboek gemaakt voorafgaande aan de werkgroepen? Variabele : Cijfer SPSS vindt: cijfer = *opdr Geldt voor deze steekproef; maar hoe zit dit in de populatie? 5

6 Steekproef en Populatie Eerder ging het bij lineaire regressie alleen om beschrijving; nu ook inferentieel: de parameters van de regressievergelijking van de populatie worden geschat met behulp van een steekproef Voor de steekproef: Voor de populatie: yˆ = b0 + b1 x µ y = β 0 + β1x 6

7 Statistisch model Populatie regressielijn: y = β x 0 β1 µ + Modelparameters: β 0, β 1 en σ - X definieert subpopulaties - binnen iedere subpopulatie zijn de y-waarden normaal verdeeld met gemiddelde µ y en standaarddeviatie σ - deze gemiddelden µ y liggen op een rechte lijn wanneer geplot tegen x 7

8 Residuen Voor iedere observatie geldt: y = [ β β ] i i x i DATA = FIT + RESIDUAL ε Fit kan worden voorspeld (is de gemiddelde respons) Residuen zijn noise : de ε i s zijn normaalverdeeld met gemiddelde 0 en standaarddeviatie σ. 8

9 Modelparameters β 0, β 1 en σ schatten β 0 en β 1 worden geschat met b 0 en b 1 met formules die we al kennen: sy b 1 = r en b0 = y b1 x s x σ wordt geschat met s: s ( y ˆ i yi ) ei = = n n s is de standaarddeviatie van de residuen in de steekproef 9

10 Voorbeeld: SPSS output 10

11 Standard Errors voor b 0 en b 1 SE is een uit de data geschatte standaarddeviaties van een steekproevenverdeling SE b 0 = s 1 n + x ( x i x ) SE b 1 = s ( xi x) Rekentip: s x ( xi x) = dus n -1 ( x i x) = ( n 1) s x 11

12 Significantietoets en betrouwbaarheidsinterval voor b 1 Nulhypothese: β 1 = 0 b1 Toetsen met t = en df = n SE b Betrouwbaarheidsinterval: t* komt uit tabel met df = n 1 b ± t SE * 1 b 1 Voor het intercept b 0 gaat alles analoog, maar het is meestal minder zinvol 1

13 Job Performance (JP) voorspellen uit Employment Test (ET) Steekproef: 60 werknemers JP = ET Toets b 1 (met H a : β 1 > 0) en bereken het betrouwbaarheidsinterval Nog een voorbeeld: Job Performance 13

14 Vervolg voorbeeld: Job Performance n = 60, s =.744, b 1 =.14, s x = Toets b 1 met H a : β 1 > 0 en H 0 :β 1 = 0 ( x i x) = ( n 1) s x s SE b = = 1 ( xi x) b1.14 t = = = SE b = (60 1)* = = met df = 60 = 58 p < % betrouwbaarheidsinterval b 1 b ± t SE * 1 b 1.14 ±.009 *.0198 geeft [.174,.54] 14

15 Intervallen Regressievergelijking JP invullen met x* = 10 ET = = 3.43 Het resultaat kan op manieren worden opgevat: 1. Als schatting van de gemiddelde JP-waarde voor die subpopulatie van mensen met score ET=10. Als schatting van de JP-waarde voor een individueel persoon met score ET=10, dus één persoon uit die subpopulatie 1Betrouwbaarheidsinterval voor gemiddelde respons Voorspellingsinterval voor individuele observatie 15

16 Betrouwbaarheidsinterval voor de gemiddelde repons ˆ µ ± t SE met SE * y ˆ µ ˆ µ = s 1 n + * ( x x) ( xi x) t* komt uit de tabel met df = n Opmerkingen: foutenmarge is het kleinst in het midden, als x* = x in grote steekproeven gaat 1e deel onder wortel naar 0 e deel onder wortel verklaart waarom betrouwbaarheidsband uitloopt en zeer groot wordt bij extrapolatie 16

17 Voorspellingsinterval voor de individuele respons yˆ ± t * SE yˆ met SE yˆ = s 1+ 1 n + * ( x x) ( xi x) t* komt uit de tabel met df = n Opmerkingen: foutenmarge is weer het kleinst in het midden, als x* = x foutenmarge altijd groter bij voorspellen van individuele respons dan bij het voorspellen van de gemiddelde respons 17

18 Intervallen Voorbeeld: Job Performance 18

19 ANOVA voor Regressie Met ANOVA (Analysis of Variance) kan de variantie van de respons variabele worden gesplitst in onafhankelijke bronnen. Algemeen idee is (weer): DATA = FIT + RESIDUAL Sum of Squares: SST = SSM + SSE Df: DFT = DFM + DFE Variantie is een gemiddelde gekwadrateerde afwijking. Mean Square (MS) = Sum of Squares (SS) / degrees of freedom (DF) 19

20 ANOVA voor Regressie DATA (totaal): MST = SST DFT s y ( ) = yi y n 1 FIT (model): MSM = SSM DFM ( yˆ i y) s = = ˆ ( yˆ y i y) 1 RESIDUAL (error): SSE ( ˆ MSE = = yi y s DFE n i ) 0

21 ANOVA voor Regressie De hypothese H 0 : β 1 = 0 kan ook worden getoetst door MSM te vergelijken met MSE (dit impliceert tweezijdige H a : β 1 0). Beide variantieschattingen dus hun ratio volgt een F-verdeling: F = MSM met DFM en DFE vrijheidsgraden MSE De hypothese is tweezijdig, maar F wordt éénzijdig opgezocht (t-toets kan wel éénzijdig) De F-toets komt bij enkelvoudige regressie op hetzelfde neer als de t-toets op β 1 t² = F 1

22 De ANOVA tabel voor Regressie p = aantal predictoren (bij enkelvoudige lineaire regressie: p = 1) Proportie verklaarde variantie: SSM VAF = = SST r xy

23 SPSS uitvoer Voorbeeld: Job Performance 3

24 Volgende week Meervoudige lineaire regressie - MM&C Hoofdstuk 11 - Leary Hoofdstuk 7 p Aanvullende tekst 3 4