College 2 Enkelvoudige Lineaire Regressie

Transcriptie

1 College Enkelvoudige Lineaire Regreie - Leary: Hoofdtuk 8 t/m p MM&C: Hoofdtuk 0 - Aanvullende tekt 3 (alinea ) Jolien Pa ECO 0-03

2 Correlatie: Hoe en Waarom? Een correlatie bechrijft niet HOE en WAAROM er een relatie i tuen X en Y. Dit kan wel worden onderzocht met:. Advanced Correlational Strategie (term van Leary). Experimenten ( vanaf week 4) HOE onderzoeken: gaat heel goed met en WAAROM onderzoeken: gaat het bete met

3 Lineaire Regreie I één van de advanced correlational trategie Vindt een regreievergelijking in een teekproef, waarmee wordt aangegeven hoe de variabelen aan elkaar gerelateerd zijn de ene variabele voorpeld kan worden uit de andere(n) predictor variabele: Enkelvoudige Lineaire Regreie Meerdere predictor variabelen: Meervoudige Lineaire Regreie 3

4 Enkelvoudige Lineaire Regreie Gebaeerd op de lineaire amenhang tuen één predictor variabele X en repon variabele Y IMT: regreievergelijking y ˆ a + bx ECO: regreievergelijking voor een teekproef yˆ b0 + b x met b 0 intercept en b lope / regreiegewicht / helling Intercept en lope heten ook wel regreiecoëfficiënten 4

5 (Fictief) voorbeeld: Geluk voorpellen uit extraverie geluk extraverie Geluk *Extraverie Geldt voor deze teekproef; maar hoe zit dit in de populatie? 5

6 Steekproef en Populatie Eerder ging het bij lineaire regreie alleen om bechrijving; nu ook inferentieel: de parameter van de regreievergelijking van de populatie worden gechat met behulp van een teekproef Voor de teekproef: Voor de populatie: yˆ b0 + b x µ y β 0 + βx 6

7 Statitich model Populatie regreielijn: µ y β 0 + βx Modelparameter: β 0, β en σ - X definieert ubpopulatie - binnen iedere ubpopulatie zijn de y-waarden normaal verdeeld met gemiddelde µ y en tandaarddeviatie σ - deze gemiddelden µ y liggen op een rechte lijn wanneer geplot tegen x 7

8 Reiduen Voor iedere obervatie geldt: y [ β β ] i i x i DATA FIT + RESIDUAL ε Fit kan worden voorpeld (i de gemiddelde repon) Reiduen zijn noie : de ε i zijn normaalverdeeld met gemiddelde 0 en tandaarddeviatie σ. 8

9 Modelparameter β 0, β en σ chatten β 0 en β worden gechat met b 0 en b met formule die we al kennen (uit IMT): y b r en b0 y b x x σ wordt gechat met : ( y ˆ i yi ) ei n n i de tandaarddeviatie van de reiduen in de teekproef 9

10 Standard Error voor b 0 en b i een uit de data gechatte tandaarddeviatie van een teekproevenverdeling b 0 n + x ( xi x) b ( xi x) Rekentip: x ( xi x) du n - ( x i x) ( n ) x 0

11 Significantietoet en betrouwbaarheidinterval voor b Toet H 0 i β 0 (H a kan één- en tweezijdig zijn) b met t en df n b Betrouwbaarheidinterval: b ± t t* komt uit tabel met df n * b Voor het intercept b 0 gaat alle analoog, maar het i meetal minder zinvol

12 Voorbeeld: Job Performance Job Performance (JP) voorpellen uit Employment Tet (ET) Steekproef: n 60 werknemer. Reultaten: r. 87, x 9.7, y.3, 8.0, xy x y 4.74 Slope: b y r xy x.4 Intercept: b0 y b x

13 Voorbeeld: Job Performance Job Performance (JP) voorpellen uit Employment Tet (ET) Regreievergelijking: JP *ET Toet b (met H a : β > 0 en H 0 : β 0) en bereken het betrouwbaarheidinterval met.744 (berekening volgt) 3

14 Voorbeeld: Job Performance Toet b met H a : β > 0 en H 0 : β 0 t b b met df p < b ( x x) ( x i x) i ( n ) x (60 ) % betrouwbaarheidinterval b b ± t * b.4 ±.009 x.098 geeft [.74,.54] 4

15 Voorbeeld: Job Performance SPSS Analyze Regreion Linear Verchillen worden veroorzaakt door afronding

16 Intervallen Regreievergelijking JP invullen met x* 0 ET Het reultaat kan op manieren worden opgevat:. Al chatting van de gemiddelde JP-waarde voor die ubpopulatie van menen met core ET0. Al chatting van de JP-waarde voor een individueel peroon met core ET0, du één peroon uit die ubpopulatie Betrouwbaarheidinterval voor gemiddelde repon Voorpellinginterval voor individuele obervatie 6

17 Betrouwbaarheidinterval voor de gemiddelde repon ˆ µ ± t met * y ˆ µ ˆ µ n + * ( x x) ( xi x) t* komt uit de tabel met df n Opmerkingen: foutenmarge i het kleint in het midden, al x* x in grote teekproeven gaat e deel onder wortel naar 0 e deel onder wortel verklaart waarom betrouwbaarheidband uitloopt en zeer groot wordt bij extrapolatie 7

18 Voorbeeld: Job Performance ET t*.009 (95% met df kijk bij 50) 95% Betrouwbaarheidinterval voor gemiddelde repon ˆ µ t ˆ µ + t * * ˆ µ ˆ µ ˆ µ n + ( x * x) ( x ) i x (0 9.7)

19 Voorpellinginterval voor de individuele repon yˆ ± t * yˆ met yˆ + n + * ( x x) ( xi x) t* komt uit de tabel met df n Opmerkingen: foutenmarge i weer het kleint in het midden, al x* x foutenmarge altijd groter bij voorpellen van individuele repon dan bij het voorpellen van de gemiddelde repon 9

20 Voorbeeld: Job Performance ET t*.009 (95% met df kijk bij 50) 95% Voorpellinginterval voor individuele obervatie yˆ t * yˆ yˆ + t * yˆ yˆ + n + ( x * x) ( x ) i x (0 9.7)

21 Intervallen Voorbeeld: Job Performance

22 Intervallen Voorbeeld: Job Performance

23 ANOVA voor Regreie H 0 : β 0 (met de tweezijdige alternatieve hypothee H a : β 0) kan ook worden getoett door de door het model verklaarde variantie (MSM) te vergelijken met de onverklaarde variantie (M). Algemeen idee i (weer): DATA FIT + RESIDUAL Sum of Square: SST SSM + S Df: DFT DFM + DFE Variantie i een gemiddelde gekwadrateerde afwijking. Mean Square (MS) Sum of Square (SS) / degree of freedom (DF) 3

24 ANOVA voor Regreie DATA (totaal variantie reponvariabele in de teekproef): MST SST DFT FIT (model de gefitte / verklaarde variantie): MSM SSM DFM RESIDUAL (error de variantie rond de regreielijn): M S DFE y ( ) yi y n ( yˆ i y) ( yˆ y) i ( ˆ yi y n i ) 4

25 ANOVA voor Regreie Toet H 0 : β 0 en H a : β 0 met F-ratio (we vergelijken immer variantie met elkaar) F MSM M met DFM en DFE vrijheidgraden De hypothee i tweezijdig, maar F wordt éénzijdig opgezocht (t-toet kan wel éénzijdig) De F-toet komt bij enkelvoudige regreie op hetzelfde neer al de t-toet op β t² F 5

26 De ANOVA tabel voor Regreie p aantal predictoren (bij enkelvoudige lineaire regreie: ) Proportie verklaarde variantie: SSM VAF SST r xy 6

27 SPSS uitvoer Voorbeeld: Job Performance predictor, du: t F Daarnaat: M VAF SSM SST

28 Effectgrootte Proportie verklaarde variantie: SSM VAF rxy R SST Voorbeeld Job Performance: en zie: ( rxy )* SST (.87 n )* Adjuted R Square i een populatiechatting van R ; komt volgende week bij meervoudige regreie aan de orde 8

29 Volgende week Meervoudige lineaire regreie - MM&C Hoofdtuk - Leary Hoofdtuk 8 p. 65 t/m 69 - Aanvullende tekt 3 (alinea ) 9