Experimenteel en Correlationeel Onderzoek (ECO)

Transcriptie

1 Experimenteel en Correlationeel Onderzoek (ECO) In veel onderzoek is het ultieme doel: Het vaststellen van oorzaak-gevolg (causale) relaties Rode draad ECO: Met behulp van onderzoek zo goed mogelijk uitspraken te kunnen doen over causale relaties. Criteria voor causaliteit 1. Samenhang (correlatie, covariantie) 2. Opeenvolging in tijd van oorzaak en gevolg (directionality) 3. Uitsluiting van alternatieve verklaringen 1

2 Experimenteel en Correlationeel Onderzoek (ECO) Causaliteit vaststellen gaat Niet in beschrijvend onderzoek (is er ook niet voor bedoeld) Enigszins in correlationeel onderzoek (speciale strategieën) Het beste in experimenteel onderzoek De cursus behandelt daarom hoe je: 1) psychologische experimenten opzet 2) gegevens verkregen uit correlationeel en (quasi-) experimenteel onderzoek analyseert. 2

3 Overzicht van de cursus Correlatie en Regressie Week 1 Correlaties en maten voor effectgrootte Week 2 Enkelvoudige lineaire regressie Week 3 Meervoudige lineaire regressie Experimenteel onderzoek Week 4 Experimenteel onderzoek en experimentele controle Week 5 Experimentele en Quasi-experimentele proefopzetten Variantie-analyse Week 6 Eénweg variantie-analyse Week 7 Contrasten en tweeweg variantie-analyse 3

4 Opzet 7 weken, elke week: - Hoorcollege - Werkcollege opdrachten van te voren maken! inleveropdrachten achteraf maken - SPSS practicum (verplicht) begint steeds met kennistoets In week daarna: - SPSS/R-toets - Tentamen: 27 maart 2013 van 9-12 uur in USC Extra: Blackboard 4

5 Stof Leary, M.L. (2012) Introduction to Behavioral Research Methods (6 th edition). Boston: Pearson. Moore, D., McCabe, G., & Craig, B. (2012). Introduction to the practice of statistics (7 th edition). New York: W.H. Freeman. Vocht, A. de (2011). Basishandleiding SPSS 19. Utrecht: Bijleveld Press. Werkboek: opdrachten en aanvullende teksten Collegesheets (via Blackboard) 5

6 College 1 Correlaties en maten voor effectgrootte - Leary: Hoofdstuk 7 (Correlational Research) - MM&C: Paragraaf 2.2,en 10.2 p (Inference for Correlation) - Aanvullende teksten 1 en 2 Jolien Pas ECO

7 Correlaties: Geschiedenis zoals beschreven in Rodgers & Nicewander (1988) Voor 1885: het woord correleren wordt wel gebruikt om samenhang aan te geven 1885: Galton publiceert de eerste grafische weergave van een correlatie 1888: Galton definieert correlatie conceptueel: correlatie loopt van -1 tot 1 en 0 betekent geen samenhang 1895: Pearson definieert de Pearson product-moment correlatie coëfficiënt 7

8 Correlaties: Scatterplots Richting: positief vs. negatief Sterkte: Hoe meer op één (rechte) lijn, hoe sterker het verband Vorm: KL Lineair vs. niet-lineair verband ES 8

9 Herhaling: Pearson r Bij Inleiding in de Methoden en Technieken: Pearson (product-moment) correlatie r Beschrijft de lineaire relatie tussen twee kwantitatieve variabelen r = zxz n 1 y Formule: met en z x = xi x s x z y = yi s y y r ligt tussen 1.00 en

10 Voorbeeld: Pearson r Variabele 1: Emotionele saamhorigheid Variabele 2: Kwaliteit van liefdesrelatie ES z ES KL z KL Gem ES = 53.7 en sd ES = 20.4 Gem KL = 7.14 en sd KL = 2.2 r.8* * * = zxz y etc = n =

11 Herhaling: Pearson r r kan ook tussen twee (on)afhankelijke variabelen onderling worden berekend r is onafhankelijk van de meeteenheden van X en Y r is gevoelig voor uitbijters (niet robuust) Bekijk ook daarom altijd de scatterplot 11

12 Samenhang Meest gebruikt: Pearson (product-moment) correlatie r Maar er zijn meer varianten van de correlatie (afhankelijk van meetniveau). Kwantitatief + kwantitatief Pearson r Ordinaal + ordinaal Spearman s ρ (r s ) Dichotoom + kwantitatief punt-biseriële correlatie (r pb ) Dichotoom + dichotoom φ (phi) coëfficiënt Varianten berekenen op manier van Pearson r of met specifieke formule. 12

13 Spearman Rangorde Correlatie Beschrijft de relatie tussen twee ordinale variabelen Formule: r s 6 D = 1 3 n n 2 Zet de scores om in rangnummers en bereken het verschil (D) hiertussen voor de n paren. Als rangordes identiek zijn alle D s nul r s = 1 niet gevoelig voor uitbijters 13

14 Voorbeeld: Spearman ρ Intelligentie van 12 studenten Variabele 1: Ordening van 12 studenten op IQ volgens leraar Variabele 2: Ordening van 12 studenten op IQ volgens test Leraar: Test: D D r s 6 D = 3 n n 2 6*72 = = 0.75 Conclusie: substantiële samenhang 14

15 Spearmanρ: opmerkingen Gebruik r s als meetniveau van variabelen lager is dan intervalniveau interraterreliability bij beoordelaars die individuen / stimuli geordend hebben benadering van variabelen waarvan de gemeten, precieze score buiten beschouwing moet worden gelaten robuuste variant van Pearson r, bijv. bij zwakke niet lineariteit Hier gevolgde berekeningswijzen van r s gaan uit van rangordeningen zonder ties 15

16 Voorbeeld: Spearman ρ bij een kromlijnig verband Variabele X: Rang: Variabele Y: Rang:

17 Punt-biseriële Correlatie r pb Beschrijft relatie tussen een kwantitatieve variabele (noem Y) en een dichotome variabele (noem X) X onderscheidt feitelijk twee groepen observaties met ieder een eigen gemiddelde op Y ( en ) Formule: yx= 1 yx= 0 rpb = sy s x yx=0 y x= 1 r pb wordt veel gebruikt bij item analyse. De item-totaal correlatie (bij goed/fout items) is een r pb. 17

18 Voorbeeld: r pb Hangt geslacht samen met examenscore? Variabele 1 (X): Geslacht (0 = man, 1 = vrouw) Variabele 2 (Y): Examenscore Geslacht: Examenscore: y y r x= 0 x= 1 pb = ( ) / 5 = 16.8 = ( ) / 5 = 25.6 y y * x= 1 x= 0 = s = = x sy.376 =.527 = Conclusie: matige samenhang tussen geslacht en examenscore s s x y 18

19 φ (phi) coëfficiënt Beschrijft relatie tussen twee dichotome variabelen Zet de twee variabelen in 2x2 kruistabel als X = 0 X = 1 Totaal Y = 0 A B A+B Y = 1 C D C+D Totaal A+C B+D A+B+C+D=N Formule: φ = AD BC (A +B)(C +D)(A +C)(B +D) 19

20 Relatie φ en X 2 φ heeft ook een relatie met de χ 2 (Chi-kwadraat) waarde namelijk φ = X 2 n Via deze relatie kunnen φ en χ 2 uit elkaar berekend worden 20

21 Voorbeeld 1: φ Het slagen voor Frans en Wiskunde Variabele 1 (X): Frans (0 = nee, 1 = ja) Variabele 2 (Y): Wiskunde (0 = nee, 1 = ja) Frans Nee Ja Totaal Wiskunde Nee 3 (A) 2 (B) 5 Ja 0 (C) 5 (D) 5 Totaal φ = ( A + B)( C AD BC + D)( A + C)( B + D) = 3*5 2*0 5*5*3*7 =.65 21

22 Voorbeeld 2: φ Het slagen voor Frans en Wiskunde Variabele 1 (X): Frans (0 = nee, 1 = ja) Variabele 2 (Y): Wiskunde (0 = nee, 1 = ja) Frans Nee Ja Totaal Wiskunde Nee 3 (A) 0 (B) 3 Ja 0 (C) 7 (D) 7 Totaal φ = ( A + B)( C AD BC + D)( A + C)( B + D) = 3*7 0*0 3*7*3*7 = 1 φ kan alleen +1.0 of -1.0 worden als marginalen gelijk zijn 22

23 Correlatie en significantie r, r s, r pb en φ zeggen iets over de correlatie in een steekproef. Maar hoe zit het in de populatie? Toets H 0 : ρ = 0 en gebruik een 1- of 2-zijdige alternatieve hypothese (H a : ρ > 0, H a : ρ < 0 of H a : ρ 0) r n 2 Gebruik t = met df = n 2 1 r 2 Bijvoorbeeld: φ =.65 en n = 10 geeft: t = = 2.42 met df = Eenzijdig: p-waarde ligt tussen.02 en Tweezijdig: p-waarde ligt tussen.04 en 0.05 (verdubbeld) 2 23

24 Nu een echt (!) voorbeeld: Toetsende Statistiek evaluatie Tijdens laatste practicum bij Toetsende Statistiek is een evaluatie afgenomen. Op basis van studentnummers kon deze evaluatie worden gekoppeld aan het cijfer voor het vak. Correlatie berekenen tussen het aantal bijgewoonde werkgroepen en het cijfer voor TS Vraag: Welke correlatie moet hier worden berekend? Antwoord: Pearson r 24

25 Nu een echt (!) voorbeeld: Toetsende Statistiek evaluatie SPSS Graphs Scatter/Dot Simple Scatter X = hoeveelheid bijgewoonde werkgroepen, Y = cijfer 25

26 Nu een echt (!) voorbeeld: Toetsende Statistiek evaluatie Correlatie berekenen tussen het aantal bijgewoonde werkgroepen en het cijfer voor TS SPSS correlatebivariate Correlations Hoeveel werkgroepen TS heeft u gevolgd? Cijfer TS Hoeveel werkgroepen TS Pearson Correlation 1,365 ** heeft u gevolgd? Sig. (1-tailed),000 N Cijfer TS Pearson Correlation,365 ** 1 Sig. (1-tailed),000 N **. Correlation is significant at the 0.01 level (1-tailed). 26

27 Nu een echt (!) voorbeeld: Toetsende Statistiek evaluatie Hoe rapporteren we dit? Bijvoorbeeld: Er is een significant positief verband tussen het aantal werkgroepen dat iemand heeft gevolgd voor Toetsende Statistiek en het cijfer voor Toetsende statistiek; meer werkgroepen volgen gaat samen met een hoger cijfer, r =.365, p <.001. Betekent dit dat meer werkgroepen een hoger cijfer veroorzaakt??? 27

28 Correlatie en significantie Toets H 0 : ρ = 0 en gebruik daarvoor t = met df = n 2 r n 2 1 r 2 Statistische significantie hangt af van n, r en α Resultaat: Significantie van lage correlaties in grote steekproeven Niet-significantie van hoge correlaties in kleine steekproeven Dus: alleen toetsing is te beperkt 28

29 Correlatie en effectgrootte Nodig is ook: een maat voor effectgrootte (effect size) Noodzakelijk inzicht: effect heeft altijd te maken met samenhang Maten voor effectgrootte: r effect r 2 (COD, VAF) Alternatieve maten Cohen s d Hedges g 29

30 Maat voor effectgrootte: r effect r effect is overkoepelende term voor r, r s, r pb en φ Nadeel: Waarde van correlatie moeilijk te interpreteren. - Wat betekent r =.60 precies? - r =.60 betekent niet een 2x zo sterke samenhang als r =.30 Veel gebruikte oplossing: kwadrateer r 30

31 Maat voor effectgrootte: r 2 r 2 wordt ook Coefficient of Determination (COD) of Proportion of Variance Explained (VAF) genoemd r 2 wel onderling te vergelijken Kritiek: - ook moeilijk te interpreteren (wat betekent proportie verklaarde variantie nu precies?) - Determination in COD suggereert ten onrechte causaliteit - r 2 geeft geen informatie over de richting van de samenhang (door kwadrateren) - kleine waarden van r leveren nog veel kleinere waarden van r 2 - er zijn situaties waarin een VAF wordt verkregen die niet terug te brengen is tot een correlatie zelf 31

32 Maten voor effectgrootte: Cohen s d en Hedges g Cohen s d = µ σ µ 1 2 op basis van populatiewaarden Hedge s g = y 1 y 2 s p op basis van steekproefsituatie 32

33 Effectgrootte en Toetsen Bij bijv. een experiment met een experimentele en een controle groep geldt: r effect = rpb = 2 t 2 t + df relatie tussen t-waarde en r pb t = s p x1 x2 x1 x2 n1n2 = 1 1 s p n1 + n + n n ofwel t = Hedges' g n1n2 n + n 1 2 Toont Algemeen Principe: Toetsstatistiek is afhankelijk van Effectgrootte en Steekproefomvang 33

34 Vuistregels effectgrootte Vuistregels (Cohen, 1977,1988): Sterkte van relatie r Weak.10 Moderate.30 strong.50 Grootte van effect d/g r r 2 r pb r 2 pb Small Medium Large Dit zijn vuistregels; gebruik ze als algemene richtlijnen (met enige terughoudendheid) 34

35 Samengevat Samenhang/correlatie is essentieel in (experimenteel) onderzoek bij het vaststellen van causale relaties De behandelde varianten van de correlatie kunnen worden berekend met een specifieke formule, maar ook met de uniforme aanpak. Nulhypothese toetsing alleen is ontoereikend om de uitkomst van een onderzoek te evalueren: het toetsresultaat moet worden aangevuld met een maat voor effectgrootte. Toetsstatistiek is afhankelijk van Effectgrootte en Steekproefomvang 35

36 Volgende week Enkelvoudige lineaire regressie - MM&C Hoofdstuk 10 - Leary Hoofdstuk 8 tot p Aanvullende tekst 3 (alinea 1) 36