Experimenteel en Correlationeel Onderzoek In veel onderzoek is het doel: Het vaststellen van oorzaak-gevolg (causale) relaties Criteria voor causaliteit 1. Samenhang (correlatie, covariantie) 2. Opeenvolging in tijd van oorzaak en gevolg (directionality) 3. Uitsluiting van alternatieve verklaringen 1
Experimenteel en Correlationeel Onderzoek Causaliteit vaststellen gaat Niet in beschrijvend onderzoek (is er ook niet voor bedoeld) Enigszins in correlationeel onderzoek (speciale strategieën) Het beste in experimenteel onderzoek De cursus behandelt daarom hoe je: 1) psychologische experimenten opzet 2) gegevens verkregen uit correlationeel en (quasi-) experimenteel onderzoek analyseert. 2
Opzet 7 weken, elke week: - Hoorcollege - Werkcollege opdrachten van te voren maken! inleveropdrachten achteraf maken - SPSS practicum (verplicht) begint steeds met kennistoets In week daarna: - SPSS-toets - Tentamen: 28 maart 2012 van 9-12 uur in USC Extra: Blackboard 3
Stof Leary (2008). Introduction to Behavioral Research Methods, 5th edition. Moore, McCabe & Craig (2009). Introduction to the Practice of Statistics, 6th edition. Werkboek: opdrachten en aanvullende teksten Collegesheets (via Blackboard) De Vocht (2011). Basishandleiding SPSS 19.0. 4
Overzicht van de cursus Correlatie en Regressie Week 1 Correlaties en maten voor effectgrootte Week 2 Enkelvoudige lineaire regressie-analyse Week 3 Meervoudige lineaire regressie-analyse (Quasi-) Experimenteel onderzoek Week 4 Experimenteel onderzoek en experimentele controle Week 5 Experimentele en Quasi-experimentele proefopzetten Variantie-analyse Week 6 Eénweg variantie-analyse Week 7 Tweeweg variantie-analyse 5
College 1 Correlaties en maten voor effectgrootte - Leary: Hoofdstuk 6 (Correlational Research) - MM&C: Hoofdstuk 2.2, 10.2 p 590-593 (Inference for Correlation) - Aanvulling werkboek Jolien Pas ECO 2011-2012
Herhaling: Pearson (produkt-moment) correlatie r Beschrijft de lineaire relatie tussen twee kwantitatieve variabelen Formule: -1 r 1 r 1 x i x yi y 1 = = z x z y n 1 s x s y n 1 r maakt geen onderscheid tussen onafhankelijke variabelen en afhankelijke variabelen r is onafhankelijk van de meeteenheden van X en Y 7
8
Samenhang Meest gebruikt: Pearson (produkt-moment) correlatie r Maar er zijn meer varianten van de correlatie (afhankelijk van meetniveau). Kwantitatief + kwantitatief Pearson r Ordinaal + ordinaal Spearman s ρ (r s ) Dichotoom + kwantitatief punt-biseriële correlatie (r pb ) Dichotoom + dichotoom φ (phi) coëfficiënt Varianten berekenen op manier van Pearson r of met specifieke formule. 9
Spearman Rangorde Correlatie Beschrijft de relatie tussen twee ordinale variabelen Formule: r s 6 D = 1 3 n n 2 Zet de scores om in rangnummers en bereken het verschil (D) hiertussen voor de n paren. Als rangordes voor alle paren identiek zijn r s = 1 niet gevoelig voor uitbijters 10
Voorbeeld: Spearman ρ Intelligentie van 12 studenten Variabele 1: Ordening van 12 studenten op IQ volgens leraar Variabele 2: Ordening van 12 studenten op IQ volgens test Leraar: 1 2 3 4 5 6 7 8 9 10 11 12 Test: 1 4 7 2 3 5 8 12 10 6 11 9 D 0-2 -4 2 2 1-1 -4-1 4 0 3 D 2 0 4 16 4 4 1 1 16 1 16 0 9 r s 6 D = 3 n n 2 6*72 = 1 12 12 1 3 = 0.75 Conclusie: substantiële samenhang 11
Spearmanρ: opmerkingen Gebruik r s als meetniveau van variabelen lager is dan intervalniveau interraterreliability bij beoordelaars die individuen / stimuli geordend hebben benadering van variabelen waarvan de gemeten, precieze score buiten beschouwing moet worden gelaten robuuste variant van Pearson r, bijv. bij zwakke niet lineariteit Hier gevolgde berekeningswijzen van r s gaan uit van rangordeningen zonder ties 12
Voorbeeld: Spearman ρ bij een kromlijnig verband Variabele X: 1.25 2.1 2.9 4 5 Rang: 1 2 3 4 5 Variabele Y: 1 6 7 7.5 7.75 Rang: 1 2 3 4 5
Punt-biseriële Correlatie r pb Beschrijft relatie tussen een kwantitatieve variabele (noem Y) en een dichotome variabele (noem X) X onderscheidt feitelijk twee groepen observaties met ieder een eigen gemiddelde op Y ( en ) Formule: yx= 1 yx= 0 rpb = sy s x yx=0 y x= 1 r pb wordt veel gebruikt bij item analyse. De item-totaal correlatie (bij goed/fout items) is een r pb. 14
Voorbeeld: r pb Hangt geslacht samen met examenscore? Variabele 1 (X): Geslacht (0 = man, 1 = vrouw) Variabele 2 (Y): Examenscore 1 2 3 4 5 6 7 8 9 10 Geslacht: 0 0 1 0 0 1 0 1 1 1 Examenscore: 42 9 28 11 8 15 14 25 40 20 y y r x= 0 x= 1 pb = (42 + 9 + 11+ 8 + 14) / 5 = 16.8 = (28 + 15 + 24 + 40 + 20) / 5 = 25.6 y y 25.6 16.8 *.527 12.328 x= 1 x= 0 = s = = x sy.376 =.527 = 12.328 Conclusie: matige samenhang tussen geslacht en examenscore s s x y 15
φ (phi) coëfficiënt Beschrijft relatie tussen twee dichotome variabelen Zet de twee variabelen in 2x2 kruistabel als X = 0 X = 1 Totaal Y = 0 A B A+B Y = 1 C D C+D Totaal A+C B+D A+B+C+D=N Formule: φ = AD BC (A + B)(C + D)(A +C)(B + D) 16
Relatie φ en X 2 φ heeft ook relatie met de χ 2 (Chi-kwadraat) waarde φ = X 2 n Via deze relatie kunnen φ en χ 2 uit elkaar berekend worden 17
Voorbeeld 1: φ Het slagen voor Frans en Wiskunde Variabele 1 (X): Frans (0 = nee, 1 = ja) Variabele 2 (Y): Wiskunde (0 = nee, 1 = ja) Frans Nee Ja Totaal Wiskunde Nee 3 (A) 2 (B) 5 Ja 0 (C) 5 (D) 5 Totaal 3 7 10 φ = ( A + B)( C AD BC + D)( A + C)( B + D) = 3*5 2*0 5 + 5 + 3+ 7 =.65 Interpretatie? 18
Voorbeeld 2: φ Het slagen voor Frans en Wiskunde Variabele 1 (X): Frans (0 = nee, 1 = ja) Variabele 2 (Y): Wiskunde (0 = nee, 1 = ja) Frans Nee Ja Totaal Wiskunde Nee 3 (A) 0 (B) 3 Ja 0 (C) 7 (D) 7 Totaal 3 7 10 φ = ( A + B)( C AD BC + D)( A + C)( B + D) = 3*7 0*0 3+ 7 + 3+ 7 = 1 φ kan alleen +1 of -1 worden als marginalen gelijk zijn 19
Correlatie en significantie n 2 Toets H 0 : ρ = 0 en gebruik daarvoor t = met df = n 2 r 1 r 2 Voorbeeld (Evaluatie ECO vorig jaar): H 0 : ρ = 0 en H a : ρ > 0 50 studenten, r = 0.528 t = r n 2 1 r 2 = 0.528* 50 2 1 0.528 2 = 4.31 df = 50 2 = 48 Opzoeken bij df = 40 geeft p < 0.0005 20
Correlatie en significantie Toets H 0 : ρ = 0 en gebruik daarvoor t = met df = n 2 r n 2 1 r 2 Statistische significantie hangt af van n, r en α Resultaat: Significantie van lage correlaties in grote steekproeven Niet-significantie van hoge correlaties in kleine steekproeven Dus: alleen toetsing is te beperkt 21
Correlatie en effectgrootte Nodig is ook: een maat voor effectgrootte (effect size) Noodzakelijk inzicht: effect heeft altijd te maken met samenhang Maten voor effectgrootte: r effect r 2 (COD, VAF) Alternatieve maten Cohen s d Hedges g 22
Maat voor effectgrootte: r effect r effect is overkoepelende term voor r, r s, r pb en φ Nadeel: Waarde van correlatie moeilijk te interpreteren. - Wat betekent r =.60 precies? - r =.60 betekent niet een 2x zo sterke samenhang als r =.30 Veel gebruikte oplossing: kwadrateer r 23
Maat voor effectgrootte: r 2 r 2 wordt ook Coefficient of Determination (COD) of Proportion of Variance Accounted For (VAF) genoemd r 2 wel onderling te vergelijken Kritiek: - ook moeilijk te interpreteren (wat betekent proportie verklaarde variantie nu precies?) - Determination in COD suggereert ten onrechte causaliteit - r 2 geeft geen informatie over de richting van de samenhang (door kwadrateren) - kleine waarden van r leveren nog veel kleinere waarden van r 2 - er zijn situaties waarin een VAF wordt verkregen die niet terug te brengen is tot een correlatie zelf 24
Maten voor effectgrootte: Cohen s d en Hedges g Cohen s d = µ σ µ 1 2 op basis van populatiewaarden Hedge s g = y 1 y 2 s p op basis van steekproefsituatie 25
Effectgrootte en Toetsen Bij bijv. een experiment met een experimentele en een controle groep geldt: r effect = rpb = 2 t 2 t + df relatie tussen t-waarde en r pb t = s p x1 x2 x1 x2 n1n2 = 1 1 s p n1 + n + n n 1 2 2 ofwel t = Hedges' g n1n2 n + n 1 2 Toont Algemeen Principe: Toetsstatistiek is afhankelijk van Effectgrootte en Steekproefomvang 26
Vuistregels effectgrootte Vuistregels (Cohen, 1977,1988): Sterkte van relatie r Weak.10 Moderate.30 Strong.50 Grootte van effect d/g r r 2 r pb r 2 pb Small.20.10.01.10.01 Medium.50.30.09.24.06 Large.80.50.25.37.14 Dit zijn vuistregels; gebruik ze als algemene richtlijnen (met enige terughoudendheid) 27
Samengevat Samenhang/correlatie is essentieel in (experimenteel) onderzoek bij het vaststellen van causale relaties De behandelde varianten van de correlatie kunnen worden berekend met een specifieke formule, maar ook met de uniforme aanpak. Nulhypothese toetsing alleen is ontoereikend om de uitkomst van een onderzoek te evalueren: het toetsresultaat moet worden aangevuld met een maat voor effectgrootte. Toetsstatistiek is afhankelijk van Effectgrootte en Steekproefomvang 28