Werkboek Experimenteel en Correlationeel Onderzoek

Transcriptie

1 Werkboek Experimenteel en Correlationeel Onderzoek Propedeuse Psychologie Methoden en Technieken van Psychologisch Onderzoek Instituut Psychologie Sectie Methoden en Technieken Pieter de la Court gebouw Wassenaarseweg 5 Postbus RB Leiden Januari 013 [gewijzigde druk]

2

3 Inhoud Voorwoord v Werkgroepen 1 1 Correlaties en maten voor effectgrootte 3 Enkelvoudige lineaire regressie 9 3 Meervoudige lineaire regressie 15 4 Experimenteel onderzoek en experimentele controle 1 5 Experimentele en quasi-experimentele proefopzetten 7 6 Eenweg variantie-analyse 33 7 Tweeweg variantie-analyse 39 Aanvullende teksten 45 1 Correlaties 47 Causaliteit en maten voor effectgrootte 51 3 Effectgrootte bij regressie-analyse 57 4 Experimentele controle 59 5 Bedreigers van de validiteit van onderzoek 61 6 Effectparameters bij eenweg variantie-analyse 64 7 Multipele vergelijkingen 66 8 Verklaarde variantie en effectgrootte in eenweg variantie-analyse 67 9 Effectparameters bij tweeweg variantie-analyse Verklaarde variantie en effectgrootte in tweeweg variantie-analyse 7 11 Tussen-personen en binnen-personen onderzoeksontwerpen 74 MC oefenvragen 75 Tabellen 85 1 TABEL D: t distribution critical values TABEL F: X distribution critical values 3 TABEL E: F distribution critical values SPSS practica Algemene informatie 1 1 Correlaties en effectmaten 3 Enkelvoudige regressie 7 3 Meervoudige regressie 11 4 Andere soorten datafiles 15 5 Uitvoer op maat 19 6 Eenweg variantie-analyse en posthoc toetsen 3 7 A priori contrast toetsen en tweeweg ANOVA 7 8 Toetsen: Herhaling van week 1 t/m 7 33 Codeboeken 37 iii

4 iv

5 Inleiding Voor u ligt het werkboek dat hoort bij het vak Experimenteel en Correlationeel Onderzoek. Dit vak is deel III van de Methoden en Technieken- stroom in het eerste jaar van de opleiding psychologie (het propedeuse-jaar). Het werkboek bevat de opdrachten voor de werkgroepen en de SPSS practica, aanvullende teksten en multiple choice oefenvragen. Dit voorwoord bevat enige belangrijke opmerkingen over het onderwijsprogramma en de regels die daarbij gehanteerd worden. Het Methoden en Technieken onderwijs wordt gegeven aan de hand van bepaalde literatuur (zie hieronder Literatuur), die wordt behandeld, toegelicht, en uitgediept in het college en de werkgroepen. In de SPSS practica worden vaardigheden geoefend die nodig zijn voor het statistisch analyseren van gegevens met behulp van het pakket SPSS (zie hieronder SPSS practicum). Verder maakt de sectie Methoden en Technieken gebruik van een elektronische leeromgeving (zie hieronder Electronische Leeromgeving: Blackboard) waarmee studenten op een aantal manieren ondersteund worden. Het onderwijs wordt afgesloten met een tentamen. Literatuur Leary, M.L. (01) Introduction to Behavioral Research Methods (6 th edition). Boston: Pearson. Moore, D., McCabe, G., & Craig, B. (01). Introduction to the practice of statistics (7 th edition). New York: W.H. Freeman. Vocht, A. de (011). Basishandleiding SPSS 19. Utrecht: Bijleveld Press. Werkboek Experimenteel en Correlationeel Onderzoek. Leiden, 013 Colleges In het college wordt de stof van elke week besproken en toegelicht. Om hiervan het volle profijt te kunnen trekken, dient u de stof van tevoren goed door te nemen. Studenten worden hiertoe gestimuleerd door een kleine gecomputeriseerde kennistoets die aan het begin van de SPSS practica wordt afgenomen (zie SPSS practicum). Het cijfer dat voor deze toetsen wordt behaald telt voor 1/6 e mee bij de bepaling van het eindcijfer (zie Eindcijfer). De sheets die bij het college worden gebruikt, worden beschikbaar gesteld via Blackboard. v

6 VOORWOORD Werkgroepen In de werkgroepen worden de opdrachten besproken die in het eerste deel van dit werkboek worden beschreven. Deze opdrachten hebben in het algemeen een verdiepend karakter: ze zijn niet bedoeld om de eenvoudige toepassing van termen, formules en rekenwerk uit de literatuur te oefenen. Voor dergelijke simpele oefeningen kunt u terecht bij de opgaven die in Leary en Moore, McCabe & Craig zijn opgenomen. De werkboekopdrachten streven naar dieper inzicht, en geven in een aantal gevallen ook een aanvulling op de stof die in de literatuur wordt behandeld in de vorm van inleidingen en toelichtingen bij de opdrachten. Een gevolg hiervan is, dat u het antwoord op de vragen niet altijd letterlijk in de stof zult kunnen terugvinden: een zekere creativiteit bij het maken van de opdrachten is vereist. Voor wat betreft het volgen van de werkgroepen vragen wij voorbereiding en actieve deelname. Tot de voorbereiding hoort het bestuderen van de betreffende stof (die steeds per bijeenkomst is aangegeven) en het uitwerken van de betreffende opdrachten. Onder actieve deelname wordt verstaan het geven van een verstandig antwoord als daarom in de werkgroep wordt gevraagd. De vaardigheden die in de werkgroepen worden geoefend behoren tot de stof. Het is in het verleden gebleken dat sommige studenten erin slagen zich deze vaardigheden zelfstandig meester te maken (dat wil zeggen: zonder de werkgroepen te volgen). Om die reden is het volgen van de werkgroepen niet verplicht, maar wel ten zeerste aanbevolen, omdat het ieder jaar weer opnieuw blijkt in hoge mate bij te dragen aan het halen van het tentamen. Aanvullende teksten In aanvulling op de stof uit de boeken bevat dit werkboek tevens een aantal teksten die tot de tentamenstof behoren. Deze teksten zijn meestal bedoeld als een verduidelijking van de boekenstof. In het werkboek wordt, bij de werkgroepen, aangegeven wanneer de teksten gelezen dienen te worden. MC oefenvragen Aan het begin van elke werkgroep (met uitzondering van de eerste werkgroep) worden enekele multiple choice oefenvragen behandeld. De vragen zijn een redelijke weerspiegeling van de vragen die op een tentamen kunnen voorkomen. vi

7 VOORWOORD SPSS practicum In het SPSS practicum worden, naast basale computervaardigheden, vooral de specifieke vaardigheden geoefend die nodig zijn voor het analyseren van gegevens. Hiervoor wordt het statistische pakket SPSS gebruikt. De opdrachten voor elke wekelijkse bijeenkomst staan in het laatste deel van dit werkboek. Tot de voorbereiding voor de SPSS practica behoort het bestuderen van de relevante stof in het SPSS boek. Zoek voor ieder SPSS practicum, voor elke opdracht uit waar in dit SPSS boek de benodigde informatie staat, noteer dit bij de opdracht in het werkboek en lees deze informatie. Aan het begin van elke practicumbijeenkomst heeft men de gelegenheid een korte, gecomputeriseerde kennistoets van vijf vragen te doen (zie ook Colleges). Deelname aan deze toets is facultatief. Het cijfer dat men met de toetsen behaald telt gewogen mee bij de bepaling van het eindcijfer, maar alleen indien het hoger is dan het tentamencijfer (zie Eindcijfer). U kunt van dit kennistoetscijfer dus nooit nadeel hebben. De kennistoetsen kunnen niet in een volgend jaar nog eens worden gedaan. De enige manier om de vaardigheden te verwerven die in de SPSS practica worden beoefend, is door het te doen. Daarom is deelname aan het SPSS practicum verplicht. Als u een bijeenkomst mist kunt u die tijdens een andere begeleide bijeenkomst inhalen. De practica dienen wel binnen het lopend studiejaar te worden afgerond; als dat niet lukt, dienen alle practica te worden overgedaan. Het practicum wordt tijdens de laatste bijeenkomst afgesloten met een vaardigheidstoets, die afhankelijk van het resultaat met voldoende of onvoldoende wordt gehonoreerd (zie Eindcijfer). Tentamen Het tentamen bestaat uit 40 multiple choice vragen met elk 4 alternatieven. Bij het bepalen van het tentamencijfer geldt dat 3 fouten 1 punt kosten. Het tentamencijfer kan worden berekend door het aantal fouten door 3 te delen en het resultaat van 10 af te trekken. In de praktijk leidt 13 fouten nog net tot een voldoende: 5.7 wordt afgerond naar een 6. Bij het tentamen is het toegestaan om een zelfgemaakte, handgeschreven spiekbrief van 1 A4-tje (heeft twee zijden) te gebruiken. Op de tekstverwerker geschreven, of gefotokopieerde dan wel anderszins machinaal geproduceerde spiekbrieven zijn verboden. Eindcijfer Het eindcijfer wordt bepaald met behulp van de volgende wegingsformule: eindcijfer = 5/6 (tentamencijfer) + 1/6 (kennistoetscijfer) vii

8 VOORWOORD Als het tentamencijfer 4.0 of lager is, kan het echter niet meer worden gecompenseerd met het kennistoetscijfer. In de gevallen dat het kennistoetscijfer niet meetelt bij de bepaling van het eindcijfer (kennistoetscijfer lager dan tentamencijfer of tentamencijfer 4.0 of lager), is het eindcijfer gelijk aan het tentamencijfer (dus). Het eindcijfer en de (bij een voldoende resultaat behaalde) studiepunten worden alleen toegekend als ook het SPSS practicum met succes is afgerond, dat wil zeggen als de afsluitende vaardigheidstoets is afgerond met een voldoende. LET OP! LET OP! (1) Als de cursus niet binnen het lopende studiejaar dat is tot en met de herkansing is afgerond, vervalt de mogelijkheid om met het kennistoetscijfer het eindcijfer op te hogen. () Als het SPSS practicum niet binnen het lopende studiejaar is afgerond dat betekent het hebben voldaan aan de aanwezigheidsverplichting, de opdrachten hebben uitgewerkt en voldoende hebben behaald voor de vaardigheidstoets vervallen alle behaalde SPSS resultaten en moet het hele practicum opnieuw worden doorlopen. Electronische Leeromgeving: BlackBoard De sectie Methoden en Technieken van de vakgroep Psychologie gebruikt BlackBoard ( als cursusondersteuning en als communicatiemiddel met studenten. Daarnaast geeft het toegang tot een aantal ICT-toepassingen ten behoeve van het onderwijs. BlackBoard wordt gebruikt voor publicatie van collegesheets, errata, toelichtingen, dringende mededelingen, voorbeeldvragen voor tentamens, antwoorden van niet behandelde opgaven uit het werkboek, tentamensleutels en uitslagen; en vragen en opmerkingen van studenten aan de docenten; en geeft toegang tot een verzameling van oudere, interactieve electronische vraagstukken met antwoorden en toelichting over de stof van elke week. Deze oefenvragen zijn echter niet meer aangepast aan het (nieuwe) boek van Leary en andere wijzigingen in de cursus; en een verzameling van nieuwe, interactieve electronische vraagstukken waarmee rekenvraagstukken, zoals ook in het werkboek voorkomen, kunnen worden geoefend. Dit onderdeel van uw studie is veel leuker dan u wellicht nu denkt (sure). Wij wensen u veel plezier en succes! De docenten Methoden en Technieken Leiden, januari 013 viii

9 Werkgroepen 1

10

11 Week 1 Correlaties en maten voor effectgrootte Hiervoor lezen: Leary: Hoofdstuk 7 MM&C: Paragraaf., paragraaf 10. (p.564 t/m p.565) Werkboek: Aanvullende teksten 1 en Doelstellingen week 1 De student kent: de (drie) criteria voor causaliteit; het onderscheid tussen de Pearson Produkt-Moment correlatie (r), de Spearman Rangorde correlatie ( r s), de Punt-biseriële correlatie (r pb ) en de Phi-coëfficiënt (φ); de relatie tussen de waarden van φ en χ in een x kruistabel; nulhypothese-toetsing voor het beoordelen en interpreteren van een correlatie en de beperkingen hiervan; de assumpties voor het toetsen van een correlatie; het begrip effectgrootte en de reden van toepassing hiervan; verschillende maten voor effectgrootte ( r effect, r, Cohen s d en Hedges g) en de voor- en nadelen van deze maten; het begrip proportie verklaarde variantie (VAF); de onderlinge relaties tussen r pb, t indep en Hedges g; het algemene principe van de opsplitsing van een toetsstatistiek in een deel dat de grootte van het effect aangeeft, en een deel dat afhankelijk is van n. De student kan: bepalen wanneer r, r s, r pb of φ nodig te hebben; r, r s, r pb en φ uitrekenen via de specifieke en uniforme berekeningswijze en interpreteren; gebruik maken van de relatie tussen de waarden van φ en χ in een x kruistabel voor berekeningen; de t-toets die gebruikt wordt om r, r s, r pb en φ te toetsen uitvoeren; r, Cohen s d en Hedges g uitrekenen; de waarde van de behandelde maten voor effectgrootte beoordelen met behulp van de vuistregels; gebruik maken van de onderlinge relaties tussen r pb, t indep en Hedges g voor berekeningen. 3

12 CORRELATIES EN MATEN VOOR EFFECTGROOTTE Let op: In verband met afrondingsfouten is het raadzaam om alle berekeningen met minimaal 4 decimalen uit te voeren. Opdracht De Pearson Produkt-Moment correlatie Lees eerst AANVULLENDE TEKST 1. Een onderwijskundige is geïnteresseerd in de ontwikkeling van taal bij middelbare scholieren. Hij vraagt zich af of gesproken kan worden van een talenknobbel. Daartoe bekijkt hij de samenhang tussen de eindexamencijfers voor Engels (X) en Frans (Y). Hij neemt aan dat de eindexamencijfers een interval meetniveau hebben. a. Als er sprake is van een talenknobbel, verwachten we dan een positief of een negatief (lineair) verband tussen X en Y? In de volgende tabel staan de eindexamencijfers voor Engels en Frans van een steekproef van acht willekeurig gekozen scholieren, en (om rekenwerk te besparen) de uit deze geobserveerde scores resulterende z-scores. Engels (X) Frans (Y) z x z y z x z y b. Bereken de Pearson correlatie r. Gebruik hierbij de vijfde kolom van de tabel. c. De onderzoeker wil de correlatiecoëfficiënt toetsen. Formuleer het bijbehorende stelsel hypotheses. d. Toets de nulhypothese. Gebruik een α van 5%. Wat is de statistische en inhoudelijke conclusie? e. Als er een significante samenhang wordt gevonden, mag men dan concluderen dat er een oorzakelijk verband bestaat tussen X en Y? 4

13 Opdracht 1. De Spearman Rangorde correlatie CORRELATIES EN MATEN VOOR EFFECTGROOTTE Twee getrainde neuzen (X en Y) maken ieder een rangordening van 8 parfums door ze een score te geven op een geur-impact-schaal (hoe meer impact, hoe hoger de score). Men wil onderzoeken in hoeverre beide beoordelaars overeenkomen in hun oordeel, door de samenhang tussen beide rangordeningen te bekijken met behulp van de Spearman Rangorde correlatie r s. In de eerste twee kolommen van de onderstaande tabel staan de gegevens, samen met extra kolommen voor het berekenen van r s met de specifieke formule, en met extra kolommen voor de berekening van r s via z-scores. Om tijd en rekenwerk te besparen zijn sommige tussenresultaten voor beide berekeningswijzen reeds ingevuld. r s via speci- r s via z-scores fieke formule X Y rang X rang Y D D z rang X z rang Y z rang X z rang Y a. Zet de beide reeksen scores X en Y om in rangnummers. Gebruik de derde en vierde kolom in de tabel. b. Bereken r s via de specifieke formule (manier 1). Gebruik hiervoor de vijfde en zesde kolom in de tabel. c. Bereken r s via z-scores (manier ): Gebruik hiervoor de laatste drie kolommen in de tabel. d. Men wil de verkregen correlatiecoëfficiënt toetsen. Formuleer het bijbehorende stelsel hypotheses. e. Toets de nulhypothese. Gebruik een α van 5%. Wat is de statistische en inhoudelijke conclusie? 5

14 CORRELATIES EN MATEN VOOR EFFECTGROOTTE Opdracht 1.3 De Punt-biseriële correlatie Men wil weten of het vermoeden klopt dat mannen gemiddeld hogere eindexamencijfers voor Frans halen dan vrouwen. Daartoe bekijkt men de samenhang tussen Geslacht (X, man = 0, vrouw = 1) en het eindexamencijfer Frans (Y) met behulp van het uitrekenen van de punt-biseriële correlatie (r pb ). In de tabel worden de gegevens voor Frans (Y) van de steekproef uit Opdracht 1.1 opnieuw gegeven, dit keer in een iets andere volgorde, aangevuld met de gegevens voor Geslacht (X). In de onderstaande tabel zijn extra kolommen opgenomen voor de berekening van r pb via z-scores. Om tijd en rekenwerk te besparen zijn de z-scores al ingevuld. Geslacht (X) Frans (Y) z x z y z x z y a. Bereken r pb via de specifieke formule (manier 1). Gebruik hiervoor de standaarddeviaties van de variabelen X en Y; s x =.535 en s y =.475. b. Bereken r pb via z-scores (manier ). Gebruik de laatste kolom in de tabel. c. Wat zegt de uitgerekende waarde van r pb over de richting van de samenhang tussen de variabelen X en Y? d. Men wil de verkregen correlatiecoëfficiënt toetsen. Formuleer het bijbehorende stelsel hypotheses. e. Toets de nulhypothese. Gebruik een α van 5%. Wat is de statistische en inhoudelijke conclusie? Wat is het resultaat bij tweezijdige toetsing? Opdracht 1.4 De Phi-coëfficiënt Een onderzoeker wil weten of het vermoeden klopt dat mannen vaker voor de eerste keer slagen voor hun rijexamen dan vrouwen. Daartoe onderzoekt hij de samenhang tussen geslacht (X, dit keer gecodeerd met: vrouw = 0, man = 1), en het voor de eerste keer slagen voor het rijexamen (Y, zakken = 0, slagen = 1), met behulp van het uitrekenen van de phi-coëfficiënt (φ ). In de tabel op de volgende pagina staan de gegevens van een steekproef van acht willekeurig gekozen personen. 6

15 CORRELATIES EN MATEN VOOR EFFECTGROOTTE Geslacht (X) Zakken/Slagen (Y) z x z y z x z y In de tabel zijn extra kolommen opgenomen voor de berekening van φ via z- scores. Om tijd en rekenwerk te besparen zijn de z-scores al ingevuld. a. Geef de scores op de variabelen X en Y weer in een x kruistabel en bereken φ via de specifieke formule (manier 1). Zet Geslacht (X) in de kolommen van de tabel. b. Bereken φ via z-scores (manier ). Gebruik hiervoor de laatste kolom in de tabel. c. Wat zegt de uitgerekende waarde van φ over de richting van de samenhang tussen de variabelen X en Y? d. De onderzoeker wil de verkregen correlatiecoëfficiënt toetsen. Formuleer het bijbehorende stelsel hypotheses. Gaat het hier om een éénzijdig of een tweezijdig toetsprobleem? e. Toets de nulhypothese. Gebruik een α van 5%. Wat is de statistische en inhoudelijke conclusie? f. Wat is de waarde van χ? g. Toets H 0 : χ = 0. Gebruik een α van 5%. Wat is de statistische en inhoudelijke conclusie? Toets je met de χ -toets een éénzijdige of een tweezijdige hypothese? Opdracht 1.5 Effectgrootte Lees eerst AANVULLENDE TEKST. Gebruik opnieuw de gegevens uit Opdracht 1.3 en 1.4, en de in deze opdrachten berekende antwoorden. a. Wat was de waarde van phi-coëfficiënt berekend in Opdracht 1.4? Was dit resultaat significant? Neem de berekende phi-coëfficiënt nu als maat voor effectgrootte en gebruik deze waarde om de grootte van het effect te interpreteren Gebruik de tabel met vuistregels om te bepalen hoe groot het effect van Geslacht op het wel of niet voor de eerste keer slagen voor het 7

16 CORRELATIES EN MATEN VOOR EFFECTGROOTTE rijexamen is. Is de effectgrootte hier gevoelsmatig in overeenstemming met het resultaat van de statistische toetsing van φ? Zo nee, wat is hiervoor de verklaring? b. Neem de punt-biseriële correlatie als maat voor effectgrootte, en gebruik de in Opdracht 1.3 berekende waarde van deze correlatie om de grootte van het effect te interpreteren. Kijk daarvoor weer in de tabel met vuistregels. Hoe groot is het effect van Geslacht op het eindexamencijfer Frans? c. Wat is de waarde van t voor een t-toets voor onafhankelijke steekproeven, berekend op basis van de punt-biseriële correlatie uit Opdracht 1.3? d. Verifieer de uitkomst van de voorgaande berekening door de t-waarde uit te rekenen zoals dit tijdens het blok Toetsende Statistiek (week 4) werd gedaan met een gepoolde standaarddeviatie (NB. Er geldt hier s p = 1.904). e. Splits nu de berekening van de gevonden t-waarde in twee stukken: één met de bijdrage van Hedges g en één met de bijdrage van de steekproefgrootte. Wat is hier de waarde van Hedges g? Interpreteer opnieuw de grootte van het effect op basis van deze waarde. Is deze interpretatie in overeenstemming met het antwoord bij b.? Inleveropdracht week 1: De Phi-coëfficiënt Deze opdracht kan worden gemaakt na afloop van bijeenkomst 1. Lever deze opdracht op papier in bij je docent op het afgesproken tijdstip (voor bijeenkomst ). De nagekeken opdracht ontvang je weer retour tijdens bijeenkomst. Een psycholoog onderzoekt de samenhang tussen Introversie en Examenangst bij 00 studenten. a. Formuleer het bijbehorende stelsel hypotheses De verzamelde data zijn: Introversie Nee Ja Totaal Examenangst Nee Ja Totaal b. Wat is de waarde van φ voor deze gegevens? c. De onderzoeker wil de verkregen correlatiecoëfficiënt toetsen. Toets de nulhypothese. Gebruik een α van 5%. Wat is de statistische en inhoudelijke conclusie? d. Wat heeft hier vermoedelijk effect op wat? e. Hoe groot is het effect (zie vuistregels) in termen van φ? f. Wat is de waarde van χ voor deze tabel? 8

17 Week Enkelvoudige lineaire regressie Hiervoor lezen: Leary: Hoofdstuk 8 (t/m p.165) MM&C: Hoofdstuk 10 Werkboek: Aanvullende tekst 3 (alinea 1) Doelstellingen week De student kent: het onderscheid tussen predictor- en response variabelen; de verschillende enkelvoudige regressiemodellen (steekproef, populatie, individu); het begrip residu (error); alle termen voor het regressiegewicht; het verschil tussen een betrouwbaarheidsinterval voor de gemiddelde respons en een voorspellingsinterval voor de geschatte individuele respons; de link tussen enkelvoudige regressie en ANOVA; de relatie tussen de F-toets en de t-toets voor de slope; R als maat voor effectgrootte bij (enkelvoudige) regressieanalyse. De student kan: een regressievergelijking opstellen voor steekproefdata en voor de populatie; voor gegeven x-waarde de voorspelde y-waarde berekenen (schatten); de parameters van het enkelvoudige regressiemodel voor de populatie benoemen en interpreteren; de variantie en standaarddeviatie van de residuen in de steekproef berekenen en die in de populatie schatten; de t-toets die gebruikt wordt voor het toetsen van de slope uitvoeren; het betrouwbaarheidsinterval voor de gemiddelde respons berekenen; het voorspellingsinterval voor de geschatte individuele respons berekenen; werken met de ANOVA-tabel voor enkelvoudige regressie; R bij (enkelvoudige) regressieanalyse berekenen. 9

18 ENKELVOUDIGE LINEAIRE REGRESSIE Let op: In verband met afrondingsfouten is het raadzaam om alle berekeningen met minimaal 4 decimalen uit te voeren. Opdracht.1 - De regressievergelijking Een psycholoog werkzaam bij de Marine heeft een test ontwikkeld om emotionele stabiliteit te meten (X) om deze in de nabije toekomst te kunnen gebruiken bij de selectie van duikbootpersoneel. Om de geldigheid van deze test te onderzoeker wil hij weten in hoeverre de mate van stressbestendigheid (Y) ermee te voorspellen is. Hij verwacht een positieve correlatie tussen X en Y. Beide variabelen worden gemeten bij vijf leerlingen van het Koninklijk Instituut voor de Marine (KIM). Dit leidt tot de volgende scores: X (STAB) Y (STRESS) a. Welke variabele is in dit voorbeeld de response variabele? b. Uit welke populatie is deze steekproef afkomstig? c. Hoe ziet de regressievergelijking voor de populatie er in het algemeen uit? d. De regressievergelijking kan worden beschouwd als een model. Welke parameters komen in het regressiemodel (voor enkelvoudige regressie) voor? Wat zijn de namen van deze parameters, en wat is hun betekenis? e. Teken de puntenwolk van deze gegevens. Wat voor verband ziet u? Verwacht u dat het sterk zal zijn? De onderzoeker wil voor de verkregen gegevens de regressievergelijking opstellen. Eerst berekent hij een aantal statistieken. Voor de gemiddelden van X(STAB) en Y(STRESS) vindt hij, respectievelijk x = en y = 40.00, en voor de varianties vindt hij, respectievelijk, s x = en s y =.50. Voor de Pearson r vindt hij een waarde van f. Bereken nu de coëfficiënten van de regressievergelijking, dat wil zeggen het intercept b 0 en het regressiegewicht (of de slope) b 1. g. Stel de regressievergelijking op voor de voorspelling van stressbestendigheid uit emotionele stabiliteit. h. Teken de regressielijn in de puntenwolk (zie e). 10

19 Opdracht. Het toetsen van het regressiegewicht ENKELVOUDIGE LINEAIRE REGRESSIE De in de voorgaande opdracht opgestelde regressievergelijking heeft betrekking op een willekeurig gekozen steekproef van vijf personen. Wat valt er echter te zeggen over de populatie? Gebruik bij de berekeningen de gegevens uit Opdracht.1. a. Om te weten te komen of in de populatie de gemiddelden µ y voor de diverse waargenomen x-waarden significant van elkaar verschillen kunnen we de parameter b 1 (het regressiegewicht of de slope) toetsen. Welk stelsel van hypothesen moet in dit geval onderzocht worden? b. Welke toets gebruikt men voor het toetsen van deze nulhypothese? c. In de tabel hieronder staan opnieuw de scores voor X(STAB) en Y(STRESS)- waarden. Bepaal zelf y ˆ (de voorspelde y-waarde) voor de gevonden x- waarden en noteer deze in de derde kolom. Bepaal de errortermen e i en noteer deze in de vierde kolom. X (STAB) Y (STRESS) ŷ e i e i d. Bepaal het kwadraat van de errortermen e i (de residuen) en noteer deze in de vijfde kolom. Bereken met de waarden in deze kolom s, de variantie van de errortermen. Bereken vervolgens s. De berekende waarde van s is een schatting van de parameter σ (de maat voor de spreiding van de geobserveerde y-waarden rond de regressielijn in de populatie). Welke waarde heeft de schatting van σ? e. Toets de nulhypothese met betrekking tot het regressiegewicht gebruikmakend van het resultaat uit d. Gebruik een α van 5%. Wat is uw conclusie? f. Toets deze nulhypothese eveneens met de t-toets voor de correlatie. Gebruik een α van 5%. Wat is uw conclusie? 11

20 ENKELVOUDIGE LINEAIRE REGRESSIE Opdracht.3 Betrouwbaarheidsinterval voor de gemiddelde respons en voorspellingsinterval voor de geschatte respons De bedrijfspsycholoog bij de Marine wil nu zijn test voor het meten van emotionele stabiliteit (X) het komend schooljaar gebruiken om de mate van stressbestendigheid (Y) te voorspellen voor de nieuwe lichting marinemensen. Gebruik de regressievergelijking zoals opgesteld bij Opdracht.1.g. a. Voorspel, c.q. schat de gemiddelde stressbestendigheid ( ) µ y ) voor alle mensen die op de variabele emotionele stabiliteit een score x* = 35 hebben. Bereken het 95% betrouwbaarheidsinterval voor deze schatting van de gemiddelde respons (zie MM&C, p en p ). Geef een omschrijving van de betekenis van deze schatting en het bijbehorende betrouwbaarheidsinterval. b. Veronderstel dat Marie, een aspirant-officier, op de test voor emotionele stabiliteit een score x* = 35 heeft. Voorspel de stressbestendigheid van Marie en bereken het 95% voorspellingsinterval van deze schatting (zie MM&C, p en p ). Geef een omschrijving van de betekenis van deze schatting en het bijbehorende voorspellingsinterval. c. Indien u voor een tweede kandidaat, Jan, met een score x* = 50 het 95% voorspellingsinterval bepaalt, is dit interval dan even groot, kleiner of groter dan het interval berekend bij b? Licht uw antwoord toe. Opdracht.4 - De ANOVA tabel bij enkelvoudige lineaire regressie De onderzoeker zou zijn regressieprobleem ook kunnen benaderen vanuit het perspectief van de variantie-analyse (ANOVA). De vraag is of hij tot een andere conclusie zou komen indien dezelfde gegevens met deze techniek zouden worden geanalyseerd; is er dan sprake van een verband tussen X(STAB) en Y(STRESS)? a. Beantwoord bovenstaande vraag op het eerste gezicht? Hoe zouden twee verschillende toetsen met betrekking tot hetzelfde probleem af moeten lopen? b. Welk stelsel van hypothesen werd onderzocht bij het toetsen van het regressiegewicht in Opdracht.? Kan ditzelfde stelsel van hypothesen worden onderzocht met behulp van ANOVA? c. Welke toetsstatistiek moet in dit geval gebruikt worden (denk aan het aantal DF)? d. Bereken SSM door gebruik te maken van de onderstaande tabel. De eerste drie kolommen zijn dezelfde als de eerste drie kolommen uit Opdracht..c. Noteer in de vierde kolom y en in de vijfde de verschillen tussen de derde en vierde kolom. Vermeld in de laatste kolom de kwadraten van de vijfde kolom. Welke waarde heeft SSM? 1

21 ENKELVOUDIGE LINEAIRE REGRESSIE X (STAB) Y (STRESS) ŷ y y y ˆ ( ˆ ) y y e. Bereken SST met behulp van de al eerder gegeven statistiek: s y =.50. Correspondeert de nu te bepalen waarde van SSE met hetgeen berekend is bij Opdracht..d? f. Stel de ANOVA-tabel op aan de hand van het format van MM&C, p Welke waarde heeft F? g. Toets de nulhypothese met behulp van F. Gebruik een α van 5%. h. Wat is uw conclusie? i. MM&C bespreken de relatie tussen de F-waarde en de t-waarde (p. 555). Laat zelf deze relatie zien met behulp van de nu gevonden F-waarde en de t- waarde uit Opdracht.. Lees eerst AANVULLENDE TEKST 3, eerste alinea. j. Bereken R met behulp van de gegevens uit de ANOVA-tabel. Wat is de betekenis van de gevonden waarde van R? Hoe groot is de proportie verklaarde variantie van Y? k. Komt de waarde van r, gegeven in Opdracht.1, overeen met de waarde van r die kan worden gevonden uit de berekende waarde van R? l. Hoe groot is de proportie onverklaarde variantie van Y? m. Gebruik het antwoord uit de vorige opgave om op een eenvoudigere manier om SSE te bepalen. Let op: Op de volgende pagina staat nog een inleveropdracht die hoort bij week. 13

22 ENKELVOUDIGE LINEAIRE REGRESSIE Inleveropdracht week : Enkelvoudige lineaire regressie Deze opdracht kan worden gemaakt na afloop van bijeenkomst. Lever deze opdracht op papier in bij je docent op het afgesproken tijdstip (voor bijeenkomst 3). De nagekeken opdracht ontvang je weer retour tijdens bijeenkomst 3. Een psycholoog wil Angst voor Dood en Gevaar (Y) voorspellen uit Angst voor het Onbekende (X). Hij meet beide constructen in een steekproef van 185 adolescenten, en vindt voor deze data, respectievelijk x = , y = 0.108, s x = , s y= en r xy = a. Stel de regressievergelijking op. b. Voorspel de y-waarde voor een persoon met x = 6. c. Bereken voor deze persoon het 95% voorspellingsinterval (in de regressieanalyse blijkt dat s = 4.607). 14

23 Week 3 Meervoudige lineaire regressie Hiervoor lezen: Leary: Hoofdstuk 8 (p.165 t/m p.169) MM&C: Hoofdstuk 11 Werkboek: Aanvullende tekst 3 (alinea ) Doelstellingen week 3 De student kent: de verschillende meervoudige regressiemodellen (populatie, steekproef, individu); de assumpties voor regressieanalyse; het verschil tussen ongestandaardiseerde en gestandaardiseerde regressiegewichten; de link tussen meervoudige regressie en ANOVA; R als maat voor effectgrootte bij (meervoudige) regressieanalyse. De student kan: een regressievergelijking opstellen met behulp van SPSS-gegevens voor steekproefdata en voor de populatie en voor gegeven x-waarde de voorspelde y-waarde berekenen (schatten); de parameters van het meervoudige regressiemodel voor de populatie benoemen en interpreteren; de t-toets die gebruikt wordt voor het toetsen van de regressiegewichten uitvoeren; werken met de ANOVA-tabel voor meervoudige regressie; R bij (meervoudige) regressieanalyse berekenen. 15

24 MEERVOUDIGE LINEAIRE REGRESSIE Merk op: Multiple choice oefenopgaven zijn beschikbaar vanaf pagina 77. Let op: In verband met afrondingsfouten is het raadzaam om alle berekeningen met minimaal 4 decimalen uit te voeren. Opdracht 3.1 Correlaties tussen de variabelen in een (meervoudig of multiple) regressieprobleem De psycholoog uit opdracht.1 heeft niet alleen de mate van stressbestendigheid (Y) en de emotionele stabiliteit ( X 1) gemeten bij vijf leerlingen van het KIM, maar ook een maat voor probleemoplossend vermogen ( X ). De eerder gegeven tabel met data wordt daarmee uitgebreid met de volgende X -scores: X 1 (STAB) X (PROB) Y (STRESS) De psycholoog verwacht positieve correlaties tussen X 1 en Y en tussen X en Y. De berekening van deze correlaties resulteert in de onderstaande tabel (tussen haakjes staan de P-waarden bij tweezijdige toetsing): Y(STRESS) X 1 (STAB) X (PROB) Y (STRESS) (.) X 1 (STAB).8856 (.0456) X (PROB).613 (.63) (.0456) (.).160 (.771).613 (.63). 160 (.771) (.) a. Welke correlatiecoëfficiënten in bovenstaande tabel zijn significant? Beoordeel dit zowel voor twee- als voor éénzijdige toetsing. b. Hoeveel % van de variantie in Y wordt (in de steekproef) verklaard door respectievelijk X 1 en X? c. Indien de onderzoeker de stressbestendigheid zo goed mogelijk wil voorspellen, moet hij dan gebruik maken van X 1 of van X, of kan hij beter beide predictorvariabelen gebruiken? 16

25 MEERVOUDIGE LINEAIRE REGRESSIE Opdracht 3. De multipele (meervoudige) regressievergelijking De onderzoeker besluit beide predictorvariabelen X 1 en X te gebruiken om stressbestendigheid te voorspellen. Men doet de analyse met SPSS. Onder andere levert hem dit de volgende uitvoer: Coefficients Unstandardized Coefficients Standardized Coefficients t Sig. Model B Std. Error Beta 1 (Constant) XSTAB XPROB a Dependent Variable: YSTRESS Beantwoord met betrekking tot deze uitvoer de volgende vragen: a. Hoe ziet de regressievergelijking met twee predictoren voor steekproefgegevens er in het algemeen uit? b. Stel de regressievergelijking op met de gegevens uit de computeruitvoer. Gebruik je hiervoor de ongestandaardiseerde of gestandaardiseerde regressiegewichten? Wat is het verschil? c. Toets b 1 met behulp van de in de computeruitvoer gegeven standaardfout. Gebruik een α van 5%. Vergelijk de berekende t-waarde met die in de computeruitvoer. Betreft dit een eenzijdige of een tweezijdige toetsing? Wat is uw conclusie? d. Is b significant (met een α van 5%)? Betreft dit een eenzijdige of een tweezijdige toetsing? Wat is uw conclusie? e. Wat concludeert u met betrekking tot deze regressievergelijking ten aanzien van de KIM -populatie? f. Wat is de voorspelde y-score van proefpersoon? g. Welk verschil y y ) vind u voor proefpersoon? Hoe wordt een dergelijk verschil (y y ) ) in het algemeen genoemd? Wat is de betekenis van een eventueel minteken bij zo n verschil? h. Bij meervoudige regressie kan geen regressielijn worden getekend zoals bij enkelvoudige regressie. Waarom niet? i. Indien er bij meervoudige regressie twee predictorvariabelen een rol spelen, zoals in dit voorbeeld het geval is, wat kan er dan in plaats van een regressielijn worden getekend? Omschrijf in woorden hoe in een dergelijk tekening de verschillen y y ) tot uitdrukking komen. Kan men een tekening maken van een meervoudig regressie-probleem met drie predictorvariabelen? 17

26 MEERVOUDIGE LINEAIRE REGRESSIE Opdracht 3.3 Verklaarde variantie van de responsvariabele en de ANOVAtabel bij multipele regressie In de tekening van het regressievlak (zie college) ligt per observatie (= persoon) de voorspelde waarde op de responsvariabele ( y ˆ ) in het vlak en de geobserveerde waarde (y) erboven òf eronder. Hoe kleiner de afstand tussen de geobserveerde waarde en de voorspelde waarde, hoe beter de voorspelling. Om inzicht te krijgen in de kwaliteit waarmee de afhankelijke variabele wordt voorspeld door de predictoren, kan voor alle observaties/personen de spreiding worden bekeken van de geobserveerde waarden (y) rond het regressievlak (waarin alle voorspelde waarden y ˆ liggen). Dit kan met behulp van onderstaande tabel, die eveneens behulpzaam is bij de benadering van multipele regressie vanuit het perspectief van ANOVA (zoals we ook bij enkelvoudige regressie hebben gezien). X 1 (STAB) X (PROB) Y (STRESS) ( ) ) y y y ) ( ) a. Vul de tabel verder in. Welke waarde heeft y y )? Dit is de kwadratensom van de fouten of residuen (SSE). b. Bereken SST (= de totale kwadratensom) met behulp van de in Opdracht.1 gegeven waarde van s y =.50. c. Welke waarde heeft SSM dus? d. Op welke andere wijze zou (ter controle) de waarde van SSM berekend kunnen worden? e. Stel de ANOVA-tabel op volgens het format in MM&C, p Hoe wordt bij multiple regressie de nulhypothese geformuleerd? En hoe wordt de alternatieve hypothese geformuleerd? f. Met welke toetsstatistiek wordt de nulhypothese getoetst? Wat is de waarde van deze toetsstatistiek? g. Wat is uw conclusie? (Gebruik een α van 5%) Lees eerst AANVULLENDE TEKST 3, tweede alinea. h. Bereken R met behulp van de gegevens uit de ANOVA-tabel. Welke verschillende interpretaties zijn er voor de gevonden waarde van R? Hoe groot is de proportie verklaarde variantie van de responsvariabele Y? 18

27 MEERVOUDIGE LINEAIRE REGRESSIE i. Er is een eenvoudigere manier om SSM en SSE te bepalen indien, naast de gegevens uit de tabel, R en s y bekend zijn (zie opdracht.4.m). Bepaal opnieuw SSM en SSE en bekijk of de uitkomsten overeen met 3.3.a en 3.3.c? j. Als we de wortel trekken van R krijgen we R. Wat is de betekenis van R? k. Geef nogmaals antwoord op vraag c. van Opdracht 3.1. Opdracht Multipele regressie in SPSS zie ook De Vocht, 011, Basishandleiding SPSS 19 De onderzoeker bekijkt nu de rest van zijn computeruitvoer. Hij heeft gebruik gemaakt van de standaardmethode ENTER. Hierbij worden de beide predictoren tegelijk in het model opgenomen. Hieronder volgt een deel van de SPSS-uitvoer. Model Variables Entered/Removed b Variables Entered Variables Removed Method 1 XPROB XSTAB a - Enter a. All requested variables entered b. Dependent Variable: YSTRESS Model Summary Model R R Square Adjusted R Square Std. Error of the Estimate a a. Predictors: (Constant), XPROB, XSTAB Model 1 Regression Residual Total ANOVA b Sum of Squares df Mean Square F Sig a. Predictors: (Constant), XPROB, XSTAB b. Dependent Variable: YSTRESS a a. Vergelijk de uitkomsten van uw berekeningen (in Opdracht 3.3) met die van SPSS. b. Indien u voor deze gegevens wilt weten, hoeveel procent van de variantie in de afhankelijke variabele door de predictoren verklaard wordt, maakt u dan gebruik van R, R Square of van Adjusted R Square? c. Wat wordt bedoeld met de Adjusted R Square? Vergelijk de waarde van de Adjusted R Square met die van de R Square. Wat is het verschil? Waar wordt dit door veroorzaakt? 19

28 MEERVOUDIGE LINEAIRE REGRESSIE Inleveropdracht week 3: Meervoudige lineaire regressie Deze opdracht kan worden gemaakt na afloop van bijeenkomst 3. Lever deze opdracht op papier in bij je docent op het afgesproken tijdstip (voor bijeenkomst 4). De nagekeken opdracht ontvang je weer retour tijdens bijeenkomst 4. Een school wil onderzoeken of leerlingen die goed zijn in talen ook goed zijn in wiskunde. Van een random steekproef van 10 leerlingen worden de eindcijfers van Nederlands, Engels en wiskunde verzameld. De onderzoekers toetsen het regressiemodel m.b.v. een ANOVA. In de tabel hieronder zijn de Sums of Squares weergegeven. ANOVA b Model Sum of Squares df Mean Square F Sig. 1 Regression,370 Residual 13,630 Total 36,000 a. Predictors: (Constant), Ned, Eng b. Dependent Variable: Wisk a. Vul in de tabel het juiste aantal vrijheidsgraden in bij Regression, Residual en Total. Bereken vervolgens de Mean Squares. b. Wat is de F-waarde? c. Welk stelsel van hypothesen wordt er getoetst door deze ANOVA F- toets? d. SPSS geeft voor de F-toets een P-waarde van.033. Wat kunnen de onderzoekers concluderen? e. Wat weten de onderzoekers aan de hand van het resultaat bij d precies over de unieke bijdrages van de regressiegewichten? Waar kunnen ze het beste naar kijken om dit te beoordelen? 0

29 Week 4 Experimenteel onderzoek en experimentele controle Hiervoor lezen: Leary: Hoofdstuk 9 en 10 MM&C: Paragraaf.4 (p.19 t/m p.130), paragraaf.6 en 3.1 Werkboek: Aanvullende tekst 4 Doelstellingen week 4 De student kent: de kenmerken van een experiment; verschillende manieren om de associatie tussen variabelen te beschrijven: causaal verband, confounding en common response; het begrip verscholen variabele (lurking variable); verschillende manieren om proefpersonen toe te wijzen aan condities; de voor- en nadelen van between- en within-subject designs; de opsplitsing van de totale variantie in treatment variantie, confound variantie en errorvariantie; verschillende manieren van experimentele controle met hun voordelen en beperkingen; verschillende bedreigers van interne validiteit. De student kan: mogelijke verklaringen geven voor de associatie tussen variabelen; verschillende manieren van experimentele controle toepassen; beoordelen of de toegepaste experimentele controle succesvol is geweest. 1

30 EXPERIMENTEEL ONDERZOEK EN EXPERIMENTELE CONTROLE Lees eerst AANVULLENDE TEKST 4. Opdracht Kenmerken van het experiment a. Wat zijn de drie kenmerken van een experiment en wat houden ze in? b. Meestal wordt het tweede kenmerk omschreven als: random toewijzing van individuen aan condities. Leary heeft het woord random weggelaten, omdat hij een vorm van toewijzing bespreekt die niet random is. Welke? c. Lijkt het u mogelijk om roken is dodelijk of de invloed van sekse op gedrag experimenteel aan te tonen? Bij welke soorten oorzaken is experimenteel onderzoek (dus) onmogelijk? Opdracht 4. Alternatieve verklaringen Veronderstel dat we een associatie hebben gevonden tussen de hieronder beschreven variabelen x en y. De correlatie tussen x en y is in alle gevallen positief. 1. x = intelligentie van de ouders y = intelligentie van de kinderen. x = het cijfer voor Inleiding in de Psychologie y = het cijfer voor inleiding in de Methoden en Technieken 3. x = mentale leeftijd van een kind y = de score op een CITO-toets 4. x = de intensiteit van een therapie y = de ernst van de klachten 6 maanden na afloop van de therapie. a. Wat zou in elk van de 4 voorbeelden een logische verklaring kunnen zijn: causatie tussen x en y, common response (zo ja: op wat?) of confounding (zo ja: waardoor?). Licht uw verklaringen toe aan de hand van een schema (zoals in MM&C, par..6) b. Op welk validiteits-/betrouwbaarheidsprobleem heeft deze vraag betrekking? c. Wanneer, in het algemeen gesproken, is een verborgen variabele een mogelijke alternatieve verklaring?

31 Opdracht Randomisatie EXPERIMENTEEL ONDERZOEK EN EXPERIMENTELE CONTROLE Er wordt onderzoek gedaan naar de invloed van het zien van geweld op de houding ten aanzien van geweld (HG). Van alle proefpersonen wordt van tevoren vastgesteld hoe groot hun afkeer is van geweld ( HG 0), waarbij een hoge score duidt op een grote afkeer van geweld. De experimentele groep krijgt daarna de oorlogsfilm te zien; de controlegroep ziet in dezelfde tijd een educatieve film over het paringsgedrag van stekelbaarzen. Na afloop wordt de houding ten aanzien van geweld ( HG 1) nogmaals gemeten met een parallel instrument. Omdat de onderzoekers menen dat verschillende variabelen (waaronder sekse en leeftijd) mogelijkerwijs invloed hebben op de houding ten aanzien van geweld, wijzen ze de proefpersonen at random toe aan de twee condities: experimenteel (E) en controle (C). Zij genereren daartoe met hun computer een reeks van 1 random getallen. Dat levert de volgende reeks op: Als het getal even is komt de overeenkomstige persoon in de experimentele groep, als het getal oneven is in de controlegroep (NB. 0 wordt beschouwd als een even getal). De volgende gegevens zijn bekend over de proefpersonen in dit experiment: Pp Sekse V V M V M V M V V M M M Leeftijd HG Random Groep a. Bepaal aan de hand van de reeks random getallen welke proefpersonen in de experimentele, en welke in de controlegroep komen. b. Hangt sekse samen met de onafhankelijke variabele, met andere woorden: zijn de E- en de C-groep vergelijkbaar wat betreft sekse? Hoe bekijkt u dit? c. Hangt leeftijd samen met de onafhankelijke variabele, met andere woorden: zijn de E- en de C-groep vergelijkbaar wat betreft leeftijd? Hoe bekijkt u dit? d. Welke toets(en) had u kunnen gebruiken om een antwoord te vinden op vraag b en c? e. Zijn de E- en de C-groep vergelijkbaar wat betreft hun a priori houding ten aanzien van geweld ( HG 0)? f. Zijn sekse en leeftijd inderdaad 'gevaarlijke' variabelen, met andere woorden: hangen ze samen met HG 0 (en dus vermoedelijk met HG 1 )? g. Is het resultaat van de randomisatie geslaagd? Vat uw bevindingen uit b t/m e samen. 3

32 EXPERIMENTEEL ONDERZOEK EN EXPERIMENTELE CONTROLE h. Veronderstel dat de onderzoekers de volgende reeks random getallen hadden gekregen: Tot welke indeling leidt de pech van de onderzoekers deze keer? i. Eén van de onderzoekers stelt voor om het opnieuw te doen om tot een betere verdeling te komen. Is hier nog sprake van een random procedure? Wat zou het gevaar van deze procedure kunnen zijn? Opdracht Blocking De onderzoekers verwachten dat opleidingsniveau (Laag, Middelbaar, Hoog) van invloed is op de afhankelijke variabele. Hoe zouden ze de invloed van deze variabele onder controle kunnen brengen met behulp van blocking? Opdracht Matching De onderzoekers willen de invloed van sekse en opleidingsniveau onder controle brengen met behulp van matching. Van ieder gematcht duo is al één persoon at random ingedeeld in de experimentele of de controlegroep (zie tabel). Pp Sekse V V M V M V M V V M M M Opl. L H M M L L L M H H H M HG Groep E E C E E C a. Hoe hangt opleidingsniveau samen met houding ten aanzien van geweld? b. Bekijk eerst de groepsindeling uit opdracht 4.3.a: Zijn de E- en C-groep vergelijkbaar wat betreft opleidingsniveau? En dus wat betreft houding ten aanzien van geweld? c. Maak de indeling in groepen af, door bij iedere reeds ingedeeld persoon een geschikte match te zoeken (sekse en opleiding) en die in de andere conditie te plaatsen. Zijn de E- en C-groep nu beter vergelijkbaar wat betreft opleiding? d. Zijn E- en C-groep nu beter vergelijkbaar wat betreft de houding ten aanzien van geweld? e. Hoe kan je de score op een continue variabele (bijv. HG 0 ) gebruiken om proefpersonen te matchen? f. Welke (praktische) beperking zit er aan deze vorm van controle? 4

33 EXPERIMENTEEL ONDERZOEK EN EXPERIMENTELE CONTROLE Opdracht 4.6 Statistische controle Veronderstel dat de onderzoekers de volgende reeks random getallen hadden gekregen: had opgeleverd. Pp HG HG random Groep a. Deel de proefpersonen in op basis van de random getallen. Bereken vervolgens het verschil in HG 1 tussen de E- en de C-groep. Welke conclusie zou op basis van dit verschil trekken? b. Bereken nu ook het verschil in HG 0 tussen de beide groepen. c. Vergelijk nu voor beide groepen het verschil tussen voor- en nameting. Wat kunt u nu concluderen over het effect van de experimentele ingreep? Opdracht 4.7 Repeated measures a. Hoe zouden we in dit experiment bedreigers via repeated measurement onder controle kunnen brengen? Welke bedreigers brengen we hiermee onder controle? b. Lijkt u dit uitvoerbaar, of zijn er doorslaggevende bezwaren (zo ja: welke)? Opdracht Overzicht Bespreek voor- en nadelen van de zes manieren van experimentele controle (randomisatie, blocking, matching, repeated measures, constant houden en statistische controle). Besteed daarbij aandacht aan de volgende zaken: 1. Is het middel gericht tegen bepaalde variabelen, of algemeen?. Is het middel 100% effectief, of blijft er een risico? 3. Welke beperkingen heeft het middel? 4. Wat kost het middel ons? 5. Levert het middel ook nog iets extra s op (afgezien van verbeterde controle dus)? 5

34 EXPERIMENTEEL ONDERZOEK EN EXPERIMENTELE CONTROLE 6

35 Week 5 Experimentele en quasiexperimentele proefopzetten Hiervoor lezen: Leary: Hoofdstuk (9 en 10, herhaling), 13 en 14 Werkboek: Aanvullende tekst 5 Doelstellingen week 5 De student kent: de verschillen tussen een experiment, een quasi-experiment een preexperiment en correlationeel onderzoek; verschillende onderzoeksontwerpen bij naam; verschillende manieren bedreigers van interne validiteit onder controle te brengen; de betekenis van de begrippen experimenter expectancy, demand characteristics en placebo-effect; de begrippen hoofdeffect en interactie-effect; de voordelen en beperkingen van single case studies. De student kan: onderzoeksontwerpen in symbolen weergeven en begrijpen; onderzoeksontwerpen destilleren een omschrijving; de grootte van de diverse bedreigers van validiteit berekenen in verschillende onderzoeksontwerpen (o.a. het Solomon 4 groepen design); een grafische weergave van een time-series design interpreteren. 7

36 EXPERIMENTELE EN QUASI-EXPERIMENTELE PROEFOPZETTEN Lees eerst AANVULLENDE TEKST 5. Opdracht 5.1 Bedreigers van validiteit van verschillende onderzoeksontwerpen De M&T-afdeling van een opleiding psychologie wil Informatie en Communicatie Technologie (ICT) als hulpmiddel bij het onderwijs invoeren. Voor dat tot invoering wordt overgegaan, moet er eerst een onderzoek gedaan worden naar de effectiviteit. De betrokkenen brainstormen over de aanpak. a. Geef de opzet van elk van deze onderzoeksvoorstellen (volgende pagina) schematisch weer (zie collegesheets). Gebruik daarbij de volgende symbolen: R = random toewijzing van proefpersonen NR = niet random toewijzing O 0 = voormeting O 1 = nameting X = experimentele ingreep. b. Benoem elk van de voorstellen zo nauwkeurig mogelijk. c. Op de vergelijking van welke scores zou de conclusie in de verschillende voorstellen worden gebaseerd? d. Geef voor elk onderzoek in een schema (zoals hieronder voorgedaan) aan of de volgende bedreigers in de verschillende voorstellen een Gevaar vormen (zie onder) en wat daarvan de Reden is: Bedreiger Testing Sensitisatie History/Maturation Selectie Uitval Gevaar Reden Kies in de kolom Gevaar uit: A(fwezig): in sommige situaties kunnen sommige bedreigers simpelweg niet optreden (bijv. zonder voormeting is testing onmogelijk). V(erwaarloosbaar): een bedreiger kan soms een verwaarloosbaar gevaar opleveren (bijv. als tussen voor- en nameting een half uur verloopt, is maturation onwaarschijnlijk). R(andomisatie): onder controle door random indeling. S(tatistisch controleerbaar): een bedreiger is soms onder controle doordat we vast kunnen stellen welk effect die bedreiger heeft (voorbeeld: bij een voor- en een nameting). G(evaar): als geen van deze omstandigheden zich voordoen, is de bedreiger echt een gevaar. 8

37 EXPERIMENTELE EN QUASI-EXPERIMENTELE PROEFOPZETTEN "Het lijkt me simpel," zegt docent A. "We trekken een random steekproef van 48 studenten die volgend jaar Inleiding M&T doen. Die studenten krijgen de ICT-cursus als hulpmiddel bij het gewone werkgroeponderwijs. We rekenen hun gemiddelde cijfer voor het tentamen Inleiding M&T uit. Klaar!" "Dat lukt niet," zegt docent B, "want de werkgroepen worden ingedeeld door de studiecoördinator op grond van de tutorgroepen. We kiezen gewoon at random één van die werkgroepen, die geven we de ICT-cursus en we vergelijken het gemiddelde tentamencijfer in die groep met dat van één, at random gekozen, werkgroep die gewoon onderwijs krijgt." "Dat tentamencijfer hoeft van mij niet," zegt docent C. "Ik wil weten of ze er echt wat van geleerd hebben en dat kan ik niet goed zien aan een multiple choice tentamen. Ik ontwikkel daarvoor wel een mooie test, Inzicht In Onderzoeksvraagstukken. En in plaats van een bepaalde werkgroep te kiezen, trekken we aan het begin van het jaar een random steekproef studenten en nemen die de test af. Die krijgen het ICT-onderwijs als hulpmiddel aangeboden. Aan het eind van het jaar nemen we ze een parallelle test af." "Dat lijkt me prima," vervolgt docent D, "maar ik wil ook een groep om mee te vergelijken. Dus we trekken aan het begin van het jaar een random steekproef studenten en wijzen die at random en gelijkelijk toe aan twee onderzoeksgroepen. Die twee groepen nemen we beiden de test af. Vervolgens krijgt één van de twee de ICT-cursus als hulpmiddel, en de andere niet." Ja maar die test vooraf, werpt docent E tegen, dat hoeft voor mij niet. Laten we doen wat collega D voorstelt, maar zonder die eerste test. "Mensen", zegt docent F, die de cursus moet coördineren, "er is geld zat voor ICT. Dus we doen het allebei, we maken een combinatie van zowel het voorstel van collega D, als dat van collega E. "Wat een gedoe allemaal", probeert docent G nog in te brengen ook al luistert er niemand naar hem, "nou moeten we een ICT-cursus ontwikkelen enkel en alleen om uit te vinden of het helpt. Dat is een hoop verspilde moeite als achteraf blijkt dat het niks helpt. Dus laten we eerst maar eens onderzoeken wat mensen uit zichzelf met een computer doen. We nemen gewoon de studenten een vragenlijst af. In de eerste helft van de vragenlijst vragen we in hoeverre ze van computers gebruik maken bij het studeren; als tweede helft nemen we de Inzicht In Onderzoeksvraagstukken -test en testen we hoeveel inzicht ze hebben." 9

38 EXPERIMENTELE EN QUASI-EXPERIMENTELE PROEFOPZETTEN Opdracht 5. Experimenter Expectancy, Demand Characteristics en Placebo Effect Men wil onderzoeken in hoeverre nicotinepleisters, die worden gebruikt om het stoppen met roken te vergemakkelijken, een effect hebben op stemming. Bij alle proefpersonen wordt door middel van een klinisch interview door een arts stemming gemeten. Vervolgens krijgen de proefpersonen de pleisters opgeplakt. Na vier weken wordt weer door middel van een interview van de proefpersoon met dezelfde arts vastgesteld in hoeverre deze behandeling invloed heeft gehad op hun stemming. a. Geef een omschrijving van experimenter expectancy, demand characteristics en het placebo-effect. b. Op welke manier zouden deze drie bedreigers in bovenstaand onderzoek invloed kunnen hebben op de interpretatie van de onderzoeksresultaten? c. Op welke manier(en) kan in bovenstaand onderzoek het optreden van deze bedreigers worden tegengegaan (bijv. aanpassingen aan het ontwerp)? Opdracht Het Solomon vier-groepen onderzoeksontwerp Het ontwerp van docent F staat bekend als het Solomon vier-groepen onderzoeksontwerp. Het is een ontwerp dat niet alleen beveiligd is tegen de belangrijkste bedreigers, maar tevens de mogelijkheid biedt om vast te stellen hoe groot het effect van een aantal van die bedreigers is. Neem aan dat een dergelijk onderzoek is uitgevoerd en de volgende gemiddelde scores heeft opgeleverd op de voor- en nametingen (tussen haakjes): R I: O 0 (11) X O 1 (4) R II: O 0 (10) O 1 (19) R III: X O 1 (36) R IV: O 1 (16) We kunnen bij dit onderzoeksontwerp allerhande vergelijkingen maken door bepaalde metingen van elkaar af te trekken. Elk van die vergelijkingen levert een schatting op van het gezamenlijk effect van een aantal bedreigers en (mogelijk) de treatment. We beperken ons hier tot de volgende bedreigers: H/M (history en maturation); T (testing) en S (sensitisatie). Gebruik voor de treatment een X. 30

39 EXPERIMENTELE EN QUASI-EXPERIMENTELE PROEFOPZETTEN a. Trek in groep I de voormeting af van de nameting. Aan welke oorzaken kan dat verschil worden toegeschreven? b. Doe hetzelfde in groep II. c. Als we het resultaat van b. aftrekken van het resultaat van a., wat houden we dan nog over (als getal en als som van oorzaken)? d. Trek de nameting in groep IV af van die in groep III en beschrijf aan welke oorzaken het verschil kan worden toegeschreven. e. Als we het resultaat van d. aftrekken van het resultaat van c., wat houden we dan nog over (als getal en als oorzaak)? Wat er in groep III en IV veranderd is tussen het tijdstip van voor- en nameting weten we niet omdat er in die groepen geen voormeting is gedaan. Omdat de groepen at random zijn samengesteld mogen we echter veronderstellen dat ze op een voormeting ongeveer hetzelfde gescoord zouden hebben als de groepen I en II. We kunnen dus de gemiddelde score op de voormeting uit die twee groepen gebruiken als schatting voor de voormeting in groep III en IV. f. Bepaal nu wat er in groep IV is veranderd tussen voor- en nameting en noteer aan welke oorzaken het verschil kan worden toegeschreven. g. Bepaal op basis van het voorgaande het unieke effect van testing. h. Is selectie bij het Solomon ontwerp een bedreiger van de validiteit? Opdracht Bedreigers van de validiteit in een time series design De docenten uit opdracht 5.1 willen onderzoeken of ze de wiskundevaardigheden van de studenten kunnen vergroten door een korte, intensieve bijspijkercursus. Ze doen dat als volgt: tijdens elk van de SPSSpractica in de cursus Toetsende Statistiek wordt een korte wiskundetoets afgenomen, in totaal acht keer. In week vijf (voor het vijfde practicum) wordt de bijspijkercursus aan alle studenten gegeven. De gemiddelde resultaten van de acht wiskundetoetsen worden bekeken om te zien of de cursus effect had. Hieronder zijn de gemiddelde resultaten voor de studenten uit drie werkgroepen en het totaal gemiddelde gegeven: I: II: III: Gem

40 EXPERIMENTELE EN QUASI-EXPERIMENTELE PROEFOPZETTEN a. Maak een grafiek waarin het gemiddelde cijfer (y-as) wordt afgezet tegen de tijd (x-as). Geef daarin voor elke groep afzonderlijk, en voor het totaal de ontwikkeling in de tijd aan door middel van een lijn. b. Wat is de belangrijkste conclusie met betrekking tot de onderzoeksvraag als we kijken naar het totaalresultaat? c. Vertonen de drie groepen eenzelfde patroon? Zo nee, waar zouden de verschillen door verklaard kunnen worden? d. Waar ziet u in deze grafiek een mogelijk testing effect? Is het in deze opzet een probleem, d.w.z. een alternatieve verklaring voor het resultaat? e. In welke groep(en) lijkt maturation op te treden? Is het in deze opzet een probleem (alternatieve verklaring) voor het resultaat? f. Wat is de belangrijkste bedreiger voor de validiteit van dit type onderzoek? Even met het gezonde verstand: lijkt u dat hier een ernstig probleem? Welke oplossing noemt Leary voor dit probleem, en denkt u dat deze onderzoekers die oplossing hadden kunnen gebruiken? g. In Hoofdstuk 14 bespreekt Leary een belangrijk nadeel van het bekijken van gemiddelde scores. Hoe wordt door deze resultaten dit nadeel geïllustreerd? Inleveropdracht week 5: Het Solomon vier-groepen onderzoeksontwerp Deze opdracht kan worden gemaakt na afloop van bijeenkomst 5. Lever deze opdracht op papier in bij je docent op het afgesproken tijdstip (voor bijeenkomst 6). De nagekeken opdracht ontvang je weer retour tijdens bijeenkomst 6. Een onderzoeker bekijkt de effectiviteit van een nieuwe therapie voor depressie. Hij meet Depressie met een vragenlijst, waarbij een hogere score duidt op meer depressieklachten. Om alle effecten goed in kaart te brengen gebruikt hij een Solomon 4-groepen onderzoeksontwerp. Dat levert de volgende gegevens op: R I: O 0 (105) X O 1 (47) R II: O 0 (103) O 1 (80) R III: X O 1 (5) R IV: O 1 (8) Bepaal de grootte van de Experimentele interventie (X), Testing (T), History/Maturation (H/M) en Sensitisatie (S), zoals bij opdracht

41 Week 6 Eenweg variantie-analyse Hiervoor lezen: Leary: Hoofdstuk (11) 1 (t/m p.55) MM&C: Hoofdstuk 1 (t/m p. 617), p. 63 t/m p. 66 Werkboek: Aanvullende teksten 6, 7 en 8 Doelstellingen week 6 De student kent: alle termen die samenhangen met eenweg variantie-analyse; verschillende modelspecificaties voor eenweg variantie-analyse; verschillende post-hoc toetsen; de rationale voor de Bonferroni correctie; verschillende maten voor effectgrootte en hun eigenschappen; de assumpties voor een eenweg variantie-analyse; de relatie tussen lineaire regressie-analyse en eenweg variantie-analyse. De student kan: een score verdelen over verschillende onafhankelijke model bronnen; een eenweg ANOVA tabel opzetten, vullen en beoordelen; een post-hoc toets opzetten, uitvoeren en beoordelen; de verklaarde variantie uitrekenen en beoordelen; de effectgrootte uitrekenen en beoordelen; de assumpties voor een eenweg variantie-analyse controleren; een lineair regressiemodel opzetten voor een eenweg variantie-analyse. 33

42 EENWEG VARIANTIE-ANALYSE Opdracht Terminologie, effectparameters en de ANOVA-tabel Lees eerst AANVULLENDE TEKST 6. In een experiment wordt het effect onderzocht van verschillende zogenaamde mnemonische technieken (technieken om beter te kunnen onthouden). Er zijn drie groepen proefpersonen die een aantal dierennamen moeten zien te onthouden. Een groep (A1) wordt erin getraind de dierennamen met plaatsen te associëren, de tweede groep (A) wordt getraind de dierennamen met zelf te kiezen associaties te verbinden en de derde groep (A3) krijgt geen speciale training. De afhankelijke variabele is het aantal correct herinnerde dierennamen. De verkregen gegevens staan hieronder. Mnemonische technieken A1 A A a. Wat is de basisinformatie (statistics) die gebruikt wordt om een uitspraak te doen over het effect van de mnemonische technieken (en over de onderzochte effecten bij een variantie-analyse in het algemeen)? b. Benoem de observaties in dit experiment in termen van steekproeven en populaties. Van hoeveel populaties, c.q. steekproeven, is hier sprake? c. Formuleer de nulhypothese en de alternatieve hypothese in woorden (in geschrift dus). d. Formuleer de nulhypothese en de alternatieve hypothese mathematisch (zie bijv. MM&C, p 611). e. Om een uitspraak te doen over het eventueel experimenteel effect zouden hier een aantal t-toetsen kunnen worden uitgevoerd. Om hoeveel toetsen zou dit gaan? f. Welke ernstige bezwaren kunt u aanvoeren tegen het toetsen van deze hypothesen door middel van t-toetsen? g. De F-toets zoals uitgevoerd bij eenweg variantie-analyse (ANOVA) is in het geval van drie (of meer) gemiddelden de aangewezen toetsingsgrootheid. Formuleer het ANOVA-model voor dit voorbeeld en bereken de schattingen voor de effectparameters. h. Bereken de drie kwadratensommen die nodig zijn om de ANOVA uit te voeren (NB: s A1 = 9.50; s A = 13.00; s A3 = 11.00; met behulp van deze varianties kan de SSE worden berekend. Deze SSE heeft betrekking op de spreiding van de geobserveerde waarden binnen een groep rond het groepsgemiddelde). 34

43 EENWEG VARIANTIE-ANALYSE i. Check de aanname van homogeniteit van varianties voor het uitvoeren van een eenweg ANOVA. Wat is uw conclusie? j. Wat zijn de bijbehorende vrijheidsgraden? k. Vat de resultaten samen in een ANOVA-tabel (zie bijv. MM&C, p. 616). l. Voer de toets uit en bepaal tussen welke grenzen de P-waarde ligt. m. Interpreteer de resultaten (α =.05). Maak hiertoe ook een tekening met op de horizontale as de condities en op de verticale as de groepsgemiddelden. n. Hoe groot is het percentage verklaarde variantie? Leg uit wat met deze term bedoeld wordt (wat wordt er nu eigenlijk precies verklaard?). (Denk terug aan week 7 van het blok Inleiding in de Methoden en Technieken) o. Bestaat in deze situatie een (versie van de) correlatie die kan worden gebruikt als maat voor effectgrootte? Licht uw antwoord toe. Opdracht 6. - ANOVA voor een experiment met vier groepen In een experiment wordt nagegaan in hoeverre het type feedback leergedrag beinvloedt. Daartoe worden 3 kinderen at random verdeeld over 4 condities. Ze krijgen de taak om objecten van uiteenlopende vorm te laten vallen door een raster met uitsparingen die dezelfde vormverschillen vertonen. In conditie A worden kinderen vriendelijk aangemoedigd (beloond) wanneer ze het goed doen. In conditie B worden ze onvriendelijk bejegend (gestraft) zodra ze een fout maken. In conditie C worden de kinderen bij een goede prestatie beloond en bij een slechte prestatie gestraft. In conditie D gebeurt dit maar in de helft van (alle) gevallen, omdat de proefleider bij een goede of slechte prestatie een munt werpt die bepaalt of er, respectievelijk, beloond of gestraft wordt, of niets gebeurt. De afhankelijke variabele is het aantal fouten dat elk van de kinderen tijdens een sessie maakt. Veronderstel dat de volgende resultaten worden verkregen: A (belonen) n 1 = 8 x 1 = 17 s 1 = 6.71 B (straffen) n = 8 x = 0 s = 6.4 C (belonen en straffen; 100%) n 3 = 8 x 3 = 8 s 3 = 7.1 D (belonen en straffen; 50%) n 4 = 8 x 4 = 35 s 4 = 6.65 a. Formuleer het model (zie opdracht 6.1) voor deze situatie en bereken schattingen voor de effectparameters. b. Check de aanname van homogeniteit van varianties voor het uitvoeren van een eenweg ANOVA. Wat is uw conclusie? c. Bereken de kwadratensommen SSG en SSE, en de MSE, die nodig zijn voor het uitvoeren van de ANOVA. Bereken de MSE door middel van het uitrekenen van de pooled sample variance s p (zie ook MM&C, p. 609). Net als in Opdracht 6.1.h. kan deze variantie worden uitgerekend uit de varianties binnen de groepen die bij dit voorbeeld gegeven zijn. Let hierbij op waar s p aan gelijk is (zie ook MM&C, p ). 35

44 EENWEG VARIANTIE-ANALYSE d. Bereken SST uit de tot hiertoe verkregen resultaten. Waarom kan SST in dit voorbeeld niet direct worden berekend? e. Bereken nu ook de MSG met behulp van het juiste aantal vrijheidsgraden. f. Stel de ANOVA-tabel op en voer de toets uit (α =.05). Wat is uw conclusie? g. Interpreteer de resultaten en maak weer een tekening met de groepsgemiddelden. Opdracht multipele vergelijkingen (multiple comparisons) De onderzoeker heeft geconcludeerd dat het type feedback het leergedrag beïnvloedt: er is een significant effect gevonden voor de condities, ofwel tenminste twee conditiegemiddelden verschillen significant van elkaar. De onderzoeker weet nu echter alleen dat de gezamenlijke onderlinge verschillen tussen conditiegemiddelden zorgen voor een significante F-waarde. Hij wil daarom vervolgens meer specifiek nagaan welke verschillen tussen welke gemiddelden significant zijn en welke niet. De aangewezen weg daarvoor is het doen van a posteriori multipele vergelijkingen (multiple comparisons). Hij maakt daarbij gebruik van (1) de Bonferroni methode (MM&C, p ) en () een procedure genaamd: Minimum Significant Difference -methode (MSD). Lees eerst AANVULLENDE TEKST 7. a. Als u alle gemiddelden in dit experiment met elkaar vergelijkt, hoeveel t- toetsen moet u dan uitvoeren, c.q. hoeveel onderlinge verschillen tussen gemiddelden zijn er? b. Als u voor iedere t-toets een significantieniveau α =.05 zou aanhouden hoe groot is dan de kans (bij benadering) dat in minstens één van de toetsen een Type-I-fout optreedt? (Hint: redeneer via de kans dat de toetsen goed aflopen; wat is de kans dat alle toetsen goed aflopen?). c. Als u voor alle toetsen gezamenlijk wilt dat de kans op het maken van minstens één Type-I-fout niet groter is dan.05, welk significantieniveau moet u dan voor elke afzonderlijke toets gebruiken? Laat zien dat de Bonferroni correctie inderdaad het gewenste resultaat heeft op de familiegewijze α. d. Wat is voor het feedbackexperiment de kritische t-waarde die bij een tweezijdige toets met het onder c. bepaalde significantieniveau hoort? (Deze t-waarde wordt aangeduid als t**). e. Bereken de MSD voor de onderlinge vergelijkingen van alle gemiddelden en toets welke verschillen significant zijn en welke niet. f. Interpreteer de resultaten. g. Bereken het 95% betrouwbaarheidsinterval voor het verschil tussen de gemiddelden van B (straffen) en C (belonen en straffen; 100%) (heet in MM&C Simultaneous Confidence Interval for Differences between Means, p. 66; 36

45 EENWEG VARIANTIE-ANALYSE merk op dat de MSD de margin of error van dit interval is). Omschrijf de betekenis van dit interval. Opdracht Verklaarde variantie en effectgrootte in eenweg variantieanalyse Lees eerst AANVULLENDE TEKST 8. Voor deze opgave zijn de data van DANDRUFF.SAV uit het SPSS practicum gebruikt die gaan over het effect van verschillende shampoo s op roosvorming. SPSS geeft onderstaande ANOVA-tabel als output. Dependent Variable: FLAKING Tests of Between-Subjects Effects Source Sum of Squares df Mean Square F Sig. TREATMENT Error Total Gebruik bij de gevraagde berekeningen 4 decimalen. a. Bereken voor de factor TREATMENT de waarden voor R en η. Is het effect groot? b. Is het zinnig om voor de factor TREATMENT r pb te bepalen? Indien zinnig, wat is de waarde van r pb? c. Bereken voor de factor TREATMENT de waarde van ) ω. Verklaar het verschil in grootte tussen de berekende waarden van η (bij a.) en ) ω. d. Ga na wat het effect is van de steekproefgrootte op de waarden van R, η en ) ω. Opdracht De assumpties bij een ANOVA Een experiment met twee condities levert de volgende, op het eerste gezicht idiote data: Conditie A: Conditie B: a. Wat zijn de assumpties bij een ANOVA? Voldoen bovenstaande gegevens hieraan? b. Als ze niet aan de assumpties voldoen, welke mogelijke oplossingen kunt u daarvoor dan bedenken (zie MM&C, p. 609)? 37

46 EENWEG VARIANTIE-ANALYSE Opdracht ANOVA-output in SPSS In een experiment onderzoekt men de invloed van cocaïne op de prestaties op een Franse taalvaardigheidstest. De invloed van verschillende doses cocaïne wordt bekeken ten opzichte van een controlegroep waarin een placebo is toegediend. De afhankelijke variabele is de score van iedere proefpersoon op de taalvaardigheidstest. Bij analyse van de gegevens met ANOVA in SPSS wordt onder andere de hieronder vermelde output verkregen. Analysis of Variance Sum of Mean F F Source D.F. Squares Squares Ratio Prob. Between Groups Within Groups Total a. Van hoeveel condities is in dit experiment kennelijk sprake? b. Hoeveel proefpersonen zijn blijkbaar bij dit experiment betrokken? c. Bekijk de F-toets. Wat is in dit geval de kritische F-waarde (α =.01)? d. Wat voor conclusie kunt u trekken met betrekking tot het effect van cocaïne op de Franse taalvaardigheid? Inleveropdracht week 6: Eenweg variantie-analyse Deze opdracht kan worden gemaakt na afloop van bijeenkomst 6. Lever deze opdracht op papier in bij je docent op het afgesproken tijdstip (voor bijeenkomst 7). De nagekeken opdracht ontvang je weer retour tijdens bijeenkomst 7. Iemand herhaalt het experiment beschreven in opdracht 6.1 met 10 personen in elke conditie. De gevonden gemiddelden in de condities zijn voor A1: 7, voor A: en voor A3: 14. Verder is gegeven dat de SST = a. Formuleer het model en schat de parameters op grond van de nieuwe gegevens. b. Bereken de benodigde kwadratensommen. c. Stel de ANOVA-tabel op en voer de toets uit (α =.05). Wat is uw conclusie? d. Interpreteer de resultaten en maak een tekening met de groepsgemiddelden (zoals uitgelegd in Opdracht 6.1). e. Zijn de resultaten van dit experiment (ongeveer) gelijk aan de resultaten van het in opdracht 6.1 beschreven experiment? Bespreek hierbij zowel het resultaat van de toetsing als de parameterschattingen. 38

47 Week 7 Tweeweg variantie-analyse Hiervoor lezen: Leary: Hoofdstuk 1, p.55 t/m p.6; MM&C: Hoofdstuk 1, p.618 t/m p.63, hoofdstuk 13; Werkboek: Aanvullende teksten 9, 10 en 11. Doelstellingen week 7 De student kent: alle termen die samenhangen met tweeweg variantie-analyse; verschillende modelspecificatie voor tweeweg variantie-analyse; verschillende maten voor effectgrootte en hun eigenschappen; de assumpties voor een tweeweg variantie-analyse; de voordelen van één tweeweg versus twéé eenweg variantie-analyses. De student kan: een score verdelen over verschillende onafhankelijke model bronnen; een twee-weg ANOVA tabel opzetten, vullen en beoordelen; een contrast toets opzetten, uitvoeren en de uitkomsten beoordelen; de verklaarde variantie uitrekenen en beoordelen; de effectgrootte uitrekenen en beoordelen; de assumpties voor een tweeweg variantie-analyse controleren. 39

48 TWEEWEG VARIANTIE-ANALYSE Opdracht 7.1 Contrasten: het vergelijken van twee of meer groepsgemiddelden volgens een van tevoren opgesteld plan Deze opdracht maakt opnieuw gebruik van de gegevens van Opdracht 6.. Voor het gemak wordt de daar gegeven beschrijving hier eerst herhaald. In een experiment wordt nagegaan in hoeverre het type feedback leergedrag beïnvloedt. Daartoe worden 3 kinderen at random verdeeld over 4 condities. Ze krijgen de taak om objecten van uiteenlopende vorm te laten vallen door een raster met uitsparingen die dezelfde vormverschillen vertonen. In conditie A worden kinderen vriendelijk aangemoedigd (beloond) wanneer ze het goed doen. In conditie B worden ze onvriendelijk bejegend (gestraft) zodra ze een fout maken. In conditie C worden de kinderen bij een goede prestatie beloond en bij een slechte prestatie gestraft. In conditie D gebeurt dit maar in de helft van (alle) gevallen, omdat de proefleider bij een goede of slechte prestatie een munt werpt die bepaalt of er, respectievelijk, beloond of gestraft wordt, of niets gebeurt. De afhankelijke variabele is het aantal fouten dat elk van de kinderen tijdens een sessie maakt. De volgende resultaten worden verkregen: A (belonen) n 1 = 8 x 1 = 17 s 1 = 6.71 B (straffen) n = 8 x = 0 s = 6.4 C (belonen en straffen; 100%) n 3 = 8 x 3 = 8 s 3 = 7.1 D (belonen en straffen; 50%) n 4 = 8 x 4 = 35 s 4 = 6.65 De onderzoeker wil nu met zijn verkregen gegevens de volgende twee specifieke hypothesen toetsen: (1) Hij verwacht dat de twee condities waarin zowel beloond als gestraft wordt gezamenlijk minder effectief zijn (dus dat kinderen in deze condities meer fouten maken), dan de twee condities waarin, of alleen beloond, of alleen gestraft wordt. () Hij verwacht dat de conditie waarin alleen gestraft wordt minder effectief is dan de conditie waarin alleen beloond wordt. a. Formuleer voor deze twee verwachtingen de nulhypothesen in termen van contrasten, dat wil zeggen, als gewogen combinaties van populatiegemiddelden. Doe hetzelfde voor de alternatieve hypothesen. (Hint: in de hypothesen worden steeds twee groepen condities met elkaar vergeleken, waarbij een groep eventueel ook uit slechts een conditie kan bestaan). b. Bereken de bijbehorende steekproefcontrasten. c. Bereken voor het eerste contrast de SE van het contrast (zie MM&C, p. 60) en gebruik hiervoor s p = De SE voor het tweede contrast is 1.9. Toets de twee contrasten vervolgens met een α van.05. Wat is uw conclusie? d. Vergelijk het toetsresultaat van het tweede contrast met het resultaat van de multiple comparisons (zie Opdracht 6.3) waarbij dezelfde twee condities als in dit contrast worden vergeleken. Hoe verklaart u het verschil? 40

49 TWEEWEG VARIANTIE-ANALYSE Opdracht 7. - ANOVA op een 3 x factoriëel ontwerp In het vak Inleiding in de Methoden en Technieken werd een experiment beschreven waarin onderzocht werd of falen invloed heeft op faalangst. We gebruiken hier een variant van dat voorbeeld. Er zijn twee experimentele (of onafhankelijke) variabelen: maakbaarheid van de taak en eerlijkheid van de beoordeling. Maakbaarheid heeft drie condities (ook wel niveau s ): het moeten doen van zeer moeilijke taken, het moeten doen van een mengsel van moeilijke en redelijk haalbare taken en het moeten doen van uitsluitend makkelijke taken. Na afloop krijgen de proefpersonen te horen of ze geslaagd zijn voor de test. Dan komt de tweede experimentele variabele beoordeling in het spel, met twee condities. De helft van de proefpersonen in elke maakbaarheids -groep krijgt eerlijk te horen wat ze scoorden, de andere helft krijgt een lagere score dan ze verdienden. De 4 proefpersonen worden at random verdeeld over de zo ontstane 6 combinaties van condities (ook wel cellen ). De afhankelijke variabele is de score op een faalangstschaal. De verwachting is dat mensen die zich oneerlijk beoordeeld voelen, de schuld voor hun lage score niet bij zichzelf leggen en dus ook geen vermeerderde faalangst vertonen. De resultaten van dit fictieve experiment (scores van de vier proefpersonen in elke cel) zijn als volgt: Beoordeling Maakbaarheid Moeilijk Gemengd Makkelijk Eerlijk Oneerlijk a. Wat zou beter zijn (en waarom): de onafhankelijke variabelen maakbaarheid en beoordeling gezamenlijk in één tweeweg factoriëel onderzoeksontwerp combineren of twee aparte experimenten uitvoeren, een voor elke onafhankelijke variabele? Motiveer uw antwoord. 41

50 TWEEWEG VARIANTIE-ANALYSE b. Aan welke assumpties moeten de gegevens voldoen om ze met behulp van een tweeweg-anova te mogen analyseren? Lees eerst AANVULLENDE TEKST 9. c. De notatie van MM&C waarbij µ's worden gebruikt in plaats van α's en β's is hier onhandig en verminderd bruikbaar. Waarom? d. Schat alle parameters voor het lineaire model dat op het bovenstaande voorbeeld van toepassing is. e. Wat valt u op als u de hoofdeffectparameters per onafhankelijke variabele bij elkaar optelt (dus de 3 α s samen en de β s samen)? Wat ziet u bij optelling van de interactie-effectparameters? f. Bereken de kwadratensommen die bij de hoofd- en interactie-effecten horen, gebruikmakend van de tabel met parameterschattingen. Om hoeveel verschillende kwadratensommen gaat het hier? g. U hebt nog tenminste één kwadratensom nodig om de ANOVA af te kunnen maken. Welke twee mogelijkheden zijn er? h. Voer op de gegevens een ANOVA uit. Gegeven is dat SSE gelijk is aan 184. Maak een volledige ANOVA-tabel (met de kolommen: Bron, SS, df, MS, F en P) en toets alle effecten (α =.05). i. Wat zijn uw conclusies? j. Geef de resultaten grafisch weer. Zet op de horizontale as drie punten, één voor iedere conditie van maakbaarheid. Zet hiertegen af op de verticale as de gemiddelde faalangstscore (voor ieder van de 3 condities). Verbind de drie punten. Teken zo n grafiek voor beide condities van beoordeling. Hoe kan men in de grafiek de twee hoofdeffecten en het interactie-effect zien? Hoe interpreteert u de verschillende effecten? Opdracht Verklaarde variantie en effectgrootte in tweeweg variantieanalyse Lees eerst AANVULLENDE TEKST 10. a. Bereken voor de verschillende effecten uit het voorbeeld van opdracht 7. de waarden voor R en η. Interpreteer de grootte van de effecten. b. Bereken voor de verschillende effecten in dit voorbeeld de waarde voor η partial. Wat valt je op? Interpreteer (opnieuw) de grootte van de effecten. c. Is het zinvol om voor de verschillende effecten de corresponderende r effect te bepalen? Waar wel en waar niet? Bereken en interpreteer de zinvolle r effect (- en)? d. Bereken voor de verschillende effecten in dit voorbeeld de waarden voor ) ω. Interpreteer (opnieuw) de grootte van de effecten. e. Ga na wat het effect is van de steekproefgrootte op de waarden van de verschillende maten voor effectgrootte. 4

51 TWEEWEG VARIANTIE-ANALYSE Opdracht Output van tweeweg variantie-analyse in SPSS Bij de analyse van de gegevens uit een experiment wordt met SPSS ANOVA de onderstaande output verkregen. Tests of Between-Subjects Effects Dependent Variable: Level of Aspiration Source Sum of Squares df Mean Square F Sig. NORM STANDING NORM * STANDING Error Total Beantwoord op grond van bovenstaande output de volgende vragen: a. Hoeveel en welke experimentele (onafhankelijke) variabelen spelen een rol in dit experiment? Hoeveel condities heeft/hebben de experimentele variabele(n)? Hoeveel cellen zijn er in dit experiment? b. Veronderstel dat er evenveel proefpersonen in iedere cel van het experiment zijn opgenomen. Maak een tabel die weergeeft hoe de proefpersonen over de condities en cellen in dit experiment zijn verdeeld. c. Bekijk de F-toetsen van de verschillende effecten. Interpreteer de resultaten (α =.05). Wat is uw conclusie met betrekking tot de verschillende effecten? Herhalingsopdracht 7.5 Tussen- en binnen-personen onderzoeksontwerpen Lees eerst AANVULLENDE TEKST 11. a. Wat voor type design ( tussen - of binnen-personen ) heeft het experiment uit opdracht 7. (effect van falen op faalangst)? b. Kunt u zich het experiment uit opdracht 6.1 (effect van mnemonische technieken) voorstellen als een binnen-personen ontwerp? Zo ja, hoe zou dit dan in elkaar moeten worden gezet; zo nee, waarom niet? c. Welke bedreiger(s) van validiteit uit Week 5 tracht men uit te schakelen door een binnen-personen ontwerp in plaats van een tussen-personen ontwerp te gebruiken? (Hint: denk aan de perfecte matching van experimentele en controlegroep indien beide groepen uit dezelfde personen bestaan) d. Welke bedreiger(s) van validiteit uit Week 5 worden beter door een tussenpersonen ontwerp beheerst dan door een binnen-personen ontwerp? e. Een methodologisch probleem bij het uitvoeren van een experiment met een binnen-personen ontwerp is dat proefpersonen herhaald gemeten worden. Leg uit waarom (zie ook b.). 43

52 TWEEWEG VARIANTIE-ANALYSE 44

53 Aanvullende teksten 45

54 46

55 AANVULLENDE TEKSTEN 1. Correlaties (Deze aanvullende tekst hoort bij de stof en opgaven van week 1) Bij Inleiding in de Methoden en Technieken hebben we de Pearson Produkt- Moment correlatie (r) leren kennen en gebruiken. Het is een maat voor de richting en de sterkte van de lineaire samenhang tussen twee kwantitatieve variabelen (variabelen van tenminste interval meetniveau). Herhaling: Pearson Produkt-Moment correlatie (r) De Pearson correlatie wordt het handigst berekend met gebruikmaking van z-scores, op de manier zoals Moore, McCabe en Craig (.) die behandelen (Leary geeft een alternatieve berekening; die is echter ouderwets en onhandig en kunnen we buiten beschouwing laten). Het berekenen van r via de formule: ( z x z y ) r = n 1 gaat als volgt: 1. Standaardiseer alle x- en y-scores (anders gezegd: bereken de z-scores).. Bereken per observatie het kruisproduct ( z xzy). 3. Tel alle kruisproducten bij elkaar op (kruisproductensom) 4. Deel de kruisproductensom door n 1. Andere correlatiecoëfficiënten Leary (p. 158, 159) vermeldt dat er ook correlaties zijn ontwikkeld voor situaties waarin variabelen niet (allemaal) kwantitatief zijn. Hij bespreekt deze echter niet en evenmin hun berekeningswijze. Daarom worden hier in het werkboek drie andere versies van de correlatie behandeld: 1) de Spearman Rangordecorrelatie ( r s ) / Spearman ρ (rho): voor de samenhang tussen twee variabelen van ordinaal meetniveau ) de Punt-biseriële correlatie (r pb ): voor de samenhang tussen één kwantitatieve variabele en één variabele met twee categorieën (een dichotome variabele) 3) de Phi-coëfficiënt (φ): voor de samenhang tussen twee variabelen met ieder twee categorieën (twee dichotome variabelen). Ieder van deze drie correlatie heeft zijn eigen specifieke berekeningswijze (manier 1). Daarnaast is het mogelijk om ze te berekenen met één uniforme aanpak, gebruikmakend van gestandaardiseerde scores (z-scores), op een 47

56 AANVULLENDE TEKSTEN manier die overeenkomt met de behandelde berekening van de Pearson correlatie (manier ). Beide manieren worden per correlatie apart besproken. Spearman Rangorde correlatie ( r s) De Spearman Rangorde correlatie wordt gebruikt als maat voor de richting en de sterkte van de samenhang tussen twee variabelen van ordinaal meetniveau. Indien de waarden van de variabelen nog geen rangnummers zijn, is de eerste stap altijd het vervangen van de waarden door rangnummers. Bij de berekening gaan we steeds uit van een situatie zonder ties. Manier 1: Gebruik de specifieke formule voor deze correlatie. r s =1 6 n 3 n D De berekening gaat als volgt: 1. Zet voor beide variabelen de geobserveerde scores om in rangnummers (de laagste score krijgt rangnummer 1, de één na laagste, etc.).. Bereken per persoon het verschil tussen beide rangnummers. Welke je van welke aftrekt maakt niet uit, maar doe het steeds op dezelfde manier. Deze verschillen noem je D (zie de formule). 3. Kwadrateer per persoon dit verschil ( D ). 4. Bereken nu r s met de formule. De n is het aantal verschilscores. Manier : Gebruik de uniforme aanpak. Zet de geobserveerde scores van beide variabelen om in rangnummers. Standaardiseer de rangnummers, met behulp van het gemiddelde en de standaarddeviatie. Hoewel deze op de gebruikelijke manier berekend kunnen worden, is het bij rangnummers sneller om gebruik te maken van eenvoudige formules: x r = ( n +1) / en s r = n( n +1) / 1 waarbij n het aantal rangnummers is. Gebruik deze standaardscores in de aanpak zoals beschreven bij de Pearson correlatie. Punt-biseriële correlatie (r pb ) De Punt-biseriële correlatie wordt gebruikt als maat voor de richting en de sterkte van de samenhang tussen één kwantitatieve variabele en één variabele met twee categorieën (een dichotome variabele). Voor de berekening van r pb is het belangrijk te bedenken dat de dichotome variabele (die we X zullen noemen) feitelijk twee groepen in de observaties (personen) onderscheidt, met ieder een eigen gemiddelde op de interval variabele Y. Meestal worden als scores voor de dichotome variabele de waarden 0 en 1 gebruikt (dit wordt dummy-codering genoemd). De observaties met score 0 op variabele X, hebben nu y x =0 als gemiddelde waarde op variabele Y, 48

57 AANVULLENDE TEKSTEN en de observaties met score 1 op variabele X hebben y x =1 als gemiddelde waarde op variabele Y. Manier 1: Gebruik de specifieke formule voor deze correlatie. r pb = y x =1 y x =0 s y s x De berekening gaat als volgt: 1. Bereken voor beide groepen observaties (die met X = 0 en die met X = 1), het gemiddelde op variabele Y. Dit geeft y x =0 en y x =1.. Bereken de standaarddeviaties s x en s y van de variabelen X en Y. 3. Bereken r pb door het invullen van de formule. Manier : Gebruik de uniforme aanpak. Standaardiseer beide variabelen en gebruik de verkregen z-scores voor de uniforme aanpak (zie de aanpak zoals beschreven bij de Pearson correlatie). Phi-coëfficiënt (φ) De Phi-coëfficiënt wordt gebruikt als maat voor de richting en de sterkte van de samenhang tussen twee variabelen met ieder twee categorieën (twee dichotome variabelen). Manier 1: Gebruik de specifieke formule voor deze correlatie. Voor de berekening van de phi-coëfficiënt met de specifieke formule is het belangrijk te bedenken dat de scores op twee variabelen met ieder twee categorieën kunnen worden weergegeven in een x tabel met frequenties, een zogenaamde kruistabel. Meestal worden als scores voor dichotome variabelen de waarden 0 en 1 gebruikt (dit wordt dummy-codering genoemd). 1. Geef de scores van beide variabelen weer in een x kruistabel. Geef de celfrequenties aan met, respectievelijk, A, B, C en D, en gebruik deze letters ook om de marginale frequenties mee aan te geven, zoals aangegeven in de volgende tabel: X = 0 X = 1 totaal Y = 0 A B A + B Y = 1 C D C + D totaal A + C B + D A + B + C + D = n 49

58 AANVULLENDE TEKSTEN. Bij echte variabelen staan er in de kruistabel natuurlijk getallen in plaats van A, B, A + B, etc. Met deze getallen wordt de phi-coëfficiënt uitgerekend als φ = AD BC (A +B)(C +D)(A +C)(B +D) Manier : Gebruik de uniforme aanpak. Standaardiseer beide variabelen en gebruik de verkregen z-scores voor de uniforme aanpak (zie de aanpak zoals beschreven bij de Pearson correlatie). Relatie tussen φ en χ De phi-coëfficiënt wordt gebruikt om de samenhang tussen twee dichotome variabelen te bepalen. Zoals ook uit de weergave in een kruistabel blijkt, kan dit ook worden opgevat als een situatie die de samenhang betreft tussen twee categorische variabelen (van nominaal meetniveau) met ieder twee categorieën. Je kunt H 0 : φ = 0 dan ook toetsen door de onafhankelijkheid van beide variabelen te toetsen, ofwel door het toetsen van de (nul)hypothese H 0 : χ = 0. Om de waarde van χ te vinden kan gebruikt gemaakt worden van de relatie tussen χ en φ die in een x kruistabel geldt: χ = φ n. 50

59 AANVULLENDE TEKSTEN. Causaliteit en maten voor effectgrootte (Deze aanvullende tekst hoort bij de stof en opgaven van week 1) In veel onderzoek is het ultieme doel het vinden van oorzaak-gevolg-relaties, zogenaamde causale relaties. Bij een causale relatie stelt men zich voor dat een bepaalde score van een persoon op een variabele werkelijk (in bepaalde mate) veroorzaakt wordt doordat die persoon op een andere variabele ook een bepaalde score heeft. Om een causaal verband tussen een onafhankelijke variabele X en een afhankelijke variabele Y aan te tonen moeten we drie dingen doen (vergelijk Leary Ch 6, p ): 1. samenhang tussen X en Y bewijzen;. aannemelijk maken dat de oorzaak aan het gevolg voorafgaat; 3. alternatieve verklaringen uitsluiten. Alleen in experimenteel onderzoek kan aan alle voorwaarden worden voldaan. Bij een causale relatie heeft de oorzaak-variabele (X) invloed, of effect, op de gevolg-variabele (Y). Dit effect komt tot uiting in samenhang tussen beide variabelen. Men kan zich voorstellen dat dit twee sterk verbonden perspectieven geeft van waaruit een onderzoeksvraag kan worden beantwoord. Enerzijds kan men bekijken hoe sterk de samenhang is tussen oorzaak- en gevolg-variabele, anderzijds kan men bekijken hoe groot het effect is van oorzaak- op gevolg-variabele. Correlaties zijn maten voor de sterkte van samenhang, maar hoe moet de grootte van een effect worden uitgedrukt? De correlatie als maat voor effectgrootte ( r effect ) Omdat effect zo sterk verbonden is met samenhang, kan de waarde van de correlatie zelf worden opgevat als een maat voor de grootte van het effect. Afhankelijk van de situatie kan een van de varianten van de correlatie worden gebruikt (r, r s, r pb of φ). De correlatie die wordt toegepast als maat voor effectgrootte wordt daarom wel aangegeven met de algemene term r effect. Het gebruik van de waarde van de correlatie zelf als maat voor de grootte van een effect heeft echter als probleem dat deze waarde moeilijk te interpreteren is. Wat betekent r =.60 precies? Hoe moeten correlaties vergeleken worden? Het getal.60 is twee keer zo groot als het getal.30, maar r =.60 betekent niet een twee keer zo sterke samenhang als r =.30. Helaas geeft ook het toetsen van de statistische significantie van de correlatie hiervoor geen oplossing. Het resultaat van de t-toets, die de nulhypothese H 0 : ρ = 0 toetst, hangt naast de waarde van de gevonden correlatie af van de steekproefgrootte. Dit kan als resultaat hebben dat kleine correlaties in grote steekproeven als significant beoordeeld worden, en grote 51

60 AANVULLENDE TEKSTEN correlaties in kleine steekproeven als niet-significant. Duidelijk wordt daarmee dat alléén nulhypothese-toetsing te beperkt is voor het beoordelen en interpreteren van een correlatie, omdat niet-significantie niet hoeft te betekenen dat er geen effect is. Het kwadraat van de correlatie als maat voor effectgrootte (r ) Een veel gebruikte oplossing voor de boven genoemde nadelen van het gebruik van de correlatie zelf als maat voor effectgrootte, is het kwadrateren van de correlatie. Dit geeft r, vaak ook genoemd de Coefficient of Determination (COD), de Proportie Verklaarde Variantie of de Variance Accounted For (VAF). Echter, ook de proportie verklaarde variantie als maat voor de grootte van een effect wordt bekritiseerd. Waarden voor r kan men weliswaar onderling beter vergelijken, maar zijn ook niet eenvoudig te interpreteren: wat betekent de proportie verklaarde variantie nu precies? Nadelen van r zijn dat door kwadrateren de informatie over de richting van de samenhang verloren gaat, en dat een kleine waarde van r een nog kleinere waarden van r oplevert, die de suggestie wekt niets voor te stellen (bijv. r =.1 levert r =.014). Tenslotte zijn er situaties waarin data-analysetechnieken een waarde voor VAF geven die dus kan worden opgevat als een gekwadrateerde correlatie terwijl die niet kan worden teruggebracht tot een correlatie door de wortel te trekken. Dit zien we bijvoorbeeld bij variantie-analyse met meer dan groepen, een techniek die wordt behandeld in bijeenkomst 6 van dit blok. Het is onduidelijk hoe in een dergelijke situatie met r moet worden omgegaan. Alternatieve maten voor effectgrootte Vanwege alle genoemde problemen met het gebruik van (varianten van) de correlatie r en zijn kwadraat r als maten voor effectgrootte, zijn voor een aantal onderzoekssituaties alternatieve maten voor effectgrootte ontwikkeld. De alternatieve maten voor effectgrootte hebben als doel om de grootte van een effect zo weer te geven dat die niet afhankelijk is van de grootte van de steekproef, zoals dat wel geldt voor de waarde van de toetsstatistiek die gebruikt wordt voor het toetsen van de met het effect corresponderende correlatie. We bespreken hier de twee belangrijkste alternatieve maten voor effectgrootte: Cohen s d en Hedges g. Deze maten komen overeen wat betreft hun opzet, ze zijn van toepassing op het effect van een dichotome variabele op een kwantitatieve variabele, maar het doel van hun gebruik verschilt. 5

61 AANVULLENDE TEKSTEN Cohen s d is een maat bedoeld voor het beschrijven van de grootte van een effect in de populatie. Deze maat wordt dan ook uitgedrukt in populatietermen waarbij µ 1 en µ de gemiddelden zijn van twee deelpopulaties, en σ de gemeenschappelijke standaarddeviatie van de scores in beide deelpopulaties. Cohe n s d = µ µ 1 σ Hedges g is een maat voor de grootte van een effect in een steekproef, en wordt dus ook uitgedrukt in steekproeftermen, waarbij y 1 en y de gemiddelden zijn van de twee groepen observaties in de steekproef, en s p de gemeenschappelijke (gepoolde) standaarddeviatie van de scores in beide groepen. Hedges g = y 1 s p y De hier behandelde alternatieve maten voor effectgrootte zijn van toepassing op de situatie waarin de onafhankelijke variabele dichotoom is: het gaat steeds over de vergelijking tussen twee groepen. In complexere situaties met meer dan twee groepen, dus wanneer de onafhankelijke variabele drie of meer waarden heeft, of bij regressie-analyseproblemen waarbij de onafhankelijke variabele kwantitatief is, kunnen deze maten niet worden gebruikt en zijn andere (alternatieve) maten voor effectgrootte ontwikkeld. Cohen s d en Hedges g zijn gerelateerd aan de (punt-biseriële) correlatie; maten voor effectgrootte in meer complexere situaties zijn varianten op het kwadraat van de correlatie ( r ), c.q. de VAF. Op de momenten in dit blok waar we dit soort situaties behandelen zullen we hier aandacht aan besteden. Vuistregels en richtlijnen Het gebruik van alternatieve maten voor effectgrootte kent helaas hetzelfde probleem als we bij de interpretatie van de correlatie en het kwadraat van de correlatie signaleerden. Het blijft moeilijk om de waarde van een effectmaat te beoordelen en te besluiten of sprake is van een klein of een groot effect. Daarom worden in de praktijk vuistregels gehanteerd die grotendeels ontleend zijn aan het werk van Cohen (1988). De tabel op de volgende pagina geeft vuistregels voor het beoordelen van de meeste effectmaten die in dit werkboekhoofdstuk zijn behandeld. 53

62 AANVULLENDE TEKSTEN Let op! Het zijn vuistregels, dus gebruik ze als globale richtlijnen. Interpretatie Effectmaat Small Medium Large Cohen s d Hedges g r pb r/ r s /φ r pb r / r s / φ Onderlinge relaties en Het Algemeen Principe We nemen als uitgangspunt het experiment met twee groepen (condities) en één afhankelijke variabele. Het effect in een dergelijke situatie kan worden uitgedrukt met een punt-biseriële correlatie (r pb ), waarna de significantie van deze correlatie kan worden getoetst met de daarvoor geschikte t-toets. Voor het goede begrip is het belangrijk te bedenken dat de geschetste situatie zich ook laat bekijken als de vraag in hoeverre twee groepen verschillen op een afhankelijke variabele, zeg maar als gevolg van het effect van de onafhankelijke variabele. Deze vraag, meer precies, in hoeverre twee groepen gemiddeld verschillen op een afhankelijke variabele, hebben we in het blok Toetsende Statistiek leren beantwoorden met de t-toets voor onafhankelijke steekproeven. Daarom geldt tussen r pb en de t-toets voor onafhankelijke steekproeven de relatie r effect =r pb = t indep t indep +df waarbij tindepde t-waarde is van de t-toets voor het verschil tussen de gemiddelden in de twee groepen en df het aantal vrijheidsgraden van deze toets (df = n ; n is het totaal aantal observaties in beide groepen samen). Indien we dezelfde situatie kunnen bekijken met de punt-biseriële correlatie (r pb ) en met de t-toets voor het verschil tussen de gemiddelden in twee onafhankelijke steekproeven, moet er ook een relatie zijn tussen deze t- toets en de t-toets voor het toetsen van de significantie van de (punt-biseriële) correlatie. Dat blijkt ook zo te zijn. Er geldt t indep = r pb n 1 r pb =t rpb 54

63 AANVULLENDE TEKSTEN waaruit blijkt dat de t-toets voor het verschil tussen de gemiddelden in twee onafhankelijke steekproeven precies gelijk is aan de t-toets voor het toetsen van de significantie van de (punt-biseriële) correlatie. De twee alternatieve maten voor effectgrootte hebben als doel om de grootte van een effect zo weer te geven dat die niet afhankelijk is van de grootte van de steekproef. Dit blijkt ook duidelijk uit de manier waarop ze gedefinieerd zijn. In de bovenstaande formules van Cohen s d en Hedges g ontbreekt de steekproefgrootte n. Zowel in de t-toets voor de significantie van de (punt-biseriële) correlatie die met het effect correspondeert, als in de t-toets voor het verschil tussen gemiddelden in de twee onafhankelijke steekproeven (want deze twee t-toetsen zijn identiek, zie boven), speelt de steekproefgrootte n wel een belangrijke rol. Dit is duidelijk zichtbaar in de onderlinge relatie t r pb = t indep = s p y 1 y y1 y n1n = 1 1 s p n1 + n + n n 1 waarbij t indep, de t-toets voor het verschil tussen gemiddelden in de twee onafhankelijke steekproeven, de gepoolde versie is van deze t-toets (we nemen dus aan dat in beide groepen de standaarddeviatie van de scores gelijk is). Deze t-toets maakt dus gebruik van s p, de gepoolde standaarddeviatie van de scores. n 1 en n zijn het aantal observaties in beide groepen. Door de gepoolde versie van deze t-toets te gebruiken komen we in het tweede deel van bovenstaande vergelijking uit bij Hedges g. We kunnen dit deel ook schrijven als t r pb = t indep y1 y = s p n1n n + n 1 = [ Hedges g] n1n n + n 1 Deze relatie toont het algemene principe: de effectgrootte wordt weergegeven onafhankelijk van de grootte van de steekproef of het aantal proefpersonen in het experiment. Algemeen opgeschreven geldt [ Toetsstatistiek]= [ Maat voor Effectgrootte] [ Functie van Steekproefgrootte n] De toetsstatistiek valt dus uiteen in een deel dat de grootte van het effect aangeeft, en een deel dat afhankelijk is van n, mooier gezegd van een kenmerk van het design van het onderzoek of experiment, namelijk de steekproefgrootte of het aantal proefpersonen. De toetsstatistiek zelf heeft betrekking op de toets voor de significantie van de correlatie die met het effect correspondeert. We illustreren het algemene principe tenslotte nog voor de situatie waarbij een dichotome, onafhankelijke variabelen effect heeft op een 55

64 AANVULLENDE TEKSTEN dichotome afhankelijke variabele. Bijvoorbeeld een experiment met twee groepen, waarbij de experimentele groep een drug krijgt en de controlegroep een placebo, en men na verloop van tijd meet of de pupillen van de proefpersoon wel of niet verwijd zijn. De relevante maat voor samenhang tussen oorzaak- en gevolgvariabele is in deze situatie de phi-coëfficiënt (φ). De significantie van φ kan worden getoetst met een t-toets voor correlaties, maar omdat de gegevens ook in een x kruistabel kunnen worden weergegeven, ook door de onafhankelijkheid van beide variabelen te toetsen, ofwel door het toetsen van de (nul)hypothese H 0 : χ = 0 (zie ook aanvullende tekst 1). Het bovenstaande algemeen principe wordt nu ook zichtbaar in een relatie tussen toetsstatistiek, effectgrootte en n, bij het gebruik van een (variant van) de gekwadrateerde correlatie (φ ) als maat voor effectgrootte. Er geldt namelijk (zie nogmaals aanvullende tekst 1): X = φ n Literatuur Cohen, J. (1988). Statistical power analysis for the behavioral sciences (nd ed.). Hillsdale, NJ: Lawrence Earlbaum Associates. 56

65 AANVULLENDE TEKSTEN 3. Effectgrootte bij regressie-analyse (Deze aanvullende tekst hoort bij de stof en opgaven van week en 3) Enkelvoudige regressie-analyse Regressie-analyse vertegenwoordigt een model waarbij de response variabele Y voorspeld wordt uit de onafhankelijke variabele X. Dat kan doordat er samenhang is tussen X en Y, uitgedrukt in de correlatie. We kunnen ook stellen dat de variabele X effect heeft op de variabele Y en ons afvragen wat de grootte van het effect is. Doorgaans wordt bij regressie-analyse de effectgrootte aangegeven met het kwadraat van de correlatie, of een maat die hiervan afgeleid is. Het is gebruikelijk om r in deze situatie aan te geven met R. Meervoudige regressie-analyse Evenals we bij enkelvoudige regressie opmerkten vertegenwoordigt meervoudige regressie-analyse een model waarbij de response/afhankelijke variabele (Y) voorspeld wordt uit een aantal predictorvariabelen ( X 1, X, X 3, etc.). Dat kan doordat er samenhang is tussen de predictorvariabelen X en de response variabele Y. Bij meervoudige regressie wordt deze samenhang uitgedrukt in de multipele correlatie R. We kunnen ook hier stellen dat de predictorvariabelen X effect hebben op de variabele Y en ons afvragen wat de grootte van het effect is. Doorgaans wordt bij multipele regressie-analyse de effectgrootte aangegeven met het kwadraat van de multipele correlatie R, of de hiervan afgeleide maat R adj. R adj is altijd kleiner dan R en geeft een betere voorspelling van de populatiewaarde van R. Men berekent R adj door R aan te passen (= adjust) voor de steekproefgrootte n en het aantal predictoren p. n 1 R adj = 1 (1 R ). n p 1 Voor een grote n of een R dicht bij 1 is de aanpassing in het algemeen gering, maar wanneer n klein is of n en p van vergelijkbare grootte zijn, kan de aanpassing aanzienlijk worden. De formule is een benadering en kan negatieve waarden opleveren, wat betekent dat de combinatie van n en p ongunstig is: er zijn teveel predictoren in het model en te weinig observaties om deze predictoren goed te kunnen schatten. 57

66 AANVULLENDE TEKSTEN 4. Experimentele controle (Deze aanvullende tekst hoort bij de stof en opgaven van week 4) Het vaststellen van een causaal verband is vaak moeilijk, omdat er variabelen kunnen zijn die de correlatie tussen oorzaak en gevolg (deels) verklaren omdat ze met beide samenhangen. Dat kan ofwel doordat ze een alternatieve verklaring bieden voor het verband, ofwel doordat ze het verband onzichtbaar maken of zelfs omkeren (vergelijk Simpson's paradox; MM&C, Par..5, p.144). Zulke variabelen worden ook wel verscholen variabelen genoemd. Het experiment is de meest effectieve wijze om de invloed van de verscholen variabelen onder controle te krijgen. Daarvoor zijn verschillende middelen beschikbaar: randomizatie, matching, repeated measurement, blocking, constant houden en statistische controle. In MM&C en Leary zijn deze middelen op verschillende plaatsen te vinden en sommige niet; bovendien zijn er een paar verwarrende terminologieverschillen tussen de teksten, dus we zetten ze hier even op een rijtje. Randomisatie Random toewijzing van individuen aan condities houdt in dat we het toeval laten beslissen wie in welke conditie wordt onderzocht. Tegenwoordig gebeurt dat meestal met behulp van computerprogramma s die random getallen genereren. Deze procedure leidt in theorie tot vergelijkbare groepen. Een gevaar van randomisatie is dat de toewijzing aan condities door het toeval verkeerd uit kan pakken. De groepen kunnen daardoor verschillen op een belangrijke variabele. Als we dat willen voorkomen, zullen we een andere vorm van controle moeten toepassen. Blocking Blocking houdt in dat we even grote groepen personen nemen (bijv. mannen en vrouwen), die we vervolgens at random en in gelijke aantallen over de condities. Dit is verstandig als we van een variabele denken dat die veel invloed zal hebben op de afhankelijke variable. We willen de controle van zo'n variabele liever niet aan randomisatie overlaten. Zo n variabele wordt blokvariabele genoemd. Leary behandelt dit als een apart onderwerp, namelijk het opnemen van een subject variable in het ontwerp, dat daardoor een mengvorm wordt van correlationeel en observationeel onderzoek (expericorr). 58

67 AANVULLENDE TEKSTEN Matching Matching betekent dat we bij elk individu een in een bepaald opzicht gelijk of vergelijkbaar individu zoeken. Dit heeft tot doel de verschillende experimentele groepen zo vergelijkbaar mogelijk te maken wat betreft de mogelijk verstorende variabelen. Als we matchen op sekse en leeftijd en we hebben in onze steekproef een vrouw van 34, dan zoeken we een tweede vrouw van 34 (een match van die eerste persoon) en observeren die in conditie. Als er meer dan twee condities zijn, kunnen ook groepjes worden gemaakt van drie, vier, etc. gelijke personen (even veel als er condities zijn). Vervolgens worden die personen at random verdeeld over de condities. NB. Leary noemt dit matched random toewijzing en gebruikt voor de groepjes gelijke personen de ongelukkige term block. MM&C noemen dit matched pairs (maar het kunnen dus ook drie- of meertallen zijn). Repeated measurement (RM) Repeated measurement houdt in dat we elk individu in alle condities observeren. Een RM-ontwerp wordt ook wel een binnen proefpersonen (within subjects) ontwerp genoemd, omdat de condities binnen de individuen met elkaar worden vergeleken. Een experiment waarbij we de individuen at random over de condities verdelen (en we dus iedere conditie andere individuen observeren) heet ook wel tussen proefpersonen (between subjects) ontwerpen). MM&C noemen dit een gebruikelijke vorm van matching aangezien de groepen dan perfect gematcht zijn: ze bestaan namelijk uit precies dezelfde personen. We zouden kunnen zeggen dat iedere persoon in een RM-ontwerp met zichzelf gematcht wordt. Constant houden Constant houden spreekt bijna voor zichzelf. Allerlei omstandigheden in een experiment (de omgeving, de instructies die de proefleider geeft, de manier waarop wordt gemeten etc.) houden we zorgvuldig hetzelfde bij alle proefpersonen. Op die manier ontstaat er niet per ongeluk variatie die mogelijk de resultaten beïnvloedt. Tegenwoordig biedt de computer onderzoekers de mogelijkheid om zowel de instructies als het experiment volledig te standaardiseren. Statistische controle Statistische controle werkt doordat we een bepaalde variabele meten en in de analyse ons resultaat corrigeren met behulp van die gegevens. Er zijn twee vormen. Ten eerste kan het gaan om meting van een mogelijk verstorende variabele (bedreiger). We kunnen de invloed van die variabele op de 59

68 AANVULLENDE TEKSTEN afhankelijke variabele berekenen en vervolgens corrigeren voor dat effect. Ten tweede kunnen we ook een voormeting (pretest) doen. Nu meten we de afhankelijke variabele (en niet een bedreiger) voorafgaande aan het experiment. Ook die informatie kunnen we gebruiken om onze resultaten te corrigeren voor eventuele verschillen die al voor de experimentele ingreep bestonden. Door voor- en nameting door de scores op beide metingen van elkaar af te trekken, kunnen we precies zien welke veranderingen zich in iedere groep hebben voorgedaan. Als we een verwachten dat een bepaalde interventie leidt tot een hogere score op een meetinstrument, verwachten we in de experimentele groep een grotere toename te zien dan in de controlegroep. We corrigeren de score op de nameting voor de score op de voormeting. 60

69 AANVULLENDE TEKSTEN 5. Bedreigers van de validiteit van onderzoek (Deze aanvullende tekst hoort bij de stof en opgaven van week 5) In onderzoek kunnen allerlei variabelen op een of andere wijze invloed hebben op de afhankelijke variabele. Elke variabele die samenhangt met de onafhankelijke én de afhankelijke variabele kan tot verkeerde conclusies leiden, doordat we concluderen dat de experimentele variabele effect heeft, terwijl dat niet het geval is. Het omgekeerde kan echter ook optreden: het is mogelijk dat het effect van onze experimentele variabele wordt onderdrukt door de doorkruisende rol die zo n derde variabele speelt. Een voorbeeld daarvan hebben we gezien in opdracht 4.3.h. Doordat alle mannen in de experimentele, en alle vrouwen in de controlegroep zaten, en doordat vrouwen een grotere afkeer van geweld hebben, leek het daar alsof de experimentele conditie leidde tot minder afkeer van geweld, in plaats van meer. Een paar specifieke bedreigers van de validiteit van onderzoek worden door Leary op diverse plaatsen besproken. Deze bedreigers spelen niet alleen in het experiment maar ook in het quasi-experiment (en sommige ook in correlationeel onderzoek) een rol. We geven kort een overzicht van deze bedreigers met enige aanscherping ten opzichte van de bespreking door Leary. Testing Wanneer we een voormeting doen, kan deze invloed hebben op de afhankelijke variabele. Een voor de hand liggend voorbeeld is wanneer de afhankelijke variabele een houding is, bijvoorbeeld de houding ten aanzien van geweld. Als we een voormeting doen, vragen we proefpersonen naar hun mening over geweld. Daardoor worden ze mogelijk aan het denken gezet en als gevolg daarvan kan hun houding veranderen, een verandering die we dan mogelijk ten onrechte aan de experimentele ingreep zouden toeschrijven. Deze bedreiger wordt door Leary niet duidelijk onderscheiden van de volgende. Sensitization Dit is een bedreiger die ook het gevolg is van het doen van een voormeting. Nu gaat het er echter om dat de voormeting in combinatie met de experimentele ingreep effect heeft, een zogenaamd interactie-effect. We noemen deze bedreiger ook: interactie van testen met ingreep (testing x treatment interaction). Wederom is een afhankelijke variabele houding een goed voorbeeld. Het is mogelijk dat de gruwelijke oorlogsfilm alleen effectief is als de proefpersonen eerst door de voormeting ontvankelijk zijn gemaakt. De houding-voormeting brengt ze bijvoorbeeld aan het twijfelen over wat ze nu 61

70 AANVULLENDE TEKSTEN eigenlijk denken en maakt ze daardoor ontvankelijk voor de experimentele ingreep. Of het zou zo kunnen zijn dat ze zonder die voormeting gewoon van een spannende film zouden genieten, terwijl het met voormeting in een bepaalde context wordt geplaatst: het gaat hier kennelijk om wat ik over geweld denk. De experimentele ingreep heeft in dit geval dus wel effect, maar zou geen effect hebben als de voormeting er niet was geweest en is dus niet generaliseerbaar naar een (niet voorgemeten) grotere populatie. Vertoning van de gruwelijke oorlogsfilm op televisie zou geen effect hebben omdat men het alleen als entertainment zou zien. Dit is in dit lijstje de enige bedreiger van de externe validiteit. History en maturation Tussen voor- en nameting kunnen er met de proefpersonen een heleboel dingen gebeuren, die niets met de experimentele ingreep te maken hebben. Deze gebeurtenissen worden verdeeld in twee categorieën. Ten eerste zijn er de gebeurtenissen van buitenaf, zoals een televisieprogramma of een actuele gebeurtenis. Dergelijke gebeurtenissen, die in het algemeen plotseling zijn, noemen we history. Ten tweede zijn er ook binnen de proefpersonen factoren werkzaam zijn die een verandering op de afhankelijke variabele bewerkstelligen; men wordt ouder, leert, ontwikkelt zich enzovoorts. Deze processen, die meestal een geleidelijk verloop hebben duiden we aan met maturation (rijping). Local history Net als sensitisatie is dit een interactie-effect namelijk de interactie van selectie met historie. Het treedt op als in een bepaalde groep een gebeurtenis optreedt die niet in een andere groep optreedt. Ook hier is Leary niet altijd scherp in het onderscheiden van de simpele history factor van het interactieeffect. Instrumentatie Deze bedreiger wordt door Leary niet genoemd. Problemen met het meetinstrument kunnen op verschillende manieren de interne validiteit bedreigen: - Deterioration: de kwaliteit van een meetinstrument kan afnemen. Een voorbeeld hiervan is de verminderde (of veranderde) kwaliteit van een IQtest als mensen zich gericht op de test gaan voorbereiden. - Plafond en vloer-effecten zijn beperkingen die het gevolg zijn van de vraagformat en/of de antwoordschaal. Als een houdingstest had bestaan uit de vraag: bent u voor of tegen geweld? met antwoordopties: 6

71 AANVULLENDE TEKSTEN voor/tegen, dan zouden we nooit een verandering in houding aan kunnen tonen. - Regressie naar het gemiddelde: Als we (met een niet volstrekt betrouwbaar instrument) extreme groepen meten, is de kans groot dat ze op een tweede meting minder extreem zullen scoren. Selectie Als om een of andere reden de groepen die we met elkaar vergelijken systematische verschillen vertonen (als de ene groep intelligenter, of progressiever is, of meer vrouwen bevat dan de andere) kan een verschil tussen experimentele en controlegroep veroorzaakt zijn door die verschillen, en niet door de experimentele ingreep. Ook kan het effect afwezig lijken terwijl het er wel is (als de controlegroep slimmer is dan de experimentele bijvoorbeeld). De controles uit de Opdrachten 4.3 t/m 4.7 hadden allemaal betrekking op selectie. Uitval Vooral in experimenten die lange tijd in beslag nemen, maar ook in experimenten die erg bezwarend zijn voor de proefpersonen, kan uitval, dat wil zeggen het verdwijnen van proefpersonen een probleem vormen. Dat kan zijn omdat we een voor- en nameting vergelijken (terwijl intussen de groepen veranderd zijn) of als uitval in de experimentele groep een ander patroon volgt dan in de controlegroep (interactie met selectie). 63

72 AANVULLENDE TEKSTEN 6. Effectparameters bij eenweg variantie-analyse (Deze aanvullende tekst hoort bij de stof en opgaven van week 6) MM&C (p. 61) geven voor een experiment met 1 onafhankelijke variabele het volgende model: X ij = µ i +ε ij waarbij X ij de score van de j de persoon in de i de conditie is, µ i het effect van de i de conditie is, en ε ij de fout voor deze persoon, ofwel hoeveel zijn/haar score afwijkt van het gemiddelde in die conditie. Bij MM&C zijn de effecten µ i dus de gemiddelden in de betreffende conditie. Gebruikelijker is echter om het effect in twee stukjes te splitsen: het effect voor iedereen (dus over alle verschillende condities heen) en iets wat daarbij komt: het effect van deze conditie. Dan wordt het model: X ij = µ +α i +ε ij De zogenaamde effectparameters α i geven aan hoeveel men in een bepaalde conditie meer (of minder als ze negatief zijn) scoort dan gemiddeld (over alle condities). MM&C geven met µ i dus µ + α i aan. Deze verfijning van notatie loopt vooruit op het geval dat we meer dan één onafhankelijke variabele hebben. Dan is de versimpelde notatie van MM&C niet meer bruikbaar. Schatten van groot gemiddelde (µ ) Het grote gemiddelde µ (Leary, p. 54, noemt dit de grand mean, GM) wordt geschat met het steekproefgemiddelde uitgerekend over alle observaties (proefpersoonscores) verzameld in het experiment. Dus: µˆ = x = x. ij Schatten van effectparameters ( α i ) i De α i worden geschat door het gemiddelde in een conditie te vergelijken met het groot gemiddelde µ, en wel door ze van elkaar af te trekken. Stel: onafhankelijke variabele A heeft 3 condities en we geven de corresponderende conditiegemiddelden aan met x A1, x A en x A3. Het conditiegemiddelde x A1, bijvoorbeeld, is dus het gemiddelde van de scores van alle proefpersonen die in conditie A1 zitten. De hoofdeffecten van A worden nu geschat als: ) α 1 = x A1 x, ) α = x A x en ) α 3 = x A3 x. 64

73 AANVULLENDE TEKSTEN Berekening van de kwadratensom: SSG De effectparameters geven de spreiding van de groepen rond het groot gemiddelde aan. Als we deze kwadrateren, vermenigvuldigen met het aantal proefpersonen in iedere conditie van A (n i ) en bij elkaar optellen krijgen we de kwadratensom voor de groepen: SSG = i n i ˆα i Berekening van de kwadratensom: SSE De SSE geeft de spreiding van een observatie rond de conditiegemiddelden weer (zie MM&C, p. 613). Deze kan eenvoudig berekend worden door gebruik te maken van het aantal proefpersonen in iedere conditie (n i ) en de varianties van elke conditie: SSE = ( i n i 1) s i 65

74 AANVULLENDE TEKSTEN 7. Multipele vergelijkingen (Deze aanvullende tekst hoort bij de stof en opgaven van week 6) De Bonferroni methode De Bonferroni methode zegt: wanneer men bij het onderling vergelijken van een aantal gemiddelden k toetsen uitvoert, gebruik dan per toets een α gelijk aan de gangbare α (=.05) gedeeld door k. Deze (Bonferroni-)correctie heeft als resultaat dat de familie-gewijze α van de totale toetsprocedure wordt gecorrigeerd tot de gebruikelijke waarde. Minimum Significant Difference-methode (MSD) Veel computerprogramma s geven bij de resultaten van multiple comparisons procedures het kleinste verschil tussen twee gemiddelden dat nog statistisch significant is. Dit verschil heet de Minimum Significant Difference (MSD). Elk tweetal steekproefgemiddelden (=conditiegemiddelden) dat meer verschilt dan de MSD, verschilt significant van elkaar, en de conclusie is dat de corresponderende populatiegemiddelden dan significant van elkaar verschillen. De MSD wordt gegeven door: MSD =t ** s p 1 n i + 1 n j waarbij t** de kritische t-waarde is die het resultaat is van de Bonferroni methode (NB. Neem altijd de positieve versie van t**). Het gebruik van de MSD levert een manier om onderlinge verschillen tussen conditiegemiddelden te toetsen die veel sneller is dan het steeds paarsgewijs uitvoeren van een reeks t- toetsen (met een Bonferroni-gecorrigeerde α). Let er wel op dat het gebruik van de MSD voor het in één keer beoordelen van de significantie van alle onderlinge verschillen feitelijk impliceert dat de groepsgrootte voor alle condities gelijk is (per tweetal condities in de formule weergegeven met n i, respectievelijk n j ). Indien dit niet het geval is, heeft het uitrekenen van de MSD geen meerwaarde in vergelijking met het uitvoeren van de afzonderlijke t- toetsen (met een Bonferroni-gecorrigeerde α). Zie MM&C p voor de berekening van en uitleg over s p. 66

75 AANVULLENDE TEKSTEN 8. Verklaarde variantie en effectgrootte in eenweg variantie-analyse (Deze aanvullende tekst hoort bij de stof en opgaven van week 6) In aanvullende tekst leerden we maten voor effectgrootte kennen en gebruiken voor situaties waarin de onafhankelijke (oorzaak-) variabele dichotoom is: het ging steeds over de vergelijking tussen twee groepen. Een experiment met drie of meer groepen is een complexere situatie waarvoor andere maten voor effectgrootte zijn ontwikkeld. Al deze maten zijn varianten op r, maar dan op de daarmee in het algemeen aangeduide Variance Accounted For (VAF) of proportie verklaarde variantie of de Coefficient of Determination (COD), soms ook algemeen aangeduid als R. Men vindt dergelijke maten in de literatuur ook onder de naam maten voor associatiesterkte of Proportionate Reduction in Error (PRE) maten. Bij een situatie waarin de onafhankelijke (oorzaak-) variabele drie of meer waarden heeft (drie of meer groepen aangeeft) is sprake van het effect van een nominale onafhankelijke variabele op een afhankelijke variabele van interval niveau. Voor een dergelijke situatie bestaat geen variant van de correlatie die de samenhang aangeeft tussen onafhankelijke en afhankelijke variabele en correspondeert met het effect. Wel kan uit de ANOVA tabel de proportie verklaarde variantie worden berekend, ofwel de waarde van r, meestal in deze context aangeduid met R. Dat betekent dat r bestaat, maar dat de wortel van r niet kan worden opgevat als r (deze waarde kan wel worden uitgerekend, maar zegt feitelijk niets). We behandelen de volgende maten voor effectgrootte in de context van eenweg variantie-analyse: R, η (eta ) en ) ω (estimated omega ). De maat R is eenvoudigweg de proportie verklaarde variantie bij eenweg variantie-analyse; de maat η staat voor precies hetzelfde, maar de term η is meer geëigend in de context van variantie-analyse. Er geldt R =VAF =COD = η = SSG SST De maat η is gebaseerd op de steekproefgegevens en zal over het algemeen de ware waarde van de effectgrootte in de populatie overschatten. Daarom ) werd de ω ontwikkeld. Deze maat geeft een betere schatting van de effectgrootte in de populatie en is gedefinieerd als ) ω = SSG DFG MSE ( ) SST +MSE 67

76 AANVULLENDE TEKSTEN ) Het verschil tussen η en ω bij eenweg variantie-analyse, kan worden vergeleken met het verschil tussen R en R adj bij multipele regressie-analyse. Bij multipele regressie-analyse geeft R adj ook een betere schatting van de effectgrootte in de populatie dan R, het kwadraat van de multipele correlatie in de steekproef. Van η bestaat een gecorrigeerde versie onder de naam η partial. Deze maat houdt ook rekening met dat deel van de data dat door het (complete) model onverklaard wordt gelaten. Voor eenweg variantie-analyse komen η en η partial echter overeen en geldt dat η = η partial. Bij tweeweg variantie-analyse (week 7) verschillen ze wel en zullen we beide versies behandelen. Bedenk tenslotte nog dat in het bijzondere geval waarvan steeds werd uitgegaan in de tweede aanvullende tekst van dit werkboek, de vergelijking van twee groepen, ofwel een eenweg variantie-analyse met DFG = 1, de puntbiseriële correlatie van toepassing is. Er geldt in dat geval dat r pb = η = η partial. Voor de beoordeling van effectgroottes aangegeven met R, η, η partial en ) ω gelden de zelfde vuistregels en richtlijnen als voor de beoordeling van effectgrootte aangegeven met r pb (zie de tabel in aanvullende tekst van dit werkboek). We vatten ze hier nog even samen: Interpretatie Effectmaat Small Medium Large R, η, η partial, ) ω r pb 68

77 9. Effectparameters bij tweeweg variantie-analyse (Deze aanvullende tekst hoort bij de stof en opgaven van week 7) AANVULLENDE TEKSTEN Het lineaire model voor de populatie van een tweeweg variantie-analyse kunnen we schrijven als: X ijk = µ +α i + β j +αβ ij +ε ijk waarbij X ijk de score is van de k de persoon in de combinatie van de i de conditie van de ene onafhankelijke variabele met de j de conditie van de andere onafhankelijke variabele, µ het effect voor iedereen is, uitgedrukt in het grote gemiddelde, α i het effect is van conditie i van de ene onafhankelijke variabele (A), β j het effect is van conditie j van de andere onafhankelijke variable (B), αβ ij het interactie-effect is, dat wil zeggen: het gecombineerde effect van conditie i en conditie j bovenop het effect dat die condities op zich hebben, en ε ijk de fout is, datgene wat het k de individu (in de combinatie van conditie i van A met conditie j van B) afwijkt van wat hij, omdat hij in conditie i, respectievelijk j zit, verwacht wordt te scoren. Het schatten (uitrekenen) van de parameters in dit model gaat in principe op dezelfde manier als bij het lineaire model voor eenweg variantie-analyse (zie aanvullende tekst 6). Doordat er echter voor iedere onafhankelijke variabele één zogenaamd hoofdeffect is, uitgedrukt in α i en β j, èn een interactie-effect uitgedrukt in αβ ij, zijn de berekeningen wat gecompliceerder. We leggen de schatting van de parameters hieronder uit aan de hand van een voorbeeld met twee variabelen, A en B, met respectievelijk 3 en condities, en met 4 personen per cel. We noemen voor A het hoofdeffect α en voor B het hoofdeffect β. De interactie-effecten noemen we αβ. Schatten van groot gemiddelde (µ ) Het grote gemiddelde µ (Leary, p. 54, noemt dit de grand mean, GM) wordt geschat met het steekproefgemiddelde uitgerekend over alle observaties (proefpersoonscores) verzameld in het experiment. Dus: µˆ = x = x. ijk 69

78 AANVULLENDE TEKSTEN Schatten van de hoofdeffecten (α i en β j ) De hoofdeffecten worden geschat door steeds het grote gemiddelde af te trekken van het betreffende conditiegemiddelde. Er zijn nu echter twee onafhankelijke variabelen die de condities bepalen. A heeft in het voorbeeld 3 condities en we geven de corresponderende conditiegemiddelden aan met x A1, x A en x A1. Het conditiegemiddelde x A1, bijvoorbeeld, is dus het gemiddelde van de scores van alle (= 8) proefpersonen die in conditie A1 zitten, ongeacht het feit dat deze personen over de (hier) condities van B zijn verdeeld. De hoofdeffecten van A worden nu geschat als: ) α 1 = x A1 x, ) α = x A x en ) α 3 = x A3 x Variabele B heeft condities met als conditiegemiddelden x B1 en x B. Op soortgelijke wijze geldt hier dat, bijvoorbeeld, het conditiegemiddelde x B1 gelijk is aan het gemiddelde van alle (= 1) proefpersonen die in conditie B1 zitten, ongeacht het feit dat deze personen over de (hier) 3 condities van A zijn verdeeld. De hoofdeffecten van B worden geschat als: ) β 1 = x B1 x en ) β = x B x Schatten van de interactie-effecten αβ ij De interactie-effecten geven het gecombineerde effect van twee condities (één van A en één van B) bovenop het effect dat die condities op zich al hebben. Dit komt tot uitdrukking in het verschil van een celgemiddelde (een cel is de combinatie van twee condities) met het grote gemiddelde en de rest van de effecten (een bepaald hoofdeffect van A en een bepaald hoofdeffect van B) die de proefpersonen in die cel reeds ondergaan. Er zijn 6 cellen in het voorbeeld. We geven de celgemiddelden aan met x A1B1, x AB1, x A3B1, x A1B, x AB en x A3B. De met de cellen corresponderende interactie-effecten worden aangegeven met αβ 11, αβ 1, αβ 31, αβ 1, αβ en αβ 3. De eerste index (i) geeft steeds aan welke conditie van A wordt bedoeld, de tweede index (j) doet hetzelfde voor de condities van B. De interactie-effecten worden nu geschat als: ) α ) β 11 = x A1B1 (x + ) α ) 1 + β 1 ), ) α ) β 1 = x AB1 (x + ) α ) + β 1 ), ) α ) β 31 = x A3B1 (x + ) α ) 3 + β 1 ), ) α ) β 1 = x A1B (x + ) α ) 1 + β ), ) α ) β = x AB (x + ) α ) + β ) en ) α ) β 3 = x A3B (x + ) α ) 3 + β ) 70

79 AANVULLENDE TEKSTEN Berekening van de verschillende kwadratensommen: SSA, SSB en SSAB De kwadratensommen voor de hoofdeffecten van A en B worden als volgt berekend. Als we het aantal proefpersonen in iedere conditie van A aangeven met n i kan de kwadratensom voor A worden berekend met SSA = i n i ˆ α i In het voorbeeld zitten in elke conditie van A 8 personen. De berekening van SSA wordt dan SSA = i n i ˆ α + 8 ˆ ˆ 1 8 ˆ i = α + α 8α 3 Als we het aantal proefpersonen in iedere conditie van B aangeven met n j kan de kwadratensom voor B worden berekend met SSB = j n j ˆβ j In het voorbeeld zitten in elke conditie van B 1 personen. De berekening van SSB wordt dan SSB = j n j ˆ β + ˆ ˆ j = 1β1 1β Voor de kwadratensom SSAB voor het interactie-effect van A en B wordt gekeken naar het aantal personen per cel (n ij ). De berekening van de SSAB is als volgt SSAB = ij n ij ˆβˆ α ij In het voorbeeld is er sprake van een gebalanceerd design; in elke cel van het ontwerp zitten steeds hetzelfde aantal (in dit geval 4) personen. Elk interactieeffect wordt dus vermenigvuldigd met 4. De berekening van SSAB wordt dan SSAB = ij n ij ˆ α ˆ β + 4 ˆ ˆ 11 4 ˆ ˆ ˆ ˆ 1 4 ˆ ˆ ˆ ˆ ˆ 4 ˆ ij = αβ + αβ + αβ + αβ + αβ αβ3 71

80 AANVULLENDE TEKSTEN 10. Verklaarde variantie en effectgrootte in tweeweg variantieanalyse (Deze aanvullende tekst hoort bij de stof en opgaven van week 7) Voor de effectgrootte voor een eenweg variantie-analyse introduceerden we de maten R, η, η partial en ) ω (zie aanvullende tekst 8). Deze maten worden ook gebruikt bij tweeweg variantie-analyse, maar omdat hierbij twee onafhankelijke variabelen en hun interactie een rol spelen is de situatie iets complexer. Doordat er meerdere oorzaak-variabelen zijn, zijn er ook meerdere effecten. Bij tweeweg variantie-analyse spreekt men ook expliciet over twee hoofdeffecten en een interactie-effect. Voor ieder van deze drie effecten kan een waarde voor η ), η partial of ω worden uitgerekend en er ontstaan verschillen tussen η en η partial. In tweeweg variantie-analyseproblemen zijn er twee onafhankelijke variabelen met ieder twee of meer waarden; twee nominale variabelen hebben effect op een afhankelijke variabele van interval niveau. Alleen indien één of beide onafhankelijke variabelen twee waarden heeft (dichotoom is), bestaat theoretisch een punt-biseriële correlatie die correspondeert met het effect op de afhankelijke variabele. Een dichotome, onafhankelijke variabele herkent men gelijk doordat DF = 1. In de overige gevallen is er geen variant van de correlatie voor handen om eventueel te gebruiken als maat voor effectgrootte en is men geheel aangewezen op de bovengenoemde effectmaten. De verdere theoretische achtergrond van de maten voor effectgrootte die bij variantie-analyse worden gebruikt werd reeds behandeld in Bijeenkomst 6, en in algemene termen in Bijeenkomst 1. We presenteren hieronder de definities en de bijzonderheden die nodig zijn voor een juist gebruik van deze maten. R en η zijn ook bij tweeweg variantie-analyse de maten die direct de proportie verklaarde variantie weergeven. Ook hier geldt dat in de context van variantie-analyse de term η meer geëigend is dan de term R. Omdat er bij tweeweg variantie-analyse meerdere effecten zijn, kan er per effect een η uitgerekend worden. Als we de Sum of Squares van een bepaald effect (A, B of AB ) aangeven met SS effect, dan geldt R =VAF =COD = η = SS effect SST De maat η partial is een gecorrigeerde η ; η partial vergelijkt dat deel van de data dat verklaard wordt met het effect (de SS effect ), als ratio van dat deel dat 7

81 AANVULLENDE TEKSTEN verklaard wordt samen met dat deel van de data dat door het complete model onverklaard wordt gelaten (de SSE). Voor ieder effect geldt dat η partial = SS effect SS effect +SSE Zoals opgemerkt in aanvullende tekst 8, is bij eenweg varantie-analyse η partial gelijk aan η. In eenweg varantie-analyse is SSG maar op één effect gebaseerd, dus geldt SS effect = SSG,. Er geldt dan η partial = SS effect SS effect +SSE = SSG SSG +SSE = SSG SST = η η is gebaseerd op de steekproefgegevens en zal over het algemeen de ware waarde van de effectgrootte in de populatie overschatten. ) ω werd ontwikkeld om een betere schatting van de effectgrootte in de populatie te geven. Bij tweeweg variantie-analyse geldt dat voor ieder effect een η kan worden uitgerekend, en dus kan ook voor ieder effect een ) ω worden uitgerekend.: ( ) ) ω = SS effect DF effect MSE SST +MSE Een extra toelichting op de partial versie van η is op zijn plaats. Veronderstel men heeft η uitgerekend voor de onafhankelijke variabele A in een experiment met twee factoren (A en B) en vervolgens besluit men het experiment te herhalen maar dan uitgebreid met nog een onafhankelijke factor C. Wat is het resultaat als men hierna opnieuw η berekent voor factor A? In het algemeen zal het zo zijn dat de waarde voor η voor een bepaald effect kleiner worden als er factoren worden toegevoegd in een experiment. Dit komt doordat het toevoegen van oorzaak-factoren dan de totale geobserveerde variantie van de afhankelijke variabele, ofwel de SST, vergroot. Als de SS effect van een bepaalde factor ongeveer gelijk blijft, maar de SST neemt toe, wordt η kleiner. In situaties waarin men de grootte van het effect van een zelfde factor wil vergelijken tussen verschillende experimenten met wisselende aantallen factoren is dit niet gewenst. De partial versie van η is hier beter voor geschikt en dit verklaart waarom η partial de default effectmaat is bij variantie-analyse in SPSS. Daarnaast is de waarde van η partial voor een factor in een twee- of meerweg variantie-analyse ook altijd hoger dan die van η, omdat in een dergelijke situatie SS effect + SSE altijd kleiner is dan SST. Voor ) ω geldt overigens een soortgelijke redenering als hierboven beschreven, en ook van ) ω werd een partial versie ontwikkeld. Deze maat treft men in de praktijk echter zelden aan en wordt daarom hier niet behandeld. 73

82 AANVULLENDE TEKSTEN 11. Tussen-personen en binnenpersonen onderzoeksontwerpen (Deze aanvullende tekst hoort bij de stof en opgaven van week 7) De conclusie in een experiment is altijd gebaseerd op de vergelijking van de gemiddelde scores in verschillende condities. Er zijn in principe twee manieren waarop zo n vergelijking kan worden gemaakt: 1. Verschillende groepen proefpersonen zijn in de verschillende condities van de onafhankelijke variabele(n) geobserveerd. De vergelijking is dus een vergelijking tussen verschillende groepen. Deze opzet wordt daarom een tussen-personen ontwerp genoemd. In SPSS wordt het aangeduid als een independent samples analyse (vergelijk de independent samples t-test). De simpelste vorm hiervan is het control group design (vergelijk Bijeenkomst 5).. Dezelfde groep proefpersonen wordt in alle condities geobserveerd. De vergelijking is dan een vergelijking binnen een groep; dit wordt daarom een binnen-personen ontwerp genoemd. SPSS duidt het aan met de term repeated measurements (zie ook MM&C, p. 694). De simpelste vorm hiervan is het one group pre-test posttest design. Het is ook mogelijk dat beide vergelijkingsprincipes in één experiment voorkomen, het zogenaamde mixed design. Dit design blijft in deze cursus echter buiten beschouwing. Het verschil tussen de twee typen van ontwerp werd vroeger ook wel aangeduid als een completely randomized (tussen-personen) versus een randomized block (binnen-personen) ontwerp, maar deze termen zijn vaak heel verwarrend omdat 1. een tussen-personen ontwerp heel best een blok-variable (bijvoorbeeld sekse) kan bevatten en dan ook een randomized block design is; en. de blok -variabele in een binnen-personen ontwerp van een heel andere aard is dan een gewone blok-variable als sekse. In het binnen-personen ontwerp is de blok-variabele een variabele met als waarden de verschillende personen, en wordt met deze truuk de toevalsvariantie verkleind (en de power vergroot); inhoudelijk heeft die variabele echter geen enkele betekenis. In een gewoon blok-ontwerp is de blok-variabele juist wel inhoudelijk van belang. Het is de enige manier om persoonseigenschappen als variabele in een experiment op te nemen. 74

83 Multiple choice oefenvragen 75

84 76

85 MULTIPLE CHOICE OEFENVRAGEN De onderstaande multiple choice vragen geven een beeld van het soort vragen dat je op het tentamen kunt verwachten. Deze oefenvragen zullen tijdens de werkgroep worden gemaakt en besproken. Vragen over de stof van week 1 1. We onderzoeken of sekse te maken heeft met de resultaten bij het vak Aardrijkskunde. Bij 10 VWO-leerlingen (helft meisjes) wordt gevonden dat r = 0.4. De t-waarde en de Hedges g-waarde worden berekend. Wat is het juiste resultaat bij α =.05? A. t significant en g-effect niet groot B. t significant en g-effect groot C. t niet significant en g-effect niet groot D. t niet significant en g-effect groot. Het idee bestaat dat vrouwen minder drinken dan mannen. Er zijn 10 mannen en 10 vrouwen onderzocht en er is gemeten of ze meer dan glazen alcohol per dag drinken (veel) of minder (weinig). De χ en de φ worden bepaald. Wat is het juiste resultaat bij α =.05? Vrouw Man (X=0) (X=1) Weinig (Y=0) 6 3 Veel (Y=1) 4 7 A. χ significant en φ-effect niet groot B. χ significant en φ-effect groot C. χ niet significant en φ-effect niet groot D. χ niet significant en φ-effect groot 3. Welk criterium geldt niet voor causaal verband tussen twee variabelen? A. temporal-precedence rule B. covariation rule C. common respons rule D. internal validity rule 77

86 MULTIPLE CHOICE OEFENVRAGEN Vragen over de stof van week 4. Van een steekproef van 6 kinderen uit een VWO-klas zijn de cijfers genoteerd voor wiskunde (X) en Nederlands (Y). De onderzoeker denkt dat kinderen die beter zijn in wiskunde ook beter zijn in andere vakken bijv. Nederlands. De proportie verklaarde variantie is.64. De correlatie tussen X en Y wordt getoetst m.b.v. een t-toets. Wat is de t-waarde en is deze significant bij α=.05? A. t =1.67 en niet significant B. t =1.67 en significant C. t =.67 en niet significant D. t =.67 en significant 5. Bij een groot onderzoek is een correlatie gevonden tussen de variabelen X (kennis van Nederlands) en Y (salaris) van Daarnaast is bekend dat: x = y y = 3 ; s x = ; s = willen voorspellen? A. yˆ = x B. yˆ = x C. yˆ = x D. yˆ = x. Hoe ziet de regressievergelijking eruit als we Y uit X Vragen over de stof van week 3 Een onderzoeker wil het wiskundecijfer (Y) voorspellen uit de cijfers voor Engels ( X 1) en Nederlands ( X ).De onderzoeker verwacht een positief verband tussen W en E en N. Hij verzamelt van 10 kinderen uit een VWO-klas de cijfers voor deze vakken en voert een ANOVA uit. Die levert het onderstaande resultaat op: Unstandardized Coefficients Standardized Coefficients Model B Std. Error Beta t Sig. 1 (Constant) Eng Ned a. Dependent Variable: Wisk 78

87 MULTIPLE CHOICE OEFENVRAGEN ANOVA b Sum of Model Squares df Mean Square F Sig. 1 Regression Residual Total a. Predictors: (Constant), Ned, Eng b. Dependent Variable: Wisk 6. Zijn B1 en B significant bij α =.0? A. B1 en B zijn beide niet signifcant B. B1 wel, B niet C. B1 niet, B wel D. B1 en B zijn beide wel signifcant 7. Wat is het aantal vrijheidsgraden van de t-toets? A. 7 B. 8 C. 9 D Piet scoort voor E en N beide een 6, wat is de voorspelde waarde van Piet? A B C D Hoe groot is de proportie verklaarde variantie (VAF)? A B C D

88 MULTIPLE CHOICE OEFENVRAGEN Vragen over de stof van week Welke van de onderstaande onafhankelijke variabelen kunnen in een experiment niet gemanipuleerd worden? A. Proefpersoonfactoren B. Omgevingsfactoren C. Invasieve factoren (bijv. fysieke verandering) D. Instructies 11. Als in een experiment de afhankelijke variabele (Y) deels wordt verklaard uit de onafhankelijke variabele (X), kan de totale variantie van Y worden gesplitst in: A. treatment var + error var B. confound var + error var C. systematic var + between groups var D. systematic var + within groups var Vragen over de stof van week 5 1. Welk effect is geen bedreiger van de validiteit van een experimenteel onderzoek A. Testing B. Selection C. Randomisatie D. Uitval 13. In een pre-post control group design I R O 0 ---X---O 1 II R O O 1 kan men het gezamenlijke effect bepalen van: A. Testing + Sensitisation B. Testing + History/Maturation C. Treatment + Testing D. History/Maturation + Treatment 80

89 MULTIPLE CHOICE OEFENVRAGEN 14. Het volgende Solomon 4 groups design is gegeven: I R O 0 (3)-----X----- O 1 (10) II R O 0 (3) O 1 (7) III R X O 1 (5) IV R O 1 (4) Hoe groot is het sensitization effect (S)? A. 1 B. C. 3 D. 4 Vragen over de stof van week We onderzoeken de invloed van drie verschillende antipsychotica op mate van angst en vinden de volgende gemiddelden en standaarddeviaties in de drie condities: Cond xi s i ni Voer de ANOVA uit. Kan de H0 worden verworpen met α = 0.05? A. Nee, P > 0.05 B. Ja, 0.05 < P < 0.05 C. Ja, 0.01 < P < 0.05 D. Ja, P < Voor het uitvoeren van een variantieanalyse zijn er bepaalde voorwaarden. Wat zijn die voorwaarden? A. De binnengroepsvariantie mag niet te veel verschillen van de tussengroepsvariantie en de onafhankelijke variabele moet normaal verdeeld zijn. B. De binnengroepsvariantie mag niet te veel verschillen van de tussengroepsvariantie en de errortermen moeten normaal verdeeld zijn C. De varianties in de verschillende condities mogen niet teveel verschillen en de onafhankelijke variabele moet normaal verdeeld zijn. D. De varianties in de verschillende condities mogen niet te veel verschillen en de errortermen moeten normaal verdeeld zijn 81

90 MULTIPLE CHOICE OEFENVRAGEN Vragen over de stof van week Bezie de volgende twee stellingen: I. De power van contrasttoetsen is kleiner dan die van multiple vergelijkingen II. Bij contrasttoetsen moet eerst een ANOVA worden uitgevoerd (en een signicant resultaat opleveren); bij multiple vergelijkingen hoeft dat niet. Hier geldt: A. Beide stellingen zijn juist B. Alleen stelling I is juist C. Alleen stelling II is juist D. Beide stellingen zijn onjuist 18. We onderzoeken de invloed van drie verschillende antipsychotica op mate van angst. De mate van angst wordt gemeten met een vragenlijst, waarbij een hoge score duidt op veel angst. De onderzoeker vermoedt dat conditie A betere resultaten oplevert dan de andere condities. Daarnaast verwacht hij dat conditie B slechtere resultaten oplevert dan conditie C. Wat zijn de correcte alternatieve hypothesen bij deze vermoedens? A. Ψ B. C. D. Ψ Ψ Ψ = µ = µ A A = µ = µ µ µ A A B B µ µ µ µ B B C C µ µ < 0; enψ < 0; enψ C C < 0; enψ > 0; enψ = µ = µ B B = µ = µ µ µ B B C C µ µ > 0 < 0 C C > 0 < Gegeven zijn de resultaten van een x 3 factorieel experiment. De getallen zijn de gemiddelden in de betreffende (combinaties van) condities. SSE = 13.4; het aantal replicaties per cel is 5. B1 B B3 Gem. A A Gem

91 MULTIPLE CHOICE OEFENVRAGEN Voer een toets uit voor het hoofdeffect van B. Kan de H0 worden verworpen met α = 0.05? A. Nee, P > 0.05 B. Ja, 0.05 < P < 0.05 C. Ja, 0.01 < P < 0.05 D. Ja, P < Een onderzoek met een x3 factorieel design wordt uitgevoerd met in totaal 30 proefpersonen (5 per cel). Stel dat hetzelfde onderzoek zou worden uitgevoerd volgens een repeated measures design (dus met 5 ppn die in ieder van de 6 condities worden geobserveerd. Wat voor gevolg zou dit waarschijnlijk hebben voor de toets? A. De SST wordt groter, en het resultaat daarom minder snel significant. B. De SST wordt groter, en het resultaat daarom eerder significant. C. De SSE wordt kleiner en het resultaat daarom minder snel significant. D. De SSE wordt kleiner en het resultaat daarom eerder significant. 1. We willen de associatiesterkte tussen een factor met 3 categorieën en de responsevariabele kunnen vergelijken over een aantal onderzoeken waarin ook nog andere en per onderzoek verschillende factoren een rol spelen. Wat is hiervoor de meest geschikte maat? A. B. C. D. r r pearson pb η η partieel 83

92 MULTIPLE CHOICE OEFENVRAGEN 84

93 Tabellen 85

94 86

95 TABLE D t distribution critical values Tail probability p df z* % 60% 70% 80% 90% 95% 96% 98% 99% 99.5% 99.8% 99.9% Confidence Level C

96 TABLE F X distribution critical values Tail probability p df

97 TABLE E F critical values Degrees of freedom in the numerator DFD p Degrees of freedom in the denominator