College 4 Experimenteel Onderzoek en Experimentele Controle

Transcriptie

1 College 4 Experimenteel Onderzoek en Experimentele Controle - Leary: Hoofdstuk 9 en 10 - MM&C: Hoofdstuk 2.4 (p ), 2.6 en Aanvullende tekst 4 Jolien Pas ECO

2 Doel experimenteel onderzoek: Causaliteit vaststellen X Y Criteria voor causaliteit: Covariation Rule: twee variabelen moeten samenhangen Temporal Precedence Rule: oorzaak gaat vooraf aan gevolg Interne Validity Rule: alternatieve verklaringen uitsluiten 2

3 Het Experiment Doel: Causaal verband vastellen door te laten zien dat verandering in de onafhankelijke variabele direct verantwoordelijk is voor veranderingen in afhankelijke variabele Kenmerken van het experiment: - Manipulatie van onafhankelijke variabele(n) - (Random) toewijzing van proefpersonen aan condities - Experimentele controle van externe factoren (extraneous factors) 3

4 Onafhankelijke variabele(n) manipuleren Condities (levels of niveaus) opstellen in elke conditie een andere waarde op de onafhankelijke variabele Experimentele versus controle condities Soms kwantitatieve verschillen, soms kwalitatieve verschillen 3 typen onafhankelijke variabelen: - Omgevingsfactoren - Instructies - Invasieve factoren Bekijken of de manipulatie geslaagd is met behulp van pilot tests en manipulation checks 4

5 Onafhankelijke variabele(n) manipuleren Ook mogelijk om te kijken naar verschillen tussen proefpersonen die niet gemanipuleerd kunnen worden. Proefpersoonvariabelen (= subject variables) - Onafhankelijke variabelen - Manipulatie niet mogelijk - Kunnen wel oorzaak zijn (bijv. sekse, woonplaats, leeftijd) 5

6 Onafhankelijke variabele(n) manipuleren Directionality probleem opgelost. Een common response als alternatieve verklaring kan worden uitgesloten. Common response: Beide variabelen worden beïnvloed door een derde variabele. X Y Z Pijl = Causale relatie, Stippellijn = samenhang/correlatie 6

7 Het Experiment Doel: Causaal verband vastellen door te laten zien dat verandering in de onafhankelijke variabele direct verantwoordelijk is voor veranderingen in afhankelijke variabele Kenmerken van het experiment: - Manipulatie van onafhankelijke variabele(n) - (Random) toewijzing van proefpersonen aan condities - Experimentele controle van externe factoren (extraneous factors) 7

8 Toewijzing aan condities Proefpersonen toewijzen aan de verschillende condities. De groepen moeten echter wel vergelijkbaar zijn Between - subjects design (= randomized groups design): verschillende proefpersonen in de condities (dmv. randomisatie vergelijkbaar) Within - subjects design (= repeated measures design): iedere proefpersoon in alle condities Voordelen: groepen exact gelijk, meer power, minder proefpersonen nodig Nadeel: volgorde-effecten 8

9 Het Experiment Doel: Causaal verband vastellen door te laten zien dat verandering in de onafhankelijke variabele direct verantwoordelijk is voor veranderingen in afhankelijke variabele Kenmerken van het experiment: - Manipulatie van onafhankelijke variabele(n) - (Random) toewijzing van proefpersonen aan condities - Experimentele controle van externe factoren (extraneous factors) 9

10 Experimentele Controle Total = systematic + error Total Treatment Confound = + + Error Maximaliseren Treatment (Primary): Verschillen tussen personen uit verschillende condities door invloed van de onafhankelijke variabele 10

11 Experimentele Controle Total = systematic + error Total Treatment Confound = + + Error Confound (Secondary): Verschillen tussen personen door aanwezigheid van een confounding variabele. 11

12 Confounding X Y Z Pijl = Causale relatie, Stippellijn = samenhang/correlatie Confounding: De effecten van een onafhankelijke variabele en een lurking variable op de afhankelijke variabele kunnen niet van elkaar worden onderscheiden. 12

13 Experimentele Controle Total = systematic + error Total Treatment Confound = + + Error Elimineren Confound (Secondary): Verschillen tussen personen door aanwezigheid van een confounding variabele. 13

14 Experimentele Controle Total = systematic + error Total Treatment Confound = + + Error Error : Minimaliseren Verschillen tussen personen binnen dezelfde condities, door: individuele verschillen, tijdelijke toestanden (transient states), omgevingsfactoren, verschil in benadering proefpersonen, meetfouten. 14

15 Experimentele Controle Total = systematic + error Total Treatment Confound = + + Error Maximaliseren Elimineren Minimaliseren 15

16 Experimentele Controle Middelen voor experimentele controle: Randomisatie Matching Blocking Repeated Measures Constant houden Statistische controle 16

17 Bedreigers van Interne Validiteit Relevante bedreigers zijn o.a.: Selectie (assignment bias): ongelijke groepen kan het verschil veroorzaken Uitval (attrition): verschil in condities door uitval van proefpersonen Testing: het doen van een voormeting veroorzaakt verandering in scores op de nameting Sensitisatie: interactie voormeting x treatment proefpersonen worden extra gevoelig voor de treatment door de voormeting 17

18 Bedreigers van Interne Validiteit (vervolg) History: effect door gebeurtenissen buiten de proefpersonen Local History: effect door gebeurtenis van buitenaf in één van de groepen (maar niet de andere) Maturation: effect door veranderingen binnen de proefpersonen Instrumentatie: Effect door problemen met meetinstrumenten Diverse Design Confounds: bijv. verschillende benadering proefpersonen door onderzoeker 18

19 Invloed van verwachtingen Verwachtingen over het doel en resultaat van een experiment kunnen validiteitsproblemen geven: Experimenter Expectancy Effect Demand Characteristics Effectieve tegenmaatregel voor twee bovenstaande: double-blind procedure Placebo Effect 19

20 Validiteit Interne validiteit: Draait om het uitsluiten van alternatieve verklaringen Externe validiteit: De mate waarin we de resultaten uit het onderzoek kunnen generaliseren Experimenter s Dilemma: Hoe meer experimentele controle, hoe hoger de interne validiteit, maar hoe lager de externe validiteit, en omgekeerd dilemma voor onderzoeker 20

21 Volgende week Experimentele en quasi-experimentele proefopzetten - Leary Hoofdstuk 9, 10, 13 en 14 - Aanvullende tekst 5 21