College 5 Experimentele en Quasi- Experimentele Proefopzetten

Transcriptie

1 College 5 Experimentele en Quasi- Experimentele Proefopzetten - Leary Hoofdstuk 9, 10, 13 en 14 - Aanvullende tekst 5 Jolien Pas ECO

2 Het Experiment Doel: Causaal verband vastellen door te laten zien dat verandering in de onafhankelijke variabele direct verantwoordelijk is voor veranderingen in afhankelijke variabele Kenmerken van het experiment: - Manipulatie van onafhankelijke variabele(n) - (Random) toewijzing van proefpersonen aan condities - Experimentele controle van externe factoren (extraneous factors) 2

3 Soorten (experimenteel) onderzoek Experimental Research Echt experiment: voldoet aan alle kenmerken Blokdesign: mengvorm echt experiment + subject variabelen Quasi-Experimental Research Pre-experiment: geen (random) toewijzing, geen/gebrekkige controle Quasi-experiment: geen random toewijzing Time series design Niet-experimentele designs: geen manipulatie Single-Case Research Single-Case Experiment Case studies 3

4 Ontwerpen in experimenteel onderzoek: Terminologie Eenweg ontwerpen: 1 onafhankelijke variabele Meerweg (factoriële) ontwerpen: > 1 onafhankelijke variabelen - compleet gerandomiseerd: allemaal echte onafhankelijke variabelen - blokontwerp (expericorr): aanwezigheid van niet experimentele onafhankelijke variabelen Conclusie over samenhang X-Y/effect trekken: Pretest posttest design: Vergelijking van voor- en nameting. Posttest only design: Vergelijking van experimentele en controlegroep. 4

5 Experimentele Ontwerpen Posttest-Only Design I R X --- O 1 Gevaar: selectie bij ongelukkige randomisatie II R O 1 Pretest-Posttest Control Group Design I R O X --- O 1 Gevaar: local history, sensitizatie II R O O 1 Solomon 4 Group Design I R O X --- O 1 Grootte van history, maturation, testing en II R O O 1 sensitizatie effect kan worden geschat III R X --- O 1 IV R O 1 X = Treatment, O 0 = voormeting, O 1 = nameting, R = Randomisatie, NR = Niet Random 5

6 Solomon 4 Group Design I R O 0 (6) --- X --- O 1 (23) II R O 0 (7) O 1 (15) II R X --- O 1 (19) IV R O 1 (11) X = treatment HM = history/maturation T = Testing S = Sensitisatie O 1 (I) O 0 (I) = 23 6 = 17 HM + T + X + S (1) O 1 (II) O 0 (II) = 15 7 = 8 HM + T (2) Dus (1) - (2) = 17 8 = 9 X + S (3) O 1 (III) O 1 (IV)= 19 11= 8 X (4) Dus (3) - (4) = 9 8 = 1 S (5) O 1 (II)-O 1 (IV)= = 4 T (6) Dus (2) (6) = 8 4 = 4 HM (7) 6

7 Solomon 4 Group Design I R O 0 (6) --- X --- O 1 (23) II R O 0 (7) O 1 (15) II R X --- O 1 (19) IV R O 1 (11) X = treatment HM = history/maturation T = Testing S = Sensitisatie O 1 (I) O 0 (I) = 23 6 = 17 HM + T + X + S (1) O 1 (II) O 0 (II) = 15 7 = 8 HM + T (2) Dus (1) - (2) = 17 8 = 9 X + S (3) O 1 (III) O 1 (IV)= 19 11= 8 X (4) Dus (3) - (4) = 9 8 = 1 S (5) Neem aan: O 0 (III) = O 0 (IV) = [O 0 (I)+O 0 (II)] / 2 = 6.5 O 1 (IV)-O 0 (IV) = = 4.5 HM (6) Dus (2) (9) = = 3.5 T (7) 7

8 Meerweg (factoriële) designs Meer dan 1 onafhankelijke variabelen Aantal niveaus: 2 x 3 factorieel ontwerp X1: 2 categorieën X2: 3 categorieën Compleet gerandomiseerd: allemaal onafhankelijke variabelen Blokontwerp (expericorr): aanwezigheid van niet experimentele onafhankelijke variabelen Inzicht in: Hoofdeffecten, Interacties en Error 8

9 Voorbeeld: 2x3 Factoriële Design Proefpersonen: 36 PABO-studenten gelijk verdeeld over 6 condities Uitkomst: Aantal juist gemaakte rekenopgaven (max 30) Onafhankelijke variabelen: 1) Verstrekte informatie (juist-onjuist) 2) Moeilijkheidsgraad opgaven (makkelijk-gemiddeld-moeilijk) Juiste info Onjuiste info Makkelijk Gemiddeld Moeilijk

10 Effecten in beeld 10

11 Effecten in beeld 11

12 Factoriële Designs: voorbeeld Juiste info Onjuiste info Makkelijk Gemiddeld Moeilijk Ruwe data: 28, 26, 22, 19, 25, 24 12

13 Hoofd- en Interactie-effecten

14 Blokontwerpen (Leary: expericorr ) Combinatie onafhankelijke en subject variabelen. Nut: - Samenhang subject variabele met condities - Generalisatie naar speciale groepen (bijv. M/V-verschil) - Grotere power Blokvariabele categorisch: geen probleem Blokvariabele numeriek: median split of extreme groepen Interpretatie proefpersoonvariabele? - Geen oorzaak volgens Leary (nl. correlationeel) - Moderator variabele bij interactie Alternatief voor blokontwerp: covariantie-analyse 14

15 Soorten (experimenteel) onderzoek Experimental Research Echt experiment: voldoet aan alle kenmerken Blokdesign: mengvorm echt experiment + subject variabelen Quasi-Experimental Research Pre-experiment: geen (random) toewijzing, geen/gebrekkige controle Quasi-experiment: geen random toewijzing Time series design Niet-experimentele designs: geen manipulatie Single-Case Research Single-Case Experiment Case studies 15

16 Pre-Experimentele Ontwerpen One-shot Case Study X --- O 1 One Group Pretest-Posttest Design O X --- O 1 Gevaar: history, maturation, testing, sensitizatie, instrumentatie (regression to the mean) Nonequivalent Groups I NR X --- O 1 Posttest-Only Design II NR O 1 Gevaar: Selectie X = Treatment, O 0 = voormeting, O 1 = nameting, NR = Niet Random 16

17 Quasi-Experimentele ontwerpen Nonequivalent Groups I NR O X --- O 1 Pretest-Posttest Design II NR O O 1 Gevaar: local history, sensitizatie O 1 (I) O 0 (I) = X + S + HM + T (1) O 1 (II) O 0 (II) = HM + T (2) Dus (1) (2) = X + S O 1 (I) O 1 (II) = X + S + Selectie (3) O 0 (I) O 0 (II) = Selectie (4) Dus (3) (4) = X + S 17

18 Voorbeeld Gedragscode in de klas Nonequivalent Groups I NR O X --- O Pretest-Posttest Design II NR O O leerlingen (±30 scholen) - Programma in klas A, niet in klas B - Doel: gedragscode opstellen 18

19 Time Series Designs Interrupted Time Series Design (R) O 1 O 2 O 3 O 4 X O 5 O 6 O 7 O 8 Gevaar: contemporary history ~ with reversal (R) O 1 O 2 O 3 O 4 X O 5 O 6 O 7 O 8 -X O 9 O 10 O 11 O 12 ~ with multiple replications (R) O 1 O 2 O 3 X O 4 O 5 O 6 -X O 7 O 8 O 9 X O 10 O 11 -X O 12 Control Group Interupted Time Series Design NR O 1 O 2 O 3 O 4 X O 5 O 6 O 7 O 8 NR O 1 O 2 O 3 O 4 -- O 5 O 6 O 7 O 8 19

20 Time Series Design - output A B C D

21 Longitudinale ontwerpen O 1 O 2 O 3 O 4 O 5 O 6 O 7 O 8 Ook wel Panel designs Quasi-independent variabele is tijd zelf, niet een ingreep, dus geen (quasi)-experiment! Alternatieven - cross-sectioneel ontwerp - successive independent samples 21

22 Longitudinaal vs. Successief vs. Cross-Sectioneel Tabel 1 Percentage vrouwen in Nederland dat niet tot een bepaalde religie behoort, per leeftijdsgroep en per tijdsperiode Cohort 4 Cohort 5 Cohort 6 Cohort 7 4.8% 13.9% 17.4% 23.9% Cohort 3 Cohort 4 Cohort 5 Cohort 6 3.1% 11.9% 17.2% 22.0% Cohort 2 Cohort 3 Cohort 4 Cohort 5 1.9% 6.7% 11.9% 19.4% 80 - Cohort 1 Cohort 2 Cohort 3 Cohort 4 1.2% 3.8% 6.6% 12.2% 22

23 Soorten (experimenteel) onderzoek Experimental Research Echt experiment: voldoet aan alle kenmerken Blokdesign: mengvorm echt experiment + subject variabelen Quasi-Experimental Research Pre-experiment: geen (random) toewijzing, geen/gebrekkige controle Quasi-experiment: geen random toewijzing Time series design Niet-experimentele designs: geen manipulatie Single-Case Research Single-Case Experiment Case studies 23

24 Single Case Research Focus op individuen i.p.v. groep als geheel. NB. Single case experiment is niet hetzelfde als Case Study Achter een gemiddelde kan van alles schuil gaan: - iedereen verandert (meer of minder) - een deel verandert, een ander deel niet - verschillende delen veranderen verschillend Is dit wel causaliteit? 24

25 Single Case Designs ABA Designs Multiple-I designs (bijv. ABC) - Afwisselen met baseline: ABACA - Combinatie van treatments: A-B-BC-A-BC Multiple Baseline 25

26 Single Case Designs 26

27 Voorbeeld - Teacher Attention Effects of Teacher Attention on Study Behavior Vance Hall, Lund & Jackson (1968) Cases: 6 kinderen die verstorend gedrag vertonen in klas Doel: minder storen, meer sudiegedrag Methode: reinforcement gewenst gedrag + negeren ongewenst gedrag 5 periodes: Baseline Reinforce 1 Reversal Reinforce 2 post-cheks Ondersteuning docent door observator 27

28 Case Robbie 28

29 Case Studies Gedetailleerde studie van individu, groep of gebeurtenis. Informatie: uit verschillende bronnen Resultaat: verhalende beschrijving Toepassing: 1) Inzichten en ideeën 2) Zeldzame fenomenen 3) Psychobiografie 4) Illustratieve anecdote Beperkingen 1) Geen controle externe variabelen 2) Observer bias 29

30 Case Study - voorbeeld Patiënte Anna O Hysterie met veelheid aan klachten Behandeling door Jozef Breuer (m.b.v. hypnose) Inspiratie psychoanalyse van Freud 30

31 Volgende week Eenweg variantie-analyse - Leary: Hoofdstuk 11, 12 (t/m p. 255) - MM&C: Hoofdstuk 12 (t/m p. 617), p. 623 t/m p Aanvullende tekst 6, 7 en 8 31