Wetenschappelijk Onderzoek: Experimenteel Onderzoek

Transcriptie

1 Programma Wetenschappelijk Onderzoek: Experimenteel Onderzoek Pieter Wouters 1. Kenmerken van experimenten 2. Het selecteren van onderzoekseenheden 3. Experimentele designs 4. Validiteit van experimenten PAUZE 5. Praktijk case 1 2 Wat is een experiment Voorbeelden van creatieve designs een gecontroleerde methode van waarneming waarbij de waarden van een of meer onafhankelijke variabelen worden gemanipuleerd met het oogmerk het oorzakelijk of causale effect daarvan vast te stellen op een of meer afhankelijke variabelen ( t Hart e.a.) Liefde op een hangbrug (Dutton & Aron, 1974) Leren terwijl je slaapt (Stickgold, 2004) Priming (Bargh, Chen & Burrows, 1996) Modaliteiteffect (Mayer & Moreno, 1998) 3 4 Liefde op een hangbrug Leren terwijl je slaapt Dutton, D. G. & Aron, A. P. (1974). Some evidence for heightened sexual attraction under condition of high anxiety. Journal of Personality and Social Psychology, 30, Stickgold, R. & Walker, M. (2004). To sleep, perchance to gain creative insight? Trends in Cognitive Science, 8,

2 Priming Modaliteiteffect Beleefd: they her respect usually Onbeleefd: they her bother usually Neutraal: they her send usually Bargh, J. A., Chen, M., & Burrows, L. (1996). Automaticity of social behavior: Direct effects of trait construct and stereotype activation on action. Journal of Personality and Social Psychology, 71, Mayer, R. E., & Moreno, R. (1998). A split-attention effect in multimedia learning: Evidence for dual processing systems in working memory. Journal of Educational Psychology, 90, Schijnverband Schijnverband sociale achterstand! Ras discriminatie! Autocontrole aanhoudingsfreq. Ras Toestand van auto Autocontrole aanhoudingsfreq Het experiment Wie: Onderzoekseenheden Probleemformulering Wie Ontwerp Randomiseren Onderzoekseenheden op toevalsbasis aan een van de condities toewijzen Matchen Condities gelijkmaken op een aantal variabelen Homogeniseren Onderzoekseenheden uit deelgroepen selecteren Waar

3 Ontwerp Zuiver experiment Zuiver experiment Quasi experiment Pre experiment 1. tenminste 1 controlegroep 2. randomisatie (op basis van toeval verdelen over de groepen) Twee gerandomiseerde groepen, alleen nameting Tijdstip t1 Groep I R X O1 Experimentele groep Groep II R O2 Controlegroep Voor- en nameting met controlegroep Tijdstip t1 t2 Groep I R O1 X O2 Experimentele groep Groep II R O3 O4 Controlegroep Quasi Experiment Voor- en nameting met controlegroep, geen randomisatie Tijdstip t1 t2 Groep I O1 X O2 Experimentele groep Groep II O3 O4 Controlegroep Pre experiment Hoogstens 1 vergelijkingsbasis (voormeting of controlegroep), en bovendien geen randomisatie Eén bestaande groep, alleen nameting Tijdstip t1 Groep I X O1 Eén bestaande groep, voor- en nameting Tijdstip t1 t1 t2 Groep I O1 X O2 Vergelijking van twee bestaande groepen, alleen nameting Tijdstip t1 Groep I X O1 (Experimentele groep) Groep II O2 (Controlegroep) Waar Validiteit Laboratorium Veldexperiment Interne validiteit Bij interne validiteit gaat het erom dat de manipulaties verantwoordelijk zijn voor de resultaten en dat er dus geen andere mogelijke oorzaken zijn Externe validiteit it Het generaliseren van de resultaten naar andere omstandigheden - populatievaliditeit: een andere doelgroep - ecologische validiteit: toepasbaar op alledaagse praktijk

4 Bedreigingen Interne Validiteit Bedreigingen Externe Validiteit Selectie Testeffect Instrumentatie Interactie voormeting en experimentele stimulus Interactie selectie en experimentele stimulus Reactieve experimentele locatie Extern voorval Uitleg bij educatieve animaties: gesproken of geschreven? Pieter Wouters Wiskunde onderwijs Aantrekkelijker maken met animaties Bij animaties hoort echter wel een uitleg Maar: split-attention

5 Wiskunde onderwijs Aantrekkelijker maken met animaties Bij animaties hoort echter wel een uitleg Maar: split-attention : Gesproken uitleg! Maar soms kan gesproken uitleg niet of is het duur Probleemstelling animaties verhoogd worden? Literatuur studie Literatuur studie Proefpersonen presteren beter als de uitleg bij een animatie gesproken is! Attentional Gesproken uitleg krijgt automatisch meer aandacht en wordt daarom beter verwerkt! Proefpersonen presteren beter als de uitleg bij een animatie gesproken is! Attentional Gesproken uitleg krijgt automatisch meer aandacht en wordt daarom beter verwerkt! Dog (gesproken) Dog Dog Extra aandacht leidt tot betere leerprestaties bij animaties met geschreven uitleg, maar niet bij animaties met gesproken uitleg

6 operationaliseren Extra aandacht leidt tot betere leerprestaties bij animaties met geschreven uitleg, maar niet bij animaties met gesproken uitleg Extra aandacht leidt tot betere leerprestaties bij animaties met geschreven uitleg, maar niet bij animaties met gesproken uitleg Onafhankelijke variabelen: Uitleg: geschreven of gesproken Extra aandacht: reflectieprompts Afhankelijke variabelen: Betere leerprestaties: een test met 12 open vragen Uitleg, extra aandacht, effectief Extra aandacht leidt tot betere leerprestaties bij animaties met geschreven uitleg, maar niet bij animaties met gesproken uitleg Ontwerp Extra aandacht leidt tot betere leerprestaties bij animaties met geschreven uitleg, maar niet bij animaties met gesproken uitleg Tijdstip t1 t2 Gr.I R O1 X O2 geschreven/extra aandacht Gr.II R O3 X O4 geschreven/geen extra aandacht Gr.III R O5 X O6 gesproken/extra aandacht Gr.IV R O7 X O8 gesproken/geen extra aandacht Is er een controle groep? Bedreigingen Interne validiteit Selectie: verschillen in voorkennis Instrumentatie: verschillen in tijd; koptelefoon Externe validiteit Interactie ti van selectie en experimentele stimulus (1 school) Factorieel design: Uitleg (geschreven/gesproken) Prompts (ja/nee) Uitleg, extra aandacht, effectief Extra aandacht leidt tot betere leerprestaties bij animaties met geschreven uitleg, maar niet bij animaties met gesproken uitleg

7 : SPSS Welke toets? niveau van de afhankelijke variabele(n) within-subjects of between-subjects experiment? aantal factoren in het design verband tussen de afhankelijke variabelen? controlevariabelen interval/ratio between-subjects 2 (modaliteit uitleg en reflectie prompts) Niet van toepassing voorkennis en instructietijd 2 x 2 ANCOVA : SPSS Tests of Between-Subjects Effects Dependent Variable: TR Type III Sum Partial Eta Source of Squares df Mean Square F Sig. Squared Corrected Model a Intercept PRE TIJD MOD REF MOD * REF Error Total Corrected Total a. R Squared =.302 (Adjusted R Squared =.264) effect size significant verschil Interactie effect Rapporteren significant verschil geen significant verschil The interaction between modality and reflection on performance on transfer was significant, F(1, 92) = 6.81, MSE = 3,2307, p =.011, eta 2 = 7%. The interaction indicates that written explanations yielded better transfer performance with reflection prompts than without reflection prompts (M = , SD = 2.06 with reflection vs. M = 4.54, SD = 1.50 with no reflection), whereas for spoken explanations no difference was found between reflection prompts and no reflection prompts (M = 4.79, SD = 2.26 with no reflection vs. M = 4.16, SD = 2.39 with reflection)

8 ANCOVA Interactie effect bevestigd Bedankt voor jullie aandacht! Factorieel design: Uitleg (geschreven/gesproken) Prompts (ja/nee) Uitleg, extra aandacht, effectief Wanneer expliciet aandacht gevestigd wordt op geschreven uitleg is dat even effectief als gesproken uitleg