8.2. Onderdelen van het klassieke experimentele ontwerp

Transcriptie

1 Deel 3: Kwantitatieve methoden Hoofdstuk 8: Experimentele ontwerpen 8.1. Inleiding Basisidee: twee situaties nl. situatie 1 met manipulatie en situatie 2 zonder manipulatie en je kijkt naar het effect Experimenting society: (Donal Campbell) samenleving als laboratorium waarin sociale interventies via experimenteel onderzoek getest worden op hun merites - Oorsprong experimentele theorie: naturalisme Kennis komt voort uit observatie Eén aspect van de realiteit manipuleren, anderen blijven gelijk Kijken welke effecten deze manipulatie voortbrengt - In sociale wetenschappen: twee belangrijke types van experimenten Laboratorium experiment= het toedienen van de experimentele stimulus vindt plaats in de strikt controleerbare, maar hoogst artificiële omgeving van het laboratorium Veldexperiment= het toedienen van de experimentele stimulus gebeurt in de natuurlijke, en dus moeilijk beheersbare setting 8.2. Onderdelen van het klassieke experimentele ontwerp Belangrijke elementen 1. Vertrekpunt: hypothese 2. Testen a.d.h.v. twee situaties waarvan één gemanipuleerd eenheden op toevalsbasis 3. Vergelijk uitkomsten Stimulus/experimentele manipulatie= de factor die de onderzoek toedient aan de experimentele groep Basisschema van een klassiek experiment Pretest-posttest control group design Tijd 1 Tijd 2 Conditie 1: experimentele groep Conditie 2: controlegroep Conditie= de omstandigheid in een experiment waarin ofwel de stimulus wordt toegediend ofwel niet Controlegroep= een vergelijkingsgroeps o.b.v. randomisering Randomiseren en matchen Randomiseren= procedure binnen een experimenteel ontwerp waarbij op toevalsbasis proefpersonen worden toegewezen aan de verschillende condities statistisch equivalente groepen - Beste strategie om vergelijkbare groepen te hebben (op toevalsfouten na) - Gaat soms niet Gefixeerde kenmerken bv. geslacht, leeftijd, etnische afkomst Ethische bezwaren bv. mensen dwingen te roken Werkt beter bij grote aantallen 1

2 Matchen= procedure binnen een experimenteel ontwerp om o.b.v. relevant geachte kenmerken vergelijkbare groepen samen te stellen - 3 soorten 1. Precisie- of paarsgewijs= voor elke combinatie van kenmerken bij de experimentele groep zorgt voor eenzelfde combinatie van kenmerken in de controlegroep Bv. hoogopgeleide 34j man in één groep, is een hoogopgeleide 34j man in de andere groep 2. Frequentie- of groepsmatchen= enkel rekening gehouden met één kenmerk Bv. 65+ in groep 1 is 65+ in groep twee 3. Zwak matchen= rekening gehouden met de vergelijkbaarheid van het gemiddelde of de spreiding van een reeks kenmerken Bv. De gemiddelde leeftijd in groep 1 is 32, ook in groep 2 - Garandeert minder vergelijkbaarheid dan randomiseren - Fundamenteel probleem: welke kenmerken? Kenmerken die invloed kunnen hebben op de afhankelijke variabele Maar je kent niet alle mogelijke alternatieve invloeden Effect van de stimulus Effect is het verschil tussen de voor- en nameting in de experimentele groep minus het verschil in vooren nameting in de vergelijkingsgroep. Netto-effect stimulus = (O2-O1) (O4-O3) waarbij O2-O1 = bruto effect stimulus en O4-O3 = alle storende factoren (buitenexperimentele factoren) als netto-effect significant verschillend is van 0 is er een effect Voormeting Voormeting= de meting van de score op de afhankelijke variabele in alle condities voor de stimulus wordt toegediend t-test om statistische equivalentie na te gaan: verschil tussen O1 en O3 - Moeilijkheden Niet altijd mogelijk Potentieel gevaar interne geldigheid bv. proefpersonen die consistent willen zijn in de nameting door wat ze herinneren van de voormeting Potentieel gevaar voor externe geldigheid bv. interactie-effect van de voormeting nl. voormeting over seksuele praktijk en campagne, proefpersoon gaat meer aandacht schenken, fouten in de nameting - Solomon vier-groepen-ontwerp: vertekening nagaan Als O2 = O5 en O4 = O6 (of min of meer gelijk) dan geen effect 8.3. Bedreigingen van de interne geldigheid 2

3 Buitenexperimentele gebeurtenissen Buitenexperimentele gebeurtenissen/history= gebeurtenissen die tussen de voor- en nameting optreden los van stimulus Intra-session of local history= unieke gebeurtenis in de experimentele of controle groep bv. Grapjes van de onderzoekers, brand aan de overkant van de straat Maturatie Maturatie= het proces waarbij proefpersonen gedurende de looptijd van een experiment spontaan veranderen op psychologisch, biologisch of emotioneel vlak bv. ouder worden moe worden, verveeld Testeffect Testeffect= het ondergaan van een voormeting heeft invloed op de scores in de nameting Bv. practice-effect= vorm van testeffect die verwijst naar het beter scoren op een test omdat proefpersonen zich de testprocedure eigen hebben gemaakt; IQ-tests Instrumentatie Instrumentatie= bedreiging voor de interne geldigheid door veranderingen in de betrouwbaarheid van het meetinstrument bv. weegschaal die minder nauwkeurig gaat meten Statistische regressie Statistische regressie= door toeval zullen grote toevalsfouten in de voormeting niet meer voorkomen in de nameting, en zullen de extreem lage scores uit de voormeting sowieso in de richting van het gemiddelde evolueren in de nameting, los van de stimulus Selectie Selectie= een verschillende samenstelling van de experimentele en controlegroep Uitval Uitval= personen vallen uit of haken af tijdens de duur van het experiment Niet per sé een probleem, maar wel als differentiële uitval= de uitval is afhankelijk van de condities en/of kenmerken van de proefpersonen die samenhangen met de score op de afhankelijke variabele Bv. alle leerlingen die minder goed presteren vallen doorheen het schooljaar uit Verwachtingen van de onderzoeker Verwachtingen van de onderzoeker= het projecteren door de onderzoeker van zijn verwachtingen over de uitkomst van het experiment op de proefpersonen, die zich hierdoor laten beïnvloeden Double-blind = noch de proefleider en noch de proefpersonen zijn op de hoogte van de details van het experiment en de onderzochte hypothese Placebo (controlegroep): stimulus die geen werkzame bestanddelen heeft Blind= het feit dat de proefpersonen niet weten of ze tot de experimentele of controlegroep behoren, noch wat de hypothese is die het onderzoek stuurt 8.4. Bedreigingen van de externe geldigheid - Populatiegeldigheid= mater waarin je de resultaten van een experiment dat uitgevoerd is bij een specifieke steekproef van proefpersonen, kan veralgemenen naar een ruimere populatie bv. studenten psychologie, kunnen we wel veralgemenen naar algemene populatie? - Naturalistische geldigheid= mate waarin je bevindingen uit een artificiële experimentele situatie kan dortrekken naar de echte sociale wereld Alledaags realisme= mate waarin experimentele condities lijken op de situaties die je ook in het dagelijkse leven terugvindt 3

4 Reactiviteit/Hawthorne-effect= mate waarin mensen zich anders gedragen in een experimentele setting dan in de echte wereld, precies omdat ze er zich van bewust zijn dat ze deel uitmaken van een studie - Interactie-effect tussen stimulus en de voormeting 8.5. Alternatieven op de klassieke experimentele ontwerpen Quasi-experimenteel ontwerp= experimenteel ontwerp dat afwijkt van het klassieke design, ofwel doordat er geen randomisering mogelijk is, ofwel doordat er geen heuse vergelijkingsgroep is vastgelgd Pre-experimenteel ontwerp= experimenteel ontwerp dat sterk afwijkt van het klassieke design, gekenmerkt door een combinatie van gebrek aan randomisering, het ontbreken van een heuse voor- en nameting en/of de afwezigheid van een vergelijkingsgroep Quasi-experimentele ontwerpen 1. Tijdsreeksontwerp = herhaaldelijk en op regelmatige basis meten van scores op een afhankelijke variabele in 1 enkele conditie. Tijdens deze metingen wordt X geïntroduceerd, controlegroep is afwezig. Voormetingen zijn de metingen voor de introductie van X, en v.v. - Grootste bedreiging: buitenexperimentele betekenissen - Door herhaalde metingen ga je bedreigingen voor interne geldigheid deels afweren en alternatieve, rivaliserende verklaringen weerleggen maturatie, testeffect en instrumentatie kunnen hierdoor ingeschat worden. - Probleem: wanneer is het legitiem om te spreken van de experimentele gebeurtenis lagged effect = een uitgesteld effect van de stimulus bij een tijdreeksontwerp 2. Niet-equivalent ontwerp met vergelijkingsgroep = voor- en nameting bij een experimentele en vergelijkingsgroep, maar er is geen randomisering toegepast om statistische equivalentie en dus vergelijkbaarheid tussen beide condities te kunnen garanderen. - Vaak op reed bestaande groepen - Toedienen van stimulus aan één van de groepen wel op toevallige wijze - Grootste gevaar: mogelijk interactie-effect van selectie met maturatie, buiteneperimentele gebeurtenissen, testeffect en regressie bv. Selectie en maturatie: klas 1 die minder scoort op rekenen dan klas 2, klas 2 krijgt extra wiskunde en het verschil wordt nog groter, maar het kan dat klas 1 zich spontaan op een minder snel tempo ontwikkeld 3.Afzonderlijke-steekproef ontwerp met voor- en nameting - Geschikt om effecten van grootschalige publiciteitsen mediacampagnes in te schatten. Je kan geen controlegroep raadplegen aangezien volledige bevolking doelpubliek is - Weinig garantie op interne geldigheid, vaak enige mogelijkheid, dat is zijn sterkte. - Uitermate gevoelig voor buitenexperimentele gebeurtenissen, maturatie en uitval. 4

5 Pre-experimentele ontwerpen Nog minder sterk dan quasi experimenten Nog minder controle over interne geldigheid Enkel te gebruiken indien echt niet anders kan 1. Groep met alleen nameting - Geen enkele garantie op causaliteit want niks om mee te vergelijken 2. Groep met voor en nameting - Voormeting= controle groep Nameting= experimentele groep - Effect = nameting voormeting Maar wat met buitenexperimentele gebeurtenissen? Wat als de voormeting reactief was? Geen causaliteit 3. Bestaande groepen met alleen nameting - Voormeting en randomisering ontbreken - Geen formele grond waarbij verschillen tussen O1 en O2 aan X toegewezen kunnen worden Ethische bekommernissen - Soms misleiden nodig om vertekening te vermijden moeten achter achteraf gebriefd worden - Nooit in fysiek gevaarlijke situaties - Drie ruime ethische principes 5

6 Respect voor personen: principe van informed consent= deelname moet vrijwillig zijn en proefpersonen moeten voldoende geïnformeerd worden over de mogelijke gevolgen van deelname Principe van benefience= vermijd het toebrengen van schade en probeer tegelijk de voordelen te maximaliseren en de nadelen te minimaliseren Principe van rechtvaardigheid= afweging tussen zij die voordelen van het onderzoek ontvangen en zij die lasten ervan dragen faire selectie van personen 6