Replicatieonderzoek Foeke van der Zee (Hulp bij Onderzoek, Groningen, versie 2, februari 2016)
Voorwoord Dit paper maakt deel uit van een reeks papers waarin ik een aantal onderwerpen behandel die te maken hebben met het doen van onderzoek. In deze papers kan ik een onderwerp uitgebreider bespreken dan op de site. De papers zijn ontstaan als blogartikel of ter voorbereiding van een nog uit te geven of reeds uitgegeven publicatie van een boek. Het staat je vrij om dit paper te printen voor eigen gebruik. Je mag het ook doorsturen naar anderen als die behoefte hebben aan deze informatie. Overschrijven of ergens opslaan waar het voor anderen te downloaden is mag niet. Wil je in je thesis of verslag refereren naar dit paper, doe dat dan op de officiële manier, zoals dat in jouw vakgebied gebruikelijk is. Alle informatie staat op de voorkant. Foeke van der Zee Ik wil je graag leren goed onderzoek te verrichten, want met goed onderzoek krijg je betere informatie. Met betere informatie kun je betere beslissingen nemen. Met betere beslissingen kun je een betere wereld maken. Met mijn methode van onderzoek krijg je altijd goede en betrouwbare resultaten. De methode is ook altijd en overal toepasbaar. Ik leer het je in mijn boeken. Als jij wilt leren goed onderzoek te verrichten, raad ik je een van mijn boeken aan. Je zult er geen spijt van krijgen.
Replicatieonderzoek is in de menswetenschappen niet (goed) mogelijk Replicatieonderzoek is het exact kopiëren van een onderzoek dat door anderen is uitgevoerd. Repliceerbaarheid wordt in de wetenschap van groot belang, maar in de menswetenschappen het is meestal niet mogelijk om een echt replicatieonderzoek uit te voeren en als je het wel doet zal het vaak niet dezelfde resultaten opleveren. In dit paper zal ik je uitleggen waarom. Waarom is replicatieonderzoek belangrijk? De grondhouding van iedere wetenschapper is dat hij kritisch is. Dat betekent dat hij een stelling nooit als vanzelfsprekend mag aannemen. Een stelling of aanname door anderen zijn bewezen of in dit onderzoek worden bewezen. Maar wanneer is iets bewezen? Hier zijn verschillende opvattingen over. Een veelvoorkomende is deze: iets is bewezen als bij herhaling blijkt dat het is zoals omschreven. Eventueel voeg je nog wat voorwaarden toe. Bijvoorbeeld: als je - in de stratosfeer rondom de aarde - een steen loslaat, zal hij naar beneden vallen tot hij het aardoppervlak bereikt. Als je dit maar keer op keer aantoont, zal het wel kloppen. Er zijn stellingen die niet zo gemakkelijk zijn te bewijzen omdat ze niet of heel moeilijk te herhalen zijn. Bijvoorbeeld: als je iemand bang maakt, slaat hij op de vlucht. Zo n stellingname zal af en toe wel eens kloppen, maar ook niet altijd. Met name in de menswetenschappen zijn er stellingen waarvan de uitkomsten niet altijd goed te voorspellen zijn, maar ik denk dat in alle empirische wetenschappen dit het geval zal zijn. Ook in de genetica is het niet zeker dat een uitkomst altijd hetzelfde zal zijn. In plaats van bewezen, spreekt men in onderzoek liever van een kans dat het waar is. Als je iemand bang maakt, slaat 60% van de personen op de vlucht en gaat 40% terugslaan. Zo n kans echter ook repliceerbaar zijn, want anders heb je er nog steeds niks aan. Immers, in de wetenschap wil men uiteindelijk de objecten manipuleren en wel zodanig dat er een vrijwel vaste uitkomst is. Het niet zo zijn dat als je twee stenen op elkaar legt, je 20% kans hebt dat ze op elkaar blijven liggen. Dan kun je geen huizen bouwen. Als je iemand medicijnen geeft, je weten of ze helpen. Dat niet één keer het geval zijn, maar het liefst altijd of op zijn minst in een redelijk groot percentage van de gevallen. Het dus repliceerbaar zijn. In de menswetenschappen is het repliceren van een onderzoeksresultaat minder goed mogelijk. Dat heeft een aantal oorzaken. 1
Replicatieonderzoek en het probleem van het meetinstrument Als je iets wilt onderzoeken gebruik je variabelen. De waarden die een variabele kan hebben je operationaliseren, oftewel meten. Bij de meting heb je vrijwel altijd last van ruis, de meting is niet helemaal 100% zuiver. Sommige meetinstrumenten hebben minder last van ruis dan andere. De hoeveelheid ruis kan ontstaan doordat het meetinstrument niet 100% goed meet, of dat het object niet goed te meten is. Dit is een heleboel theorie. Ter illustratie een voorbeeld. Stel dat je de intelligentie van een persoon wilt bepalen. Daarvoor gebruik je een IQ- test. Zo n IQ- test bestaat uit een grote reeks vragen. De eerste vraag die bij je opkomt is of al deze vragen wel intelligentie meten. In grote lijnen zal het wel kloppen, maar het IQ van een persoon helemaal perfect vaststellen zal niet te doen zijn. Als je hem een soortgelijke test geeft zal het IQ wat lager of wat hoger uitvallen. Er is dus een beetje variatie als gevolg van de test. Maar er is meer. Er is ook variatie als gevolg van de meting bij de persoon. Bij de ene opgave kan hij zijn aandacht er wat beter bijhouden dan bij de andere. Op grond daarvan zal de score op de IQ- test ook niet altijd helemaal stabiel zijn. Dit is ook in een formule uit te drukken: Sc! = Sc! + A!"#$"%! + A!""#$%&#' + e Sct = score op een tijdstip Scw = de ware score Akenmerk = de afwijking van het kenmerk op het moment van meten Ameetinstrument = de afwijking in het meetinstrument op het moment van meten Met het begrip intelligentie is het redelijk goed te doen, maar probeer maar eens het begrip motivatie goed te meten, of hard aan het werk zijn of veranderbereidheid. Als je iets goed wilt meten, je dus beschikken over een meetinstrument dat perfect is. Dat zijn er niet zo heel erg veel, zeker niet in de menswetenschappen. Als je replicatieonderzoek wilt doen, je exact hetzelfde meetinstrument hebben en de metingen en in exact dezelfde opstelling gebeuren. Dat is (bijna) niet te doen en dat is een van de redenen waarom replicatieonderzoek in sociaal wetenschappelijk onderzoek niet goed is te doen. Maar er is meer. Replicatieonderzoek en het probleem van de steekproefgrootte Als je replicatieonderzoek doet, je precies hetzelfde aantal respondenten gebruiken, want een ander aantal is van invloed op het statistische toetsresultaat en kun je heel andere conclusies trekken. Het maakt nogal wat uit of je de analyses uitvoert op tien, honderd of duizend respondenten. De marges waarbinnen je zegt dat het klopt, is bij tien respondenten veel 2
groter dan bij honderd respondenten. Bij tien respondenten zul je bijna geen statistisch significante verschillen vinden; bij honderd respondenten meer. Overigens als je zo n duizend respondenten hebt, is bijna alles statistisch significant. Het statistisch resultaat is dus afhankelijk van de steekproefgrootte. Kortom, als je replicatieonderzoek uitvoert je hetzelfde aantal onderzoekseenheden gebruiken. Helemaal precies hetzelfde aantal zal wel niet lukken, maar het mag niet teveel afwijken van het origineel. Er is nog meer waardoor replicatieonderzoek eigenlijk niet goed mogelijk is. Replicatieonderzoek en het probleem van de representativiteit Bij replicatieonderzoek en de respondenten (gemiddeld genomen) precies dezelfde kenmerken hebben. Een onderzoek onder vrouwen hoeft niet hetzelfde resultaat op te leveren als onder mannen. Onderzoek onder de studenten van de universiteit leveren niet hetzelfde resultaat op als onderzoek onder de doorsnee burger. Als je replicatieonderzoek doet bij verschillende groepen kunnen de verschillen zijn ontstaan omdat er andere groepen zijn gebruikt. Dit is het probleem van de externe validiteit. Dat begrip is beter te vervangen door generaliseerbaarheid. Het komt hier op neer. Als je onderzoek doet, doe je dat bij een groepje personen. De vraag is of de onderzoeksresultaten ook gelden als je andere personen zou hebben gebruikt. Het antwoord dat Jan geeft op jouw vraag, hoeft niet voor Piet te gelden. Als je met je onderzoek richt op de Nederlandse bevolking dan je er voor zorgen dat je ook een representatieve steekproef hebt getrokken uit de Nederlandse bevolking. Bij veel onderzoek schort het daar vaak aan: de onderzoeker zegt wel dat zijn steekproef representatief is, maar vergeet vaak te testen of het inderdaad het geval is. Sterker nog. Het is vrijwel onmogelijk om in de menswetenschappen replicatie- onderzoek te doen bij twee groepen personen met exact delfde kenmerken. Beide groepen en op aspecten als bijvoorbeeld leeftijd hetzelfde gemiddelde en dezelfde standaarddeviatie hebben. Ook andere kenmerken die niet zijn meegenomen in het onderzoek zouden een rol kunnen spelen. In de originele groep en in de replicatiegroep en de respondenten verhoudingsgewijs uit dezelfde sociaal economische klasse komen, dezelfde opleiding hebben, hetzelfde verdienen, dezelfde verdeling naar urbanisatie hebben et cetera. Het is nooit helemaal uit te sluiten dat er geen verschillen bestaan tussen de groepen. Daarom zal replicatieonderzoek nooit exact hetzelfde resultaat opleveren. Wel kun je met replicatieonderzoek nagaan of onderzoeksbevindingen ook gelden voor andere situaties, andere tijden of andere personen. Je gaat dan na of een onderzoeksresultaat universeel is of alleen geldt voor het eigen onderzoek. 3
Replicatieonderzoek en theorie Een laatste argument waarom replicatieonderzoek in de menswetenschappen niet zo goed is uit te voeren is omdat er geen goede theorieën zijn. Met deze stellingname begeef ik mij op glad ijs, want deze stellingname is door mij geponeerd zonder bewijs. Maar als ik bedenken welke theorieën er bestaan over het leren van statistiek, het optimaliseren van de verkoop, het nieuwe werken, of het verzorgen van ouderen, dan denk ik dat er wel veel (beschrijvend) onderzoek is gedaan maar dat een hecht theoretisch fundament ontbreekt. Veel empirisch onderzoek is beschrijvend van aard. Er worden allerlei gegevens verzameld die met elkaar in verband worden gebracht. Er worden correlaties berekend en er worden verschiltoetsen uitgevoerd. Daar kan van alles uitkomen. Zo heeft een Zweeds statisticus eens vastgesteld dat er een relatie is tussen het aantal geboren kinderen en het aantal ooievaars in het land. Soms wordt regressieanalyse uitgevoerd om een theorie te bouwen of te evalueren, maar dat gebeurt maar heel weinig. Je kunt wel van alles in je analyses stoppen, maar als er geen theorie is, ontbreekt de verklaringsgrondslag. Zonder goede theorie is replicatieonderzoek helemaal niet zinvol. Replicatieonderzoek en publicatiedrift Vaak wordt gesteld dat replicatieonderzoek niet interessant is, omdat dit soort onderzoeksverslagen bijna niet worden gepubliceerd. Uitgevers willen onderzoek met vernieuwende ideeën en statistisch significante resultaten presenteren. Dat zal zondermeer het geval zijn. Als een onderzoeksresultaat niet interessant is, hoeft het ook niet gepubliceerd te worden. Toch? Dus krijg je nooit een volledig beeld van al het onderzoek over een bepaald thema. Er zijn een aantal oplossingen denkbaar. Een oplossing zou kunnen zijn dat studenten voor hun thesis een replicatieonderzoek uitvoeren. Van iemand nadoen, is ook veel te leren. Een docent of onderzoeker die studenten begeleid die alle een nagenoeg gelijk onderzoek hebben uitgevoerd, zou dit kunnen bundelen tot een artikel. Replicatieonderzoek kan als een zelfstandig onderzoek worden uitgevoerd, maar kan ook onderdeel uitmaken van een ander onderzoek. Het origineel wordt dan niet één- op- één gekopieerd, maar je kunt wel bepalen of de bevindingen van een ander onderzoek realistisch zijn of nergens op slaan. Replicatieonderzoek in de natuurwetenschappen In de natuurwetenschappen zegt men replicatieonderzoek heel normaal te vinden. Iets is in deze wetenschappen pas bewezen als een ander dat ook vindt. Zo gemakkelijk ligt het echter niet. 4
Het onderscheid tussen sociale wetenschappen en natuurkunde heb ik in mijn boek Kennisverwerving in de Empirische Wetenschappen uit 2005 eens besproken als een gedachtenexperiment. Men neme een biljartbal en legt die in het midden op een biljarttafel. Met een stok geef je een ferme tik tegen deze biljartbal en je kijkt waar hij heen rolt. Dit experiment kun je oneindig vaak repliceren. Als je steeds met dezelfde kracht op precies dezelfde plek de biljartbal aanstoot, zal het resultaat (in praktijk ongeveer, in theorie precies) hetzelfde zijn. En dan nu het sociaalwetenschappelijke gedachtenexperiment. Men neme een persoon en zet die in het midden van de kamer. Met een stok geef je een ferme tik tussen de schouderbladen en je kijkt hoe de persoon reageert. Dit experiment is niet oneindig vaak te repliceren en ook al zou je het een tweede keer uitvoeren, de reactie zal steeds anders zijn. Kortom, replicatieonderzoek zal in de natuurkunde vaker hetzelfde resultaat laten zien dan in de sociale wetenschappen. Dat komt omdat men met andere objecten te maken heeft. Maar ook in de natuurwetenschappen levert replicatieonderzoek niet altijd hetzelfde resultaat op. Zo sprak ik jaren geleden een hoogleraar in de spectraal fotografie. Hij was gespecialiseerd in het fotograferen van het spectrum van vast stoffen en werd alom geëerd om zijn resultaten. Hij vertelde mij dat hij een stof in zijn fotoapparaat legde en een aantal foto s van nam. Vervolgens koos hij de foto van het spectrum die hij het mooist vond en publiceerde die in een vooraanstaand wetenschappelijk tijdschrift. Pas wanneer een andere wetenschapper zijn mooiste foto kon reproduceren, werd dit als het nieuwe spectrum van die stof aanvaard. Als hij dus een andere foto zou hebben gepresenteerd, dan zou er dus een ander spectrum voor die stof hebben gegolden. Opmerkelijk. Foeke van der Zee Hulp bij Onderzoek is er voor jou - Online Woordenboek Onderzoek - Steekproefcalculator - Boeken over onderzoek - White papers over onderzoek - Online video lessen en cursussen over statistiek en SPSS - Bijles statistiek en SPSS - Persoonlijke hulp en ondersteuning bij data analyse (voor je thesis) 5
Hulp bij Onderzoek helpt iedereen met zijn of haar onderzoek. Je kunt bij ons terecht voor: Persoonlijke hulp en begeleiding - hulp bij het schrijven van je onderzoeksvoorstel - hulp bij het analyseren van je data - hulp bij het schrijven van je onderzoeksverslag Online informatie (alleen voor leden van Hulp bij Onderzoek) - online woordenboek onderzoek en statistiek - papers over onderzoek, methodologie, statistiek en SPSS - online videocursus methodologie - online steekproefcalculator Online cursussen - Online video s over Statistiek (statistiek wordt heel begrijpelijk uitgelegd) - Online video s over SPSS (leer hoe je de analyses uitvoert in SPSS) - Basiscursus Statistiek en SPSS Boeken over onderzoek - methodologie voor onderzoek in marketing en management - methodologie voor sociaalwetenschappelijk onderzoek - methodologie voor onderzoek in zorg-, welzijn en hulpverlening - methodologie voor onderzoek in de verpleegkunde - online enquêteren, de do s en don ts van onderzoek via internet Voor meer informatie kijk je op. Ik wens je heel veel succes met je onderzoek! Foeke van der Zee Foeke van der Zee White paper: Replicatieonderzoek 7 Alles wat je over onderzoek wilt weten staat op