Representativiteit Foeke van der Zee (Hulp bij Onderzoek, Groningen, versie 2, februari 2016) www.hulpbijonderzoek.nl
Voorwoord Dit paper maakt deel uit van een reeks papers waarin ik een aantal onderwerpen behandel die te maken hebben met het doen van onderzoek. In deze papers kan ik een onderwerp uitgebreider bespreken dan op de site. De papers zijn ontstaan als blogartikel of ter voorbereiding van een nog uit te geven of reeds uitgegeven publicatie van een boek. Het staat je vrij om dit paper te printen voor eigen gebruik. Je mag het ook doorsturen naar anderen als die behoefte hebben aan deze informatie. Overschrijven of ergens opslaan waar het voor anderen te downloaden is mag niet. Wil je in je thesis of verslag refereren naar dit paper, doe dat dan op de officiële manier, zoals dat in jouw vakgebied gebruikelijk is. Alle informatie staat op de voorkant. Foeke van der Zee Ik wil je graag leren goed onderzoek te verrichten, want met goed onderzoek krijg je betere informatie. Met betere informatie kun je betere beslissingen nemen. Met betere beslissingen kun je een betere wereld maken. Met mijn methode van onderzoek krijg je altijd goede en betrouwbare resultaten. De methode is ook altijd en overal toepasbaar. Ik leer het je in mijn boeken. Als jij wilt leren goed onderzoek te verrichten, raad ik je een van mijn boeken aan. Je zult er geen spijt van krijgen.
Representativiteit Als je iets wilt zeggen over de Nederlander, zou je het liefst alle Nederlanders in je onderzoek betrekken. Dat is vaak onmogelijk, en noodzakelijk is het ook niet. Als je van honderd Nederlanders weet hoe lang ze zijn, kun je rekening houdend met enige marge ook iets zeggen over de lengte van alle Nederlanders. Door het meten van kenmerken bij slechts een deel van alle objecten is de onderzoeker in staat om relevante uitspraken te doen over die kenmerken van alle objecten in de populatie. Daarbij wordt wel de eis gesteld dat de steekproef representatief moet zijn. Waarom is de eis van representativiteit zo belangrijk? Dit heeft te maken met het volgende. Als je de gegevens analyseert van respondenten die representatief zijn voor de populatie, mag je zeggen dat de uitkomst van die analyse voor de hele populatie geldt (onder voorbehoud van een bepaalde betrouwbaarheidsmarge). Als de respons niet representatief is voor het totaal, mag je de conclusies uit de analyses niet generaliseren naar de totale populatie. Het gaat dus niet om de representativiteit van de steekproef, maar om de representativiteit van de respons. Het trekken van een representatieve steekproef is gemakkelijk te doen, maar ervoor zorgen dat je een representatieve respons hebt, is veel moeilijker. Dat moet heel duidelijk zijn, want anders kun je de term representativiteit niet goed begrijpen. Daarom besteed ik eerst enige aandacht aan dit begrippenkader. De terminologie, van populatie naar respons Zodra je de term steekproef laat vallen, heb je het impliciet ook over de populatie. Veel onderzoek heeft betrekking op de Nederlandse situatie, en onderzoekers zeggen vaak dat ze een representatieve steekproef hebben getrokken uit de Nederlandse bevolking. Onderzoekstechnisch wordt de Nederlandse bevolking als de populatie beschouwd. De populatie is de groep waarover de onderzoeker uitspraken wil doen. Hier hebben we meteen al een probleem, want wat is de Nederlandse bevolking precies? Wetenschappers houden niet van onduidelijkheden, dus het begrip de Nederlandse bevolking moet duidelijk omschreven worden. Zijn dat alle mensen met een Nederlands paspoort? In dat geval horen alle Nederlanders die in het buitenland wonen er ook bij. Als je een steekproef gaat trekken, moeten er dus ook een paar mensen tussen zitten die in het buitenland wonen. Het zal lastig zijn om deze mensen op te sporen en ze over te halen om mee te doen aan het onderzoek. Je kunt je daarom beter beperken tot de mensen die in Nederland wonen. Maar horen daar alle mensen met een buitenlands paspoort ook bij? Die zou je kunnen uitsluiten. De Nederlandse bevolking komt dan feitelijk overeen met alle mensen die in Nederland wonen en de Nederlandse nationaliteit hebben. Dat is een behoorlijk goede omschrijving, maar je hebt nog het probleem dat dak- en thuislozen hiertoe ook behoren. Waarschijnlijk zul je hen niet aantreffen als je een volledig aselecte steekproef trekt. Je kunt je populatie dus nog beter omschrijven als iedereen die in Nederland woont, de Nederlandse nationaliteit heeft en beschikt over een vaste woon- en verblijfplaats. 1
Nu dient het volgende probleem zich aan, want nadat je de populatie goed hebt omschreven, moet je daaruit een aantal personen selecteren. Is ergens een lijst met iedereen die in Nederland woont, de Nederlandse nationaliteit heeft en beschikt over een vast woon- en verblijfplaats? Vermoedelijk bestaat zo n lijst niet. Er zouden zo n 16.500.000 namen en adressen op moeten staan. Gemeentes houden natuurlijk wel bij wie waar woont, maar deze bestanden zijn niet vrij toegankelijk. Je moet dus een andere manier vinden om uit de Nederlandse bevolking een steekproef te halen. Gelukkig bestaan er andere manieren. Databrokers hebben bestanden met alle adressen in Nederland en houden bij wie waar woont. Daaruit kun je een selectie maken. Een dergelijk bestand heet het steekproefkader. Het steekproefkader komt meestal niet goed overeen met de omschrijving van de populatie, maar om mee te starten is het wel bruikbaar. Misschien heb je keus uit meerdere steekproefkaders. Kies in dat geval voor het beste steekproefkader: een kader dat up-to-date is en weinig of geen fouten bevat. Uit het steekproefkader trek je het aantal elementen dat je wilt hebben. Het resultaat heet de bruto steekproef. Deze lijst controleer je altijd nog even. Als je de adressen hebt gekocht bij een goede databroker, zitten er niet zoveel (meestal zelfs helemaal geen) fouten in. Bestanden van mindere kwaliteit kunnen dubbel geselecteerde adressen bevatten, en mogelijk ontbreken bepaalde essentiële gegevens. Deze adressen laat je weg. Het resultaat is de netto steekproef. De personen op de geselecteerde adressen benader je met de vraag of ze willen meedoen aan je onderzoek. Iedereen die ja zegt, is een respondent. Dit is de bruto respons. Nu ontdek je dat een aantal mensen is verhuisd en dat de nieuwe bewoners meedoen aan het onderzoek, of dat er geen reactie meer komt ondanks de toezegging om mee te doen (de vragenlijst wordt oningevuld teruggestuurd, men komt niet opdagen op het afgesproken tijdstip of de interviewer staat voor een dichte deur). Van deze adressen en personen heb je geen gegevens. De groep waarover je wel gegevens hebt verzameld, heet de netto respons. Er kan dus in de verschillende stadia nogal wat uitval optreden. Schematisch is dat weergegeven in illustratie 1. Populatie Steekproefkader Steekproef Respons Vallen&buiten de&definitie Behoren&niet tot&de&populatie Zijn&incorrect Hebben&geen&goede gegevens&aangeleverd Illustratie 1 Het verloop van populatie naar respons Tot slot nog een opmerking. In de Angelsaksische literatuur wordt de term sample gebruikt om de (bruto) steekproef alsook de (netto) respons aan te duiden. Dat leidt soms tot verwarring, maar uit de context is vaak wel op te maken wat er bedoeld wordt. Nederlanders die met de Angelsaksische literatuur zijn opgegroeid, gebruiken soms de term netto steekproef om de netto respons aan te duiden. Dit is wel heel verwarrend. 2
Opvattingen over representativiteit Er zijn minimaal zes opvattingen over representativiteit. Twee daarvan zijn met enig nadenken direct te verwerpen als onzinnig. De andere verdienen enige aandacht. De eerste opvatting van representativiteit is die van afgevaardigde. De personen die meedoen aan het onderzoek, kunnen heel goed vertellen wat er omgaat bij mensen in vergelijkbare situaties. Ze zijn een prima delegatie. Representativiteit is in deze opvatting letterlijk afgeleid van de term representant. Deze opvatting is prima te verdedigen voor Illustratie 2 Representativiteit kwalitatief onderzoek, bijvoorbeeld met behulp van een opgevat als een afvaardiging focusgroep. De onderzoeker stelt de eis dat de persoon of de groep personen met wie hij spreekt, goed kunnen vertellen wat er leeft in de populatie of een deel daarvan. Voor alle duidelijkheid: de afgevaardigde hoeft niet iemand uit de groep te zijn, maar moet de groep wel kunnen vertegenwoordigen. Zo hoeft een groep zwakbegaafden niet zelf zijn belangen te verdedigen; dat kan gedaan worden door een sociaal werker. Volgens de tweede opvatting vat de onderzoeker de steekproef (of liever de respons) op als een miniatuur van de populatie. In dit geval zijn alle kenmerken van de responsgroep precies hetzelfde verdeeld als de kenmerken van de hele populatie. Als je bijvoorbeeld een steekproef moet trekken uit alle verslaafden in Nederland, moet de steekproef verhoudingsgewijs Illustratie 3 Representativiteit evenveel alcoholverslaafden, cannabisverslaafden, opgevat als een miniatuur gokverslaafden en seksverslaafden bevatten als de landelijke groep van alle verslaafden, en helemaal gelijk verdeeld zijn naar geslacht, leeftijd, regio, en alle andere relevante, irrelevante en potentieel relevante kenmerken. Dat is vrijwel onmogelijk te realiseren. Bovendien is dit niet te toetsen. Dit is uitsluitend en alleen een veronderstelling die is gebaseerd op de manier waarop de steekproef is getrokken. Veronderstellingen hoeven niet te kloppen. Als je een willekeurige steekproef trekt uit alle inwoners van Nederland, zitten er dan verhoudingsgewijs evenveel Vietnamezen, Surinamers en Congolezen in? Het is algemeen bekend dat allochtonen minder vaak meedoen aan onderzoek. Zeker in de wetenschap mogen veronderstellingen niet per definitie als waar worden aangenomen. Deze opvatting is daarom in theorie wel leuk, maar in de praktijk niet te controleren. Een alternatief voor de miniatuur is de opvatting dat de steekproef (of liever de respons) dezelfde kenmerken heeft als de populatie. Je krijgt dan een verwaterd beeld: alles zit er nog wel in, maar het is veel minder scherp. In dat geval moet de onderzoeker zorgen dat de kenmerken van de populatie evenredig vertegenwoordigd zijn in de responsgroep. Ook hier geldt dat het onmogelijk is om dit te realiseren en te Illustratie 4 Representativiteit toetsen is voor alle kenmerken. Het onderscheid tussen opgevat als een verwaterde de miniatuur en de verwaterde afbeelding is overigens afbeelding niet heel groot. 3 Foeke van der Zee www.hulpbijonderzoek.nl Specialist in onderzoek en statistiek White paper: Representativiteit
Omdat het niet mogelijk is om op alle kenmerken representatief te zijn, kun je beter aangeven dat de steekproef (of liever de respons) niet afwijkend van de populatie op relevante kenmerken mag zijn. In deze visie moeten eerst de kenmerken worden vastgesteld waarop je wilt stellen dat de respons representatief is. In de meeste gevallen kies je voor relevante en potentieel relevante kenmerken. Bij een onderzoek onder scholieren van het voortgezet onderwijs is het bijvoorbeeld belangrijk om de procentuele verdeling van vmbo ers, havisten en vwo ers vast te stellen. In Illustratie 5 Representativiteit opgevat als een responsgroep met dezelfde kenmerken als de populatie de respons moet dezelfde verdeling voorkomen. Dat moet dus getoetst worden. Is de verdeling niet afwijkend op dit kenmerk, dan kan de onderzoeker stellen dat zijn respons representatief is. In deze opvatting gaat het om een beperkt aantal kenmerken. Op kenmerken die er niet toe doen, hoeft de respons niet representatief te zijn. De steekproef (of liever de respons) voldoet aan een standaard. In deze visie wordt eerst een standaard opgesteld. Vervolgens kijk je of de groep respondenten aan deze kenmerken voldoet. Zo kun je stellen dat 50% van de respondenten man is en 50% vrouw, dat de gemiddelde leeftijd 45 jaar moet zijn, et cetera. De groep respondenten moet dezelfde kenmerken bezitten, ongeacht welk onderzoek de onderzoeker uitvoert. Dat moet je dus toetsen. Overigens is in dit voorbeeld sprake van een rare opvatting van representativiteit. Als je onderzoek doet onder scholieren, zal de jongen-meisjeverhouding waarschijnlijk wel 50-50 zijn, maar een gemiddelde leeftijd van 45 jaar is niet realistisch. Illustratie 6 Representativiteit opgevat als een responsgroep die aan een norm moet voldoen De steekproef is aselect getrokken, dus is de respons representatief. Dit is een niet-onderbouwde uitspraak. In de wetenschap zijn dergelijke uitspraken uit den boze. Als het goed is, weet de onderzoeker hoe de populatie er uitziet, maar als daaruit een willekeurig aantal mensen is geselecteerd en een willekeurig aantal mensen reageert, hoeft de responsgroep helemaal niet meer overeen te komen met de populatie. Een en ander is sterk afhankelijk van het onderwerp. Bij een onderwerp als mode zullen naar verwachting meer vrouwen reageren dan mannen. Misschien speelt leeftijd ook een rol (hebben ouderen minder interesse voor mode dan jongeren?), of regio (zijn mensen in Illustratie 7 Representativiteit opgevat als waar omdat de steekproef ( respons) aselect is getrokken steden meer betrokken bij mode dan mensen die in buitengebieden wonen?). Zolang je niet getoetst hebt of de respons afwijkt van de populatie, kun je niet zeggen of de respons representatief is. 4
Toetsen van representativiteit Als een onderzoeker wil stellen dat zijn respons representatief is en dat de conclusies uit het onderzoek voor de hele populatie gelden moet hij toetsen of de respons representatief is. Met toetsen bedoelen we statistisch toetsen. Dat moet voor ieder kenmerk gebeuren. Ter illustratie staan hieronder twee voorbeelden van hoe dat moet. De statistische toets zelf wordt niet besproken. Voorbeeld 1 Stel dat je een onderzoek doet in een kleine stad met vier wijken. Volgens de administratie van de burgerlijke stand wonen de volgende aantallen mensen in de wijken: Wijk A : 2000 (40%) Wijk B : 1500 (30%) Wijk C : 1000 (20%) Wijk D : 500 (10%) Totaal : 5000 (100%) Hieruit trek je (op systematische wijze met aselect begin) een steekproef van 200 huishoudens. De volgende aantallen komen dan in de steekproef terecht: Wijk A : 80 (40%) Wijk B : 60 (30%) Wijk C : 40 (20%) Wijk D : 20 (10%) Totaal : 200 (100%) In de verzamelde gegevens zitten de volgende aantallen: Wijk A : 38 (38%) Wijk B : 33 (33%) Wijk C : 21 (21%) Wijk D : 8 ( 8%) Totaal : 100 (100%) De respons is verhoudingsgewijs niet meer precies hetzelfde als de populatie. De vraag is of dit een grote of een kleine afwijking is. Dat toets je in dit geval met de chikwadraattoets. In dit geval vind je een niet statistisch significant verschil en trek je de conclusie dat de respons representatief is voor de populatie op het aspect herkomst naar wijk. Voorbeeld 2 Stel dat je bij dezelfde populatie wilt nagaan of de verdeling van de huishoudens die meedoen aan het onderzoek overeenkomt met de verdeling in de populatie op het kenmerk sociale klasse. Stel dat je in de populatie drie typen onderscheidt met de volgende mate van voorkomen: 5
Hoge klasse : 2500 (50%) Middenklasse : 1000 (20%) Lage klasse : 1500 (30%) Totaal : 5000 (100%) Hieruit trek je (op systematische wijze met aselect begin) een steekproef van 200 huishoudens. De volgende aantallen komen in de steekproef terecht: Hoge klasse : 100 (50%) Middenklasse : 40 (20%) Lage klasse : 60 (30%) Totaal : 200 (100%) Na de gegevens te hebben verzameld, blijken de volgende aantallen huishoudens te hebben gereageerd: Hoge klasse : 65 (65%) Middenklasse : 15 (15%) Lage klasse : 20 (20%) Totaal : 100 (100%) Ook nu weer moet je toetsen of er een statistisch significant verschil is. In dit geval blijkt de afwijking zo groot dat er sprake is van een significant verschil. De respons is dus niet representatief voor de populatie op het aspect sociale klasse. Bij een respons die niet representatief is, zit ergens een bepaalde verdichting of verdunning. Dit wijst erop dat in sommige gebieden veel meer en in andere gebieden juist veel minder is gereageerd. In extreme gevallen mis je een bepaald deel van de populatie. In dat geval heb je te maken met selectieve respons. Soms is het gewenst om een niet-representatieve steekproef te hebben om tot een representatieve respons te komen. Een enkele keer wil je zelfs een nietrepresentatieve respons. In het eerste voorbeeld is de Illustratie 8 Een grafisch voorbeeld van selectieve respons respons van acht personen uit wijk D eigenlijk te klein om daar iets zinvols over te zeggen. Je kunt dit aantal verhogen door uit dit segment meer huishoudens te selecteren. Het gevolg is dat in dit segment een onevenredig groot aandeel heeft. Om een totaalbeeld te schetsen, moet de onderzoeker de scores wegen. Daar ga ik nu niet verder op in. Ik wens je heel veel succes met je onderzoek! Foeke van der Zee 6
De tekst in dit paper is verwerkt in mijn boeken. Als jij wilt leren goed onderzoek te doen, raad ik je aan een van mijn boeken aan te schaffen. Ze zijn te bestellen via de site: www.hulpbijonderzoek.nl. Binnen een à twee werkdagen heb je dan het boek in huis. Hulp bij Onderzoek helpt iedereen met zijn of haar onderzoek. Je kunt bij ons terecht voor: Persoonlijke hulp en begeleiding - hulp bij het schrijven van je onderzoeksvoorstel - hulp bij het analyseren van je data - hulp bij het schrijven van je onderzoeksverslag Online informatie (alleen voor leden van Hulp bij Onderzoek) - online woordenboek onderzoek en statistiek - papers over onderzoek, methodologie, statistiek en SPSS - online videocursus methodologie - online steekproefcalculator Online cursussen - Online video s over Statistiek (statistiek wordt heel begrijpelijk uitgelegd) - Online video s over SPSS (leer hoe je de analyses uitvoert in SPSS) - Basiscursus Statistiek en SPSS Boeken over onderzoek - methodologie voor onderzoek in marketing en management - methodologie voor sociaalwetenschappelijk onderzoek - methodologie voor onderzoek in zorg-, welzijn en hulpverlening - methodologie voor onderzoek in de verpleegkunde - online enquêteren, de do s en don ts van onderzoek via internet Voor meer informatie kijk je op www.hulpbijonderzoek.nl. Ik wens je heel veel succes met je onderzoek! Foeke van der Zee Foeke van der Zee Specialist in onderzoek en statistiek 7 www.hulpbijonderzoek.nl White paper: Representativiteit