Selectie van onderzoekseenheden: steekproeven

Transcriptie

1 H4 Ethiek in sociaalwetenschappelijk onderzoek H7 Selectie van onderzoekseenheden: steekproeven 163

2 D2 Planning en voorbereiding van empirisch onderzoek H7 2 november 1948 was zonder twijfel één van de somberste dagen uit de loopbaan van politiek analist Arthur Sears Henning. Henning was als correspondent werkzaam voor de republikeinsgezinde Chicago Daily Tribune. Op die dag bracht hij vanuit Washington verslag uit van de presidentsverkiezingen tussen democraat Harry S. Truman en republikein Thomas E. Dewey. Bij het ter perse gaan van de krant waren nog niet alle resultaten uit de East Coast staten bekend, maar zowel de eerste cijfers als de verkiezingspolls van de afgelopen dagen wezen Dewey duidelijk als overwinnaar aan. Dus waarom zou Henning de gok niet wagen? Hij was er in het verleden toch al meermaals in geslaagd de winnaar van de presidentsverkiezingen te voorspellen? Henning kroop in zijn pen en schreef een hoofdartikel met als titel Dewey defeats Truman, waarin hij Dewey als winnaar proclameerde. De persen gingen aan het rollen. Luttele uren later bleek dat Henning de bal volledig mis had geslagen. Zittend president Truman verwierf overtuigend een nieuw mandaat met 303 kiesmannen tegenover 189 voor Dewey. Ondertussen waren al exemplaren verspreid mét Hennings foutieve krantenkop op de voorpagina. In een tweede editie werd de hoofdtitel nog snel gewijzigd in Democrats make sweep of state offices, maar het kwaad was geschied. Dit geval is de geschiedenis ingegaan als één van de meest pijnlijke krantenkoppen ooit. Foto s waarop een lachende Truman met een kopij van de Chicago Daily Tribune zwaait, gingen de wereld rond. Dit voorval zorgde meteen ook voor een grootschalige blunder in de peiling-industrie. Niet minder dan drie grote verkiezingspolls namelijk die van Roper, Crossley en Gallup hadden Dewey als duidelijke overwinnaar aangeduid. De peilers hadden het niet gemakkelijk deze fout te verteren. Maar liefst 50 jaar later verklaarde Ropers zoon eveneens actief in de polling-business het volgende aan de LA Times: I don t think the polls were wrong in terms of measuring national sentiment. Clearly they were wrong in determining the election. I think the 1948 polls were more accurate than the 1948 election. (LA Times, 01/01/1998). Het mag dan wel om een commerciële poll gaan, deze blunder beroerde ook de gemoederen van sociale wetenschappers. Zo riep de Social Science Research Council een commissie in het leven, samengesteld uit bekende politieke wetenschappers en surveyonderzoekers, om na te gaan waarom de polls en voorspellingen de mist waren ingegaan. In een lijvig rapport (Mosteller et al., 1949) stelde de commissie meerdere methodologische tekortkomingen achter de verkiezingspolls aan de kaak. Eén van de voornaamste problemen was dat pollsters gebruikmaakten van zogenaamde quotasampling in plaats van 164

3 Een lachende Truman met de foute krantenkop in de 'Chicago Daily Tribune'. echte toevalsteekproeven: interviewers werden gevraagd om voor verschillende bevolkingsgroepen bijvoorbeeld mannen en vrouwen, jongeren en ouderen bepaalde aantallen respondenten te bevragen. Binnen deze groepen waren de interviewers echter vrij om zelf onderzoekseenheden te selecteren. Dit leidde tot een oververtegenwoordiging van hoogopgeleiden een groep bij wie Dewey veel steun genoot. De steekproeven bevatten ook personen die niet zijn gaan stemmen, terwijl kiezers die onbeslist waren op het moment van het interview uit de analyse werden weggelaten. Kortom, de peilers hadden de onderzochte personen onnauwkeurig geselecteerd en kwamen net daarom tot verkeerde conclusies. Ruim een halve eeuw na dit vernietigende rapport zijn polls nog altijd bijzonder populair in de media. Nog steeds worden suboptimale steekproeven gebruikt en nog steeds zitten voorspellingen er regelmatig flink naast. En dat is niet zo onschuldig als het lijkt, want vertekende peilingen creëren een fictie die een vertekenend effect kan hebben op het politieke landschap (Billiet & Sonck, 2009) Inleiding Empirische waarneming vormt een onmisbaar ingrediënt van sociaalwetenschappelijk onderzoek. Onderzoekers doen observaties om na te gaan of hun theoretische ideeën wel degelijk een adequaat beeld schetsen van de sociale realiteit(en). Naast de kwestie hoe en wat je waarneemt voor de operationalisering van kenmerken verwijzen we naar Hoofdstuk 6 is de vraag bij wie je deze kenmerken zal observeren eveneens aan de orde. Bij de keuze van onderzoekseenheden dringt zich een selectie op. Doorgaans kiezen onderzoekers slechts een beperkt aantal eenheden die ze in detail wensen te observeren. Of in methodologisch jargon: uit de populatie wordt een steekproef getrokken. Wie een verkiezingspoll organiseert, bevraagt niet alle kiezers maar beperkt zich tot een selectie. De wijze waarop je onderzoekseenheden selecteert, is van cruciaal belang. Wie op een verkeerde manier selecteert, kan bedrogen uitkomen je wil niet in de voetsporen van de onfortuinlijke Henning treden. In dit hoofdstuk staan enkele basisbegrippen van steekproeftrekking centraal en krijg je een overzicht van de uiteenlopende logica s die hierachter schuilgaan. 165

4 D2 Planning en voorbereiding van empirisch onderzoek Onderzoekseenheden, populatie en steekproef Waarnemingseenheden: de onderzoekseenheden waarbij je waarnemingen uitvoert; moet onderscheiden worden van analyse eenheden. Analyse-eenheden: de onderzoekseenheden waarover je uitspraken doet; moet onderscheiden worden van waarnemingseenheden. Aggregatie: het samenvoegen van observaties op een lager niveau om uitspraken te kunnen doen over eenheden op een hoger niveau. Desaggregatie: het gebruiken van observaties van eenheden op een hoger niveau om uitspraken te doen over eenheden op een lager niveau. Ecologische fout: uit observaties op een hoger niveau verkeerde conclusies trekken over eenheden op een lager niveau. Omdat sociale wetenschappers zich voornamelijk met menselijk gedrag bezighouden, is het verleidelijk bij de term onderzoekseenheden onmiddellijk aan individuen te denken. Onderzoek gaat echter niet steeds over personen. Communicatiewetenschappers bestuderen de inhoud en vorm van krantenartikels, politieke wetenschappers pluizen partijprogramma s uit, sociologen onderzoeken het functioneren van organisaties en criminologen focussen op gesteld gedrag dat strafbaar is. In dit opzicht kunnen onderzoekseenheden dan ook evengoed objecten als subjecten zijn. Het afbakenen van onderzoeks eenheden is niet altijd eenvoudig. Zo moet je bijvoorbeeld een onderscheid maken tussen waarnemingseenheden dit zijn de eenheden waarbij een onderzoeker kenmerken waarneemt en analyse eenheden dit zijn de eenheden waarover uitspraken worden gedaan. Vaak observeer je rechtstreeks de eenheden waarover je uitspraken wil doen, maar dit hoeft niet noodzakelijk het geval te zijn. Wie geïnteresseerd is in de kwaliteit van een huwelijk (de analyse eenheid), zal bijvoorbeeld gehuwde partners (de waarnemingseenheden) observeren door middel van een interview. Een bijkomende complexiteit is dat onderzoekseenheden op verschillende niveaus beschouwd kunnen worden, waarbij eenheden op hogere niveaus bestaan uit meerdere eenheden van lagere niveaus. De onderwijscontext levert hiervan een klassiek voorbeeld, waarbij je op zijn minst drie niveaus kan onderscheiden. Een school (hoogste niveau) omvat verschillende klassen (middelste niveau) waarin meerdere leerlingen (laagste niveau) les krijgen. Onderwijsonderzoekers kunnen in de kenmerken van elk van deze niveaus geïnteresseerd zijn. Omdat de sociale realiteit gelaagd is, vind je talloze voorbeelden van eenheden op meerdere niveaus: individuen maken deel uit van gezinnen, zijn tewerkgesteld in bedrijven, nemen actief deel in culturele organisaties en sportclubs en wonen in gemeenten en natiestaten. In sommige gevallen bevinden waarnemings en analyse eenheden zich op een verschillend niveau. Wanneer eenheden op een lager niveau geobserveerd worden om uitspraken te doen over eenheden op een hogere niveau, spreekt men over aggregatie. Zo kan je de etnische achtergrond van leerlingen (leerlingenkenmerk) observeren om na te gaan of een school al dan niet etnisch homogeen is (schoolkenmerk). Desaggregatie betekent dan weer dat je observaties van eenheden op een hoger niveau toewijst aan eenheden op een lager niveau. Dit is het geval wanneer je bijvoorbeeld het schoolnet waarbinnen een kind onderwezen wordt (een schoolkenmerk) gebruikt op leerlingniveau. Het springen van het ene niveau naar het andere is echter niet zonder gevaar. Wie op foutieve wijze conclusies op basis van eenheden op een hoger niveau doortrekt naar een lager niveau, begaat een zogenaamde ecologische fout (ecological fallacy in het Engels; Robinson, 1950). Het Vlaamse politieke landschap biedt een mooie illustratie van zo n redenering. Eind jaren 1980 kende de anti immigratie partij Vlaams Blok haar doorbraak precies in de districten van Antwerpen met een groot aandeel inwoners van vreemde afkomst (zie 166

5 H7 Selectie van onderzoekseenheden: steekproeven bijvoorbeeld Poznyak, Abts & Swyngedouw, 2011). Op het niveau van de gemeente was er een positieve samenhang tussen het percentage Vlaams Blok stemmers en het aandeel inwoners met een immigratie achtergrond. Uiteraard kan je dit verband niet zomaar naar individuen doortrekken: het is niet zo dat personen met een migratie achtergrond vaker voor het Vlaams Blok stemden, wel integendeel. Het omgekeerde uit informatie over eenheden op een lager niveau verkeerde conclusies trekken over eenheden op een hoger niveau wordt een individualiseringsfout genoemd (atomistic fallacy in het Engels). Het is bijvoorbeeld bekend dat een meerderheid van individuele Belgen ervoor gewonnen is grote vermogens zwaarder te belasten (zie bijvoorbeeld De Morgen van 16/11/2012: Belgen massaal achter rijkentaks ). Toch mag je uit deze observatie van individuele onderzoekseenheden niet zomaar besluiten dat België als land voor een vermogensbelasting staat. Politieke processen en ingrepen van belangengroepen leiden ertoe dat individuele opinies niet automatisch in veranderingen op nationaal niveau resulteren. Individualiseringsfout: uit observaties op een lager niveau verkeerde conclusies trekken over eenheden op een hoger niveau. Criminaliteit en ecologische fout Waarom worden sommige gemeenten geplaagd door criminaliteit, terwijl er in andere nauwelijks criminele feiten gepleegd worden? Om deze vraag te beantwoorden deden Hooghe en zijn collega s (2011) een analyse op basis van gemeentelijke, administratieve databases. De gemeenten vormden hier de analyse-eenheden. Omdat alle 589 Belgische gemeenten in het onderzoek betrokken werden, kan je hier spreken van een populatieonderzoek. De onderzoekers gingen na of criminaliteitscijfers samenhangen met gemeentelijke kenmerken zoals werkloosheidsgraad, inkomensongelijkheid en de aanwezigheid van inwoners met een andere nationaliteit. Hooghe en zijn team kwamen tot de vaststelling dat vooral werkloosheid sterk samenhangt met de prevalentie van criminele feiten. In gemeenten met een grote inkomensongelijkheid doet zich meer eigendomscriminaliteit (inbraken en diefstal) maar minder gewelddadige criminaliteit voor. Het aandeel vreemdelingen in een gemeente, ten slotte, bleek niet gerelateerd te zijn aan criminaliteitssta tistieken. Voor verschillende van deze kenmerken fungeerden individuen als waarnemingseenheid. De kenmerken jobstatus, inkomen en nationaliteit werden immers bij individuen geobserveerd en vervolgens geaggregeerd naar het gemeentelijk niveau. Bij de interpretatie van de conclusies mag je niet uit het oog verliezen dat dit onderzoek de samenhang tussen gemeentelijke kenmerken betreft, die niet zomaar naar individuen mogen worden geëxtrapoleerd. Dat gemeenten met hoge werkloosheid veel criminaliteit kennen, impliceert niet dat werkloze individuen vaker criminele feiten begaan. Wie zich toch aan dergelijke uitspraken waagt, riskeert een ecologische fout te begaan. 167