Wat we nog niet weten Tekortkomingen en blinde vlekken bij de analyse van de Nederlandse maatschappij

Transcriptie

1 J.E. ELLEMERS 1 Wat we nog niet weten Tekortkomingen en blinde vlekken bij de analyse van de Nederlandse maatschappij De afgelopen vijftig jaar is onze kennis over de maatschappij toegenomen. Door het verzamelen en analyseren van talloze empirische gegevens weten we in tal van opzichten thans veel beter hoe de maatschappij in elkaar zit dan in de jaren vlak na de Tweede Wereldoorlog. Er zijn echter ook nog relatief blinde vlekken: onderwerpen of verschijnselen waar we veel minder van afweten dan we zouden wensen. Het betreft verschijnselen die misschien niet op de juiste wijze zijn onderzocht, of onderwerpen waar betrekkelijk weinig aandacht aan is besteed. Dit is natuurlijk een zeer generaliserende uitspraak. Want haast over ieder onderwerp dat men zou kunnen bedenken, heeft vermoedelijk ooit wel eens iemand onderzoek gedaan. Toch houd ik staande dat er in de Nederlandse sociale wetenschappen onderwerpen zijn aan te wijzen, die op onjuiste wijze zijn onderzocht of betrekkelijk weinig aandacht hebben gehad. 1. Het schandaal van de non-respons 482 Het grootste probleem en ook het grootste schandaal in de Nederlandse sociale wetenschappen is in mijn ogen de dubieuze kwaliteit van veel gegevens waarop onderzoek is gebaseerd. Het is misschien deels onvermijdelijk dat in survey-onderzoeken beoogde respondenten niet bereikbaar blijken te zijn voor of zich anderszins (bijvoorbeeld door weigering) onttrekken aan ondervraging. Maar dat we zo langzamerhand van 50 procent of meer van de beoogde respondenten in het geheel niets weten, is eigenlijk schandalig. Het standaardantwoord op dit probleem is dat met betrekking tot sommige onafhankelijke variabelen (met name geslacht en leeftijd) de non-respons soms weinig verschil vertoont in vergelijking met de totale te onderzoeken populatie. Dus, zo wordt vaak geconcludeerd, de non-respons doet er eigenlijk niet zoveel toe. Gemakshalve laat men dan buiten beschouwing dat met betrekking tot andere onafhankelijke variabelen, die voor de uitkomsten van het onderzoek meestal veel wezenlijker zijn zoals bijvoorbeeld beroep, inkomen, politieke keuze, godsdienstige affiliatie, aarde-

2 oriëntaties er veel minder of zelfs in het geheel geen inzicht bestaat hoe deze over de non-respons zijn verdeeld in vergelijking met degenen die wel werden ondervraagd. Maar veel en veel ernstiger is natuurlijk dat meestal in het geheel niets bekend is over de verdeling van non-respondenten met betrekking tot de afhankelijke variabelen, dit wil zeggen de variabelen die men wil onderzoeken: (de mate van) politieke belangstelling, deelname aan bepaalde activiteiten, enzovoort. Ook voor dit probleem wordt een standaardantwoord gehanteerd: als de steekproef maar een voldoende grootte heeft, dan is de omvang van de non-respons niet zo belangrijk. Want zo wordt dan gezegd het gaat slechts om verbanden tussen variabelen en die blijven dezelfde ongeacht de omvang van de non-respons. Dit is echt onzin. Want de verbanden tussen onafhankelijke en afhankelijke variabelen kunnen wel degelijk anders zijn door een hoge(re) nonrespons. Bij herhaling is vastgesteld dat reeds bij een non-respons van 20 of 30 procent de verbanden tussen onafhankelijke en afhankelijke variabelen anders (kunnen) liggen wanneer ook de gegevens van de non-respondenten zouden zijn verwerkt. Dit is ere wie ere toekomt met name verschillende malen aan de orde gesteld in de Sociologische Gids, te beginnen door Fluttert (1980, nr. 2) en vervolgens door Van Goor en Stuiver (1995, nr. 6) en Visscher (1997, nr. 3) om enkele namen te noemen. Het schandaal is dus niet zozeer dat niet bekend zou zijn dat al bij een non-respons van 20 of 30 procent de uitkomsten van een survey-onderzoek dubieus (kunnen) zijn. Het schandaal is (a) dat dit jarenlang stelselmatig is ontkend of gebagatelliseerd; en (b) nog veel ernstiger: dat er nauwelijks serieuze aandacht is besteed aan de vraag hoe dit defect gerepareerd zou kunnen worden. 2. Vertekend beeld van de werkelijkheid Deze tekortkoming van veel survey-onderzoek is totnogtoe het meest opgevallen bij verkiezingsonderzoeken en bij grote survey-onderzoeken van instellingen als CBS en SCP. Zo bleek bijvoorbeeld dat na de verrassende verkiezingsuitslagen van 2002 (die behoren tot de vier meest veranderlijke parlementsverkiezingen in heel West-Europa sinds 1900) 2, nauwelijks duidelijk werd waarom deze zo veranderlijk waren. Dit heeft veel te maken met het feit dat kennelijk degenen die in het verkiezingsonderzoek niet konden worden bereikt, meer zwevende kiezers omvatten en mensen die minder belangstelling hebben voor politiek en/of kritischer of cynischer staan tegenover het heersende bestel. Dit is al in 1995 aannemelijk gemaakt door Gerard Visscher (in Kiezersonderzoek op een dwaalspoor), aanvankelijk ontkend en later schoorvoetend toegegeven in discussies over dit onderwerp. Het is nog onlangs opnieuw beargumenteerd door Van Goor in de vorige jaargang van de Sociologische Gids (nr. 3). 483

3 484 Het serieuze defect van de non-respons doet zich overigens niet alleen voor bij verkiezingsonderzoek, maar ook bij andere grote survey-onderzoeken. Zo stelde het Sociaal Cultureel Planbureau nog in 1999 vast dat de tevredenheid van de Nederlandse burgers over de overheid in de tweede helft van de jaren negentig (aanzienlijk) toenam. De verkiezingsuitslagen van 2002 roepen hier ernstige vragen over op. Vragen die vooral in verband moeten worden gebracht met de hoge non-respons in de onderzoeken waarop deze inzichten zijn gebaseerd. Het vraagstuk van de non-respons wordt nog veel ernstiger nu meer survey- en opinie-onderzoeken gebaseerd zijn op telefonische enquêtes. Hierbij ontstaat zo langzamerhand een kolossale onderdekking, doordat steeds meer mensen geen bekend telefoonnummer hebben (30 procent of meer?) of alleen maar via mobiele telefoons bereikbaar zijn. Het ernstige daarbij is vooral dat deze onderdekking niet at random voorkomt, maar enerzijds hogere statuscategorieën betreft en anderzijds mensen met lagere status, jongeren, allochtonen, enzovoort. Anders gezegd: survey-onderzoeken en vooral degene die gebaseerd zijn op telefonische enquêtes geven een aanzienlijke vertekening van de maatschappelijke werkelijkheid, zoals Rispens en Van Goor in dit tijdschrift (2000, nr. 6) al voor 1996 (acht jaar geleden!) hebben gedemonstreerd. Bij grote survey-onderzoeken loopt dit zo langzamerhand in de gaten. Maar ook bij veel kleinere onderzoeken, die vrijwel dagelijks plaatsvinden, is vaak sprake van aanzienlijke non-respons, soms van procent of meer. Wie vervolgens kennisneemt van de vaak torenhoge conclusies, die op basis van dergelijk onderzoek worden getrokken, verbaast zich nauwelijks meer dat sociaal-wetenschappelijk onderzoek vaak zo weinig cumulatief is. Het is een bijzonder ernstig probleem dat de validiteit en betrouwbaarheid van veel onderzoek aantast. Het is natuurlijk niet helemaal onbegrijpelijk dat dit probleem wel (door sommigen) wordt onderkend, maar dat er nog zo weinig wordt ondernomen om dit defect te repareren. Van respondenten in spe die niet bereikt (kunnen) worden of weigeren vragen te beantwoorden, is het per definitie moeilijk gegevens te verzamelen. Aanvullend onderzoek onder non-respondenten of een meer assertieve wijze van benadering van weigerende respondenten is maar een beperkte remedie en nog minder het hanteren van corrigerende wegingsfactoren (want men weet niet goed wát men moet wegen). Er moet serieus worden nagedacht over alternatieve methoden en technieken: meer exit-interviews bij verkiezingen (alhoewel dit ook beperkingen heeft), waarneming van gedrag, schriftelijke bronnen, unobtrusive measures en bovenal andere (quasi-experimentele) onderzoeksontwerpen. Zoals op andere terreinen van wetenschappelijk onderzoek, zou ook hier moeten gelden dat wanneer een bepaald instrument steeds grotere (en niet goed in te schatten) vertekeningen oplevert, er omgezien moet worden naar andere instrumenten. Dit kan betekenen dat onderzoek kostbaarder en meer tijdrovend wordt. Maar met het goedpraten van en lamme excuses

4 verzinnen over non-respons kunnen we niet langer genoegen nemen. 3. Fraude, geweld, Tweede Wereldoorlog Ook op andere terreinen van sociaal-wetenschappelijk onderzoek bestaan soms blinde vlekken. De omvang van dit artikel staat helaas niet toe om hier al te diep op in te gaan en ik moet volstaan met globale aanduidingen. Er bestaan bijvoorbeeld nog maar weinig sociaal-wetenschappelijke studies over fraude en corruptie, terwijl dit verschijnsel een steeds opvallender rol speelt in het maatschappelijk leven. Ook hier gaat het om verschijnselen waarover haast per definitie moeilijk feiten zijn te verzamelen. Want het speelt zich af in het geniep. Op dit terrein is enig inzicht niet helemaal afwezig. In 1960 wijdde de Nederlandse Sociologische Vereniging een bijeenkomst aan corruptie, Hoetjes publiceerde erover en sinds een aantal jaren houdt een groep onderzoekers aan de Vrije Universiteit (Huberts, Van den Heuvel et al.) zich met dit onderwerp bezig. Ook was er onderzoek naar fraude onder bijstandstrekkers. Toch valt op dat maar weinig onderzoekers zich bezighouden met white collar crime, waarover we vrijwel dagelijks in de krant lezen. Maar misschien ben ik niet goed geïnformeerd en verschijnen er binnenkort hierover onthullende studies. In de sociaal-wetenschappelijke tijdschriften is echter nog weinig te vinden op dit gebied. Ditzelfde geldt min of meer voor geweld in de maatschappij. Er is enige aandacht voor huiselijk geweld, geweld op straat en er is de studie van Van Reenen over Overheidsgeweld (1979). Ook kan men opmerken dat geweld in de Nederlandse maatschappij totnogtoe (gelukkig) maar een bescheiden rol heeft gespeeld. Toch is dat laatste niet helemaal waar. Zo kende in de jaren zeventig Nederland wel degelijk terroristisch geweld, waarbij zestien mensen om het leven kwamen. Dit betrof vooral geweld van een nationalistische groep Molukkers, waaraan ook aandacht is besteed door beoefenaren van de sociale wetenschappen (onder andere Bartels en Steijlen). Verder waren er inventarisaties van geweld (door Schmid en Jongman) en was er aandacht voor de krakers- en andere protestbewegingen (onder andere door Van Noort en Huberts). Maar over andere en recentere vormen van geweld en politiek geweld is er niet veel meer dan de dissertatie (Overtuiging en geweld, 1995) en een enkel artikel van Buijs en een overzicht van Hoogerwerf (Geweld in Nederland, 1996). Over de achtergronden van bijvoorbeeld dierenactivisme en andere vormen van links activisme, die sinds de jaren tachtig een toenemende rol spelen, zoals Buijs in 1995 berichtte, evenals over later etnisch en religieus georiënteerd geweld, moeten we het echter doen met enkele (soms dubieuze) journalistieke geschriften en zijn er totnogtoe nauwelijks analytische studies van sociaal-wetenschappelijke huize. Haast nog opvallender is de geringe aandacht voor een sociaal-wetenschappelijke analyse van gebeurtenissen in de Tweede Wereldoorlog. Het 485

5 betreft hier bovendien niet een marginaal verschijnsel, zoals ten aanzien van fraude en geweld nog zou kunnen worden gesteld. Zeker, er was aandacht voor de gevolgen van de oorlog. Maar het is opvallend dat na de studie van Kruijer, Hongertochten (1951), pas de allerlaatste jaren sociologen zich weer met de oorlog zelf zijn gaan bezighouden, zoals Ultee (over de jodenvervolging) en Lammers (over bezetting als sociologisch verschijnsel). 4. Ingebouwde bias? 486 Men kan zich afvragen of de relatief geringe aandacht voor sommige verschijnselen (zoals fraude, corruptie, geweld, Tweede Wereldoorlog) of het vertekende beeld van de maatschappelijke werkelijkheid door het hanteren van een bepaalde methode van onderzoek (waardoor bijvoorbeeld ontevredenheid van burgers niet adequaat wordt gesignaleerd) te maken heeft met een soort ingebouwde bias in de sociale wetenschappen. Te denken valt aan een middle class bias. Verder is er soms sprake van een zekere bijziendheid, waardoor bepaalde problemen directbetrokkenen minder opvallen dan (relatieve) buitenstaanders. Ik heb er al eens eerder op gewezen (Sociologische Gids, 1979, nr. 6) dat sommige onderwerpen voor het eerst aan de orde zijn gesteld door buitenlanders, zoals bijvoorbeeld Lijphart (verzuiling in vergelijkend perspectief ), Bagley (etnische verhoudingen), Punch (politie) en Moharir (sluiting van de mijnen). De bias kan ook te maken hebben met het feit dat betrekkelijk veel sociaal-wetenschappelijk onderzoek in Nederland in opdracht (van de overheid) wordt verricht. Dit geldt misschien ook voor andere thema s dan de reeds genoemde. Zo valt op dat maar weinig sociologen en politicologen nog aandacht hebben voor inkomens- en vermogensverdeling. Er is een artikel van Hoefnagels Nederland een sociaal paradijs? (Sociologische Gids, 1961, nr. 6), de studie van Durlacher over De laagstbetaalden (1965), het rapport van Köbben en Godschalk over Een tweedeling in de maatschappij? (1985) en er zijn enkele studies rond armoede en bijstand en over profijt van de overheid. Sinds de jaren tachtig is de inkomensverdeling in Nederland aanzienlijk schever geworden, zoals trouwens in andere landen. Maar met de loffelijke uitzondering van Wilterdink hebben weinig sociologen en politicologen zich diepgaand met dit thema beziggehouden. Zeker, er zijn talloze studies over sociale ongelijkheid in het algemeen, beroepsaanzien en mobiliteit en de rol die bijvoorbeeld onderwijs, het gezin of etnische achtergrond hierbij spelen. Maar in algemene studies over sociale ongelijkheid komen inkomensongelijkheid en vermeende kloven er bekaaid af, zoals Braam en Van Goor in dit tijdschrift (1998, nr. 1) al eens hebben duidelijk gemaakt. Er zijn mogelijk meer thema s aan te wijzen, waar sociaal-wetenschappelijk onderzoek blinde vlekken vertoont. In het signaleren van zulke blinde vlekken schuilt misschien iets onredelijks. Er zijn ook talloze terreinen, waar sociaal-wetenschappelijk onderzoek wél tot grote en soms

6 zelfs indrukwekkende vermeerdering van inzicht heeft geleid. Maar wanneer we terugblikken op een ontwikkeling van vijftig jaar en ons tegelijkertijd afvragen wat ons in de komende periode te doen staat, dan zijn er toch wel gebieden die meer aandacht verdienen. In mijn ogen is het onderwerp dat de meeste aandacht verdient dat van de non-respons. Het kan toch niet zo zijn dat ons zicht op de maatschappelijke werkelijkheid zo wordt vertekend door onjuiste meetprocedures? Procedures bovendien, waarvan velen inmiddels inzien dat deze niet deugen, maar waaraan al jarenlang weinig tot niets wordt gedaan. Hier op bevredigende wijze verandering in brengen, lijkt me een belangrijke taak van de sociale wetenschappen in de komende periode. Noten 1 Geert Braam en Henk van Goor ben ik erkentelijk voor hun commentaar op een eerdere versie. 2 Deze informatie ontleen ik aan P. Mair (2002) De eigenaardigheden van de Nederlanders: De verkiezingen van 2002 in vergelijkend perspectief. Beleid en Maatschappij 29 (3) Om de literatuurverwijzingen binnen proporties te houden, volsta ik verder met verwijzingen in de tekst. 487