CentERpanel, representativiteit en weging. Dirk Sikkel

Transcriptie

1 CentERpanel, representativiteit en weging Dirk Sikkel 25 februari 2000

2 ii Inoud pagina 1. Inleiding 1 2. Procedures en selectiviteit 2 3. Steekproeven en representativiteit; een istorisc overzict Het gebruik van steekproeven Het gebruik van ulpinformatie Representativiteit 7 4. Frequentieverdelingen Werving en benadering Verdelingen in et panel en referentieverdelingen Herweging: uitvoering en toepassing Wanneer eeft erwegen zin? 14 Literatuur 16

3 1. Inleiding Het CentERpanel is et belangrijkste onderzoekinstrument van de Sticting CentERdata. Het panel bestaat uit een steekproef van ongeveer 2000 uisoudens die bescikken over een PC en een modem. De panelleden beantwoorden wekelijks een vragenlijst die en langs electronisce weg wordt toegezonden. De antwoorden op de vragen worden, eveneens langs electronisce weg, naar CentERdata gestuurd. De panelleden vullen de vragenlijsten in gedurende et weekend. Ieder jaar wordt aan de panelleden ongeveer 50 vragenlijsten ter beantwoording aangeboden. Hierbij rijst de vraag oe de kwaliteit van de onderzoeksuitkomsten moet worden beoordeeld. Daaraan gekoppeld is de vraag in welke mate et zinvol is om resultaten die zijn verkregen door et naief tabelleren van de antwoorden van respondenen, acteraf nog bij te scaven, bijvoorbeeld door erweging. Dagelijks worden via wetenscappelijke tijdscriften, boeken, kranten, radio en televisie talloze uitkomsten van steekproefonderzoek gepresenteerd. Wanneer de kwaliteit van dit type onderzoek aan de orde komt, blijkt er vaak een grote spraakverwarring op te treden. Voor wetenscappelijk klinkende termen als betrouwbaareid, validiteit, representativiteit en nauwkeurigeid ebben vele sprekers en scrijvers zo un eigen, vaak impliciete, definitie. Om deze reden worden niet alleen de feitelijke steekproef- en wegingsprocedures besproken, maar wordt er ook uitvoerig ingegaan op de inoud en contekst van de verscillende begrippen en de wijze waarop wegingsprocedures in verscillende situaties al dan niet kunnen worden toegepast. 2. Procedures en selectiviteit Het opbouwen en onderouden van et CentERpanel gebeurt in een aantal stappen. In elk van deze stappen ontstaan er vormen van selectiviteit waarmee in principe rekening moet worden geouden bij et interpreteren van de uitkomsten van onderzoek en waarvoor soms corrigerend moet worden opgetreden. De stappen kunnen als volgt worden omscreven 1. Werving. Dit is een kort telefonisc interview onder een aselecte steekproef uit de Nederlandse populatie waarin onder meer aan de respondenten wordt gevraagd of ze bereid zijn om mee te doen aan langer lopend onderzoek. Van de respondenten die daartoe bereid zijn worden de gegevens opgenomen in et benaderingsbestand, een bestand van potentiële panelleden. 2. Benadering. Wanneer een uisouden et CentERpanel verlaat, wordt in et bestand van de potentiële panelleden naar een nieuw uisouden gezoct. Dit gebeurt op zo n manier dat de verdeling van een aantal belangrijke demografisce variabelen binnen et panel zo goed mogelijk lijkt op de verdeling van dezelfde variabelen binnen de Nederlandse populatie. 3. Installatie. Aan de respondenten die ook na et benaderingsinterview bereid zijn gevonden lid van et CentERpanel te worden wordt de nodige ard- en software toegestuurd. Ook gaat soms de tecnisce dienst bij en langs om een en ander te installeren. In al deze stappen kunnen uisoudens afvallen. Bij de werving bedraagt et aantal personen dat bereid is om aan et telefonisc interview deel te nemen 61.6%. Aan et eind van dit

4 2 interview wordt 52.1% van de respondenten opgenomen in et benaderingsbestand opgenomen. Van de respondenten die uit dit benaderingsbestand worden getrokken is 33.5% bereid en in staat om lid van et CentERpanel te worden. Bij elkaar wordt dus slects 10.7% van de benaderde personen daadwerkelijk lid van et panel. Het vertrekpunt bij de bovenstaande procedure is een aselecte steekproef uit de Nederlandse bevolking. In de verscillende stappen vallen er ecter steeds uisoudens af, waarbij niet op voorand mag worden aangenomen dat dit op een aselecte manier gebeurt. Teneinde ierover informatie te verkrijgen worden ook aan de uisoudens die afvallen een aantal vragen gesteld. De resultaten iervan kunnen worden gebruikt bij de beoordeling en eventuele correctie van de uitkomsten van de onderzoeken bij et CentERpanel. Naast mogelijke selectiviteit bij benadering en werving is er natuurlijk ook kans op selectiviteit bij de beantwoording van de wekelijkse vragenlijsten, et gevolg van wavenonrespons. De wekelijkse respons bedraagt 65%; de non-respondenten oeven op wezenlijke kenmerken niet noodzakelijk overeen te komen met degenen die wel respondeerden. Bij veel survey-onderzoek is ook sprake van item-nonrespons, et niet beantwoorden van één of een beperkt aantal vragen in een vragenlijst. Door et computergestuurde karakter van de vragenlijsten komt dit type van non-respons bij CentERdata slects voor wanneer et natwoordalternatief weet niet is toegestaan niet voor (en et is dan afankelijk van de contekst of dit wel als item-nonrespons moet worden geïnterpreteerd). Voordat we ingaan op de manier waarop met deze verscijnselen wordt omgegaan wordt in de volgende paragraaf aan de and van de istorisce ontwikkeling een korte inleiding gegeven in de teorie van omgaan met en erwegen van steekproeven. 3. Steekproeven en representativiteit, een istorisc overzict 3.1 Het gebruik van steekproeven Steekproeven kunnen globaal twee verscillende doelen dienen. Het eerste doel is om de geldigeid van wetenscappelijke wetten te onderzoeken. Dit soort wetten kunnen uitspraken zijn als werklooseid leidt tot verlaging van et welzijn of worden geformuleerd in een complex wiskundig model, bijvoorbeeld met variabelen die et welzijn causaal beïnvloeden. Onderzoek aan dergelijke wetmatigeden stelt uiteraard eisen aan de steekproef (zonder een vertegenwoordiging van zowel werklozen als werkenden in de steekproef kan geen vergelijkend onderzoek naar welzijn worden gedaan), maar deze eisen zijn minder stringent en controversieel dan bij et tweede doel waarvoor steekproefonderzoek wordt gebruikt. Dit doel is et uitspraken doen over eindige populaties, waarin niet alle elementen worden waargenomen. Van dit type steekproeven wordt in et onderstaande kort de gesciedenis beandeld. De gedacte dat op basis van relatief kleine steekproeven uitspraken over een populatie kunnen worden gedaan is nog maar van betrekkelijk recente datum, tenminste wanneer we de gesciedenis van de wiskunde en de natuurwetenscappen als maatstaf nemen. In 1895 ield de directeur van et Noorse Centraal Bureau voor de Statistiek, Andres Nicolai Kiaer, op et congres van et International Statistical Intitute voor et eerst een pleidooi voor le dénombrement représentatif (de Mast, 1998). Hoon was zijn deel; een deelnemer stelde dat

5 3 een steekproef slects cijfers oplevert die voor de feitelijk waargenomen eeneden gelden en niet voor de populatie. ik moet ieraan nog toevoegen, dat er onder ons een stroming is in de geesten van wiskundigen die ons op veel meer manieren laat rekenen dan waarnemen. We moeten pal staan en zeggen: geen gereken daar waar de waarneming mogelijk is. Ook bij latere ISI-congressen tractte Kiaer steun voor zijn ideeën te vinden, maar ij bleef zwak staan, met name omdat ij geen overtuigende metode ad om de betrouwbaareid van zijn uitkomsten te kwantificeren. In 1906 vond Kiaer een medestander in Bowley, die de respresentatieve metode toepaste in zijn Survey of London Labour and Life. Bowley kwam met formules voor zekereidsmarges die gebaseerd waren op standaardafwijkingen. De metode veronderstelde dat elk element in de populatie dezelfde kans ad om in de steekproef te vallen. Ook introduceerde ij een metode om met een soort quota-steekproeven te werken. Deze metode, purposive sampling, kwam er op neer dat bewust steekproefelementen werden getrokken die de eigenscappen van een populatie optimaal representeren. De statistisce gemeenscap bleef deze nieuwlicterij ecter afwijzen. Pas in 1934 werd door Neyman een nieuwe belangrijke stap gezet. Hij toonde de zwakte aan van de subjectieve metode van Bowley en stelde daar de metode van stratified sampling tegenover. Deze metode komt er op neer dat stratificatie slects dan mogelijk is wanneer de populatieomvangen van de strata (dat wil zeggen: deelpopulaties) bekend zijn. De Neyman-allocatie oudt in dat binnen de strata steekproeven worden getrokken met omvangen die evenredig zijn aan de populatieomvangen binnen de strata. In 1937 wordt, onder budgettaire druk, in de Verenigde Staten in et kader van een studie naar werklooseidscijfers een vergelijking uitgevoerd tussen steekproef- en volkstellingsgegevens. Hiermee kwam ook langs empirisce weg de bruikbaareid van de steekproefmetode op overtuigende wijze vast te staan. Vanaf 1939 is et Amerikaanse werklooseidscijfer dan ook op basis van steekproeven vastgesteld. Ook teoretisc ging et daarna snel. Er werd een woud aan formules ontwikkeld voor et scatten van gemiddelden en betrouwbaareidsintervallen voor diverse complexe situaties. In 1952 bereikte dit zijn oogtepunt toen Horvitz en Tompson de naar en genoemde scatter opstelden. Voor deze scatter is slects vereist dat de trekkingskansen van de verscillende steekproefelementen bekend zijn. De eis dat ze gelijk zijn kon iermee vervallen. Hiermee bereikte de steekproefteorie een voorlopig eindpunt, omdat duidelijk werd aan welke eisen een wetenscappelijk verantwoorde steekproef moest voldoen. De metoden die kunnen worden ingezet om reeds bestaande kennis over de populatie te benutten zouden ecter, mede onder invloed van de toenemende electronisce rekenkract, nog de nodige ontwikkelingen ondergaan. 3.2 Het gebruik van ulpinformatie Vanaf et begin van de gesciedenis van de steekproefteorie besefte men dat de kennis die men reeds ad over een populatie op de een of andere wijze moest worden benut bij et scatten van de populatiegrooteden waarin men was geïnteresseerd. Kiaer en Bowley bescikten nog over onvoldoende statistisce bagage om dit op ziczelf juiste idee in overtuigende procedures om te zetten. De stratificatiemetode van Neyman liet et nut van et gebruik van reeds bekende informatie op overtuigende wijze zien. Een populatie van omvang N bestaat uit een aantal strata van omvang N 1, N 2,, N m. Cruciaal is et feit dat de onderzoeker de omvang van de strata van te voren kent. Wanneer ij budget eeft voor een

6 4 steekproef van omvang n, splitst ij zijn steekproef op in deelsteekproeven van omvang n 1 in deelpopulatie 1, n 2 in deelpopulatie 2, enzovoorts. Hierbij moet gelden: n 1 = nn 1 /N, n 2 = nn 2 /N,, n m = nn m /N (1) Deze opsplitsing van steekproeven over de strata staat ook wel bekend als Neyman-allocatie. Op deze wijze wordt een steekproef verkregen waarbij de verscillende deelpopulaties proportioneel vertegenwoordigd zijn. Een steekproefgemiddelde van een willekeurige variabele Y wordt gescat met: y st m 1 v y, (2) waarbij v N / N, et stratumgewict en et steekproefgemiddeld binnen stratum is. De consequentie van deze voor de and liggende metode is dat de nauwkeurigeid waarmee et steekproefgemiddelde wordt gescat oger is dan bij een aselecte steekproef. Dit blijkt uit een van de formules die gelden voor de variantie van de gestratificeerde steekproef m 2 var( y ) var( y) v ( y y ) (3) st 1 y waarbij y et gewone steekproefgemiddelde van Y is. Duidelijk is dat de variantie bij stratificatie afneemt ten opzicte van een aselecte steekproef. De afname van de variantie is groter naarmate de gemiddelden van Y binnen de strata meer afwijken van et overall gemiddelde. Dit is et effect van et gebruik maken van de informatie dat strata omvang N 1, N 2,, N m ebben. Over et toepassen van stratificatie valt et volgende op te merken: 1. wanneer de gemiddelden van Y binnen de strata gelijk zijn levert stratificatie niets op 2. wanneer de steekproefomvangen n i binnen de strata niet evenredig zijn met de populatieomvangen binnen de strata kan ook variantieveroging optreden 3. wanneer de gewicten v niet goed worden berekend kan dit tot vertekening van de scatters leiden Deze laatste opmerking eeft verstrekkende consequenties. Ook bij een aselecte steekproef kan worden gescreven y 1 n1 y n 1 n 2 y 2... n m y m m 1 v y (4) waarbij de gewicten nu niet noodzakelijk evenredig zijn met de populatieomvangen binnen de strata. Het ene stratum krijgt dus misscien te veel, een ander te weinig. Wanneer de gemiddelden binnen de strata flink uiteenlopen kan dit ernstige gevolgen ebben. Zijn de stratumgemiddelden daarentegen ongeveer gelijk, dan is er niets aan de and. Stratificeren is organisatorisc vaak eenvoudig uit te voeren op basis van geografisce variabelen als regio en gemeentegrootte. Wie over een bevolkingsregister kan bescikken kan ook goed stratificeren naar leeftijdsklasse, geslact en type woning. Vaak, en ook bij CentERdata, kan van te voren niet precies worden bepaald welke aantallen respondenten uit

7 5 strata waarvan de populatieomvangen bekend zijn, aan et panel of aan een bepaald onderzoek deelnemen. In zo n situatie moeten er maatregelen worden genomen om er voor te zorgen dat vergelijking (4) niet tot problemen leidt. In de jaren 60 ging men daarom over tot poststratificatie. Dit gebeurde door de steekproefelementen binnen stratum een gewict w te geven op zo n manier dat v k = w n /n = N /N. Dit betekent dus dat voor w moet gelden: nn w n N (5) Toen de grotere computers un intrede deden nam et ambitieniveau van de statistisce bureaus toe. Populatiegegevens konden worden uitgesplitst in veeldimensionale tabellen, bijvoorbeeld naar provincie x leeftijdsklasse x geslact x opleiding. Een stratum werd een cel in deze vierdimensionale tabel. Dit leverde ecter een probleem op. Binnen een steekproef van enkele duizenden elementen bleken sommige strata geeel leeg te blijven, ofwel n =0. Met andere woorden: in (5) werd gedeeld door 0 zodat een gewict niet kon worden bepaald! Aanvankelijk betekende dit dat de statistisce bureaus zic beperkingen moesten opleggen; er kon maar voor een zeer beperkt aantal ulpvariabelen worden gekozen. Na verloop van tijd kwamen statistici ecter met nieuwe benaderingen. Basis van deze benaderingen was de gedacte dat aan gewicten van de steekproefelementen niet de stringente eis werd opgelegd dat alle cellen binnen een tabel gereproduceerd moesten kunnen worden, maar dat slects de randtotalen oefden te kloppen. In termen van et voorbeeld, de populatieverdelingen van provincie, leeftijdsklasse, geslact en opleiding moesten in de steekproef wel kloppen, maar binnen de cellen van de meerdimensionale tabel oeft dit niet noodzakelijk. De gewicten van de steekproefelementen noteren we met w i ; dan betekent deze eis dus onder andere: w (6a) i v Groningen igroningen w (6b) i v mannen imannen i2544 jaar w i v jaar (6c) w (6d) i v HBO ihbo waarbij v. de bekende populatieproporties of percentages weergeven. Nadere bescouwing van deze eisen leert dat ze niet eenduidig leiden tot et bepalen van individuele gewicten van steekproefelementen. Steekproeven bij survey-onderzoek bestaan immers in de regel uit onderden of duizenden personen en vergelijkingen als (6a) tot en met (6d) leiden slects tot ooguit enkele tientallen randvoorwaarden op de w i. Om de gewicten w i eenduidig te kunnen berekenen moeten dus aanvullende randvoorwaarden worden gesteld. In de jaren 70 werden 2 typen randvoorwaarden geformuleerd. Basis van beide randvoorwaarden is dat er voor elke stratificatievariabele X j (in et voorbeeld: X 1 = provincie, X 2 = geslact, X 3 = leeftijdsklasse en X 4 =opleiding) getallen u j1,u j2,, u jm bepaald moesten kunnen worden waaruit de gewicten w i kunnen worden berekend. De getallen u j worden ook wel gewictscomponenten genoemd. De twee randvoorwaarden kunnen dan als volgt worden geformuleerd

8 6 w i u... 1 u uk (7a) 1i 22 i ki of w i u... 1 u uk (7b) 1i 22i ki waarbij ji et stratum is waar individu op basis van variabele X j in valt. Voorwaarde (7a) geeft aan dat de w i steeds de som van de gewictscomponenten moeten zijn. Het voldoen aan deze voorwaarde staat bekend als additief of lineair wegen. Voorwaarde (7b) geeft aan dat de gewicten de producten van de gewictscomponenten moeten zijn. Dit wordt ook wel multiplicatief wegen genoemd. Lineair wegen eeft als voordeel dat de metode uitbreidbaar is naar numerieke variabelen. Met andere woorden: met beulp van lineair wegen kan er voor worden gezorgd dat de gewogen som van een numerieke variabele gelijk is aan een bekend populatietotaal, bijvoorbeeld et totale spaartegoed in Nederland of de totale belastingopbrengst in Nadeel van de metode is dat de gewicten w i als et tegen zit ook negatieve waarden kunnen aannemen. Bij multiplicatief wegen is dit uitgesloten. Lineair en multiplicatief wegen werden vanaf de jaren zeventig in toenemende mate toegepast. Toc adden beide benaderingen iets onbevredigends. De voorwaarden (7a) en (7b) zijn meer ingegeven door et feit dat er gemakkelijk mee te rekenen viel dan door inoudelijke rectvaardiging. In Deville en Särndal (1992) werd een nieuwe visie op de weegproblematiek gepresenteerd die multiplicatief en lineair wegen in een breder kader plaatste en een elderder rectvaardiging voor et gebruik van de metoden gaf. Om dit te begrijpen is et nodig vast te stellen dat erwegen in de regel tot variantieveroging leidt. Dit lijkt in strijd met formule (3), maar bedact moet worden dat deze slects geldig is bij Neyman-allocatie. Wanneer de verdeling binnen steekproeven ier sterk van afwijkt gaat (3) niet op; maar juist dan is er risico van vertekening en is erweging een voor de and liggende maatregel. Hoe sterker de resulterende gewicten afwijken van et standaard gewict 1/n, oe groter de variantie. Deville en Särndal formuleerden et weegprobleem als volgt n 1 minimaliseer d( wi, ) (8) n i1 onder de voorwaarde dat per stratum de gewicten tot de gewenste totalen optellen. Hierbij is d(w i,1/n) een maat die aangeeft oe erg et is als w i en 1/n in een bepaalde mate van elkaar afwijken. Voor de maat d kan een groot aantal formules worden gekozen. Voorbeelden zijn en 1 d( wi, ) n w 1 n 2 ( i ) (9) 1 1 d( wi, ) wi log( nwi ) wi (10) n n Aangetoond kan worden dat de afstandsmaten (9) en (10) leiden tot lineair respectievelijk multiplicatief wegen. Daarnaast maakt deze aanpak een aantal andere metoden van wegen mogelijk waarbij bijvoorbeeld uitsluitend gewicten tussen een vaste onder- en bovengrens worden toegestaan. Zoals Horvitz en Tompson tot een aanpak kwamen waarmee alle

9 7 steekproefontwerpen op un plaats vielen, mits de individuele trekkingskansen bepaald waren, zo geven Deville en Särndal een algemene aanpak en rectvaardiging van alle weegmetoden, mits de populatieaantallen binnen de strata bekend zijn. Deze aanpak is ier bescreven voor et geval er gelijke trekkingskansen zijn. Dit is ook de situatie van et CentERpanel: binnen de strata zijn de trekkingskansen gelijk. Ook wanneer trekkingskansen van de steekproefelementen ongelijk zijn kan deze aanpak met enige aanpassing worden gebruikt. 3.3 Representativiteit In et voorgaande is al enige malen et woord representatief gevallen. Hoewel dit woord door iedereen in en buiten onderzoeksland wordt gebruikt is de betekenis ervan zeer onduidelijk, of beter, ambigu, want iedereen verstaat er iets anders onder. In Kruskal en Mosteller (1979a, 1979b, 1979c) wordt op basis van zowel niet-wetenscappelijke als wetenscappelijke artikelen een overzict gegeven van wat men zoal met de term representatief bedoelt. 1. Status. Een representatieve steekproef is een goede steekproef, zonder dat verder duidelijk wordt wat onder goed wordt verstaan. 2. Eerlijk. Iedereen element eeft dezelfde trekkingskans. In de steekproef worden bepaalde elementen uit de populatie niet bevoordeeld. 3. Miniatuur van de populatie. Steekproefelementen worden zo geselecteerd dat de steekproef dezelfde eigenscappen eeft als de populatie. 4. Representatieve vertegenwoordigers. De steekproef wordt zodanig samengesteld dat ierbinnen typisce elementen uit de populatie vallen zoals de gemiddelde Nederlander of Jan Modaal. 5. Heterogeen. In de steekproef wordt er juist voor gezorgd dat alle relevante atypisce elementen zijn vertegenwoordigd, bijvoorbeeld alle alloctone mindereden. 6. Vaag. Zodanig getrokken dat populatiekarakteristieken goed gescat kunnen worden 7. Goed genoeg voor et doel waarvoor de steekproef wordt gebruikt, bijvoorbeeld om een zeldzaam verscijnsel te meten. Sommige van deze definities spreken elkaar tegen. Bij de definities 4 en 5 is dit evident, maar et geldt bijvoorbeeld ook voor de beide redelijk klinkende definities 2 en 6. Wanneer men een studie doet naar et verscil in welzijn tussen werkenden en werkzoekenden zal een respresentatieve steekproef volgens definitie 2 in de regel een zodanig laag aantal werkzoekenden in de steekproef opleveren dat een goede vergelijking niet te maken valt. Binnen de steekproefteorie is et begrip representatief wel elder gedefinieerd, maar is et bealve gekoppeld aan een steekproef ook gekoppeld aan scattingsprocedures van populatiegegevens. De definitie luidt

10 8 Een scattingsprocedure op basis van steekproef S is representatief ten aanzien van populatiegegeven X wanneer deze procedure met zekereid de juiste waarde van X oplevert. Hiermee kan erwegen dus worden geïnterpreteerd als et representatief maken van de scattingsprocedure naar de variabelen waarvoor wordt erwogen. Een gewogen steekproef kan dus representatief zijn naar geslact, leeftijd of de combinatie van beide. 4. Frequentieverdelingen 4.1 Werving en benadering Zoals reeds is aangegeven in paragraaf 2 vallen personen af in de procedure die moet leiden tot et panellidmaatscap. In deze paragraaf wordt et verloop van dit proces over et jaar 1999 bescreven. In de eerste fase worden respondenten op basis van een telefonisce enquête geworven. De adressen worden in beginsel aselect getrokken. Wanneer de verdeling naar bepaalde variabelen binnen et panel enigszins sceef groeit is dit soms aanleiding om respondenten met slect vertegenwoordigde kenmerken in et panel een grotere trekkingskans te geven door et gerict aankopen van telefoonbestanden. Tabel 4.1 geeft aan dat in 98.2 procent van de gevallen een bruikbaar telefoonnummer werd aangeleverd. Tabel 4.1. Bruikbaareid telefoonnummers n % nummer bruikbaar afgesloten lijn / telefoonnummer bestaat niet modem / fax 36.4 bedrijf, organisatie, kerk, kantine, buurtuis 6.1 overig 5.1 totaal Wanneer gebleken is dat zic aan de andere kant van de lijn een persoon bevindt die voor een interview in aanmerking komt is de eerste vraag of deze persoon telefonisc vragen wil beantwoorden. Tabel 4.2 geeft aan dat ruim 60% van de benaderden instemt met et telefonisce interview. Tabel 4.2. Deelname aan wervingsinterview n % neemt deel geen tijd geen zin geen interesse te oud ziek 19.2 doet niet mee aan telefonisc onderzoek vertrouwt et niet / privacy 33.4 andere reden geen duidelijke reden/reden onbekend respondent is overleden 1.0 totaal

11 9 In et interview worden vragen gesteld die van belang zijn voor uiteindelijke selectie van de panelleden. Daarnaast wordt een aantal vragen gesteld die bij weging kunnen worden gebruikt. Hierop wordt in paragraaf 4.2 teruggekomen. Het interview eindigt met de vraag Ons instituut is gespecialiseerd in langer lopend onderzoek waarbij vragen worden beantwoord per computer. Hoe zou u et vinden om aan dit soort onderzoek mee te doen? Op grond van deze vraag wordt bepaald of respondenten in aanmerking komen om in een latere fase worden benaderd. Zij die zeggen absoluut niet bereid te zijn om aan zulk onderzoek mee te doen vallen af. Uit tabel 4.3 blijkt dit 47.9% te zijn. In et totaal blijft vanuit et wervingsinterview =32.1% van de respondenten over om later voor et panellidmaatscap te worden benaderd. Tabel 4.3. Bereideid om aan vervolgonderzoek mee te doen n % absoluut NIET bereid waarscijnlijk NIET bereid waarscijnlijk WEL bereid absoluut WEL bereid dat weet ik niet/kan ik nu niet beoordelen 43.8 totaal In et bestand waaruit wordt getrokken om potentiële panelleden te benaderen eet et benaderingsbestanmd. Hierin zijn, naast de NAW-gegevens, onder meer ook de volgende variabelen opgenomen: - regio - stedelijkeid - gezinssamenstelling - leeftijdsklasse - bruto maandinkomen uisouden - partij waarop is gestemd bij de laatste tweede kamer verkiezingen Van deze variabelen is de landelijke verdeling bekend. Uit et benaderingsbestandbestand worden uisoudens zodanig getrokken dat de verdeling over deze variabelen in et panel zo goed mogelijk overeenstemt met de landelijke verdeling. Criterium iervoor is de som van de 2 -afstanden: 6 mi i1 j1 2 f 2 ij pij d ( f, p) (11) p ij waarbij f ij en p ij de steekproef-, respectievelijk de populatiefracties zijn van categorie j van variabele i, en m i et aantal categorieën van variabele i. De respondenten worden zo geselecteerd uit et benaderbestand dat d 2 (f,p) zo klein mogelijk wordt. Tabel 4.4. Bruikbaareid telefoonnummers bij benadering n % afgesloten lijn / telefoonnummer bestaat niet 16.9 modem / fax 8.5 nummer correct totaal

12 10 Blijkens tabel 4.4 is in 1.4% van de gevallen et geregistreerde telefoonnummer niet meer bruikbaar. Aan de vraag of de personen uit et benaderingsbestand daadwerkelijk aan et panel willen deelnemen gaat een interview vooraf. Uit tabel 4.5 blijkt dat 17.6% van de benaderde personen ierbij afvalt. Van de uisoudens waarmee wel een interview kan worden geouden is 91.9% ook daadwerkelijk bruikbaar (tabel 4.6). Van de bruikbare respondenten wil 44.9% ook daadwerkelijk lid van et panel worden (tabel 4.7). In et totaal is dus 98.6%*82.4%*91.9%*44.9% = 33.5% van de personen die worden benaderd bereid en in staat aan et panel deel te nemen. Tabel 4.5. Deelname aan benaderingsinterview n % neemt deel geen tijd geen zin 7.4 geen interesse te oud 2.1 ziek 2.1 doet niet mee aan telefonisc onderzoek vertrouwt et niet / privacy 3.2 andere reden geen duidelijke reden/ reden onbekend 2.1 totaal Tabel 4.6. Bruikbaareid respondenten bij benaderingsinterview n % de respondent is bruikbaar juiste persoon is NIET BEKEND 3.2 juiste persoon is gedurende de duur van et onderzoek afwezig juiste persoon is MENTAAL niet in staat 3.2 taalproblemen 2.1 anders totaal Tabel 4.7. Bereideid tot deelname aan et panel. n % ja nee totaal Tabel 4.8. Reden om niet mee te doen aan et panel n % geen tijd te oud 6.9 geen interesse privacy betreffende respondent woont er niet meer 2.3 doet al mee aan et panel 6.9 ad al eerder aangegeven niet mee te willen doen neemt telefoon niet op gedurende vier weken 1.1 wekelijks interviews invullen te grote belasting andere reden totaal

13 Verdelingen in et panel en referentieverdelingen De verdelingen van de variabelen die worden gebruikt bij de trekking uit et benaderingsbestand wopden gegeven in tabel 4.9. De verdelingen in de laatste kolom (% populatie) ebben betrekking op uisoudens, bealve bij de onderste variabele (stemgedrag bij laatste 2e kamer verkiezingen. De populatieverdeling naar leeftijd is de verdeling van de verdelingen van de kostwinners. De eerlijke vergelijking is dus voor regio, stedelijkeid, gezinssamenstelling, leeftijd en inkomen die tussen de eerste en de derde kolom, voor stemgedrag staan de corresponderende cijfers in de tweede en derde kolom. Uit de cijfers blijkt dat et panel enigszins ondervertegenwoordigd is in de zeer stedelijke gebieden en sterk ondervertegenwoordigd bij de jongeren. Er is voorts sprake van oververtegenwoordiging bij de ogere inkomens. Bij stemgedrag zijn de niet-stemmers in et panel ondervertegenwoordigd. De verscillen tussen steekproef en populatie zijn et gevolg van verscillen in respons en bereideid deel te nemen aan et panel bij werving en benadering. Deze verscillen kunnen en zullen in de toekomst worden gecorrigeerd door bij de werving gebruik te maken van telefoonbestanden waarin jongeren, uisoudens met ogere inkomens en in stedelijke gebieden oververtegenwoordigd zijn. In tabel 4.10 worden de verdelingen vergeleken van de respondenten bij werving en benadering en de panelleden op een aantal variabelen die verscillende onderzoeksgebieden representeren, zoals wonen, werken, gezondeid, enzovoorts. De verscillen tussen werving en benadering zijn klein. Wel zijn er opmerkelijke verscillen tussen de samenstelling van et panel en de samenstelling van de wervings- en benaderingssteekproef. Bij verdeling naar koop- en uurwoning is in et panel et aantal uurwoningen iets groter; et aantal vierkamerwoningen is in et panel kleiner. De verdeling van et aantal werkenden in et panel is moeilijk met de andere verdelingen te vergelijken omdat et verscil kan liggen aan de persoon die bij de werving en de benadering de telefoon opneemt. De gezondeid van de panelleden is gemiddeld slecter dan bij de overigen. Het lidmaatscap van sportverenigingen ligt lager, et bezoek aan et teater oger. Het slactoferscap van inbraak ligt bij et panel iets oger; dit leidt kennelijk niet tot grotere onveiligeidsgevoelens in uis. Voor zowel de verscillen tussen panel en populatie als tussen panel en de wervings- en de benaderingssteekproef kan door middel van erweging worden gecorrigeerd. In welke situaties dit een verstandige werkwijze is wordt in paragraaf 6 besproken.

14 12 Tabel 4.9 Actergrondvariabelen betrokken bij selectie op uisoudniveau. % uisoudens % personen % populatie regio drie grote steden rest west noord oost zuid stedelijkeid zeer stedelijk sterk stedelijk matig stedelijk weinig stedelijk niet stedelijk gezinssamenstelling woont alleen met partner samen, zonder tuisw. kinderen met partner samen, met tuisw. kinderen overig leeftijd t/m 29 jaar jaar jaar jaar bruto inkomen. t/m en meer stemgedrag bij laatste 2 e kamer verkiezingen * niet gestemd pvda cda vvd d kl rects gr links overig * de verdeling op persoonsniveau van et stemgedrag bij de laatste 2 e kamer verkiezingen zijn gebaseerd op 26.8% (1330) van de panelleden

15 13 Tabel Verdelingen van een aantal variabelen bij werving, selectie en in et panel Werving % Benadering % Panel % koop/uurwoning koopwoning uurwoning overig aantal kamers in woning 1-3 kamers kamers kamers of meer kamers betaald werk ja, meer dan 20 uur per week betaald werk ja, minder dan 20 uur per week betaald nee, verrict geen betaald werk reistijd naar werk >20 minuten <20 minuten ziek tuis geweest ja nee cronisce klacten ja nee rapportcijfer gezondeid 1 t/m , bezoek bioscoop afgelopen jaar ja nee bezoek teater ja nee lid sportvereniging ja nee slactoffer inbraak ja nee wel eens bang tuis ja nee wel eens bang op straat ja nee

16 14 5. Herweging: uitvoering en toepassing CentERdata bescikt over et programma Bascula, ontwikkeld door et CBS, waarmee op verscillende manieren kan worden erwogen naar referentieverdelingen. De belangrijkste metoden zijn: a. poststratificatie. De populatie is verdeeld in strata; acteraf worden gewicten toegekend zodanig dat de gewogen verdeling over de strata correspondeert met de populatieverdeling; oervoor wordt formule (5) gebruikt. Deze metode is slects dan toepasbaar wanneer (i) de populatieverdeling van de strata (bij benadering) bekend is en (ii) in de steekproef er een minimaal aantal waarnemingen per stratum aanwezig is. Wanneer de strata worden gedefinieerd door een combinatie van ulpvariabelen X 1, X 2,, X m levert voorwaarde (ii) in de praktijk vaak problemen op. De metode is bovendien niet toepasbaar bij numerieke variabelen. b. lineair wegen. In de populatie zijn de totalen van de numerieke variabelen X 1, X 2,, X m bekend. Met de metode worden bij deze variabelen de gewictscomponenten u 1, u 2,, u m berekend; met beulp van deze gewictscomponenten kunnen de gewicten zelf vervolgens worden berekend als w i = k u k x ki, waarbij x ki de waarde van steekproefelement i op de variabele X k is. Lineair wegen ook worden toegepast op categorisce variabelen door deze te scrijven als series dummy-variabelen. Nadeel van de metode is dat de gewicten negatief kunnen worden. Bascula bescikt over procedures om gewicten bij lineair wegen te begrenzen, maar deze convergeren niet altijd. c. multiplicatief wegen. In de populatie zijn de verdelingen van de categorisce variabelen X 1, X 2,, X m bekend. In plaats van poststratificatie naar de complete tabel X 1 X 2 X m, wordt er gezorgd dat de steekproef respresentatief naar een aantal partiële tabellen of, in et eenvoudigste geval, naar de marginale populatieverdelingen van X 1, X 2,, X m apart. Opnieuw wordt er per cel van elk van de partiële tabellen een gewictscomponent berekend. De individuele gewicten zijn nu et product van de gewictscomponenten. Deze metode is uitsluitend toepasbaar op categorisce variabelen, maar eeft et voordeel dat alle individuele gewicten positief zijn. Multiplicatief wegen is de metode die et meest wordt toegepast omdat et de natuurlijke uitbreiding van poststratificatie is. Numerieke variabelen die conceptueel aantrekkelijk zijn om naar te erwegen ebben vaak sceve verdelingen; voor de and liggende voorbeelden in de context van financieel onderzoek zijn inkomen en spaartegoed. Dit eeft als consequentie dat de gewicten zelf ook weer sceef verdeeld zijn, etgeen tot oge variantie van scatters leidt. 6. Wanneer eeft erwegen zin? Wie de formules (1), (2) en (3) van Neyman bekijkt zou tot de conclusie kunnen komen dat erwegen altijd beter is dan niet erwegen; immers, door gebruik te maken van de ulpinformatie over verdelingen in de populatie wordt de variantie die is toe te scrijven aan de verscillen tussen strata weggewerkt. De redeneerfout zit in et feit dat et ier gaat om stratificatie vooraf, een steekproefontwerp. De steekproef wordt zo getrokken dat de strata

17 15 evenredig vertegenwoordigd zijn en dat erweging acteraf zelfs niet meer nodig is. Wanneer de steekproef anders is getrokken gaat formule (3) niet op, en zal er in de regel sprake zijn van variantieveroging ten opzicte van ongewogen scatten. Dit is zeker, en soms zelfs in ernstige mate et geval, wanneer de gewicten sterk uiteenlopen. De andere kant van de medaille is ecter dat uit formule (4) blijkt dat niet erwegen tot vertekening van resultaten kan leiden. De vraag is dus wat wijseid is. Idealiter zou deze vraag worden beantwoord door studie te maken van de mean square error, de gemiddelde kwadratisce fout. Hierin zijn immers zowel de variantie als de vertekening van de scatter verdisconteerd. In et algemeen is iervoor ecter geen anteerbare wiskundige formule te geven. Daarom is et praktisc omgaan met gewicten vooral een zaak van gezond verstand, gecombineerd met de inoudelijke kennis van de onderzoeker. De uitkomsten van exploratieve analyses op de gegevens kunnen mede ricting geven aan de beslissing of en oe er erwogen wordt. De gegevens die door CentERdata worden geleverd kunnen voor twee verscillende soorten onderzoek worden gebruikt. De eerste soort onderzoek eeft betrekking op de wetten die ten grondslag liggen aan de werkelijkeid zoals die zic aan ons voordoet. Zulk onderzoek eeft vaak betrekking op vragen naar causaliteit, zoals maakt geld gelukkig?, is sport gezond?, is lifestyle bepalend voor et merk koffie dat iemand koopt?, wordt muzikale smaak bepaald door leeftijd of coort?. In al deze gevallen is er sprake van een groep variabelen X die één of meer variabelen Y beïnvloedt. Als deze invloed bestaat moet dit ook gelden voor de steekproef; representativiteit, volgens welke definitie dan ook, eeft ier niets mee te maken. Men zou oogstens kunnen eisen dat er binnen de steekproef voldoende variatie in de X- variabelen bestaat om et verband met Y te kunnen vaststellen (maar dat is een kwestie van steekproefontwerp en niet van wegen). Wegen is ier zeker zinloos en in vrijwel alle gevallen zelfs scadelijk. De tweede soort onderzoek is niet bedoeld om de wetten acter de werkelijkeid te bestuderen, maar om de werkelijkeid zelf te bescrijven. Dus niet maakt geld gelukkig?, maar oeveel geld verdient men gemiddeld per maand?, niet is sport gezond?, maar oeveel mensen doen aan sport?, enzovoorts. Bij dit type onderzoek kunnen zic verscillende situaties voordoen: a. er zijn geen populatiegegevens bescikbaar van variabelen die duidelijk samenangen met de doelvariabelen uit et onderzoek. In dat geval is wegen slects mogelijk op variabelen die er niet toe doen; wegen op zulke variabelen is ecter zinloos en veelal scadelijk. b. er zijn wel populatiegegevens van variabelen die duidelijk samenangen met de doelvariabelen uit et onderzoek; de gegevens in de steekproef komen ecter goed overeen met die uit de populatie. Wegen op deze variabelen is dan weliswaar niet scadelijk, maar sorteert geen effect en is dus zinloos. c. Er zijn wel populatiegegevens van variabelen die duidelijk samenangen met de doelvariabelen uit et onderzoek; de gegevens uit de steekproef komen niet overeen met die uit de populatie. Hier eeft wegen inderdaad zin; zonder wegen kan men vertekening van de scatters verwacten. Het feit dan wegen negatieve consequenties eeft voor de variantie van de scatters moet op de koop toe worden genomen. Uit de bovenstaande opsomming blijkt dat wegen in vele situaties niet zinvol is. Het vergelijken van de niveaus van een aantal deelpopulaties (bijvoorbeeld leeftijdsklassen) lijkt

18 16 in veel gevallen op et tweede soort onderzoek (et bepalen van niveaus in de populatie), maar eeft veelal als doel om tot uitspraken te komen over et effect van leeftijd op een individu. In dat geval oort et tot de eerste soort. Het meest overtuigende voorbeeld waarbij weging wel effect eeft is verkiezingsonderzoek. Hierbij wil men een voorspelling maken van de volgende verkiezingsuitslag. De beste voorspeller van wat iemand gaat stemmen is zijn stemgedrag bij de vorige verkiezingen. Hiervan is uiteraard de populatieverdeling zeer precies bekend. Door naar et stemgedrag bij de vorige verkiezingen te vragen en naar deze variabele te wegen kan een aanzienlijke verbetering van de voorspelling van de volgende verkiezingsuitslag worden bereikt. Naast wegen eeft de onderzoeker een aantal andere middelen ter bescikking om er voor te zorgen dat uitkomsten van analyses niet op een ongewenste manier door de samenstelling van de steekproef worden beïnvloed. Door in een regressievergelijking expliciet die variabelen op te nemen die een mogelijk vertekenende werking ebben op de regressiecoëfficiënt waar et ect om gaat, wordt et effect van die variabelen verwijderd. Bij correlatiecoëfficiënten kan men de effecten van vervuilende variabelen uitpartialiseren. Bij vergelijkingen van niveaus, bijvoorbeeld gemiddelden, kan in een variantieanalyse worden bewerkstelligd dat deelsteekproeven vergelijkbaar worden gemaakt. De afgelopen eeuw eeft de teorie van et wegen van steekproeven een grote vluct genomen. Wegen eeft zic ecter niet ontwikkeld tegen een middel voor alle kwalen dat routinematig kan worden toegepast. Slects wanneer et de bedoeling is om populatietotalen of gemiddelden te scatten en er sprake is van ulpvariabelen die 1. een bekende populatieverdeling ebben 2. in de steekproef anders verdeeld zijn dan in de populatie 3. samenangen met de doelvariabele(n) van et onderzoek is wegen zinvol. In andere situaties doet et meer kwaad dan goed. Bovendien staan de onderzoeker ook andere tecnieken ten dienste om de effecten van afwijkend verdeelde ulpvariabelen te reduceren. Literatuur Betleem, J.J. en W.J. Keller, 1987, Generalized Least Squares Estimation Under Poststratification. Journal of Official Statistics 3, blz Horvitz, D.G. en D.J. Tompson, 1952, A Generalization of Sampling witout Replacement from a Finite Universe. Journal of te American Statistical Association 47, blz Kruskal, W. en F. Mosteller, 1979a, Representative Sampling, I: Non-scientific Literature. International Statistical Review 47, blz Kruskal, W. en F. Mosteller, 1979b, Representative Sampling, II: Scientific Literature, Excluding Statistics. International Statistical Review 47, blz Kruskal, W. en F. Mosteller, 1979c, Representative Sampling, III: te Current Statistical Literature. International Statistical Review 47, blz

19 17 de Mast, F., 1998, Rondneuzen in de Statistieke Historie. Centraal Bureau voor de Statistiek, Voorburg. Deville, J.C. en C.E. Särndal, 1992, Calibration Estimators is Survey Sampling, Journal of te American Statistical Association vol. 87, no. 418, blz