Imputatie. Abby Israëls, Léander Kuijvenhoven, Jan van der Laan, Jeroen Pannekoek en Eric Schulte Nordholt. Statistische Methoden (201101)

Transcriptie

1 Imputate 11 0 Abb Israëls, Léander Kujvenhoven, Jan van der Laan, Jeroen Pannekoek en Erc Schulte Nordholt Statstsche Methoden (201101) Den Haag/Heerlen, 2011

2 Verklarng van tekens. = gegevens ontbreken * = voorlopg cjfer ** = nader voorlopg cjfer x = gehem = nhl = (nden voorkomend tussen twee getallen) tot en met 0 (0,0) = het getal s klener dan de helft van de gekozen eenhed nets (blank) = een cjfer kan op logsche gronden net voorkomen = 2010 tot en met /2011 = het gemddelde over de jaren 2010 tot en met / 11 = oogstjaar, boekjaar, schooljaar enz., begnnend n 2010 en endgend n / / 11 = oogstjaar, boekjaar enz., 2008/ 09 tot en met 2010/ 11 In geval van afrondng kan het voorkomen dat het weergegeven totaal net overeenstemt met de som van de getallen. Colofon Utgever Centraal Bureau voor de Statstek Henr Faasdreef JP Den Haag Prepress Centraal Bureau voor de Statstek - Grafmeda Omslag TelDesgn, Rotterdam Inlchtngen Tel. (088) Fax (070) Va contactformuler: Bestellngen E-mal: verkoop@cbs.nl Fax (045) Internet ISSN: Centraal Bureau voor de Statstek, Den Haag/Heerlen, 2011t. Verveelvoudgng s toegestaan, mts het CBS als bron wordt vermeld X-37

3 Inhoudsopgave 1. Inledng op het thema Deducteve mputate (Group) mean mputaton / mputate van het (groeps)gemddelde Rato-mputate Regresse-mputate Donor-mputate (hot deck mputate) Multvarate mputate Methoden voor longtudnale mputate Afslutng Lteratuur

4 1. Inledng op het thema 1.1 Algemene beschrjvng Beschrjvng van het thema Bj enquêtes komt het voor dat respondenten op één of meer vragen geen antwoord geven, terwjl dt wel van ze wordt verlangd. Men spreekt dan van tem-nonrespons (of partële nonrespons) en van (ten onrechte) ontbrekende waarden (mssng values). Redenen om een vraag net te beantwoorden zjn het net kunnen of wllen geven van het antwoord. Op ngewkkelde of moeljk te begrjpen vragen kan men vaak geen antwoord geven, op gevoelge vragen wl men het dkwjls net. Ook bj regsters kunnen gegevens ontbreken de het CBS wel had wllen hebben. Er zjn een aantal maneren om met ontbrekende waarden om te gaan. Eén daarvan s mputeren van een geldge waarde voor de ontbrekende waarde n het databestand. We spreken dan van mputeren of mputate (ze paragraaf 1.4 voor de defnte) als processtap en van een geïmputeerde waarde of mputate als resultaat. Een alternatef voor mputeren s om het achterwege te laten. De ontbrekende waarden bljven dan onbekend. Dt zal men n de eerste plaats doen bj terecht ontbrekende waarden. Mensen zonder baan hoeven geen antwoord te geven op vragen over de werkkrng; meestal zorgt de routng n de vragenljst er al voor dat deze vragen alleen aan de werkzame personen worden gesteld. Antwoorden als weet net, geen menng of onbekend zal men ook zo laten wanneer ze ets zeggen over de kenns of oordeel van de respondent. Maar zelfs n het geval van ten onrechte ontbrekende waarden kan men besluten net te mputeren en het probleem net n het data-bestand op te lossen, maar bj de schattng of analse. Specaal bj kwaltateve varabelen heeft men als alternatef het ntroduceren van een categore onbekend. Imputate wordt dan ook vaker toegepast bj kwanttateve dan bj kwaltateve varabelen, en daarom ook vaker bj bedrjfsstatsteken dan bj socale statsteken. Redenen om te mputeren, n plaats van het veld leeg te laten, zjn: 1. het verkrjgen van een volledg (geheel gevuld) data-bestand; 2. verhogng van de kwaltet van het mcro-bestand en/of van de parameterschattngen. Ad 1. Het verkrjgen van een volledg bestand, met volledge records, vergemakkeljkt het aggregeren en tabelleren, en voorkomt nconsstentes tussen tabellen. Zo leden ontbrekende waarden op een varabele Opledng (n klassen) ertoe dat de leeftjdsverdelng n de tabel Leeftjd Opledng afwjkt van de leeftjdsverdelng n de tabel Leeftjd Geslacht, tenzj je onbekend als categore meeneemt; men zou de nconsstentes ook kunnen opheffen door consstent en herhaald wegen (ze Methodenreeks, thema Steekproeftheore, deelthema 4

5 Herhaald wegen ). Wanneer er bj een steekproefonderzoek scores ontbreken op de (kwanttateve) varabele Inkomen, dan kan men het gemddelde nkomen alleen schatten voor de (deel)populate van personen de bj ondervragng gerespondeerd zouden hebben, en dat s een weng relevante parameter. Imputate verhelpt dt probleem, maar s natuurljk alleen brukbaar wanneer de mputates van voldoende kwaltet zjn. Ad 2. Wanneer men mputate wl toepassen om de kwaltet te verhogen moet dudeljk zjn de kwaltet waarvan. Vaak s het voornaamste doel gemddelden en totalen nauwkeurg te bepalen, zoals bj de productestatsteken, waar totale omzetten de belangrjkste output zjn. Maar men kan ook de verdelng van een varabele zo goed mogeljk wllen bepalen; denk bjvoorbeeld aan een nkomensverdelng en bjbehorende ongeljkhedsmaatstaven. Bj leefstuateonderzoeken s het ook belangrjk een goed mcro-bestand te hebben, waarop onderzoekers allerle analses kunnen utvoeren. Verschllende doelstellngen kunnen tot verschllende optmale mputates leden. Voor het maken van statsteken wl men echter maxmaal één mputate per ontbrekende waarde hebben, omdat anders de onderzoeksresultaten net meer ntern consstent zjn. In het algemeen kan het CBS betere mputates voor algemeen gebruk leveren dan externe gebrukers, omdat zj vaak net over alle achtergrondkenmerken beschkken de bj het mputeren van nut zjn Probleem en oplossngen Leeswjzer Soms valt bj het ontbreken van een score de werkeljke waarde met 100% zekerhed af te leden ut andere kenmerken van het object. Men kan dan deducteve mputate (hoofdstuk 2) toepassen door de waarde te mputeren. Men maakt hervoor gebruk van afledngsregels de dkwjls ook bj het edten worden gebrukt. Inden toepasbaar, heeft deze methode voorrang boven alle andere mputatemethoden. Men gebrukt deze mputatemethode ook wel wanneer men ets mnder dan 100% zekerhed over de justhed heeft. Ook als een dergeljke afledng net mogeljk s, beschkt men vaak toch over extra nformate (hulpvarabelen, x-varabelen) de een nauwkeurge schattng van de ontbrekende waarde (op de -varabele) mogeljk maakt. Door het zoeken naar een geschkt, goed verklarend model, kan men proberen va modelmatge mputate de kwaltet van het bestand of van de te schatten populate-parameters te verbeteren. Het gekozen model genereert dan de n te vullen waarde(n). Exacte toetsng van de kwaltet van de mputates s echter net mogeljk: de echte waarden zjn mmers onbekend, tenzj men n staat s ut andere bronnen of enquêtes nformate te krjgen. Schattng van het model s alleen mogeljk voor de tem-respondenten. Er zal dan ook meestal sprake zjn van een mputaton bas (onzuverhed n de utkomsten doordat men felbare mputates creëert), want het geftte model met de parameters zal meestal net exact gelden voor de nonrespondenten. 5

6 Wanneer er geen zekerhed bestaat omtrent de te mputeren waarde ~, kan men dus proberen deze modelmatg te schatten. Men zoekt dan naar een model voor waarmee de ontbrekende waarde zo goed mogeljk kan worden voorspeld. Vaak gebrukt men hervoor een regressemodel en spreekt dan van regresse-mputate (hoofdstuk 5). Dt past men vooral toe voor kwanttateve -varabelen. De n hoofdstuk 3 en 4 te behandelen mean mputaton en rato-mputate zjn specale gevallen van regresse-mputate. Bj mean mputaton (mputeren van het gemddelde) wordt geen hulpnformate gebrukt, meestal omdat deze net beschkbaar s; bj rato-mputate wordt slechts één kwanttateve hulpvarabele gebrukt. Deze methoden worden apart behandeld vanwege hun eenvoud en veelvuldge toepassng. Daarnaast bestaan er donor-mputatemethoden (hot deck): random hot deck, sequentële hot deck en nearest neghbour (ncl. predctve mean matchng); ze hoofdstuk 6. Qua doelstellng zjn deze methoden vergeljkbaar met regresse-mputate Maar ze kunnen wat eenvoudger worden toegepast nden er meerdere ontbrekende waarden op één record geïmputeerd moeten worden, terwjl de verbanden tussen de varabelen daarbj beter worden geschat. Bj donor-mputate wordt voor edere nonrespondent een donor-record d gezocht met zoveel mogeljk dezelfde kenmerken als de recpënt, voor zover de kenmerken van nvloed worden geacht op de doelvarabele. Vervolgens wordt de donor-score, d, gebrukt als mputate: ~ =. In hoofdstuk 7 volgt het probleem van multvarate mputate, d waarbj meerdere ontbrekende waarden bj één object voorkomen, en enkele oplossngen hervoor. In hoofdstuk 8 wordt aandacht besteed aan mputate bj longtudnale data (w.o. panels). Herbj kan gebruk worden gemaakt van gegevens van hetzelfde object op andere tjdstppen, eventueel zonder gebruk te maken van gegevens van de andere objecten. In de rest van paragraaf bespreken we een aantal zaken de mede bepalend zjn voor de keuze van de mputatemethode of voor de wjze van toepassen van de methoden. Overgens kunnen verschllende experts tot verschllende keuzen komen, of tot verschllende utwerkngen van dezelfde methode Imputatevarabele kwanttatef of kwaltatef Donor-mputate (hoofdstuk 6) kan voor eder tpe -varabele worden toegepast. Regresse-mputate (hoofdstuk 5) wordt vooral toegepast als een kwanttateve varabele s. Meestal gebrukt men hervoor het lneare regressemodel, maar er s geen bezwaar om andere dan lneare functes van te hanteren. Ook als een kwaltateve varabele s kan men regresse-analse toepassen, maar dan worden het aangepaste modellen zoals bnare of multnomale logstsche regresse Wel/geen hulpnformate beschkbaar Inden men bj een kwanttateve -varabele geen hulpnformate (x-varabelen) gebrukt, omdat er geen beschkbaar s of omdat er nauweljks wnst mee wordt behaald, gaat regresse-mputate over n mean mputaton (hoofdstuk 3). We behandelen deze methode apart vanwege de populartet ervan. 6

7 Inden bj een kwaltateve -varabele geen hulpvarabelen beschkbaar zjn, kan men de meest voorkomende waarde (de modus) mputeren, wat normalter net s aan te bevelen, of loten ut de categoreën met kansen evenredg aan de geobserveerde categorefrequentes. Dt laatste komt overeen met het mputeren met een random donor (hoofdstuk 6) ut de gehele populate. Imputate zonder gebruk van hulpnformate s alleen te rechtvaardgen wanneer het weng temnonrespondenten betreft en de mputates weng nvloed hebben op de te schatten parameters Imputate per deelpopulate Men kan een mputatemodel maken voor de hele populate, of per deelpopulate zoals per SBI Grootteklasse bj bedrjfsstatsteken. Het onderscheden van dergeljke mputateklassen (mputatestrata) heeft zn wanneer er bnnen de klassen weng varate s n de scores op mputatevarabele (ntern homogeen) en de scores tussen de klassen wel sterk verschllen. Omdat bj regresse-analse ook kwaltateve x-varabelen n het mputatemodel kunnen worden meegenomen, kan men het onderscheden van deelpopulates daar ook zen als onderdeel van het modelleren, nameljk het selecteren van hulpvarabelen de sterk samenhangen met doelvarabele en het n het model meenemen van deze varabelen met alle nteractetermen. Hot deck donor-mputate (hoofdstuk 6) s per defnte alleen bedoeld voor kwaltateve x-varabelen, dus voor deelpopulates. De -varabelen mogen kwaltatef of kwanttatef zjn Selecte van hulpvarabelen of deelpopulates Selecte van varabelen en nteractes wordt her net utgebred behandeld. Het s net als regresse-analse een onderdeel van de multvarate analse waarover veel lteratuur bestaat. Men zoekt naar hulpvarabelen de sterk zjn gecorreleerd met de doelvarabele én bj voorkeur het selecte-effect zo goed mogeljk verklaren. Het s veelal een kweste van tral and error en gezond verstand, maar men kan ook met forward of backward zoekprocedures automatsch x-varabelen aan het model toevoegen of erut weglaten. Voor het selecteren van homogene mputateklassen (xvarabelen kwaltatef) bestaan ook automatsche zoekprocedures, zoals het mede op het CBS ontwkkelde WAID en de SPSS-module Answer trees. In het slothoofdstuk worden zullen enkele rchtljnen gegeven. Men kan een norm stellen aan de fracte verklaarde varante van het model voor de respondenten (R 2 ). Meestal zal een dergeljke maat een kwaltetsnorm zjn voor de sterkte van de lneare relate tussen en de x-varabelen Imputate met of zonder storngsterm ( kwanttatef) Men kan voor een ontbrekende waarde op de best mogeljke voorspellng volgens het regressemodel mputeren. Doet men dt voor alle ontbrekende waarden, dan wordt er te moo geïmputeerd. Alle geïmputeerde records voldoen dan perfect aan het mputatemodel. De mputates worden dan vaak onbrukbaar bj nadere analses op het mcrobestand, of ook al soms bj eenvoudge tabellen, hetgeen een reden s 7

8 om de geïmputeerde waarden te vlaggen (paragraaf 9.1). Een bekend voorbeeld s een natonale bevolkngsstatstek, waar bj onbekende leeftjd van man of vrouw de mputateregel werd gebrukt dat de man twee jaar ouder s dan de vrouw. Een dergeljk mputatemodel kan best goed zjn voor de leeftjdsverdelng van zowel mannen als vrouwen. Maar onderzoekers de het datamateraal gebrukten kwamen tot de verrassende ontdekkng dat er een pek zat n het leeftjdsverschl tussen man en vrouw. In het algemeen zorgt het mputeren van de best mogeljke voorspellng volgens het regressemodel voor een onderschattng van de varate n de scores ( regresse naar het gemddelde ). Het ledt tot te gepekte verdelngen en te dunne staarten, met name wanneer veel ontbrekende waarden heeft en de regresse weng van de varante van verklaart (lage R 2 ). Bj mean mputaton s dt effect het sterkst. Voor het schatten van gemddelden of totalen s dt allemaal geen bezwaar, maar wel voor het schatten van verdelngen (bjv. een nkomensverdelng) en spredngsmaten. Wanneer men de verdelng goed wl bepalen, s het raadzaam om aan de best mogeljke voorspellng een random storng toe te voegen. Men kan bj regresseanalse kezen tussen (1) trekkng ut een (normale) kansverdelng, en (2) toevoegng van het resdu van een aselect getrokken donor. In hoofdstuk 5 onderscheden we regresse-mpuate zowel met als zonder toevoegng van zo n resdu. In hoofdstukken 3 en 4, bj mean mputaton en rato-mputate, bespreken we alleen de varant zonder storngsterm. Toevoegen van een storngsterm valt dan onder regresse-mputate. Bj donor-mputate wordt mplcet ook een resdu gebrukt, nameljk de van de al dan net random gekozen donor. De spredng n de verdelng van bljft dus behouden. Rubn (1987) merkt op dat na het toevoegen van een random storng de varante van toch nog wordt onderschat, als gevolg van de onzekerhed van het mputatemodel. Men kan ook de onderschattng tenetdoen va multpele mputate. Men brengt dan meerdere mputates per ontbrekende waarde aan door meerdere parameterschattngen, random storngen of modellen te creëren. Toevoegng van de varante tussen de mputates per record zorgt dan voor een zuvere schattng van de varante van Determnstsche of stochastsche mputate Wanneer er random getrokken wordt ut donoren of ut een verdelng van resduen, dan spreekt men van stochastsche mputate. Vanwege deze stochastek zjn de mputates dan net reproduceerbaar. Bj determnstsche mputate zjn de mputates wel reproduceerbaar, gegeven het gekozen mputatemodel. Het ondersched tussen stochastsche en determnstsche mputate gaat n veel gevallen gepaard met het n de vorge deelparagraaf behandelde ondersched tussen wel/net gebruk maken van een resdu. Nearest neghbour mputate, nclusef predctve mean matchng, s echter determnstsch, omdat de donor va een bepaalde afstandsfuncte vastlgt. 8

9 Keuze tussen regresse- en donor-mputate / x-varabelen kwaltatef of kwanttatef De keuze tussen regresse- en donor-mputate s vaak net vanzelfsprekend. Dt komt vooral door het onbekend zjn van de werkeljke, ontbrekende waarden. Er valt net te toetsen welk model beter s. We geven her toch een aantal zaken de een nvloed op de keuze kunnen hebben. Bj regresse-analse en nearest neghbour zjn zowel kwaltateve als kwanttateve x-varabelen mee te nemen. Bj hot deck donor-mputate kan men alleen kwaltateve varabelen meenemen, tenzj met de kwanttateve varabelen vooraf dscretseert. Maar dan gaat daarbj het kwanttateve aspect van de varabele deels verloren. Bj hot deck donor-mputate s men soms beperkt n het opnemen van belangrjke x-varabelen n het model t.o.v. regresse-mputate. Men s nameljk gedwongen alle nteractes tussen de kwaltateve varabelen mee te nemen, waardoor het aantal parameters groot kan worden t.o.v. de steekproefomvang. Bj het regressemodel kan men zunger omgaan met het aantal parameters. Door kwanttateve x-varabelen te categorseren, door ze te vervangen door seres dumm-varabelen (één per categore) verlest men nformate. Maar als er sprake s van een sterk net-lneare relate met, levert dt categorseren wel een grotere verklaarde varante op. Bj donor-mputate s de geïmputeerde donor-score altjd een geldge waarde. Inden bjvoorbeeld alleen gehele getallen kan aannemen, zal de regressevoorspellng vrjwel noot geheeltallg zjn, terwjl bj donor-mputate wel alleen gehele getallen kunnen worden geïmputeerd. Bj donor-mputate voldoet het ontvangende record ook automatsch aan de controleregels nden het donorrecord daaraan voldoet en de koppelng van donor en ontvanger exact s op de x- varabelen. Wanneer er op een record meerdere waarden ontbreken, s donor-mputate makkeljker toepasbaar; ze hoofdstuk 7 over multvarate mputate Wel / net wegen Bj de meeste te behandelen methoden bestaat de mogeljkhed om bj het mputeren de tem-respondenten ongeljk te wegen, bjvoorbeeld door hun gewchten omgekeerd evenredg aan de nslutkansen (kans om n de steekproef te ztten) te geven, of gewchten de volgen ut de herwegng ter compensate van selecteve unt-nonrespons. 1 Bj (lneare) regresse-mputate houdt dt n dat men een gewogen klenste-kwadraten-schattng utvoert, en bj hot-deck donor-mputate dat potentële donoren met een klene nslutkans, en dus een groot nslutgewcht, een grotere kans hebben om donor te worden dan potentële donoren met een grote nslutkans. Op deducteve mputate en bj nearest neghbour s wegen net van nvloed. 1 Overgens hebben ook de tem-nonrespondenten een ophooggewcht. 9

10 Er s geen eendudg adves te geven over het gebruk van de gewchten. Modelmatg gezen s edere utkomst even betrouwbaar gemeten, wanneer men utgaat van dentek verdeelde storngen, ongeacht de nslutkans of responskans. Geloof n het mputatemodel betekent derhalve dat men net hoeft te wegen, en het zelfs beter achterwege kan laten, omdat wegen de standaardfouten groter maakt. Inden men de varabele met gewchten, of de aan de wegng ten grondslag lggende varabelen, als verklarende varabelen n het model kan opnemen, s wegen ook overbodg. Een opte s dan ook om her bj de selecte van x-varabelen voor te zorgen. Meer herover s te vnden n Pannekoek en Israëls (2000). Echter, vanut de steekproeftheore gezen zjn de antwoorden van een steekproefelement representatef voor populate-elementen de net zjn getrokken, als zouden zj hetzelfde antwoord hebben gegeven. Vanut dt prncpe (of utgaand van aselecte unt nonrespons) s wegen nodg om steekproeftechnsch zuvere schatters te krjgen. Voor donor-mputate geeft Kalton (1983) een aantal methoden waarbj de kans op donorschap evenredg s met het gewcht. Het kan handg zjn om er tevens voor te zorgen dat donor en recpënt een ongeveer even groot gewcht krjgen, om te voorkomen dat een object met een zeer klen gewcht donor wordt voor een recpënt met een heel groot gewcht, waardoor het gewcht van de donor onevenredg toeneemt (teveel gewcht krjgt). Men kan dt ook trachten te voorkomen door de wegngsvarabele of de aan de wegng ten grondslag lggende hulpvarabelen als categorale x-varabele(n) mee te nemen. Soms wl men net alleen voor de tem-nonrespondenten een score mputeren, maar voor alle net n de steekproef voorkomende objecten. We noemen dt massamputate, ook al s er maar één doelvarabele n het gedng. Men moet dan natuurljk wel over een regster of steekproefkader beschkken. Voor de mputate van de net-steekproefelementen geldt ook dat wegen mnder nodg s naarmate de wegngsvarabelen als x-varabelen n het model zjn opgenomen. Maar het kan voorkomen dat dt net mogeljk s omdat de wegngsvarabelen alleen voor de steekproefelementen bekend zjn. Dan s wegen een opte. Na massa-mputate kan men eenvoudg totalen en gemddelden voor berekenen. Bj een weghted hot-deck procedure komt dt overeen met het gebruk de poststrafcateschatter, en bj de gewogen klenste kwadratenschattng met de regresseschatter; ze het thema Steekproeftheore, deelthema s Steekproefontwerpen en Ophoogmethoden. Dergeljke schatters worden ook snthetsche schatters genoemd en worden besproken n het deelthema Snthetsche schatters en klene-domenschatters van het thema Modelmatg schatten. Alleen worden de schatters daar rechtstreeks berekend, zonder mputates n het data-bestand aan te brengen Overge zaken De volgende zaken, de net drect de keuze van de methode beïnvloeden maar wel aandacht verdenen, worden n hoofdstuk 9 kort behandeld: 1. vlaggen / documenteren; 2. omgaan met utbjters (utscheters); 3. selecte van hulpvarabelen; 10

11 4. net-negateve varabelen met veel nullen; 5. combnate van methoden (hërarche). 1.2 Afbakenng en relate met andere thema s Item-nonrespons onderschedt zch van (unt) nonrespons, waarbj emand helemaal net aan de enquête meedoet, of een deel van de objecten n een regster ontbreekt. De onderzoeker moet bepalen of er n het geval van gedeelteljke respons voldoende antwoorden zjn gegeven om het record mee te nemen of het als unt nonrespons te bestempelen. In dat geval van echte nonrespons s wegen een opte; ze het thema Wegen als correcte voor non-respons. Zoals n paragraaf s beschreven, komen sommge totaalschatters na mputate overeen met bepaalde wegngsmethoden en zjn tevens te beschouwen als snthetsche schatters; ze Methodenreeks, thema Modelmatg schatten, deelthema Snthetsche schatters en Klene-domenschatters. We maken verder ondersched tussen mputeren en afleden/tperen. Bj het afleden van varabelen worden neuwe varabelen gecreëerd als functe van n het bestand reeds bestaande varabelen. Bj mputeren worden ontbrekende waarden op een bestaande varabele gecreëerd. Bj het gaafmaakproces (ze Methodenreeks, thema Controle en correcte ) worden eventuele fouten opgespoord en gecorrgeerd. Wanneer de oorspronkeljke, fout geachte waarde geen rol speelt bj het corrgeren, zen we de correcte ook als een mputate. Er s dan feteljk eerst een ontbrekende waarde gecreëerd, door de foute waarde op mssng te zetten. Het komt echter ook voor dat de oorspronkeljke waarde nvloed heeft op de toe te kennen waarde, bjvoorbeeld bj de duzendfouten bj economsche statsteken. De n paragraaf 1.4 te geven defnte van mputeren (vrj naar Begrppenljst van Proces-metadata), maakt dudeljk dat er dan geen sprake s van een mputate. De defnte van mputeren mplceert net dat het bestand na mputate ntern consstent s, n de zn van dat aan alle gaafmaakregels s voldaan. Men kan wel als extra es bj het mputateproces meenemen dat de geïmputeerde waarden aan alle (of aan bepaalde) controleregels voldoen, zodat er geen verboden nconsstentes of net-toegelaten waarden ontstaan als gevolg van het mputeren. Men kan aan deze es voldoen door controleregels als restrctes bj het mputeren mee te nemen, of door de ongerestrcteerde mputates achteraf gaaf te maken. Dt laatste ledt soms tot een teratef proces. Bj grote surves met veel varabelen en met records met meerdere onbrekende waarden, zjn nconsstentes net altjd te vermjden, ook al gebrukt men methoden van multvarate mputate. 1.3 Plaats n het statstsch proces Imputate s een onderdeel van het verwerkngsproces (throughput). Het s geen noodzakeljke processtap: men kan besluten om de velden leeg te laten en het probleem bj de ophogng (wegen of herhaald wegen) of analse op te lossen. 11

12 Van belang s dat de ontbrekende waarden bj eerdere processtappen dudeljk n het bestand zjn aangegeven. Dt kan doordat het veld s opengelaten, of va specale codes als -1, 9 en 99 wanneer dat net tot verwarrng ledt. Problematscher s het wanneer nullen zjn ngevuld voor ontbrekende waarden, wat wel gebeurt bj bedrjfsstatsteken. Dan s geen ondersched meer te maken tussen ontbrekende waarden en echte nullen. Ook voor het gaafmaken geeft dt problemen. Vaak s het mputeren een vervolg op het detecteren van fouten, zoals n de nledng van dt themarapport s beschreven. Zoals gezegd beschouwen wj het corrgeren van dergeljke fouten slechts als mputeren, wanneer bj de correctestap de oorspronkeljke waarde geen rol meer speelt. Na gaafmaken en mputeren s het mcrobestand geschkt voor aggregeren en tabelleren. Bj steekproefonderzoeken zullen schattngprocedures nodg zjn. Verder n het proces zal men meestal blj zjn te kunnen werken met geïmputeerde bestanden, en dankbaar van de mputates gebruk maken. Toch bestaan er stuates waarn men de mputates wl negeren, bjvoorbeeld bj het doen van secundare analses op mcro-bestanden, maar ook bj het bepalen van betrouwbaarhedsmarges. Door de geïmputeerde waarden tjdens het mputateproces te vlaggen (ze hoofdstuk 9), kan men ook aan deze wensen tegemoet komen. Dt vlaggen van geïmputeerde waarden zou dan ook een verplchtng moeten zjn. 1.4 Defntes Begrp Item-nonrespons Item-nonrespondent Imputate, mputeren Geïmputeerde waarde, mputate Imputatevarabele Imputateklasse, mputatestratum Deducteve mputate (logsche mputate) Donor-mputate Multvarate mputate Massa-mputate Longtudnale mputate Omschrjvng het ten onrechte ontbreken van een antwoord van een respondent (op één of meerdere vragen) een object dat op een bepaalde varabele ten onrechte net heeft gerespondeerd bepalen en ntroduceren van een (neuwe) waarde op een plaats waar een waarde ontbreekt of op onbekend (ontbrekend) s gezet waarde de wordt ngevuld voor een ontbrekende waarde de varabele waarop ontbrekende waarden worden geïmputeerd een deelpopulate waarvoor mputates worden utgevoerd, zonder gebruk te maken van nformate ut de overge deelpopulates. Men kan verschllende mputatemethoden gebruken voor verschllende mputateklassen. mputate waarbj op logsche gronden een waarde wordt geïmputeerd zonder kansmechansme, ook wanneer de waarde net 100% zeker just s Imputate waarbj de ontbrekende waarde s overgenomen van een donor-record met zoveel mogeljk dezelfde kenmerken als de ontvanger. mputate van meerdere ontbrekende waarden per record mputate voor alle n de populate ontbrekende waarden op een bepaalde varabele Imputate, waarbj gebruk wordt gemaakt van waarden voor dezelfde varabele op andere tjdstppen van hetzelfde object of andere objecten. Deze mputate kan ook multvaraat zjn. 12

13 1.5 Algemene notate We hanteren n dt thema de volgende algemene notate: = ndex voor object (record); = doelvarabele; = score van object op doelvarabele ; we gaan er her vanut dat de waargenomen score geen meetfout bevat; obs = verzamelng objecten waarvan s waargenomen (observed); ms = verzamelng objecten waarvan net s waargenomen (mssng); ~ = geïmputeerde waarde voor ontbrekende. Bj de meeste methoden zal ook enge specfeke notate worden geïntroduceerd. 13

14 2. Deducteve mputate 2.1 Korte beschrjvng In het algemeen zjn mputates voorspellngen voor de ontbrekende waarden, op grond van een model. In sommge gevallen kunnen mputates echter ook drect afgeled worden ut de wél waargenomen waarden n hetzelfde record met behulp van afledngsregels de geen te schatten parameters bevatten zoals bj modellen het geval s. Voorbeeld 1. Burgerljke staat s onbekend, maar de persoon n kweste s 10 jaar. Dan kan men met zekerhed zeggen dat deze persoon ongehuwd s. Voorbeeld 2. Bj een bedrjfsenquête wordt gevraagd naar de totale omzet (O), omzet ut hoofdactvtet (O1) en omzet ut nevenactvteten (O2). Inden één van deze dre vormen van omzet ontbreekt s de ut te rekenen va de regel: O1+O2=O. Bovenstaande mputateregels zjn voorbeelden van deducteve of logsche mputate. Bj deze mputatemethode wordt gekeken of het mogeljk s om op grond van logsche of wskundge relates tussen de varabelen, de waarde van één of meer van de ontbrekende varabelen eendudg af te leden ut de wel waargenomen waarden. Voor de ontbrekende varabelen waarvoor dt mogeljk s, s deze uneke waarde de deducteve mputate. Imputateregels kunnen ook toegepast worden als de regel net noodzakeljk altjd moet opgaan, maar slechts met grote waarschjnljkhed opgaat. We spreken ook dan van deducteve of logsche mputate. 2.2 Toepasbaarhed Voor deducteve mputate s het net nodg om modellen te specfceren of te schatten. Met als nput alleen de controleregels, kan het proces geheel automatsch utgevoerd worden. Deducteve mputates zjn bovenden n zekere zn de best mogeljke mputates. Ze zjn exact geljk aan de werkeljke waarden als de andere waarden n het record correct zjn. Gezen deze laatste voorwaarde s het van belang om de methode ut te voeren nadat zoveel mogeljk fouten opgespoord zjn en vervolgens gecorrgeerd zjn (sstematsche fouten) of op mssng zjn gezet. Vervolgens s deducteve mputate echter de meest logsche volgende stap. Modelmatge en donor-methoden kunnen daarna toegepast worden. Deze methoden kunnen voor het schatten van de parameters profteren van de reeds deductef ngevulde waarden. Gezen de voordelen van de methode zal altjd nagegaan moeten worden welke mogeljkheden er zjn om deductef te mputeren. 14

15 2.3 Utgebrede beschrjvng Eenvoudge mputateregels Veel deducteve mputates kunnen utgevoerd worden va eenvoudge regels van de als-dan vorm, bjvoorbeeld: als burgerljke staat = onbekend en leeftjd < 15 dan burgerljke staat = ongehuwd. Of als totaal arbedskosten = onbekend en werknemers op de loonljst = 0 dan totaal arbedskosten = 0. Deze regels worden door nhoudeljk deskundgen opgesteld en kunnen stuk voor stuk toegepast worden met veel verschllende software Het gebruk van geljkhedsrestrctes Een bjzonder rjke bron voor deducteve mputates vormen de utgebrede stelsels van geljkheden de voor de productestatsteken moeten gelden. Dt kan oplopen tot rond de 100 varabelen met 30 geljkhedsrestrctes. De meeste van deze geljkhedsrestrctes zjn van de vorm Totaalvarabele = som van de Subtotalen (of deelposten of specfcates). Als n zo n geval één van de subtotalen of het totaal ontbreekt, s het drect dudeljk met welke waarde de ontbrekende varabele geïmputeerd moet worden. Er s één vergeljkng met één onbekende. In de praktjk komen veel varabelen voor n meerdere geljkheden. We hebben dan te maken met een stelsel vergeljkngen met meestal meerdere ontbrekende varabelen, waarbj het net drect nzchteljk s of de waarden van sommge ontbrekende varabelen door dt stelsel unek bepaald worden en welke de uneke waarden dan zjn. Heronder wordt een methode beschreven waarmee automatsch de deducteve mputates voor zulke stelsels vergeljkngen kunnen worden gegenereerd. Stel dat een record bestaat ut p varabelen en dat er op deze p varabelen q lneare geljkhedsrestrctes van toepassng zjn. Deze restrctes kunnen weergegeven worden n de vorm R = 0 (2.3.1) met de p-vector met varabelen, R een q p matrx waarvan edere rj één restrcte weergeeft. Bjvoorbeeld, het blok bedrjfsopbrengsten bevat de volgende vjf varabelen: Tabel 1. Vjf varabelen ut het blok bedrjfsopbrengsten Netto omzet ut hoofdactvtet 1 Netto omzet ut overge actvteten 2 Totaal netto omzet 3 Totaal overge bedrjfsopbrengsten 4 Totaal bedrjfsopbrengsten 5 Op deze varabelen zjn twee restrctes van toepassng: 3 = en 5 = Deze restrctes kunnen geformuleerd worden n de vorm (2.3.1) met 15

16 R Als de vector met varabelen bestaat ut o geobserveerde waarden en m ontbrekende waarden dan kan, na een permutate van elementen, deze vector geparttoneerd worden als ( o, m ), waarbj o de o-vector s met de geobserveerde waarden van en m de m-vector met de ontbrekende waarden. Als we R parttoneren n overeenstemmng met de parttonerng van, kunnen we schrjven zodat o m, (2.3.2) m o R R 0 R m m R o o a, zeg. (2.3.3) Deze laatste utdrukkng s een stelsel lneare vergeljkngen n de ontbrekende waarden m. De bedoelng van deductef mputeren s om ut dt stelsel zoveel mogeljk ontbrekende waarden op te lossen. Voor een stelsel lneare vergeljkngen s het gebrukeljk om dre gevallen te onderscheden: I) er zjn geen oplossngen (het stelsel s strjdg), II) er s preces één oplossng. en III) er zjn onendg veel oplossngen. Geval I doet zch voor als de rang van R m ongeljk s aan de rang van [ R m a]. Als de formulerng van de restrctes zodang s dat daardoor geen tegenstrjdgheden ontstaan, kan geval I zch alleen voordoen bj fouten n de data. Dt soort fouten, de schendngen van de restrctes veroorzaken, worden bj economsche statsteken echter eerst opgespoord. Vervolgens worden een aantal waarden als fout aangemerkt en vervolgens op mssng gezet. De neuwe ontbrekende waarden worden op een zodange wjze aangewezen dat er mputates bestaan voor de ontbrekende waarden de aan de restrctes voldoen. Als er op bovenstaande wjze omgegaan s met schendngen van restrctes kan geval I zch dus net meer voordoen. Geval II doet zch voor als de rang van R m geljk s aan het aantal ontbrekende waarden m. Alle ontbrekende waarden kunnen dan deductef geïmputeerd worden, er s maar één waarde voor m de aan de restrctes voldoet. In het algemeen zullen we echter te maken hebben met geval III; er zjn onendg veel oplossngen voor m. In dt laatste geval s het echter mogeljk dat sommge elementen van m n alle mogeljke oplossngen dezelfde waarden hebben. Deze elementen kunnen deductef geïmputeerd worden. De verzamelng oplossngen voor Rao (1973), pag. 24) m, zeg ~ m s gegeven door (ze bjvoorbeeld 16

17 met ~ m = Rma + ( R mrm I) z = b + Cz (2.3.4) R m een gegeneralseerde nverse van R m (d.w.z. een m q matrx waarvoor geldt: R m R m R m = R m ), en z een wllekeurge m-vector. Doordat z wllekeurg gekozen kan worden genereert (2.3.4) n het algemeen onendg veel oplossngen voor m, er s alleen een uneke oplossng als R m van volledge rang s en R m dus de regulere nverse s. Als sommge elementen van m geljk zjn voor alle mogeljke oplossngen, dus voor edere wllekeurge waarde van z, dan moet gelden dat de corresponderende rjen van C alleen nullen bevatten. Deze elementen zjn dus eenvoudg op te sporen en kunnen deductef geïmputeerd worden met de corresponderende waarden van b Het gebruk van net-negatvtet Een andere mogeljkhed om deductef te mputeren s door gebruk te maken van de net-negatvtet van veel varabelen. Stel bjvoorbeeld dat slechts twee deelposten van een optellng van acht posten geobserveerd zjn, maar dat deze wel optellen tot het gerapporteerde totaal. Als de ontbrekende deelposten net negatef mogen zjn, kunnen ze allen met nul worden geïmputeerd omdat hun som nul moet zjn. Om dt soort oplossngen te vnden, beschouwen we weer de geljkhed R m m = a. Veronderstel nu dat er een element a j van a s dat geljk s aan nul. Voor de corresponderende rj, r m. j, van R m geldt dan dus r m. j m = 0. Als nu voor alle elementen van m de corresponderen met de net-nul elementen van r m. j geldt dat ) deze elementen kunnen net negatef zjn, ) de corresponderende net-nul elementen van r m. j zjn allen negatef of allen postef, dan zjn deze elementen van m geljk aan nul. De op deze wjze afgelede deducteve 0-mputates voor de ontbrekende waarden m zjn dus gegeven door ~ 0 als a = 0 en aan voorwaarden en voldaan s. (2.3.5) mj = j 2.4 Voorbeeld Een voorbeeld van het toepassen van deducteve mputate bj bedrjfsstatsteken s beschreven n Pannekoek en Tempelman (2005). Dt voorbeeld betreft gegevens van Productestatsteken de betrekkng hebben op de Groothandel en de Detalhandel. De data met betrekkng tot de Groothandel bestaan ut 875 bedrjven n grootteklasse (4 t/m 9) en 102 varabelen. Op deze varabelen zjn 30 geljkhedsrestrctes van toepassng en daarnaast zjn er nog 26 eenvoudge mputateregels geformuleerd door gebruk te maken van een relate van de vorm als 1 = 0 dan 2 = 0 en s gebrukgemaakt van de net-negatvtet van bjna al deze varabelen. De data van de 17

18 Detalhandel bestaan ut 1242 records (grootteklasse 0 t/m 3) en 54 varabelen waarop 15 geljkhedsrestrctes van toepassng zjn en daarnaast zjn er nog 21 eenvoudge mputateregels geformuleerd van dezelfde vorm als bj de Groothandel en s ook van de net-negatvtet gebruk gemaakt. De data van deze Productestatsteken hebben reeds enkele bewerkngsstappen ondergaan, waarbj wordt gecorrgeerd voor overdudeljke fouten. Heronder vallen bjvoorbeeld unforme duzendfouten of waarnemngen de onterecht negatef zjn. Bovenden worden tjdens deze stap ook lege totalen en subtotalen ngevuld als de deelposten daarvan tenmnste wel zjn ngevuld. Dt laatste s een eerste deducteve mputatestap. Daarnaast zjn door het foutenlokalsate algortme van het programma CherrP alle edtregels gecontroleerd en bj schendngen van edtregels de nodge waarden als foutef aangemerkt en vervolgens op mssng gezet. De ontbrekende waarden n deze bestanden zjn dus zowel het gevolg van partële nonresponse als van opgespoorde fouten. Op deze data zjn met behulp van de geljkhedsrestrctes en de eenvoudge mputateregels alle mogeljke deducteve mputates utgevoerd. De resultaten zjn weergegeven n tabel 2. Tabel 2. Aantallen deducteve mputates bj de Groothandel en de Detalhandel Groothandel Detalhandel Aantal ontbrekende waarden Aantal deducteve mputates (69%) (47%) Waarvan geljk aan nul (94%) Waarvan net geljk nul 1401 (6%) Resterende ontbrekende waarden (91%) 1219 (9%) Ut deze tabel bljkt dat deducteve mputate zeer effectef s, voor een groot deel van de ontbrekende waarden (69% en 47%) kan op deze wjze, zonder mputatemodel en zonder aanpassngen van mputates, geïmputeerd worden met de eng mogeljke waarde de aan alle edtregels voldoet. De deducteve mputates n tabel 2 zjn meestal (voor meer dan 90%) geljk aan nul. Herbj moet wel opgemerkt worden dat dt net de enge deducteve mputates zjn. In de T040 stap hebben al een aantal deducteve mputates plaatsgevonden de netnul zjn: het nvullen van lege subtotalen. Veel van de nul-mputates hebben er mee te maken dat berchtgevers de vragen naar specfeke kostenposten waar zj geen utgaven aan hebben gehad leeg laten n plaats van met 0 te beantwoorden. Het zelfde geldt voor nkomsten ut specfeke onderdelen van de bedrjfsopbrengsten. Met deducteve mputate kunnen een groot aantal van deze net ngevulde nulwaarden teruggevonden worden. Het s overgens net aan te bevelen om een net 18

19 ngevuld veld altjd met de waarde nul te mputeren als dat net n strjd s met de edtregels. Pannekoek en Tempelman (2005) laten zen dat dat soms tot substantële vertekenng n de publcatetotalen kan leden. 19

20 3. (Group) mean mputaton / mputate van het (groeps)gemddelde 3.1 Korte beschrjvng Bj mean mputaton ( mputate van het gemddelde ) wordt een ontbrekende waarde vervangen door de gemddelde score op de desbetreffende varabele bj de objecten de wel een geldge score hebben. Bj group mean mputaton ( mputate van het groepsgemddelde ) wordt een ontbrekende waarde vervangen door de gemddelde score op de desbetreffende varabele bj de objecten de een geldge score hebben én n dezelfde deelpopulate ztten als de tem-nonrespondent. Mean mputaton ledt tot een pek n de verdelng, omdat voor edere ontbrekende waarde hetzelfde gemddelde wordt geïmputeerd. Bj group mean mputaton s sprake van een aantal klenere peken. 3.2 Toepasbaarhed Bj zuvere mean mputaton wordt geen hulpnformate gebrukt. Deze methode s daarom alleen aan te raden nden er geen hulpnformate beschkbaar s of wanneer de beschkbare hulpvarabelen nauweljks samenhangen met de mputatevarabele. Als de fracte ontbrekende waarden op een varabele zeer klen s en de mputates nauweljks effect zullen hebben op de te schatten parameter (bjv. het populatetotaal), kan mean mputaton ut effcenc-overwegngen toelaatbaar zjn. Men moet echter zeer zung zjn met het toepassen van deze wat al te eenvoudge methode. Bj group mean mputaton wordt wel hulpnformate gebrukt, nameljk een ndelng n groepen (deelpopulates, mputateklassen, mputatestrata) op grond van één of meer kwaltateve varabelen. Hoe homogener naar de te mputeren varabele de deelpopulates, des te beter de mputates, utgaande van de assumpte dat de ndelng n deelpopulates net alleen goed dscrmneert bj de respondenten, maar ook bj de tem-nonrespondenten (ze n paragraaf ). Zoals vermeld ledt zuvere mean mputaton tot een gepekte verdelng. De methode s daarom eventueel geschkt wanneer de output zch beperkt tot geschatte populategemddelden en totalen. Het fet dat door de mputate een volledg databestand wordt verkregen, garandeert consstente van geaggregeerde utkomsten. Zuvere mean mputaton s echter ongeschkt voor het schatten van een (nkomens)verdelng of voor het schatten van een spredngsmaat als de standaarddevate. Het ledt ook doorgaans net tot kwaltatef goede ndvduele mputates, maar bj geen enkele mputatemethode bestaat een dergeljke garante. Bj group mean mputaton s de gepekthed van de verdelng meestal veel klener, omdat de varate tussen de groepen bj de mputate wordt meegenomen; alleen de varate bnnen de groepen wordt verwaarloosd. Inden de verhoudng van deze 20

21 tussen- en bnnenvarante groot s, kan men met deze methode ook spredngsmaten redeljk schatten, gegeven het gelden van het mputatemodel. 3.3 Utgebrede beschrjvng Conform de notate ut paragraaf 1.5 s de geïmputeerde waarde ~ voor een ontbrekende score bj mean mputaton geljk aan het geobserveerde gemddelde k ~ k obs obs, (3.3.1) nobs met k de waargenomen score van de k e respondent en n obs het aantal temrespondenten voor varabele. Inden gewenst kunnen de objecten ongeljk worden gewogen, bjvoorbeeld vanwege verschllen n nslutkans; ze deelparagraaf en egenschap 3 n paragraaf 3.5. Er wordt dan net opgehoogd met een vaste ophoogfactor N/n (met N de populateomvang, en n de steekproefomvang of het aantal respondenten), maar met ndvduele gewchten w de onderlng verschllen. De resulterende mputate obs wk k ~ ( w) obs (3.3.2) w obs k s dan doorgaans een betere (mnder vertekende) schatter van het populategemddelde. Mean mputaton kan worden toegepast voor de nonrespons n de steekproef of voor de ontbrekende waarden n de populate. Voor edere ontbrekende waarde wordt hetzelfde gemddelde geïmputeerd. Men kan de methode veelal znvoller toepassen na eerst mputateklassen te hebben bepaald. Bj deze group mean mputaton wordt (3.3.1) vervangen door ~ hk h obs h h; obs, (3.3.3) nh; obs waarbj hk de waargenomen score van de k e respondent n klasse h en aantal tem-respondenten voor varabele n h. n h ; obs het Er s geen ngewkkelde software nodg om een (groeps)gemddelde te mputeren. Met SPSS14.0 kan (group) mean mputaton eenvoudg worden toegepast va Transform \ Replace Mssng values \ Method Seres mean. De procedure Replace Mssng values s bedoeld voor tjdreeksen, en s daarmee brukbaar voor ontbrekende waarden bj longtudnale mputate (hoofdstuk 8). Men kan mean mputaton dus toepassen: met het gemddelde van de hele steekproef of populate, of per mputateklasse; ongewogen, of gewogen met gewchten w. 21

22 De mogeljkhed om de methode toe te passen met een storngsterm behandelen we bj regresse-mputate n hoofdstuk Voorbeeld Voorbeeld 1. Energestatstek-1 2 Voor het schatten van het energeverbuk van bedrjven n Nederland werd tot voor kort gebruk gemaakt van de enquête Energeverbruk bj bedrjven. Door het wegvallen van deze enquête wordt er gewerkt aan het opzetten van een secundar waarnemngstraject, waarbj van energebedrjven afkomstge verbrukgegevens per bedrjf worden gebrukt voor het schatten van het totale energeverbuk. Hervoor worden verbrukgegevens op bass van NAW-gegevens (naam, adres, woonplaats) gekoppeld aan bedrjfseenheden n het ABR. Een voorbeeld van group mean mputaton s het gemddelde elektrctetverbruk per bedrjf te gebruken per bedrjfssector/sbi, zoals de glastunbouw. Voorbeeld 2. Productestatstek-1 Bj de Productestatsteken (PS) worden deelpopulates gevormd op bass van SBI en GK. De steekproefomvang s te klen om alle cellen SBI GK te kunnen onderscheden. De mputateprocedure verschlt engszns tussen grote en klenere bedrjven. Inden hulpnformate over een bedrjf met onvolledge nonrespons beschkbaar s, bjvoorbeeld n de vorm van omzet ut het vorge jaar of ut de Korte-termjn Statstek (KS), dan moet deze natuurljk worden gebrukt. Voorbeeld 2 n paragraaf 4.4 toont hoe dat gebeurt. Wanneer echter dergeljke nformate net beschkbaar s, wordt Group mean mputaton gebrukt. Men kan dan bj een ontbrekende omzet de gemddelde omzet n de mputateklasse (stratum) mputeren. Dt zal onder andere veel gebrukt worden voor neuwe bedrjven, waarvoor geen gegevens ut een vorge perode beschkbaar zjn. 3.5 Egenschappen 1. Na toepassen van mean mputaton volgens (3.3.1) voor alle temnonrespondenten s het ongewogen steekproefgemddelde geljk aan het ongewogen responsgemddelde. Zou men massa-mputate toepassen door het responsgemddelde net alleen als geïmputeerde waarde te gebruken voor de eventuele tem-nonrespondenten, maar ook voor degenen de net n de steekproef ztten, dan wordt ook het hermee geschatte populategemddelde geljk aan het responsgemddelde, en ook geljk aan de drecte schatter voor het populategemddelde (met ophooggewchten N/n). 2 Met dank aan Edgar Soufan. 22

23 2. Group mean mputaton ledt evenzo tot dezelfde overall-totalen en -gemddelden als de (post-)stratfcateschatter, wanneer de strata als mputateklassen worden gebrukt. 3. Na toepassen van gewogen mean mputaton volgens (3.3.2) voor alle temnonrespondenten s het met nslutkansen gewogen steekproefgemddelde geljk s aan het met nslutkansen gewogen responsgemddelde, ongeacht het gewcht van de tem-nonrespondenten. Ophogng zorgt er ook nu voor dat de populateschattng net door de mputates wordt beïnvloed. Evenzo s na massamputate het populategemddelde geljk aan het gewogen responsgemddelde. 3.6 Kwaltetsndcatoren Mean mputaton ledt tot een onderschattng van de varante mputatevarabele, 2 S van n Sˆ = ( ), (3.6.1) n 1 = 1 omdat voor de tem-nonrespondenten de bjdrage n de teller een nul s. Zou men voor V (), de varante van het steekproefgemddelde, de naïeve schatter n n n V ˆ ( ) = (1 ) Sˆ = (1 ) ( ) N n N n( n 1) (3.6.2) gebruken met hetzj bekend, hetzj geïmputeerd met, dan wordt ook deze varante (kwadraat van de standaardfout) onderschat, en daarmee ook de betrouwbaarhedsmarge. Men doet dan nameljk ten onrechte of men gegevens heeft van alle n objecten, n plaats van alleen van degenen de op gerespondeerd hebben. De juste schatter voor V ( ) verkrjgt men door de steekproefomvang n n formule 2 (3.6.2) te vervangen door het aantal tem-respondenten n obs en S alleen te bepalen over de tem-respondenten. Vanzelfsprekend s het steekproefgemddelde geljk aan het responsgemddelde. Voor group mean mputaton geldt het bovenstaande per groep. = 1 Ze paragraaf 5.6 voor verdere kwaltetsndcatoren. 23

24 4. Rato-mputate 4.1 Korte beschrjvng Bj rato-mputate voor varabele wordt één hulpvarabele x gebrukt de sterk met samenhangt, n de zn dat x bj (redeljke) benaderng evenredg s met. Inden R de verhoudng tussen en x weergeeft, wordt de ontbrekende waarde vervangen door ~ = Rx. (4.1.1) Een voorbeeld s het bepalen van een onbekende bedrjfsomzet () ut het aantal werkzame personen (x). Voor R zal men dan de gemddelde bedrjfsomzet per werkzame persoon nemen. De meest voorkomende stuate s dat x hetzelfde meet als, maar n een eerdere waarnemngsperode. We noteren de varabelen en x dan als respecteveljk ~ t t 1 = R t en t 1. Formule (4.1.1) gaat dan over n, (4.1.2) met R de relateve toename van de varabele van tjdstp t-1 op t. Doorgaans wordt R ut de data geschat. 4.2 Toepasbaarhed Rato-mputate kan worden toegepast voor ontbrekende waarden op een kwanttateve varabele, wanneer er een kwanttateve (hulp)varabele x s te vnden de een mn of meer vaste verhoudng heeft met de doelvarabele. Men kan formule (4.1.1) zen als een enkelvoudge regressevergeljkng waarbj de regresseljn door de oorsprong gaat. Er wordt dus geen constante term meegenomen. Rato-mputate s dus een specaal geval van regresse-analse (geschat met gewogen klenste kwadraten). Inden een model met een constante term beter ft, of wanneer men extra varabelen aan model (4.1.1) zou wllen toevoegen, kan de algemene regresse-mputate geschkter zjn. Doorgaans wordt er op het CBS geen resdu aan (4.1.1) toegevoegd. Bj veel statsteken waar rato-mputate wordt toegepast, zjn gemddelden en totalen de belangrjkste output. In het verleden werd er bj sommge omzetstatsteken als utzonderng een tabel geproduceerd met het aantal bedrjven dat een hogere vs. lagere omzet heeft dan het jaar daarvoor. Inden mputate volgens (4.1.2) wordt toegepast en R wordt geschat op 1,01, dan wordt voor alle tem-nonrespondenten aangenomen dat ze van tjdstp t-1 op t een omzetgroe hebben gehad, hetgeen n deze stuate onwaarschjnljk s. Voor díe tabel s het derhalve nodg een resdu aan (4.1.2) toe te voegen. We bespreken dt toevoegen van een resdu verder n hoofdstuk 5; ze ook deelparagraaf

25 Net als bj mean mputaton kan men rato-mputate apart per deelpopulate (mputateklasse) toepassen. Men doet dt vooral wanneer de rato s tussen de deelpopulates sterk verschllen. Deze mogeljkhed wordt n de volgende paragraaf besproken. 4.3 Utgebrede beschrjvng Vaak beschkt men over een hulpvarabele x de mn of meer evenredg s met. Wanneer ontbreekt maar x wel bekend s, kan men (4.1.1) als mputate gebruken, met R de evenredghedsconstante. Doorgaans s R net bekend en schat men R ut de records waarvoor x én bekend zjn: Rˆ x. (4.3.1) bs obs Invullen n (4.1.1) geeft ~ obs Rx ˆ x. (4.3.2) x obs De evenredghedsconstante s dus geljk aan het quotënt (rato) van de gemddelden op en x voor de tem-respondenten van varabele. In het geval dat x en alleen n het tjdstp verschllen, gaat formule (4.1.3) over n. (4.3.3) t ~ t ˆ t 1 obs t 1 R t 1 obs De te schatten parameter R s nu de relateve toename van de varabele van t-1 op t. Men kan model (4.3.2) ook apart voor verschllende deelpopulates toepassen. Iedere deelpopulate h heeft dan een egen rato R h. Men kan dt group rato mputate noemen. Het toepassen hervan heeft alleen zn als de lneare relate tussen x en sterk, en op zjn mnst sgnfcant, verschlt tussen de deelpopulates. De deelpopulates mogen ook net te klen zjn, want dat kan leden tot onzuverhed en eventueel grote standaardfouten voor totaalschatters. Het werken met groepen levert bj rato mputate doorgaans mnder wnst op dan bj group mean mputaton; rato s van groepen meestal homogener zjn dan groepsgemddelden. Voor het bepalen van de rato R bestaat weer de mogeljkhed om tem-respondenten te wegen met nslutgewchten. Voor rato-mputate s geen ngewkkelde software nodg. Formules (4.3.2) en (4.3.3) zjn eenvoudg te berekenen na de rato R te hebben geschat. 25