Evaluatie van kleine-domeinschatters (KDS) voor arbeidspositie op regionaal niveau

Transcriptie

1 Statistics Netherlands Process development, IT and methodology Methodology and development department Evaluatie van kleine-domeinschatters (KDS) voor arbeidspositie op regionaal niveau Harm Jan Boonstra en John Michiels In het kader van het Speerpunt Regionalisering is onderzocht hoe de methode van kleine-domeinschattingen (KDS) toegepast kan worden voor het schatten van arbeidspositie op provinciaal en gemeentelijk niveau. Deze schattingen moeten zowel op - als op jaarbasis gemaakt worden. Het gebruikte KDS model is het basis unit-level model waarin verschillende achtergrondvariabelen worden meegenomen, geselecteerd aan de hand van een aantal modelselectiematen. Alle schattingen die gepubliceerd worden moeten onderling consistent zijn. Dit kan op verschillende manieren worden bereikt. Het blijkt dat een top-down benadering de beste resultaten geeft. Hierbij worden eerst KDS schattingen op provincieniveau gemaakt zodanig dat ze consistent zijn met de landelijke directe schatting, en vervolgens worden gemeentelijke schattingen gemaakt die op hun beurt consistent gemaakt worden met de provinciale schattingen. Jaarschattingen worden het best verkregen als gemiddelden van de schattingen. Key words: Kleine-domeinschattingen, Enquête Beroepsbevolking, Arbeidspositie 1 Inleiding Er bestaat een toenemende behoefte om op diverse regionale niveaus cijfers te publiceren over thema s als arbeidsmarkt, veiligheid, en gezondheid. Deze cijfers ontbreken voor een belangrijk deel, vooral voor kleinere regionale indelingen, omdat de huidige steekproeven te klein zijn en de gebruikte schattingsmethoden ontoereikend om cijfers van voldoende nauwkeurigheid te kunnen Projectnumber: BPAnumber: PPM PPM HBTA Date: 7 maart 2013

2 leveren. Output op regionaal niveau blijft zodoende beperkt tot grotere regionale verbanden (als landsdelen of provincies) en er kunnen slechts beperkte uitsplitsingen naar achtergrondkenmerken worden gerealiseerd. Voor de kleinste regio s wordt soms output over meerdere jaren geaggregeerd. Dit komt de monitoring van actuele ontwikkelingen op klein regionaal niveau niet ten goede. Er zijn twee uitwegen uit dit probleem. Een voor de hand liggende mogelijkheid is het uitbreiden van de steekproefomvang, echter dit is vanwege te hoge kosten geen realistische oplossing. Een andere mogelijkheid is het beter gebruik maken van reeds beschikbare informatie in op maat gesneden schattingsmethoden. Hiervoor is in de laatste jaren op het CBS door de vakgroep schattingsmethoden (PIM) een methode ontwikkeld: de methode van de kleinedomeinschatters (KDS). In deze methode wordt informatie over de relatie tussen doelvariabele en verklarende kenmerken op landelijk niveau ingezet om cijfers op klein-regionaal niveau te schatten. Centraal staat hierbij het gebruik van lineaire gemengde modellen op het niveau van klein-regionale gebieden of van de statistische eenheid (resp. area-level en unit-level modellen). In deze nota wordt aandacht besteed aan de evaluatie van KDS voor de meting van arbeidspositie op het niveau van gemeenten en provincies. Het doel van de evaluatie is om een aantal belangrijke praktische en theoretische vraagstukken te kunnen oppakken, zodat na de beantwoording ervan vrij gemakkelijk tot implementatie van cijfers in reguliere publicaties kan worden overgegaan. Het gaat in grote lijnen om de volgende punten: Vaststellen op welke wijze regionale cijfers over arbeidspositie dienen te worden samengesteld; de vraag is of eerst KDS-schattingen op het kleinste regionale niveau worden berekend, van waaruit de cijfers van grotere regionale verbanden volgen, of dat juist wordt gekozen voor de omgekeerde weg. Welk model kan hiervoor bij voorkeur worden ingezet: area-level of unit-level modellen? En welke verklarende kenmerken en modeltermen leiden vervolgens tot het beste model? Bij verschillende doelvariabelen (werkloze en werkzame beroepsbevolking) horen ook verschillende beste modellen. Is KDS voldoende nauwkeurig en robuust voor het schatten van arbeidspositie op kleine regionale niveaus? Hierbij worden puntschattingen van arbeidspositie en modelparameters met bijbehorende standaardfouten over de tijd gevolgd; ook wordt er een vergelijking gemaakt met de huidige -directe schatters- voor cijfers over (regionale) arbeidspositie. Is het mogelijk om KDS-schattingen van voldoende kwaliteit per te berekenen? (van waaruit de jaarcijfers door aggregatie volgen). Of is het zinvol om alleen op jaarniveau te publiceren? 2

3 Deze punten worden in meer detail in secties 2 t/m 4 uitgewerkt. Sectie 5 vat de antwoorden op deze vragen samen. 2 Modelkeuze KDS schattingen worden gebaseerd op een expliciet model voor de doelvariabele. De basismodellen voor KDS zijn het basic area-level en het basic unit-level model, zie Rao (2003). Dit zijn lineaire gemengde modellen met random domeineffecten. Het gebruik van lineaire modellen voor binaire variabelen zoals werkloosheid blijkt goed te werken en biedt verschillende praktische voordelen ten opzichte van modellen voor binaire data, zie Boonstra et al. (2011). Schattingen van arbeidspositie voor de deelpopulaties mannen/vrouwen en leeftijdsklassen 15-24, en worden gemaakt door het model te fitten op de corresponderende deelsteekproef. Deze manier van schatten blijkt beter te werken dan die gebaseerd op één enkele modelfit op de gehele steekproef onder een model met één set random effecten voor de kruisterm van provincie of gemeente met geslacht of leeftijd (Buelens and Smeets, 2012). 2.1 Eenheids- en domeinniveaumodellen Uit eerdere studies (Boonstra et al., 2008) is gebleken dat het model op eenheidsniveau de voorkeur heeft voor het schatten van arbeidspositie op basis van EBB data. De voornaamste reden hiervoor is dat dit model efficiënter gebruik maakt van hulpinformatie. Het eenheidsniveaumodel gebruikt de hulpinformatie in één stap waarin zowel vertekening als variantie worden gereduceerd. Omdat dit model op persoonsniveau wordt geformuleerd zijn er voldoende vrijheidsgraden om veel hulpinformatie te kunnen gebruiken. Een beperkt aantal hulpvariabelen kan behalve op eenheidsniveau ook op domeinniveau in het model worden gebruikt. Schattingen gebaseerd op het domeinniveaumodel gebruiken de hulpinformatie in twee stappen. In de eerste stap worden directe domeinschattingen gemaakt waarbij de hulpinformatie vooral dient om vertekening door selectiviteit van de respons te verkleinen. In de tweede stap wordt het domeinniveaumodel gefit aan deze directe schattingen waarbij hulpinformatie op domeinniveau kan worden gebruikt om de varianties van de KDS schattingen te verkleinen. Het aantal hulpvariabelen dat hier meegenomen kan worden is echter beperkt omdat het aantal vrijheidsgraden in het domeinniveaumodel gelijk is aan het aantal directe schattingen, dat wil zeggen maximaal het aantal domeinen. Verder blijkt uit eerder uitgevoerde simulatiestudies (Boonstra and Smeets, 2006; Boonstra et al., 2007) dat de onzekerheidsmarges onder het domeinniveaumodel vaker worden onderschat dan onder het eenheidsniveaumodel. Dit heeft mogelijk te maken met het feit dat naast de directe schattingen ook bijbehorende geschatte varianties als input dienen, en deze worden in het model 3

4 voor waar aangenomen. De meeste analytische modelselectiematen zijn niet geschikt om domeinniveau en eenheidsniveaumodellen te vergelijken. Een maat die dit wel kan is de cross-validatiemaat op domeinniveau. Ook deze maat laat een lichte voorkeur zien voor het eenheidsniveaumodel (Boonstra, 2009). 2.2 Keuze van hulpvariabelen De keuze van een geschikt model is een belangrijke stap bij de ontwikkeling van KDS-schattingen. Gebruik van zo n model zou immers tot nauwkeurige regionale schattingen van de doelvariabele moeten leiden, dat wil zeggen schattingen die zowel precies zijn als weinig vertekend. Methoden van modelselectie zijn erop gericht dit goede modellen te onderscheiden; in dit onderzoek wordt van methoden gebruik gemaakt die al eerder in de (CBS-)literatuur zijn onderzocht: Vergelijking van model-fit met het conditionele Akaike Information Criterion (caic). Vergelijking van tussenvarianties van te onderscheiden modellen. Impact van het toevoegen (verwijderen) van modeltermen op KDS-schattingen. Vergelijking van standaardfouten van KDS-schattingen voor te onderscheiden modellen. Het conditionele AIC (Vaida and Blanchard, 2005) is een fit-maat die ook rekening houdt met de complexiteit van het model. Complexe modellen kunnen een betere fit aan de data geven, maar als een model te complex wordt zal de voorspelkracht minder worden, wat resulteert in minder goede KDS schattingen. Het caic criterium vindt een goede middenweg tussen modelfit en complexiteit. Dat gebeurt door het effectieve aantal parameters (Hodges and Sargent, 2001) mee te tellen in de fit-maat. Verder kan als maat voor een goed passend model ook de tussenvariantie dienen; immers bij een goed passend model is het niet-verklaarde deel van de variantie van de doelvariabele -en daarmee ook de tussenvariantie- relatief klein. Deze fit-maat moet dan wel in samenhang met de caic worden beschouwd, omdat ze niet corrigeert voor mogelijke overfit. Fit-maten alleen zijn onvoldoende om de kwaliteit van een model vast te stellen. Er is ook behoefte aan informatie over de nauwkeurigheid van de puntschattingen en het effect van variabelen op het corrigeren voor eventuele vertekening. De nauwkeurigheid van puntschattingen kan worden gemeten met standaardfouten in combinatie met de informatiemaat caic. De standaardfouten geven hierbij aan hoe nauwkeurig een schatting is, de caic geeft aan of 4

5 deze standaardfouten mogelijk het resultaat zijn van overfitten. Het is daarom van belang deze twee maten in samenhang te bekijken bij de beoordeling van verschillende modellen. Ook moet worden nagegaan of het meenemen van bepaalde hulpvariabelen een belangrijke impact heeft op (de vertekening van) KDS-schattingen, al is hun bijdrage aan de model-fit niet groot. Dit kan bijvoorbeeld een rol spelen bij selectieve steekproeven, waar de domeingemiddelden van hulpvariabelen sterk afwijken van de populatiegemiddelden, of bij de correctie van meetfouten. De impact kan bijvoorbeeld worden vastgesteld door ongewogen gemiddelden van domeinschattingen te berekenen voor ieder van de te beschouwen modellen. Modelselectie KDS werkloze beroepsbevolking In deze paragraaf worden alleen unit-level modellen onderling vergeleken (zie ook paragraaf 2.1, waarin de keuze van dit modellen wordt gemotiveerd). Zowel kleine-domeinschattingen van gemeenten als van provincies worden beschouwd. Hulpvariabelen waarvan verwacht kan worden dat ze in belangrijke mate de doelvariabele wel/niet werkloos verklaren, zijn: CWI (inschrijving bij CWI/UWV werkbedrijf en duur van de inschrijving), geslacht, leeftijd (lft3,lft5), herkomst (hrk3, hrk7), huishouden (TypeHH), provincie (PROVWO) en peilingnummer (PeilNr2). Peilingnummer is opgenomen om voor eventuele meetfouten bij CATI-peilingen te corrigeren. Een uitgebreide beschrijving van de categorieën van hulpvariabelen is te vinden in Bijlage A. De volgende modellen voor KDS-schattingen van werkloosheid op gemeenteniveau zijn geanalyseerd: Model1: werkloos ~ Geslacht Model2: werkloos ~ Cwi+Geslacht Model3: werkloos ~ Cwi+Geslacht+hrk7 Model4: werkloos ~ Cwi+Geslacht+hrk7+lft5 Model5: werkloos ~ Cwi+Geslacht+hrk7+lft5+TypeHH Model6: werkloos ~ Cwi+Geslacht+hrk7+lft5+TypeHH+PROVWO Model7: werkloos ~ Cwi+Geslacht+hrk7+lft5+TypeHH+PROVWO+CWIgempop Model8: werkloos ~ Cwi+Geslacht+hrk7+lft5+TypeHH+PROVWO+CWIgempop +PeilNr2 Model9: werkloos ~ Geslacht*lft3*Cwi1+Cwi+hrk7+lft5+TypeHH+PROVWO +CWIgempop+PeilNr2 Model10: werkloos ~ Geslacht*lft3*Cwi1+Cwi1*hrk3+Cwi+hrk7+lft5 +TypeHH+PROVWO+CWIgempop+PeilNr2 Model11: werkloos ~ Geslacht*lft3*Cwi1+Cwi1*hrk3+Cwi+hrk7+lft5 +TypeHH+CWIgempop+PeilNr2 De modellen zijn met elkaar vergeleken op de volgende selectiematen: caic, 5

6 geschatte tussenvariantie (sv2), het ongewogen gemiddelde over gemeenten van het aandeel werklozen in de bevolking (WLBB mean) en het ongewogen gemiddelde over gemeenten van de standaardfout (SE mean). Tabel 1 bevat deze maten voor het KDS-model toegepast op het eerste van Model caic sv2 WLBB mean SE mean Model e Model e Model e Model e Model e Model e Model e Model e Model e Model e Model e Tabel 1: Scores op selectiematen voor KDS werkloze beroepsbevolking gemeenten (2009, 1) De hulpvariabelen die het meest verklarend werken, zijn Cwi, leeftijd en herkomst. Ook het toevoegen van interactietermen van Cwi met leeftijd, geslacht en herkomst blijkt veel bij te dragen aan de model-fit. Opvallend is dat het toevoegen van hulpvariabele PROVWO in model 6 niet bijdraagt aan een verbeterde model-fit. Model 6 heeft bovendien (gemiddeld) grotere standaardfouten voor de kleine-domeinschattingen dan model 5: PROVWO geeft het model een meer direct karakter en directe schatters zijn doorgaans minder precies. Laten we deze modelterm weg (in model 11), dan scoort het resulterende model op alle selectiematen beter. Een andere opvallende hulpvariabele is PeilNr2, die in model 8 is toegevoegd. Deze variabele vertegenwoordigt een set dummy-variabelen die het peilingnummer van de betreffende peiling aangeven (1 t/m 5). Ook al draagt deze variabele minder sterk bij aan de model-fit dan Cwi (gemeten met caic en sv2), het effect op het (gemiddelde) aandeel werklozen binnen de bevolking is er niet minder om. Het gaat hier om een correctie van een meetfout. Beter gezegd, het gaat om een correctie voor de vertekening van de vervolgpeilingen ten opzichte van de eerste peiling, ook wel rotatiegroepvertekening genoemd (Bailar, 1975). Peiling 1, die tot en met 2009 alleen via CAPI is gemeten, wordt verondersteld het minst vertekend te zijn; alle CATI-vervolgpeilingen (peiling 2 t/m 5) hebben een bepaalde extra vertekening door onder meer paneleffecten, mode-effecten en ongecorrigeerde selectie-effecten. Door peilingnummer als hulpvariabele in het model mee te nemen kan de grootte van deze vertekening worden geschat. 6

7 Vervolgens is deze vertekening weggenomen door populatietotalen voor alle vervolgpeilingen op 0 te zetten. Dit is in lijn met de berekening van tijdreeksmodellen, waar ook wordt gecorrigeerd voor de vertekening in de vervolgpeilingen (van den Brakel and Krieg, 2009). Een verschil is wel dat in het tijdreeksmodel deze correctie mede wordt bepaald door EBB data uit eerdere perioden. Overeenkomstige resultaten voor de modelselectie zijn waargenomen voor andere kwartalen (2004 4, ). Conclusie is dat van de hier beschouwde modellen model 11 als beste model naar voren komt. Dit model geeft ook de kleinste gemiddelde standaardfoutschatting. Ook voor KDS-schattingen van werkloosheid op provincieniveau is een modelselectie uitgevoerd. De beschouwde modellen zijn identiek aan de modellen voor gemeenten, behalve dat hulpvariabele PROVWO bij voorbaat niet in de modellen is opgenomen. Daarnaast bleek dat door het meenemen van CWI-provinciegemiddelden (CWIprovpop, analoog aan CWIgempop) als hulpvariabele, in sommige periodes een afwijkende modelfit werd gevonden. Deze variabele zorgt er in die gevallen waarschijnlijk voor dat het model de data overfit, omdat het aantal vrijheidsgraden op provincieniveau beperkt is. Afgezien hiervan is model 11 weer het best passende model. Het aanbevolen model voor provinciale schattingen van werkloosheid is daarmee werkloos ~ Geslacht*lft3*Cwi1+Cwi1*hrk3+Cwi+hrk7+lft5 +TypeHH+PeilNr2 Voor subdomeinen van gemeenten en provincies, naar geslacht en naar leeftijdscategorieën, is geen apart traject voor de selectie van modellen doorlopen. Bij het indelen van gemeenten en provincies naar geslacht is model 11 aangepast door alle modeltermen met geslacht te verwijderen. Iets dergelijks geldt ook voor de KDS-schattingen met subdomeinen naar leeftijd: hier zijn modeltermen met leeftijd (in 3 categorieën verwijderd). Voor KDS-schattingen van de werkloze beroepsbevolking in subdomein jaar is variabele Cwi bovendien anders ingedeeld, omdat jongeren in deze leeftijdscategorie zelden langer dan 4 jaar bij CWI/UWV Werkbedrijf zijn ingeschreven. Modelselectie KDS werkzame beroepsbevolking Voor KDS schattingen van de werkzame beroepsbevolking is een vergelijkbare analyse van modellen uitgevoerd. Relevante hulpvariabelen zijn in dit geval werkzaamssb (behoort volgens SSB-opgave tot de werkzame beroepsbevolking), geslacht, grens (gemeente is wel/geen grensgemeente), leeftijd (lft3, lft5), herkomst (hrk3, hrk7), CWI, huishouden (TypeHH), provincie (PRO- VWO) en peilingnummer (PeilNr2). De volgende modellen voor kleine-domeinschattingen van de werkzame beroepsbevolking in gemeenten maken deel uit van de analyse: Model1: werkzaam~geslacht 7

8 Model2: werkzaam~werkzaamssb+geslacht Model3: werkzaam~werkzaamssb+grens+geslacht Model4: werkzaam~werkzaamssb+grens+geslacht+lft5 Model5: werkzaam~werkzaamssb+grens+geslacht+lft5+hrk7 Model6: werkzaam~werkzaamssb+grens+geslacht+lft5+hrk7+cwi Model7: werkzaam~werkzaamssb+grens+geslacht+lft5+hrk7+cwi+typehh Model8: werkzaam~werkzaamssb+grens+geslacht+lft5+hrk7+cwi+typehh +PROVWO Model9: werkzaam~werkzaamssb+grens+geslacht+lft5+hrk7+cwi+typehh +PROVWO+wzbbgempop Model10: werkzaam~werkzaamssb+grens+geslacht+lft5+hrk7+cwi+typehh +PROVWO+wzbbgempop+PeilNr2 Model11: werkzaam~werkzaamssb*grens+geslacht+lft5+hrk7+cwi+typehh +PROVWO+wzbbgempop+PeilNr2 Model12: werkzaam~werkzaamssb*grens+werkzaamssb*geslacht+lft5+hrk7 +Cwi+TypeHH+PROVWO+wzbbgempop+PeilNr2 Model13: werkzaam~werkzaamssb*grens+werkzaamssb*geslacht +werkzaamssb*lft3+lft5+hrk7+cwi+typehh+provwo+wzbbgempop +PeilNr2 Model14: werkzaam~werkzaamssb*grens+werkzaamssb*geslacht +werkzaamssb*lft3+werkzaamssb*hrk3+lft5+hrk7+cwi+typehh +PROVWO+wzbbgempop+PeilNr2 Model15: werkzaam~werkzaamssb*grens+werkzaamssb*geslacht +werkzaamssb*lft3+werkzaamssb*hrk3+geslacht*lft3+lft5+hrk7 +Cwi+TypeHH+PROVWO+wzbbgempop+PeilNr2 Model16: werkzaam~werkzaamssb*grens+werkzaamssb*geslacht +werkzaamssb*lft3+werkzaamssb*hrk3+geslacht*lft3+lft5+hrk7 +Cwi+TypeHH+wzbbgempop+PeilNr2 Ook in dit geval zijn de modellen met elkaar vergeleken op een aantal selectiematen: caic, geschatte tussenvariantie (sv2), het ongewogen gemiddelde over gemeenten van het aandeel werkzamen in de bevolking (WZBB mean) en het ongewogen gemiddelde over gemeenten van de standaardfout (SE mean). In het geval van werkzame beroepsbevolking als doelvariabele zijn werkzaamssb, CWI, geslacht, leeftijd, herkomst en huishouden de best verklarende hulpvariabelen. Ook het toevoegen van interactietermen van werkzaamssb met leeftijd, geslacht en herkomst en van geslacht met leeftijd blijkt veel bij te dragen aan de model-fit. De variabele grens geeft aan of de persoon woonachtig is in een grensgemeente; deze variabele kan relevant zijn, omdat het verband tussen werkzaamssb en werkzaam volgens de EBB in grensgemeenten mogelijk kan afwijken. Deze variabele blijkt als hoofdterm weinig bij te dragen aan de model-fit, maar is in interactie met werkzaamssb wel verklarend. Variabele PROVWO draagt ook hier niet bij aan een verbeterde model-fit en 8

9 Model caic sv2 WZBB mean SE mean Model e Model e Model e Model e Model e Model e Model e Model e Model e Model e Model e Model e Model e Model e Model e Model e Tabel 2: Scores op selectiematen voor KDS werkzame beroepsbevolking gemeenten (2009, 1) kan worden weggelaten. En net als bij de KDS-schattingen voor werkloosheid is hulpvariabele PeilNr2 een belangrijke variabele voor het corrigeren van meetfouten. Deze variabele draagt weliswaar veel minder sterk bij aan de model-fit dan werkzaamssb, CWI, geslacht, leeftijd of herkomst (gemeten met caic en sv2), maar heeft ook hier een relatief groot effect op de kleine-domeinschattingen: de correctie van de meetfout in de doelvariabele leidt tot een bijstelling van de netto arbeidsparticipatie met ongeveer -0,2%. Overeenkomstige resultaten zijn waargenomen voor andere kwartalen (2004 4, ). Van de hier beschouwde modellen vertegenwoordigt model 15 het best passende model met de kleinste standaardfouten. Laten we hieruit hulpvariabele PRO- VWO weg dan resulteert model 16 met vergelijkbare scores op model-fit en standaardfouten. De beschouwde modellen voor kleine-domeinschattingen op het niveau van provincies zijn identiek aan de modellen voor gemeenten, uitgezonderd dat de hulpvariabelen PROVWO en grens bij voorbaat niet in de modellen zijn opgenomen. Om het risico van overfitten te beperken worden bovendien de domeingemiddelden van werkzaam uit het model gelaten. Voor de rest lijkt het best passende model veel op dat van model 15 voor KDS-schattingen van de werkzame beroepsbevolking bij gemeenten. Voor provinciale schattingen van de werkzame beroepsbevolking is het model nu werkzaam~werkzaamssb*geslacht+werkzaamssb*lft3 9

10 +werkzaamssb*hrk3+geslacht*lft3+lft5+hrk7+cwi +TypeHH+PeilNr2 Voor subdomeinen van gemeenten en provincies, naar geslacht en naar leeftijdscategorieën, is geen apart traject voor de selectie van modellen doorlopen. Hier geldt dezelfde aanpak als bij de KDS-schattingen van werkloosheid. 2.3 Toetsing KDS-schatters In deze paragraaf staat de toetsing van de geselecteerde KDS-schatters centraal. Eerst wordt nagegaan of de geschatte regressiecoëfficiënten plausibele waarden hebben en over de tijd een plausibele ontwikkeling vertonen. Deze modelparameters geven een indicatie van de correlatie tussen doelvariabele en verklarende variabelen. Van deze correlatie kan verwacht worden dat ze voor bepaalde verklarende variabelen meer of minder sterk is en dat ze in de tijd weinig variëert. Indien de grootte of ontwikkeling van dergelijke correlaties sterk afwijkt van de verwachting, dan kan dit duiden op tekortkomingen in het model. Een tweede stap in de toetsing van de kleine-domeinschatters bestaat uit het vergelijken met een aantal benchmarks. Het gaat hierbij om: Een vergelijking van landelijke cijfers voor de werkloze en werkzame beroepsbevolking op basis van directe schattingen (Statline) met geaggregeerde KDS schattingen op gemeentelijk en provinciaal niveau. De beschouwde periode bestaat uit alle kwartalen in Het vergelijken van directe schattingen op het niveau van gemeenten en provincies met hun KDS tegenhangers. Ook hier vindt de vergelijking plaats over de kwartalen in periode De reden dat voor de benchmarks directe schattingen worden gekozen ligt voor de hand; afgezien van non-respons zijn dit consistente en bij benadering (voor grote steekproeven) zuivere schatters. Toetsing KDS-modelparameters werkloze beroepsbevolking Voor unit-level model 11 zijn voor ieder in de periode de geschatte regressiecoëfficiënten voor werkloosheid bepaald. In figuur 1 zijn van de belangrijkste verklarende variabelen (CWI, leeftijd en herkomst) de parameterwaarden van een aantal levels geïllustreerd, inclusief een 95% betrouwbaarheidsinterval. CWIgempop: aandeel CWI-ingeschrevenen per gemeente, Cwi1Ingeschreven: wel/niet CWIingeschreven, CwiNWWZmin1: minder dan 1 jaar ingeschreven als niet-werkend werkzoekende, CwiNWWZ1tot4: 1 tot 4 jaar als niet-werkend werkzoekende ingeschreven, CwiWWZ: ingeschreven bij CWI als werkend werkzoekende. Lft525tot34 en lft545tot54 zijn variabelen die aangeven dat de persoon zich in respectievelijk de leeftijdscategorie 25 tot 35 jaar, dan wel 45 tot 54 jaar bevindt. De overige parameters spreken voor zich. 10

11 CWIgempop Cwi1Ingeschreven CwiNWWZmin Coefficient 0.20 CwiNWWZ1tot CwiWWZ hrk3niet westerse Allochtonen hrk3westerse Allochtonen lft525tot34 lft545tot Kwartalen Figuur 1: Modelparameters KDS schattingen voor werkloosheid op gemeenteniveau (unit-level model 11; 1ste =1ste 2001). De coëfficiënten voor CWI tonen aan dat CWI-inschrijving en werkloosheid in positieve zin gecorreleerd zijn, zoals verwacht mag worden. Ook de kenmerken die betrekking hebben op allochtone herkomst zijn positief gecorreleerd met werkloosheid. Voor leeftijd is de samenhang met werkloosheid minder sterk en van wisselende sterkte over de verschillende leeftijdscategorien. Er is verder sprake van een aantal opvallende ontwikkelingen in de CWI-parameterwaarden. Zo is een conjunctureel patroon zichtbaar bij niet-werkende werkzoekenden die nog niet lang (minder dan 1 jaar) bij het CWI/UWV zijn ingeschreven (CwiNWWZmin1). Enigszins vertraagd is dit patroon ook zichtbaar bij de wat langer ingeschrevenen (CwiNWWZ1tot4). Deze ontwikkeling valt samen met het conjuncturele verloop van de werkloosheid. Bij toenemende werkloosheid stromen veel niet-werkende werkzoekenden die actief zoeken naar werk in het CWI/UWV-register in. Zodoende is in een periode met laagconjunctuur het aandeel ingeschrevenen dat niet (meer) actief zoekt relatief kleiner dan in een periode met hoogconjunctuur, waar een granieten laag van inactieve ingeschrevenen in de UWV-registratie achterblijft. De correlatie tussen CWI/UWV-inschrijving en werkloosheid is zodoende sterker in economisch ongunstiger tijden. Opvallend is ook de tegengestelde ontwikkeling bij variabelen Cwi1Ingeschreven en CwiWWZ. De eerste variabele meet simpelweg of er wel of niet sprake is van een CWI/UWV-inschrijving; de samenhang van deze variabele met werkloosheid wordt steeds zwakker, omdat over een langere periode gemeten, werklozen zich minder vaak inschrijven bij CWI/UWV. De correlatie 11

12 van variabele CWIWWZ met werkloosheid wint daarentegen juist aan kracht. Een eenduidige verklaring voor deze ontwikkeling is niet te geven, al is er wel een mogelijke verklaring: een groeiend deel van de werknemers is werkzaam in flexibele arbeidsrelaties met een contract voor bepaalde tijd; gezien de korte looptijd van het contract kan het voor deze werknemers zinvol zijn om zich (blijvend) voor een volgende baan in te schrijven bij CWI/UWV; de samenhang ontstaat doordat deze werknemers vaker werkloos worden dan werknemers met een vaste arbeidsrelatie. Voor KDS schattingen van de werkloosheid per provincie wordt nagenoeg hetzelfde model toegepast; de ontwikkeling in parameterwaarden is daarom vrijwel identiek aan die van de parameters van gemeenteschattingen. Toetsing KDS-modelparameters werkzame beroepsbevolking Ook voor KDS schattingen van de werkzame beroepsbevolking is de ontwikkeling van de belangrijkste modelparameters in beeld gebracht (zie figuur 2); het gaat hier om de modelparameters van variabelen werkzaamssb, CWI, herkomst en leeftijd. wzbbgempop werkzaamemployedssb CwiNWWZmin CwiNWWZover4 CwiWWZ hrk3niet westerse Allochtonen Coefficient hrk3westerse Allochtonen lft325tot lft545tot Kwartalen Figuur 2: Modelparameters KDS schattingen werkzame beroepsbevolking op gemeenteniveau (unit-level model 16; 1ste = 1ste 2001). Variabele werkzaamssb is de sterkst verklarende variabele, zoals we al hebben gezien bij de modelselectie. De bivariate correlatiecoëfficiënt met werkzame beroepsbevolking bedraagt +0,82. Ook CWI-inschrijving als niet-werkende werkzoekende is sterk verklarend en vertoont een negatieve correlatie met deel- 12

13 name aan de werkzame beroepsbevolking. Leeftijdsmiddengroepen (25-44 jaar en jaar) zijn vaker werkzaam dan de jongste en oudste leden van de potentiële beroepsbevolking; vandaar dat hier deelname aan één van de leeftijdsmiddengroepen een positieve correlatie vertoont met werkzaam zijn. De in de figuur zichtbare discontinuïteit van parameterwaarden vanaf het 37ste is een artefact van de hulpvariabele werkzaamssb. Deze SSB-variabele beschrijft de werkzame beroepsbevolking op basis van diverse registerbestanden. Dit zou misschien het gebruik van kleine-domeinschatters overbodig kunnen maken, ware het niet dat deze SSB-informatie weinig actueel is (ongeveer 2 jaar achterloopt). Voor de jaren 2010 en 2011 is deze variabele dan ook anders geconstrueerd: werkzaamssb betekent voor deze jaren: wel/niet werkzaam op het laatst beschikbare peilmoment 31/12/2009. Naarmate een verder in de toekomst ligt vanaf dit peilmoment, beschrijft variabele werkzaamssb de arbeidspositie minder goed en neemt de correlatie met de doelvariabele werkzame beroepsbevolking navenant af. Dit leidt tot een sterkere negatieve correlatie bij de CWI-variabelen en een sterkere positieve correlatie bij de leeftijdsvariabelen, vanwege de samenhang die er tussen de verklarende variabelen onderling bestaat. In de volgende paragraaf zal blijken dat het niet-constante karakter van variabele werkzaamssb ongewenste effecten heeft op de (trend in) de KDS-schattingen. Toetsing KDS aan de hand van landelijke Statline-schattingen Indien KDS-schattingen op klein-regionaal niveau worden opgeteld tot een landelijk cijfer dan is de verwachting dat deze schattingen overeenkomen met het landelijke cijfer op basis van een directe schatter. Of deze verwachting klopt, is getoetst voor de KDS-schattingen van de werkloze en werkzame beroepsbevolking, op het niveau van gemeenten en provincies. Eerst worden de resultaten getoond voor de werkloze beroepsbevolking (zie figuur 3). De aggregaties van KDS schattingen op basis van gemeenten en op basis van provincies leiden tot nagenoeg hetzelfde resultaat. Dit is niet verrassend aangezien ze op bijna identieke modellen zijn gebaseerd. De verschillen tussen de KDS schattingen en de directe schattingen voor werkloosheid op landelijk niveau zijn groter: tot en met 38 schommelen de geaggregeerde KDS schattingen om de directe schattingen heen, met een maximale afwijking van ongeveer 30 duizend werklozen. Vanaf het 39ste zijn de directe schattingen van de werkloosheid volledig gebaseerd op het nieuwe EBB-design; op deze cijfers is een trendbreukcorrectie toegepast. Dit verklaart de breuk in de geaggregeerde KDS schattingen, omdat voor deze schattingen een soortgelijke correctie hier niet is uitgevoerd. Het verschil tussen geaggregeerde KDS schattingen en directe schattingen voor de kwartalen 1 t/m 38 bedraagt gemiddeld 4 duizend (absoluut), met een standaarddeviatie van 17 duizend werklozen. 13

14 x werkloos-statline werkloos-kds-gem 350 werkloos-kds-prov kwartalen Figuur 3: Werkloze beroepsbevolking van jaar, landelijke cijfers (1ste = 1ste 2001). De benchmarks zijn herhaald voor subdomeinen van gemeenten en provincies, naar geslacht en naar leeftijd (15 tot 25 jaar, 25 tot 45 jaar, 45 tot 65 jaar). De bevindingen zijn vergelijkbaar met de hier gepresenteerde resultaten. Ook voor de werkzame beroepsbevolking kan een vergelijking worden gemaakt van geaggregeerde KDS schattingen met directe schattingen op landelijk niveau (zie figuur 4). De geaggregeerde KDS schattingen in de figuur zijn berekend door de KDS schattingen op gemeenteniveau te combineren; de provinciale aggregaten leveren nagenoeg dezelfde resultaten op en zijn weggelaten. Uit de vergelijking in figuur 4 blijkt dat de geaggregeerde KDS schattingen (werkzaam-kds-gem) qua ontwikkeling in de pas lopen met de directe schattingen (Statline), maar over het algemeen wel 50 à 100 duizend personen lager liggen. Dit verschil is waarschijnlijk te wijten aan een resterende geringe vertekening van de directe schatters; het weegmodel van de EBB-weging bevat namelijk minder sterk verklarende variabelen voor doelvariabele werkzaam dan het model voor de KDS schatters (werkzaamssb). Dit vermoeden van vertekening in de directe schatters wordt ondersteund door variabele werkzaamssb uit het KDS-model te verwijderen: dit leidt tot fors hogere waarden voor de omvang van de werkzame beroepsbevolking, ook hoger dan dat van de directe schattingen. De resultaten maken duidelijk dat het gebruik van verschillende varianten voor hulpvariabele werkzaamssb in deze tijdreeks geen optie is. Tot en met 36 vertegenwoordigt deze variabele de beschikbare, actuele SSB- 14

15 7700 x werkzaam-statline werkzaam-kds-gem werkzaam-kdsreducedmodel kwartalen Figuur 4: Werkzame beroepsbevolking van jaar, landelijke cijfers (1ste = 1ste 2001). informatie over wel/niet werkzaam zijn. Na 36 kan alleen van gedateerde informatie uit het SSB gebruik worden gemaakt en neemt de verklarende kracht van deze variabele met de tijd af (zie ook de ontwikkeling van de parameterwaarden in de voorgaande paragraaf). Een gevolg hiervan is dat variabele werkzaamssb vanaf 37 (steeds) minder voor vertekening corrigeert. Een deel van de ontwikkeling van de werkzame beroepsbevolking in de laatste 8 kwartalen is zodoende toe te schrijven aan een weegartefact. Er zijn drie gedeeltelijke oplossingen voor dit probleem: 1) gebruik op consistente wijze gedateerde SSB-informatie voor de hele waarneemperiode, 2) probeer met voorlopige SSB-data de gedateerde SSB-hulpinformatie aan te vullen, of 3) pas het weegmodel van de huidige EBB-weging toe als model voor de unit-levelschattingen. In de eerste aanpak wordt SSB-hulpinformatie over de gehele periode op dezelfde manier toegepast, maar deze informatie is wel gedateerd. De tweede aanpak leidt weliswaar tot minder vertekende cijfers maar het probleem van een oneigenlijke ontwikkeling van de werkzame beroepsbevolking blijft tot op zekere hoogte bestaan. Bij de derde oplossing wordt waarschijnlijk niet de beste hulpinformatie toegepast, maar liggen de KDS-schattingen wel meer in lijn met de directe schattingen. De derde oplossing heeft de voorkeur, zeker als er op termijn betere hulpinformatie in het EBB weegmodel kan worden ingebracht. Bovendien kan dan bij de berekening van populatietotalen van hulpvariabelen op domeinniveau worden aangesloten bij het bestaande productieproces. 15

16 De benchmarks zijn herhaald voor subdomeinen van gemeenten en provincies, naar geslacht en naar leeftijd (15 tot 25 jaar, 25 tot 45 jaar, 45 tot 65 jaar). De bevindingen zijn vergelijkbaar met de hier gepresenteerde resultaten. Alleen voor leeftijdscategorie jaar is het beeld anders: de KDS schattingen van het volledige én gereduceerde model liggen structureel lager dan dat van de directe schattingen; voor het volledige model bedraagt de afwijking over de 44 kwartalen gemiddeld 16 duizend werkzame personen (standaarddeviatie van de afwijking is 15 duizend). Toetsing KDS aan de hand van directe schattingen op regionaal niveau Behalve het vergelijken van directe schatters en KDS-schatters op landelijk niveau, zoals met voorgaande benchmark is uitgevoerd, kan ook worden gekeken naar de overeenkomst van beide n schatters voor kleine domeinen, zoals gemeenten of provincies. In deze sectie bekijken we kleine-domeinschattingen van de werkloze en werkzame beroepsbevolking voor een selectie van grote, middelgrote en kleinere gemeenten. Het doel van de vergelijking is om vast te stellen of het gebruik van KDS schatters inderdaad tot preciezere schattingen leidt en of deze schattingen onvertekend zijn; van vertekening is sprake als er gemeenten zijn waar de KDS-schattingen structureel te hoge of te lage waarden laten zien voor werkzaamheid of werkloosheid. Voor deze vergelijking hebben we KDS cijfers gemaakt gebaseerd op de in sectie 2.2 gekozen modellen. In Bijlage B staan tijdreeksplots van deze schattingen voor werkloze en werkzame beroepsbevolking, ook uitgesplitst naar deelpopulaties. Zowel gemeentelijke als provinciale KDS schattingen zijn berekend, waarbij de provinciale schattingen consistent gemaakt zijn met de landelijke directe schatting, en de gemeentelijke KDS schattingen vervolgens met de provinciale KDS schattingen. De relatie van provinciale en gemeentelijke KDS schattingen wordt verder besproken in sectie 3.2. De KDS schattingen naar leeftijd en geslacht zijn hier nog niet consistent gemaakt met de KDS schattingen voor de gehele potentiële beroepsbevolking, maar we verwachten niet dat dit tot grote verschuivingen zal leiden, zie ook Buelens and Smeets (2012). De grafieken in Bijlage B tonen tijdreeksen voor alle provincies en een selectie van gemeenten. Naast de KDS schattingen bevatten de grafieken directe schattingen. Voor de provinciale cijfers zijn dit de schattingen zoals ze op StatLine staan, terwijl voor de gemeentelijke cijfers directe schattingen zijn berekend met de survey-regressieschatter (Rao, 2003) die gebruik maakt van dezelfde achtergrondvariabelen als de KDS schattingen. In tegenstelling tot de gemeentelijke KDS schattingen zijn de survey-regressieschattingen in de figuren niet consistent gemaakt met provinciale en landelijke schattingen. Ten slotte is aan elke grafiek een derde reeks toegevoegd ter referentie: de fracties CWIingeschrevenen bij de grafieken over de werkloze beroepsbevolking en de fracties werkzaam volgens het SSB bij de grafieken over de werkzame beroepsbevolking. 16

17 Gemeentelijke cijfers over het aandeel werklozen in de bevolking van jaar en deelpopulaties hiervan zijn gepresenteerd in figuren 20 t/m 25 van Bijlage B. We vergelijken in deze figuren KDS-schatters op basis van unit-level model 11 met directe schattingen over de periode voor een aantal grote, middelgrote en kleine gemeenten; grote gemeenten: Amsterdam, Eindhoven en Dordrecht; middelgrote gemeenten: Oss, Kampen en Tiel; kleine gemeenten: Hillegom, Brielle en Ten Boer. De provinciale schattingen worden in sectie 3.1 besproken. Uit de vergelijking in figuur 20 blijkt dat voor grote gemeenten directe schatters en KDS-schatters over het algemeen overeenkomstige resultaten laten zien, zowel qua niveau als variatie van de schattingen. Ook voor de middelgrote en kleine gemeenten zijn er geen grote systematische verschillen te zien tussen de aandelen werklozen van beide n schatters. De variatie in de schattingen over de tijd is voor KDS-schatters wel veel kleiner dan voor directe schatters, met name bij de kleine gemeenten. Voor middelgrote en kleine gemeenten leveren de KDS schatters dus preciezere werkloosheidscijfers. Indien de gemeenten verder worden uitgesplitst naar subdomeinen geslacht en leeftijd dan blijft het algemene beeld dat voor de gemeenten als geheel naar voren is gekomen, bestaan. Wel is de variatie in de puntschattingen over de tijd voor kleine subdomeinen duidelijk groter, met name bij de directe schattingen. De berekeningen van de netto arbeidsparticipatie in een aantal Nederlandse gemeenten zijn gepresenteerd in figuren 32 t/m 37. Het gaat hierbij weer om een vergelijking van directe schatters met KDS schatters (unit-level model 16), waarbij over de periode per van beide n schatters resultaten worden getoond. Daarnaast bevatten de figuren ook de reeksen van de volgens het SSB samengestelde fracties werkzaam. De bevindingen zijn grotendeels in lijn met de bevindingen voor de werkloosheidscijfers. Voor de grote gemeenten zijn de KDS schattingen zowel in niveau als precisie vergelijkbaar met die van de directe schattingen. Ook voor de middelgrote en kleine gemeenten zijn de niveaus vergelijkbaar, maar is de variatie van de directe schattingen over de kwartalen duidelijk groter. Deze bevindingen gelden ook voor subdomeinen naar geslacht en naar leeftijd. In sommige figuren zijn enkele grotere verschillen tussen directe en gekalibreerde KDS schattingen te zien. In figuur 32 is bijvoorbeeld te zien dat de KDS schatting voor Amsterdam in kwartalen 7 en 8 ruim boven de directe schatting ligt. Zoals gezegd zijn de KDS schattingen gekalibreerd zodat ze consistent zijn met de provinciale KDS schattingen die op hun beurt consistent gemaakt zijn met de landelijke StatLine schatting. De directe schattingen in de figuren zijn survey-regressieschattingen en die zijn daarentegen niet gekalibreerd. Figuur 5 maakt duidelijk dat de ongekalibreerde KDS schattingen voor Amsterdam veel dichter bij de survey-regressieschattingen blijven. Dat kalibratie van de KDS schattingen af en toe tot relatief grote verschui- 17

18 Kwartaalreeksen fractie werkzaam naar gemeente, fractie werkzaam Amsterdam Oss Hillegom Eindhoven Kampen Brielle Dordrecht Tiel Ten Boer KDS KDS0 direct Figuur 5: Kwartaalreeksen gekalibreerde KDS schattingen (KDS), ongekalibreerde KDS schattingen (KDS0) en survey-regressieschattingen (direct). Variabele werkzaam, jaar. vingen kan leiden komt door een samenloop van twee factoren: enerzijds verschillen tussen geaggregeerde KDS-schattingen en de directe schatting van het aggregaat, anderzijds de kalibratiemethode zelf. Wat de eerste factor betreft, door de sterk verklarende hulpvariabele werkzaamssb in het KDS model ligt het niveau van de netto arbeidsparticipatie iets lager dan dat van de StatLine schattingen, zie figuur 4. Daarnaast worden verschillen soms veroorzaakt door de andere correctie voor de rotatiegroepvertekening die gehanteerd wordt bij de berekening van survey-regressie en KDS schattingen vergeleken met de gepubliceerde cijfers. Bij KDS en survey-regressie schattingen wordt deze vertekening cross-sectioneel, dat wil zeggen voor ieder apart, gecorrigeerd, via het meenemen van peilingnummer als hulpvariabele. Bij de gepubliceerde cijfers zijn de correcties meer over de tijd uitgesmeerd. Wat de tweede factor betreft, dat kalibratie bovendien vaak een groter effect blijkt te hebben op de grotere domeinen (zoals Amsterdam) ligt aan de aard van de kalibratiemethode. De aanpassingen worden bepaald door de afstand met de ongekalibreerde KDS schattingen te minimaliseren zodanig dat voldaan wordt aan de consistentie-eisen. In de afstandsfunctie worden de (inverse) MSEs van de KDS schattingen gebruikt als gewichten. Verschillen kunnen gemakkelijker worden overbrugd door de schattingen van de fracties voor grote domeinen aan te passen. Dit effect wordt slechts een klein beetje verminderd door het gebruik van de MSEs als (inverse) gewichten, omdat de MSEs niet sterk afhangen van 18

19 de domein(steekproef)omvang, in tegenstelling tot bijvoorbeeld de variantieschattingen van directe schatters. De KDS schatting voor een groot domein als Amsterdam kan dan door twee kalibratiestappen fors worden aangepast: eerst de aanpassing van de KDS schatting van Noord-Holland (een relatief grote provincie qua inwonertal) in de kalibratie naar het landelijk StatLine cijfer gevolgd door de aanpassing van Amsterdam naar de gekalibreerde KDS schatting van Noord-Holland. De hierboven geschetste kalibratieproblemen zullen kleiner worden als KDS model en weegmodel beter op elkaar zijn afgestemd omdat dan de verschillen op landelijk niveau kleiner zijn. Maar omdat verschillen ook kunnen ontstaan door de andere manier van correctie voor rotatiegroepvertekening, of bijvoorbeeld door breukcorrecties, verdient het aanbeveling om te kijken of er niet een meer geschikte manier van kalibratie gevonden kan worden. 3 Provinciale en gemeentelijke KDS 3.1 KDS provincieschattingen Op gemeentelijk niveau is gebleken dat kleine-domeinschattingen veel nauwkeuriger zijn dan directe schattingen, zie Boonstra et al. (2011) en referenties daarin. Op provincieniveau is dit minder duidelijk omdat het aantal waarnemingen per provincie veel groter is. Om te onderzoeken of KDS ook de nauwkeurigheid van de directe provinciale schattingen kan verbeteren zijn de KDS schattingen vergeleken met de directe schattingen op StatLine over de kwartalen van 2001 tot en met In Bijlage B staan tijdreeksplots van KDS schattingen en directe schattingen voor werkloos en werkzaam voor de gehele potentiële beroepsbevolking alsook voor deelpopulaties naar geslacht of leeftijd. De KDS schattingen zijn gebaseerd op de modellen die nader beschreven worden in sectie 2.2. De provinciale KDS schattingen zijn al consistent gemaakt met de officiële schattingen op landelijk niveau. Uit de tijdreeksplots blijkt dat het verloop van de directe provinciale schattingen voor de kleinere provincies zoals Zeeland, Groningen en Flevoland wat grilliger is dan dat van de KDS schattingen, zie bijvoorbeeld figuur 14. Voor de grotere provincies zijn er veel minder verschillen tussen de KDS schattingen en de StatLine schattingen. De verschillen tussen KDS en directe schattingen worden vooral duidelijk bij de schattingen voor deelpopulaties. Voor werkloosheid is het verschil vooral goed te zien bij de jarigen, figuur 17. Voor de variabele werkzaam zijn de verschillen het grootst onder de jarigen, figuur 30. Hier laten de KDS reeksen een veel plausibeler verloop zien. Figuren 6 en 7 geven een indruk van de precisiewinst van KDS ten opzichte van directe schattingen. De directe schattingen die hiervoor zijn gebruikt zijn survey regressieschattingen waarvan de standaardfouten zijn geschat op basis 19

20 van een over de domeinen gepoolde standaarddeviatie. Voor de grotere provincies (qua inwoners, en daarmee ook aantallen waarnemingen) zoals Noorden Zuid-Holland en Noord-Brabant is er nauwelijks winst, maar voor kleinste provincies (Zeeland, Flevoland) zijn de KDS standaardfouten wel 30% kleiner. Voor schattingen over deelpopulaties naar leeftijd of geslacht zijn de verschillen nog iets groter. De KDS schattingen zijn op te vatten als gewogen gemiddelden van directe en synthetische schattingen. Figuur 8 laat de gewichten van de directe schattingen hierin zien, voor werkloos en werkzaam. In grotere provincies vallen meer waarnemingen, waardoor de gewichten daar groter zijn en de KDS schattingen dichter bij de directe schattingen liggen. Voor de variabele werkzaam zijn de gewichten iets groter dan voor werkloos. Op basis van de tijdreeksplots van de schattingen concluderen we dat het zinvol is om naast de gemeentelijke ook de provinciale schattingen over arbeidspositie met KDS te maken. 3.2 Relatie provinciale en gemeentelijke schattingen Schattingen op verschillende aggregatieniveaus moeten onderling consistent zijn. Dat wil zeggen dat gemeentelijke (totaal)schattingen moeten optellen tot provinciale schattingen die weer moeten optellen tot de landelijke schatting. Landelijke schattingen worden gemaakt uit de gewogen EBB microdata; dit zijn dus directe schattingen. Provinciale en gemeentelijke schattingen worden met KDS gemaakt. Waar schattingen gebaseerd op gewogen microdata altijd automatisch onderling consistent zijn, is dit in het algemeen niet het geval bij KDS. KDS schattingen worden meestal in een extra kalibratiestap onderling consistent gemaakt. In sectie 3.1 zijn provinciale KDS schattingen gemaakt met behulp van het KDS model met provinciale random effecten. Het is echter ook mogelijk om provinciale KDS schattingen te maken door gemeentelijke KDS schattingen te aggregeren. In deze paragraaf vergelijken we deze twee methoden: Methode A: maak eerst gemeentelijke KDS onder een model met gemeentelijke random effecten. In dit model kunnen we wel of niet provincie als achtergrondvariabele meenemen. Deze twee varianten geven we aan met A0 (geen vaste provincie effecten) of A1 (wel vaste provincie effecten). De gemeentelijke schattingen worden minimaal aangepast zodat ze consistent zijn met de landelijke directe schatting. De provinciale schattingen worden vervolgens gemaakt door eenvoudig de gemeentelijke schattingen te aggregeren. De schattingen zijn dan onderling consistent. Methode B: maak provinciale schattingen met een KDS model met provinciale random effecten, zoals in sectie 3.1. Deze provinciale schattingen worden minimaal aangepast zodat ze consistent zijn met de landelijke 20

21 value Standaardfoutreeksen voor schattingen werkloos, Groningen Overijssel Utrecht Zeeland Friesland Flevoland Noord Holland Noord Brabant Drenthe Gelderland Zuid Holland Limburg variable std fout direct std fout KDS Figuur 6: Geschatte standaardfouten voor directe en unit-level schattingen. Werkloos value Standaardfoutreeksen voor schattingen werkzaam, Groningen Overijssel Utrecht Zeeland Friesland Flevoland Noord Holland Noord Brabant Drenthe Gelderland Zuid Holland Limburg variable std fout direct std fout KDS Figuur 7: Geschatte standaardfouten voor directe en unit-level schattingen. Werkzaam

22 Tijdreeksen gewichten directe schattingen, gewicht directe schatter Groningen Overijssel Utrecht Zeeland Friesland Flevoland Noord Holland Noord Brabant Drenthe Gelderland Zuid Holland Limburg variable werkloos werkzaam Figuur 8: Gewichten directe schattingen in de KDS schattingen. Werkzaam directe schatting. De gemeentelijke cijfers worden afzonderlijk geschat met een KDS model met gemeentelijke random effecten. Deze gemeentelijke schattingen worden vervolgens minimaal aangepast zodanig dat ze consistent zijn met de provinciale schattingen. De random effecten in de KDS modellen zorgen voor verbeterde schattingen via het mechanisme van gedeeltelijk combineren van data over de domeinen, waardoor schattingen uiteindelijk gewogen gemiddelden zijn van directe en synthetische schattingen. Sectie 3.1 laat dit zien voor provinciale schattingen volgens methode B. In methode A worden geen random provincie effecten gebruikt maar alleen random gemeente effecten. In methode A0 wordt daarom nergens rekening gehouden met de indeling naar provincie. Hierdoor kunnen verschillen tussen provincies worden onderschat. Het andere uiterste is methode A1 waarin vaste provincie-effecten worden gebruikt, waardoor er geen sprake meer is van gedeeltelijk poolen van data op provincieniveau. De provinciale schattingen worden dan effectief directe schattingen. Methode B gebruikt provinciale random effecten en zit daarmee qua combineren over provincies tussen A0 en A1 in. Een beter alternatief zou zijn om de provinciale en gemeentelijke cijfers te baseren op één model met zowel gemeentelijke als provinciale random effecten. Dit soort modellen met meerdere sets van random effecten is echter moeilijker te fitten dan modellen met één set van random effecten. De gebruikte R programmatuur (package hbsae, Boonstra (2012)) ondersteunt alleen de basis KDS modellen. Methode B kan gezien 22