Rapport. Sociale Domein Index 2015 Onderzoeksdocumentatie. Auteurs: Moniek Coumans Frank Engelen Erwin Vondenhoff Sabine Fouwels

Transcriptie

1 Rapport Sociale Domein Index 2015 Onderzoeksdocumentatie Auteurs: Moniek Coumans Frank Engelen Erwin Vondenhoff Sabine Fouwels Divisie DVZ/Sector DVP & Divisie SER/ Sector SAL 1 april 2016

2 CBS Heerlen CBS-weg EX Heerlen Postbus CZ Heerlen De in dit rapport weergegeven opvattingen zijn die van de auteur(s) en komen niet noodzakelijk overeen met het beleid van het Centraal Bureau voor de Statistiek.

3 Inhoudsopgave 1. Inleiding Doel van dit document Definities, acroniemen en afkortingen 4 2. Doel, achtergrond en geschiedenis van het onderzoek Doel van het onderzoek 5 3. Dataverzameling Randvoorwaarden Steekproefontwerp Vragenlijstontwerp Waarneemstrategie en logistieke uitwerking Instructie interviewers Uitvoering veldwerk Evaluatie (interviewers) Verwerken (dataprocessing) Inleiding Invoerdata, uniformeren en controleren Verrijken Kwaliteit en weging Afbakenen statischtische respons en nonresponsanalyse Wegen Plausibiliteitsanalyse Opgeleverde producten Microbestanden Statistische beveiliging Referenties Bijlagen: Benaderingsstrategie Benaderingsstrategie internetwaarneming Benaderingsstrategie telefonische waarneming Benaderingsstrategie face-to-face waarneming Bijlagen: Aanschrijf- en rappelbrieven Bijlagen: Weging Sociale Domein Index Sociale Domein Index 3

4 1. Inleiding 1.1 Doel van dit document In dit document wordt verslag gedaan van het onderzoek Sociale Domein Index 2015 (SDI 2015). De voorbereiding, dataverzameling en verwerking van de gegevens worden beschreven. Daarnaast dient dit document als naslagwerk voor onderzoekers die meer inzicht wensen in de achtergrond van het onderzoek en in het tot stand komen van de analysebestanden. 1.2 Definities, acroniemen en afkortingen Begrip BZK SCP SDI CvB CAWI CATI CAPI BRP CCI WMO OViN GE SAL DVZ SER SAL GIR WWB WSW AWBZ ZVW Omschrijving Ministerie van Binnenlandse Zaken en Koninkrijksrelaties Sociaal en Cultureel Planbureau Sociaal Domein Index Centrum voor Beleidsstatistiek Computer Assisted Web Interviewing Computer Assisted Telephone Interviewing Computer Assisted Personal Interviewing Basisregistratie Personen Contact Center Inbound Wet Maatschappelijke Ondersteuning Onderzoek Verplaatsingen in Nederland Gezondheidsenquête Sector Arbeid Inkomen en Leefsituatie Dataverzameling Sociaal-Economische en Ruimtelijke statistieken Sector Arbeid Inkomen en Leefsituatie Gemeentelijke Indelingen Register Wet Werk en Bijstand Wet Sociale Werkvoorziening Algemene Wet Bijzondere Ziektekosten Zorg Verzekerings- Wet Sociale Domein Index 4

5 2. Doel, achtergrond en geschiedenis van het onderzoek 2.1 Doel van het onderzoek In een brief aan de Tweede Kamer van 18 oktober 2013, stelt de minister van BZK zich als coördinerend minister bestuurlijk verantwoordelijk voor drie decentralisatieprojecten in het sociale domein, te weten: participatie, jeugd en ondersteuning. De decentralisaties moeten de rol van gemeenten versterken om burgers te ondersteunen en meer te laten participeren in de maatschappij. Het ministerie van BZK koppelt hieraan een intensief monitoring traject. Deze monitoring moet de Tweede Kamer informeren over de behaalde resultaten en het kabinet inzicht bieden in het functioneren van het stelsel, zodat het kan worden aangepast, indien het stelsel niet tot de juiste resultaten leidt. Hiervoor wilde het ministerie van BZK onder meer een zogenaamde sociale domeinindex ontwikkelen, die moet aangeven in welke mate de situatie van burgers op het sociale domein verbetert of verslechtert. Het ministerie van BZK heeft het SCP opdracht gegeven hiervoor een voorstel te ontwikkelen. CBS heeft vervolgens de doelpopulatie samengesteld, de steekproef getrokken, de dataverzameling uitgevoerd en een bestand opgeleverd aan het SCP. Voor de Sociale Domeinindex zijn de volgende 5 doelgroepen geconstrueerd uit de zgn. Stapelingsmonitor. Dit bestand bevat alle personen in Nederland op peildatum 31 december 2013 en hierbij een aantal variabelen op basis waarvan kan worden afgeleid of de desbetreffende persoon gebruik maakt van bepaalde voorzieningen: 1. Personen met alleen participatie voorzieningen; 2. Personen met alleen jeugdzorgvoorzieningen; 3. Personen met alleen WMO thuis voorzieningen; 4. Personen met een combinatie van voorzieningen op het gebied van participatie, jeugdzorg of WMO thuis; 5. Personen die geen gebruik maken van een sociale domeinvoorziening. De sociale domeinindex wordt gebaseerd op het leefsituatiemodel dat gebruikt wordt om de Sociale staat van Nederland in beeld te brengen. Aan deze personen wordt een vragenlijst voorgelegd, waarin de centrale concepten uit het leefsituatiemodel worden gemeten. Het leefsituatiemodel moet antwoord geven op de volgende vragen: Wat is de relatie tussen kwetsbaarheid en de problemen die burgers ondervinden op het sociale domein, wie hebben daar meer en wie minder mee te maken, hoe lossen mensen hun problemen op en welke rol spelen eigen netwerken en gemeentelijke voorzieningen daarin? Het doel van de sociaal domeinindex is om jaarlijks aan te kunnen geven hoe burgers er voor staan in het sociaal domein. Het gaat om een samengestelde index die het mogelijk maakt uitspraken te doen in relatie tot de doelstellingen van de WMO, de Jeugdwet en de Participatiewet, binnen de context van de leefsituatie van burgers. Ook kan worden nagegaan welke bevolkingsgroepen er meer en welke er minder op vooruit gaan. De opdracht voor dit onderzoek is eind 2014 verstrekt. De steekproef voor het onderzoek is getrokken in het voorjaar van 2015 en het veldwerk heeft gelopen van augustus tot en met november van dat jaar. Begin december 2015 is een tussenbestand aangeleverd en per 1 februari Medio februari 2016 is een eindbestand opgeleverd met verrijkingen uit de registers en een persoonsgewicht. Daar is eind maart een huishoudensgewicht aan toegevoegd. Sociale Domein Index 5

6 3. Dataverzameling 3.1 Randvoorwaarden Bij het ontwerp van het onderzoeksdesign is uitgegaan van de volgende randvoorwaarden. De onderzoeksschets SDI [1] is hiervoor als uitgangspunt gebruikt: 1. De veldwerkperiode bedraagt vier maanden en loopt van augustus tot en met november Bij de benadering van een steekproef wordt de standaard mixed-mode benaderingsstrategie van CBS toegepast. Er wordt gestart met internetwaarneming (cawi). Internet non-respons wordt telefonisch (cati) herbenaderd als een telefoonnummer bij CBS bekend is en face-to-face (capi) zodra dit niet het geval is. 3. Interviews worden verricht in de Nederlandse taal. 4. De doelpopulatie bestaat uit de in Nederland woonachtige personen van 18 jaar of ouder op peildatum 31 december 2013, die deel uitmaken van particuliere huishoudens en die ingeschreven zijn als ingezetene in de Basisregistratie Personen (BRP). Voor de Jeugdzorg is de doelpopulatie de juridisch ouder van één of meer minderjarige kinderen die jeugdvoorzieningen gebruiken. De institutionele bevolking, dat zijn personen in inrichtingen, instellingen of tehuizen en personen die niet zijn geregistreerd als ingezetene in de Basisregistratie Personen, worden voor dit onderzoek niet benaderd. 5. Voor de Sociale Domein Index worden de volgende 5 doelgroepen geconstrueerd uit de zogenaamde Stapelingsmonitor: a. Personen die alleen participatievoorzieningen gebruiken, geen juridisch ouder zijn van één of meer kinderen die jeugdvoorzieningen gebruiken en zelf ook geen gebruik maken van WMO-thuisvoorzieningen 1 ; b. Personen die alleen juridisch ouder zijn van één of meer minderjarige kinderen die jeugdvoorzieningen gebruiken en zelf geen participatie- of WMO-thuisvoorzieningen gebruiken; c. Personen die alleen gebruik maken van WMO-thuisvoorzieningen, geen participatievoorzieningen gebruiken en ook geen juridisch ouder zijn van één of meer kinderen die jeugdvoorzieningen gebruiken; d. Personen die tot een huishouden behoren waarin ten minste twee van de genoemde drie voorzieningen voorkomen; e. Personen die geen gebruik maken van participatie- of WMO-thuisvoorzieningen en niet juridisch ouder zijn van een kind dat jeugdvoorzieningen gebruikt. Om deze doelgroepen te identificeren wordt gebruik gemaakt van het SCP Maatwerkbestand Sociaal Domein De stapelingsmonitor geeft inzicht in het gebruik van sociale regelingen en voorzieningen binnen huishoudens. 6. Er wordt een personensteekproef getrokken. 7. De 5 eerder genoemde doelgroepen (a t/m e) in randvoorwaarde 5 worden nader uitgewerkt tot 5 elkaar uitsluitende strata. In elk van deze 5 strata worden ten minste 960 volledige responsen gerealiseerd. Hieruit voortvloeiend betekent dit, dat er in totaal tenminste volledige responsen worden gerealiseerd. De steekproef wordt zo getrokken dat de ondergrens van het 95% betrouwbaarheidsinterval om het aantal volledige responsen in een stratum gelijk is aan 960. Een respons geldt als volledig, indien de vragenlijst volledig is ingevuld. 8. De steekproef wordt verrijkt met telefoonnummers. 1 WMO = Wet Maatschappelijke Ondersteuning Sociale Domein Index 6

7 9. Vanwege de beschikbare interviewercapaciteit wordt de totale steekproef in twee ongelijke porties uitgezet, waarbij er over 2 porties 100% moet worden uitgezet. 10. Na afloop van het veldwerk wordt in overleg met het SCP een weegmodel ontwikkeld. De hieruit voortvloeiende weegfactoren worden samen met verrijkingen uit registers aan het definitieve bestand toegevoegd. 11. CBS en SCP stellen in overleg de inhoud van de vragenlijsten en de vraagformuleringen vast. Hierbij wordt zo veel mogelijk rekening gehouden met eventueel eerder door het SCP of CBS gebruikte vraagformuleringen uit andere onderzoeken. 12. De gemiddelde vragenlijstduur bij de internet of telefonische waarneming bedraagt maximaal 20 minuten. De gemiddelde face-to-face vragenlijstduur bedraagt maximaal 25 minuten. 13. De vragenlijst bevat geen open vragen die getypeerd moeten worden. 14. De verschillende doelgroepen krijgen dezelfde vragenlijst, waarbij eventueel via routing andere vragen gesteld worden. 15. Ten behoeve van dit onderzoek zullen alle interviewers die worden ingezet een instructie via e-learning en een schriftelijke handleiding ontvangen. Het SCP wordt uitgenodigd om input te leveren voor de instructie en de handleiding. 16. Aan iedere te benaderen persoon wordt een aanschrijfbrief verstuurd met daarin het verzoek om deel te nemen aan het onderzoek. De aanschrijfbrief wordt door CBS en SCP in overleg opgesteld. In de aanschrijfbrief wordt vermeld dat het om een gezamenlijk onderzoek gaat en dat de gegevens voor publicaties door zowel SCP als CBS worden gebruikt. Ook wordt hierin vermeld dat de door CBS verzamelde gegevens worden gekoppeld met enkele reeds bij CBS aanwezige registervariabelen (informed consent). 17. Het SCP ontvangt maandelijks een standaard voortgangsoverzicht met daarin de veldwerkresultaten per maand en totaal. 18. Bij tegenvallende veldwerkresultaten wordt in overleg met het SCP gezocht naar herstelof respons-bevorderende maatregelen. 19. Na afronding van het veldwerk wordt het verloop van het veldwerk beschreven in een onderzoeksverslag. 3.2 Steekproefontwerp In deze paragraaf wordt het steekproefontwerp voor de Sociale Domein Index 2015 beschreven, zie ook [2]. Bepaalde delen van deze paragraaf, aangaande de stratumindeling, zijn overgenomen uit het ontwerp van het steekproefkader [3]. Daarnaast worden in deze paragraaf ook de verwachte responskansen gegeven en de daaruit berekende steekproefaantallen. De doelpopulatie voor het onderzoek bestaat uit de in Nederland woonachtige personen die deel uitmaken van particuliere huishoudens, die ingeschreven zijn in de Basisregistratie Personen (BRP) en op peildatum 31 december jaar of ouder zijn. De volgende personen krijgen bij het onderzoek extra aandacht: - Personen die gebruik maken van participatievoorzieningen; - Personen die juridisch ouder zijn van één of meer minderjarige kinderen die jeugdvoorzieningen gebruiken; - Personen die gebruik maken van WMO-thuisvoorzieningen. Ook personen die tot een huishouden behoren, waarin andere personen zitten die tot minstens twee van de bovengenoemde drie groepen behoren, krijgen extra aandacht. Sociale Domein Index 7

8 Preciezer gezegd worden de volgende doelgroepen gedefinieerd: 1. Personen die alleen participatievoorzieningen gebruiken en dus geen juridisch ouder zijn van één of meer kinderen die jeugdvoorzieningen gebruiken en zelf ook geen gebruik maken van WMO-thuisvoorziening; 2. Personen die alleen juridisch ouder zijn van één of meer minderjarige kinderen die jeugdvoorzieningen gebruiken en dus zelf geen participatie- of WMO-thuisvoorzieningen gebruiken; 3. Personen die alleen gebruik maken van WMO-thuisvoorzieningen en dus geen participatievoorzieningen gebruiken en ook geen juridisch ouder zijn van één of meer kinderen die jeugdvoorzieningen gebruiken; 4. Personen die tot een huishouden behoren waarin ten minste twee van de genoemde drie voorzieningen voorkomen; 5. Personen die geen gebruik maken van participatie- of WMO-thuisvoorzieningen en niet juridisch ouder zijn van een kind dat jeugdvoorzieningen gebruikt. De vijf doelgroepen sluiten elkaar niet uit. Doelgroep 4 heeft namelijk overlap met elk van de andere vier doelgroepen. Er worden daarom negen strata gedefinieerd, die geen overlap hebben. Elk element van de doelpopulatie behoort tot exact één stratum: Stratum 1. Personen die zelf participatievoorzieningen gebruiken en die lid zijn van een huishouden dat alleen participatievoorzieningen gebruikt (personen in doelgroep 1 die niet tot doelgroep 4 behoren); Stratum 2. Personen die juridisch ouder zijn van één of meerdere minderjarige kinderen die jeugdvoorzieningen gebruiken en die lid zijn van een huishouden dat alleen jeugdvoorzieningen gebruikt. Het minderjarige kind hoeft niet bij de juridische ouder te wonen (personen in doelgroep 2 die niet tot doelgroep 4 behoren); Stratum 3. Personen die zelf WMO-thuisvoorzieningen gebruiken en die lid zijn van een huishouden dat alleen WMO-thuisvoorzieningen gebruikt (personen in doelgroep 3 die niet tot doelgroep 4 behoren); Stratum 4a. Personen die zelf alleen participatievoorzieningen gebruiken en die lid zijn van een huishouden dat meer dan één soort publieke voorzieningen gebruikt (personen die zowel tot doelgroep 1 als tot doelgroep 4 behoren); Stratum 4b. Personen die juridisch ouder zijn van één of meerdere minderjarige kinderen die jeugdvoorzieningen gebruiken en die lid zijn van een huishouden dat meer dan één soort publieke voorzieningen gebruikt. Het minderjarige kind hoeft niet bij de juridische ouder te wonen (personen die zowel tot doelgroep 2 als tot doelgroep 4 behoren); Stratum 4c. Personen die zelf alleen WMO-thuisvoorzieningen gebruiken en die lid zijn van een huishouden dat meer dan één soort publieke voorzieningen gebruikt (personen die zowel tot doelgroep 3 als tot doelgroep 4 behoren); Stratum 4d. Personen die zelf meer dan één soort publieke voorzieningen gebruiken en die dus lid zijn van een huishouden dat meer dan één soort publieke voorzieningen gebruikt (personen die wel tot doelgroep 4 maar niet tot doelgroep 1, 2, 3 of 5 behoren); Stratum 4e. Personen die zelf geen publieke voorzieningen gebruiken, maar die lid zijn van een huishouden dat meer dan één soort publieke voorzieningen gebruikt (personen die zowel tot doelgroep 5 als tot doelgroep 4 behoren); Stratum 5. Personen die zelf geen publieke voorzieningen gebruiken en die lid zijn van een huishouden dat of geen publieke voorzieningen gebruikt of dat alleen één soort publieke voorzieningen gebruikt (personen in doelgroep 5 die niet tot doelgroep 4 behoren). Voor de stratumindeling van het steekproefkader is het SCP Maatwerkbestand Sociaal Domein 2013 gebruikt dat is samengesteld door het CvB (Centrum voor Beleidsstatistiek). Dit Sociale Domein Index 8

9 maatwerkbestand laat van iedereen die op 31 december 2013 ingeschreven stond in de BRP zien of hij of zij in 2013 participatievoorzieningen, jeugdvoorzieningen of WMO-voorzieningen heeft gebruikt. Ook geeft het bestand voor veel personen, onder wie alle minderjarige kinderen, de juridische ouders weer. Met deze informatie kan het gebruik van jeugdvoorzieningen door minderjarige kinderen gekoppeld worden aan de ouders. Bij het bepalen van het aantal verschillende soorten publieke voorzieningen dat een huishouden gebruikt, wordt alleen gekeken naar de voorzieningen die de meerderjarige personen van het huishouden gebruiken. Telt een huishouden dus een minderjarig kind dat participatievoorzieningen gebruikt en een ouder met een minderjarig kind dat jeugdvoorzieningen gebruikt, dan kent het huishouden voor het afleiden van de stratumindeling maar het gebruik van één soort voorzieningen, namelijk het gebruik van de jeugdvoorzieningen. De benadering van steekproefpersonen start met internetwaarneming (cawi), gevolgd door telefonische (cati) en face-to-face (capi) herbenaderingen. In elk van de strata 1, 2, 3 en 5 moeten minstens 960 respondenten worden behaald. Ook in de strata 4a tot en met 4e als geheel moeten 960 responsen behaald worden. Daartoe wordt een enkelvoudig aselecte steekproef getrokken in elk van de negen strata, waarbij de insluitkansen in 4a tot en met 4e gelijk zijn. Op basis van steekproeven van de jaren 2013 en 2014 van het Onderzoek Verplaatsingen in Nederland (OViN) worden de responskansen in deze strata bepaald. De strata 4a tot en met 4e kunnen ook als één geheel worden beschouwd. In het vervolg zal dit geheel stratum 4 worden genoemd. Er wordt dan één enkelvoudig aselecte steekproef uit stratum 4 getrokken, met een dusdanige omvang dat er minstens 960 respondenten worden behaald. Merk op dat een enkelvoudige aselecte steekproef uit stratum 4 niet helemaal overeenkomt met een gestratificeerde steekproef uit de vijf strata 4a tot en met 4e met gelijke insluitkansen. Bij een enkelvoudig aselecte steekproef uit stratum 4 liggen de steekproefaantallen in 4a tot en met 4e immers niet vast. Dit kan tot een kleine verhoging van varianties van doelvariabelen leiden. Naast het OViN worden ook responskansen bekeken van steekproeven uit 2013 en 2014 van de Gezondheidsenquête (GE). Deze steekproeven zijn veel kleiner dan de steekproeven van het OViN. Desalniettemin kan onderzocht worden of het OViN en de GE een vergelijkbaar beeld geven wat betreft de verhoudingen tussen de vijf responskansen van de vijf strata. Aangezien in de GE alle cawi non-respondenten via capi worden herbenaderd, is de responskans aanzienlijk hoger dan bij het OViN. Daarom worden de responskansen bij de strata voor de GE geschaald met een factor, zodat het totale gemiddelde overeenkomt met dat van het OViN, en een vergelijking mogelijk is. De verhoudingen van de responskansen tussen de strata zijn bij het OViN en de GE vergelijkbaar met uitzondering van stratum 2. Het OViN laat een responskans van 58% zien voor dit stratum, hetgeen hoger is dan de responskans in stratum 5. Daarom wordt voor dit stratum de geschaalde responskans van de GE gehanteerd die een iets negatiever beeld geeft van 53%. Voor alle andere strata wordt de responskans bij het OViN overgenomen. In tabel zijn de gehanteerde responskansen weergegeven. Om er zeker van te zijn dat de target van 960 respondenten in elk stratum behaald wordt, wordt nog een marge gehanteerd. Per stratum wordt met een 95%-betrouwbaarheidsinterval gewerkt. De uiteindelijke steekproef bedraagt eenheden. Tabel Steekproefaantallen, verwacht aantal respondenten (linker grens 95%- betrouwbaarheidsinterval van het aantal respondenten) en responstarget Sociale Domein Index 9

10 stratum schatting responskans responstarget steekproefomvang verwachte responsomvang 1 0, , , (4a-e) 0, , totaal 0, Alle drie de waarneemmodes cawi, cati en capi worden ingezet. Verwacht wordt dat 45,9% van de steekproefeenheden respondeert. Van de gehele steekproef respondeert 10,5% via cawi en 7,3% geeft via de telefonische helpdesk aan niet te willen of kunnen deelnemen aan het onderzoek. Bij 51,1% van de herbenaderbare respons wordt een telefoonnummer gevonden. Bij cati verwachten we een responskans van 42,5%. Voor de overige 48,9%, waarbij geen telefoonnummer wordt gevonden respondeert 43,7% bij capi. De steekproef voor cati bedraagt daardoor naar verwachting Voor capi is dit Bij cawi worden naar verwachting responsen behaald. Bij cati is dit en bij capi De steekproef wordt verdeeld over twee porties. De steekproef wordt dusdanig verdeeld over de twee porties dat twee derde terechtkomt in de eerste portie en een derde in de tweede portie. De eerste cawi-portie bedraagt daardoor eenheden en de tweede cawi-portie eenheden. 3.3 Vragenlijstontwerp De vragenlijst voor SDI 2015 is nieuw. Binnen CBS is het team Vragenlijsten en Steekproeven (DVS) van de sector Waarnemen hiervoor verantwoordelijk. Het vragenlijstontwerp is door middel van een review en vragenlijstschema s 2 door de ontwikkelaar afgestemd met het SCP. De vragenlijst is in Blaise geprogrammeerd, de door CBS ontwikkelde software voor elektronische vragenlijsten. Er wordt een elektronische vragenlijst gebruikt voor cawi, capi en cati. De vragenlijst is voor zover mogelijk voor alle modes hetzelfde, met dien verstande dat de lay-out en de aanwijzingen voor de interviewer (capi, cati) of respondent (cawi) per mode verschillend zijn. Op verzoek van het Ministerie van BZK ontwikkelt het SCP de Monitor Sociaal Domein. Een onderdeel van de Monitor Sociaal Domein is om de volgende onderzoeksvraag te beantwoorden: hoe is het gesteld met de (zelf)redzaamheid en de participatie van burgers? Voor een deel van de Overall Monitor moet bij burgers informatie verzameld worden, uitmondend in een sociaal domein index. Primair is de vragenlijst bedoeld om de Sociale Domein Index (SDI) vorm te geven. De SDI heeft betrekking op de kwaliteit van leven, zowel objectief als subjectief. Met name het subjectieve deel van de SDI wordt door de vragenlijst vormgegeven. Gesteld kan worden dat als de index hoger is, de kwaliteit van leven beter is. Om de kwaliteit van leven te verbeteren kunnen mensen beschikken over een aantal hulpbronnen (of vormen van kapitaal), zoals: inkomen, opleiding, vaardigheden, betaalde arbeid of gezondheid. Bij de afwezigheid van hulpbronnen kunnen problemen en beperkingen ontstaan. De mate van participatie en de subjectieve kwaliteit van leven wordt aan hand van de 2 Schematische weergave van een vragenlijst waarbij de volgorde van vragen, routingvoorwaarden, tekstimputaties en afleidingen worden weergegeven, onderverdeeld in vragenblokken. Sociale Domein Index 10

11 vragenlijst in kaart gebracht. Zo wordt aan de hand van de vragenlijst in kaart gebracht over welke hulpbronnen mensen beschikken, die kunnen worden ingezet om toch te kunnen deelnemen aan de maatschappij. In tabel worden de blokken weergegeven die in de vragenlijst van 2015 zijn opgenomen. Tabel Vragenlijstblokken SDI Blok: Huishoudbox 2. Blok: Aanvulling huishoudbox 3. Blok: Betaald werk 4. Blok: Onderwijs 5. Blok: Huisvesting 6. Blok: Tevredenheid 7. Blok: Gezondheid 8. Blok: Algemene vaardigheden 9. Blok: Sociale contacten 10. Blok: Maatschappelijke participatie 11. Blok: Redzaamheid 12. Blok: Financiën 13. Blok: Functioneren van het huishouden 14. Blok: Jeugd en gezin 15. Blok: Arbeidsmarkt 16. Blok: Voorzieningen 17. Blok: Regeldruk 18. Blok: Werving en afsluiting Respondenten krijgen niet alle vragen uit het onderzoek voorgelegd, omdat de vragenlijst zo gebouwd is dat respondenten alleen de vragen krijgen die voor hen relevant zijn. Soms wordt de respondent ook om vragen heen geleid omdat uit eerdere antwoorden zijn antwoord op bepaalde vragen al kan worden afgeleid. De in de computergestuurde vragenlijsten opgenomen routing kan complex zijn. Het is van belang de routing goed te controleren om te voorkomen dat tijdens de analysefase blijkt dat essentiële vragen ten onrechte niet zijn gesteld. Er wordt binnen CBS een standaard testmethode toegepast, waarmee kan worden nagegaan of de in het ontwerp van de vragenlijst vastgelegde routing op een juiste wijze is geprogrammeerd. De gehanteerde testmethode bestaat eruit dat op basis van de te testen vragenlijst een testopzet opgesteld wordt. In de testopzet wordt aangegeven welke vragenblokken op welke manier getest gaan worden. Vervolgens worden voor de te testen vragenblokken testprotocollen ontwikkeld. Deze beschrijven stap voor stap welke gegevens in de vragenlijst ingevoerd dienen te worden. De vragenlijstontwikkelaars testen aan de hand van deze protocollen de elektronische vragenlijst en rapporteren via een standaardformulier hun bevindingen aan de programmeur. Het testen is een iteratief proces, dat meestal na drie iteraties kan worden afgesloten. 3.4 Waarneemstrategie en logistieke uitwerking Waarneemstrategie De waarneemstrategie bestaat uit internetwaarneming gevolgd door telefonische of face-toface herbenaderingen van de internet non-respons, afhankelijk van het telefoonbezit. De internetwaarneming kan op iedere dag plaatsvinden. De telefonische waarneming vindt op doordeweekse dagen plaats. De face-to-face benadering wordt op doordeweekse dagen en op zaterdagen of zondagen uitgevoerd. Voor de internetwaarneming wordt de standaard benaderingsstrategie toegepast, zie bijlage 8.1, waarbij telkens een week tussen de rappelbrieven wordt gelaten. Personen die naar aanleiding van één van de brieven via de helpdesk van Dataverzameling hebben aangegeven niet te kunnen of willen deelnemen aan het onderzoek worden niet telefonisch of face-to-face herbenaderd. De resterende steekproefpersonen worden telefonisch of face-to-face herbenaderd. Op het moment dat de herbenaderingsporties worden geprepareerd, wordt voor respondenten de mogelijkheid afgesloten om de vragenlijst Sociale Domein Index 11

12 via internet in te vullen. Hiermee wordt voorkomen dat respondenten gelijktijdig via internet en telefonisch dan wel face-to-face reageren. Personen van wie een telefoonnummer bekend is, worden gedurende vier weken telefonisch herbenaderd. De telefonische waarneming start meteen na het afsluiten van de internetwaarneming. Elke steekproefportie die wordt aangeboden aan de telefonische waarneming wordt opgesplitst in een deelportie met personen van 65 jaar of ouder en een deelportie met personen jonger dan 65 jaar. Uit andere onderzoeken is gebleken dat deze werkwijze de uitbating van de cati-steekproeven verbetert en het inroosteren van telefonische interviewers vergemakkelijkt, doordat de hoeveelheid werk beter wordt gespreid. De benaderingsstrategie die voor de telefonische waarneming gehanteerd wordt, is terug te vinden in bijlage 8.2. Personen van wie geen telefoonnummer bekend is, worden face-to-face herbenaderd. De aanhuis benadering start niet in de maand volgend op de internetbenadering. Dit komt doordat de toewijzing van adressen aan face-to-face interviewers maandelijks plaatsvindt. Ongeveer halverwege elke maand vindt deze toewijzing ten behoeve van waarneming in de erop volgende maand plaats. De face-to-face waarneming start dus twee maanden na de internetwaarneming. De benaderingsstrategie voor de face-to-face benadering wordt weergegeven in bijlage 8.3. In figuur wordt de waarneemstrategie schematisch weergegeven. Per benaderingsstap is de geschatte responskans vermeld, waarbij zowel de responskans is vermeld berekend op de steekproef voor de betreffende benaderingsstap (zonder vierkante haken) als op de uitgezette cawi-steekproef (tussen vierkante haken). Deze kansen zijn zoals vermeld in paragraaf 3.2 gebaseerd op de realisatiecijfers van het OViN en de GE Figuur 3.4.1: Waarneemstrategie onderzoek Sociale Domein Index CAWI steekproef 10,5% 82,2% 7,3% [10,5%] Respons CAWI [82,2%] Herbenaderbaar CAPI/CATI Weigering CAWI [7,3%] 51,1% 48,9% Telefoonnr bekend: uitzet CATI Geen telefoonnr bekend: uitzet CAPI 42,5% 43,7% Respons Respons [17,9%] [17,6%] CATI CAPI Uit figuur is de totaal te verwachten responskans berekend op basis van de onderscheiden benaderingsstappen. Tabel geeft de responskans per benaderingsstap en de cumulatieve responskans op de uitgezette steekproef. Tabel Responskans per benaderingsstap en totaal Sociale Domein Index 2015 Benaderingsstap Respons Cawi 0,105 Cati 0,822 x 0,511 x 0,425 = 0,179 Sociale Domein Index 12

13 Capi 0,822 x 0,489 x 0,437 = 0,176 Totaal 0,459 Uit tabel blijkt dat naar verwachting 45,9 procent van de uitgezette steekproef tot respons leidt. Het totale verwachte cawi-responspercentage bedraagt 10,5%, het verwachte cati-responspercentage 42,5% en het verwachte capi-responspercentage 43,7%. Verhuizers Hoewel steekproeven zo kort mogelijk voor aanvang van een nieuwe waarneemperiode worden getrokken, is niet te voorkomen dat het adres in de Basisregistratie Personen (BRP) niet juist blijkt te zijn, omdat de steekproefpersoon is verhuisd. NAW-gegevens worden vlak voor de uitzet gecontroleerd door de steekproefgroep en aangepast. Tijdens de waarneemperiode worden geen verhuizers herbenaderd. Dataverzameling in de Bijlmer en op de Waddeneilanden In heel Amsterdam Zuidoost wordt face-to-face waargenomen met uitzondering van sommige adressen in de postcodes 1102, 1103 en Maandelijks wordt door de regiomanager van regio Amsterdam beoordeeld welke steekproefadressen niet aan huis worden benaderd. Het criterium dat daarbij wordt gehanteerd is de veiligheid voor de interviewers. In de praktijk komt het erop neer dat sloopflats, gedeeltelijke sloopflats en een deel van de hoogbouw niet aan huis worden benaderd. In deze gebieden wordt wel via internet en telefonisch waargenomen. Omdat op de Waddeneilanden, Vlieland, Terschelling, Ameland, Schiermonnikoog en Texel geen interviewers wonen, wordt op deze eilanden niet face-to-face geënquêteerd. Wel wordt daar via internet en telefonisch waargenomen. Planning en logistieke uitwerking Vanwege de beschikbare interviewercapaciteit wordt de totale steekproef in twee ongelijke porties uitgezet. De eerste portie bedraagt twee derde van de totaal uit te zetten steekproef en de tweede portie bedraagt een derde. De eerste waarneemperiode start op donderdag 6 augustus 2015 met de verzending van de aanschrijfbrieven voor de internetbenadering. Tabel bevat de datums waarop de aanschrijf- en rappelbrieven worden verstuurd voor de verschillende cawi-porties. De brieven worden telkens op donderdag verstuurd met de 24-uurs post, opdat steekproefpersonen ze voor het weekend ontvangen. In tabel en worden de datums waarop respectievelijk de telefonische als face-to-face waarneming wordt uitgevoerd weergegeven. Vlak vóór het moment dat belporties worden gemaakt voor de herbenadering, worden de steekproefpersonen geselecteerd die hiervoor in aanmerking komen en worden de internetporties afgesloten. Sociale Domein Index 13

14 Tabel Verzenddatums brieven internetwaarneming. cawi-portie * verzenddatum rappeldatum einddatum aantal c1 6-aug c aug c aug 7-sep c2 3-sep c sep c sep 12-okt * c staat voor cawi waarneming De startdatum voor het 65+ deel van de porties t1 en t2 ligt een dag na de startdatum van het 64- deel van betreffende porties. Op de dag dat de internetwaarneming wordt afgesloten, kan alleen een avonddienst worden gebeld. Voor 65+ personen geldt dat het eerste contact s ochtends of s middags wordt gepland. Tabel Gegevens over de cati-porties. Portie * startdatum einddatum aantal t sep 2-okt t sep 2-okt t okt 6-nov t okt 6-nov * t staat voor telefonische waarneming Tabel Gegevens over de capi-porties Portie* startdatum einddatum aantal f1 1-okt 31-okt f2 1-nov 30-nov * f staat voor face-to-face waarneming 3.5 Instructie interviewers Alle interviewers van CBS zijn specifiek getraind in medewerking verkrijgen van respondenten en in de toepassing van de voorgeschreven interviewtechnieken. Ten behoeve van dit onderzoek zijn alle interviewers geïnstrueerd met behulp van e-learning. E-learning is leren in een elektronische leeromgeving via internet. Door middel van leesstof, opgaven, audio- en videofragmenten werden de benodigde kennis en vaardigheden voor het afnemen van interviews voor SDI aangeleerd en getoetst. Interviewers moesten voorafgaand aan het veldwerk een toets maken over de opgedane kennis. Er kon niet worden gewerkt voor het onderzoek, zolang de toets niet met succes was doorlopen. Naast de e-learning module was er een schriftelijke handleiding beschikbaar voor de interviewers [4]. In de e-learning en handleiding is in ieder geval aandacht besteed aan de vragenlijst (opbouw en vraagteksten), maar ook aan meer algemene punten zoals: waarom wordt dit onderzoek gedaan en voor wie en wat is het belang? Daarnaast is er extra aandacht besteed aan de specifieke doelgroepen voor dit onderzoek. Interviewers werden door hun leidinggevende getraind in het overhalen van respondenten, zowel voor de telefonische als face-to-face waarneming. Dit is gebeurd middels een train-detrainer bijeenkomst, waarbij een opleider regiomanagers en teamleiders aanleerde hoe ze interviewers moesten instrueren voor dit onderzoek. Sociale Domein Index 14

15 3.6 Uitvoering veldwerk Veldwerkresultaten Tabel geeft de gerealiseerde responsresultaten van SDI weer naar mode en voor de totale steekproef. Het gerealiseerde responspercentage bedraagt 51,2% (5.603 /10.951) op de uitgezette steekproef. Dit is 5,3 procentpunten hoger dan het verwachte percentage (45,9%). Het gestratificeerde responspercentage bedraagt 55,7%. Het gestratificeerde responspercentage houdt rekening met de insluitgewichten van de verschillende strata. In totaal zijn volledige responsen gerealiseerd. Daarmee wordt voldaan aan de responswens zoals beschreven in randvoorwaarde 7 van paragraaf 3.1. Ook de wens om in elk stratum tenminste 960 responsen te realiseren, is behaald (zie volgende subparagraaf, respons naar strata). In totaal zijn volledige responsen via internet ingevuld, 24,4% van de voor de internetwaarneming uitgezette steekproef. Dit is 47,8% van het totaal aantal gerealiseerde responsen. Via de telefonische en aan-huis waarneming zijn respectievelijk (oftewel 37,1% van de bij de telefonische waarneming uitgezette steekproef) en (oftewel 39,7% van de bij de face-to-face waarneming uitgezette steekproef) volledige responsen gerealiseerd, hetgeen overeenkomt met respectievelijk 25,1% en 27,1% van het totaal aantal gerealiseerde responsen. Dit betekent dat er meer internetrespons is gerealiseerd dan verwacht en dat dit ten koste is gegaan van zowel het aandeel cati als het aandeel capirespondenten. Tabel Responsoverzicht SDI naar mode en totale steekproef Cawi Cati Capi Totaal Cawi Cati Capi Totaal Aantal % Steekproef Niet uitgezet * Uitzet ,0 100,0 100,0 100,0 Kaderfouten ,3 17,1 2,7 7,2 Uitzet - kaderfouten ,7 82,9 97,3 92,8 Afgehandelde non-respons ,5 43,8 55,9 40,4 w.v. weigering ,2 16,5 23,2 16,0 geen contact ,0 10,7 7,7 6,4 taalbarrière ,3 3,6 9,9 5,1 geen gelegenheid/ niet in staat ,6 7,6 7,3 7,8 verhuisd in Nederland ,2 4,7 4,7 3,5 overige non-respons ,2 0,7 3,1 1,7 Respons ,4 37,1 39,7 51,2 Onvolledig/afgebroken respons ,0 2,0 1,6 1,3 Nog in behandeling Door naar volgende mode , w.v. uitgezet naar cati , uitgezet naar capi , * Bijlmer, Wadden, geen telefoonnummer Sociale Domein Index 15

16 Van de uitgezette steekproef betrof 7,2% een kaderfout. Tot kaderfouten worden gerekend: persoon is overleden, persoon is verhuisd naar buitenland, persoon behoort tot de institutionele bevolking, persoon is onbekend op adres of telefoon is afgesloten (alleen bij cati), het adres betreft een woning in aanbouw (alleen bij capi), een afgebroken woning of sloopwoning (alleen bij capi), het is geen woonadres of de woning is leegstaand of (tijdelijk) onbewoond (alleen bij capi). Van de uitgezette steekproef betrof 40,2% een non-respons. De meeste non-respons hiervan is veroorzaakt door een weigering (16,0%), geen gelegenheid (7,8%) en geen contact (6,4%). De taalbarrières bestaan uit de personen die wegens taalproblemen niet geïnterviewd konden worden. Met geen contact wordt bedoeld dat de contactpogingen zoals voorgeschreven in de benaderingsstrategie niet hebben geleid tot een contact met de steekproefpersoon. De categorie geen gelegenheid tijdens veldwerkperiode wordt gebruikt om aan te geven dat de te interviewen persoon niet beschikbaar is in de gegeven veldwerkperiode, bijvoorbeeld wegens vakantie of ziekte. De non-responscategorie overig bij de aan-huis waarneming betreft o.a. de eindresultaten retour of 'voorkeur voor andere mode'. Retour betekent dat het steekproefadres volledig onbewerkt of onvolledig bewerkt is teruggestuurd. Dit kan bijvoorbeeld gebeuren als de interviewer ziek wordt en de betreffende adressen niet meer aan een andere interviewer kunnen worden toegewezen. Als de betreffende interviewer al activiteiten heeft ondernomen om het adres te benaderen wordt deze afgeboekt als onvolledig bewerkt retour, en als dit niet het geval is als volledig onbewerkt retour. 'Voorkeur voor andere mode' betreft respondenten die alleen bereid waren via een andere mode dan de toegepaste waarneemmode deel te nemen, terwijl dit volgens de benaderingstrategie op dat moment niet meer mogelijk was. Het betreft dus eigenlijk een weigering voor het onderzoek in de huidige opzet. Tabel geeft de gerealiseerde responsresultaten weer naar mode en veldwerkperiode. De totale internetrespons voor SDI bedraagt 24,5% en is daarmee 13,9% boven target uitgekomen. Dit is ten koste gegaan van de telefonische en face-to-face respons. De telefonische respons is 5,4 procentpunten onder target geëindigd en de face-to-face respons 4,0 procentpunten. Tabel Respons naar mode en veldwerkperiode Aug Sep Okt Nov Totaal Target % % % % % % Cawi 24,3 24, ,4 10,5 Cati - 37,1 37,1-37,1 42,5 Capi ,7 39,8 39,7 43,7 Totaal ,1 51,3 51,2 45,9 Het niet voldoen aan de target bij de telefonische en face-to-face waarneming wordt voor het overgrote deel verklaard door de veel hogere internetrespons. Een groter aandeel relatief moeilijkere steekproefpersonen stroomt door naar cati en capi. Het relatief hoge aandeel kaderfouten bij de telefonische waarneming en dan met name daarbinnen het aandeel afgesloten telefoonnummers is daarnaast opvallend. Respons naar strata Tabel geeft de gerealiseerde responsaantallen weer naar mode, stratum en totaal. In totaal zijn volledige responsen gerealiseerd, waarbij de responseis om tenminste 960 Sociale Domein Index 16

17 volledige responsen in elk stratum te behalen, ruimschoots is behaald. Daarmee wordt voldaan aan randvoorwaarde 7 van paragraaf 3.1. Tabel Responsaantallen naar mode, stratum en totaal Stratum Cawi Cati Capi Totaal Target Overschot (4a-e) Totaal Met name in de strata 1 en 4a-e (zie paragraaf 3.2 voor een toelichting) zijn de targets ruimschoots gehaald en zijn ruim 200 volledige responsen meer dan de target gerealiseerd. Tabel geeft de gerealiseerde responspercentages weer naar mode, stratum en totaal. De cawi targets zijn voor alle strata ruimschoots gehaald. Voor cati is binnen geen enkel stratum de target gehaald en bij capi is alleen de target in stratum 3 behaald. De hogere internetrespons compenseert dit echter volledig, de overall targets zijn immers voor alle strata behaald. De ingeschatte cawi-responskansen op basis van het OViN wijken behoorlijk af van de gerealiseerde responskansen. Dit kan enerzijds te maken hebben met het onderwerp van het onderzoek en de aanschrijving: het OViN is een onderzoek naar het verplaatsingsgedrag van Nederlanders, waarbij feitelijke informatie wordt verzameld. Anderzijds kent het OViN een andere onderzoeksopzet dan SDI: respondenten moeten op een vooraf toegekende invuldag hun verplaatsingen bijhouden en worden hier later over bevraagd. Tabel Responspercentages naar mode, stratum en totaal Stratum Cawi Cati Capi Totaal Realisatie Target Realisatie Target Realisatie Target Realisatie Target Delta ,1 8,0 28,0 29,0 33,2 37,0 43,5 37,2 6,3 2 30,7 13,0 42,2 46,0 45,2 49,0 60,2 52,9 7,3 3 21,0 9,0 46,9 54,0 52,4 51,0 52,3 49,1 3,2 4 (4a-e) 19,7 6,0 30,6 34,0 42,1 44,0 47,8 40,6 7,2 5 34,8 19,0 35,5 49,0 34,9 45,0 56,5 55,1 1,4 Totaal 24,4 10,5 37,1 42,5 39,7 43,7 51,2 45,9 5,3 1) Delta: verschil tussen target en realisatie, hier betreft dit een overschot Gerealiseerde interviewduur Volgens randvoorwaarde 12 in paragraaf 3.1 zou de gemiddelde interviewduur voor de internet en telefonische waarneming maximaal 20 minuten mogen zijn. De gemiddelde face-to-face vragenlijstduur zou maximaal 25 minuten mogen bedragen. Na afloop van het veldwerk is de gemiddelde vragenlijstduur per mode en stratum bepaald, zie tabel Uit tabel blijkt dat de gemiddelde vragenlijstduur bij alle modes wordt overschreden. Bij de internet en face-to-face waarneming met ruim 6 minuten en bij de telefonische waarneming met bijna 5 minuten. Het is conform verwachting dat cati de kortste gemiddelde vragenlijstduur heeft en capi de langste. Vuistregel van CBS is echter dat cati in elk geval de afgesproken vragenlijstduur niet mag overschrijden. Aan die vuistregel is niet voldaan. Sociale Domein Index 17

18 Tabel Gemiddelde vragenlijstduur naar mode en stratum Steekproef Cawi Cati Capi Gemiddelde 26,1 24,9 31,2 Mediaan 22,3 23,1 29,0 Minimum 6,8 9,1 2,8 Maximum 119,2 103,0 96,7 Stratum 1 27,2 24,1 31,0 Stratum 2 26,0 25,7 32,9 Stratum 3 26,8 25,4 32,7 Stratum 4a-e 29,3 26,7 31,6 Stratum 5 22,4 21,9 26,5 Vooral in stratum 4a-e is de overschrijding in alle modes groot. Alleen bij stratum 2 en 3 is de overschrijding in capi nog groter. In stratum 5 is de overschrijding in alle modes het kleinst en ligt de gerealiseerde interviewduur het dichtst bij de afgesproken vragenlijstduur. Voor een omschrijving van de strata, zie paragraaf Evaluatie (interviewers) Gedurende de waarneemperiode is de voortgang van het veldwerk intensief besproken met de teamleiders cati en capi. Na afloop van het veldwerk heeft een mondelinge evaluatie plaatsgevonden met de interviewers die de telefonische waarneming hebben uitgevoerd en een gezamenlijke mondelinge evaluatie met interviewers en regiomanagers van CBS die zijn ingezet voor de aan-huis waarneming. De volgende aspecten (die met name betrekking hebben op de vragenlijst) zijn hierbij aan de orde gekomen: - Interviewers hadden tijd nodig om te wennen aan het nieuwe onderzoek, de regels en richtlijnen, de aangepaste benaderstrategie (gedurende het veldwerk is besloten om in bepaalde uitzonderingsituaties proxy waarneming toe te staan, bijvoorbeeld bij verstandelijk gehandicapte personen ) en de vragenlijst. Ieder onderzoek heeft zo zijn eigen leercurve. - De geplande gespreksduur bleek voor cati en capi een struikelblok en was veelal niet haalbaar voor onderzoekspersonen. Vooral v00r respondenten die gebruik maken van één of meerdere voorzieningen riep de vragenlijst soms vele verhalen op. Bij deze onderzoekspersonen was het lastig om de aandacht vast te houden. Eenmaal in het gesprek haakte de respondent niet snel af. Het percentage afgebroken interviews bedraagt voor cati 2,0 procentpunten (76 afgebroken interviews) en voor capi 1,6 procentpunt (62 afgebroken interviews). - Het onderzoek kent een specifieke doelgroep die door interviewers als moeilijk werd ervaren: verslaafden, mensen met psychische klachten, huilende mensen, etc. Door dit onderzoek kreeg deze doelgroep veel prikkels te verwerken. Interviewers kwamen vaker bij respondenten over de vloer die het niet gemakkelijk hebben in hun leven. Ze geven aan dat het eigen gevoel dan soms opspeelde, omdat men soms te maken had met hele nare situaties die als confronterend en indringend werden ervaren. Respondenten raakten soms geëmotioneerd bij persoonlijke vragen, bijvoorbeeld vragen over hoe men zich voelt, conflicten met familie, het hebben van een verstandelijke beperking of vragen over verslavingen. - Daarnaast merkten interviewers op dat het taalgebruik in de vragenlijst niet altijd voldoende was afgestemd op de doelgroep. Voor veel respondenten was het taalgebruik in de vragenlijst soms te moeilijk en te abstract, als voorbeeld wordt de stelling Ik voel een Sociale Domein Index 18

19 leegte om mij heen en de vraag In welke mate lukt het om aan vrijetijdsbesteding deel te nemen genoemd. Ook waren bepaalde instanties, uitkeringssoorten, afkortingen en begrippen in de vragenlijst niet altijd bekend bij de onderzoekspersoon. - Met betrekking tot de vragenlijst hebben interviewers specifieke opmerkingen gemaakt bij bepaalde vragen, hieronder een opsomming van de belangrijkste aandachtspunten: De vragen over de partner zijn lastig te stellen en leveren niet altijd een eerlijk antwoord op als de partner bij het interview aanwezig is. Bij vragen met betrekking tot kinderen is het niet altijd duidelijk over welk kind het gaat in het geval er meerdere kinderen deel uitmaken van het huishouden. Door gezonde personen worden de batterijvragen als vervelend ervaren. Doordat de zorgaanvrager (respondent) niet altijd de gebruiker van de zorg is, zijn bepaalde vragen soms niet of moeilijk te beantwoorden. Respondenten missen de mogelijkheid om hun mening te geven over het WMO-loket. De vraag Kunt u zich zelfstandig binnen huis en buitenshuis verplaatsen, staat eigenlijk twee keer in de vragenlijst, maar dan net iets anders geformuleerd. Interviewers missen de vraag hoe tevreden respondenten zijn met de behandeling/afhandeling van de zorgaanvraag door de gemeente. Bij de vraag Wat kan er volgens u verbeterd worden om de aanvraagprocedure te verbeteren kun je maar één antwoord intoetsen in plaats van meerdere. - Met betrekking tot de enquêtematerialen en de opleiding van de interviewers zijn de volgende aandachtspunten naar voren gekomen: De aanschrijfbrief schept andere verwachtingen dan de vragenlijst waar maakt. Door de interviewers, regiomanagers en teamleiders is aangegeven dat het verhaal/doel dat naar de respondent overgebracht moet worden, nog duidelijker omschreven kan worden. De e-learning en de handleiding gaf op dat punt onvoldoende handvaten. Het overhalen ligt vaak in het verhaal verpakt, als het verhaal duidelijker is kunnen betere overhaalargumenten worden geformuleerd, bijvoorbeeld voor ouderen en de controlegroep. Vanwege de specifieke doelgroep die voor dit onderzoek is aangeschreven, komen interviewers veel vaker dan gebruikelijk bij respondenten met psychische problemen of ander afwijkend gedrag. Interviewers voelden zich onvoldoende voorbereid op deze specifieke doelgroep. In de opleiding had meer aandacht kunnen worden besteed aan hoe om te gaan met dit type respondenten. - Het ad hoc besluiten om in specifieke gevallen toch proxy te mogen interviewen is goed gecommuniceerd en overlegd. Toch zitten hier qua vragenlijstinhoud en praktische uitvoering haken en ogen aan. De inhoud van de vragenlijst leent zich voor een gedeelte niet voor proxy-beantwoording, vanwege subjectieve vragen. Als voorbeeld wordt genoemd dat in geval van een proxy interview de respondent soms geen goede inschatting kan maken over tevredenheid en verschillende aspecten van het leven van OP en ook de eenzaamheidsschaal is lastig om te beantwoorden door iemand anders. Daarnaast was het voor interviewers, ondanks de instructie, niet altijd duidelijk wanneer proxy wel en niet was toegestaan. Ook bij het SCP had men achteraf gezien andere verwachtingen van het proxy interviewen. Daar had men liever gezien dat in alle mogelijke gevallen waarin OP niet in staat was, proxy werd geïnterviewd. - Tot slot hebben de meeste interviewers, ondanks de bovengenoemde moeilijkheden, het onderzoek SDI als erg leuk en prettig ervaren, met name vanwege de actualiteit van het onderwerp. Sociale Domein Index 19

20 4. Verwerken (dataprocessing) 4.1 Inleiding In dit hoofdstuk wordt ingegaan op het proces van verwerking en dataprocessing. De term dataprocessing wordt gebruikt om de werkzaamheden samen te vatten die nodig zijn om aan de antwoorden die respondenten geven op de vragen in de vragenlijst, plausibele statistische informatie te kunnen ontlenen. De verwerking van de data is zoveel mogelijk geautomatiseerd, door middel van het bouwen van een productiestraat. Het verwerken is uitgevoerd door de Sector Arbeid, Inkomen en Leefsituatie (SAL) van de Divisie Sociaal-economische en Ruimtelijke statistieken (SER) van CBS. 4.2 Invoerdata, uniformeren en controleren De waarneming van de Sociaal Domein Index voor verslagjaar 2015 (SDI2015) heeft plaatsgevonden met verschillende waarneemmodes: CAWI, CATI en CAPI. Elke waarneemmode heeft een datamodel en deze zijn onderling verschillend. Voor het verwerkingsproces van de waargenomen data zijn deze verschillende datamodellen opgenomen in een uniform datamodel. Naast de waargenomen data (de respons) is er beperkte informatie aanwezig van de huishoudens die behoren tot de uitgezette steekproef (voor SDI) en die niet aan het onderzoek hebben deelgenomen. Ook is er informatie uit andere bronnen toegevoegd (paragraaf 4.3). Het SDI-responsbestand is een personenbestand. Als laatste stap zijn de gewichten toegevoegd. Het betreft het persoonsgewicht en een huishoudensfactor. De huishoudgewichten kunnen worden berekend door de persoonsgewichten te vermenigvuldigen met de huishoudensfactor. De weging wordt in paragraaf 5.2 verder beschreven. De procesbeschrijving voor SDI2015 is in detail beschreven in een intern CBS-document beschreven naar processtap en gebruik van bestanden en programmatuur (Fouwels en Cruchten, 2016). 4.3 Verrijken De responsrecords zijn verrijkt met gegevens uit andere, bij het CBS, aanwezige bronnen. De bronnen die gebruikt zijn voor verslagjaar 2015 zijn: - Achtergrondbestand: koppelsleutels, enkele huishoudkenmerken en BRPvariabelen (zoals herkomst en type huishouden) - Inkomensbestand: inkomensgegevens (zoals de belangrijkste inkomensbron van het huishouden, het besteedbaar inkomen van het huishouden 2014 en het bruto inkomen van het huishouden - GIR-bestand: regionale kenmerken (landsdeel, provincie, stedelijkheid) - Huishoudledenbestand: persoonsinformatie van huishoudleden - Stapelingsmonitor: stratum indeling (Stratum 5 en Stratum 10), zoals beschreven in paragraaf 3.2 van dit document, en informatie over de specifieke voorzieningen op gebied van het sociaal domein, waar de strata op gebaseerd zijn, te weten: Sociale Domein Index 20

21 - Uitkeringenbestand: gegevens over verschillende uitkeringenstypen in het kader van de wet participatie: - DOELWAJONG - WWB - WSW-indicatie - WSW-wachtlijst - WSW-dienstbetrekking - WSW-regulier - Bestand met jeugdzorggegegevens - Ondertoezichtstelling - Reclassering - Voogdij - Ambulante jeugdzorg - Pleegzorg - Dagbehandeling - Residentiële jeugdzorg - Bureau Jeugdzorg: begeleiding individueel/ begeleiding groep/persoonlijke verzorging/kort verblijf/ zorg met verblijf - AWBZ: begeleiding individueel/ begeleiding groep/ persoonlijke verzorging/ behandeling/ kort verblijf/ zorg met verblijf - WMO-bestand: gegevens in het kader van de Wet Maatschappelijke Ondersteuning: - Gebruik eerstelijns GGZ/Gebruik overige GGZ - ZVW Ophoogfactor - Gebruik: huishoudelijke verzorging Wmo/begeleiding individueel/ begeleiding groep/ zorg met verblijf - Indicatie: begeleiding individueel/ begeleiding groep/ behandeling/kort verblijf/ zorg met verblijf - WMO hulp bij huishouden - WMO wonen - WMO vervoer Sociale Domein Index 21

22 5. Kwaliteit en weging 5.1 Afbakenen statischtische respons en nonresponsanalyse Afbakenen statistische respons en responsanalyse In dit hoofdstuk wordt verslag gedaan van de responsanalyse van SDI. Tot de respons wordt iedereen gerekend die de vragenlijst volledig heeft ingevuld. Tot de non-respons worden hier gerekend degenen: - die deelname weigerden; - die behoren tot de administratieve non-respons, waaronder taalbarrière, verhuisd binnen Nederland en on-(volledig) bewerkt retour; - waarvan het interview voortijdig afgerond werd; - die geen gelegenheid hadden voor het interview tijdens de veldwerkperiode; - waar geen contact mee gelegd kon worden. De zogenoemde kaderfouten, waarbij de respondent overleden was, verhuisd naar het buitenland, onbekend was, of in een instelling verbleef, zijn niet gerekend tot de non-respons. Zij behoren niet tot de doelpopulatie van dit onderzoek. In dit hoofdstuk wordt ook ingegaan op de verdeling van de respons naar achtergrondkenmerken en de selectiviteit van de respons naar deze kenmerken. De kenmerken die in deze analyses zijn meegenomen zijn de volgende: leeftijd, geslacht, herkomst, stedelijkheid, landsdeel, type huishouden en het gestandaardiseerd besteedbaar huishouden. Steekproef- en responsverantwoording Er is voor dit onderzoek een steekproef getrokken van personen. Deze zijn verdeeld over twee maandporties (augustus en september) eenheden waren niet beschikbaar voor uitzet, omdat ze in de 12 maanden voorafgaand aan het onderzoek al eerder aan een CBS onderzoek hadden deelgenomen of ze in een instelling verbleven. Uiteindelijk waren adressen van personen bruikbaar, waarvan er daadwerkelijk zijn uitgezet in het veld (Tabel 5.1.1). Sociale Domein Index 22

23 Tabel Steekproefverantwoording SDI Augustus September Totaal Getrokken steekproef Niet beschikbaar voor uitzet Eerder in personensteekproef Eerder in adressensteekproef Institutionele bevolking Gegevens niet delen met derden Beschikbaar voor uitzet Uitgedund Uit te zetten steekproef Zonder telefoonnummer Met telefoonnummer Mobiel Vast Tabel laat zien dat zonder de kaderfouten (waaronder respondent overleden, verhuisd naar buitenland, onbekend of in een instelling), er personen overblijven, waarvan er daadwerkelijk deelgenomen hebben aan het onderzoek. Dit komt neer op een respons van 55,1 procent. Tabel Respons SDI Totaal Uitgezette steekproef Kaderfouten 786 OP overleden 29 OP verhuisd naar het buitenland 7 OP onbekend 185 In instelling / tehuis 42 Telefoonlijn afgesloten Overig (geen woonadres, adres onvindbaar e.d) Niet bruikbaar voor verwerking 3 Netto steekproef (excl. Kaderfouten) Respons Non-respons verhuisd binnen Nederland 377 weigering 1745 geen gelegenheid, niet in staat 229 taalbarrière 554 geen contact 295 afgebroken interview lang niet in staat (ziek, te zwak e.d.) overig Tabel 3 geeft een overzicht van de uiteindelijke, statistische respons. Dit zijn de volledig ingevulde vragenlijsten gedeeld op de uitgezette steekproef minus de kaderfouten en Sociale Domein Index 23

24 eventuele afgevallen records bij verwerking. In dit onderzoek zijn er achteraf geen extra records verwijderd tijdens het verwerkingsproces. Dit betekent dat het overall responspercentage van SDI, waarmee de respons van de verschillende bevolkingsgroepen vergeleken kan worden, op 55,1 procent ligt (Tabel 5.2.3) Respons SDI Respons SDI Netto steekproef (uitzet excl kaderfouten) Non-respons 4559 Respons 5603 Responspercentage op basis van netto steekproef % 55,1 Selectiviteit van de respons naar achtergrondkenmerken Voor de analyse van de responscijfers is een databestand gebruikt met achtergrondinformatie over een aantal kenmerken voor alle steekproefpersonen (het zgn. achtergrondbestand). Hierbij is steeds gepercenteerd op de netto steekproef. De respons is onderzocht op selectiviteit naar bevolkings- en regionale kenmerken (tabel 5.2.4). Tabel Respons SDI naar achtergrondkenmerken % Geslacht Man 53,6 Vrouw 56,4 Leeftijd jaar 51, jaar 49, jaar 55, jaar 57, jaar 60, jaar 57,6 75 jaar of ouder 51,3 Sociale Domein Index 24

25 Tabel (vervolg) Respons SDI naar achtergrondkenmerken Herkomst Autochtoon 60,0 Westers allochtoon 54,8 Niet-westerse allochtoon 39,1 Type huishouden eenpersoonshuishouden 51,8 paar zonder kinderen 58,6 paar met kinderen 58,7 eenouder 51,2 overig 40,2 Gestandaardiseerd huishoudensinkomen 1ste inkomenskwintiel (laagste inkomens) 48,6 2e inkomenskwintiel 54,2 3e inkomenskwintiel (incl onbekend) 58,0 4e inkomenskwintiel 60,7 5e inkomenskwintiel (hoogste inkomens) 66,3 Stedelijkheid woongemeente zeer sterk stedelijk 47,1 sterk stedelijk 55,0 matig stedelijk 58,0 weinig stedelijk 61,4 niet stedelijk 60,7 Landsdeel Noord-Nederland 60,3 Oost-Nederland 57,4 West-Nederland 51,2 Zuid-Nederland 58,1 Te zien is dat mannen met 53,6 procent wat minder mee deden dan vrouwen van wie 56,4 procent deelnam (Tabel 5.2.4). Zowel de jongste leeftijdscategorieën, als de alleroudsten nemen met ongeveer 50 a 51 procent relatief minder deel dan de overige leeftijdsgroepen. Degenen in de leeftijdsgroepen van 45 tot 74 jaar zijn het vaakst bereid om deel te nemen. Vooral herkomst blijkt sterk te differentiëren naar respons: van de niet-westerse allochtonen nam bijna 40 procent deel, van de -westerse allochtonen was dat zo n 55 procent en van de autochtonen 60 procent. De laagste inkomensgroepen nemen met 48,6 procent aanmerkelijk minder deel dan de hoogste inkomensgroepen. De deelname neemt toe naarmate het inkomen toeneemt. De regionale achtergrondkenmerken, zoals stedelijkheidsgraad van de woongemeente en het deel van het land waar iemand woont, hangen ook heel duidelijk samen met de bereidheid om mee te doen. In zeer stedelijke gebieden en in het Westen van het land is met 47,1 procent en 51,2 procent de deelnamebereidheid het laagst; in weinig en niet stedelijke gemeentes en Noord-Nederland is het met de respons het beste gesteld. Daar ligt de respons op zo n 60 a 61 procent. Tabel geeft de verdeling naar achtergrondkenmerken voor de populatie, de uitgezette steekproef en de respons. Ook dit geeft een beeld van de selectiviteit naar achtergrondkenmerken. Bij de steekproeftrekking is rekening gehouden met mogelijke kaderfouten, hierdoor verschillen de verdelingen in de getrokken steekproef en de uiteindelijk uitgezette steekproef nauwelijks. Omdat in dit onderzoek de steekproef gestratificeerd is getrokken, worden hier de verdelingen van de achtergrondkenmerken weergegeven per stratum. Sociale Domein Index 25

26 Het ligt voor de hand dat de groepen met een hogere respons iets oververtegenwoordigd zijn ten opzichte van de netto steekproef en de populatie. Dit is binnen alle vijf de strata inderdaad het geval. Het duidelijkst is dit voor niet-westerse allochtonen en de laagste inkomensgroep, maar ook de jongste leeftijdscategorie, mannen, inwoners van zeer sterk stedelijke gebieden en West-Nederland zijn in de respons iets ondervertegenwoordigd ten opzichte van de netto steekproef en de populatie. Een uitzondering daarop is stratum 3, de personen die gebruik maken van een WMO-thuisvoorziening; binnen dat stratum zijn er nauwelijks verschillen tussen de respons enerzijds en de netto steekproef en populatie anderzijds en de verschillen die er zijn, blijken kleiner dan binnen de andere strata. Sociale Domein Index 26

27 Tabel Respons SDI naar achtergrondkenmerken; Stratum 1, 2 en 3 1) Stratum 1 Stratum 2 Stratum 3 Populatie Netto Respons Populatie Netto Respons Populatie 1 januari 2015 steekproef 1 januari 2015 steekproef 1 januari 2015 Netto steekproef Geslacht Man 49,2 47,5 46,0 50,1 49,0 47,3 30,3 28,6 28,1 Vrouw 50,8 52,5 54,0 49,9 51,0 52,7 69,7 71,4 71,9 Leeftijd jaar 6,3 5,2 5,4 2,5 2,4 1,8 3,4 2,7 2, jaar 19,6 19,9 19,5 3,7 4,4 4,0 4,3 3,5 3, jaar 21,0 18,1 17,7 40,1 38,1 37,2 4,6 3,5 3, jaar 25,2 23,6 23,8 48,0 48,5 49,3 6,3 6,2 5, jaar 19,1 22,7 24,5 5,5 6,2 7,3 9,0 9,3 11, jaar 7,4 8,1 7,7,2,6,4 17,0 16,0 17,9 75 jaar of ouder 1,4 2,4 1,3 2,5 2,4 1,8 55,3 58,9 55,4 Herkomst Autochtoon 47,1 48,7 56,1 82,6 83,3 85,2 86,1 85,1 86,6 Westers allochtoon 10,9 11,3 12,0 8,0 8,4 8,1 9,2 10,5 10,8 Niet-westerse allochtoon 42,0 40,0 31,9 9,4 8,3 6,8 4,7 4,4 2,6 Type huishouden eenpersoonshuishouden 41,1 41,8 41,4 6,2 5,9 4,6 65,0 65,7 64,7 paar zonder kinderen 12,7 14,6 16,5 3,6 3,1 3,3 22,6 23,5 24,5 paar met kinderen 24,0 24,2 22,5 77,1 77,2 79,6 7,0 6,9 7,1 eenouder 21,0 18,2 18,6 12,6 13,5 12,2 4,8 3,2 3,2 overig 1,2 1,2 1,1,5,3,4,7,8,5 Gestandaardiseerd huishoudensinkomen 1ste inkomenskwintiel (laagste inkomens) 62,2 63,6 60,9 16,5 15,0 14,6 19,1 17,1 16,7 2e inkomenskwintiel 19,4 18,8 18,5 18,7 18,1 17,6 47,5 46,8 45,9 3e inkomenskwintiel 10,1 9,6 10,5 26,6 26,3 26,9 18,8 20,4 19,7 4e inkomenskwintiel 6,4 5,9 7,7 19,7 22,7 21,8 8,4 9,3 10,1 5e inkomenskwintiel (hoogste inkomens) 1,9 2,2 2,4 18,4 17,9 19,0 6,2 6,4 7,5 Respons Sociale Domein Index 27

28 Tabel (vervolg) Respons SDI naar achtergrondkenmerken; stratum 1, 2 en 3 1) Stratum 1 Stratum 2 Stratum 3 Populatie 1 januari 2015 Netto steekproef Respons Populatie 1 januari 2015 Netto steekproef Respons Populatie 1 januari 2015 Netto steekproef Respons Stedelijkheid woongemeente zeer sterk stedelijk 37,0 34,8 30,4 16,1 15,8 14,6 19,7 19,5 18,8 sterk stedelijk 30,9 32,8 32,3 32,8 32,0 32,3 32,4 34,0 33,7 matig stedelijk 13,4 13,4 14,8 18,5 18,9 19,5 16,3 16,6 16,7 weinig stedelijk 13,8 14,0 16,9 22,5 21,9 21,8 22,0 21,6 22,0 niet stedelijk 4,9 5,1 5,6 10,1 11,4 11,8 9,6 8,4 8,8 Landsdeel Noord-Nederland 12,0 12,5 14,5 10,7 11,9 12,3 11,3 10,3 10,3 Oost-Nederland 18,9 19,2 19,3 22,7 22,4 23,0 23,2 23,9 24,3 West-Nederland 49,4 47,4 43,2 44,8 43,3 41,7 41,1 43,1 42,0 Zuid-Nederland 19,7 20,8 23,1 21,8 22,4 23,1 24,4 22,7 23,4 Tabel (vervolg) Respons SDI naar achtergrondkenmerken; stratum 4 en 5 1) Stratum 4 Stratum 5 Populatie Netto Respons Populatie 1 januari 2015 steekproef 1 januari 2015 Netto steekproef Respons Geslacht Man 46,5 48,4 46,3 50,0 50,6 50,2 Vrouw 53,5 51,6 53,7 50,0 49,4 49,8 Leeftijd jaar 16,1 13,5 14,0 8,3 7,9 6, jaar 10,8 13,1 11,4 18,1 17,5 15, jaar 21,2 19,8 19,5 14,4 15,1 13, jaar 25,6 25,3 25,1 19,4 18,7 19, jaar 16,2 18,2 20,8 17,2 17,9 20, jaar 5,7 6,0 5,6 14,8 14,8 16,4 75 jaar of ouder 4,4 4,1 3,5 7,9 8,1 7,6 Sociale Domein Index 28

29 Tabel (vervolg) Respons SDI naar achtergrondkenmerken; stratum 4 en 5 1) Stratum 4 Stratum 5 Populatie 1 januari 2015 Netto steekproef Respons Populatie 1 januari 2015 Netto steekproef Respons Herkomst Autochtoon 59,3 59,3 66,4 80,1 80,0 85,2 Westers allochtoon 9,1 8,9 9,2 10,5 10,2 9,3 Niet-westerse allochtoon 31,6 31,8 24,4 9,5 9,8 5,6 Type huishouden eenpersoonshuishouden 31,1 29,6 28,7 19,9 20,1 19,1 paar zonder kinderen 11,7 12,3 12,8 36,4 37,0 38,9 paar met kinderen 32,7 32,9 35,4 38,0 36,8 36,7 eenouder 23,0 23,0 21,8 4,7 5,2 4,5 overig 1,4 2,2 1,3 1,0 1,0,9 Gestandaardiseerd huishoudensinkomen 1ste inkomenskwintiel (laagste inkomens) 46,7 47,5 44,4 8,7 9,9 7,3 2e inkomenskwintiel 24,6 23,6 23,9 16,5 15,7 15,0 3e inkomenskwintiel 14,5 15,1 15,9 22,3 22,9 22,3 4e inkomenskwintiel 9,6 9,5 10,3 24,3 25,1 25,7 5e inkomenskwintiel (hoogste inkomens) 4,7 4,3 5,5 28,2 26,5 29,7 46,7 47,5 44,4 8,7 9,9 7,3 Stedelijkheid woongemeente zeer sterk stedelijk 28,6 28,3 23,7 20,3 21,2 17,7 sterk stedelijk 33,8 35,1 35,4 31,1 31,6 31,6 matig stedelijk 15,4 14,5 14,5 18,8 17,5 18,4 weinig stedelijk 16,4 16,4 19,6 20,9 21,5 24,1 niet stedelijk 5,8 5,6 6,8 9,0 8,3 8,2 Landsdeel Noord-Nederland 12,8 12,5 14,5 9,9 10,8 12,2 Oost-Nederland 22,2 22,1 24,2 20,8 20,9 21,8 West-Nederland 43,5 43,8 39,2 47,5 47,1 43,3 Zuid-Nederland 21,4 21,6 22,1 21,8 21,2 22,7 1) Stratum 1: personen (18+) die gebruik maken van participatievoorzieningen; Stratum 2: personen (18+) die ouder zijn van één of meer kinderen jeugdvoorzieningen gebruiken; Stratum 3: personen (18+) die alleen gebruik maken van WMO-thuisvoorzieningen; Stratum 4: personen (18+) uit een huishouden met tenminste twee van de hiervoor genoemde voorzieningen; Stratum 5: personen (18+) die niet tot een van bovenstaande strata behoren en dus geen gebruik maken van dergelijke voorzieningen. Sociale Domein Index 29

30 R-indicatoren Om de selectiviteit van de respons met betrekking tot een aantal achtergrondkenmerken na te gaan is ook de R-indicator berekend. Deze indicator ligt tussen 0 en 1, waarbij 1 betekent dat de respons volledig representatief is voor de bekeken achtergrondkenmerken. Ook kan worden nagegaan in welke mate elk kenmerk bijdraagt aan de scheefheid van de ongewogen respons. Dit gebeurt met de partiële R-indicatoren. Bij de berekening van de R-indicatoren worden doorgaans dezelfde achtergrondkenmerken meegenomen als in de weging. In deze analyse zijn geslacht, leeftijd, herkomst, positie in het huishouden, landsdeel, stedelijkheid en inkomen meegenomen. De stratumindeling is niet meegenomen, omdat de strata in grote mate samenhangen met andere kenmerken in het model. Deze variabele kan hierdoor niet tegelijkertijd met de overige kenmerken in het model worden meegenomen. Zo bevindt van de respondenten die alleen participatievoorzieningen gebruik maken (Stratum 1) zich ongeveer 61 procent in de laagste inkomensgroep en 32 procent zijn niet-westerse allochtonen. Van de responderende ouders die een of meerdere (minderjarige) kinderen hebben die jeugdvoorzieningen gebruiken (Stratum 2) gaat het vanzelfsprekend om gezinnen met kinderen (meestal paren met kinderen of eenoudergezinnen). Respondenten die gebruik maken van WMO- thuisvoorzieningen (Stratum 3) zijn relatief ouder: in 55,4 procent zelfs ouder dan 75 jaar. Zij zijn doorgaans autochtoon en vrouwen zijn sterk oververtegenwoordigd. Stratum 4, met personen uit een huishouden waar een combinatie van voorzieningen wordt gebruikt, bevat relatief veel niet-westerse allochtonen en personen in de laagste inkomensgroep. De R-indicator komt in dit onderzoek uit op 0,799. Dit is nauwelijks lager dan de meeste CBS-onderzoeken, waarin deze indicator doorgaans tussen de 0,80 en 0,85 ligt. In onderhavig onderzoek is echter ook het gestandaardiseerd huishoudensinkomen meegenomen en in zijn algemeenheid geldt dat hoe meer indicatoren mee worden genomen in de analyse, hoe lager de R-indicator wordt. Geconcludeerd kan worden dat de representativiteit van de steekproef voldoende is. Eventuele scheefheid in de respons kan gecorrigeerd worden met de weging. De conditionele partiële indicatoren laten zien dat dat de respons vooral naar herkomst, leeftijd en inkomen scheef verdeeld is (Tabel 5.2.6). Alle kenmerken zijn significant. Tabel R-indicator en conditionele partiële R-indicatoren voor SDI 2015 Coëfficiënt Standaardfout Betrouwbaarheidsinterval R-indicator 0,799 0,010 0,780-0,817 Conditionele partiële R-indicatoren Geslacht Leeftijd Herkomst Positie in het huishouden Landsdeel Stedelijkheid woongemeente Gestandaardiseerd huishoudensinkomen 0,015 0,027 0,048 0,016 0,012 0,011 0,024 0,005 0,005 0,005 0,005 0,005 0,005 0,005 0,005-0,025 0,017-0,037 0,039-0,058 0,006-0,026 0,002-0,021 0,002-0,021 0,015-0,034 De coëfficiënten van de verschillende categorieën (hier niet gepresenteerd), die het meest verantwoordelijk zijn voor de selectiviteit laten een vergelijkbaar beeld zien met de eerder gepresenteerde resultaten. Dit betekent dat met name de hoogste leeftijdscategorie (75+), niet-westerse allochtonen, en de laagste inkomenscategorie het meest zorgen voor de scheefheid in de respons. Sociale Domein Index 30

31 5.2 Wegen Inleiding Deze paragraaf beschrijft kort het uiteindelijke weegmodel. In de Bijlagen (pagina 44) staat het volledige verslag van het weegproces en een aantal analysetechnieken aan de hand waarvan het weegmodel is afgeleid (Vondenhoff, 2016). Imputaties achtergrondkenmerken bij ontbrekende of onbekende waarden Als voor bepaalde variabelen de waarden in de populatie onbekend zijn (of ontbreken) worden deze als volgt geïmputeerd om geschikte populatie-totalen te kunnen maken. Herkomst wordt automatisch op autochtoon of (in geval van Herkomst2) op westers gezet. Provincie wordt Zuid Holland en landsdeel west. Stedelijkheid wordt sterk stedelijk (tweede categorie). Positie in huishouden in twee categorieën wordt niet partner en in vijf categorieën wordt het overig. Type huishouden wordt paar met kinderen. Stratum wordt Stratum 5. Voor de respondenten worden hulpvariabelen en andere voor de weging relevante variabelen opgezocht in het kader. In geval van gemiste koppelingen worden voor de variabele geslacht en leeftijd de waarden uit het responsbestand overgenomen. Voor herkomst, provincie, landsdeel, stedelijkheid, positie in het huishouden en type huishouden worden de eerder besproken categorieën geïmputeerd die ook bij in het kader voor de populatietotalen zijn gekozen. Verder wordt huishoudgrootte op twee gezet en inkomensklasse wordt één (de laagste klasse). Voor stratum wordt, in tegenstelling tot de imputatie-methode in het kader, in geval van een gemiste koppeling in de respons, de stratum-variabele bij de enquêtering overgenomen. Weegmodel Bij de weging worden niet alleen persoonsgewichten, maar ook huishoudensgewichten berekend. Deze huishoudensgewichten tellen op tot het aantal huishoudens met ten minste één persoon in de doelpopulatie (op persoonsniveau). Met het SCP is afgesproken dat de huishoudensgewichten gedefinieerd worden door het quotiënt van persoonsgewichten en de huishoudensfactor (zie ook de Bijlage). De uiteindelijke (lineaire) weging aan de hand van het gevonden model vindt plaats in Bascula [1]. Het definitieve weegmodel is als volgt: Geslacht2_X_Leeftijd15 +Geslacht2_X_Herkomst3 +Herkomst_generatie4 +Leeftijd3_X_Herkomst3 +Leeftijd7_X_Landsdeel4 +Herkomst3_X_Landsdeel4 +Provincie12 +Type_huishouden5 +Positie_in_huishouden5 +Geslacht2_X_Stratum5 + Herkomst3_X_ Stratum5 + Landsdeel4_X_ Stratum5 +Huishoudensgrootte5_X_ Stratum5 +Stedelijkheid5_X_ Stratum5 +Inkomen5{kwantitatief: op hhn-niveau} Sociale Domein Index 31

32 Daarbij is de betekenis van de variabelen: Leeftijd15: In vijfjaarsklassen (18-19,20-24,25-29,,80-84,85+) Leeftijd7: 18-24, 25-34, 35-44, 45-54, 55-64, 65-74, 75+ Leeftijd3: 18-34, 35-64, 65+ Herkomst3: allochtoon, westers allochtoon, niet-westers allochtoon Herkomst_generatie4: Autochtoon, Eerste generatie, Tweede generatie met één ouder geboren in buitenland, Tweede generatie met beide ouders geboren in buitenland. Landsdeel: Noord (Groningen, Friesland, Drenthe), Oost (Overijssel, Gelderland, Flevoland), West (Utrecht, Noord Holland, Zuid Holland, Zeeland), Zuid (Noord Brabant, Limburg) Type_huishouden5: Eenpersoonshuishouden, Paar met kinderen, Paar zonder kinderen, Eenouder huishouden, Overig huishouden Positie_in_huishouden5: Thuiswonend kind; Alleenstaande; Partner; Ouder in eenouderhuishouden; in overig huishouden Inkomen5: Vijf categorieën van het gestandaardiseerd besteedbaar inkomen van het huishouden. De grenzen liggen op 21030, 30587, 41283, (Ik zal nog nagaan of deze grenzen kloppen) Aantal_personen_in_huishouden5: 1,2,3,4,5+ Stedelijkheid5: zeer sterk, sterk, matig, weinig, niet 5.3 Plausibiliteitsanalyse Omdat dit onderzoek voor de eerste keer is uitgevoerd was een uitgebreide plausibiliteitsanalyse niet goed mogelijk. Er is een beperkte plausibiliteitsanalyse uitgevoerd op de gewogen resultaten van een aantal achtergrondkenmerken en inhoudelijke variabelen. Deze variabelen zijn vergeleken voor en na weging van de respons. Deze analyse leverde op het oog geen inplausibele resultaten op. Voor enkele variabelen is ook een vergelijking gemaakt met andere CBS-onderzoeken. Zo blijkt het aandeel personen van 18 jaar of ouder met een zeer goede gezondheid in de gezondheidsenquête met ongeveer 76 procent wat hoger te liggen dan in SDI, waar dat aandeel op bijna 73 procent lag. Waar dit verschil aan ligt is moeilijk te bepalen. De zogenoemde contexteffectendoor een geheel andere vragenlijst kunnen een verklaring zijn. Het aandeel dat minstens wekelijks (waaronder dagelijks) contact had met familie is vergelijkbaar met dat in de enquête Sociale samenhang en Welzijn 2014; in beide enquêtes ging het om ongeveer 83 procent. Het aandeel dat minstens wekelijks (waaronder dagelijks) contact met vrienden had is in SDI iets hoger, namelijk 78,5 tegenover 76,5 in de enquête sociale samenhang. Het aandeel dat frequent contact met buren had ligt voor beide onderzoeken op ongeveer 62 procent. De beoordeling van de plausibiliteit wordt verder overgelaten aan de inhoudelijk deskundigen van het SCP. Sociale Domein Index 32

33 6. Opgeleverde producten 6.1 Microbestanden Het volgende eindbestand is aan het SCP geleverd. Naam bestand Datum Records Variabelen SDI2015_ANALYSE_ sav 30 maart Statistische beveiliging De microbestanden voor de verschillende afnemers worden vaak nog statistisch beveiligd. De wijze van beveiliging kan verschillen. Onder statistische beveiliging verstaan we hier het voorkómen dat er inhoudelijke conclusies over herkenbare eenheden kunnen worden getrokken op basis van gepubliceerd of anderszins beschikbaar gesteld CBS-materiaal. Uit de statistische publicaties van CBS (StatLine-tabellen, nieuwsberichten, wetenschappelijke artikelen) mogen zulke conclusies niet getrokken kunnen worden. Maar ook als CBS microdata beschikbaar stelt voor wetenschappelijke analyse, moet deze grondregel van de statistiek overeind blijven. De enige statistische beveiliging die nu op het bestand is toegepast, is het verwijderen van de namen en adressen van de respondenten. Voor bepaalde vormen van gebruik van de bestanden, bijvoorbeeld het beschikbaar stellen van de bestanden via DANS, is deze beveiliging niet voldoende. Voor die vormen van gebruik is er extra statistische beveiliging nodig. Voor SDI 2015 is contractueel afgesproken dat er een controlled circulation bestand (CCF) komt, wat voldoet aan de eisen van een dergelijke statistische beveiliging. Sociale Domein Index 33

34 7. Referenties Corten, I., Deneer, J. en de Vree, M. (2015). LEVEN 2015: Handleiding voor cati en capi interviewers. CBS: interne nota. Heij, V. de en Vondenhof, E. (2015). Steekproefontwerp Sociale Domein Index CBS: interne nota Heij, V. de (2015). Sociaal Domein: ontwerp steekproefkader en steekproef. CBS: interne nota. Vondenhoff, E. (2016). Steekproefverantwoording Sociale Domeinindex CBS: interne nota. Vree, M. de (2015). Onderzoeksschets Sociale Domein Index CBS: interne nota. Fouwels, S. en van Cruchten, J. (2016). Beschrijving productieproces SDI2015. CBS: interne nota. Sociale Domein Index 34

35 8. Bijlagen: Benaderingsstrategie 8.1 Benaderingsstrategie internetwaarneming Respondenten ontvangen een aanschrijfbrief met het verzoek om de vragenlijst via internet in te vullen. In de brief zijn een inlogcode en een gebruikersnummer opgenomen. Daarnaast wordt in de brief ingegaan op het doel van het onderzoek en wordt erin aangekondigd dat een telefonische of face-to-face benadering volgt als geen reactie wordt ontvangen van de respondent via internet. Een week na de verzending van de aanschrijfbrief wordt een rappelbrief verstuurd naar degenen die op dat moment nog niet hebben gerespondeerd en niet via de helpdesk van Dataverzameling hebben aangegeven niet te kunnen of willen deelnemen aan het onderzoek. Weer een week later gebeurt hetzelfde. De verzenddatums van de aanschrijf- en rappelbrieven worden op donderdag gekozen opdat respondenten in het weekend de vragenlijst kunnen invullen. Indien de donderdag een feestdag is wordt de woensdag gekozen. Gezien de vanaf 1 juli 2012 ingevoerde werkwijze bij PostNL, waarbij op 3 dagen in de week postbezorging wordt verzorgd tegen het basistarief waardoor op woensdag en donderdag aangeleverde post pas op zaterdag wordt bezorgd, vraagt bovenstaande om bezorging met 24-uurspost. 8.2 Benaderingsstrategie telefonische waarneming Er wordt voorafgaand aan de telefonische herbenadering van internet non-respondenten met bekend telefoonnummer geen nieuwe brief gestuurd. De telefonische herbenadering duurt vier weken. Voor ieder steekproefelement worden minimaal negen belpogingen gedaan, waarbij minimaal drie belpogingen in de ochtend, drie belpogingen in de middag en drie belpogingen in de avond. 8.3 Benaderingsstrategie face-to-face waarneming De benaderingsstrategie die uitgevoerd wordt voor de face-to-face waarneming ziet er in grote lijnen als volgt uit. Er wordt geen aanschrijfbrief verstuurd voorafgaand aan deze benadering. In een maandportie worden alle steekproefadressen in de eerste helft van de betreffende maand ten minste één keer bezocht. Wordt de beoogde respondent thuis aangetroffen, dan probeert de interviewer een afspraak te maken voor een interview zodanig dat een spreiding van de responsen in de tijd wordt bereikt. Na zes vergeefse bezoeken wordt een adres niet meer benaderd, tenzij bij het zesde bezoek een harde afspraak is gemaakt voor een interview. Sociale Domein Index 35

36 9. Bijlagen: Aanschrijf- en rappelbrieven In deze bijlage zijn voorbeeldbrieven opgenomen. Tijdens het drukken van de brieven zijn de NAW-gegevens en de aanhef toegevoegd en zijn de brieven gedateerd. Aanschrijfbrief Sociale Domein Index 36

37 Sociale Domein Index 37

38 1 e rappelbrief Sociale Domein Index 38

39 Sociale Domein Index 39

40 2 e rappelbrief Sociale Domein Index 40

41 Sociale Domein Index 41

42 10. Bijlagen: Weging Sociale Domein Index 2015 Erwin Vondenhoff Abstract: In deze nota wordt de toekenning van gewichten aan de respondenten van Sociale Domeinindex 2015 besproken. Uitgangspunt is een uitgebreid weegmodel dat in een aantal stappen wordt gereduceerd tot een geschikt weegmodel voor de Sociale Domeinindex. Hierbij wordt met name de spreiding van de correctiegewichten onderzocht. De weegmodellen die hierbij onderzocht worden zijn combinaties van termen uit het uitgebreide weegmodel. 1. Inleiding In een brief aan de Tweede Kamer van 18 oktober 2013, stelt de minister van BZK zich als coördinerend minister bestuurlijk verantwoordelijk voor drie decentralisatieprojecten in het sociale domein, te weten: participatie, jeugd en ondersteuning. SCP is gevraagd een voorstel te ontwikkelen voor de Sociale Domeinindex (SDI) om in kaart te brengen in welke mate de situatie van burgers op het sociale domein verbetert of verslechtert. Het SCP heeft vervolgens aan het CBS gevraagd een dergelijk onderzoek uit te voeren. Voor meer achtergrond van de SDI, zie [4]. De doelpopulatie van de Sociale Domeinindex 2015 bestaat uit de in Nederland woonachtige personen die deel uitmaken van particuliere huishoudens, ingeschreven zijn in de Basisregistratie van Personen (BRP) en op 31 december jaar of ouder zijn. Bij de weging worden niet alleen persoonsgewichten, maar ook huishoudensgewichten berekend. Deze huishoudensgewichten tellen op tot het aantal huishoudens met ten minste één persoon in de doelpopulatie (op persoonsniveau). De uiteindelijke (lineaire) weging aan de hand van het gevonden model vindt plaats in Bascula [1]. Deze notitie beschrijft een aantal analyse-technieken aan de hand waarvan een weegmodel kan worden afgeleid. In plaats van het opbouwen van een weegmodel, wordt een heel uitgebreid weegmodel in een aantal stappen afgebroken. Eerst wordt het uitgebreide weegmodel gereduceerd op basis van celvulling. Vervolgens worden aan de hand van overgebleven weegtermen analyses gedaan op (deel)-weegmodellen met één, twee, of meerdere termen. Bij de methode wordt geen rekening gehouden met effecten op doelvariabelen. Eerst wordt kort het steekproefontwerp besproken en de afleiding van relevante variabelen van de weging. Vervolgens bespreken we de bepaling van het weegmodel op persoonsniveau. Ten slotte voegen we termen aan het model toe op het niveau van huishoudens. 2. Het steekproefontwerp en de insluitgewichten Deze paragraaf beschrijft de afbakening van het steekproefkader en de voor de weging relevante informatie over het steekproefontwerp. Voor details aangaande het kader en het steekproefontwerp verwijzen we naar [2] en [3]. Voor de weging is het van belang dat de doelpopulatie is opgesplitst in vijf strata waarin vijf verschillende trekkingskansen zijn gehanteerd. De strata zijn als volgt gedefinieerd: Stratum 1. Personen die zelf participatievoorzieningen gebruiken en die lid zijn van een huishouden dat alleen participatievoorzieningen gebruikt. Stratum 2. Personen die juridisch ouder zijn van één of meerdere minderjarige kinderen die jeugdvoorzieningen gebruiken en die lid zijn van een huishouden dat alleen jeugdvoorzieningen gebruikt. Het minderjarige kind hoeft niet bij de juridische ouder te wonen. Stratum 3. Personen die zelf WMO-thuisvoorzieningen gebruiken en die lid zijn van een huishouden dat alleen WMO-thuisvoorzieningen gebruikt. Sociale Domein Index 42

43 Stratum 4. Personen die lid zijn van een huishouden dat meer dan één soort publieke voorzieningen gebruikt. Stratum 5. Personen die zelf geen publieke voorzieningen gebruiken en die lid zijn van een huishouden dat of geen publieke voorzieningen gebruikt of dat alleen één soort publieke voorzieningen gebruikt. Voor de stratumindeling van het steekproefkader [2] wordt het SCP Maatwerkbestand Sociaal Domein 2013 gebruikt dat is samengesteld door het Centrum van Beleidsstatistieken. Dit maatwerkbestand laat van iedereen die op 31 december 2013 ingeschreven stond in de BRP zien of hij of zij in 2013 participatievoorzieningen, jeugdvoorzieningen of WMO-voorzieningen heeft gebruikt. Ook geeft het bestand voor veel personen, onder wie alle minderjarige kinderen, de juridische ouders weer. Met deze informatie kan het gebruik van jeugdvoorzieningen door minderjarige kinderen gekoppeld worden aan de ouders. De gestratificeerde steekproef [3] is zo getrokken dat in elk van de vijf strata minstens 960 responsen gehaald worden. Binnen een stratum zijn de eerste orde insluitkansen gelijk. De insluitgewichten van respondenten in een stratum zijn berekend door het aantal eenheden in het stratum in de populatie te delen door het uiteindelijke aantal respondenten in het stratum. Door te delen door het aantal respondenten in plaats van het aantal steekproefeenheden is al gedeeltelijk is gecorrigeerd voor non-respons. 3. Imputaties achtergrondkenmerken tbv populatietotalen en microbestand Indien voor bepaalde variabelen de waarden in de populatie onbekend zijn worden deze als volgt geïmputeerd om geschikte populatie-totalen te kunnen maken. Herkomst wordt automatisch op autochtoon of (in geval van Herkomst2) op westers gezet. Provincie wordt Zuid Holland en landsdeel west. Stedelijkheid wordt sterk stedelijk (tweede categorie). Positie in huishouden in twee categorieën wordt niet partner en in vijf categorieën wordt het overig. Type huishouden wordt paar met kinderen. Stratum wordt Stratum 5. Voor de respondenten worden hulpvariabelen en andere voor de weging relevante variabelen opgezocht in het kader. In geval van gemiste koppelingen worden voor de variabele geslacht en leeftijd de waarden uit het responsbestand overgenomen. Voor herkomst, provincie, landsdeel, stedelijkheid, positie in het huishouden en type huishouden worden de eerder besproken categorieën geïmputeerd die ook bij in het kader voor de populatietotalen zijn gekozen. Verder wordt huishoudgrootte op twee gezet en inkomensklasse wordt één (de laagste klasse). Voor stratum wordt, in tegenstelling tot de imputatie-methode in het kader, in geval van een gemiste koppeling in de respons, de stratum-variabele bij de enquêtering overgenomen. 4. Afleiding van het weegmodel (een algemene methode) De methode gaat uit van een zeer uitgebreid weegmodel, het zogenaamde super weegmodel, dat in een aantal stappen vereenvoudigd wordt. Dit super weegmodel bestaat uit termen van weegmodellen voor andere eerder uitgevoerde surveys. Dit weegmodel wordt uitgebreid met specifieke achtergrondkenmerken die voor SDI van belang zijn. Vervolgens wordt voor dit uitgebreide weegmodel de celvulling in de respons onderzocht. Weegtermen met minder dan vijf waarnemingen worden altijd vereenvoudigd. Vervolgens worden de overgebleven weegtermen apart geanalyseerd. Onderzocht wordt of deze verder vereenvoudigd kunnen worden wanneer uit wordt gegaan van een hogere cell-count, bijvoorbeeld 10, 20, 30, 50 of 100. Op eigen inzicht en aan de hand van wensen van de klant wordt besloten welke weegtermen op basis hiervan afvallen. Hierbij kan per term een andere minimale cell-count gehanteerd worden. Voor de overgebleven termen worden een aantal analyses op de correctiegewichten uitgevoerd. Aan de hand van uitkomsten van deze analyses wordt een definitief weegmodel gekozen. SCP heeft aangegeven niet teveel te willen corrigeren voor scheefheid met betrekking tot herkomst (etniciteit) vanwege het kleine aantal niet-westers allochtonen in de respons. Wegen naar variabelen met kleine categorieën kan door het toeval tot grote variatie in gewichten leiden, hetgeen niet wenselijk is. Verder heeft SCP een lijst gegeven met variabelen die men wel graag wil terugzien in het weegschema: Sociale Domein Index 43

44 geslacht, leeftijd, stratum, type huishouden, provincie, stedelijkheid, inkomen (van het huishouden) en huishoudensgrootte. Voor herkomst in drie categorieën (autochtoon, westers allochtoon, niet-westers allochtoon) is de celvulling vaak groter dan bij deze variabelen. Daarom is herkomst toch toegevoegd aan het weegmodel, maar niet al teveel uitgekruist. Merk op dat de voorgestelde methode geen informatie gebruikt over de doelvariabelen. Soms is niet bekend aan welke doelvariabelen de meeste waarde wordt gehecht. De beschreven methode kijkt vooral naar (non- )responsgedrag en eventuele variantie die geïntroduceerd wordt bij het toevoegen van termen. Echter, indien gewenst kan de methodiek uitgebreid worden door voor termen in het gevonden weegmodel te onderzoeken wat het effect van weglaten is op relevante doelvariabelen. Indien het effect klein is kan een term vereenvoudigd of weggelaten worden. Zoals gezegd wordt uitgegaan van een super weegmodel. Dit model is een verzameling van allerlei termen die bij meerdere wegingen gebruikt zijn. Het super weegmodel is beschreven in Appendix B. Vervolgens wordt dit weegmodel uitgebreid met de variabele stratum omdat deze bij SDI een belangrijke rol speelt. SCP heeft aangegeven uitspraken te willen doen over de vijf afzonderlijke strata. Daarnaast speelt deze variabele een rol bij het steekproefontwerp. Aangezien respondenten uit verschillende strata verschillende insluitgewichten hebben gekregen is het gewenst dat eindgewichten binnen een stratum optellen tot het aantal eenheden in het betreffende stratum. Elke term in het super weegmodel wordt daarom in eerste instantie uitgekruist met stratum. Voor het super weegmodel uitgekruist met stratum wordt onderzocht of bepaalde cellen minder dan vijf respondenten bevatten. Indien dit het geval is worden de weegtermen vereenvoudigd. Op dit moment worden overgebleven redundante weegtermen uit het weegmodel gehaald (Het super weegmodel is opzettelijk redundant, zie Appendix B). Aangezien L7_X_H3 bijvoorbeeld nog in het model blijft omdat de minimale cell count hoger is dan vijf, is het overbodig om L7_X_H2 in het model te laten. In Tabel 1 zijn de overgebleven weegtermen weergegeven. Voor precieze definities van de variabelen verwijzen we naar Appendix A. Tabel 1: Overzicht van weegtermen die voldoende celvulling hebben bij gegeven minimale cell-count Vervolgens wordt de minimale cell-count verhoogd naar 10, 20, 30, 50 en 100. Per weegterm wordt onderzocht of deze bij toenemende minimale cell-count opgesplitst wordt. Zo is er bij een minimale cellcount van 30 voldoende respons om geslacht uit te kruisen met 15 leeftijdscategorieën, terwijl bij een minimale cell-count van 50 slechts met zeven leeftijdscategorieën kan worden uitgekruist en de term L15 als losse term moet worden toegevoegd. Sociale Domein Index 44

45 Op basis van Tabel 1 wordt een voorlopig voorstel voor het weegmodel gedaan. Per weegterm bespreken we hoe we tot dit voorlopige voorstel komen. 1. geslacht_x_leeftijd: Vaak is men geïnteresseerd in een uitkruising met alle 15 leeftijdscategorieën. Op basis van de minimale cell-count is dit ook mogelijk. 2. geslacht_x_herkomst: Zoals eerder vermeld, heeft SCP aangegeven niet teveel te willen corrigeren voor herkomst. Daarom wordt niet naar de zevendeling gewogen. Het is wel gebruikelijk om de driedeling toe te voegen en daar is geen bezwaar tegen gezien de celvulling. 3. geslacht_x_herkomstgeneratie: Vaak speelt het bij responsgedrag van allochtonen een rol of het een eerste of tweede generatie allochtoon betreft. Vandaar dat deze term wordt toegevoegd. Merk op dat herkomst in drie categorieën niet een indikking is van deze variabelen en weegterm 2 dus niet redundant wordt. 4. leeftijd_x_herkomst: Om deels aan de wensen van SCP te voldoen om herkomst niet teveel uit te splitsen, wordt niet uitgekruist met L7, maar met L3. Bij een minimale cell-count van 50 is dit nog geen probleem. 5. leeftijd_x_regio: Bij een minimale cell-count van 50 kan landsdeel nog steeds uitgekruist worden met zeven leeftijdscategorieën. SCP heeft ook aangegeven geïnteresseerd te zijn in landsdeel als weegvariabele. 6. herkomst_x_regio: Tot en met minimale cell-count 50 kan herkomst in drie categorieën uitgekruist worden met landsdeel. 7. type_huishouden: Bij minimale cell-count 50 gaat het mis. Echter, SCP heeft aangegeven deze term graag terug te zien in het model. 8. positie_in_huishouden: SCP wenst deze variabele terug te zien in het weegmodel en het is gezien de minimale cell-count geen probleem. 9. inkomen: SCP wenst deze variabele terug te zien in het weegmodel en het is gezien de minimale cell-count geen probleem. 10. geslacht_x_herkomst_x_stratum: Stratum kan in ieder geval uitgekruist worden met geslacht. Uitkruisen met herkomst in drie categorieën gaat mis vanaf minimale cell-count 30. Uitkruisen met herkomst in twee categorieën gaat nog goed bij minimale cell-count 50. Toch kruisen we uit met drie categorieën, aangezien herkomst in de andere termen ook met drie categorieën voorkomt. Verder is er de wens om zoveel mogelijk uit te kruisen met stratum. Mocht bij vervolg-analyses blijken dat deze term problemen geeft, dan kan deze alsnog vereenvoudigd worden. 11. herkomstgeneratie_x_stratum: Bij lage minimale cell-count verdwijnt deze term al. Vandaar dat deze uit het weegmodel wordt gehaald. 12. regio_x_stratum: Aangezien zoveel mogelijk termen uitgekruist dienen te worden met stratum en SCP geïnteresseerd is in provincie als weegvariabele wordt voorlopig de gehele uitkruising R12_X_stratum in het model gelaten. Indien nodig wordt de term later vereenvoudigd, bijvoorbeeld tot R12 + R4_X_stratum. 13. aantalpersonen_x_stratum: Aangezien zoveel mogelijk termen uitgekruist dienen te worden met stratum, en SCP geïnteresseerd is in huishoudgrootte als weegvariabele, blijft de gehele uitkruising in het model, ook al gaat het al mis bij minimale cell-count stedelijkheid_x_stratum: Voor deze term zijn er minstens 50 waarnemingen per categorie. Nu het weegmodel gereduceerd is op basis van cell-count, worden verschillende analyses uitgevoerd aan de hand van wegingen op basis van delen van dit model. 1. Wegingen met slechts één van de termen in het voorlopige weegmodel in Tabel 1; 2. Wegingen met elke combinatie van twee van de 14 termen in het voorlopige weegmodel in Tabel 1; 3. Wegingen met het voorlopige weegmodel in Tabel 1 met daaruit één van de 14 termen weggelaten. Bij de eerste analyse wordt onderzocht wat de range van de resulterende correctiegewichten is wanneer wordt uitgegaan slechts één weegterm. Het resultaat is weergegeven in Tabel 2. Opvallend zijn niet-westers allochtonen in west-nederland met een correctiegewicht van 2.10 en Zeeuwen in stratum 5 met een correctiegewicht van Bij de Zeeuwen in stratum 5 zijn de hoge gewichten te wijten aan de cell-count. Er zijn slechts 11 van dit type respondenten. Het bijbehorende aantal steekproefeenheden is ook klein. Door het toeval kunnen correctiegewichten dan groot of klein worden. Dit is een goede reden om de betreffende weegterm te vereenvoudigen. Bij H3_X_R4 is de celvulling echter te groot om de grote correctiegewichten Sociale Domein Index 45

46 te verklaren door het toeval. Waarschijnlijk heeft het hoge correctiegewicht te maken met significant afwijkend responsgedrag van de betreffende groep. De weegterm corrigeert dus echt voor verschil in responsgedrag tussen subpopulaties. weegterm Range correctiegewichten G2_X_L G2_X_H G2_X_H L3_X_H L7_X_R H3_X_R T P I G2_X_STRATUM H3_X_STRATUM R12_X_STRATUM N5_X_STRATUM S5_X_STRATUM Tabel 2: Range correctiegewichten bij weegmodellen met slechts één weegterm; Maxima/minima boven/onder 3/2 of 2/3 zijn in het oranje weergegeven; maxima/minima boven/onder 2 of ½ zijn in het rood weergegeven. Vervolgens worden modellen met twee termen onderzocht. Tabel 3 geeft weer wat de range van de correctiegewichten is bij elke combinatie van twee weegtermen. Figuur 1 vat samen welke combinaties tot hoge en lage correctiegewichten leiden. Het effect van de term H3_X_R4 valt op. Deze veroorzaakt grote spreiding in de gewichten hetgeen variantietoename van schatters van doelvariabelen kan veroorzaken. Anderzijds is het een indicatie dat de term in grote mate corrigeert voor selectiviteit van non-respons. term G2_X_L15 X G2_X_H X G2_X_H X L3_X_H X L7_X_R X H3_X_R X T X P X I X G2_X_STR X H3_X_STR X R12_X_STR X N5_X_STR X S5_X_STR x Tabel 3: Range correctiegewichten bij weegmodellen bestaande uit twee termen; Rood: laagste gewicht lager dan 0.45; Blauw: hoogste gewicht boven Paars: laagste gewicht lager dan 0.45 en hoogste gewicht boven 2.50 Sociale Domein Index 46

47 Figuur 1: Overzicht welke combinaties van weegtermen hoge (>2.50) (blauw) of lage (<0.45) (rood) correctiegewichten geven. Het voorlopige weegmodel in Tabel 1 leidt tot 53 negatieve gewichten, wanneer deze niet worden begrensd. Onderzocht wordt hoeveel negatieve gewichten overblijven wanneer één term wordt weggelaten. Tabel 4 geeft de resultaten weer. Wat opvalt is dat weglaten van H3_X_R4 of G2_X_H4 tot een aanzienlijke reductie van het aantal negatieve gewichten leidt. weegterm # negatieve gewichten G2_X_L15 40 G2_X_H3 48 G2_X_H4 15 L3_X_H3 46 L7_X_R4 47 H3_X_R4 21 T5 51 P5 46 I5 48 G2_X_STRATUM 53 H3_X_STRATUM 41 R12_X_STRATUM 50 N5_X_STRATUM 48 S5_X_STRATUM 44 Tabel 4: Aantal negatieve gewichten dat overblijft wanneer uit het voorlopige weegmodel in Tabel 1 één term wordt weggelaten. Gewichten worden hierbij niet begrensd. Indien minstens 10 negatieve gewichten verdwijnen is dit aangegeven met oranje. Bij een afname van minstens 20 is het aangegeven in het rood. Bascula maakt bij elke weging een blg-file waarin onder andere is terug te vinden welke regressie- Sociale Domein Index 47

48 coëfficiënten de dummy variabelen krijgen bij de berekening van de correctiegewichten. De resultaten zijn weergegeven in Appendix C. De kolom coëfficiënt laat zien hoeveel opgeteld of afgetrokken moet worden bij of van het correctiegewicht wanneer een respondent tot een bepaalde groep behoort (i.e. wanneer een dummy variabele de waarde één heeft). Het bestand in Appendix C is daarom gesorteerd van lage naar hoge regressie-coëfficiënten. Bij de volgende termen zijn de regressie-coëfficiënten laag of hoog: H3_X_R4, G2_X_H4, R12_X_Stratum, L7_X_R4. Op basis van de uitgevoerde analyses 1. Onderzoek range correctiegewichten en negatieve gewichten voor delen weegmodellen, 2. Analyse blg-file, komen we tot de volgende conclusies aangaande vereenvoudigingen van de weegtermen: 1. G2_X_L15: Niet vereenvoudigen; 2. G2_X_H3: Niet vereenvoudigen; 3. G2_X_H4: Aanpassen tot alleen H4; 4. L3_X_H3: Niet vereenvoudigen; 5. L7_X_R4: Niet vereenvoudigen; 6. H3_X_R4: Ondanks het feit dat deze term (in combinatie met andere termen) tot negatieve gewichten leidt willen we deze term niet vereenvoudigen omdat we gezien hebben dat bepaalde groepen slecht responderen en daardoor sterk ondervertegenwoordigd worden; 7. T5: Niet vereenvoudigen; 8. P5: Niet vereenvoudigen; 9. I5: Niet vereenvoudigen; 10. G2_X_Stratum: Niet vereenvoudigen; 11. H3_X_Stratum: Niet vereenvoudigen; 12. R12_X_Stratum: Reduceren tot R4_X_Stratum + R12. We hebben in Tabel 1 gezien dat er een probleem is met cell-count en dat deze term gecombineerd met andere termen sterk varierende correctiegewichten oplevert; 13. N5_X_Stratum: Aangezien de overige vereenvoudigingen volstaan om grote spreiding in gewichten te voorkomen en het aantal negatieve gewichten reduceren kiezen we ervoor deze term niet te vereenvoudigen; 14. S5_X_Stratum: Niet vereenvoudigen; Het weegmodel ziet er nu als volgt uit: Geslacht2_X_Leeftijd15 +Geslacht2_X_Herkomst3 +Hekomst_generatie4 +Leeftijd3_X_Herkomst3 +Leeftijd7_X_Landsdeel4 +Herkomst_X_Landsdeel4 +Type_huishouden5 +Positie_in_huishouden5 +Inkomen5 +Geslacht2_X_Stratum +Herkomst3_X_Stratum +Landsdeel4_X_Stratum +Provincie12 +Huishoudensgrootte5_X_Stratum +Stedelijkheid5_X_Stratum Het aantal negatieve gewichten is gereduceerd tot 13. Deze gewichten zijn met één iteratie te begrenzen met het Huang Fuller algorithme. Dit is nog niet het uiteindelijke weegmodel. In de volgende paragraaf worden namelijk nog weegtermen op huishoudensniveau besproken. 5. De huishoudensfactor en de huishoudensgewichten Sociale Domein Index 48

49 De huishoudensfactor van een persoon in de doelpopulatie is gedefinieerd als de reciproke van het aantal personen in het betreffende huishouden dat eveneens tot de doelpopulatie behoort. Hiermee wijkt de huishoudensfactor af van andere onderzoeken zoals het WOON waarbij alleen personen in de huishoudenskern worden meegeteld. Bij SDI tellen bijvoorbeeld inwonende kinderen mee. Met SCP is afgesproken dat de huishoudensgewichten gedefinieerd worden door het quotiënt van persoonsgewichten en huishoudensfactor. Om te corrigeren voor huishoudenskenmerken wordt kwantitatief gewogen waarbij de huishoudensfactor de kwantificatie-variabele is. De volgende kenmerken worden overwogen om op huishoudensniveau toe te voegen aan het weegmodel: N5, R12, S5, I5 en T5. Voor S5 en I5 leidt dit tot geen problemen, zie Figuur 2. Voor de overige drie termen wel. De term N5 kan wel op huishoudensniveau worden toegevoegd indien N5 op persoonsniveau uit het model wordt gehaald. Uiteindelijk is gekozen dit niet te doen. Ook kan R12 op huishoudensniveau worden toegevoegd wanneer zowel R12 als R4_X_Stratum op persoonsniveau uit het model worden gehaald. Ook dit is niet gedaan. Beide overwegingen kunnen in de toekomst nader onderzocht worden en besproken worden met het SCP. De term T5 op huishoudensniveau blijkt altijd tot extreme correctiegewichten te leiden, ook wanneer deze op persoonsniveau uit het model wordt gehaald. Voor S5 zijn beide opties mogelijk: persoonsniveau of huishoudensniveau. Ook hier is gekozen om de term op persoonsniveau te laten. Voor I5 is echter de variant op huishoudensniveau gekozen omdat dit voor inkomen gebruikelijker is. Merk op dat door ten minste één weegterm op huishoudensniveau toe te voegen wordt afgedwongen dat de huishoudensgewichten optellen tot het juiste totale aantal huishoudens. Figuur2: Histogrammen en statistieken correctiegewichten wanneer één van de volgende termen wordt toegevoegd op huishoudensniveau aan het gevonden weegmodel op persoonsniveau: N5, R12, S5, I5, T5 Hiermee is het definitieve weegmodel afgeleid: Geslacht2_X_Leeftijd15 +Geslacht2_X_Herkomst3 +Herkomst_generatie4 +Leeftijd3_X_Herkomst3 +Leeftijd7_X_Landsdeel4 +Herkomst3_X_Landsdeel4 +Provincie12 +Type_huishouden5 +Positie_in_huishouden5 +Geslacht2_X_Stratum5 + Herkomst3_X_ Stratum5 + Landsdeel4_X_ Stratum5 +Huishoudensgrootte5_X_ Stratum5 +Stedelijkheid5_X_ Stratum5 Sociale Domein Index 49

50 +Inkomen5{kwantitatief: op hhn-niveau} 6. Resultaat van de weging In Figuur 3 zijn histogrammen en statistieken van de uiteindelijke correctie- en eindgewichten te zien, zowel voor als na het Huang-Fuller algorithme dat ervoor zorgt dat er geen negatieve gewichten overblijven. Eén iteratie van dit algorithme volstaat om de negatieve gewichten te begrenzen. Vaak wordt de variatiecoëfficiënt van de eind-gewichten berekend. Door bij deze variatie-coëfficiënt één op te tellen, vinden we de factor waarmee de variantie van een schatter van een doelvariabele maximaal kan toenemen door toepassen van de weging. Deze variatie-coëfficiënt bedraagt 3,943. Varianties van schatters kunnen door de weging dus met een factor toenemen. Deze enorme factor is het gevolg van het steekproefontwerp waarbij grote verschillen in trekkingskansen zijn gehanteerd. Figuur 3: Histogrammen en statistieken van de uiteindelijke correctie(geel)- en eindgewichten(blauw). Er zijn 16 negatieve gewichten. Deze worden met één iteratie van het Huang-Fuller algorithme begrensd. Links zijn de resultaten vòòr begrenzen en rechts na begrenzen te zien. 7. Conclusies en aanbevelingen De gewichten van SDI liggen ver uit elkaar. Dit kan leiden tot varianties die maximaal 5 keer zo hoog zijn dan verwacht mag worden op basis van de responsomvang. Dit heeft te maken met de grote verschillen in trekkingskansen in de verschillende strata. Voor de strata 1-4 kunnen echter preciezere uitspraken gedaan worden dan in geval van gelijke trekkingskansen. Een methode is ontwikkeld waarmee een weegmodel kan worden afgeleid door in eerste instantie uit te Sociale Domein Index 50

51 gaan van een heel groot model en dit vervolgens te reduceren door achtereenvolgens te kijken naar cellcount, range van correctiegewichten voor combinaties van termen en negatieve gewichten. Het is aan te bevelen om relevante doelvariabelen bij de methode en analyses te betrekken. Indien hulpvariabelen niet gecorreleerd zijn met doelvariabelen leidt weging immers alleen tot variantie-toename. Termen kunnen dan vereenvoudigd of weggelate worden. Indien er een correlatie is dient de variantietoename door weging afgezet te worden tegen reductie in vertekening. 8. Referenties [1]. Nieuwenbroek, N. en H.J. Boonstra (2002). Bascula 4.0 Reference Manual. Centraal Bureau voor de Statistiek, Heerlen. [2]. Vincent De Heij, Sociaal Domein Ontwerp steekproefkader en steekproef, CBS, mei [3]. Erwin Vondenhoff, Steekproefontwerp tbv Design Sociale Domein Index, CBS, mei [4]. Frank Engelen, Onderzoeksdesign Sociale Domeinindex (LEVEN) 2015, juni 2015 Appendix A. Categorieën van de weegvariabelen G2: Geslacht2: man, vrouw L15: Leeftijd15: jaar, jaar, jaar, jaar, jaar, jaar, jaar, jaar, jaar, jaar, jaar, jaar, jaar, jaar, 85 jaar of ouder L7: Leeftijd7: jaar, jaar, jaar, jaar, jaar, jaar, 75 jaar of ouder L3: Leeftijd3: jaar, jaar, 65 jaar of ouder L2: Leeftijd2: jaar, 65 jaar of ouder H7: Herkomst7: Autochtoon, Marokko, Turkije, Suriname, Aruba en Antillen, overig niet-westers, overig westers H4: Herkomst_generatie4: Autochtoon, eerste generatie allochtoon, tweede generatie allochtoon met één ouder geboren in het buitenland, tweede generatie allochtoon met beide ouders geboren in het buitenland H3: Herkomst3: Autochtoon, westers allochtoon, niet-westers allochtoon H2: Herkomst2: Westers, niet-westers R16: Provincieplus16: Gemeente Amsterdam, Gemeente Rotterdam, Gemeente Den Haag, Gemeente Utrecht, Provincie Groningen, Friesland, Drenthe, Overijssel, Flevoland, Gelderland, Restant Provincie Utrecht, Restant Noord-Holland, Restant Zuid-Holland, Zeeland, Noord-Brabant, Limburg R12: Provincie12: Groningen, Friesland, Drenthe, Overijssel, Flevoland, Gelderland, Utrecht, Noord-Holland, Zuid-Holland, Zeeland, Noord-Brabant, Limburg R4: Landsdeel4: Noord (Groningen, Friesland en Drenthe), Oost (Overijssel, Gelderland en Flevoland), West (Noord Holland, Zuid-Holland, Utrecht en Zeeland), Zuid (Noord-Brabant en Limburg) P5: Positie_in_huishouden5: Kind, Alleenstaande, Partner, Eenouder, overig S5: Stedelijkheid5: Zeer sterk stedelijk, Sterk Stedelijk, Matig stedelijk, Weinig stedelijk, Niet stedelijk. Sociale Domein Index 51

52 T5: Type_huishouden5: Eenpersoonshuishouden, Paar met kinderen, Paar zonder kinderen, Eenouder huishouden, Overig huishouden, N5: Huishoudensgrootte5: één persoon, twee personen, drie personen, vier personen, vijf of meer personen I5: Inkomen5: Gestandaardiseerd huishoudinkomen in vijf categorieën: minder dan 21031, euro, euro, euro, meer dan euro. Appendix B. Super weegmodel In deze appendix wordt het super weegmodel beschreven waarvan in eerste instantie is uitgegaan bij de weging van Sociale Domeinindex De bedoeling is dat dit super weegmodel het startpunt vormt voor weegmodellen en kan, indien gewenst, uitgebreid worden met variabelen als stratum. De achtergrondkenmerken worden met letters aangegeven, zo staat G voor geslacht en L voor leeftijd. Uitkruisingen worden aangegeven met het symbool _X_. Verder is het aantal categorieën weergegeven. Zo betekent L7 de leeftijd in 7 categorieën. In Appendix A zijn de precieze indelingen van de variabelen terug te vinden. Het super weegmodel bestaat uit alle hieronder genoemde termen. Dit weegmodel is redundant. Zo is G2_X_L7 overbodig omdat G2_X_L15 er al staat. Met behulp van Bascula kan bij elke minimale cellcount onderzocht worden tot op welk detail een variabele als leeftijd uitgekruist kan worden met geslacht. Het super weegmodel bestaat uit de volgende termen: geslacht met leeftijd o G2_X_L15 o G2_X_L7 o G2_X_L3 o G2_X_L2 geslacht met herkomst o G2_X_H7 o G2_X_H4 (herkomst generatie: geen indikking van H7) o G2_X_H3 o G2_X_H2 leeftijd met herkomst o L7_X_H4 o L7_X_H3 o L7_X_H2 o L3_X_H3 o L3_X_H2 o L2_X_H3 o L2_X_H2 landsdeel met leeftijd o R4_X_L7 o R4_X_L3 o R4_X_L2 landsdeel met herkomst o R4_X_H3 o R4_X_H2 regionaal o R12 o R4 overig o P5 o S5 o T5 o N5 o I5 overig, maar niet bekeken voor SDI o regionaal: R16 (provincieplus), COROP, gemeente, grote gemeenten: (G4, G18, G31) o B4 (burg.staat), G2_X_L3_X_B2 (gedaan bij GEZO) Sociale Domein Index 52

53 o o o Vermogen Seizoen/Maand Sociaal economische categorie Appendix C. BLG-file Hieronder is te zien welke regressie-coëfficiënten (kolom coefficient ) worden toegevoegd aan de dummyvariabelen bij de weging op basis van het voorlopige weegmodel weergegeven in Tabel 1. Ook is voor iedere cel weergegeven wat de verhouding is tussen de schatting van het aantal eenheden in de populatie op basis van de Horvitz-Thompson schatter en het daadwerkelijke aantal en de ratio tussen deze twee waarden. De resultaten zijn gesorteerd op regressie-coëfficiënt. Sociale Domein Index 53

54 Sociale Domein Index 54