UITVOERING OVERHEIDSUITGAVEN (PQS)

Transcriptie

1 Veldwerkverslag UITVOERING OVERHEIDSUITGAVEN (PQS) Sociaal en Cultureel Planbureau Juni November

2 COLOFON Uitgave I&O Research Piet Heinkade GM Amsterdam Datum Juni 2018 Opdrachtgever Sociaal en Cultureel Planbureau Auteur Michael Brandt Melle Conradie Bestellingen Exemplaren zijn verkrijgbaar bij de opdrachtgever. Het overnemen uit deze publicatie is toegestaan, mits de bron duidelijk wordt vermeld. Uitvoering Overheidsuitgaven (PQS) Colofon

3 INHOUDSOPGAVE 1. Inleiding Algemeen Globale opzet van het onderzoek Leeswijzer Voorbereiding Vragenlijst Steekproef en gewenste opbrengst Kwantitatieve pilot Kwalitatieve pilot Uitvoering Afronding Respons (Non-)responsanalyse Dataverwerking en oplevering Bijlage 1. Uitnodigings Bijlage 2. Herinnerings Bijlage 3. Herinnerings (aborts) Bijlage 4. Extra herinnerings Bijlage 5. Extra herinnerings (aborts) Uitvoering Overheidsuitgaven (PQS) Inhoudsopgave

4 HOOFDSTUK Inleiding Uitvoering Overheidsuitgaven (PQS) Inleiding 4

5 1. Inleiding 1.1 Algemeen Het Sociaal en Cultureel Planbureau (SCP) voert onderzoek uit naar de voorkeuren van mensen ten aanzien van de overheidsuitgaven aan publieke voorzieningen. Hierbij wordt een onderverdeling gemaakt tussen publieke voorzieningen in de tertiaire sfeer (diensten zoals o.a. de zorg, het onderwijs, cultuur en vervoer) en in de quartaire sfeer ( zuiver publieke voorzieningen, zoals defensie, milieubescherming of ontwikkelingssamenwerking). In beide gevallen wordt gekeken naar hoe de voorkeuren van mensen zich verhouden tot hun gebruik/profijt van deze voorzieningen. De centrale vraag van het onderzoek is als volgt gedefinieerd: Wat zijn de voorkeuren van mensen ten aanzien van de overheidsuitgaven aan publieke voorzieningen? Deze vraag is op te delen in een tweetal deelvragen: 1 Wat zijn de voorkeuren van mensen voor zuiver publieke voorzieningen in de quartaire sfeer, en hoeveel profijt hebben zij van deze voorzieningen? 2 Wat zijn de voorkeuren van mensen ten aanzien van voorzieningen in de tertiaire sfeer en wat is de relatie met hun gebruik van deze voorzieningen? 1.2 Globale opzet van het onderzoek Ter beantwoording van de onderzoeksvragen is een online enquête gehouden onder leden van het I&O Researchpanel. I&O Research heeft de uitvoering van het veldwerk verzorgd in opdracht van het SCP. De vragenlijst bevatte twee experimenten (een budgetgame en een vignettenvraag) opgenomen. Bij de budgetgame kregen de respondenten een verdeling te zien van overheidsuitgaven op een aantal voorzieningen. Hierbij was de opdracht om naar eigen inzicht 10% te bezuinigen. Bij de vignettenvraag werden vooraf gevulde keuzesets voorgelegd met specifieke verdelingen van overheidsuitgaven. Zij konden telkens aangeven welke van de twee keuzesets hun voorkeur had. Omdat de materie en de studie zelf enigszins complex waren, is er een kwantitatieve pilot georganiseerd waarin de vragenlijst werd getest. In totaal hebben netto 271 respondenten de vragenlijst ingevuld tijdens de pilotfase. Ook is door middel van een achttal cognitieve interviews een-op-een uitgevraagd wat respondenten van de vragenlijst vonden. 1.3 Leeswijzer In dit document wordt achtereenvolgens ingegaan op de voorbereiding (hoofdstuk 2), uitvoering (3) en afronding (4) van het veldwerk. De bijbehorende documentatie is als bijlage bij dit document opgenomen. Uitvoering Overheidsuitgaven (PQS) Inleiding 5

6 HOOFDSTUK Voorbereiding Uitvoering Overheidsuitgaven (PQS) Inleiding 6

7 2. Voorbereiding 2.1 Vragenlijst De Word-vragenlijst is door het SCP aangeleverd. Deze bevatte een budgetgame en een choiceexperiment (conjoint). Van beide vragen hebben we een screenshot opgenomen bij dit verslag (zie screenshot 1 en 2). Bij de budgetgame (ook wel constrained budgetgame) zagen de respondenten de verdeling van overheidsuitgaven over een lijst van voorzieningen. De opdracht hierbij was om naar eigen inzicht veranderingen door te voeren in het budget en de verdeling, bijvoorbeeld door 10% te bezuinigen. Na de budgetgame werd de respondent gevraagd om een aantal vignetten te beoordelen waarbij de respondent steeds de keuze heeft tussen twee budgetverdelingen die op een aantal posten van elkaar verschillen. De posten die van elkaar verschilden werden met geel gemarkeerd gaven de wijziging in budget in tekst en kleur (rood/groen) weer. Op die manier maakt de respondent achtmaal een keuze tussen twee verdelingen (8 paren). Verder waren er vragen opgenomen over politieke en sociale voorkeuren, gebruik van publieke voorzieningen en was er een blok met achtergrondvragen. Vanwege de technische complexiteit van de opzet van de vragenlijst is de programmering en hosting hiervan uitbesteed aan DataIM. De Excel-bestanden met de conjoint designs zijn door het SCP aangeleverd. Gedurende de voorbereidende fase zijn er diverse aanpassingen doorgevoerd in de vragenlijst. Deze waren aangedragen door I&O Research, het Sociaal en Cultureel Planbureau of door deelnemers aan de cognitieve interviews. De laatste versie van de Word-vragenlijst is reeds in het bezit van het SCP. Uitvoering Overheidsuitgaven (PQS) Voorbereiding 7

8 Screenshot 1. Voorbeeld van de budgetgame Uitvoering Overheidsuitgaven (PQS) Voorbereiding 8

9 Screenshot 2. Voorbeeld van een vignettenvraag Uitvoering Overheidsuitgaven (PQS) Voorbereiding 9

10 2.2 Steekproef en gewenste opbrengst Ten behoeve van de uitvoering van het veldwerk is er een steekproef van 3502 personen getrokken onder de leden van het I&O Researchpanel. De steekproef is representatief getrokken op basis van de volgende kenmerken: Nielsen regio 3 grote gemeenten west noord oost zuid Opleidingsniveau laag midden hoog Leeftijd 18 t/m t/m t/m en ouder Geslacht man vrouw Er werd uitgegaan van een responspercentage van een responspercentage van 40% en een gewenste netto opbrengst van respondenten. Gedurende de veldwerkperiode is een aanvullende steekproef getrokken, als extra maatregel om de beoogde respons te halen. Met deze aanvullende steekproef zijn nog eens 1265 panelleden uitgenodigd. 2.3 Kwantitatieve pilot Naast de kwalitatieve pilot is er ook een kwantitatieve pilot is gehouden. Hiertoe werden leden van het I&O Researchpanel per benaderd om de vragenlijst online in te vullen. De uitnodiging werd op dinsdag 1 augustus en op maandag 7 augustus is er nog een herinnering uitgestuurd. Uiteindelijk hebben 203 panelleden de vragenlijst ingevuld. Hiervan hebben 65 mensen de budgetgame ingevuld en 138 hebben deze overgeslagen. De pilot kende een uitvalpercentage van 25% (initiële respons van 271). De definitieve versie van het databestand is op 12 december 2017 beschikbaar gemaakt aan het SCP. 2.4 Kwalitatieve pilot De insteek van de cognitieve interviews was om te peilen wat de ervaringen van de onderzoeksdoelgroep waren met de vragenlijst. Hierbij ging het met name om de begrijpelijkheid en interpretatie van de (vignetten)vragen en budgetgame. Wat viel hen op aan het taalgebruik, wat vonden ze van de moeilijkheidsgraad en lengte, waren er zaken waar ze tegenaan liepen (zoals ontbrekende antwoordcategorieën)? Er zijn in totaal acht één-op-één interviews gehouden, verdeeld over twee dagen (maandag 14 augustus en dinsdag 15 augustus 2017). De deelnemers hieraan werden geworven via een extern panelbureau (respondenten.nl) en kregen hiervoor een vergoeding van 40,- euro. Respondenten.nl heeft gezorgd voor een zo goed mogelijke spreiding op leeftijd en geslacht en in ieder geval: 3 laag-; 3 midden-; en 2 hoogopgeleiden. Uitvoering Overheidsuitgaven (PQS) Voorbereiding 10

11 Voor het afnemen van de interviews werd gebruik gemaakt van de faciliteiten op het kantoor van I&O Research te Amsterdam. Er werd een interviewruimte beschikbaar gesteld en een aparte meekijkruimte, waar het SCP op beide dagen de interviews heeft gevolgd. Voorafgaande aan de interviews werd een gespreksleidraad opgesteld en rondgestuurd naar het Sociaal en Cultureel Planbureau. Het gespreksleidraad werd tijdens de gesprekken gebruikt door de onderzoeker van I&O Research, onder andere om aantekeningen op te noteren. Het was de bedoeling dat de deelnemer zelfstandig de vragenlijst invulde en dit hardop nadenkend deed. Op die manier werd het mogelijk om het denkproces te volgen en te zien hoe vragen werden geïnterpreteerd en waar knelpunten zaten. De onderzoeker observeerde en stelde waar nodig verdiepende vragen over de moeilijkheden en interpretatie van vragen. Er werd benadrukt dat er geen goede of foute antwoorden waren en dat er ruimte was voor de respondent om suggesties te doen voor verbetering. De interviews zijn achteraf uitgewerkt tot een gespreksverslag. Zowel het gespreksleidraad als het gespreksverslag zijn reeds in het bezit van het SCP. Uitvoering Overheidsuitgaven (PQS) Voorbereiding 11

12 HOOFDSTUK Uitvoering Uitvoering Overheidsuitgaven (PQS) Voorbereiding 12

13 3. Uitvoering Het benaderen van de steekproef van personen ging per (zie bijlage 1). De herinnering werd gesplitst: panelleden die nog niet aan de vragenlijst waren begonnen kregen een andere variant van de herinnering (zie bijlage 2) dan respondenten die tijdens het invullen zijn afgebroken (zie bijlage 3). Bij de laatste herinnering is dit ook op die manier gedaan (zie bijlage 4 en 5). De insteek hiervan was namelijk dat de uitval van de vragenlijst een andere benadering zou vergen dan mensen die nog niet waren begonnen. De teksten zijn zo wervend mogelijk geschreven, om mensen over te halen om mee te doen. Vanwege de tegenvallende respons is er een aanvullende steekproef van 1265 personen getrokken en uitgestuurd. Zij hebben dezelfde uitnodigings- en herinnerings ontvangen. Daarnaast heeft de oorspronkelijke ontvangen waarbij 10 Bol.com-bonnen t.w.v. 5,- euro zijn ingezet. Deze zijn achteraf ingezet onder degenen die naar aanleiding van de laatste herinnering heeft meegedaan. De extra steekproef heeft deze laatste herinnering niet gehad, maar slechts één herinnering. In tabel 1 is een overzicht opgenomen met datum waarop de mailingen zijn verstuurd. Tabel 1. Overzicht van mailingen WAT VERSTUURD Uitnodigings Dinsdag 5 september Herinnerings Woensdag 13 september Extra herinnerings Dinsdag 10 oktober Uitnodiging extra steekproef Dinsdag 10 oktober Herinnering extra steekproef Donderdag 19 oktober Uitvoering Overheidsuitgaven (PQS) Uitvoering 13

14 HOOFDSTUK Afronding Uitvoering Overheidsuitgaven (PQS) Uitvoering 14

15 4. Afronding 4.1 Respons De uiteindelijke netto respons op de hoofdmeting was ingevulde vragenlijsten (25,8%). Van deze respondenten hebben 1012 personen de budgetgame ingevuld. De overige 220 respondenten hebben deze overgeslagen, door een ingebouwde split run op deze vraag). Hiermee is de responsverwachting van niet gehaald, ook niet met aanvullende steekproef. We moeten daarom concluderen dat het responspercentage van 40% in de huidige opzet te ambitieus is geweest. Hieronder is een overzicht van de respons opgenomen naar leeftijd en opleidingsniveau. Tabel 2. Respons per leeftijdsgroep GROEP BRUTO AANTAL GESTART GESTART % RESPONS RESPONS % 18 t/m ,4% ,5% 35 t/m ,4% ,5% 65 en ouder ,2% ,3% Totaal ,2% ,8% Tabel 3. Respons per opleidingsniveau GROEP BRUTO AANTAL GESTART GESTART % RESPONS RESPONS % Laag ,8% ,2% Midden ,7% ,5% Hoog ,7% ,5% Totaal ,2% ,8% Hierbij valt een aantal dingen op. Ten eerste zien we dat het percentage oudere respondenten dat meedoet aan het onderzoek relatief hoog is, maar dat de uitval daar ook het hoogst is (47,1%). Jongeren doen minder vaak mee maar hebben eenmaal in de vragenlijst weinig uitval (18%). Bij opleidingsniveau zien we is er geen duidelijke lijn te zien in het percentage dat de vragenlijst opent. Wel is het uitvalspercentage onder laagopgeleiden hoger (45,8%) dan bij hoogopgeleiden (32,4%). 4.2 (Non-)responsanalyse Gezien de teleurstellende resultaten is uitvoerig onderzocht wat de mogelijke oorzaken hiervan kunnen zijn. Hierbij is gekeken naar de initiële respons bij dit onderzoek, ofwel iedereen die heeft ingelogd op de vragenlijst (ongeacht of ze deze hebben afgebroken of afgemaakt). De initiële respons komt met 38,2% van de totale steekproef aardig in de buurt komt van de verwachting van 40%. Dat betekent dat de uitval in de vragenlijst het tegenvallende resultaat grotendeels verklaart. De uitval is met 32,4% van de initiële respons problematisch hoog te noemen. Dankzij de ingebouwde split run zien we dat de budgetgame het hoge uitvalpercentage voor een deel kan verklaren. Respondenten die de budgetgame stoppen namelijk vaker in de vragenlijst (35%) dan respondenten die de budgetgame niet hebben gehad (18%). Verder zien we dat de vignettenvragen ook problemen opleveren bij het invullen. Een kleine 10% van de respondenten valt uit bij de eerste vignettenvraag. Bij iedere nieuwe vignettenvraag loopt dit op, waardoor de acht vignettenvragen in totaal een uitval van 17% geeft. Uitvoering Overheidsuitgaven (PQS) Afronding 15

16 Wij moeten concluderen dat de budgetgame en vignettenvragen teveel vroegen van respondenten en voor uitval hebben gezorgd. De opdrachten vond men vaak pittig, zo bleek uit de open antwoorden (zette je aan het denken). Maar de hoge uitval onder ouderen doet vermoeden dat deze opzet minder geschikt is voor die doelgroep. Dit geldt in mindere mate ook voor lager opgeleiden. Het is daarom aan te raden om de hoeveelheid vragen en complexiteit te beperken. Ook helpt het om de teksten zo duidelijk en beknopt mogelijk te houden. 4.3 Dataverwerking en oplevering De online vragenlijst werd op dinsdag 7 november 2017 gesloten en het databestand is op die dag ook opgeleverd aan het SCP, inclusief de beschikbare achtergrondkenmerken. Op basis van wat feedback van het SCP op dit bestand zijn er aanpassingen hierin doorgevoerd en op 12 december opgeleverd. Ten slotte werd bij het opstellen dit verslag geconstateerd dat de netto respons op de extra steekproef (299 stuks) niet is meegeleverd in het eindbestand. Bij een nieuwe levering van het databestand op is deze fout hersteld. Uitvoering Overheidsuitgaven (PQS) Afronding 16

17 BIJLAGE Uitnodigingsbrief Uitvoering Overheidsuitgaven (PQS) Afronding 17

18 Bijlage 1. Uitnodigings Geachte [AANHEF], Graag nodigen wij u uit om mee te doen aan een onderzoek met een experimentele opzet. U geeft hierbij uw mening over de Nederlandse overheidsuitgaven en u kunt ook zelf kiezen hoe dat geld volgens u verdeeld moet worden. Hiervoor hebben we een aantal interactieve budgetspellen ontworpen. Dit unieke onderzoek voeren wij uit in opdracht van het Sociaal en Cultureel Planbureau (SCP). Wat levert dit onderzoek op? Het invullen van deze leuke en uitdagende vragenlijst kost slechts 15 minuten. Met uw deelname draagt u bij aan wetenschappelijke inzichten. Daarnaast telt ook dit onderzoek mee voor het beloningssysteem van het I&O Research Panel, waarbij jaarlijks een groot aantal prijzen wordt verloot. Open de vragenlijst door te klikken op de volgende knop: Start vragenlijst U kunt de vragenlijst invullen tot maandag 25 september. Als er nog vragen of onduidelijkheden zijn, kunt u mailen naar helpdesk@iopanel.nl. Alvast hartelijk dank voor uw tijd! Met vriendelijke groet, Michael Brandt Onderzoeker... I&O Research Uitvoering Overheidsuitgaven (PQS) Afronding 18

19 BIJLAGE Herinnerings Uitvoering Overheidsuitgaven (PQS) Afronding 19

20 Bijlage 2. Herinnerings Onderwerp: Herinnering: Hoe zou u het budget van de overheid verdelen? Geachte [AANHEF], Onlangs hebben wij u uitgenodigd om mee te doen aan een experimenteel onderzoek dat wij voor het Sociaal en Cultureel Planbureau (SCP) uitvoeren. Hierbij geeft u uw mening over de Nederlandse overheidsuitgaven. Ook geeft u spelenderwijs aan hoe u het geld zelf zou verdelen. U kunt nog steeds meedoen. We stellen het enorm op prijs als u de vragenlijst wilt invullen. Wat levert dit onderzoek op? Het invullen van deze leuke en uitdagende vragenlijst kost slechts 15 minuten. Met uw deelname draagt u bij aan wetenschappelijke inzichten. Daarnaast telt ook dit onderzoek mee voor het beloningssysteem van het I&O Research Panel, waarbij jaarlijks een groot aantal prijzen wordt verloot. Open de vragenlijst door te klikken op de volgende knop: Start vragenlijst U kunt de vragenlijst invullen tot maandag 25 september. Uw privacy is gewaarborgd want de door u gegeven antwoorden worden losgekoppeld van uw naam en gegevens. Als er nog vragen of onduidelijkheden zijn, kunt u mailen naar helpdesk@iopanel.nl. Bij voorbaat dank voor de moeite! Met vriendelijke groet, Michael Brandt Onderzoeker... I&O Research Uitvoering Overheidsuitgaven (PQS) Afronding 20

21 BIJLAGE Herinnerings (aborts) Uitvoering Overheidsuitgaven (PQS) Afronding 21

22 Bijlage 3. Herinnerings (aborts) Onderwerp: Herinnering: Hoe zou u het budget van de overheid verdelen? Geachte [AANHEF], Onlangs hebben wij u uitgenodigd om mee te doen aan een experimenteel onderzoek dat wij voor het Sociaal en Cultureel Planbureau (SCP) uitvoeren. Het onderzoek geeft u de kans om uw mening te geven over de Nederlandse overheidsuitgaven. Ook geeft u spelenderwijs aan hoe u het geld zelf zou verdelen. We stellen het enorm op prijs als u de vragenlijst (helemaal) wilt invullen. Wat levert dit onderzoek op? Het invullen van deze leuke en uitdagende vragenlijst kost slechts 15 minuten. Met uw deelname draagt u bij aan wetenschappelijke inzichten. Daarnaast telt ook dit onderzoek mee voor het beloningssysteem van het I&O Research Panel, waarbij jaarlijks een groot aantal prijzen wordt verloot. De vragenlijst Open de vragenlijst door te klikken op de volgende knop: Start vragenlijst U kunt de vragenlijst invullen tot maandag 25 september. Uw privacy is gewaarborgd want de door u gegeven antwoorden worden losgekoppeld van uw naam en gegevens. Hulp nodig? Als u problemen ervaart tijdens het invullen van de vragenlijst, of als er andere vragen of onduidelijkheden zijn, dan kunt u mailen naar helpdesk@iopanel.nl. Wij rekenen op uw deelname en bedanken u alvast voor de moeite! Met vriendelijke groet, Michael Brandt Onderzoeker... I&O Research Uitvoering Overheidsuitgaven (PQS) Afronding 22

23 BIJLAGE Extra herinnerings- Uitvoering Overheidsuitgaven (PQS) Afronding 23

24 Bijlage 4. Extra herinnerings Onderwerp: Laatste kans: Ga op de stoel zitten van de minister van Financiën! Geachte [AANHEF], Onlangs hebben wij u uitgenodigd om mee te doen aan een experimenteel onderzoek dat wij voor het Sociaal en Cultureel Planbureau (SCP) uitvoeren. Hierbij geeft u uw mening over de Nederlandse overheidsuitgaven. Ook geeft u spelenderwijs aan hoe u het geld zelf zou verdelen. We stellen het enorm op prijs als u de vragenlijst wilt invullen. Dit kan nog tot en met aankomende maandag (25 september). Wat levert dit onderzoek op? Het invullen van deze leuke en uitdagende vragenlijst duurt 15 minuten. Met uw deelname draagt u bij aan wetenschappelijke inzichten. Daarnaast maakt iedereen die nu nog meedoet kans op één van 10 Bol.com-bonnen t.w.v. 5,- euro. Uiteraard telt het onderzoek ook weer mee voor het beloningssysteem van het I&O Research Panel, waarbij jaarlijks een groot aantal prijzen wordt verloot. Open de vragenlijst door te klikken op de volgende knop: Start vragenlijst Uw privacy is gewaarborgd want de door u gegeven antwoorden worden losgekoppeld van uw naam en gegevens. Als er nog vragen of onduidelijkheden zijn, kunt u mailen naar helpdesk@iopanel.nl. Wij rekenen op uw deelname! Met vriendelijke groet, Michael Brandt Onderzoeker... I&O Research Uitvoering Overheidsuitgaven (PQS) Afronding 24

25 BIJLAGE Extra herinnerings (aborts) Uitvoering Overheidsuitgaven (PQS) Afronding 25

26 Bijlage 5. Extra herinnerings (aborts) Onderwerp: Laatste kans: Ga op de stoel zitten van de minister van Financiën! Geachte [AANHEF], Onlangs hebben wij u uitgenodigd om mee te doen aan een onderzoek dat wij voor het Sociaal en Cultureel Planbureau (SCP) uitvoeren. Hierbij geeft u uw mening over de Nederlandse overheidsuitgaven. Ook geeft u spelenderwijs aan hoe u het geld zelf zou verdelen. We stellen het enorm op prijs als u de vragenlijst wilt invullen. Dit kan nog tot en met aankomende maandag (25 september). Zou u de vragenlijst willen afmaken? Alle deelnames dragen bij aan wetenschappelijke inzichten, waardoor het belangrijk is dat u de vragenlijst afmaakt. Daarom verloten wij onder iedereen die nu nog de vragenlijst invult 10 Bol.combonnen t.w.v. 5,- euro. Uiteraard telt ook dit onderzoek weer mee voor het beloningssysteem van het I&O Research Panel, waarbij jaarlijks een groot aantal prijzen wordt verloot. Ga verder door te klikken op de volgende knop: Start vragenlijst Het invullen van de vragenlijst duurt 15 minuten. Uw privacy is gewaarborgd want de door u gegeven antwoorden worden losgekoppeld van uw naam en gegevens. Hulp nodig? Als u problemen ervaart tijdens het invullen van de vragenlijst, of als er andere vragen of onduidelijkheden zijn, dan kunt u mailen naar helpdesk@iopanel.nl. Wij rekenen op uw deelname en bedanken u alvast voor de moeite! Met vriendelijke groet, Michael Brandt Onderzoeker... I&O Research Uitvoering Overheidsuitgaven (PQS) Afronding 26