Paradata: Het gebruik van audit trails

Transcriptie

1 Paradata: Het gebruik van audit trails Mattijn Morren Ger Snijkers Centraal Bureau voor de Statistiek, Heerlen, Nederland Universiteit Utrecht Audit trails 1. Wat zijn audit trails? Een log van hoe respondenten / interviewers stap-voor-stap een elektronische vragenlijst invullen Paradata op micro niveau 2. Wat kun je ermee? Geeft inzicht in het invulgedrag/invulproces De respons is het resultaat van dit proces Verbeteren van de vragenlijst Verbeteren van de benaderingsstrategie 3. Een aantal analyses met audit trails van de elektronische vragenlijst voor de Productiestatistiek 1

2 Print Audit trail fragment 11,5 miljoen records respondenten Actiecodes: = Start programma 1 = In veld gaan 2 = Veld verlaten 3 = Klik op help 7 = Verzenden 8 = Afdrukken 9 = Opslaan 1 = Stoppen 11 = Calculator 13 = Informatie 14 = Klik index niveau 1 99 = Afsluiten progr. 2

3 Audit trails A. Wat doen respondenten stap-voor-stap? B. Wanneer werken respondenten aan de vragenlijst? Audit trails invulgedrag A. Wat doen respondenten stap-voor-stap: In één keer invullen of in meerdere sessies? Hoe lang is men ermee bezig? Bekijkt men eerst de vragenlijst of begint men meteen met invullen? Gebruikt men de print-functie? Hoe? Invulgedrag: Invulstatistieken: invulmaten, navigatiematen Invulgedrag naar achtergrondkenmerken Invulprofielen 3

4 Invulmaten Gem SD Min Max Sessies (n = ) Aantal acties Sessieduur :41:2 :59:27 ::1 1:5:15 Respondent (n = ) Aantal acties Aantal sessies 1,6 1, Invultijd 1:7:34 1:58:11 ::2 59:5:57 Navigatiematen Navigatie Start programma Help Verzenden Printen Opslaan Rekenmachine Informatie Volgende Vorige Bevestigen N = respondenten % v. R gebruikt Gem. Keer gebruikt 1,6 5,3 1,3 1,7 2,6 1,9 1,4 13,5 14,8 33,1 SD 1,4 6,2,7 1,3 4,2 2,4 1,5 2,5 19,8 18,6 Min-max

5 Invulmaten naar grootteklasse Invultijd Aantal sessies 5:: 4 4:: 3,5 3 3:: 2,5 2 2:: 1,5 1:: 1,5 :: Sessieduur Aantal acties 1:3: 6 1:15: 5 1:: 4 :45: 3 :3: 2 :15: 1 :: 11 maart NPSO, 9 Brussel, Belgie Invulmaten naar branche Invultijd Aantal sessies 2:15: 2,5 2:: 1:45: 2 1:3: 1:15: 1,5 1:: :45: 1 :3: :15:,5 :: Bouw Com DV Handel Industrie Zorg Totaal Bouw Com DV Handel Industrie Zorg Totaal Sessieduur Aantal acties 1:1: 4 1:: 35 :5: 3 25 :4: 2 :3: 15 :2: 1 :1: 5 :: 11 maart 21 Bouw Com DV Handel Industrie Zorg NPSO, Totaal Brussel, Belgie Bouw Com DV Handel Industrie Zorg Totaal 5

6 Audit trails invulgedrag A. Wat doen respondenten stap-voor-stap: In één keer invullen of in meerdere sessies? Hoe lang is men ermee bezig? Bekijkt men eerst de vragenlijst of begint men meteen met invullen? Gebruikt men de print-functie? Hoe? Invulgedrag: Invulstatistieken: invulmaten, navigatiematen Invulgedrag naar achtergrondkenmerken Invulprofielen Voorbeeld profiel: Zorgvuldig session no. day no. help info calculator save print send action 'question number' : :17 :22 :3 1:31 1:55 2:2 2:6 2:19 2:26 2:42 2:53 time (hour:min) 6

7 Voorbeeld profiel: Quick n dirty 'question number' session no. day no. help info calculator save print send action : 2:17 2:57 3:46 3:51 4:2 4:16 time (min) Voorbeeld profiel: printen 'question number' session no. day no. help info calculator save print send action : 1:27 4:16 7:52 9:11 11:51 17:43 time (min:sec) 7

8 Audit trails invulverloop A. Wat doen respondenten stap-voor-stap B. Wanneer werken respondenten aan de vragenlijst: Als ze vragenlijst ontvangen, of als ze de gegevens hebben? Werken rappelbrieven? Invulverloop: 1. Invulincidentie: wanneer beginnen Rs aan de V? 2. Invulprevalentie: wanneer werken ze er aan? Aanleiding: responsverloop PS-26: Response analyse 1% Sample n=63,644 Response n=14,438 Verzending in 7 clusters (april/mei) >2/3 Reminder 1 n=44,917 Response n=1, weken later (juni/aug) <1/2 Reminder 2 n=3,12 Response n=7, weken later (juni/aug) >1/4 Reminder 3 n=17,516 Response n=5, weeks later (sept/okt) Different route n=13,321 TOTAL RESPONSE N=51,22 8% respons - 8% e-q (42.92) - Gem. 3,5 mnd responstijd 8

9 Responsverloop na uitzending 12 1 Rappel 1 en % 6 Uitzending 3 n maart 21 Weeks NPSO, Brussel, Belgie Onderzoeksvragen 1. Wanneer vullen bedrijven de vragenlijst in? - als ze de gegevens en de middelen hebben - als het CBS met hen in contact treedt (rappel) Responsanalyse: wanneer gegevens ingestuurd Audit trails: wanneer Rs de vragenlijst invullen 2. Invloed van rappels op respons- en invulverloop 3. Rappels als deadline of motivatie om de PS in te vullen en te responderen? 9

10 Respons- en invulverloop Responsverloop: De respons verkregen in achtereenvolgende tijdperiodes na het uitzenden van de vragenlijst. Invulverloop: De tijd en inspanning besteedt aan het invullen van de vragenlijst in deze tijdperiodes. Maten van invulverloop 1. Invulincidentie Het percentage respondenten dat in elke tijdperiode (van bijv. dagen of weken) voor het eerst aan het invullen van de vragenlijst heeft gewerkt 2. Invulprevalence Het percentage respondenten dat in elke achtereenvolgende tijdperiode aan het invullen van de vragenlijst heeft gewerkt 3. Invultijd De tijd die respondenten in elke achtereenvolgende periode besteden aan het invullen van de vragenlijst 1

11 Respons na uitzending % 6 n maart 21 Weeks NPSO, Brussel, Belgie 13 Incidentie en prevalentie na uitzending % Prevalentie Incidentie maart 21 Weeks NPSO, Brussel, Belgie 11

12 13 Respons, invulincidentie en invulprevalentie na uitzending % Prevalentie Respons Incidentie maart 21 Weeks NPSO, Brussel, Belgie Responsverloop na rappel 1 2,5 1 2, 8 1,5 6 % n 1, 4,5 Weekends? 2, maart 21 Days NPSO, Brussel, Belgie 12

13 Invulprevalentie na rappel 1 3,5 14 3, 12 2,5 1 % 2, 1,5 8 6 n 1, 4,5 Weekends?, maart 21 Days NPSO, Brussel, Belgie 2 Responsverloop voor rappel 1 5 1,2 4 1,,8 3 n,6 % 2,4 1 Rappel, , 11 maart 21 Days NPSO, Brussel, Belgie 13

14 Invulprevalentie voor rappel 1 6 1,4 5 1,2 4 1, n 3,8 %,6 2,4 1, , 11 maart 21 Days NPSO, Brussel, Belgie Tweede rappel Vergelijkbaar met 1e rappel Lagere, smallere pieken met steilere hellingen Er waren minder bedrijven die het vragenlijstprogramma voor de 1e keer openden De totale tijd besteedt aan het invullen van de vragenlijst was minder bij rappel 2 dan bij rappel 1 14

15 Resultaten samengevat Een meerderheid van de bedrijven vult de PS in en respondeert snel nadat ze de vragenlijst voor het eerst openden De invulactiviteit en respons van bedrijven neemt toe zowel in de weken voor als na de rappels: - Respons - Invulincidentie (beginnen met invullen) - Invulprevalentie - Invultijd Resultaten Wanneer vullen bedrijven de vragenlijst in? - Als het hen uitkomt! Als ze de gegevens en de middelen hebben - Als het CBS met hen in contact treedt (rappel) Beide zijn van toepassing: Ze beginnen niet voordat ze de data en de middelen hebben Hierop hebben we geen invloed! Ze beginnen als ze gerappelleerd worden Kan worden beïnvloed! 15

16 Gevolgen voor contactstrategie Rappels zijn een effectieve manier om respons te verkrijgen. Ze functioneren als: - Motivatie tot invullen en responderen - Deadline Uitzenden vragenlijsten liever later dan vroeger: - Bedrijven beginnen niet met invullen omdat vroeg wordt uitgezonden Intervallen tussen rappels van >4 weken lijken het meest effectief Andere mogelijkheden met audit trails Tellen van invulprofielen: - Welke profielen komen vaak voor? - In relatie tot achtergrondkenmerken en invulverloop? - Verschillen tussen nieuwe en ervaren respondenten? Aanpassen van antwoorden: - Bij welke vragen: Wat zijn moeilijke vragen? - Hoe vaak gebeurt dit? 16

17 Wat leert ons dit? Hoe kunnen we de vragenlijst aanpassen aan het invulgedrag Wat is een optimale benaderingsstrategie 17