Het Pretesten van vragenlijsten in de dagelijkse praktijk. NPSO 17 mei Henk Foekema

Transcriptie

1 Het Pretesten van vragenlijsten in de dagelijkse praktijk NPSO 17 mei Henk Foekema

2 Pilot versus pretest Het testen van vragenlijsten in de dagelijkse praktijk >

3 Technische fouten inhoudelijke fouten Technische fouten Opvallend Inhoudelijke fouten Minder opvallend Het testen van vragenlijsten in de dagelijkse praktijk > 3

4 Pretesten bij online en schriftelijke enquêtes belangrijker dan bij CAPI/CATI? Het testen van vragenlijsten in de dagelijkse praktijk > 4

5 Pretesten ten aanzien van tijdsduur Belangrijk voor: respondent enquêteur opdrachtgever bureau respons Het testen van vragenlijsten in de dagelijkse praktijk > 5

6 Belangrijkste tips bij testen: gebruik je gezonde verstand Lees een vragenlijst goed door Kijk door de bril van je doelgroep! Neem opmerkingen van dataprocessors en veldwerkmensen heel serieus Het testen van vragenlijsten in de dagelijkse praktijk > 6

7 Hoe de vragenlijsten te testen Goed tegenlezen Met behulp van kwalitatieve technieken Met behulp van software Met behulp van kwantitatieve technieken Het testen van vragenlijsten in de dagelijkse praktijk > 7

8 Goed tegenlezen (1) Onbegrijpelijke woorden, jargon? Onhandige opzet? Inschatting van de lengte Gevoeligheid van onderwerp en vragen Wel of niet randomiseren? Vragen die (mogelijk) vergeten zijn? Non respons codes? Open vraag of voorcoderen? Het testen van vragenlijsten in de dagelijkse praktijk > 8

9 Goed tegenlezen (2) De fouten uit het boekje: impliciete vragen dubbele ontkenningen twee vragen in één sturende vragen multi-interpretabele vragen niet elkaar uitsluitende categorieën niet aansluitende categorieën Het testen van vragenlijsten in de dagelijkse praktijk > 9

10 Kwalitatief onderzoek bij pretesten Het testen van vragenlijsten in de dagelijkse praktijk

11 Wanneer (Volledig) nieuwe vragenlijst Doelgroep waarin je je moeilijk kunt verplaatsen Jargon, open deuren Aanvullen van vragen, antwoordcategorieën Gevoelige onderwerpen Ook: testen van communicatie om onderzoek heen (aankondigingsbrieven etc.) Het testen van vragenlijsten in de dagelijkse praktijk > Kwalitatief onderzoek bij pretesten 11

12 Voorbeeld Het testen van vragenlijsten in de dagelijkse praktijk > Kwalitatief onderzoek bij pretesten 12

13 Werkwijze (1) Single interviews 10 à 15 proefpersonen, soms minder Meestal ca. 45 minuten Soms: nadruk op lager opgeleiden Recrutering: selectiebureau, database, opdrachtgever Op het bureau (face-to-face) of telefonisch Het testen van vragenlijsten in de dagelijkse praktijk > Kwalitatief onderzoek bij pretesten 13

14 Werkwijze (2) Gehele vragenlijst of delen vragenlijsten? Van te voren invullen of tijdens de pilot zelf? Suggesties (laten) geven? Fasering? Het testen van vragenlijsten in de dagelijkse praktijk > Kwalitatief onderzoek bij pretesten 14

15 Uitdagingen bij kwalitatief pretesten Niet het leukste type onderzoek voor de respondent Voelt aan als een soort overhoring, test Laagopgeleiden kijken tegen het onderzoek op; Experts kijken er wel eens op neer Respondenten willen zich bewijzen Belangrijk is samenspel tussen opdrachtgever, algemeen projectleider en kwalitatieve onderzoeker Het testen van vragenlijsten in de dagelijkse praktijk > Kwalitatief onderzoek bij pretesten 15

16 Software en het checken op technische fouten Het testen van vragenlijsten in de dagelijkse praktijk

17 Software en het checken op technische fouten Dummy data checkmodule Fasering bij het uitzetten Eerste data meteen bekijken Expliciet om opmerkingen en waardering vragen Het testen van vragenlijsten in de dagelijkse praktijk > Software en het checken op technische fouten 17

18 Voorbeeld Het testen van vragenlijsten in de dagelijkse praktijk > Software en het checken op technische fouten 18

19 Dummy data bij ingewikkelde routing Is routing correct Geen lege velden Correcte intervallen numerieke variabelen Vragen met meervoudige antwoorden Ook voor open vragen en half open vragen Rekenkundige checks Het testen van vragenlijsten in de dagelijkse praktijk > Software en het checken op technische fouten 19

20 Softwarematige checks Overschrijvingen van kolommen Ophalen van informatie uit andere delen van de vragenlijst Te weinig posities voor het antwoord Tijdsregistraties (tussentijden per onderdeel) Het testen van vragenlijsten in de dagelijkse praktijk > Software en het checken op technische fouten 20

21 Kwantitatieve technieken Vragenlijst zodanig inrichten dat alleen op de inhoudelijke begrijpelijkheid wordt gelet Checken of een vragenlijst niet te gevoelig ligt of te belastend is Werkt de vragenlijst (validatie) Meeluisteren Het testen van vragenlijsten in de dagelijkse praktijk > Software en het checken op technische fouten 21