Samenvatting. Ervaringen met vragenlabonderzoek 253

Transcriptie

1 Samenvatting In de literatuur over vragenlijstontwerp en survey methodologie wordt pre-testen genoemd als een manier om vragenlijsten te evalueren (te onderzoeken of ze werken zoals bedoeld) en om het optreden van meetfouten te kunnen vaststellen (dat wil zeggen het vaststellen van de datakwaliteit, in het bijzonder de validiteit). De American Statistical Association (ASA, 1999, p. 11) zegt het als volgt: De vragenlijstontwerper moet de noodzaak inzien om te pre-testen, te pre-testen en nog eens te pre-testen. Clark en Schober (1992, p. 29) geven aan waarom pre-testen noodzakelijk is: Het is voor onderzoekers onmogelijk om perfecte vragen op te stellen; vragen, die voor elke respondent direct duidelijk zijn en die geen verduidelijking behoeven. En omdat ze dit niet kunnen, zullen de antwoorden vaak verrassend zijn. In de alledaagse praktijk van het ontwerpen van een steekproef- (of survey) onderzoek, worden pre-testonderzoek en de resultaten hiervan, echter, niet altijd door die onderzoekers geaccepteerd. Een algemene houding ten aanzien van het pre-testonderzoek is verwoord door Converse en Presser (1986, pp ): Alhoewel geadviseerd wordt om een vragenlijst altijd te pre-testen -geen handboek in de survey methodologie zal dit wetenschappelijke advies tegenspreken-, wordt hiertegen in de praktijk vaak gezondigd. Er is altijd gebrek aan geld of, als de deadlines in zicht komen, gebrek aan tijd om voldoende te pre-testen. Het gevolg is dat de pre-testen intuïtief en informeel worden uitgevoerd. Zo zijn er geen algemene regels die aangeven hoe een goed pretestonderzoek moet worden uitgevoerd, er is geen systematisering van de praktijk, er bestaat geen overeenstemming over wat van pre-testonderzoek wordt verwachten, en er wordt slechts zelden verslag gedaan over de uitvoering. Hoe pre-testonderzoek wordt uitgevoerd, wat de onderzoekers ervan hebben geleerd, en hoe ze vervolgens de vragenlijst hebben aangepast er wordt slechts summier over deze aspecten gerapporteerd in onderzoeksrapporten, als er al gerapporteerd wordt. Het is daarom niet verbazingwekkend dat de invloed van pre-testonderzoek soms wordt overdreven, terwijl de mogelijkheden vaak worden onderschat. In dit proefschrift heb ik geprobeerd mijn ervaringen met pre-testonderzoek bij het Vragenlab van het Centraal Bureau voor de Statistiek, een cognitief laboratorium dat in 1992 van start ging, te beschrijven. Het doel van dit proefschrift is documentatie van deze praktijkervaringen. Deze dissertatie bestaat niet uit een theoretische verhandeling over cognitieve laboratorium methodes, maar beschrijft de toepassing van deze methodes: het opzetten en uitvoeren van pre-testonderzoek, het analyseren van de gegevens en het presenteren van de resultaten. Voor zover bij mij bekend is er in de literatuur over Cognitieve Aspecten van Survey Methodologie (CASM) weinig gerapporteerd over hoe dit soort onderzoek in de praktijk wordt uitgevoerd. Dit wordt bevestigd door Willis e.a. (1999, p. 137), die schema s voor het systematisch beschrijven van de uitvoering van cognitieve interview methodes in de praktijk bediscussiëren. Zij concluderen dat ( ) zo n schema niet bestaat voor het gebruik van cognitieve interviews. In dit proefschrift heb ik getracht een schematische en systematische beschrijving te geven van de uitvoeringspraktijk van Ervaringen met vragenlabonderzoek 253

2 pre-testonderzoek bij het Vragenlab van het CBS, om zo als uitgangspunt te kunnen dienen voor andere onderzoekers. Ik hoop dat ik hierin geslaagd ben. Cognitief (pre-)testonderzoek is gericht op verbetering van de kwaliteit van onderzoeksgegevens, door verbetering van de vragenlijst. De vragenlijst wordt gevalideerd door deze op kleine schaal uit te testen, dat wil zeggen dat fouten in de vragenlijst -die systematische fouten veroorzaken in het vraag-en-antwoord proces bij de respondent in een interview- worden opgespoord, verklaard en verbeterd (in een iteratief proces). Op deze manier wordt de vragenlijst aangepast aan het vraag-en-antwoord proces, wordt deze gemakkelijker te beantwoorden, kost dat minder tijd en wordt deze respondentvriendelijker, met als resultaat vermindering van meetfouten, dat wil zeggen verhoging van de datakwaliteit (de interne validiteit), en verlaging van de respondentbelasting. Dit is het CASM-paradigma. Het CASM-paradigma definieert de centrale hypothese van dit proefschrift: het pre-testen in een cognitief laboratorium valideert vragenlijsten. Het vraag-en-antwoord proces is beschreven door Tourangeau en Rasinski. In 1988 presenteerden zij een 4-stappen model. Volgens dit model bestaat het vraag-en-antwoord proces uit de volgende 4 stappen: interpretatie van de vraag, opdiepen van de benodigde informatie om tot een antwoord te komen, evaluatie en samenvoeging van deze informatie tot een antwoord, en rapportage van dat antwoord. Door toepassing van cognitief onderzoek op informatieverwerkingsprocessen die spelen tijdens het beantwoorden van enquêtevragen (Jobe & Mingay, 1991, p. 178) werd de respondent beschouwd als een vraag-en-antwoord systeem dat een aantal mentale operaties uitvoert, zoals het begrijpen van wat met de vraag wordt bedoeld, het opdiepen van relevante informatie uit het geheugen, besluitvorming om tot een antwoord te komen en het vermelden van dat antwoord aan de interviewer. Volgens Jobe en Mingay (1991, p. 178) betekende het modelleren van het denkproces van de respondent een grote verandering ten opzicht van het eenvoudige stimulus-respons model van responsgedrag, dat vanaf het begin van het moderne survey onderzoek het uitgangspunt vormde voor het ontwerpen van meetinstrumenten. Het vraag-en-antwoord proces wordt onderzocht in een cognitief laboratorium. Pretestonderzoek, zoals uitgevoerd in zo n laboratorium, bestaat in de regel uit een beperkt aantal cognitieve interviews waarin respondenten worden gevraagd om informatie over hun mentale proces te verschaffen terwijl ze vragen beantwoorden. Methodes die bij het Vragenlab worden gebruikt om het vraag-en-antwoord proces te onderzoeken, zijn: de expert beoordeling, de focusgroep discussie, het diepte-interview (waarin gebruik wordt gemaakt van verschillende technieken zoals hardop denken, open doorvragen, gericht doorvragen naar de betekenis van begrippen, parafraseren, gerichte testvragen, en vignettes), en de gedragscodering. Dit proefschrift bestaat voor een groot deel uit rapporten die reeds eerder zijn gepubliceerd als CBS-rapport, onderzoeksrapport of als een bijdrage aan een internationaal congres. In deze rapporten worden onderzoeksprojecten beschreven die zijn uitgevoerd in de periode Door te kiezen voor een samenstelling van het proefschrift op basis van afzonderlijke rapporten, 254

3 bestaat er hier en daar enige overlap tussen de hoofdstukken. Om van het proefschrift toch één geheel te maken, zijn een aantal rapporten marginaal bewerkt. Dit is op een zodanige wijze gedaan dat elk hoofdstuk alsnog afzonderlijk gelezen kan worden. Het eerste hoofdstuk is een inleidend hoofdstuk, waarin cognitief laboratorium onderzoek wordt geïntroduceerd. In dit hoofdstuk worden ook de geschiedenis van de CASM-beweging (die haar oorsprong heeft in de Verenigde Staten in de jaren 80 van de vorige eeuw) en de geschiedenis van het Vragenlab van het CBS beschreven. Tevens wordt een overzicht van het proefschrift gegeven. De volgende twee hoofdstukken gaan over computergestuurd interviewen. De meeste vragenlijsten van het CBS worden in een computergestuurd interview afgenomen. Hiermee worden de condities voor het pre-testen in het Vragenlab bepaald. In hoofdstuk 2 komt het computergestuurde interview aan de orde; in hoofdstuk 3 worden de effecten van computergestuurd interviewen op de datakwaliteit beschreven. Deze drie hoofdstukken vormen de inleiding voor de andere hoofdstukken, de eigenlijke kern van het proefschrift. In deze hoofdstukken wordt de toepassing van vragenlab methodes beschreven, alsmede enkele case studies. De methodes die in het Vragenlab van het CBS worden gebruikt, zijn het onderwerp van de hoofdstukken 4 en 5. Een overzicht van die methodes wordt gegeven in hoofdstuk 4. Het betreft: de expert beoordeling, de focusgroep discussie, het diepte-interview (waarin gebruik wordt gemaakt van verschillende technieken zoals hardop denken, open doorvragen, gericht doorvragen naar de betekenis van begrippen, parafraseren, gerichte testvragen, en vignettes), en de gedragscodering. Deze methodes worden op basis van praktijkervaring beschreven, dat wil zeggen dat beschreven wordt hoe ze zijn toegepast in het Vragenlab. Computergestuurd kwalitatief interviewen (CAQI) is het onderwerp van hoofdstuk 5. Deze methode is bij het Vragenlab van het CBS ontwikkeld om computergestuurde vragenlijsten te kunnen pre-testen. Met CAQI wordt het pre-test protocol geïntegreerd in de te testen computergestuurde vragenlijst. In de volgende vier hoofdstukken wordt cognitief onderzoek aan de hand van een aantal case studies geïllustreerd. In deze hoofdstukken komen het ontwerp van deze studies en de resultaten hiervan (zoals geïdentificeerde problemen in de vragenlijst en aanbevelingen voor verbetering) aan de orde. De hoofdstukken 6 en 7 bestaan uit onderzoeksrapporten, waarmee deze hoofdstukken tevens als illustratie dienen van hoe de desbetreffende onderzoeken en de resultaten aan de klant zijn gepresenteerd. In hoofdstuk 6 en 7 komen vragenlabonderzoeken waarin CAQI diepte-interviews zijn toegepast, aan de orde. Hoofdstuk 6 handelt over het pre-testen van inkomensvragen. Deze vragen zijn onderzocht met behulp van hardop denken met open doorvragen, gericht doorvragen en gerichte testvragen. In hoofdstuk 7 worden vragen uit het Europese Huishoudens Panel (European Community Household Panel, ECHP) onderzocht. Het betreft vragen over dagelijkse activiteiten, pensioenen, en opleiding en training. In dit onderzoek zijn hardop denken met open en gericht doorvragen, en vignettes toegepast. 255

4 Hoofdstuk 8 handelt over een CAQI veldonderzoek waarin de vragenlijst van het Permanent Onderzoek Leefsituatie (POLS) is onderzocht. In deze kwalitatieve operationele veldtest zijn respondent gedragscodering en gerichte testvragen toegepast. (In het vragenlabonderzoek dat aan de veldtest vooraf ging, zijn diepte-interviews en focusgroep discussies gehouden.) In hoofdstuk 9 wordt een onderzoek met focusgroep discussies beschreven. Met dit onderzoek is een nieuw formulier voor de jaarlijkse Productiestatistiek, een bedrijfsonderzoek, getest. Terwijl in de voorgaande case studies vragenlabonderzoek is gebruikt om vragenlijsten voor persoons- en huishoudensenquêtes te testen, wordt in dit hoofdstuk vragenlabonderzoek toegepast om een formulier van een bedrijfsenquête te testen. Dit onderzoek wordt in dit hoofdstuk gepresenteerd in een discussie over actieve berichtgeverscommunicatie. Actieve berichtgeverscommunicatie is gericht op het motiveren en stimuleren van mensen die voor een onderzoek worden benaderd, om mee te doen aan dat onderzoek. De rol van een vragenlab in deze strategie is het ontwikkelen van goede formulieren. Dat zijn formulieren die er aantrekkelijk uitzien, en gemakkelijk zijn te begrijpen en in te vullen, om zo de respondentbelasting te verminderen. In dit hoofdstuk wordt cognitief laboratorium onderzoek geplaatst in een breder kader van Total/Tailored Survey Design en Total Quality Management. Hoofdstuk 10 besluit dit proefschrift met de conclusies. In dit hoofdstuk wordt een samenvatting van het proefschrift gegeven, waaronder een samenvatting van de besproken vragenlab methodes en van de case studies. Een aantal van de gesignaleerde problemen in de onderzochte vragenlijsten betreft: het gebruik van technische (jargon) of onduidelijke woorden, complexe zinsbouw, lange vraag, dubbele vraagstelling, volgorde effect op basis van voorafgaande vraag, er wordt gevraagd naar specifieke informatie die niet direct uit het geheugen kan worden opgediept, er moet een complexe berekening worden uitgevoerd om tot het antwoord te komen, of er zijn overlappende of ontbrekende antwoordcategorieën. In dit hoofdstuk worden de gesignaleerde problemen gerelateerd aan ontwerpfouten in de vragen op basis van ontwerpprincipes voor vragen. Alhoewel pre-test onderzoek een manier is om vragenlijsten te evalueren en meetfouten te reduceren, worden de resultaten van dit soort onderzoek -zoals aanbevelingen voor verbering van de vragenlijst- niet altijd geaccepteerd. In dit laatste hoofdstuk wordt tevens de kritiek op dit soort onderzoek besproken, maar ook worden strategieën genoemd om dit soort onderzoek en de resultaten ervan te presenteren en om de acceptatiegeneigdheid te vergroten. Eén van deze strategieën is uitvoering en documentatie van het onderzoek volgens wetenschappelijke criteria. Ter completering van dit proefschrift worden ook enkele specifieke testen gericht op het verbeteren van het computeriseren van vragenlijsten besproken. Het betreft testen waarmee het programmeringsproces van gecomputeriseerde meetinstrumenten en de mens-machine interactie worden onderzocht. Dit hoofdstuk besluit met enkele ideeën voor verder onderzoek, en tot slot wordt geconcludeerd dat het pre-testen in een cognitief laboratorium vragenlijsten valideert. 256

5 Referenties ASA, 1999, Designing a Questionnaire. ASA series: What is a Survey? (American Statistical Association, Alexandria, VA.) Clark, H., and M. Schober, 1992, Asking Questions and Influencing Answers. (In: Tanur (ed.), Questions about Questions, pp ) Converse, J.M., and S. Presser, 1986, Survey Questions. Handcrafting the Standardized Questionnaire. (Quantitative Applications in the Social Sciences Series, No. 63, Sage, Beverly Hills.) Jobe, J.B., and D.J. Mingay, 1991, Cognition and Survey Measurement: History and Overview. (Applied Cognitive Psychology, Special Issue on Cognition and Survey Measurement, Vol. 5, No. 3, pp ) Sirken, M.G., D.J. Herrmann, S. Schechter, N. Schwarz, J.M. Tanur, and R. Tourangeau (eds.), 1999, Cognition and Survey Research. (Wiley, New York.) Tanur, J.M. (ed.), 1992, Questions about Questions: Inquiries into the Cognitive Bases of Surveys. (Russel Sage Foundation, New York.) Tourangeau, R., and K.A. Rasinski, 1988, Cognitive Processes underlying Context Effects in Attitude Measurement. (Psychological Bulletin, Vol. 103, No. 3, pp ) Willis, G.B., Th.J. DeMaio, and B. Harris-Kojetin, 1999, Is the Bandwagon headed to the Methodological Promised Land? Evaluating the Validity of Cognitive interviewing Techniques. (In: Sirken et al. (eds.), Cognition and Survey Research, pp ) 257