Running head: RESPONSSTIJLEN OVER DE LOOP VAN EEN VRAGENLIJST UNIVERSITEIT GENT FACULTEIT PSYCHOLOGIE EN PEDAGOGISCHE WETENSCHAPPEN ACADEMIEJAAR 2015-2016 Tweedesemesterexamenperiode RESPONSSTIJLEN OVER DE LOOP VAN EEN VRAGENLIJST Masterproef II neergelegd tot het behalen van de graad van Master of Science in de Psychologie, afstudeerrichting Bedrijfspsychologie en Personeelsbeleid door Hanne Pattyn Promotor: Prof dr. Bert Weijters
Running head: RESPONSSTIJLEN OVER DE LOOP VAN EEN VRAGENLIJST UNIVERSITEIT GENT FACULTEIT PSYCHOLOGIE EN PEDAGOGISCHE WETENSCHAPPEN ACADEMIEJAAR 2015-2016 Tweedesemesterexamenperiode RESPONSSTIJLEN OVER DE LOOP VAN EEN VRAGENLIJST Masterproef II neergelegd tot het behalen van de graad van Master of Science in de Psychologie, afstudeerrichting Bedrijfspsychologie en Personeelsbeleid door Hanne Pattyn Promotor: Prof dr. Bert Weijters
RESPONSSTIJLEN OVER DE LOOP VAN EEN VRAGENLIJST I Voorwoord Door deze masterproef te volbrengen, wordt mijn studie Bedrijfspsychologie en Personeelsbeleid aan de Universiteit Gent afgerond. Dit eindresultaat kon niet tot stand gekomen zijn zonder de vele hulp en steun die ik kreeg. Ik wil hiervoor dan ook enkele mensen bedanken. Eerst en vooral wil ik mijn promotor Prof dr. Bert Weijters bedanken voor uitgebreide begeleiding. Ik kon aldoor bij hem terecht met al mijn vragen en kreeg telkens snel de nodige respons. Hij gaf me kritische, maar steeds constructieve feedback. Daarnaast had ik graag een dankwoordje gericht aan dr. ir. Ruben Verborgh, neef van mijn vriend en onderzoeker aan de Universiteit Gent. Ik wil hem graag bedanken voor het nalezen van mijn masterproef. Daarnaast was hij de drijvende kracht achter de grote omvang van mijn steekproef. Vervolgens wil ik graag de talloze respondenten bedanken die de tijd hebben genomen om mijn vragenlijst in te vullen. Als laatste zou ik ook mijn familie en vrienden en in het bijzonder mijn ouders en mijn vriend Mathieu willen danken voor de steun. Ze waren er steeds voor mij en gaven me de nodige schouderklopjes. Mijn ouders wil ik nog extra in de bloemetjes zetten voor de kans die ze me hebben gegeven om dit diploma te kunnen behalen. Hanne Pattyn Gent, 12 mei 2016
RESPONSSTIJLEN OVER DE LOOP VAN EEN VRAGENLIJST II Abstract Om onderzoek te doen, moet men vaak rekenen op de hulp van respondenten. Een veel gebruikt onderzoeksinstrument om respondenten te bevragen, is de vragenlijst (Dutson, Todd, Magleby, & Sorensen, 1997; Mccoll et al., 2001; Nakash, Hutton, Jørstad-Stein, Gates, & Lamb, 2006). Als onderzoeker kan men daarbij gebruik maken van responsschalen. De geobserveerde score van een respondent op een schaal kan systematische fouten bevatten (Baumgartner & Steenkamp, 2001) en als onderzoeker wil je deze steevast vermijden (Moors, Kieruj, & Vermunt, 2014). Response bias is een van de meest gekende systematische fouten (Kieruj & Moors, 2013; Moors et al., 2014) en kan het gevolg zijn van bepaalde gehanteerde responsstijlen. In deze scriptie werd het effect van de lengte van een vragenlijst op de responsstijlen extreme response style (ERS), midpoint response style (MRS) en acquiescence response style (ARS) onderzocht. Het is belangrijk hier een antwoord op te krijgen omdat responsstijlen kunnen leiden tot niet valide meningen over items en bijgevolg tot response bias (van Rosmalen, van Herk, & Groenen, 2010). Hierdoor kunnen onderzoekers verkeerde conclusies trekken. Er werd ook gekeken naar de moderatie van antwoordschalen. Het onderzoek wees uit dat de invloed van de lengte van een vragenlijst op de responsstijlen ERS en MRS afhankelijk zijn van de gehanteerde antwoordschaal. Resultaten worden besproken. Keywords: responsstijl, lengte, antwoordschaal, ERS, MRS, ARS
RESPONSSTIJLEN OVER DE LOOP VAN EEN VRAGENLIJST III Inhoudsopgave Voorwoord... I Abstract... II Lijst met figuren en tabellen... V Inleiding... 2 Vragenlijst... 2 Definitie... 2 Vormen... 3 Responsschalen... 3 Definitie... 3 Keuze van responsschaal... 4 Responsstijlen... 5 Definitie... 5 Verschillende vormen... 5 Antecedenten van gehanteerde responsstijlen... 7 Stimuluslevel... 8 Respondentlevel... 9 Gevolgen van gehanteerde responsstijlen... 12 Corrigeren voor responsstijlen... 13 Lengte van Vragenlijsten... 14 Effecten van lengte... 14 Vermoeidheid als verklaring... 16 Besluit... 17 Onderzoeksvraag en hypothesen... 18 Methode... 20 Steekproef... 20 Opzet en Procedure... 21 Resultaten... 23 Toetsen van de hypothesen... 23 Interpretatie van de resultaten... 25
RESPONSSTIJLEN OVER DE LOOP VAN EEN VRAGENLIJST IV Bespreking... 28 Conclusie... 30 Bibliografie... 31 APPENDIX A... 39 Gebruikte items in vragenlijst... 39 APPENDIX B... 44 Intropagina Onderzoek... 44 APPENDIX C... 45 Multivariate Tests... 45 APPENDIX D... 47 Tests of Between-Subjects Effects... 47 APPENDIX E... 49 Tabel Parameter Estimates... 49
RESPONSSTIJLEN OVER DE LOOP VAN EEN VRAGENLIJST V Lijst met figuren en tabellen Figuur 1 Figuur 2 Figuur 3 Instemmingsschaal vs. bipolaire schaal eigen opmaak op basis van Moors et al. (2014) Volledig gelabelde 5-puntenschaal vs. end gelabelde 7-puntenschaal Model dat de onderzoeksvraag van het onderzoek beschrijft Figuur 4 Het interactie-effect van ERS (eigen opmaak op basis van Tabel 4) Figuur 5 Het interactie-effect van MRS (eigen opmaak op basis van Tabel 4) Tabel 1 Tabel 2 Tabel 3 Tabel 4 Kruistabel die aantal respondenten per conditie weergeeft Significantie van het hoofdeffect lengte van de vragenlijst Significantie van het interactie-effect Overzicht van de gemiddelden
RESPONSSTIJLEN OVER DE LOOP VAN EEN VRAGENLIJST 1 Vragenlijsten worden vaak gebruikt in psychologisch en sociaal wetenschappelijk onderzoek (Dutson et al., 1997; Mccoll et al., 2001; Nakash et al., 2006). Ze zijn een efficiënte en ook effectieve manier om data te verzamelen (Wilkinson & Birmingham, 2003). Vaak wordt echter vergeten dat vragenlijsten niet vrij van fouten zijn en dus feilbaar als bron van data (Schwarz et al., 1985; Wilkinson & Birmingham, 2003). Er zijn altijd fouten aanwezig in vragenlijstonderzoek. Als een onderzoeker gebruikt maakt van responsschalen, kan de geobserveerde score van een respondent op een schaal worden opgesplitst in de ware score, de systematische meetfouten en random meetfouten (Baumgartner & Steenkamp, 2001). Vertekeningen die resulteren uit random meetfouten zijn aan toeval te wijten. De grootste zorg van een onderzoeker is daarom het vermijden van de systematische fouten (Moors et al., 2014). Deze fouten werden reeds herkend en onderzocht (Baumgartner & Steenkamp, 2001). In deze scriptie zal dan ook ingezoomd worden op de systematische fouten van een respondent. Response bias is een van de meest gekende systematische fouten (Kieruj & Moors, 2013; Moors et al., 2014). Er is sprake van response bias als de respondenten hun antwoord op vragen door andere factoren beïnvloed wordt dan het concept dat de onderzoeker wil meten (Kieruj & Moors, 2013). Response bias kan het gevolg zijn van bepaalde gehanteerde responsstijlen. O Neill (1967) omschrijft responsstijlen als gedragspatronen waarbij het individu neigt disproportioneel een antwoordcategorie te selecteren ongeacht de iteminhoud (p.95). Sommige responsstijlen kunnen valide communicatiestijlen zijn van een respondent. Andere kunnen er echter voor zorgen dat de meningen over de items een lage validiteit hebben. Bijgevolg is er sprake van response bias (van Rosmalen et al., 2010). Responsstijlen worden door allerlei factoren veroorzaakt. Er kan onderscheid gemaakt worden tussen twee grote categorieën: antecedenten op het stimulus level en antecedenten op het respondent level (Weijters, 2006). Op het stimulus level wordt een responsstijl gezien als een gevolg van het gebruikte instrument. Op het respondent level daarentegen wordt een responsstijl gezien als een gevolg van persoonlijke eigenschappen. Onderzoek toont aan dat de lengte van een vragenlijst een aantal belangrijke effecten heeft op de responsratio (Deutskens, Ruyter, Wetzels, & Oosterveld, 2004;
RESPONSSTIJLEN OVER DE LOOP VAN EEN VRAGENLIJST 2 Herberlein & Baumgartner, 1978; Marcus, Bosnjak, Lindner, Pilischenko, & Schütz, 2007; Nowack, 1990), de betrouwbaarheid van de vragenlijst (Ziegler, Poropat, & Mell, 2014) en op responsstijlen (Herzog & Bachman, 1981; Kraut, Wolfson, & Rothenberg, 1975). In deze scriptie zal de relatie van de lengte van de vragenlijst met responsstijlen worden onderzocht. Er is in de literatuur reeds veel onderzoek gedaan naar de antecedenten van responsstijlen, maar de invloed van lengte kreeg tot op vandaag weinig belangstelling. De waarschijnlijkheid dat de lengte van een vragenlijst de gehanteerde responsstijlen zou beïnvloeden, is echter groot door o.a. vermoeidheid en cognitieve belasting die hier de tussenliggende mechanismen kunnen zijn. Vervolgens kan het gebeuren dat een onderzoeker verkeerde conclusies trekt. Het is belangrijk om iedere onderzoeker er attent op te maken dat de antwoorden niet valide kunnen zijn door veranderende responsstijlen doorheen de vragenlijst. In dit onderzoek zal er rekening gehouden worden met de responsschaal als mogelijke moderator voor het effect van lengte van de vragenlijst op de gehanteerde responsstijlen. Deze moderator werd nog nooit in eerder onderzoek naar de desbetreffende relatie opgenomen. In deze scriptie zal er eerst dieper ingezoomd worden op de definiëring van vragenlijsten, responsschalen en responsstijlen. In het stuk over responsstijlen wordt er stilgestaan bij de antecedenten, de gevolgen en de bestaande correcties hiervan. Als laatste wordt er een stuk gewijd aan de onafhankelijke variabele in het onderzoek, de lengte van een vragenlijst. Na deze inleiding wordt de methode en de resultaten van het onderzoek beschreven. Er wordt geëindigd met een bespreking van de resultaten en een algemene conclusie. Inleiding Vragenlijst Definitie. De wereldwijd meest gebruikte techniek om data te verzamelen in onderzoek is aan de hand van een vragenlijst (Roberts, 1999). Een vragenlijst kan gezien worden als een gestructureerde module die gebruikt wordt om predominante kwantitatieve informatie te ontlokken, door middel van directe vragen, van respondenten, door ze het zelf te laten invullen of via interview (Stevens, Abrams, Brazier, Fitzpatrick, & Lilford, 2001, p.248).
RESPONSSTIJLEN OVER DE LOOP VAN EEN VRAGENLIJST 3 Vormen. Ze kunnen afgenomen worden op verschillende manieren waaronder: face-to-face, telefonisch, via mail (Roberts, 1999), postaal (Parker & Dewey, 2000), respondenten laten invullen na uitdelen, etc. Responsschalen Definitie. Een onderzoeker kan bij vragenlijstonderzoek kiezen om zijn vragen te laten beantwoorden met een schaal. Op die manier wordt meer flexibiliteit toegelaten voor de respondent en wordt een meer accurate meting gedaan van de respondenten hun invalshoek (Wilkinson & Birmingham, 2003). Beoordelingsschalen zijn een van de meest gebruikte instrumenten in de psychologie (Chen, Lee, & Stevenson, 1995). Er kunnen heel wat verschillende soorten responsschalen worden onderscheiden. Volgens Moors et al. (2014) zijn de twee voornaamste responsschalen de zogenaamde instemmingsschalen en bipolaire schalen. Instemmingsschalen zijn responsschalen waarbij er gradueel de mate van akkoord of de mate van aanwezigheid van een eigenschap wordt bevraagd. De ene kant houdt in dat men instemt, of dat de eigenschap volledig aanwezig is. De andere kant daarentegen houdt in dat instemming of de eigenschap volledig ontbreekt. Bipolaire schalen zijn schalen waarbij de ene kant ook instemming of de eigenschap volledig aanwezig is en de andere kant dit ontbreekt zoals bij instemmingsschalen. Bij bipolaire schalen is dit echter tegelijkertijd het tegenovergestelde van elkaar (Moors et al., 2014). In Figuur 1 wordt het verschil tussen instemmingsschalen en bipolaire schalen geïllustreerd met een voorbeeld. Op de figuur zijn twee responsschalen weergegeven. De bovenste responsschaal is een voorbeeld van een instemmingsschaal. Een bipolaire schaal wordt in de onderste responsschaal weergegeven. In deze scriptie wordt er vooral dieper ingegaan op de instemmingsschalen, omdat ze zeer vaak gebruikt worden. Deze schalen zijn namelijk relatief eenvoudig op te stellen.
RESPONSSTIJLEN OVER DE LOOP VAN EEN VRAGENLIJST 4 Figuur 1. Instemmingsschaal vs. bipolaire schaal eigen opmaak op basis van Moors et al. (2014) Keuze van responsschaal. Twee voorname componenten bij de keuze van de beoordelingsschaal zijn het aantal woordcategorieën en het labelen van deze categorieën. Bij het aantal antwoordcategorieën houdt men rekening met hoeveel categorieën men zal gebruiken. Daarnaast wordt ook de keuze gemaakt of men een even dan wel oneven aantal zal hanteren (Weijters, Cabooter, & Schillewaert, 2010). Het onderzoek van Preston & Colman (2000) wees uit dat, rekening houdend met betrouwbaarheid, validiteit, discriminerende power en voorkeuren van respondenten, antwoordschalen met 7, 9 of 10 antwoordcategorieën in het algemeen geprefereerd worden. Echter, er is geen algemeen aanvaard aantal antwoordcategorieën dat van toepassing is gegeven gelijk welke omstandigheden. Daarnaast is er ook geen formule om het aantal te kunnen berekenen. Het ideale aantal hangt af van verschillende factoren (Cox III, 1980). Verder moet de onderzoeker ook de keuze maken hoe hij de antwoordschaal zal labelen. In de literatuur kan er een algemeen onderscheid worden gemaakt tussen twee soorten labeling. Er wordt een onderscheid gemaakt tussen het zogenaamde full labeling en end labeling. Bij full labeling worden alle antwoordcategorieën benoemd. De responsschaal is dus volledig gelabeld. In tegenstelling tot full labeling worden bij end labeling enkel de uiterste antwoordcategorieën benoemd (Moors et al., 2014). Het is belangrijk aandacht te besteden aan de responsschalen. Onder meer omdat dit de responsstijl van de respondent zou beïnvloeden (Weijters, Cabooter, et al., 2010;
RESPONSSTIJLEN OVER DE LOOP VAN EEN VRAGENLIJST 5 Wildt & Mazis, 1978). Onder het puntje Antecedenten van gehanteerde responsstijl in het volgende deel, wordt hier dieper op ingegaan. Responsstijlen Definitie. O Neill (1967) omschrijft als één van de eerste een responsstijl als gedragspatronen waarbij het individu neigt disproportioneel een antwoordcategorie te selecteren ongeacht de iteminhoud (p.95). Later wordt het ook gedefinieerd door Paulhus (1991) als de tendens om systematisch te antwoorden op basis van iets anders dan wat de items willen meten (p.17). Heel recent is een responsstijl omschreven door Van Vaerenbergh & Thomas (2013) als de neiging van een respondent om te antwoorden op de survey vragen op een bepaalde manier ongeacht de inhoud (p.195). Daarnaast wordt er ook aan toegevoegd dat een responsstijl bijdraagt tot systematische fouten (Van Vaerenbergh & Thomas, 2013). Algemeen kan men dus stellen dat een responsstijl wordt gezien als het antwoorden op een item zonder rekening te houden met de inhoud van dat item. Het is belangrijk om een onderscheid te maken tussen een responsstijl en een response set. In de literatuur worden de termen vaak door elkaar gebruikt. Er is echter een verschil tussen beide termen. Response sets kunnen omschreven worden als gedragspatronen waarbij het individu antwoordt op een iteminhoud op een zodanige manier dat hijzelf in een beter daglicht wordt geplaatst (O Neill, 1967, p.95). Wanneer men een responsstijl hanteert, houdt men geen rekening met de inhoud. Het is te wijten aan interne disposities en eigenschappen van de respondent zelf (Couch & Keniston, 1960; Naemi, Beal, & Payne, 2009). Als men daarentegen een response set hanteert, is dit op basis van de inhoud dat men zich wil beter voordoen. Deze response bias is dus te wijten aan de testcondities zelf (Kieruj & Moors, 2013). Dit onderscheid is belangrijk om in het achterhoofd te houden. Verschillende vormen. Er bestaan enorm veel verschillende soorten responsstijlen. In het begin was het onderzoek naar responsstijlen vooral gefocust op twee soorten: yeasaying/naysaying de tendens om met items (niet) akkoord te gaan ongeacht de inhoud ervan (Couch & Keniston, 1960) en standard deviation (Hui & Triandis, 1985) de tendens om een brede (of smalle) range van antwoordintervallen te gebruiken rond de gemiddelde response van het individu (Greenleaf, 1992a). Later werden meer en meer responsstijlen ontdekt en onderzocht. Uit de talrijke soorten
RESPONSSTIJLEN OVER DE LOOP VAN EEN VRAGENLIJST 6 responsstijlen hebben Baumgartner & Steenkamp (2001) een overzicht gemaakt met de zeven meest voorkomende responsstijlen in de literatuur. Merk op dat de responsstijlen gehanteerd worden als continue variabelen. Het is niet iets wat iemand wel of niet heeft, maar eerder een gedragstendens die kan variëren in sterkte (Weijters, Geuens, & Schillewaert, 2010). De Acquiescence Response Style (ARS) is een bepaalde tendens om akkoord te gaan met items ongeacht de inhoud (Bachman & O Malley, 1984; Paulhus, 1991; Winkler, Kanouse, & Ware, 1982). Naast ARS wordt dit yeasaying (Couch & Keniston, 1960) of directional bias genoemd (Hui & Triandis, 1985). Iemand die een zekere mate van Disacquiescence Response Style (DARS) hanteert heeft een bepaalde neiging om niet akkoord te gaan met items ongeacht de inhoud. Voor deze responsstijl wordt ook wel naysaying gebruikt. (Couch & Keniston, 1960) De Net Acquiescence Response Style (NARS) is de mate om een grotere instemming acquiescence te tonen dan niet akkoord te gaan met het item (Baumgartner & Steenkamp, 2001). De Extreme Response Style (ERS) betreft een tendens om het meest extreme antwoord te geven ongeacht de inhoud van het item (Hamilton, 1968; Naemi et al., 2009). Heeft een respondent een bepaalde neiging om een kleine, al dan niet grote range van de antwoordcategorieën rond het gemiddelde te gebruiken, dan is er sprake van een zekere aanwezigheid van Response Range (RR) (Baumgartner & Steenkamp, 2001). De Midpoint Response Style (MRS) is de tendens om de middelste antwoordcategorie te gebruiken, ongeacht de inhoud (Baumgartner & Steenkamp, 2001). Deze antwoordstijl kan gezien worden als het tegenovergestelde van ERS (Naemi et al., 2009). Al is het ook mogelijk dat MRS en ERS samengaan. Een respondent kan namelijk zowel de extreme antwoordcategorieën als het middelpunt gebruiken (Hui & Triandis, 1989). De Non-Contingent Response Style (NCR) houdt in dat de respondent in een bepaalde mate zorgeloos en random gaat antwoorden (Baumgartner & Steenkamp, 2001).
RESPONSSTIJLEN OVER DE LOOP VAN EEN VRAGENLIJST 7 Van Vaerenbergh & Thomas (2013) voegen nog een extra responsstijl toe aan hun overzicht gebaseerd op Baumgartner & Steenkamp (2001), namelijk de Mild Response Style (MLRS). Een respondent die de MLRS hanteert, heeft een bepaalde neiging om de buitenste antwoordcategorieën te gaan negeren. Deze responsstijl kan gezien worden als het complement van ERS (Moors, 2008). Hoewel ook Social Desirability (SD) in de literatuur teruggevonden wordt als responsstijl (van Herk, Poortinga, & Verhallen, 2004), gaf O Neill echter in 1967 reeds aan dat dit een response set is en geen responsstijl. Mick (1996) beschrijft SD als de tendens om zichzelf goed te laten lijken volgens de gangbare culturele normen wanneer ze vragen van onderzoekers beantwoorden (p.106). Vaak willen ze niet of kunnen ze niet de waarheid rapporteren op gevoelige items vanwege het verdedigen van hun eigen ego of impressie management (Fisher, 1993). SD is een perfect voorbeeld om het onderscheid tussen een responsstijl en response set aan te tonen. Men houdt namelijk rekening met de inhoud van de vragen om zich beter te kunnen profileren. Responsstijlen worden daarentegen gehanteerd zonder rekening te houden met de inhoud. SD is dus duidelijk een response set. Omdat deze scriptie onderzoek doet rond responsstijlen, eerder dan response sets, wordt er niet verder ingegaan op SD. Vanaf hier zal in deze scriptie op drie responsstijlen gefocust worden. Er zal aandacht gevestigd worden op ARS, ERS en MRS. Ze worden in het algemeen aanvaard als de voornaamste responsstijlen en krijgen het meest aandacht in de literatuur. Om een goede focus te kunnen creëren, gaat deze scriptie enkel op deze drie dieper in. Antecedenten van gehanteerde responsstijlen. Hoe komt het dat iemand een responsstijl gaat hanteren? Enkele theoretische verklaringen zijn onder andere situationele factoren en persoonlijke disposities. Als eerste zijn er de situationele factoren die de invloed van de situatie aangeven, bijvoorbeeld als de items van de vragenlijst ambigu zijn. De persoonlijke disposities hebben betrekking op de kenmerken van het individu zelf. Dit kan bijvoorbeeld een persoonlijkheidstrek zijn die geassocieerd is met intolerantie voor ambiguïteit (Baumgartner & Steenkamp, 2001; Kieruj & Moors, 2013). Weijters (2006) maakt een soortgelijke opdeling van de antecedenten van responsstijlen: het stimuluslevel en het respondentlevel. Het eerste level ziet responsstijlen als een gevolg van het gehanteerde instrument tijdens de survey.
RESPONSSTIJLEN OVER DE LOOP VAN EEN VRAGENLIJST 8 Op het respondentlevel daarentegen zijn responsstijlen een gevolg van persoonlijke kenmerken. Stimuluslevel. Als eerste wordt op het stimuluslevel dieper ingegaan. Daarbij spelen verschillende eigenschappen van het instrument een rol. Om te beginnen is er het schaalformaat. De meest frequent gebruikte schaalformaten zijn de volledig gelabelde 5-puntenschaal en de end gelabelde 7- puntenschaal (Weijters, Cabooter, et al., 2010). Dit wordt weergegeven in Figuur 2, waarbij de bovenste schaal de volledig gelabelde 5-puntenschaal representeert en de onderste schaal een end gelabelde 7-puntenschaal weergeeft. Figuur 2. Volledig gelabelde 5-puntenschaal vs. end gelabelde 7-puntenschaal De mogelijke effecten die het aantal antwoordcategorieën en de gebruikte labeling met zich mee brengt, zijn interessant om te bekijken. Met betrekking tot MRS hebben Kieruj & Moors (2010) met hun onderzoek aangetoond dat MRS meer kans heeft om te ontstaan wanneer er een relatief groot aantal antwoordcategorieën (negen of meer) wordt gebruikt dan wanneer er een relatief klein aantal antwoordcategorieën wordt gebruikt. Voor ARS is er slechts zwakke evidentie in een 5- tot 11-puntenschaal gevonden (Kieruj & Moors, 2013). Ten slotte is er voor ERS geen consensus in de literatuur. Kieruj & Moors (2011) vonden geen verschil in ERS in 5- tot 11- puntenschalen. Moors et al. (2014) toonden aan dat wanneer men end labeling toepast, meer ERS wordt uitgelokt, dan wanneer men full labeling toepast. Ook Weijters, Cabooter, et al. (2010) vergeleken ERS op een end gelabelde en een volledig gelabelde schaal en vonden dat een volledig benoemde schaal ERS reduceerde. Dit kan
RESPONSSTIJLEN OVER DE LOOP VAN EEN VRAGENLIJST 9 verklaren waarom Kieruj & Moors (2011) geen verschil vonden over schaalformaten, want zij gebruikten enkel end gelabelde schalen. Moors et al. (2014) hebben aangetoond dat bipolaire schalen meer ERS veroorzaken dan instemmingsschalen. Het opnemen van een middelpunt in de antwoordschaal resulteert daarentegen in lagere levels van ERS (Weijters, Cabooter, et al., 2010). Tot slot wees onderzoek van Weijters, Geuens, & Baumgartner (2013) uit dat antwoordcategorieën die vertrouwd klinken, vaker geselecteerd worden door de respondent. De manier waarop men data verzamelt, kan eveneens aan de basis liggen van bepaalde responsstijlen. Weijters, Schillewaert, & Geuens (2008) vonden dat telefoonsurveys tot hogere ARS en ERS en lagere MRS leidt in vergelijking met faceto-face, pen-en-papier en online surveys. Respondenten maken daarenboven beter gebruik van de gehele schaal wanneer ze een vragenlijst invullen die in hun moedertaal geschreven is. Wanneer men een vragenlijst krijgt die niet in de moedertaal geschreven is, maar in een tweede taal, zal men meer geneigd zijn het middelpunt van de schaal te gaan gebruiken (MRS) (Harzing, 2006). Respondenten zullen wel minder vaak ARS en ERS hanteren wanneer de vragenlijst in hun tweede taal is geformuleerd. Niettemin is een post hoc evaluatie voor de responsstijlen ARS en ERS noodzakelijk (Van Vaerenbergh & Thomas, 2013). Als laatste kan de betrokkenheid van de respondent met het onderwerp dat gemeten wordt, van invloed zijn. Als de betrokkenheid laag is bij de respondent, zal dit de gehanteerde responsstijl beïnvloeden. Er werd gevonden dat ERS meer voorkomt als de respondent meer betrokken is (Van Vaerenbergh & Thomas, 2013). De invloed van de lengte van de vragenlijst op responsstijlen wordt in een apart stuk besproken, vanwege de belangrijkheid ervan voor het empirisch onderzoek in deze scriptie. Respondentlevel. Op het respondentlevel zijn er eveneens een aantal belangrijke factoren die responsstijlen beïnvloeden. In onderzoek door Winkler et al. (1982) werd gevonden dat ARS meer voorkomt naargelang mensen ouder worden. Deze positieve relatie tussen leeftijd en ARS werd meermaals in onderzoek teruggevonden (Greenleaf, 1992a; Meisenberg & Williams, 2008; Weijters, Geuens, et al., 2010). Eid & Rauber (2000) vonden echter geen evidentie voor deze relatie. Voor ERS is er evidentie gevonden voor verschillende
RESPONSSTIJLEN OVER DE LOOP VAN EEN VRAGENLIJST 10 relaties. Eerst en vooral zijn er veel studies die een positieve relatie aantonen met leeftijd (Greenleaf, 1992b; Kieruj & Moors, 2013; Meisenberg & Williams, 2008; Weijters, Geuens, et al., 2010). Er zijn echter ook bevindingen van een negatieve relatie, waarbij meer ERS wordt gevonden bij lagere leeftijd (Austin, Deary, & Egan, 2006). Ten slotte zijn er studies die geen effecten vonden (Johnson, 2005; Moors, 2008). Opmerkelijk was het onderzoek van de Jong, Steenkamp, Fox, & Baumgartner (2008) dat een curvi-lineair verband aan het licht bracht. De auteurs vonden zowel een stijging als een daling van ERS met leeftijd. Vooral jongere en oudere personen hebben een hoge ERS in vergelijking met de groep van middelbare leeftijd. Dit kan verklaren waarom onderzoekers zowel een stijging als daling kunnen vinden. Voor MRS vonden Weijters, Geuens, et al. (2010) een positieve relatie met leeftijd. Ook opleiding heeft invloed op het gebruik van responsstijlen. Uit onderzoek blijkt dat hoe lager opgeleid iemand is, hoe meer ERS die persoon neigt te hanteren in vergelijking met hoger opgeleiden (Marin, Gamba, & Marin, 1992; Meisenberg & Williams, 2008). Ook ARS wordt negatief gerelateerd met opleiding (Meisenberg & Williams, 2008; Winkler et al., 1982). De invloeden van geslacht zijn verdeeld. Zowel Weijters, Geuens, et al. (2010), de Jong, Steenkamp, Fox, & Baumgartner (2008), als Austin et al. (2006) vonden dat ERS meer voorkomt bij vrouwen. Daarnaast vonden ook Weijters, Geuens, et al. (2010) dat ARS meer bij vrouwen aanwezig is. Andere auteurs vonden dat ERS meer voorkomt bij mannen (Meisenberg & Williams, 2008). Ten slotte zijn er ook onderzoeken die geen effect terugvonden (Greenleaf, 1992b; Marin et al., 1992) Met betrekking tot de huidskleur kunnen er ook verschillen worden gevonden bij ERS. Een Amerikaanse studie vond dat mensen met een zwarte huiskleur meer ERS gebruiken dan mensen met een blanke huidskleur, zeker als het een instemmingsschaal is (Bachman & O Malley, 1984). Daarnaast komt ook ARS meer voor bij mensen met een zwarte huidskleur (Winkler et al., 1982). Het onderzoek van Chen et al. (1995) toont aan dat er een klein, maar significant cross-cultureel verschil is in responsstijlen. Japanse en Chinese studenten lijken meer MRS te gebruiken dan studenten uit U.S. en Canada. Studenten uit de U.S. selecteerden daarentegen meer extreme waarden dan de Japanse, Chinese en Canadese studenten (Chen et al., 1995). Johnson (2005) vond dat personen die in een cultuur leven met hoge
RESPONSSTIJLEN OVER DE LOOP VAN EEN VRAGENLIJST 11 mannelijkheid en hoge machtsafstand meer geneigd zijn om extreme antwoordcategorieën op een vragenlijst te selecteren. Daarnaast zijn personen uit individualistische landen minder geneigd om ARS te hanteren (Johnson, 2005). In de cross-culturele studie van van Herk et al. (2004) vond men dat Grieken de neiging hebben om een hogere ARS en ERS index te hebben dan respondenten uit Italië, Frankrijk, UK en Duitsland. Naar persoonlijkheid in relatie tot responsstijlen is reeds heel wat onderzoek gedaan. Persoonlijkheid is een stabiel construct (McCrae & Costa, 1994). Daarom doet men veel onderzoek naar stabiliteit van responsstijlen om te kunnen linken aan persoonlijkheid. Stabiliteit van ERS doorheen de gehele vragenlijst werd aangetoond door Hamilton (1968). Daarnaast vonden Weijters, Geuens, et al. (2010) substantiële stabiliteit voor ARS, ERS en MRS over de periode van 1 jaar. De responsstijlen kunnen dus gezien worden als stabiele individuele eigenschappen (Weijters, Geuens, et al., 2010). Ten slotte is ook aangetoond dat ARS stabiel is over een periode van 4 jaar (Billiet & Davidov, 2008). Maar is persoonlijkheid een verklaring voor het hanteren van bepaalde responsstijlen? Of zijn bepaalde responsstijlen persoonlijkheidstrekken? Baumgartner & Steenkamp (2001) zien persoonlijkheidstrekken hier als een verklaring voor het hanteren van een bepaalde responsstijl. Ook Austin et al. (2006) volgden deze redenering en deden onderzoek naar ERS. Ze vonden dat er meer ERS wordt gehanteerd bij mensen met hogere scores op extraversie en consciëntieusheid (Austin et al., 2006). Mensen die een vragenlijst snel invullen en simplistisch denken of intolerant zijn aan ambiguïteit hebben het meeste kans om ERS te vertonen (Naemi et al., 2009). Het is belangrijk hierbij een kanttekening te maken. Persoonlijkheid werd in vrijwel alle voorgaande studies onderzocht aan de hand van beoordelingsschalen. Het kan dus evengoed zijn dat in hun eigen resultaten fouten zitten door gehanteerde responsstijlen (Bentler, Jackson, & Messick, 1971). Als reactie hierop kan het onderzoek van Cabooter (2010) aangehaald worden die de relatie tussen persoonlijkheid en responsstijlen heeft onderzocht aan de hand van schaalvrije persoonlijkheidsmetingen. Zij vond eveneens een significante relatie. Deze bevindingen tonen aan dat er weldegelijk een relatie is tussen persoonlijkheid en responsstijlen (Cabooter, 2010). Dit heeft als implicatie dat het voor onderzoekers zeer moeilijk zal
RESPONSSTIJLEN OVER DE LOOP VAN EEN VRAGENLIJST 12 zijn om het gebruik van responsstijlen bij respondenten te voorkomen (Van Vaerenbergh & Thomas, 2013). Op basis van de literatuur kan men besluiten dat de antecedenten van ERS het meest worden onderzocht. ERS hangt dan ook met veel aspecten samen: positieve relatie met leeftijd, negatieve relatie met opleiding, cross-culturele verschillen, meer gebruikt door mensen met een zwarte huiskleur, positieve relatie met extraversie en consciëntieusheid, etc. Voor ARS werd een negatieve relatie gevonden met opleiding. Deze responsstijl verschilt ook over culturen en huidskleur. ARS en MRS zijn daarnaast positief gerelateerd met leeftijd. In de empirische studie van deze scriptie zullen de demografische variabelen geslacht, leeftijd, moedertaal en opleiding worden opgenomen als controlevariabelen. Gevolgen van gehanteerde responsstijlen. Responsstijlen bedreigen de validiteit van conclusies (Baumgartner & Steenkamp, 2001; Van Vaerenbergh & Thomas, 2013). Het is dus belangrijk dieper in te gaan op de gevolgen van de gehanteerde responsstijlen. Zoals eerder vermeld in deze scriptie kunnen responsschalen responsstijlen beïnvloeden (Weijters, Cabooter, et al., 2010; Wildt & Mazis, 1978). Maar responsstijlen kunnen ook de schaalscores beïnvloeden. Hierbij wordt het modererend effect van twee schaalkarakteristieken in rekening gebracht, nl. hoe de schaal gebalanceerd is en hoe het schaalgemiddelde verschilt met het middelpunt (Baumgartner & Steenkamp, 2001). De score van respondenten die de ARS hanteren, zal opgeblazen ( inflated ) worden als de meeste items in de schaal positief verwoord zijn en zwakker worden als de meeste negatief zijn. Hoe hoger het aantal, hoe sterker de ARS tot uiting zal komen. Indien de schaal gebalanceerd is, i.e. evenveel positieve als negatieve items, zouden de bijwerkingen van ARS geminimaliseerd moeten worden, want op die manier sluiten ze elkaar uit (Baumgartner & Steenkamp, 2001). Als het schaalgemiddelde gelijk is aan het middelpunt dan zou er, als iemand een MRS hanteert, geen systematische invloed mogen zijn op de schaalscores. Als het schaalgemiddelde groter is dan het middelpunt, zullen de meeste ware scores boven het middelpunt liggen en de scores van iemand die MRS hanteert, zwakker zijn. Als het schaalgemiddelde eronder ligt, dan zijn de scores opgeblazen. Hoe groter de afwijking
RESPONSSTIJLEN OVER DE LOOP VAN EEN VRAGENLIJST 13 van het schaalgemiddelde van het middelpunt op de responsschaal, hoe groter de invloed van MRS op de schaalscores zou zijn (Baumgartner & Steenkamp, 2001). De richting en sterkte van ERS en MRS zijn afhankelijk van de positieve of negatieve afwijking van het schaalgemiddelde (i.e. de gemiddelde score over respondenten op het instrument in kwestie) ten opzichte van het middelpunt van de responsschaal (Baumgartner & Steenkamp, 2001). Als bijvoorbeeld op een vragenlijst naar zelfvertrouwen de meeste respondenten boven het middelpunt scoren, zal ERS een positieve invloed hebben op de scores (mensen met een hogere ERS zullen hier hoger scoren) en MRS een negatieve invloed. Een respondent die de ERS hanteert, kan extreem positief antwoorden. Dan zouden de schaalscores worden opgeblazen (zwakker worden) voor positief (negatief) geformuleerde items. Maar het lijkt haast onwaarschijnlijk dat iemand de volledige inhoud zou negeren. Mensen die meedoen aan extreem positief antwoorden doen ook mee met extreem negatief antwoorden (Bachman & O Malley, 1984; Baumgartner & Steenkamp, 2001; Hamilton, 1968). Als het schaalgemiddelde boven (onder) het middelpunt ligt, zal het stilistisch antwoorden van de meest extreme schaalcategorieën de scores nog meer positief (negatief) maken omdat voor de meeste mensen de bias dan upward ( downward ) is (Baumgartner & Steenkamp, 2001). De invloed van de gehanteerde responsstijl op de grootte van multivariate relaties is niet voor alle responsstijlen gelijk. Bij een ARS, MRS zal de relatie vergoot worden, in tegenstelling tot een ERS (Van Vaerenbergh & Thomas, 2013). Corrigeren voor responsstijlen. Systematische fouten worden in marketing onderzoek nog veel te vaak genegeerd, ook al weet men goed dat deze vaak voorkomen (de Jong et al., 2008). Bovendien zijn er correcties terug te vinden in de literatuur voor responsstijlen. Een korte opsomming van de meest gekende correcties volgt. Eerst en vooral zou men om ARS te vermijden, gebruik kunnen maken van gebalanceerde schaalitems (Van Vaerenbergh & Thomas, 2013). Wanneer schaalitems gebalanceerd zijn, is er voor ieder positief item, een negatief item aanwezig. Zoals eerder aangegeven worden de effecten van ARS hiermee geminimaliseerd. Maar balanceren heeft vele negatieve effecten (Baumgartner & Steenkamp, 2001). In vele gevallen vindt de respondent het bijvoorbeeld logisch om zowel op een item in te stemmen als op het tegenstelde van dat item (Rorer, 1965). Daarnaast wordt er
RESPONSSTIJLEN OVER DE LOOP VAN EEN VRAGENLIJST 14 opgemerkt dat de gebruikte items en hun tegengestelde soms te extreem zijn. Respondenten die een neutrale mening aannemen, zullen dan op beide items niet instemmen (Schuman, Presser, & Ludwig, 1981). Het balanceren van schaalitems wordt zeer weinig gebruikt (Baumgartner & Steenkamp, 2001). Een tweede methode die men kan gebruiken om te corrigeren voor responsstijlen is de Multi-Trait Multi-Method (MTMM) benadering waarbij men hetzelfde construct (trait) herhaaldelijk gaat meten door middel van verschillende methoden. Op die manier kan bij de geobserveerde variantie een onderscheid gemaakt worden tussen de variantie die te wijten is aan het construct zelf en de variantie te wijten aan de meetmethode (Weijters, 2006). De MTMM modellen houden rekening met ARS en DARS, maar niet met ERS en MRS (Saris & Aalberts, 2003). De LCFA benadering (Latent Class Factor Analysis) kan daarentegen gebruikt worden om ERS en ARS simultaan vast te stellen (Kieruj, 2012; Moors, 2003). De meest uitgebreide manier om responsstijlen te detecteren en het te controleren is door RIRSs toe te voegen in de vragenlijst. RIRSs zijn representatieve indicatoren van responsstijlen. Deze indicatoren maken het mogelijk om ARS, DARS, ERS, MRS en NARS te berekenen (Baumgartner & Steenkamp, 2001; Weijters et al., 2008). In reguliere studies zouden vijf indicatoren moeten worden opgenomen. In studies die focussen op responsstijlen daarentegen worden er tien tot veertien indicatoren aanbevolen (Weijters et al., 2008) Lengte van Vragenlijsten Als laatste wordt er dieper ingegaan op welke invloed de lengte van een vragenlijst kan hebben. De lengte heeft namelijk een aantal belangrijke effecten. Het beïnvloedt o.a. de betrouwbaarheid van de vragenlijst (Ziegler et al., 2014), de responsratio (Deutskens et al., 2004; Herberlein & Baumgartner, 1978; Marcus et al., 2007; Nowack, 1990), maar ook de gehanteerde responsstijlen (Herzog & Bachman, 1981; Kraut et al., 1975). Een eventuele verklaring voor het effect van lengte op responsstijlen zou vermoeidheid kunnen zijn. Er is echter te weinig aandacht gegeven in de literatuur aan de relatie tussen lengte en responsstijlen om hier een sluitend antwoord op te kunnen geven. Dit onderzoek zal hier dan ook op focussen. Effecten van lengte. Nowack (1990) geeft aan dat hoe langer je een vragenlijst maakt, hoe betrouwbaarder deze zal zijn. Onderzoek toont aan dat de lengte van de
RESPONSSTIJLEN OVER DE LOOP VAN EEN VRAGENLIJST 15 vragenlijst inderdaad de betrouwbaarheid positief beïnvloedt, al moet er dan wel rekening worden gehouden met de beslissingen die gemaakt werden bijvoorbeeld over de lengte van de schaal (Ziegler et al., 2014). Nowack (1990) merkt daarnaast op dat de lengte ook de responsratio negatief kan beïnvloeden. Deze bevinding wordt ondersteund door andere studies bij zowel niet elektronische survey (Herberlein & Baumgartner, 1978) als web-survey (Deutskens et al., 2004; Marcus et al., 2007). Cook, Heath, & Thompson (2000) daarentegen vonden met hun meta-analyse geen significante relatie tussen lengte van een vragenlijst en responsratio in web-surveys. Belangrijk hier op te merken is dat de meta-analyse van Cook et al. (2000) geen rekening hield met de wijze waarop de respondenten informatie krijgen over de lengte. Waren ze op voorhand ingelicht? Of leerden ze pas de echte lengte kennen als ze al bezig waren? Experimentele studies hebben op die manier wel een significant negatief verband kunnen vinden tussen lengte en responsratio in websurvey. Als men op voorhand de tijd meekrijgt, is er minder non-response als de tijd korter wordt aangegeven dan het werkelijk is. Maar, dan is er wel een grotere kans op drop-out (Crawford, Couper, & Lamias, 2001). Marcus et al. (2007) deed onderzoek naar de responsratio wanneer men de ware lengte vermeldde in de uitnodigingsmail. Zij vonden dat wanneer de ware lengte 10-20 minuten was, er een hogere responsratio is dan wanneer er 30-60 minuten stond. Ander onderzoek toont gelijkaardige effecten aan (Deutskens et al., 2004). Het enige verschil daar was dat het niet op voorhand meegedeeld werd, maar dat men de vooruitgang van de survey kon zien via een indicator (Deutskens et al., 2004). Ten slotte tonen ook Galesic & Bosnjak (2009) met hun onderzoek aan dat meer respondenten starten aan een vragenlijst wanneer hen gezegd werd dat het 10 minuten zou duren, dan wanneer het 30 minuten zou duren. Van diegene die dan gestart waren in beide condities, was er het meest drop-out in de conditie met de vragenlijst van 30 minuten (Galesic & Bosnjak, 2009). Naarmate een respondent een vragenlijst invult, kan de respondent ook andere responsstijlen aannemen. Herzog & Bachman (1981) toonden aan met hun onderzoek dat mensen doorheen een lange vragenlijst meer straight-line - i.e. identiek antwoorden op de meeste of alle items of zonder veel differentiatie gaan antwoorden naar het einde toe (Herzog & Bachman, 1981). Ze hebben dit onderzocht door een vragenlijst te verspreiden met heterogene items. Er was dus geen enkele relatie tussen de items,
RESPONSSTIJLEN OVER DE LOOP VAN EEN VRAGENLIJST 16 waarop men zou verwachten dat een respondent, die naar waarheid antwoordt, een hoge differentiatie tussen zijn/haar responses zal hebben. De lengte van de vragenlijst zorgt volgens deze auteurs voor een afnemende motivatie als gevolg van de vermoeidheid die optreedt door het invullen van een lange vragenlijst. Kraut et al. (1975) wou specifiek het effect van de positie van een item in een vragenlijst (vooraan vs. achteraan) gaan onderzoeken. Het onderzoek betrof een 168- item vragenlijst met een 46-tal Likert items die een responsschaal van vijf antwoordcategorieën bevatte. Deze vragenlijst werd verdeeld over 565 medewerkers van één organisatie. Ook Kraut et al. (1975) bracht, net zoals Herzog & Bachman (1981) vermoeidheid in rekening. Daar vond men dat naar het einde toe van een vragenlijst minder ERS toegepast werd door de vermoeidheid die respondenten ervaarden wanneer ze een lange vragenlijst invullen. De respondenten kiezen dan meer de modale categorieën en gaan dus meer MRS toepassen. Ze nemen met andere woorden the easy way out (Kraut et al., 1975). Deze (amper) twee meest voorname studies, die de invloed van lengte op responsstijlen onderzochten, hielden geen rekening met het schaalformaat, wat toch een belangrijke beperking is. Onderzoek heeft dus reeds kunnen aantonen dat er heel wat meer gevolgen zijn dan enkel de responsratio. De lengte van een vragenlijst kan namelijk ook de gehanteerde responsstijlen van de respondenten beïnvloeden. Veel psychologisch en sociaal wetenschappelijk onderzoek gebruikt ellenlange vragenlijsten. Er staan helaas heel weinig onderzoekers stil bij de gevolgen die de lengte van een vragenlijst kan hebben. Ook de positionering van de vragen is vaak iets waar weinig onderzoekers over nadenken. Daarom dat voor dit onderzoek de lengte van de vragenlijst als onafhankelijke variabele zal worden opgenomen. Het onderzoek zal focussen op het feit of mensen al dan niet hun responsstijlen aanpassen tijdens het verloop van een vragenlijst. Vermoeidheid als verklaring. Een verklarende factor van de invloed van lengte op de gehanteerde responsstijlen zou vermoeidheid kunnen zijn. Het kan logischerwijze gebeuren dat een respondent vermoeid is wanneer men een lange vragenlijst invult. Het begrip vermoeidheid duidt meestal op een afkeer van om het even welke inspanning en een verlies van efficiëntie (Grandjean, 1979).
RESPONSSTIJLEN OVER DE LOOP VAN EEN VRAGENLIJST 17 Een algemeen onderscheid wordt gemaakt tussen fysieke en mentale vermoeidheid. Mentale vermoeidheid is een algemeen gevoel gecombineerd met gevoelens van traagheid en afkeer voor eender welk soort van activiteit (Grandjean, 1979). Mensen kunnen deze vermoeidheid ervaren na een langdurige periode van cognitieve activiteit (Boksem, Meijman, & Lorist, 2005). De effecten van mentale vermoeidheid zijn uiteenlopend. Het kan zorgen voor verhoogde afleidbaarheid, verminderde taakprestatie, afkeer om de taak verder te zetten en een afgenomen flexibiliteit (Boksem et al., 2005). Mentale vermoeidheid reduceert ook zowel cognitieve als fysieke prestatie (Marcora, Staiano, & Manning, 2009). Verder toont het onderzoek van Clancy & Wachsler (1971) aan dat respondenten meer geneigd zijn om in te stemmen als ze vermoeid geraken. De effecten van mentale vermoeidheid op het gedrag van mensen lijken vooral veroorzaakt te zijn door het niet efficiënt kunnen toewijzen van hun selectieve aandacht. (Boksem et al., 2005). In een thesisonderzoek van Vandeborne (2009) werd aangetoond dat wanneer respondenten mentaal vermoeid zijn, ze meer ARS en MRS zullen toepassen. Dit effect werd niet teruggevonden voor DARS en ERS. Daar het een relatief kleine steekproef was (N=108) en er een aantal beperkingen zijn van invloeden die niet uitgesloten konden worden van intelligentie en stemming, moeten de resultaten met enige voorzichtigheid geïnterpreteerd worden. (Vandeborne, 2009). Besluit Terwijl vragenlijsten één van de populairste onderzoekstechnieken zijn (Roberts, 1999), staat men nauwelijks stil bij het feit dat ze fouten kunnen bevatten (Wilkinson & Birmingham, 2003). Systematische fouten zijn de grootste zorg van de onderzoeker (Moors et al., 2014) en kunnen veroorzaakt worden door responsstijlen. Er zijn vele antecedenten en gevolgen van responsstijlen gekend. Door de invloed die responsstijlen hebben op o.a. de validiteit (Baumgartner & Steenkamp, 2001; Van Vaerenbergh & Thomas, 2013), is het belangrijk hiervoor de controleren en corrigeren. Toch wordt dit nog te weinig gedaan. Het doel van het onderzoek in deze scriptie is nagaan of de lengte van een vragenlijst invloed heeft op de responsstijlen van een respondent. Daarbij wordt er ook gekeken naar de invloed van de antwoordschaal.
RESPONSSTIJLEN OVER DE LOOP VAN EEN VRAGENLIJST 18 Onderzoeksvraag en hypothesen Het model met onderzoeksvraag en de hypothesen die zullen worden onderzocht, worden in dit stuk naar voor gebracht. Deze worden in het empirisch deel van deze scriptie getest. Figuur 3 geeft de onderzoeksvraag van deze scriptie weer: Welke invloed heeft het type responsschaal op de relatie tussen de lengte van een vragenlijst en de responsstijl van de respondent? Lengte vragenlijst ERS MRS ARS Type responsschaal Figuur 3. Model dat de onderzoeksvraag van het onderzoek beschrijft. Het onderzoek van Kraut et al. (1975) waarbij het effect van de positie van een vraag in een vragenlijst werd onderzocht, vond men dat respondenten die een lange vragenlijst invullen minder ERS zullen toepassen. De respondenten kiezen dan meer de modale categorieën. Ze nemen the easy way out en gaan op die manier meer MRS gaan toepassen (Kraut et al., 1975). In dit onderzoek wordt geprobeerd de resultaten van Kraut en collega s proberen te bevestigen door te stellen dat een lange vragenlijst voor meer MRS en minder ERS zal zorgen. Hypothese 1: Respondenten die de lange vragenlijst invullen, passen meer MRS toe dan respondenten die de korte vragenlijst invullen. Hypothese 2: Respondenten die de lange vragenlijst invullen, passen minder ERS toe dan respondenten die de korte vragenlijst invullen. Volgens Clancy & Wachsler (1971) zijn mensen meer geneigd zijn om in te stemmen als respondenten vermoeid geraken. Ook is het zo dat mensen die een langdurig een cognitieve activiteit uitvoeren, een mentale vermoeidheid kunnen ervaren (Boksem et al., 2005). Uit deze laatste bevindingen, kan gesteld worden dat
RESPONSSTIJLEN OVER DE LOOP VAN EEN VRAGENLIJST 19 respondenten die een lange vragenlijst invullen, een langdurige cognitieve activiteit uitvoeren, vermoeid zullen geraken en dus meer ARS zullen toepassen. Hypothese 3: Respondenten die de lange vragenlijst invullen passen meer ARS toe dan respondenten die de korte vragenlijst invullen. Het onderzoek van Weijters, Cabooter, et al. (2010) wees uit dat bij antwoordschalen waar end labeling werd toegepast, ERS zal stijgen. Doordat de 7- puntenschaal een end gelabelde schaal is en de 5-puntenschaal een volledig gelabeld is in dit onderzoek, zou bij de 7-puntenschaal ERS dus sterker zijn. Daarnaast zorgt mentale vermoeidheid ervoor dat de stilistische effecten van MRS en ARS groter worden (Clancy & Wachsler, 1971; Kraut et al., 1975). Omdat een volledig gelabelde schaal logischerwijze een hogere cognitieve belasting heeft, kan er aangenomen worden dat zowel ARS als MRS sterker zal zijn bij de volledig gelabelde 5-puntenschaal. Hypothese 4a: De invloed van de lengte van de vragenlijst op ERS is sterker bij respondenten die de end gelabelde 7-puntenschaal gebruiken, dan bij respondenten die de volledig gelabelde 5-puntenschaal gebruiken. Hypothese 4b: De invloed van de lengte van de vragenlijst op MRS is zwakker bij respondenten die de end gelabelde 7-puntenschaal gebruiken, dan bij respondenten die de volledig gelabelde 5-puntenschaal gebruiken. Hypothese 4c: De invloed van de lengte van de vragenlijst op ARS is zwakker bij respondenten die de end gelabelde 7-puntenschaal gebruiken, dan bij respondenten die de volledig gelabelde 5-puntenschaal gebruiken. Naast deze hypotheses wordt er rekening gehouden met controlevariabelen in dit onderzoek. Leeftijd, opleiding en geslacht zullen worden opgenomen. Moedertaal zal constant gehouden worden. Zoals eerder aangegeven, hebben meerdere studies reeds aangetoond dat leeftijd een invloed kan hebben op zowel ARS, ERS als MRS (de Jong et al., 2008; Greenleaf, 1992a, 1992b; Johnson, 2005; Kieruj & Moors, 2013; Meisenberg & Williams, 2008; Weijters, Geuens, et al., 2010; Winkler et al., 1982).
RESPONSSTIJLEN OVER DE LOOP VAN EEN VRAGENLIJST 20 M.b.t. opleiding werden er negatieve verbanden gevonden met zowel ERS (Marin et al., 1992; Meisenberg & Williams, 2008) als met ARS (Meisenberg & Williams, 2008; Winkler et al., 1982). Door de aanzienlijke invloeden van leeftijd en opleiding, worden deze opgenomen in het onderzoek als controlevariabelen. Voor geslacht is de literatuur verdeeld. Daarom is het net ook interessant op deze variabele op te nemen als controlevariabele. Methode Steekproef De steekproef is een gelegenheidssteekproef die bestaat uit een totaal van 2866 respondenten die aan de survey zijn gestart, waarvan 1438 respondenten de survey hebben afgewerkt. Er is een drop-out van 49,83%. De respondenten werden gecontacteerd via Facebook of via mail. Alle incomplete responsen werden uit de data verwijderd. Omdat er in deze scriptie wordt gekeken welke invloed de lengte van de vragenlijst heeft, zijn alle data van respondenten die er meer dan twee uur en driekwartier over hebben gedaan, eruit gelaten. De resultaten veranderen nauwelijks wanneer er een nog strengere norm qua tijdsduur werd opgelegd. Omdat van de 1389 overgebleven respondenten 1327 respondenten (95,5%) Nederlands hebben als moedertaal, is beslist om enkel de Nederlandstalige respondenten op te nemen in de analyse. Na dit strenge selectieproces, blijft een steekproef van 1327 respondenten over waarvan 51,62% een 5-puntenschaal kreeg en 48,38% een 7-puntenschaal. Daarnaast kreeg 45,59% van de respondenten korte vragenlijst waarbij het blok met de 16 items zich vooraan bevond. De rest van de steekproef kreeg de lange vragenlijst waarbij het blok met de 16 items zich achteraan bevond (54,41%). Tabel 1 toont de verdeling van de condities. De respondenten zijn nog steeds goed verdeeld, ondanks de strenge selectie.