Tips voor het maken van een goede online vragenlijst

Transcriptie

1 Tips voor het maken van een goede online vragenlijst Je vragenlijst ontwerpen Logische indeling en vraagvolgorde Let op dat je vragenlijst logisch is opgebouwd. Wek voorafgaand aan de vragenlijst de juiste verwachtingen over het doel en onderwerp, het aantal vragen of de invulduur, en de verwerking en eventuele terugkoppeling aan je respondent. Probeer het onderzoeksonderwerp en de aspecten daarvan in het begin breed en algemeen tebevragen. Vervolgens kan je meer specifieke vragen stellen. Voorbeeld: 1) Maakt u wel eens gebruik van een online enquête tool? 2) Welke online enquête tools kent u? 3) Maakt u wel eens gebruik van de online enquête tool NETQ GROW? 4) Hoe vaak gebruikt u de online enquête tool NETQ GROW Gevoelige vragen (over bijvoorbeeld inkomen, politieke voorkeur, seksuele voorkeur en ervaringen etc.) kunnen het beste aan het einde van de vragenlijst worden gesteld. Zo heb je alle belangrijke antwoorden tenminste al verzameld, indien je respondent vanwege de gevoeligheid afhaakt. Stel je respondent in principe pas als allerlaatste eventuele achtergrondvragen (over bijvoorbeeld leeftijd, geslacht, woonplaats, huishouden, opleiding of functie, branche etc.). Zo voorkom je dat je geen antwoorden hebt voor je onderzoeksdoel, als respondenten halverwege afhaken. De uitzondering op deze regel geldt uiteraard als je deze informatie direct nodig hebt voor screening voor en routering door je vragenlijst. Relevante routering voor elke respondent Zorg dat elk type respondent via een logische route de vragenlijst doorloopt. Als een vraag niet van toepassing is op een bepaalde (groep) respondent(en), dan moet deze vraag ook niet aan hem (hen) worden gesteld en dus niet op het scherm worden getoond. Voorbeeld: Je wilt een specifieke vraag alleen voorleggen aan mannen, of aan mensen in een afgebakende leeftijdsgroep, of aan gebruikers van een bepaald product of merk, of aan mensen die aan een combinatie van voorgaande of andere kenmerken voldoen.

2 Aantrekkelijke inhoud en opmaak Respondenten nemen een aantrekkelijke vragenlijst meer serieus en zullen deze dan ook eerder invullen en afronden. Zorg allereerst dat de doelgroep die je uitnodigt voor het invullen van de vragenlijst goedaansluit bij het onderwerp en de inhoud daarvan. Stel verder een nette en overzichtelijke lay-out voor je vragenlijst in via een opmaak sjabloon. Laat bij langere vragenlijsten verschillende vraagblokken op een nieuwe pagina starten. Als je respondent veel moet scrollen over het scherm, dan wordt je vragenlijst onoverzichtelijk en weinig uitnodigend en zal de motivatie in de regel afnemen. Houd het wel leuk voor de respondent. Voeg bijvoorbeeld eens een vraag met plaatjes in je vraagstelling of als antwoordopties toe of toon een toelichting in een video. And last but not least: Controleer je vragenlijst op spel- en typefouten en kromme zinnen. Afsluiting Geef je respondent aan het einde van de vragenlijst (nog vóór de achtergrondvragen) altijd degelegenheid om nog eventuele overige opmerkingen en/of suggesties te plaatsen. Eventuele contactinformatie kun je het beste pas ná de achtergrondvragen geven, bijvoorbeeldop de eindpagina van je vragenlijst. Bedank je respondent tot slot altijd voor zijn medewerking. De juiste vraag stellen Wees duidelijk en specifiek en houd het vooral simpel De respondent moet direct begrijpen wat je met een vraag bedoelt. Probeer een vraag zo kort en bondig mogelijk te formuleren. Fout voorbeeld: "Als u tijdens uw functioneringsgesprek geconfronteerd wordt met problemen waar u bij betrokken bent of was, en als u vervolgens gevraagd wordt om op uw eigen handelen te reflecteren, zou u dan proberen om u voor te stellen wat uw gesprekspartner met deze vraag probeert te bereiken?" Deze vraag is veel te lang en te ingewikkeld. Gebruik toegankelijke taal (spreektaal) en vermijd afkortingen. Als je onverhoopt toch moeilijke woorden moet gebruiken, zorg dan dat je deze uitlegt. Goed voorbeeld: "Hoe beoordeelt u de GUI van de online enquête tool? GUI betekent Graphical User Interface."

3 Voorkom dubbele ontkenningen in de vraagstelling. Fout voorbeeld: "In hoeverre zijn de volgende redenen niet van invloed geweest om niet voor ons product te kiezen?" Gebruik dus nooit tweemaal het woord niet in één vraag. Stel géén suggestieve vragen (suggereer geen antwoorden) door vragen zo neutraal mogelijk te formuleren. Zo voorkom je dat respondenten gaan twijfelen aan je intenties en, belangrijker, dat je de resultaten stuurt. Fout voorbeeld: "Heeft u al gebruik gemaakt van deze aantrekkelijke aanbieding?" of "Vindt u ook dat NETQ GROW een goede oplossing biedt om gemakkelijk zelf online enquêtes uit te voeren?" Veronderstel geen antwoorden en doe geen aannames. Fout voorbeeld: "Ergert u zich wel eens aan telefonische verkopers?" Goed voorbeeld: Stel eerst de vraag "Wordt u wel eens gebeld door een telefonische verkoper?", vraag vervolgens "Hoe vaak wordt u gebeld door telefonische verkopers?" en vraag tot slot "Wat vindt u ervan als telefonische verkopers u bellen?" Formuleer vragen zo eenduidig mogelijk. Zorg er met andere woorden voor dat een vraag slechts op één enkele manier kan worden geïnterpreteerd. Fout voorbeeld: Betekent de vraag "Houdt u van voetbal?" dat de respondent 'zelf graag voetbal speelt', of 'graag naar voetbal op televisie kijkt', of 'graag leest over voetbal', of Fout voorbeeld: Wordt met "Heeft u in het afgelopen jaar?" bedoeld 'in het huidige jaar(tal) tot heden ', of 'tijdens het gehele vorige jaar(tal) ', of 'in de afgelopen 12 maanden '. Blijf actueel. Het geheugen van respondenten reikt vaak niet ver. Voorkom daarom vragen over zaken die te ver in de tijd terug gaan of juist te ver vooruit. De vuistregel is 1 maand. Fout voorbeeld: "Een jaar geleden heeft u een brief ontvangen over wegwerkzaamheden bij u in de buurt. Vond u de inhoud van deze brief nuttig?" Stel géén vragen over zaken die respondenten moeilijk kunnen inschatten of weten. Fout voorbeeld: "Binnen welke afstand vanaf uw huis is het dichtstbijzijnde tankstation?" of "Valt uw bruto jaarinkomen boven of onder het gemiddelde bruto jaarinkomen in uw gemeente?" Wees zo specifiek en concreet mogelijk. Vermijd bijvoorbeeld onbepaalde telwoorden als 'weinig', 'veel', 'soms', 'vaak' etc. Fout voorbeeld: "Voert u vaak zelf online enquêtes uit?" Voor de ene respondent heeft 'vaak' een andere betekenis dan voor een andere. Beter is daarom "Hoeveel online enquêtes heeft u in afgelopen maand zelf uitgevoerd?" Let er op dat je niet twee vragen in één vraag stelt. Fout voorbeeld: "Bent u tevreden over de service en de prijs?" Dit zijn twee vragen; op basis van het antwoord 'ja' weet je niet of de respondent alleen tevreden is over de service, alleen tevreden is over de prijs of tevreden is over beide.

4 Houd focus Blijf relevant en belast de respondent niet onnodig. Maak je vragenlijst niet te lang(durig). Stel valide vragen die (meetbare) antwoorden kunnen geven op de vooraf ten doel gestelde onderzoeksvra(a)g(en). Fout voorbeeld: Op de vraag "Wat drinkt u het liefst?" met de antwoordopties 'koffie', 'thee', 'bier' of 'wijn' kan een respondent eigenlijk geen antwoord geven, omdat deze dranken in de regel op verschillende momenten worden gedronken. Het is daarom beter om te vragen "Wat drinkt u het liefst s morgens?", of "Wat drinkt u het liefst bij het diner?", of "Wat drinkt u het liefst s zomers?" etc. 'Need to know' of slechts 'nice to know'? Regelmatig worden vragen opgenomen die weliswaar nice to know zijn, maar zonder toegevoegde waarde voor het onderzoeksdoel. Zo worden respondent vaak onnodig belast, waardoor de betrouwbaarheid van een onderzoek kan afnemen. Bekijk daarom elke vraag kritisch in het licht van je onderzoeksdoel. Houd de respondent wakker door afwisselende vraagtypes te gebruiken. Hiermee voorkom je dat de respondent moe wordt en de vragenlijst op de automatische piloot invult waardoor de betrouwbaarheid van het onderzoek afneemt. Vermijd al te veel open vragen. Je belast respondenten te zwaar wanneer je veel open vragen stelt. Daarnaast geven respondenten op open vragen veelal weinig uitgebreide antwoorden, tenzij zij een zeer uitgesproken mening hebben. Bovendien zijn open vragen in vergelijking met gesloten vragen moeilijker en tijdsintensiever om te analyseren. Vraag niet te vaak om een toelichting. Een toelichting kan zeer interessant zijn en levert kwalitatief waardevolle informatie op, waardoor je onderzoek meer verdieping kan krijgen. Als je echter te vaak om een toelichting vraagt, dan krijgen respondenten de neiging om positief te antwoorden en zo de toelichtingsvraag te vermijden. Vraag bijvoorbeeld alleen om een toelichting als de respondent (zeer) ontevreden is of een rapportcijfer lager dan een 7 geeft. Toon een voortgangsindicator zodat een respondent kan inschatten hoe ver hij is gevorderd met het invullen van de vragenlijst. Blijf acceptabel Voorkom vragen die gevoelig liggen bij respondenten. Als je toch een gevoelige vraag wilt stellen, zorg er dan voor dat je respondent niet verplicht is deze vraag in te vullen. Voorbeeld: "Heeft u wel eens een miskraam gehad na 3 maanden zwangerschap?" Vermijd ook vragen waarop respondenten sociaal gewenste antwoorden zullen geven. Voorbeeld: "Vindt u alcoholpreventie bij kinderen belangrijk?" Een respondent zal niet snel 'nee' antwoorden op een dergelijke vraag. Zodoende treedt er een vertekening (bias) op in de antwoorden ten gunste van het gewenste gedrag.

5 De juiste antwoordcategorie Sluit aan bij de vraag en wees logisch en consistent Zorg dat antwoordcategorieën taalkundig aansluiten bij de vraagformulering. Fout voorbeeld: "Geef hieronder aan in hoeverre u het eens bent met de volgende stelling: Ik ben tevreden over de klantvriendelijkheid van de NETQ mensen." Zeer tevreden Tevreden Neutraal Ontevreden Zeer ontevreden De antwoorden betreffen tevredenheid en dus niet de mate waarin respondenten het eens zijn met de stelling. Dit laatste zou verwarrend kunnen werken voor een respondent. Breng een logische ordening aan in de antwoordcategorieën. Fout voorbeeld: "Hoeveel dagen per week gebruikt u de online enquête tool NETQ GROW?" o 1 dag per week o 4-7 dagen per week o 2-3 dagen per week Let op dat de antwoordcategorieën wel alle mogelijkheden dekken. Voor de volledigheid is het bij bepaalde vragen daarom aan te bevelen om de antwoordmogelijkheid "Weet niet/ geen mening", "Anders, namelijk " of "Niet van toepassing" toe te voegen. Als je dit niet zou doen, dan bestaat de kans dat respondenten ten onrechte een van de overige antwoordcategorieën kiezen. Gebruik tegelijkertijd niet al te vaak de antwoordoptie "Weet niet/ geen mening". Respondenten kiezen deze al snel als zij moe worden en geen zin meer hebben om na te denken. Fout voorbeeld: "Hoeveel bedraagt uw bruto maandsalaris?" o 2.000,- tot 4.000,- o 4.000,- tot 6.000,- o.6000,- of meer Hier ontbreekt de antwoordcategorie "Minder dan 2.000,-". De antwoordcategorieën moeten elkaar wel uitsluiten. Fout voorbeeld: "Wat doet u doorgaans het liefst in het weekend?" o Boodschappen doen o Shoppen o Ontspannen o Relaxen o Uitslapen De antwoordcategorieën moeten bij de vraag passen. Zo worden vragen over feiten soms verward met vragen over meningen. Dan lijkt er om een mening te worden gevraagd, doordat de antwoordopties op een 'eens/ oneens-schaal' liggen, terwijl de vraag zelf een feitelijk gegeven is. Voorbeeld: Laat de respondent bij de stelling "NETQ GROW is ook beschikbaar in een gratis versie"niet kiezen uit "Eens" of "Oneens", maar laat hem wel kiezen uit "Waar" of "Onwaar". Houd per vraag dezelfde dimensie aan voor de antwoordcategorieën. Als je verschillende vragen met elkaar wilt kunnen vergelijken, dan is het van belang dat de antwoordcategorieën

6 uniform en consistent zijn. Zo niet, dan verwar je de respondent onnodig en krijg je mogelijk onbetrouwbare antwoorden. Dit geldt bijvoorbeeld voor elk type tevredenheidsonderzoek. Voorbeeld: Zorg bij een tevredenheidsonderzoek dat je niet eerst vragen stelt met de antwoordcategorieën "Zeer tevreden", "Tevreden", "Neutraal", "Ontevreden", "Zeer ontevreden"en vervolgens vragen (in stellingvorm) met de antwoordopties "Zeer eens", "Eens", "Eens noch oneens", "Oneens", "Zeer oneens". Voorbeeld: Als je tegengestelde stellingen gebruikt, zorg dan wel dat deze ook kloppen. Gebruik bijvoorbeeld "Vernieuwend" niet versus "Saai", maar uiteraard wel versus "Conservatief". Pas bij vragen naar meningen, schalen met een gelijk aantal positieve als negatieve antwoordcategorieën toe. Let er bij schalingsvragen bovendien op dat de volgorde van de antwoordcategorieën consistent blijft en dus niet van vraag tot vraag wisselt van positiefnegatief naar negatief-positief. Voorbeeld: 4-puntsschaal Zeer tevreden Tevreden Ontevreden Zeer ontevreden Voorbeeld: 5-puntsschaal Zeer tevreden Tevreden Neutraal Ontevreden Zeer ontevreden Randomiseer de antwoordcategorieën. Respondenten zijn bij bepaalde vraagtypes onbewust geneigd om de eerste antwoorden of uitspraken meer aandachtig te lezen dan de daaropvolgende; dit geldt met name voor meerkeuzevragen met veel verschillende antwoordcategorieën. Hierdoor kunnen resultaten scheef worden verdeeld. Door het randomiseren van de antwoordcategorieën worden deze aan elke respondent in een willekeurige volgorde gepresenteerd. Zo voorkom je dat de betrouwbaarheid van het onderzoek afneemt. Formuleer ook nu duidelijk en specifiek Evenals bij het stellen van vragen, geldt tenslotte ook bij het formuleren van antwoordcategorieën het volgende: Probeer ook antwoordopties zo kort mogelijk te formuleren. Fout voorbeeld: Het antwoord "De controle van de contactpersoon op de voortgang van de voor de organisatie uit te voeren acties" is simpelweg te vervangen door "Voortgangsbewaking". Gebruik ook bij het verwoorden van antwoordmogelijkheden toegankelijke taal (spreektaal) envermijd afkortingen. Als je onverhoopt toch moeilijke woorden moet gebruiken, zorg er dan voor dat je deze uitlegt. Fout voorbeeld: Gebruik bij de vraag "Hoe neemt u doorgaans uw lichaamstemperatuur op?" geen antwoordformuleringen als "Oraal" (via de mond), "Axillair" (onder de oksel) of "Rectaal" (via de anus). Ook bij antwoordcategorieën geldt: formuleer antwoordopties zo neutraal mogelijk. Voorkom dat respondenten gaan twijfelen aan je intenties. Fout voorbeeld: Bij de vraag "Welke van de volgende stellingen is het meest op u van toepassing?"wek je met een antwoordcategorie als "Ik gebruik alleen goedkope huismerkproducten" de suggestie dat niet-huismerkproducten duur zijn. Formuleer ook antwoordcategorieën zo eenduidig mogelijk. Zorg ervoor dat een antwoordoptie slechts op een enkele manier kan worden geïnterpreteerd. Fout voorbeeld: "Steunt u al dan niet actief één of meer politieke groeperingen in uw gemeente?"

7 o Ja, ik steun actief één of meer politieke groeperingen o Ja, ik steun één of meer politieke groeperingen o Nee, ik steun geen politieke groeperingen Respondenten kunnen op meerdere manieren interpreteren wat enerzijds een politieke groepering is (politieke partijen, of bijvoorbeeld ook actiecomités) en wat anderzijds 'actief steunen' is ten opzichte van 'steunen'. Wees ook bij antwoordopties zo specifiek en concreet mogelijk. Vermijd bijvoorbeeld onbepaalde telwoorden als 'weinig', 'veel', 'soms', 'vaak' etc.