6 Valkuilen bij het maken van testvragen die eenvoudig zijn te ontwijken
Veel hangt af van de formulering van een vraag in een test, quiz of enquête. Ook als je precies weet wat je wilt vragen beïnvloedt de formulering van de vraag het antwoord van een respondent. Daarmee dus ook het resultaat en de kwaliteit van de verkregen informatie. Zonder het te willen kun je kandidaten snel in verwarring brengen of op het verkeerde been zetten. Een goed geformuleerde testvraag is helder en maar op één manier te interpreteren. Het komt dus aan op precisie dat is gebaseerd op onderzoek dat iedereen kan toepassen. Houd rekening met de 6 valkuilen. 2
1. Formuleer geen suggestieve vragen Suggestieve vragen bevatten formuleringen die respondenten naar een antwoord leiden. Het lijkt een voor de hand liggend advies. Echter het is lastiger dan je denkt om niet in deze valkuil te lopen. Hoe weet je nu of je toch niet per ongeluk suggestieve vragen hebt geformuleerd? Controleer of je vragen een neutrale formulering bevat. Hoe goed is het bereik van jouw Wifi-netwerk? Door het woord goed te gebruiken wordt de suggestie van het juiste antwoord gegeven. De respondent wordt daardoor beïnvloed. Een neutrale formulering neemt dit risico weg. Welke kwalificatie geef je het bereik van je Wifinetwerk? Met een neutrale formulering van de vraag is deze een stuk beter. En daarmee de kwaliteit en waarde van de testresultaten. Dienen verantwoordelijke werkgevers hun medewerkers te trainen in veilig Internetgebruik? Door werkgevers te specificeren als verantwoordelijke wordt een overbodige kwalificatie gegeven als je wilt weten of werkgevers wel of geen training moeten aanbieden. Daarnaast leidt het tot verwarring. Vind je dat training in veilig Internetgebruik door werkgevers moeten worden aangeboden? Met deze formulering wordt de emotionele lading uit de vraagstelling gehaald. Als je vragen formuleert met een intentie ben je snel geneigd te precies te zijn. De tip is om alleen het hoognodige in een formulering te gebruiken. 3
2. Vermijd strikvragen Het verschil tussen een suggestieve vraag en een strikvraag is dat bij een strikvraag een antwoord wordt uitgelokt. Een strikvraag beweegt de respondent om het antwoord te geven dat niet precies weergeeft wat hij vindt of voelt. Het mag duidelijk zijn dat dergelijke vragen de kwaliteit van de informatie die je uit de antwoorden haalt negatief beïnvloedt. Wanneer chat je het liefst? Ook als je hiervoor de vraag hebt gesteld chat jij?, is dit een strikvraag. De formulering dwingt dat de respondent gebruik maakt van chat en dat hij een favoriet moment heeft. Maak je gebruik van chat, ja of nee? Indien ja, heb je een favoriet moment om te chatten? Het is aan te bevelen om een test of enquête vooraf te testen om er zeker van te zijn dat er geen vragen worden gebruikt welke vooringenomen zijn. 4
3. Gebruik geen dubbele formulering Sommige vragen zijn, als je ze goed leest, eigenlijk twee vragen in één. Het is onmogelijk om uit de antwoorden goede informatie te halen. Het is namelijk niet duidelijk welke vraag de respondent eigenlijk heeft beantwoord. Hoe tevreden of ontevreden bent u met de snelheid en het bereik van uw Wifi-netwerk? Sommige mensen zullen deze vraag beantwoorden gericht op de snelheid en andere gericht op het bereik. Met als gevolg dat de informatie uit de antwoorden onbetrouwbaar zijn. Onduidelijk is welke vraagelement is beantwoord. Hoe effectief is deze e-learning voor het kantoorpersoneel en de mensen op de productieafdeling? Er is ook sprake van een dubbele vraagstelling als er twee onderwerpen in de formulering zitten. Niet alleen twee vraagelementen. In dit voorbeeld moet iemand één antwoord geven voor beide groepen. Hoe tevreden of ontevreden bent u met de snelheid van uw Wifi-netwerk? Hoe tevreden of ontevreden bent u met het bereik van uw Wifi-netwerk? Het is het beste om een dubbele vraag eenvoudig in tweeën te splitsen. Testvragen moeten altijd zo worden geformuleerd dat slechts één onderwerp wordt getest of gemeten. Hoe effectief is deze e-learning voor het kantoorpersoneel? Hoe effectief is deze e-learning voor de mensen op de productieafdeling? Ook deze vraag kan in tweeën worden gesplitst; één gericht op kantoorpersoneel en één op de productieafdeling. 5
4. Voorkom absolute waardes in meerkeuzevragen Het probleem met absolute waarde is dat deze niet flexibel is en te beperkt om in een test te gebruiken. Respondenten worden geforceerd te antwoorden waardoor waardevolle informatie verloren gaat. Dit type vragen bestaan veelal uit ja/nee antwoorden gecombineerd met woorden als Altijd, Alle, Iedere, en Steeds. Actualiseer je elke dag jouw virusscanner? Ja Nee Elke respondent neemt deze vraag letterlijk. Het antwoord is waarschijnlijk altijd Nee. Ook al is het waar, dan nog geeft het antwoord geen informatie over hoe vaak de virusscanner wordt geactualiseerd. Het is wel of niet. Hoe vaak actualiseer je jouw virusscanner? Elke dag Elke week Elke twee weken Elke maand Ik actualiseer sporadisch mijn virusscanner Door verschillende antwoordopties te bieden kunnen respondenten genuanceerder antwoorden. Meer specifiek wat leidt tot waardevolle informatie. 6
5. Wees helder en duidelijk Het geniet de voorkeur om heldere, ondubbelzinnige en ongecompliceerde taal te gebruiken bij het formuleren van vragen. Vermijd jargon, afkortingen of technisch taalgebruik. Maak gebruik van heldere definities of voorbeelden bij gebruik van acroniemen, lastige termen of ingewikkelde concepten. Op die manier kan je er nagenoeg zeker van zijn dat iedereen de vraag makkelijk kan beantwoorden en begrijpt. Hierdoor is men meer geneigd om alle vragen te beantwoorden. Zorg er voor dat je een goed begrip hebt van de doelgroep. Wanneer je bijvoorbeeld de gemiddelde medewerkers bevraagt over hun kennis en vaardigheid van Excel zal je taalgebruik minder technisch zijn dan wanneer je de medewerkers van de afdeling financiën test op hun kennis en vaardigheden. 1. In welke staat is de veiligheid van je mobiele telefoon? Hoe veilig is je telefoon? 2. Heb je een mobile device? Heb je een mobile device (bijv. een smartphone, tablet PC, laptop, IPod) 7
6. Formuleer relevante antwoorden Naast het formuleren van goede vragen is het bij multiplechoicevragen best lastig om goede antwoordmogelijkheden te formuleren. Deze dienen niet allee logisch of relevant te zijn. Onderstaand een aantal regels waar antwoordmogelijkheden aan moeten voldoen: Het juiste antwoord: mag niet het meest gespecificeerde of langste alternatief zijn. De foute antwoorden: moeten elkaar uitsluiten; moeten qua lengte, woordgebruik en formulering met elkaar vergelijkbaar zijn; moeten waarschijnlijk zijn voor diegenen die de theorie niet beheersen; moeten inhoudelijk en grammaticaal goed aansluiten op de vraag. 3. Wat is de hoofdstad van Nederland? a) Amsterdam b) IJsselmeer c) Amsterdam-Centraal d) De Kuip Wat is de hoofdstad van Nederland? a) Rotterdam b) Den Haag c) Amsterdam d) Groningen 8
Het formuleren van objectieve en gerichte testvragen is een stuk makkelijker wanneer je vasthoudt aan enkele basisprincipes. Checklist: Formuleer geen suggestieve vragen. Vermijd strikvragen. Gebruik geen dubbele formulering. Voorkom absolute waardes. Wees helder en duidelijk. Formuleer relevante antwoordmogelijkheden. Houd deze principes in je achterhoofd bij het formuleren van vragen en de module levert je meer betrouwbare en bruikbare informatie op. Buiten dat heeft je respondent een veel betere ervaring en blijft gemotiveerd om mee te werken. 9