Tips en tricks rondom enquêtes: van vraag naar kennis. Anja van den Broek & Jessica Nooij

Transcriptie

1 Tips en tricks rondom enquêtes: van vraag naar kennis Anja van den Broek & Jessica Nooij

2 Thema s Waarom een vragenlijst Constructie van vragen Kiezen van antwoordschalen Structuur van de vragenlijst en volgorde van de vragen Vragen toevoegen Validiteit en betrouwbaarheid Wijzigingen en trendeffecten Interpretatie & toepassing

3 Waarom een vragenlijst?

4 Verkenning & signalering Meten is weten? Wat zegt dit over mijn beleid? David Kahnemann: Mensen hebben natuurlijke neiging om verbanden te leggen. Ze zoeken naar samenhang en consistentie en moeten zichzelf steeds opnieuw bewust erop wijzen dat deze er niet (altijd) zijn Mensen vinden gewenste bevindingen aannemelijker en zijn daar minder kritisch over dan bij ongewenste bevindingen

5 Hoe begin je? Wat wil je weten, van wie, en waarom? Stap 1) Waarvoor heb je informatie nodig? Wat wil je bereiken? Stap 2) Wat voor informatie heb je nodig om dit doel te kunnen bereiken? Stap 3) Wie beschikt over deze informatie? Wie moet je bevragen? Tip: Focus niet alleen op de inhoud. Probeer vooraf zo veel mogelijk over de doelgroep te weten te komen. Want je enquête valt en staat met de manier waarop je deze doelgroep benadert!

6 Discussie Kun je beter één lange of meerdere korte enquêtes afnemen? Wat zijn de voor- en nadelen? Kun je monitoren het beste heel breed opzetten of liever smal? Wat zijn de voor- en nadelen?

7 Wat is een goede vraag?

8 Welke eigenschappen heeft een gesloten vraag? A) Inventariserend, beperkt, snel te verwerken B) Explorerend, vrij, lange verwerkingstijd C) Vraagt veel kennis over onderwerp D) Weinig betrouwbaar Welke vraagvorm kies je? Altijd een gesloten vraag aan het einde?

9 Checklist voor een goede vraag: formulering Begrijpelijk: Formuleer niet te ingewikkeld, gebruik eenvoudige taal: geen vakjargon en afkortingen: sluit aan bij het taalgebruik van de doelgroep Vereis zo min mogelijk voorkennis Vermijd ontkennende vragen Neutraal, niet leidend Formuleer niet suggestief: laat emotioneel geladen begrippen of vragen waarin een opinie wordt uitgesproken achterwege Houd bij gevoelige vragen rekening met sociale wenselijkheid! Eenduidig Gebruik geen dubbelzinnige, vage woorden of frequentietermen, normatieve kwalificaties (bv. normaal, gewoon, regelmatig, voldoende ) Vraag in elke vraag maar naar één aspect

10 Checklist voor een goede vraag: statistieken Zijn de variabelen normaal verdeeld? (skewness van 0; tussen -1 en 1) Vallen de modus, mediaan en het rekenkundig gemiddelde samen? Is er sprake van voldoende variantie? Is de verdeling ééntoppig (unimodaal)? Is de verdeling niet afgevlakt (kurtosis van 0; tussen -1 en 1) Hoe verhouden de vragen zich onderling (is er een grote overlap; voegt elke vraag voldoende nieuwe informatie toe: correlatie van 0,8 of hoger) Is er verschil in deze karakteristieken van variabelen aan het eind of aan het begin van de vragenlijst?

11 Welke antwoordschaal kies ik?

12 Antwoordvormen Vragen of stellingen? De inhoud van de opleiding is van voldoende niveau Hoe tevreden ben je over de inhoud van de opleiding? Geef een rapportcijfer voor de inhoud van de opleiding? Over welke van onderstaande aspecten van je opleiding ben je tevreden? Welke schaal? Likertschaal: zeer oneens zeer eens Vijfpuntschaal: zeer ontevreden zeer tevreden Rapportcijfer: 1-10 Multi respons

13 Onderzoek naar antwoordschalen Aan studenten gevraagd naar tevredenheid over hun opleiding Experimentele opzet! Antwoorden op verschillende antwoordschalen: 10-punt 6-punt 5-punt (neutraal) 5-punt Likertschaal Rapportcijfer

14 Verdeling van de antwoordschalen (%)

15 Keuze voor vijfpuntschaal Minst scheef verdeeld Goede internationale aansluiting Niet normatief

16 En de duurste auto van Nederland Hoeveel ben je bereid voor een auto te betalen? a) b) c) Hoeveel ben je bereid voor een auto te betalen? a) b) c) d) Hoeveel ben je bereid voor een robomobiel te betalen?

17 Checklist voor een goede antwoordschaal Alle antwoordmogelijkheden aanwezig? Sluiten de antwoordmogelijkheden elkaar uit? (geen overlap!) Antwoordmogelijkheden in een logische volgorde? Neutrale antwoordmogelijkheid gegeven? (TIP: vermijd als het kan de optie weet niet ) Maak zo veel mogelijk gebruik van dezelfde antwoordschalen Geen anker-effecten aanwezig?

18 Hoe structureer ik mijn vragen?

19 Van algemeen naar bijzonder: HALO-effect NIET: Hoe tevreden ben je met je huwelijk? Hoe tevreden ben je met je leven? MAAR: Hoe tevreden ben je met je leven? Hoe tevreden ben je met je huwelijk? HALO-effect: het verschijnsel waarbij de aanwezigheid van een bepaalde kwaliteit bij de waarnemer de suggestie geeft dat andere kwaliteiten ook aanwezig zijn.

20 Gedrag-attitude link NIET: Hoe vaak gebruik je de auto terwijl je ook had kunnen fietsen? Hoe belangrijk vind je milieubewust leven? MAAR: Hoe belangrijk vind je milieubewust leven? Hoe vaak gebruik je de auto terwijl je ook had kunnen fietsen?

21 Checklist voor een goede structuur Onderwerpen moeten logisch op elkaar aansluiten Houd rekening met de aandachtscurve (wie is je doelgroep en wat is hun aandachtscurve?) Interessante/smaakmakende vragen aan het begin Moeilijkste of belangrijkste vragen in het midden Makkelijke en minder belangrijke vragen aan het einde HALO en anker-effecten: kijk goed of en hoe de vragen/antwoorden elkaar kunnen beinvloeden Let ook op de gewoonte-bias!

22 Voorbeeld 1: Studentenmonitor Hoger Onderwijs 1. Opleiding 2. Studievoortgang 3. Voorafgaand aan je opleiding 4. Na je opleiding 5. Master 6. Achtergrondkenmerken 7. Ouders 8. Functiebeperking 9. Kwaliteit en studeerbaarheid 10. Internationalisering 11. Betaalde arbeid 12. Tijdbesteding 13. Bèta en techniek 14. Inkomsten en uitgaven 15. Afsluiting

23 Voorbeeld 2: NSE 1. Achtergrondkenmerken 2. Algemeen oordeel 3. De inhoud en opzet van het onderwijs 4. Algemene vaardigheden 5. Wetenschappelijke vaardigheden 6. Voorbereiding beroepsloopbaan 7. De docenten aan de opleiding 8. Studiebegeleiding 9. Toetsing en beoordeling 10. Informatie vanuit de opleiding 11. Studieroosters 12. Studielast 13. Contacttijd 14. Groepsgrootte 15. Stages 16. Studiefaciliteiten 17. Kwaliteitszorg 18. Overige faciliteiten en studieomgeving 19. Woonsituatie 20. Handicap en studie 21. Internationale studenten 22. The ultimate question

24 Kennis delen Wat zijn jullie ervaringen bij het opzetten van een vragenlijst/enquête? Waar ben je tegen aan gelopen en hoe heb je dat opgelost? Wat zijn volgens jou de meest gemaakte fouten?

25 Zelf vragen toevoegen

26 Voor- en nadelen Goedkoop en makkelijk Professioneel advies beschikbaar Vragenlijst wordt langer (kans op lagere respons) Vaak aan het einde van bestaande vragenlijst (vermoeidheid) Vaak niet gevalideerd

27 Tips voor goede aanvullende vragen Let erop dat de vragen passen binnen het doel van de vragenlijst Probeer de vragen qua stijl zo veel mogelijk te laten aansluiten bij de oorspronkelijke vragenlijst (antwoordschaal, manier van vragen) Voer vooraf een kwalitatieve analyse op de vragen uit en na de eerste afname ook een kwantitatieve en statistische analyse Eigen ervaringen?

28 Validiteit & betrouwbaarheid

29 Bij een betrouwbare vragenlijst: A) Meet je wat je wilt meten B) Meet je steeds hetzelfde C) Is je vragenlijst representatief voor de gehele populatie D) A), B) en C) zijn allemaal juist

30 Validiteit en betrouwbaarheid: belangrijke aspecten Betrouwbaarheid als basisvoorwaarde Is de vragenlijst vrij van toevallige fouten? Meten we op de juiste manier? Gebruik je de juiste meetlat? Inhoudsvaliditeit (indruksvaliditeit of face-value) Meten we wat we beogen te meten? Constructvaliditeit (begripsvaliditeit) Zijn we niets vergeten? Draagt elk item bij aan het te meten concept?

31 Inhouds- en constructvaliditeit, bijv. validatie NSE Desk research Onderzoek naar antwoordschalen Delphi onderzoek (experts) Focusgroepen en interviews (doelgroep) Pilot testing (HetStudentenpanel) Analyse NSE2009 en STO

32 Discussie Hoe is bij de ontwikkeling van de NSE rekening gehouden met de wensen van zo veel verschillende stakeholders? Is het zinvol om bij een vragenlijstconstructie zo veel mensen te betrekken? Wat zijn voor- en nadelen? Wat zijn valkuilen?

33 Hoe zit dit in de NSE? Een paar voorbeelden (hbo)

34 Wat voegt elke vraag nog toe?

35 DUS Is de vragenlijst vrij van toevallige fouten? (statistische analyse) Meten we wat we beogen te meten? (kwalitatieve analyse) Is er niets vergeten en draagt elk item bij aan het te meten concept? Is er voldoende variantie? (kwantitatieve analyse) Hoe kan de lengte van de vragenlijst worden geoptimaliseerd zonder informatieverlies? Behoefte aan detailinformatie Behoefte aan betrouwbare themascores Feitelijk gebruik van de informatie

36 Wijzigingen & trendeffecten

37 Discussie Je kunt beter een nieuwe vragenlijst construeren dan een oude veranderen. Bij een monitor is het juist belangrijk dat je niets verandert om een trendbreuk te voorkomen. Wat is de grootste valkuil bij het aanpassen van een bestaande vragenlijst? Hoe verwerk je een trendbreuk in de databestanden?

38 NSE wat te doen met een trendbreuk

39 Kennis delen Wat zijn volgens jullie de voor- en nadelen van het aanpassen van bestaande monitoren? Heb jij hier een goed voorbeeld van? Wat zijn voor de beleidsmaker de grootste problemen/baten bij een dergelijke aanpassing?

40 Discussie: vragen uit de NSE-werkgroep Moet de NSE meer rekening houden met verschillende doelgroepen (bv. deeltijdstudenten, internationale studenten, masterstudenten, afstandsonderwijs)? Waarom wel/niet? Hoe kan de NSE omgaan met de ontwikkeling naar meer modulair onderwijs? Wat zijn de voorwaarden en wat betekent dit voor de vragenlijst?

41 Interpretatie & toepassing: van data tot kwaliteit

42 Let bij interpretatie op: Niet-significante verschillen zijn geen verschillen! Significante verschillen zijn soms niet relevant! Wees kritisch op ranglijsten: wanneer is de ene opleiding beter dan een andere? Beleid is pas mogelijk als er ook stuurinformatie beschikbaar is! Tevredenheid is NIET GELIJK aan kwaliteit (kan soms misschien zelfs een indicatie zijn van gebrek aan kwaliteit): doe nadere analyses naar de herkomst van tevredenheid en analyseer informatie uit diverse bronnen!

43 Bijv.: tevredenheid en studiehouding en -gedrag

44 Bijv.: tevredenheid en zwaarte van de vakken

45 Let bij interpretatie verder op: De effecten van niet-beïnvloedbare aspecten op de oordelen: welk deel is beïnvloedbaar? Voorbeelden van compositie-effecten Is mijn opleiding écht beter dan de andere? Waar moet ik bij de interpretatie op letten?

46 Wees alert op compositie-effecten Het algemeen oordeel Correctie voor isat en brin Correctie voor geslacht, leeftijd, eerstejaars en functiebeperking Voltijd bachelor Respons groter of gelijk aan 20 Regressieanalyse Oorspronkelijke verschillen en restverschillen vergeleken

47 Algemeen oordeel en correctie

48 Interpretatie en discussie Wat was het doel van de NSE en andere kwaliteitsinstrumenten? In hoeverre kan de NSE gebruikt worden voor kwaliteitszorg? In hoeverre kan de NSE gebruikt worden voor ranglijsten? Hoe combineer je de NSE met andere kwaliteitsindicatoren? Hoe gebruik je deze geïntegreerde informatie voor kwaliteitszorg? Hoe creëer je op basis hiervan stuurinformatie? Wat zijn valkuilen? Do s en don ts!