Bijeenkomst 3 1
Programma Mini-presentaties Vragenlijst maken Kwaliteit van de vragenlijst: betrouwbaarheid en validiteit Vooruitblik: analyse van je resultaten Aan de slag: - Construct-> dimensies -> indicatoren -> items vragenlijst - Pilot met de vragenlijst - Plannen van het onderzoek. 2
Mini-presentaties Per werkteam: 10 minuten presentatie en 10 minuten feedback Presentatie: je onderzoeksvraag het construct de operationalisatie van het construct Feedback: help elkaar! 3
VRAGENLIJSTEN: voordelen en nadelen? Bedenk er 2 van beide met je buurman/-vrouw in de komende 4 minuten 4
Voordelen Nadelen Makkelijke en relatief goedkope manier om van veel mensen informatie te krijgen. Je kunt de gegevens snel bewerken en makkelijk berekeningen maken. De door respondenten gegeven antwoorden zijn niet altijd betrouwbaar en valide door: slechte zelfkennis, selectief geheugen, sociale wenselijkheid. De onderzoeksresultaten zijn nogal eens vertekend door een selectieve non-respons. 5
Hoe maak ik vragen? Dit betreft het niet-likertdeel van de enquête. Let op Vorm en Inhoud Vorm: Open vragen, gesloten m.c.-vragen, halfopen vragen (m.c. vragen met een open alternatief en/of toelichting bij een gekozen alternatief), rating- of beoordelingsschaal. Voorbeeld Stelling of vraag: Ik zit in de put. 0 altijd 0 helemaal mee oneens 0 vaak 0 mee oneens 0 soms 0 niet eens/niet oneens 0 nooit 0 eens 0 helemaal mee eens 6
Inhoud: formulering Is de vraag voor iedereen duidelijk? Kun je de vraag op verschillende manieren uitleggen? Is de vraag op alle respondenten van toepassing? Is de vraag te beantwoorden? Een goede vraag is/ gaat uit van: Concreet Begrijpelijk Eenduidig Neutraal Ethisch verantwoord Juiste verwachtingen Bijv: In hoeverre let u bij het kopen van biologische producten op het ECO-keurmerk? 7
Een bijzondere meerkeuzevraag is de klassieke Likert-schaal: De tentamens moeten meer over het jaar gespreid worden Helemaal mee oneens (1) Mee oneens (2) Niet eens/niet oneens (3) Mee eens (4) Helemaal mee eens (5) De alternatieven krijgen een getalcode (1 t/m 5) die je in bijv. Excel kunt invoeren resultaten zijn te analyseren! Advies: substantieel deel Likert-vragen stellen (bijvoorbeeld i.e.g. Likert-vragen). 8
Opbouw vragenlijst Opbouw Welke volgorde van vragen is logisch? Overzichtelijke lay-out. Introductie (brief of intro op vragenlijst): o Waar gaat het onderzoek over, wie is onderzoeker? o Wat is het doel en relevantie van het onderzoek? o Hoeveel tijd kost het? o Geef aan dat het vertrouwelijk en anoniem is. o Toon waardering 9
Opdracht: Analyseren vragenlijst Woonenquête 1. Vul de vragenlijsten in. 2. Kijk daarbij kritisch naar de vragenlijst; wat valt op? (schrijf dit op) 10
Validiteit = meet de meting wat we willen dat er wordt gemeten? (is een gezonde meting) - Overeenstemming tussen construct en true score Betrouwbaarheid = herhaalbaarheid: als we iets de ene keer meten dan moet er een andere keer hetzelfde uitkomen; verifieerbaarheid: door anderen moet dezelfde uitkomst worden verkregen. Zo niet, dan zijn daarvoor verantwoordelijke variabelen identificeerbaar. - Overeenstemming tussen gemeten score en t.s. true score = de werkelijke score die we in een ideale meetsituatie zouden bereiken. 11
Betrouwbaarheid & Validiteit Betrouwbaarheid is de mate waarin toevallige factoren het testresultaat bepalen. Hoe groter die invloed, hoe lager de betrouwbaarheid. (Peet & Everaert, 2011, p.273) Betrouwbaarheid is een voorwaarde voor validiteit Validiteit is de mate waarin een instrument aan zijn doel beantwoordt. (Peet & Everaert, 2011, p.273) 12
Betrouwbaarheidsanalyse bij vragenlijsten Betrouwbaarheid van de vragenlijst a.d.h.v. Cronbach s alfa. Cronbach s alfa is een maat voor interne consistentie van de vragen: alfa geeft een indicatie van de mate waarin de vragen van de test hetzelfde meten. Correlatie van 1 = perfecte samenhang Correlatie van 0 = geen samenhang Correlatie van -1 = negatieve samenhang Correlatie van 0.7 is de grens. 13
Analyse van de data; Excel, SPSS of via Survey Monkey of Google Docs Maak na deze les een excelbestand (of SPSS-bestand) aan of maak een vragenlijst aan via Survey Monkey of Google Docs (volgende sheet) Excel: zelf gegevens invoeren en daarna analyse. Voorbeeldfilmpjes: https://cursussen.sharepoint.hu.nl/fe/99/svo/pgoweblectures/sitepages/exc el.aspx 8 Invoeren enquêtegegevens 9.1 Werken met Likertschalen 9.2 Werken met Likertschalen Cronbach s alfa 14
Analyse van de data; Google Docs Digitale afname (link versturen). Resultaten direct in spreadsheet. Zie voor simpele instructie bijvoorbeeld: Vragenlijsten via Google Docs 15
Analyse van de data; beantwoording onderzoeksvraag Welke analyse(s) nodig?: hangt af van onderzoeksvraag! Bijvoorbeeld: in hoeverre zijn mannen jaloerser dan vrouwen? 2 gemiddeldes op jaloezie vergelijken! Bijvoorbeeld: in hoeverre hangt leeftijd samen met geluk in de liefde.? Correlatie tussen leeftijd en geluk in de liefde berekenen! 16
Waarom pretesten Veel fouten kom je pas tegen als je met de lijst hardop aan de slag gaat, bijv. over: De relevantie van vragen (moet er een filtervraag bij?) De duidelijkheid en moeilijkheid van vragen Aantrekkelijkheid en duur van de lijst Bij wie? Liefst iemand die weinig ervaring heeft met vragenlijsten. Liefst (ook) iemand die erg lastig kan zijn en kritisch. Vraag de persoon hardop mee te denken. Iemand uit de doelgroep indien mogelijk. 17
De pretest pretest vragenlijst pretester legt proefrespondent vragenlijst voor onbevangen invulling van de vragenlijst door proefrespondent. bespreking invulling: welke vragen zijn onduidelijk? welke vervelend om te beantwoorden? loopt de vragenlijst? is de volgorde van vragen logisch? hoe is de opmaak? zijn er nog aandachtspunten in houding en spreken? noteren van besprekingspunten en bijwerken van de vragenlijst 18
19
Deel 2 : nu aan de slag! - Vragenlijst maken : Construct-> dimensies -> indicatoren -> items vragenlijst - Pretest met de vragenlijst - Planning van het onderzoek 20
Huiswerk Vragenlijst afmaken. Pretest: mondelinge afname bij minimaal 3 respondenten. Eventueel: Excel/SPSS bestand maken of vragenlijst via Google Docs aanmaken. Basisboek Enquêteren: H5 bestuderen. Basisboek Interviewen: H1, H2 en H3 bestuderen. Onderzoek plannen en starten : afname vragenlijsten. 21