College Week 3 Kwaliteit meetinstrumenten; Inleiding SPSS Inleiding in de Methoden & Technieken 2013 2014 Hemmo Smit
Overzicht van dit college Kwaliteit van een meetinstrument Inleiding SPSS Hiervoor lezen: Leary: Hoofdstuk 3 (pp.53-70) Howell: Hoofdstuk 1 ( 1.1 en 1.2)
2 aspecten van kwaliteit van een meting Doel van onderzoek: variabiliteit verklaren (week 1) Ideaal: variabiliteit in meting = variabiliteit in eigenschappen 1. Betrouwbaarheid = de mate waarin we correct / zorgvuldig meten (geen toevalsfouten) 2. Validiteit = de mate waarin we meten wat we willen meten (geen systematische fouten)
Betrouwbaarheid = de mate waarin wordt gemeten zonder toevalsfouten Geobserveerde score (de meting) Totale Variantie Systematische score = (ware score) + Systematische = Variantie + Toevalsfout (meetfout) Foutenvariantie Betrouwbaarheid = Proportie Verklaarde Variantie (VAF) Betrouwbaa rheid Systematische (ware score) variantie Totale(geobserveerde) variantie
( y y) ) Betrouwbaarheidscoëfficiënten Ligt tussen 0 en 1. Vuistregel:.70 of meer is voldoende Vaststellen d.m.v. herhaald meten 1) Test-hertest betrouwbaarheid 2) Paralleltest betrouwbaarheid LET OP! Voor diagnostiek hogere betrouwbaarheid noodzakelijk! 3) Interne Consistentie (ook: Inter-item betrouwbaarheid) 4) Replicatie (heel onderzoek)
( y y) ) Betrouwbaarheidscoëfficiënten (1) 1) Test-hertest betrouwbaarheid - één meting of heel instrument - 2 maal meten en overeenstemming bepalen - consistentie van meting door tijd heen 2) Paralleltest betrouwbaarheid - één meting of heel instrument - Als test-hertest, maar 2e meting met parallel instrument
( y y) ) Betrouwbaarheidscoëfficiënten (2) 3) Interne consistentie (ook: Inter-item betrouwbaarheid) - Voor heel instrument - Samenhang items in instrument (schaal) 4) Replicatie - Voor heel onderzoek - Onderzoek nogmaals uitvoeren en overeenstemming bekijken
Interne consistentie (Inter-item betrouwbaarheid) Instrument bestaat uit items die allemaal hetzelfde construct/concept (proberen te) meten. Herhaald meten: - Ieder item is klein meetinstrumentje - Alle items zijn paralleltestjes van elkaar Scores van respondenten op de vragen komen overeen: Hoog hoog en laag-laag (NB. Let op ompolen!) Let op! Interne consistentie wordt altijd hoog als je 10x nagenoeg hetzelfde vraagt denk aan inhoudsvaliditeit!
( y y) ) Maten voor Interne consistentie 1) Item-total correlation 2) Split-half betrouwbaarheid 3) Cronbach s Alpha
( y y) ) Beoordeling van Cronbach s α Hoe dichter bij 1 hoe hoger de interne consistentie α beoordeling <.60 Onvoldoende.60-.80 Redelijk tot goed >.80 Goed LET OP! Voor diagnostiek hogere α noodzakelijk!
Betrouwbaarheid: Bronnen van toevalsfouten Geobserveerde score = systematische score + toevalsfout (de meting) (ware score) (meetfout) 1) tijdelijke toestanden (transient states) 2) stabiele eigenschappen respondent 3) situationele factoren 4) eigenschappen van instrument 5) fouten door onderzoeker
( y y) ) Betrouwbaarheid Verbeteren Elimineren van toevalsfouten (meetfouten) 1) standaardiseren afname instrument 2) heldere instructies en vragen (check met pilot study) 3) trainen observatoren 4) minimaliseren fouten bij verwerking
( y y) ) Validiteit = de mate waarin gemeten wordt wat bedoeld is Geobserveerde score = systematische score + toevalsfout (de meting) (ware score) (meetfout) Systematische score X Systematische fout (= Bias) LET OP! Validiteit vereist Betrouwbaarheid, maar niet omgekeerd
Validiteit meetinstrument (1) 1) Face validity Lijkt het instrument op het oog valide? 2) Inhoudsvaliditeit (Content validity) - Wordt het gehele inhoudelijke domein gedekt? - vereist onafhankelijke beoordelaars NB. Staat niet in Leary
Validiteit meetinstrument (2) 3) Constructvaliditeit Samenhang met andere metingen? a) Convergente validiteit: Sterke samenhang met instrumenten die vergelijkbaar of tegengesteld construct meten b) Discriminante validiteit: zwakke/geen samenhang met instrumenten die (heel) ander construct meten 4) Criteriumvaliditeit Samenhang met bepaald (gedrags)criterium? a) Concurrente Validiteit: criteriumgedrag nu b) Predictieve Validiteit: criteriumgedrag in de toekomst
Validiteit geheel onderzoek Statistische Validiteit: Is data-analyse correct? Interne Validiteit: Zijn alternatieve verklaringen uitgesloten? Externe Validiteit: Is het resultaat generaliseerbaar? Construct Validiteit: Zijn alle gebruikte instrumenten valide?
SPSS Data view
SPSS Variable view (2)
SPSS Variable view: Type
SPSS Variable view: Values (1)
SPSS Variable view: Values (2)
SPSS Variable view: Missing
SPSS Variable view: Measure
SPSS Menu: Data
SPSS Menu: Transform
SPSS Menu: Analyze
SPSS Menu: Graphs
SPSS Menu: Help
Wat heb je vandaag geleerd? Wat zijn betrouwbaarheid en validiteit? Wat zijn de verschillende vormen van betrouwbaarheid? Wat zijn de verschillende bronnen van toevalsfouten? Wat zijn de verschillende vormen van validiteit? Hoe interpreteer je een betrouwbaarheidscoëfficiënt?
Volgende week Inspecteren van data: Verdelingen Hiervoor lezen: Leary: Hoofdstuk 6 Howell: Hoofdstuk 2