College Week 3 Kwaliteit meetinstrumenten; Inleiding SPSS

Transcriptie

1 College Week 3 Kwaliteit meetinstrumenten; Inleiding SPSS Inleiding in de Methoden & Technieken Hemmo Smit

2 Overzicht van dit college Kwaliteit van een meetinstrument Inleiding SPSS Hiervoor lezen: Leary: Hoofdstuk 3 (pp.53-70) Howell: Hoofdstuk 1 ( 1.1 en 1.2)

3 2 aspecten van kwaliteit van een meting Doel van onderzoek: variabiliteit verklaren (week 1) Ideaal: variabiliteit in meting = variabiliteit in eigenschappen 1. Betrouwbaarheid = de mate waarin we correct / zorgvuldig meten (geen toevalsfouten) 2. Validiteit = de mate waarin we meten wat we willen meten (geen systematische fouten)

4 Betrouwbaarheid = de mate waarin wordt gemeten zonder toevalsfouten Geobserveerde score (de meting) Totale Variantie Systematische score = (ware score) + Systematische = Variantie + Toevalsfout (meetfout) Foutenvariantie Betrouwbaarheid = Proportie Verklaarde Variantie (VAF) Betrouwbaa rheid Systematische (ware score) variantie Totale(geobserveerde) variantie

5 ( y y) ) Betrouwbaarheidscoëfficiënten Ligt tussen 0 en 1. Vuistregel:.70 of meer is voldoende Vaststellen d.m.v. herhaald meten 1) Test-hertest betrouwbaarheid 2) Paralleltest betrouwbaarheid LET OP! Voor diagnostiek hogere betrouwbaarheid noodzakelijk! 3) Interne Consistentie (ook: Inter-item betrouwbaarheid) 4) Replicatie (heel onderzoek)

6 ( y y) ) Betrouwbaarheidscoëfficiënten (1) 1) Test-hertest betrouwbaarheid - één meting of heel instrument - 2 maal meten en overeenstemming bepalen - consistentie van meting door tijd heen 2) Paralleltest betrouwbaarheid - één meting of heel instrument - Als test-hertest, maar 2e meting met parallel instrument

7 ( y y) ) Betrouwbaarheidscoëfficiënten (2) 3) Interne consistentie (ook: Inter-item betrouwbaarheid) - Voor heel instrument - Samenhang items in instrument (schaal) 4) Replicatie - Voor heel onderzoek - Onderzoek nogmaals uitvoeren en overeenstemming bekijken

8 Interne consistentie (Inter-item betrouwbaarheid) Instrument bestaat uit items die allemaal hetzelfde construct/concept (proberen te) meten. Herhaald meten: - Ieder item is klein meetinstrumentje - Alle items zijn paralleltestjes van elkaar Scores van respondenten op de vragen komen overeen: Hoog hoog en laag-laag (NB. Let op ompolen!) Let op! Interne consistentie wordt altijd hoog als je 10x nagenoeg hetzelfde vraagt denk aan inhoudsvaliditeit!

9 ( y y) ) Maten voor Interne consistentie 1) Item-total correlation 2) Split-half betrouwbaarheid 3) Cronbach s Alpha

10 ( y y) ) Beoordeling van Cronbach s α Hoe dichter bij 1 hoe hoger de interne consistentie α beoordeling <.60 Onvoldoende Redelijk tot goed >.80 Goed LET OP! Voor diagnostiek hogere α noodzakelijk!

11 Betrouwbaarheid: Bronnen van toevalsfouten Geobserveerde score = systematische score + toevalsfout (de meting) (ware score) (meetfout) 1) tijdelijke toestanden (transient states) 2) stabiele eigenschappen respondent 3) situationele factoren 4) eigenschappen van instrument 5) fouten door onderzoeker

12 ( y y) ) Betrouwbaarheid Verbeteren Elimineren van toevalsfouten (meetfouten) 1) standaardiseren afname instrument 2) heldere instructies en vragen (check met pilot study) 3) trainen observatoren 4) minimaliseren fouten bij verwerking

13 ( y y) ) Validiteit = de mate waarin gemeten wordt wat bedoeld is Geobserveerde score = systematische score + toevalsfout (de meting) (ware score) (meetfout) Systematische score X Systematische fout (= Bias) LET OP! Validiteit vereist Betrouwbaarheid, maar niet omgekeerd

14 Validiteit meetinstrument (1) 1) Face validity Lijkt het instrument op het oog valide? 2) Inhoudsvaliditeit (Content validity) - Wordt het gehele inhoudelijke domein gedekt? - vereist onafhankelijke beoordelaars NB. Staat niet in Leary

15 Validiteit meetinstrument (2) 3) Constructvaliditeit Samenhang met andere metingen? a) Convergente validiteit: Sterke samenhang met instrumenten die vergelijkbaar of tegengesteld construct meten b) Discriminante validiteit: zwakke/geen samenhang met instrumenten die (heel) ander construct meten 4) Criteriumvaliditeit Samenhang met bepaald (gedrags)criterium? a) Concurrente Validiteit: criteriumgedrag nu b) Predictieve Validiteit: criteriumgedrag in de toekomst

16 Validiteit geheel onderzoek Statistische Validiteit: Is data-analyse correct? Interne Validiteit: Zijn alternatieve verklaringen uitgesloten? Externe Validiteit: Is het resultaat generaliseerbaar? Construct Validiteit: Zijn alle gebruikte instrumenten valide?

17 SPSS Data view

18 SPSS Variable view (2)

19 SPSS Variable view: Type

20 SPSS Variable view: Values (1)

21 SPSS Variable view: Values (2)

22 SPSS Variable view: Missing

23 SPSS Variable view: Measure

24 SPSS Menu: Data

25 SPSS Menu: Transform

26 SPSS Menu: Analyze

27 SPSS Menu: Graphs

28 SPSS Menu: Help

29 Wat heb je vandaag geleerd? Wat zijn betrouwbaarheid en validiteit? Wat zijn de verschillende vormen van betrouwbaarheid? Wat zijn de verschillende bronnen van toevalsfouten? Wat zijn de verschillende vormen van validiteit? Hoe interpreteer je een betrouwbaarheidscoëfficiënt?

30 Volgende week Inspecteren van data: Verdelingen Hiervoor lezen: Leary: Hoofdstuk 6 Howell: Hoofdstuk 2