College 2 Observeren en Meten

Transcriptie

1 College 2 Observeren en Meten Inleiding M&T Hemmo Smit

2 Overzicht van dit college Observeren en Meten van Variabelen Betrouwbaarheid en Validiteit Dataverzamelingsmethoden

3 Observeren en Meten van Variabelen Observeren = via waarneming individuen of hun gedrag in klassen (categorieën) indelen Meten = aan die waarden of categorieën getallen toekennen, waarmee gerekend kan worden Variabele = datgene dat varieert, een verzameling waarden of categorieën. Variabelen moeten (1) Uitputtend en (2) Wederzijds uitsluitend zijn.

4 Meetniveaus (Scales of Measurement) Meetniveau Omschrijving Operatoren CT* Nominaal Labels = tellen Modus Ordinaal Volgorde < > Mediaan Interval Gelijke afstanden nulpunt arbitrair + - Gem. Ratio Vast nulpunt, maar eenheid arbitrair x / Gem. Absoluut Nulpunt en eenheid vast n.v.t. Gem. * CT = Centrale tendentie

5 2 aspecten van kwaliteit van een meting Doel van onderzoek: variabiliteit verklaren (week 1) Ideaal: variabiliteit in meting = variabiliteit in eigenschappen 1. Betrouwbaarheid = de mate waarin we correct / zorgvuldig meten (geen toevalsfouten) 2. Validiteit = de mate waarin we meten wat we willen meten (geen systematische fouten)

6 Betrouwbaarheid = de mate waarin wordt gemeten zonder toevalsfouten Geobserveerde score (de meting) Systematische score = (ware score) + Toevalsfout (meetfout) Totale Variantie = Systematische = Variantie + Foutenvariantie Betrouwbaarheid = Proportie Systematische Variantie Betrouwbaa rheid = Systematische (ware score) variantie Totale (geobserveerde) variantie

7 ( y y) ) Betrouwbaarheidscoëfficiënten (1) Ligt tussen 0 en 1. Vuistregel: 0.70 of meer is voldoende Vaststellen d.m.v. herhaald meten Test-hertest betrouwbaarheid - één meting of heel instrument - 2 maal meten en overeenstemming bepalen - betrouwbaarheid van meting door tijd heen Paralleltest betrouwbaarheid - één meting of heel instrument - Als test-hertest, maar 2e meting met parallel instrument

8 ( y y) ) Betrouwbaarheidscoëfficiënten (2) Inter-item betrouwbaarheid (ook: Interne consistentie) - Voor heel instrument - Samenhang items in instrument (schaal) - Varianten: 1) Item-totaal correlatie 2) Split-half betrouwbaarheid 3) Cronbach s Alpha (week 3) Replicatie - Voor heel onderzoek - Onderzoek nogmaals uitvoeren en overeenstemming bekijken

9 Betrouwbaarheid: Bronnen van toevalsfouten Geobserveerde score = systematische score + toevalsfout (de meting) (ware score) (meetfout) 1) tijdelijke toestanden (transient states) 2) stabiele eigenschappen respondent 3) situationele factoren 4) eigenschappen van instrument 5) fouten door onderzoeker

10 ( y y) ) Betrouwbaarheid Verbeteren Elimineren van toevalsfouten (meetfouten) 1) standaardiseren afname instrument 2) heldere instructies en vragen (check met pilot study) 3) trainen observatoren 4) minimaliseren fouten bij verwerking

11 ( y y) ) Validiteit = de mate waarin gemeten wordt wat bedoeld is Geobserveerde score = systematische score + toevalsfout (de meting) (ware score) (meetfout) System. score Bias (system. fout)x LET OP! Validiteit vereist Betrouwbaarheid, maar niet omgekeerd

12 Validiteit meetinstrument (1) Face validity Lijkt het instrument op het oog valide? Inhoudsvaliditeit (Content validity) - Wordt het gehele inhoudelijke domein gedekt? - vereist onafhankelijke beoordelaars NB. Staat niet in Leary

13 Validiteit meetinstrument (2) Constructvaliditeit Samenhang met andere metingen? a) Convergente validiteit: Sterke samenhang met instrumenten die hetzelfde /vergelijkbaar construct meten b) Discriminante validiteit: zwakke/geen samenhang met instrumenten die (heel) ander construct meten Criteriumvaliditeit Samenhang met bepaald (gedrags)criterium? a) Concurrente Validiteit: criteriumgedrag nu b) Predictieve Validiteit: criteriumgedrag in de toekomst

14 Validiteit geheel onderzoek Statistische Validiteit: Is data-analyse correct? Interne Validiteit: Zijn alternatieve verklaringen uitgesloten? Externe Validiteit: Is het resultaat generaliseer? Construct Validiteit: Zijn alle gebruikte instrumenten valide?

15 Dataverzamelingsmethoden 1) Observatie 2) Fysiologische en neurowetenschappelijke methoden 3) Zelfrapportage 4) Archiefonderzoek 5) Inhoudsanalyse (Content Analysis)

16 1. Observatie = Directe observatie van gedrag 3 beslissingen: a. Wat is de onderzoekssetting? b. Weten deelnemers dat ze worden geobserveerd of niet? c. Hoe wordt het gedrag precies geregistreerd? Betrouwbaarheid observaties verbeteren door: - Goede operationele definities - Goede training van observatoren

17 1a. Setting Naturalistisch Kunstmatig (contrived) Observeren zoals het zich voordoet Observeren in kunstmatige setting Bijv. Participerende observatie Bijv. Laboratoriumexperiment Observatie in gecontroleerde omgeving Veldexperiment Situatie in echte wereld gecreëerd

18 1b. Mate van verborgenheid Openlijk (undisguised) vs. Verborgen (disguised) Openlijk reactiviteit Verborgen ethische problemen Oplossingen: - Half verborgen (partial concealment) - Indirecte observatie via informanten - Unobtrusive measures

19 1c. Type Gedragsregistratie 1) Verhalen noteren (narratives) 2) Checklists 3) Tijdmaten 4) Observationele rating scales

20 2. Fysiologische en Neurowetenschappelijke methoden Principe: gedrag, gedachten en emoties ontstaan uit processen in zenuwstelsel - Neurale electrische activiteit (bijv. EEG, EMG) - Neuroimaging (bijv. fmri) - Autonome zenuwstelsel (bijv. harslag, bloeddruk) - Bloed- en speeksel (bijv. Hormoonspiegel) - Zichtbare reacties (bijv. blozen) Metingen zijn indicatie van mentale of emotionele activiteit

21 3. Zelfrapportage A. Vragenlijsten (questionnaires) + Meestal goedkoper + Betere garantie anonimiteit B. Interviews + Controle of vraag begrepen is + Mogelijkheid tot doorvragen - Niet bij kinderen, analfabeten etc.! Goede training interviewers

22 Goede vragen formuleren 1. wees specifiek, precies, eenvoudig en kort 2. doe geen onterechte aannames 3. geef voorwaardelijke informatie eerst 4. geen dubbelloops vragen (double-barreled questions) 5. kies een geschikte response format 6. probeer vragen uit in pilot study Gebruik indien mogelijk bestaande, valide, betrouwbare en geaccepteerde vragenlijsten

23 Response Format 1) Free-response format (open vraag) + Niet sturend en uitgebreid - antwoorden coderen en analyseren 2) Rating scale + makkelijk invullen en verwerken! Keuze voor schaal (4, 5, 7,?)! Keuze voor labels (wel/niet? Welke?) 3) Multiple choice (fixed alternative response format)! Keuze voor labels en antwoordopties

24 3. Zelfrapportage: response bias 1. Sociale wenselijkheid (social desirability) 2. Ja-knikken (Acquiescence response style) Nee-schudden (Nay-saying response style)

25 4. Archiefdata Geschikt voor: 1) Dingen uit verleden in nieuw theoretisch kader plaatsen 2) Verandering over tijd meten 3) Vraagstellingen over kenmerken van documenten 4) Zeldzame gebeurtenissen Nadeel: Geen controle voor onderzoeker

26 5. Inhoudsanalyse (content analysis) Doel: eenheden in tekst coderen in zinvolle categorieën Nodig voor inhoudsanalyse: bepalen van eenheden coderingssysteem en coderingsregels Gebruik voor grotere betrouwbaarheid: bestaand coderingssysteem meerdere codeerders ( inter-rater reliability) software

27 Volgende week Interne Consistentie: Cronbach s Alpha Berschrijvend Onderzoek Steekproeven trekken Stof: - Leary H.3 (p , herh.), H.5 en H.6 (p ) - Werkboek: Aanvullende tekst 5