Kwantitatieve modellen. Harry B.G. Ganzeboom 18 april 2016 College 1: Meetkwaliteit

Transcriptie

1 Kwantitatieve modellen voor BCO PMC Harry B.G. Ganzeboom 18 april 2016 College 1: Meetkwaliteit

2 Drie colleges Validiteits- en betrouwbaarheidsanalyse Causale analyse met confounding en mediatie Causale analyse met moderatie 2

3 Aanpak Vogelvlucht: 3 colleges Meer achtergrond: complete serie colleges gegeven bij B&O BA Project 2 Stappenplannen Validiteits (factor) analyse Betrouwbaarheidsanalyse Regressie-analyse Causale modellen: confounding en mediatie Causale modellen met moderatie Oefening: 3 praktica 3

4 Correlatie In sociaal-wetenschappelijk onderzoek gaat het om het vaststellen van samenhangen tussen variabelen. Bivariate analyse: samenhang tussen 2 variabelen Multivariate analyse: samenhang tussen meerdere variabelen. Bivariate analyse: correlatie (pearson s) r. De correlaties tussen meerdere variabelen worden bijeengezet in een correlatiematrix dit is nog steeds bivariate analyses. Multivariate analyse: het lineaire (multiple regressie) model: Y = B0 + B1*X1 + B2*X2 etc Hier zijn we in de coefficienten B0, B1, B2 geinteresseerd. Een bivariate correlatie is een bijzonder vorm van regressie (nl de B1 in een enkelvoudig regressiemodel. 4

5 Correlaties Correlaties zijn covarianties tussen gestandaardiseerde variabelen. Correlaties variëren tussen -1 en +1, met 0 als neutraal punt. Cohen s karakteristieken: Ca. 0.10: zwak Ca. 0.25: matig sterk Ca. 0.50: sterk In onderzoek zitten we meestal aan achter zwakke correlatiest. Matige en sterke correlaties hebben doorgaans betrekking op zaken waarnaar we geen onderzoek meer hoeven te doen. 5

6 Kwaliteit van meten: validiteit en betrouwbaarheid De uitkomsten van je analyse hangen af van de kwaliteit waarmee je variabelen gemeten hebt. Meetkwaliteit valt uiteen in twee aspecten. Validiteit: meet ik wat ik wil meten? Meet ik het goed (of deels -- het verkeerde)? Betrouwbaarheid: meet ik stabiel? Komt er bij hermeting (telkens, ongeveer) hetzelfde uit? 6

7 Validiteit en betrouwbaarheid Metingen dienen zowel betrouwbaar als valide te zijn. Betrouwbaarheid is een noodzakelijke, maar niet voldoende voorwaarde voor validiteit. Dwz: je kunt iets heel betrouwbaar meten, maar de meting behoeft niet valide te zijn. Andersom gaat niet: als een meting niet betrouwbaar is, kan ze niet valide zijn. Maar zowel in betrouwbaarheid als validiteit izjn te meten op een glijdende schaal; het zijn geen 0/1 fenomenen. 7

8 Onbetrouwbaar & 8

9 Schot in de roos? Het voorgaande diagram (schieten op een roos) is enigszins misleidend. Het suggereert dat validiteit en betrouwbaarheid onafhankelijke van elkaar staan. Het plaatje laat niet zien dat de combinatie wel valide, niet betrouwbaar, eigenlijk niet kan bestaan. Meer behulpzaam is het volgende plaatje (causaal diagram). 9

10 Meetfouten 10

11 Meetfouten Meetfout is elk verschillen tussen het ware kenmerk (dat je zou willen meten) en het kenmerk zoals gemeten. Onbetrouwbaarheid wordt veroorzaakt door random meetfouten: de meetfouten ontstaan door volstrekt toeval. Invaliditeit wordt veroorzaakt door andere variabelen in het model: de meetfout ontstaan systematisch, 11

12 Validiteits- en betrouwbaarheidsanalyse De twee statistische technieken om meetkwaliteit te analyseren: zijn: Validiteit: factoranalyse Betrouwbaarrheid: betrouwbaarheidsanalyse / cronbach s alpha. In onderzoek moeten we eerste factor-analyse doen, en daarna betrouwbaarheidsanalyse. Maar in deze inleiding behandelen we ze andersom. 12

13 BETROUWBAARHEID 13

14 Betrouwbaarheid Onbetrouwbaarheid ontstaat door we random (geheel door het toeval) geregeerde meetfouten maken. We kunnen de mate van onbetrouwbaarheid van een meting vaststellen door de meting te herhalen. De betrouwbaarheid van een meting is gelijk aan de correlatie tussen de metingen bij herhaling (test-retest betrouwbaarheid). 14

15 Test-retest betrouwbaarheid wave1 wave2 X 1 X a a x1 x2 Betrouwbaarheid = a*1*a = r(x1,x2) 15

16 Problemen met test-retest In de praktijk komen we test-retest niet zo vaak tegen: Het is moeilijk om een vraag exact te herhalen binnen hetzelfde interview Alleen herhaalinterviews (in een paneldesign in twee waves) maken berekening mogelijk. Omdat het te meten kenmerk zelf tussen twee interviews kan veranderen, heb je ook vaak aan twee meetmomenten niet genoeg. Met drie waves lukt het wel. 16

17 3 wave panel design b c X X X a a a x1 x2 x3 We kunnen a berekenen via r12 = a*b*a, r23=a*c*a, r13=a*b*c*b 17

18 Alternatief: meerdere metingen binnen hetzelfde interview Als we een vraag niet willen (kunnen) herhalen binnen hetzelfde interview, kunnen we kiezen voor het stellen van soortgelijke vragen ( controlevragen ) in alternate form. Het lijkt voor de ondervraagden of het verschillende vragen zijn, maar we bedoelen in feite hetzelfde te meten. Als beide vragen redelijk betrouwbaar zijn, kunnen we ze het beste middelen (index) om een meetinstrument te maken. We zijn geinteresseerd in de betrouwbaarheid van deze index. 18

19 Multipele indicator meting Er bestaat ook een andere reden voor het meten van een concept via meerdere indicatoren. Een enkele vraag kan niet het hele concept meten. Als je meerdere vragen stelt, pak je telkens een ander aspect van het concept. Om deze reden volsta je meestal niet met twee indicatoren, meer zijn het er wat meer (tussen 3 en 10). Een vuistregel is dat je voor goede meting van een concept ten minste 3 indicatoren nodig hebt. 19

20 Cronbach s alpha Cronbach (1954) heeft uitgevonden hoe je uit de correlaties tussen meerdere indicatoren van een index de betrouwbaarheid van die index kunt schatten. Cronbach s alpha is niets anders dan een schatting van de correlatie tussen twee metingen van de betrokken index. Er bestaat geen algemeen aanvaarde norm: 0.60, 0.70, 0.80 worden allemaal wel genoemd. Sleebos-norm:

21 Cronbach s alfa De Cronbach s alfa geeft aan hoe betrouwbaar de items samen een construct meten. Cronbach s alfa geeft een schatting hoe de index gecorreleerd zou zijn met een volgende meting van die index. Ligt (bijna altijd) tussen 0 en betekent een voldoende 21

22 De lessen van Cronbach De formule van Cronbach s alpha geeft aan dat de betrouwbaarheid van een index op twee manieren afhangt van de correlaties tussen deze indicatoren: Hoe meer indicatoren, des te betrouwbaarder de index Hoe sterker de indicatoren gecorreleerd zijn, des te betrouwbaarder de index. Je kunt dus met slechte (zwak correlerende) indicatoren goed meten als je er maar veel hebt. 22

23 SPSS Reliability SPSS Reliability stelt je in staat om Cronbach s alpha te berekenen voor een verzameling indicatoren van hetzelfde concept. Via alpha if item deleted kun je zoeken naar de hoogst mogelijke alpha bij een gegeven indicatoren verzameling. 23

24 Issues bij betrouwbaarheidsanalyse De procedure veronderstelt dat de indicatoren hetzelfde concept meten (eendimensionaliteit). Je kunt aan een betrouwbaarheidsanalyse niet zien of dat zo is. Indicatoren moeten op dezelfde schaal en met dezelfde richting ( poling ) gemeten zijn. De procedure gaat uit ervan uit dat er geen missing values zijn. Als die er wel zijn, kun je je lelijk vergissen in de interpretatie. De Cronbach s alpha is de betrouwbaarheid van de index, niet van de indicatoren. Zie verder: Stappenplan Betrouwbaarheidsanalyse 24

25 VALIDITEIT 25

26 Validiteitsanalyse We spreken van invaliditeit (of: ongeldigheid) als de meting (systematisch) beinvloed wordt door iets anders dan het bedoelde kenmerk. Invaliditeit = systematisch meetfout We kunnen systematische meetfouten op het spoor komen via factor-analyse. 26

27 Het model (initieel - 1) F1 y1 y2 y3 y4 y5 y6 27

28 Het model (initieel - 2) F1 F2 y1 y2 y3 y4 y5 y6 28

29 Het model (initieel - 3) F1 F2 F3 y1 y2 y3 y4 y5 y6 29

30 Factoranalytisch model Een of meerdere latente (onzichtbare, maar wel bestaande variabelen) veroorzaken de correlaties tussen gemeten variabelen (de indicatoren. Op basis van het voorgaande model verwachten we: Correlaties tussen alle indicatoren (door F1) Extra hoge correlaties tussen y1-y3 (door F2) en tussen y4- y6 (door F3). Denk aan: algemene intelligentie (F1) en twee specifieke intelligenties (bv reken en taal knobbel). Hetzelfde model kan ook anders 30

31 Het model na rechte rotatie F1 F2 y1 y2 y3 y4 y5 y6 31

32 Het model na scheve rotatie F1 F2 y1 y2 y3 y4 y5 y6 32

33 Het factoranalytisch model Het model met scheve rotatie heeft twee soorten elementen om de correlaties tussen indicatoren te verklaren: De ladingen (effecten van latente factoren op gemeten indicatoren. Correlatie tussen latente factoren. 33

34 De kruislading We constateren invaliditeit (het feit dat een indicator meerdere latente variabele meet) aan de hand van een kruislading: er bestaan relaties tussen een indicator en meerdere latente variabelen. Indien er sprake is van een kruislading, kunnen we de betreffende indicator niet meer gebruiken voor het construeren van een index. Het is enigszins arbitrair wanneer we spreken van een kruislading. De Sleebos-norm hier is

35 Het model met kruislading F1 F1 Kruislading y1 y2 y3 y4 y5 y6 35

36 Factoranalyse Factoranalyse stelt je in staat om explorend na te gaan hoeveel dimensies er in je correlatiematrix schuilgaan. Uitgaande van twee te meten concepten, verwacht je een correlatiematrix met twee groepjes relatief sterke correlaties (en niet meer). 36

37 Waar moet je naar kijken (1): de eigenwaarden De hoeveelheid dimensies kun je halen uit de eigenvalues. Dit is gelijk aan de hoeveelheid variantie van de indicatoren die opeenvolgende factoren verklaren. Kaisercriterium: aantal dimensies is gelijk aan het aantal eigenwaarden > 1.0. Knikplot: aantal dimensies is gelijk aan knik 1 in eigenwaardenplot. Deze beide criteria behoeven niet overeen te komen en ze kunnen ook beide met een korrel zout worden genomen. Je hebt hier dus wat vrijheid. 37

38 Waar moet je naar kijken (2): de patroonmatrix De relaties tussen de te meten concepten en de indicatoren worden weergegevens in de pattern matrix (dit zijn eigenlijk gewoon correlaties). We streven hier naar simple structure : iedere indicator hoort bij één factor en niet meer. We kijken daarom uit naar kruisladingen. Deze duiden aan dat een indicator door meer dan een factor (concept) wordt beinvloed. Grenswaarde voor kruislading: 0.30 (of -0.30), 38

39 Waar moet je naar kijken (3): de factorcorrelaties Factorcorrelaties geven aan hoe de concepten (dus niet de indicatoren) met elkaar gecorreleerd zijn. Vaak ben je in deze correlaties het meest geinteresseerd. Daarnaast zijn deze correlaties van belang om de richting van de ladingen in de patroonmatrix te kunnen duiden, 39

40 Issues bij factoranalyse Anders dan bij betrouwbaarheidsanalyse is het bij factoranalyse niet noodzakelijk dat alle indicatoren in dezelfde richting gepoold zijn. Het mag wel. Ook zelfde meeteenheid van indicatoren is geen issue. Factoranalyse is gestandaardiseerd: het zijn allemaal correlaties. Vergis je niet in alle output: kijk naar de eigenwaarden(-plot) en naar de patroonmatrix. De standaard instelling bij SPSS heet componentenanalyse. Zie verder: Stappenplan factoranalyse. 40