WOT statistiek. Betrouwbaarheidsanalyse. CLIN Centre for Linguistics. Els Schoonjans

Transcriptie

1 WOT statistiek Betrouwbaarheidsanalyse Els Schoonjans CLIN Centre for Linguistics 1

2 Betrouwbaarheid Betrouwbaarheid van een meetinstrument: consistentie; instrument geeft vergelijkbare resultaten in vergelijkbare omstandigheden. Wordt niet berekend, wel ingeschat a.d.h.v. statistische technieken. Interessant om dit VOOR de definitieve implementatie te evalueren wanneer men een meetinstrument ontwikkelt. Inschatting betrouwbaarheid wordt vaak gecombineerd met inschatting van validiteit (meet je wat je wil meten? meer conceptueel). 04/06/2012 Pag.2 2

3 Dimensies van betrouwbaarheid Equivalentie (parallel-forms reliability): mate waarin twee of meer instrumenten dezelfde concepten met eenzelfde moeilijkheidsgraad meten. standaard correlaties (r, ρ) Stabiliteit (test-retest reliability): de consistentie van een instrument over de tijd (i.e. bij meerdere toepassingen). standaard correlaties (r, ρ) Interne consistentie: mate waarin verschillende procedures of items kunnen worden gebruikt om hetzelfde overkoepelend concept (eigenschap, vaardigheid, kennisaspect...) te meten. Interrater reliability: mate waarin twee of meer individuen (codeerders/testers) gelijkaardige testresultaten verkrijgen (i.e. consistentie van de implementatie van het instrument). 04/06/2012 Pag.3 3

4 Interne consistentie Mate waarin verschillende procedures of items kunnen worden gebruikt om hetzelfde overkoepelend concept (eigenschap, vaardigheid, kennisaspect...) te meten. Een voorbeeld: we peilen naar attitude t.o.v. de taallessen. Ik vind de taallessen interessant. AKKOORD Ik heb een voorkeur voor taalvakken. AKKOORD Talen leren op school is overbodig.?? NIET AKKOORD Cronbach s alpha (CA): meest gebruikte maat van interne consistentie (Kuder-Richardson Formula 20 (KR20) is equivalent voor dichotome items). gecombineerde statistic op basis van paarsgewijze correlaties NIET robuust tegen ontbrekende waarden aanvaarde praktijk: vervangen van ontbrekende waarden door groepsgemiddelde voor dat item (SPSS: Transform/replace missing values: method= series mean) 04/06/2012 Pag.4 4

5 Cronbach s Alpha in SPSS Een voorbeeld: Items a priori toegeschreven aan attitudes t.o.v. de leersituatie : D1 To be honest, I don t like my French class at all. D2 I think my French class is boring. D3 I think my French class is much more fun than my other classes. D4 I look forward to the time I spend in French class. E1 My French teacher can make French classes very interesting. E2 I really like my French teacher. E3 I would prefer to have a different French teacher. Ordinale data (cf. vijfpunts Likertschaal) Ontbrekende waarden vervangen door reeksgemiddelden! 04/06/2012 Pag.5 5

6 Cronbach s Alpha in SPSS Analyze/scale/reliability analysis Te onderzoeken items invoegen Model = alpha Het gewenste label typen Bij statistics : vink aan scale if item deleted Attitudes t.o.v. de leersituatie 04/06/2012 Pag.6 6

7 Cronbach s Alpha in SPSS Output: Nakijken of alle waarden werden opgenomen in de analyse Resultaat aflezen en interpreteren volgens rule of thumb : Cronbach s Interne Alpha consistentie α 0,9 Excellent 0,9 >α 0,8 Goed 0,8 >α 0,7 Aanvaardbaar 0,7 >α 0,6 Bedenkelijk 0,6 >α 0,5 Niet goed 0,5>α Onaanvaardbaar 04/06/2012 Pag.7 7

8 Opmerkingen bij het gebruik van CA CA stijgt bij toenemend aantal items; bij een groot aantal (zelfs ongerelateerde) items is de kans op hoge CA-waarden groot. Dan is de maat dus niet (meer) representatief. CA analyse wordt best toegepast op alle subschalen die worden weerhouden voor verdere analyse. Erg hoge CA-waarden (>0,95) zijn niet noodzakelijk wenselijk, want ze duiden op een hoge redundantiegraad onder de items. Men moet ernaar streven dat de items binnen een construct gerelateerd zijn, maar toch ook elk unieke informatie aanleveren. Opletten met negatief geformuleerde items! codering omkeren VOOR betrouwbaarheidsanalyse! (bv. Ik hou niet van Engels -> akkoord vs. Ik hou van Engels ->akkoord??) 04/06/2012 Pag. 8 8

9 Opmerkingen bij het gebruik van CA CA is een manier om de interne consistentie van een schaal in te schatten, maar biedt GEEN GARANTIE voor de (construct) validiteit van de schaal (vermits het overkoepelend construct a priori werd bepaald). Bij goede CA-waarden mogen we stellen dat de items kunnen worden gebruikt om naar eenzelfde construct te peilen, maar WAT dit construct is, blijkt uiteraard niet onomstotelijk uit deze analyse. aanvullende analyse: factoranalyse (PCA) 04/06/2012 Pag. 9 Interne consistentie is slechts één aspect van construct validiteit. Herhaaldelijke toepassing en evaluatie van een schaal draagt hier ook toe bij. Een goed ontwikkeld theoretisch model m.b.t. de te meten constructen is noodzakelijk om tot een betrouwbare én valide meetinstrument te komen. Een factoranalyse kan ook bijkomende argumenten bieden voor de betrouwbaarheid én validiteit van een instrument. 9

10 Aanvullend: principal components analysis Principal components analysis (PCA): techniek om clusters van items te identificeren. Werkwijze: Analyse runnen op ALLE items tegelijk Analyse/Dimension reduction/factor Alle verdere info: bv. Field 2009 (hdst. 17) 04/06/2012 Pag. 10

11 Dimensies van betrouwbaarheid Equivalentie (parallel-forms reliability): mate waarin twee of meer instrumenten dezelfde concepten met eenzelfde moeilijkheidsgraad meten. standaard correlaties (r, ρ) Stabiliteit (test-retest reliability): de consistentie van een instrument over de tijd (i.e. bij meerdere toepassingen). standaard correlaties (r, ρ) Interne consistentie: mate waarin verschillende procedures of items kunnen worden gebruikt om hetzelfde overkoepelend concept (eigenschap, vaardigheid, kennisaspect...) te meten. Interrater reliability: mate waarin twee of meer individuen (codeerders/testers) gelijkaardige testresultaten verkrijgen (i.e. consistentie van de implementatie van het instrument). 04/06/2012 Pag.11 11

12 Interrater reliability in SPSS Mate waarin twee of meer individuen (codeerders/testers) gelijkaardige testresultaten verkrijgen. Intraclass correlation (ICC): maat voor interrater reliability neemt inter- en intrarater variabiliteit in aanmerking r of ρ(interclass correlations): houdt ook rekening met toekenning v. scores aan bepaalde items en niet alleen correlatie op basis van relatieve positie (reeks 1,2,1,3 correleert met ICC niet met 2,3,2,4) 04/06/2012 Pag. 12

13 Interrater reliability in SPSS In SPSS: analyze/scale/reliabi lity analysis.../statistics/ intraclass correlation meestal two way random Dataset: raters = kolommen; itemscores = rijen 04/06/2012 Pag. 13

14 Tot slot: Een aanrader voor beginnende SPSS ers: Field, A. (2009). Discovering Statistics Using SPSS. London: SAGE Publications Ltd. 04/06/2012 Pag. 14

15 Aanvullend: principal components analysis Alle items invoegen bij variabelen Bij descriptives: alles aanvinken 04/06/2012 Pag. 15

16 Aanvullend: principal components analysis Bij extraction : standaard opties behouden en scree plot aanvinken Eventueel aantal factoren vooraf vastleggen (exploratief) 04/06/2012 Pag. 16

17 04/06/2012 Pag. 17

18 04/06/2012 Pag. 18