Van de Schoot, et al. (2013) A black bear story. European Journal of Developmental Psychology

Maat: px

Weergave met pagina beginnen:

Download "Van de Schoot, et al. (2013) A black bear story. European Journal of Developmental Psychology"

Theodoor Claes
7 jaren geleden
Aantal bezoeken:

2 Van de Schoot, et al. (2013) A black bear story. European Journal of Developmental Psychology

3 Weet u het nog? Stel, Julia behaalt een (T)IQ-score van 97 met betrouwbaarheidsinterval Hoe zou u dit betrouwbaarheidsinterval interpreteren? A. De ware IQ-score ligt tussen 90 en 104 met 95% kans; B. De ware IQ-score ligt tussen 90 en 104 met een grote kans; C. De volgende keer ligt het IQ tussen 90 en 104 met 95% kans. D....

4 Survey 293 NIP psychologen Eind 2014 Antwoorden kwalitatief in kaart gebracht (QDA Miner Lite)

5 Survey Rapportage Interpretatie Frequentie (%) nee nee 12 (4.1%) ja nee 183 (62.5%) ja Ja; Geschreven 42 (14.9%) ja Ja; Mondeling 30 (10.3%) ja Ja; Geschreven + Mondeling 6 (2.1%) Wat doet u normaliter met een betrouwbaarheidsinterval in uw rapportage?

6 Hoe zou u Julia s betrouwbaarheidsinterval interpreteren? Survey Rapportage Interpretatie Frequentie (%) Grofweg twee categorieën: 12 (4.1%) 183 (62.5%) 1. Zekerheid, kans Geschreven & betrouwbaarheid 167 (57.0%) 42 (14.9%) Mondeling 30 (10.3%) 27 ( 9.3%) 2. Herhaling & momentopname Geschreven + Mondeling 6 (2.1%)

7 Voorbeelden Categorie (41,0%) Survey "." Rapportage Interpretatie Frequentie (%) 11 (3,8%) 13 (4,4%) 12 (4.1%) 183 (62.5%) Geschreven " 42 (14.9%)." Mondeling 30 (10.3%) Geschreven + Mondeling 6 (2.1%)."

8 Voorbeelden Categorie 2 16 (5,5%) Survey " ". Rapportage Interpretatie Frequentie (%) 7 (2,4%) 12 (4.1%) 183 (62.5%) Geschreven 42 (14.9%) Mondeling 30 (10.3%) Geschreven + Mondeling 6 (2.1%) ".

9 "." Survey " 12 (4.1%) ". 183 (62.5%) Nét Geschreven niet. 42 (14.9%) Mondeling ". 30 (10.3%) Geschreven + Mondeling 6 (2.1%) "." Rapportage Interpretatie Frequentie (%)."

10 Onderscheid Klassieke Test Theorie Niets mis mee, maar ingewikkelde interpretatie & Implementatie WISC-III NL Rariteiten bemoeilijken interpretatie

11 Klassieke Test Theorie x " = τ " + ε "

12 Klassieke Test Theorie 𝑥" = 𝜏" + 𝜀" Afbeeldingen verkregen via:

13 Betrouw baar heids IQ test interval IQ-test 1 IQ= IQs + intervallen IQ-test 2 IQ=110

14 Betrouw IQ test 100 Hypothetische IQ-testen IQs + intervallen baar heids interval

15 Correcte interpretatie KTT Bij herhaling van de procedure, met steeds nieuwe IQ-testen bij hetzelfde kind, mogen [we] verwachten dat 95% van de zo berekende intervallen de ware IQ-score van het kind zullen bevatten.

16 We kunnen dus NIETS zeggen over het huidige betrouwbaarheidsinterval voor het huidige kind Hier is KTT niet voor bedoeld!

17 In de praktijk ".. [WISC-III NL handleiding, p. 51] Als we op grond van een [IQ-test] een 95%- betrouwbaarheidsinterval voor een [kind zijn/haar ware IQ-score] berekend hebben, kunnen we niet zeggen dat er 95% kans is dat [de ware IQ-score] in dat interval ligt. Immers: [de ware IQ-score] ligt er in of [de ware IQ-score] ligt er niet in, een van beide.

18 In de praktijk ". " ".

19 In de praktijk ". " ".

20 Correcte interpretatie WISC-III NL Theoretisch gezien zal over vele IQ-testen in ongeveer 95% van de betrouwbaarheidsintervallen de ware IQ-score van het kind vallen, MITS je alle rariteiten van de WISC-III NL in je achterhoofd meeweegt! MITS je alle rariteiten van de WISC-III NL in je achterhoofd meeweegt!

21 WISC-III NL 1. ruwe score 2. norm score 3. totaal score 4. IQ-score 5. betrouwbaarheidsinterval o.a. tabel D.2 D.7

22 Afbeeldingen verkregen via: Van ruwe subtestscores naar normscores Alle 1239 kinderen voltooien Onvolledige Tekeningen (OT) Frequency Frequency Kinderen in leeftijdsgroepen Histogram of A A Density Histogram of A density.default(x = A) Density N = Bandwidth = A 0 5 Gem density.default(x = A) Histogram of A N = Bandwidth = Frequency A Histogram over OTscores kinderen Density Density Let op! 3 (SD) en 10 (gemiddelde) zijn door de WISC bedachte waarden density.default(x = A) Density Density density.default(x = A) density.default(x = A) N = Bandwidth = density.default(x = A) N = Bandwidth = N = Bandwidth = Samengevat met Gemiddelde& sd N = Bandwidth = Gem SD SD Gem SD Z-score transformatie

23 Van ruwe subtestscores naar normscores density.default(x = A) Density Density SD = density.default(x = A) 25 N = Bandwidth = SD = N = Bandwidth =

24 Van ruwe subtestscores naar normscores density.default(x = A) Density Density SD = density.default(x = A) 25 N = Bandwidth = SD = N = Bandwidth =

25 Voorbeeld truncatie zie Bijlage D, tabel D.1, leeftijdsgroep , onderste regel bij normscore 19 Truncatie

26 Van ruwe subtestscores naar normscores

27 WISC-III NL 1. ruwe score 2. norm score 3. totaal score 4. IQ-score 5. betrouwbaarheidsinterval o.a. tabel D.2 D.7

28 Van totaalscore naar IQ-score

29 WISC-III NL 1. ruwe score 2. norm score 3. totaal score 4. IQ-score 5. betrouwbaarheidsinterval o.a. tabel D.2 D.7

30 Van totaalscore naar IQ-score Geen leeftijdsverschillen

31 Van totaalscore naar IQ-score

32 Van totaalscore naar IQ-score

33 Van totaalscore naar IQ-score

34 Van totaalscore naar IQ-score IQ = * totaalscore * totaalscore 2 Zie p. 42 van de WISC-III NL handleiding: [...] een kwadratisch model in χ was voldoende om een bevredigende omzetting te krijgen.

35 Van totaalscore naar IQ-score

36 Van totaalscore naar IQ-score

37 N =

38 WISC-III NL 1. ruwe score 2. norm score 3. totaal score 4. IQ-score 5. betrouwbaarheidsinterval o.a. tabel D.2 D.7

39 Van IQ-score naar betrouwbaarheidsinterval density.default(x = A) Density SD = N = Bandwidth = SD bestaat uit twee bronnen Bepaalt met betrouwbaarheidscoëfficiënt Omdat één kind één ware IQscore heeft, geeft de 7% meetfout een schatting hoeveel één kind in 94% 6% verkregen IQ-score kan variëren Kinderen verschillen in ware IQ Meetfouten = betrouwbare deel = onbetrouwbare deel

40 Van IQ-score naar betrouwbaarheidsinterval ( ) 15 = 3.81 Linkergrens betrouwbaarheidsinterval = IQ-score 3.81 * 1.96 Rechtergrens betrouwbaarheidsinterval = IQ-score * 1.96 Dit wordt de standaardmeetfout genoemd; Zie Evers, A, Lucassen, W, Meijer, R & Sijtsma, K (2010) COTAN beoordelingssysteem voor de kwaliteit van tests p. 27 Z-score 95% gebied

41 Van IQ-score naar betrouwbaarheidsinterval ( ) 15 = 3.81 Uitproberen (3.81 * 1.96) (3.81 * 1.96) Zelf WISC

42 Van IQ-score naar betrouwbaarheidsinterval ( ) 15 = 3.81 Uitproberen (3.81 * 1.96) (3.81 * 1.96) Zelf WISC Wat is hier aan de hand?!

43 Van IQ-score naar betrouwbaarheidsinterval Correctie Kelley s formule (1947) Ware IQ overschat Ware IQ onderschat (Ware) IQ

44 Van IQ-score naar betrouwbaarheidsinterval Geschatte IQ ware IQ IQ

45 Recap Correcte interpretatie Theoretisch gezien zal over vele IQ-testen in ongeveer 95% van de betrouwbaarheidsintervallen de ware IQ-score van het kind vallen, MITS je alle rariteiten van de WISC-III NL meeweegt! o.a. Truncatie op het niveau van normscores & IQ-scores Afhankelijkheid van (bekritiseerde) normpopulatie in de berekening van standaardmeetfout/standaardschattingsfout Correctie met Kelley s formule Sneller onderscheid kinderen hoge IQ s op basis van totaalscores

46 Subtest variantie Kan het ook anders?

47 Subtest variantie David Sarah

48 Subtest variantie David Sarah

49 Eerdere IQ-test afnamen (2 jaar later) (nogmaals 2 jaar later)

50 Subtest variantie David Sarah

51 Subtest variantie David Sarah

52 Gratis! Deze interpretatie kan wél in ons alternatief! ".

Vergelijkbare documenten

10 DE PSYCHOLOOG / NOVEMBER 2017 HET BETROUWBAARHEIDSINTERVAL IN INTELLIGENTIETESTS

10 DE PSYCHOLOOG / NOVEMBER 2017 KIMBERLEY LEK, WENNEKE VAN DE SCHOOT-HUBEEK, EVELYN KROESBERGEN & RENS VAN DE SCHOOT Het 95% betrouwbaarheidsinterval in de verslaglegging van intelligentietests kan grofweg