Verantwoord testgebruik

Transcriptie

1 Verantwoord testgebruik Fairness in het Cotan beoordelingssysteem Dr. Remko van den Berg(NOA) Dr. Bas Hemker (Cito) Dr. Jorg Huijding (EUR)

2 Inhoud presentatie Introductie Inleiding: wat cijfers en onderzoek Activiteiten NIP Internationale richtlijnen Cotan beoordelingssysteem Vragen/discussie NOA,

3 Dr. Bas Hemker Wetenschappelijk onderzoeker Cito Psychometrisch Onderzoeks- en Kenniscentrum (POK) Lid van de Commissie Testaangelegenheden Nederland (COTAN) van het NIP Onderzoek naar onderwijsniveau in Nederland, effect van motivatie op prestaties, en diverse psychometrische onderwerpen NOA,

4 Dr. Jorg Huijding Universitair docent Erasmus Universiteit Rotterdam sectie klinische psychologie Lid van de COTAN commissie Onderzoek naar informatieverwerkingsprocessen die een rol spelen bij het ontstaan en voortbestaan van angst(stoornissen) bij kinderen NOA,

5 Dr. Remko van den Berg Directeur NOA (psychologisch adviesbureau) Lid van de Commissie Testaangelegenheden Nederland (COTAN) van het NIP Ontwikkeling multicultureel toepasbare psychologische tests NOA,

6 Verantwoord testgebruik - Fairness Toepasbaarheid van tests bij verschillende groepen Persoonlijke kenmerken die niet van belang zijn voor de te meten eigenschap mogen geen invloed hebben op de resultaten Denk aan etniciteit, geslacht, leeftijd

7 Cijfers: Nederlandse situatie 16,5 miljoen inwoners 3,3 miljoen allochtonen (20%) 1.7 miljoen eerste generatie 1.6 miljoen tweede generatie 1,8 miljoen niet-westers allochtoon (11%)

8 Amsterdam: 50% allochtonen

9 Cijfers: verschillen in testscores Voorbeelden van persoonlijkheidstests

10 ABV verschillen autochtonen-1e generatie allochtonen 1,2 1 0,8 0,6 0,4 0,2 0-0,2-0,4-0,6 Antillianen Surinamers Marokkanen Turken NOA,

11 NPV Verschillen autochtonen, 1e generatie & 2e generatie niet-westerse allochtonen 1,20 1,00 0,80 0,60 0,40 d 0,20 0,00-0,20-0,40-0,60 2e generatie 1e generatie NOA,

12

13 Voorbeeld in een schoolsituatie Vaardigheid van leerlingen bij Taal: Spelling, Woordenschat en Begrijpend Lezen Rekenen: Getallen en bewerkingen, Breuken e.d., Meten e.a. Per thuis-taal-groep: NLs vs 4 andere

14 Gemiddelden op de vaardigheidsschalen

15 Effecten van een andere taal dan Nederlands (ongecorrigeerd)

16 Effecten van een andere taal dan Nederlands (gecorrigeerd 1)

17 Effecten van een andere taal dan Nederlands (gecorrigeerd 2/DS)

18 Niet alleen Herkomst of Thuistaal Kleurenblindheid Informatie uit plaatjes Linkshandig versus rechtshandig Reactietijden op de computer Geslacht Leeftijd

19 Vraag- of testpartijdigheid Wanneer verschillende groepen anders op een vraag of test reageren zonder dat deze groepen van elkaar verschillen op de eigenschap die wordt gemeten

20 Historie NIP - allochtonen 1990 LBR/NIP Commissie Hofstee Tests beperkt bruikbaar LBR/NIP Deskundigen over het testen van etnische minderheden 2005 LBR/NIP Richtlijnen gebruik diagnostische instrumenten bij etnische minderheden

21 Conclusies In de afgelopen 20 jaar is er wel vooruitgang geboekt: verschillende proefschriften, nieuwe tests, richtlijnen, aandacht Echter: kennis in het veld nog vaak beperkt en bij veel tests geen onderzoek en gegevens beschikbaar

22 2011 Vraag vanuit NIP bestuur aan Cotan: Onderzoek of het Cotan beoordelingssysteem uitgebreid kan worden met een extra criterium gericht op fairness

23 Fairness bij psychologische tests Fairness houdt in dat constructirrelevante persoonlijke karakteristieken geen effect hebben op testresultaten of de interpretatie van deze resultaten (naar ETS, 2001)

24 Fairness - Verenigde Staten APA code: fairness belangrijkste aandachtspunt bij het beoordelen van de kwaliteit van tests Standards for educational and psychological testing: deel 2 (van 3) geheel gewijd aan fairness

25 Cotan - beoordelingssysteem Zeven beoordelingscriteria Uitgangspunten testconstructie Kwaliteit testmateriaal Kwaliteit handleiding Normen Betrouwbaarheid Begripsvaliditeit Criteriumvaliditeit

26 Cotan systeem - fairness Fairness aspecten komen bij de verschillende criteria naar voren (vergelijkbaar met standards) Echter: Niet goed zichtbaar Beoordeling Voldoende mogelijk bij ontbreken onderzoek fairness

27 Aanpassing gewenst? Vraag: hebben gebruikers (psychologen, opdrachtgevers, clienten) voldoende informatie om toepasbaarheid test te beoordelen?

28 Belanghebbenden Psychologen - testgebruikers Testontwikkelaars uitgevers Cliënten Opdrachtgevers

29 Hoe fairness beter zichtbaar maken? Opties: 1. Achtste beoordelingscriterium 2. Fairness keurmerk 3. Aanvullende beschrijving

30 Optie: Achtste criterium Voordelen Duidelijk Nadelen Systeem niet meer coherent (dubbele beoordelingen) Herbeoordeling bestaande tests Wanneer voldoende voor alle mogelijke diversiteitgroepen? Veel extra kostbaar onderzoek nodig

31 Achtste criterium Mogelijke consequentie bij veel tests onvoldoende voor fairness: Lopen we niet het risico dat tests dan helemaal niet meer gebruikt kunnen worden? Zie recente uitspraak College van Toezicht - NIP

32 Optie: Keurmerk Voordelen Specifiek voor bepaalde groepen mogelijk (allochtonen, dyslectici, doven etc.) Geen herbeoordeling nodig Positieve benadering Nadelen Vrijwillig Geen goede vergelijking mogelijk Welke groepen zinvol en mogelijk

33 Optie: Aanvullende beschrijving Voordelen Meer inzicht in uitgevoerd onderzoek Nadelen Beoordeling blijft achterwege Minder duidelijk Alleen bij nieuwe tests?

34 Vervolg Artikel in De Psycholoog Input van belanghebbenden Aanpassing Cotan beoordelingsysteem

35 Discussie Waarom naar deze workshop? Hoeveel in de praktijk te maken met Fairness? In hoeverre COTAN informatie al gebruikt? In welke vorm zou u geïnformeerd willen worden over de Fairness van een test?