De ontwikkeling van een video-

Transcriptie

1 De ontwikkeling van een video- based Situational Judgment Test Lonneke A. L. de Meijer en Marise Ph. Born Erasmus Universiteit Rotterdam Jaap van Zielst De Politieacademie Henk T. van der Molen Erasmus Universiteit Rotterdam Nederlandse Stichting voor Psychotechniek Utrecht, 16 november 2007

2 Inhoud Ontwikkeling van een Situational Judgment Test (SJT): Gebaseerd op videofragmenten Bedoeld om 3 specifieke constructen te meten In een multi-etnische setting Voor de selectie van politieagenten

3 Wat is een SJT? Work-sample test bestaande hypothetische scenario s Vaak gebruik bij personeelsselectie Problematische werksituaties (voorbeelden)

4 Voorbeeld 2 Voorbeeld 1

5 Hoe ziet een SJT er uit? Verschillende problematische werksituaties Vier antwoordmogelijkheden bij elke situatie Effectiviteitbeoordeling Hoe effectief is deze reactie in de gegeven situatie? 5-punt Likert scale

6 SJT-scoring Effectiviteitbeoordeling van de respondent Effectiviteitbeoordeling van de expert Absoluut verschil tussen beide is de eigenlijke score Als een experts zegt dat een bepaalde reactie erg effectief is gegeven de situatie, terwijl de respondent zegt dat dit geen effectieve reactie is, dan is dit een slechte score (op een bepaald construct)

7 Iets over SJT-onderzoek Bestaan reeds vanaf de jaren 20 Toegenomen in populariteit in de laatste 20 jaar (e.g., Chan & Schmitt, 1997, 2005; McDaniel et al., 2007) Redenen: Incrementele validiteit boven intelligentie- en persoonlijkheidstests (e.g., McDaniel et al., 2007) Minder adverse impact ten opzichte van etnische minderheidsgroepen (e.g., Nguyen & McDaniel, 2003; Weekley & Jones, 1997, 1999)

8 Nieuwe technologie en SJTs Nieuwe technologie maakt de ontwikkeling van video-based SJTs mogelijk Voordelen: Hogere predictieve valditeit (e.g., Lievens & Sackett, 2006) Minder adverse impact Hoger realiteitsgehalte, leidend tot betrouwbaardere reacties van respondenten (e.g., Chan & Schmitt, 1997; Richman-Hirsch et al., 2000)

9 Maar ook enige kritiek SJTs: Construct-heterogeen Twee gezichtspunten: Eén SJT-construct: Job knowledge (Schmidt & Hunter, 1993) SJTs zijn measurement methods : Consciëntieusheid, vriendelijkheid, emotionele stabiliteit en g (e.g., McDaniel & Nguyen, 2001)

10 Construct-heterogeen?? Wij betwijfelen of SJTs beperkt zijn tot het meten van deze constructen Het huidige onderzoek beschrijft de ontwikkeling van: een SJT bedoeld om integriteit te meten in verschillende etnische groepen

11 Waarom integriteit? Integriteit voorspelt werk-gerelateerde resultaten, zoals diefstal en werkprestaties (e.g., Ones, Viswesvaran, & Schmidt, 1993) Sub-dimensies van integriteit, die belangrijke werknemerkenmerken zijn voor de politie: Eerlijkheid Weerstand tegen drugs of fraude Klantvriendelijkheid Adequaat gebruik van autoriteit

12 Hypotheses Hypothese 1: Scores op de Integriteit- SJT zijn sterker gecorreleerd aan andere integriteit-dimensies dan aan niet-integriteit-dimensies Hypothese 2: Scoreverschillen tussen etnische groepen op de Integriteit-SJT zijn kleiner dan op de intelligentietest

13 Methode Veldstudie bij de Politieacademie Deelnemers: Kandidaten tussen maart 2005 en augustus 2006 N = 1,696 (68% man; M age = 24.39, SD = 6.77), waarvan 189 allochtone kandidaten ~ Allochtone kandidaten komen van de Nederlandse Antillen, Marokko, Suriname en Turkije

14 Integriteit-SJT vanaf het begin Problematische werksituaties: Kritischeincidenteninterviews met 15 experts (ong. 15 jaar werkervaring) Resulterende scenario s and reacties zijn door dezelfde experts beoordeeld m.b.t. realiteitsgehalte Paper-en-pencil-versie voor pilot-studie (N = 228; 72% man, M age = 24.08, SD = 6.78) Drie van veertien items werden verwijderd Verschillende items werden herschreven

15 Video-opname opname Elf items zijn opgenomen: Autochtone en allochtone acteurs Autochtone en allochtone politieagenten voor de beoordeling van realiteitsgehalte 50 experts vulde de video-based SJT in m.b.t. de antwoordsleutel: 10 uit elke etnische groep Ong. 14 jaar werkervaring Overeenstemming tussen experts (mean ICC =.70) Modus

16 Andere instrumenten Integriteit-instrumenten en -dimensies: Persoonlijkheidstest: Vriendelijkheid, Consciëntieusheid en Emotionele Stabiliteit Diepte-interview: Eerlijkheid-Nederigheid HID-vragenlijst: Cognitieve vervormingen Niet-integriteit-instrumenten en -dimensies: Intelligentietest: 6 sub-factors Persoonlijkheidstest: Extraversie and Intellect Assessment center (AC): 2 factoren: Agency and Communion

17 Resultaten: convergente validiteit Integriteit-SJT Integriteit-instrumenten aut. all. Persoonlijkheid Vriendelijkheid 0.16* 0.10 Consciëntieusheid 0.17* 0.08 Emotionele stabiliteit 0.22* 0.17* Diepte-interview Eerlijkh.-Nederigh. 0.27* 0.21 HID-vragenlijst Cognitieve vervorm * -0.43* NB. Geen significante verschillen tussen de correlaties van de autochtone en allochtone groep * p <.05.

18 Resultaten: convergente validiteit Integriteit-SJT-score vertoonde sterkste correlatie met: Eerlijkheid-Nederigheid, meer specifiek: Normbesef (d.w.z. fraude en corruptie kunnen vermijden en onwillig staan t.o.v. profiteren van anderen of de samenleving; Lee & Ashton, 2004) Cognitieve vervormingen, meer specifiek: Opposition-Defiance (d.w.z. geen respect tonen voor regels, wetten en autoriteit; Barriga et al., 2001)

19 Resultaten: discriminante validiteit Integriteit-SJT Niet-integriteit-instrumenten aut. all. Intelligentie Persoonlijkheid Extraversie 0.09* Intellect 0.21* 0.14 AC Agency 0.15* 0.15 Communion 0.06* NB. Geen significante verschillen tussen de correlaties van de autochtone en allochtone groep * p <.05.

20 Resultaten: Hypothese 1 Scores op de Integriteit-SJT zijn sterker gecorreleerd met andere integriteit-dimensies dan met nietintegriteit-dimensies Steun is gevonden voor Hypothese 1

21 Resultaten: scoreverschillen Scoreverschillen op de intelligentietest: o o.48 SD Variërend van.38 SD tot.64 SD op de zes subtests Scoreverschil op de Integriteit-SJT: o.38 SD

22 Resultaten: Hypothese 2 Scoreverschil tussen etnische groepen op de Integriteit-SJT is kleiner dan op de intelligentietest Steun is gevonden voor Hypothese 2

23 Conclusie De video-based SJT die is ontwikkeld, meet integriteit in verschillende etnische groepen Het scoreverschil tussen etnische groepen op de SJT is kleiner dan op de intelligentietest

24 Discussie en toekomstig onderzoek Opmerkelijke bevinding: De correlatie met Agency was groter dan verwacht Verklaring: Flexibiliteit and besluitvaardigheid Beperking: Predictieve validiteit kon nog niet onderzocht worden Toekomst: Onderzoek naar andere construct-specifieke SJTs nodig

25 Lonneke de Meijer Erasmus Universiteit Rotterdam Nederlandse Stichting voor Psychotechniek Utrecht, 16 november 2007