Moderne technologie bij assessment en selectie van personeel prof.dr. Marise Ph. Born, Erasmus Universiteit Rotterdam, Instituut voor Psychologie en Vrije Universiteit Amsterdam, Vakgroep Sociale & Organisatiepsychologie dr. Janneke K. Oostrom Erasmus Universiteit Rotterdam Instituut voor Psychologie Workship NIP-congres 9 maart 2012
Praktijkvoorbeelden
Voorbeeldsituatie
Voorbeeldsituatie
Veelbruikte instrumenten in Nederland Interviews Cognitive vaardigheidstests Biodata Persoonlijkheidsvragenlijsten Assessment centers
Waarom zijn multimediale test populair? Technologische ontwikkeling Internet Multimedia Reacties van kandidaten Functie-relevantie Rechtvaardigheidspercepties
Kenmerken 1) Simulaties, waarin belangrijke aspecten van de baan worden gepresenteerd Signs Historisch: a b c d e Samples
Kenmerken 2) Videoclips om situaties te presenteren VS.
Kenmerken 3) Antwoordformat: meerkeuze (SJT) of openvragen (webcamtest)
Kenmerken 4) Scoringsmethoden SJTs: vergeleken met antwoorden referentiegroep (automatisch) Webcamtest: achteraf beoordeeld door experts
Enkele voordelen 1) Flexibiliteit in afnames -> minder kosten (Olson-Buchanan & Drasgow, 2006) 2) Situaties zijn gedetailleerd en realistisch (Weekley & Jones, 1997) 3) Kandidaten reageren positief, meer gemotiveerd (Stricker, 1982)
Stelling 1 Het maakt echt niet uit of je technologisch geavanceerde tests of klassieke tests gebruikt voor het meten van verschillen tussen mensen. Deze moderne tests zijn oude wijn in peperdure nieuwe zakken en ze hebben ook nog eens een beperkte houdbaarheid.
Onderzoek Oostrom et al. (2010) Webcamtest toegevoegde waarde boven kennistest bij voorspellen effectiviteit werkadviseurs Oostrom et al. (2011) Webcamtest toegevoegde waarde boven cognitieve capaciteitentest en persoonlijkheid bij voorspellen studiesucces Christian et al. (2010) Video-SJT voorspelt beter dan papieren SJT
Conclusie stelling 1 Het maakt echt niet uit of je technologisch geavanceerde tests of klassieke tests gebruikt voor het meten van verschillen tussen mensen. Deze moderne tests zijn oude wijn in peperdure nieuwe zakken en ze hebben ook nog eens een beperkte houdbaarheid. Onjuist
Stelling 2 Geen idee wat multimediale tests meten. Ze zien er fantastisch uit maar er gaat niets, geen enkel psychologisch begrip, achter schuil. Leuke speeltjes voor IT-ers maar als psycholoog heb ik er helemaal niets mee.
Onderzoek SJT review door Christian et al. (2010) Construct Percentage 1 Leiderschap 37.50% 2 Heterogeen 33.09% 3 Interpersoonlijke 12.50% vaardigheden 4 Persoonlijkheidstrekken 9.56% 5 Overig 7.35%
Onderzoek De Meijer et al. (2010): SJT voor Integriteit Gemiddelde tot hoge relaties met : How I-Think (cognitieve verdraaiingstest; Barriga et al., 2001) Selectiegesprek gericht op integriteit Geen verband met cognitieve capaciteiten
Conclusie stelling 2 Geen idee wat multimediale tests meten. Ze zien er fantastisch uit maar er gaat niets, geen enkel psychologisch begrip, achter schuil. Leuke speeltjes voor IT-ers maar als psycholoog heb ik er helemaal niets mee. Onjuist
Stelling 3 Multimediale tests leiden tot minder etnische scoreverschillen dan papieren tests.
Onderzoek Instrument D-waarden Amerika D-waarden Nederland Intelligentietests 1.00* 0.38 0.64** Persoonlijkheidsvragenlijsten -0.04 0.21* -0.21 0.23** Papieren SJT 0.40*? Multimedia SJT 0.31* 0.38** Webcamtest? 0.14*** * Ployhart & Holtz, 2008 ** De Meijer, Born, Van Zielst, Van der Molen, 2010 *** De Soete, Lievens, Oostrom, & Westerveld, submitted
Onderzoek Vereiste leesvaardigheden en cognitieve lading van invloed op scoreverschillen (Whetzel, McDaniel, & Nguyen, 2008) Type antwoordformat: SJT kennis (intelligentie) Webcamtest gedrag (persoonlijkheid)
Onderzoek Binnen SJTs (Whetzel & McDaniel, 2008): Should do instructie d =.39 Would do instructie d =.34 Binnen webcamtest (De Soete, Oostrom et al.): Uitspreken d 0.10 Uitschijven d 0.30 Transcripten d 0.20
Conclusie stelling 3 Multimediale tests leiden tot minder etnische scoreverschillen dan papieren tests. Juist
Stelling 4 Multimediale tests, zoals SJTs, zijn eenvoudig te faken.
Onderzoek Faken: bewust andere antwoorden geven om positiever te scoren (McFarland & Ryan, 2000) Nguyen, Biderman & McDaniel (2005): should do en would do instructies Twee afnames: eerlijk of niet eerlijk would do d = 0.15 en 0.34 should do d = -0.34 en 0.45
Onderzoek 2. Peeters & Lievens (2005) Studenten, would do instructies Fakers scoorden d = 0.89 hoger dan niet-fakers Verband met cijfers hoger voor niet-fakers (r =.33) dan fakers (r =.09) Faken nadelig voor voorspellende waarde Oplossing: gebruik should do instructies
Conclusie stelling 4 Multimediale tests, zoals SJTs, zijn eenvoudig te faken. Onjuist
Stelling 5 Deze tests automatiseren psychologen weg. Ze gaan tot werkeloosheid onder psychologen leiden.
Evidence-based selecteren is beter, maar in mijn praktijk. Succesvol selecteren is en blijft goeddeels toeval maar geen reden om op te houden met serieus onderzoek.
Stelling 5 Deze tests automatiseren psychologen weg. Ze gaan tot werkeloosheid onder psychologen leiden. Juist? Onjuist?
Referenties Christian, M.S., Edwards, J.C., & Bradley, J.C. (2010). Situational judgment tests: Constructs assessed and a metaanalysis of their criterion-related validities. Personnel Psychology, 63, 83-117 De Meijer, L.A.L., Born, M.P., Van Zielst, J. & Molen, H.T. van der (2010). The construct-driven development of a video-based situational judgment test measuring integrity: A study in a multi-ethnic police setting. European Psychologist, 15, 229-236. De Soete, B., Lievens, F., Oostrom, J.K., & Westerveld, L. (submitted). Alternative predictors in personnel selection for reducing ethnic performance differences: Constructed response multimedia tests vis-à-vis other instruments. McFarland, L., & Ryan, A.M. (2000). Variance in faking across noncognitive measures. Journal of Applied Psychology, 85, 812-821. Nguyen, Biderman & McDaniel (2005): Olson-Buchanan, J.B., & Drasgow, F. (2006). Multimedia situational judgment tests: The medium creates the message. In F. Drasgow & J.A. Weekley (Eds.), Innovations in computerized assessment (pp. 1-5). Mahwah, NJ: Lawrence Erlbaum. Oostrom, J.K., Born, M.Ph., Serlie, A.W. & Molen, H.T. van der (2010). Webcam testing: Validation of an innovative open-ended multimedia test. European Journal of Work and Organizational Psychology, 19(5), 532-550. Oostrom, J.K., Born, M.Ph., Serlie, A.W. & Molen, H.T. van der (2010). The role of individual differences in the perceived job relatedness of a cognitive ability test and a multimedia situational judgment test. International Journal of Selection and Assessment, 18, 395-407. Oostrom, J.K., Born, M.Ph., Serlie, A.W. & Molen, H.T. van der (2011). A multimedia situational test with a constructed-response format: Its relationship with personality, cognitive ability, leadership experience, and academic performance. Journal of Personnel Psychology, 10, 78-88. Peeters, H., & Lievens, F. (2005). Situational judgment tests and their predictiveness of college students success: The influence of faking. Educational and Psychological Measurement, 65, 70-89. Ployhart, R.E., & Holtz, B.C. (2008). The diversity-validity dilemma: Strategies for reducing racioethnic and sex subgroup differences and adverse impact in selection. Personnel Psychology, 61, 153-172. Stricker, L.J. (1982). Interpersonal competence instrument: Development and preliminary findings. Applied Psychological Measurement, 6, 69-81. Weekley, J.A., & Jones, C. (1997). Video-based situational testing. Personnel Psychology, 50, 25-49. Whetzel, D.L., & McDaniel, M.A., & Nguyen, N.T. (2008). Subgroup differences in situational judgment test performance: A meta-analysis. Human Performance, 21, 291-309.
Contact Marise Ph. Born Erasmus Universiteit Rotterdam Instituut voor Psychologie en Vrije Universiteit Amsterdam Vakgroep Sociale & Organisatiepsychologie 010 408 8814 born@fsw.eur.nl Janneke K. Oostrom Erasmus Universiteit Rotterdam Instituut voor Psychologie 010 408 2933 oostrom@fsw.eur.nl