Naar een nieuwe generatie assessment

Transcriptie

1 FILIP LIEVENS EVELINE SCHOLLAERT Naar een nieuwe generatie assessment Een open boek over situationele tests UITGEVERIJ NELISSEN BARNEVELD

2 Copyright: Uitgeverij Nelissen, Barneveld 2008 Omslag: Henri van Santen, Studio Imago, Amersfoort Binnenwerk: Studio Imago, Amersfoort ISBN: NUR: 807 1e druk: 2008 ALLE RECHTEN VOORBEHOUDEN Behoudens de in of krachtens de Auteurswet van 1912 gestelde uitzonderingen mag niets uit deze uitgave worden verveelvoudigd, opgeslagen in een geautomatiseerd gegevensbestand, of openbaar gemaakt, in enige vorm of op enige wijze, hetzij elektronisch, mechanisch, door fotokopieën, opnamen, of enig andere manier, zonder voorafgaande schriftelijke toestemming van de uitgever. Voor zover het maken van reprografische verveelvoudigingen uit deze uitgave is toegestaan op grond van artikel 16h Auteurswet 1912 dient men de daarvoor wettelijk verschuldigde vergoedingen te voldoen aan de Stichting Reprorecht (Postbus 3060, 2130 KB Hoofddorp, Voor het overnemen van gedeelte(n) uit deze uitgave in bloemlezingen, readers en andere compilatiewerken (artikel 16 Auteurswet 1912) kan men zich wenden tot de Stichting PRO (Stichting Publicatie- en Reproductierechten Organisatie, Postbus 3060, 2130 KB Hoofddorp, Uitgeverij Nelissen Postbus 358, 3770 AJ BARNEVELD Telefoon: , telefax: uitgeven@nelissen.nl

3 Inhoud Voorwoord 7 Hoofdstuk 1 De basis van SJT s Historische schets Gedrag als voorspeller voor toekomstig gedrag Sample-benadering Realisme van situatie Realisme van antwoord Taxonomie Antwoordinstructies Mate van interactiviteit Scoring Verschillen met andere technieken Conclusie 24 Hoofdstuk 2 De doelstellingen van SJT s Beslissen over de doelstelling van SJT Beslissen over de doelgroep van SJT Implicaties van de eerste fase 32 Hoofdstuk 3 De inhoudelijke ontwikkeling van SJT s Situatiebeschrijvingen verzamelen Verzamelde situatiebeschrijvingen sorteren Situatiebeschrijvingen ombouwen tot itemstammen Mogelijke antwoordopties verzamelen Antwoordopties verfijnen 53 Hoofdstuk 4 De instructies en scoring van SJT s Antwoordinstructies bepalen Antwoordformaat bepalen Scoringssleutel ontwikkelen Scoringssleutel omzetten om in scores 65 Hoofdstuk 5 De implementatie van SJT s SJT s tests Effectiviteit van SJT s onderzoeken SJT s opvolgen gedurende de looptijd Samenvatting van de stappen in de ontwikkeling 74

4 Hoofdstuk 6 De ontwikkeling van videogebaseerde SJT s Planning Ontwerp van scripts Preproductie Video-opnamen Postproductie 84 Hoofdstuk 7 De wetenschappelijke waarde van SJT s Zijn SJT s betrouwbaar? Wat is de voorspellende waarde van SJT s? Wat is de toegevoegde waarde van SJT s ten opzichte van bestaande selectietechnieken? Wat meten SJT s? Wat is het kosten-batenplaatje van SJT s? Benadelen SJT s bepaalde groepen? Hoe staan kandidaten ten opzichte van SJT s? Zijn SJT s vatbaar voor sociale wenselijkheid en faking? Zijn SJT s vatbaar voor coaching? 103 Hoofdstuk 8 Voorbeelden van SJT s SJT voor administratieve medewerkers SJT voor projectingenieurs in de bouwsector SJT voor selectieadviseurs SJT voor leidinggevenden binnen de bouwsector SJT voor teamwork SJT voor managers Videogebaseerde SJT voor de Toelatingsproef Geneeskunde en Tandheelkunde 129 Hoofdstuk 9 Specifieke toepassingen van SJT s SJT s en diversiteit SJT s als realistic job preview Interculturele toepassingen van SJT s SJT s in een trainingscontext Constructgeoriënteerde toepassingen van SJT s SJT s en emotionele intelligentie 145 Nawoord 149 Referenties 151 Bijlagen 159 Bijlage A Vragenlijst om kritische incidenten te verzamelen 159 Bijlage B Vragenlijst om kritische incidenten om te zetten in itemstammen 161 Bijlage C Vragenlijst om antwoordopties te verzamelen 162

5 Voorwoord De selectie van personeel is de laatste jaren sterk veranderd. Dit is op veel vlakken te merken. Allereerst is de selectiemarkt al lang geen blauwe oceaan meer. Het water ziet bloedrood aangezien het er krioelt van de haaien die vechten om kandidaten. In deze concurrentiegedreven markt moet selectie daarom vaak sneller, efficiënter en goedkoper. Een tweede sleutelontwikkeling is van technologische aard. De opkomst van internet biedt organisaties grote mogelijkheden om grote groepen sollicitanten in een keer te testen. Internet brengt onder andere voordelen mee qua flexibiliteit in testafname en -scoring, administratieve efficiëntie en potentiële grote kostenbesparingen. Daarom gebruiken steeds meer organisaties internet om tests en vragenlijsten af te nemen en daarmee interpersoonlijke competenties te peilen. Ten derde worden kandidaten steeds mondiger. Door de actieve zoektocht van bedrijven op de arbeidsmarkt naar goede kandidaten zijn kandidaten maar al te goed op de hoogte van hun human capital. Het invullen van saaie tests stuit dan ook vaak op weerstand. Kandidaten staan juist wel positief tegenover contextuele selectie-instrumenten (ook wel situationele selectie-instrumenten genoemd). Deze instrumenten plaatsen hen in een realistische functierelevante context. Ook organisaties kiezen voor moderne, aantrekkelijke en hopelijk ook wetenschappelijk onderbouwde tests om op deze manier hun employer branding te verzorgen. Deze veranderingen in het selectielandschap tonen dat traditionele selectie- en assessmenttools onvoldoende zijn. Er is behoefte aan een nieuwe generatie van assessment. Kortweg kan deze nieuwe generatie van assessment met vier kernwoorden worden samengevat: (1) webgebaseerde assessment, (2) situationele assessment, (3) assessment van interpersoonlijke competenties en (4) evidence-based assessment. 1 Webgebaseerde assessment betekent dat er resoluut wordt gekozen voor internet als medium om tests en vragenlijsten van kandidaten af te nemen. Dit is vooral relevant in een eerste selectiefase waarbij er nog een grotere groep kandidaten kan zijn. 2 Situationele assessment betekent dat gepoogd wordt om kandidaten in een functierelevante situatie te plaatsen die een afspiegeling is van de latere functie. Voorbeelden van situationele assessmenttechnieken zijn assessment centers en work samples (arbeidsproeven). Het voordeel van assessment centers en work samples is dat kandidaten daadwerkelijk gedrag vertonen in functierelevante situaties. Nadelen zijn dan weer dat er aan assessment centers en work samples een prijskaartje hangt en dat ze niet via internet afgenomen kunnen worden. Situationele tests (situational judgment tests, kortweg SJT s) zijn dan een oplossing. Deze tests confronteren sollicitanten met functiegerelateerde situaties en mogelijke reacties hierop en worden via internet aangeboden. De sollicitanten dienen aan te geven 7

6 NAAR EEN NIEUWE GENERATIE ASSESSMENT welk alternatief zij zouden kiezen. Op deze manier combineren situational judgment tests de contextualiteit van assessment centers en de efficiëntie van internetadministratie. SJT s spelen dan ook een sleutelrol in de nieuwe generatie van assessmenttools. 3 Bij de nieuwe generatie van assessment ligt het accent op de toetsing van interpersoonlijke competenties. Via traditionele assessment- en testprocedures zijn deze interpersoonlijke competenties immers in preliminaire selectiestadia meestal bijzonder moeilijk te meten. Ook hiervoor bieden SJT s een oplossing. 4 Tot slot is de nieuwe generatie van assessment evidence-based assessment. Dit impliceert dat de voorgestelde technieken wetenschappelijk onderbouwd zijn. Het is van primordiaal belang dat men niet op grond van intuïtie stelling neemt voor of tegen situationele assessment. Daarom is een op wetenschappelijk bewijsmateriaal gebaseerd inzicht in de sterke en zwakke punten van situationele assessment noodzakelijk. Deze nieuwe generatie van assessment wordt in de Verenigde Staten steeds populairder tijdens het selectieproces (Ployhart, 2006; Weekley & Ployhart, 2006). Tegelijkertijd is er de laatste jaren veel empirisch onderzoek gedaan naar het gebruik ervan. Ondanks deze ontwikkelingen op praktisch en onderzoeksgebied is deze nieuwe generatie van assessmenttools nog niet echt ingeburgerd in de selectiepraktijk in het Nederlandse taalgebied. In België en Nederland worden bij het selecteren van werknemers hoofdzakelijk sollicitatiegesprekken, cognitieve vaardigheidstests, persoonlijkheidsvragenlijsten en assessment centers gebruikt. Eén van de mogelijke redenen hiervoor is dat HR-specialisten en de anderen die verantwoordelijk zijn voor selectie nog niet erg vertrouwd zijn met deze nieuwe generatie assessment. Het is bijvoorbeeld opmerkelijk dat belangrijke handboeken over personeelsselectie (zoals Cook, 2003) geen informatie over situational judgment tests bevatten. Er is dus een duidelijke behoefte om situationele assessment (en in het bijzonder situational judgment tests, SJT s) te introduceren in het Nederlandstalige gebied. Daarom zijn de doelstellingen van dit boek tweeledig. Allereerst willen we SJT s als selectieprocedures voorstellen. Ten tweede is het de bedoeling om gedetailleerd te beschrijven hoe SJT s in de praktijk kunnen worden ontwikkeld. Hierbij hanteren we het principe van een open boek. Dit betekent dat we de lezer een kijkje gunnen in de keuken van het ontwikkelen van een gedegen situationele assessment. Ons recept om SJT s te ontwikkelen is gebaseerd op de workshops over SJT s die we in de afgelopen jaren in verschillende landen hebben gegeven. Ook baseren wij ons op het beschikbare wetenschappelijke onderzoek. De structuur van dit boek weerspiegelt deze tweeledige doelstelling. Hoofdstuk 1 biedt een introductie tot deze nieuwe situationele assessmentgeneratie. Dit betekent dat wij de kernelementen van SJT s afbakenen en de historische achtergrond van SJT s schetsen. Ook maken we een vergelijking tussen SJT s en andere bekendere selectieprocedures. De volgende vier hoofdstukken geven een gedetailleerd overzicht van de ontwikkelingsprocedure van een SJT. Zo gaat hoofdstuk 2 in op de doelstelling en doelgroep van SJT s. Hoofdstuk 3 spitst zich toe op de inhoudelijke ontwikkeling van SJT s. We staan stil bij 8

7 de verzameling en verfijning van itemstammen en antwoordopties. In hoofdstuk 4 staan de instructies en de scoring van SJT s centraal. Hoofdstuk 5 sluit de ontwikkelingsprocedure van SJT s af door de implementatie van SJT s toe te lichten. In hoofdstuk 6 wordt de aandacht specifiek gewijd aan de ontwikkeling van videogebaseerde SJT s. Dit hoofdstuk is bedoeld als een praktische handleiding voor het opbouwen van een videogebaseerde SJT. Hoofdstuk 7 biedt een evidence-based overzicht van de sterke en zwakke punten van SJT s. Op grond van bestaand wetenschappelijk onderzoek over SJT s meten we ze af aan een reeks harde en zachte psychometrische graadmeters. Concreet komen de volgende criteria aan bod: betrouwbaarheid, criteriumgerelateerde validiteit, incrementele validiteit, constructgerelateerde validiteit, utiliteit, negatieve impact (ten aanzien van minderheden), percepties van sollicitanten, mogelijkheid tot faken en gevoeligheid voor coaching- en oefeneffecten. Hoofdstuk 8 geeft voorbeelden van concrete SJT s voor verschillende functies: een SJT voor administratieve medewerkers, een SJT voor projectingenieurs, een SJT voor selectieadviseurs, een SJT voor leidinggevenden binnen de bouwsector en tot slot een video-sjt die gehanteerd wordt bij de toelatingsproef voor de studies geneeskunde en tandheelkunde in Vlaanderen. Per SJT worden de achtergrond, doelstelling en ontwikkelingsfasen besproken. Wij geven ook telkens verschillende voorbeelditems. Hoofdstuk 9 spit een aantal specifieke toepassingen van situationele assessment dieper uit. Hierbij bespreken wij onder andere SJT s en diversiteit, SJT s als realistic job preview, interculturele toepassingen van SJT s, het gebruik van SJT s bij scenariogebaseerde training en constructgedreven toepassingen van SJT s. 9

8 1 De basis van SJT s In dit hoofdstuk staan we stil bij de basiskenmerken van situational judgment tests (SJT s) als epigoon van een nieuwe generatie webgebaseerde assessmenttools die naar interpersoonlijke competenties kunnen peilen. We beginnen met een korte historische schets van het gebruik van SJT s. 1.1 Historische schets In een SJT krijgen sollicitanten verschillende werkgerelateerde situaties aangeboden. De sollicitanten dienen vervolgens voor elke situatie de meest passende handelswijze(n) te kiezen uit een opgegeven aantal alternatieven. De veronderstelling hierbij is dat de antwoorden van sollicitanten op een grote reeks werkgerelateerde situaties voorspellen hoe zij zullen functioneren in gelijkaardige situaties in de latere functie. Meestal worden de werkgerelateerde situaties in geschreven vorm aangeboden. Er bestaan echter ook videoen multimedia-sjt s. SJT s bestaan eigenlijk al een hele tijd (McDaniel, Morgeson, Finnegan, Campion & Braverman, 2001). Volgens Weekley en Ployhart (2006) is een van de eerste SJT s terug te vinden bij de US Civil Service Examinations in Een voorbeeldvraag was: Een financiële instelling vraagt legale bescherming voor een bepaald logo dat gebruikt wordt als merkteken op de correspondentie. Welke actie zou u in deze situatie ondernemen? Een andere voorloper van SJT s vinden we terug bij Binet (1905). Hij ontwikkelde een test om de mentale achterstand bij kinderen te achterhalen. In het kader hiervan hanteerde hij een deeltest die vragen bevatte zoals: Een persoon heeft u beledigd en komt zich achteraf verontschuldigen, wat zou u doen? Dit kan worden beschouwd als een vorm van situational judgment testing. In 1926 werd de eerste echte volledige SJT ontwikkeld, namelijk de Judgment in Social Situations, een subtest van de George Washington Social Intelligence Test (McDaniel et al., 2001). Deze test was waarschijnlijk de eerste wijdverspreide en geëvalueerde SJT. Er zijn ook sporen terug te vinden van het gebruik van SJT s tijdens de Tweede Wereldoorlog. Ansbacher (1941) merkte bijvoorbeeld op dat het volgende item gebruikt werd: Uw sportclub plant een uitstap naar Berlijn om de voetbalmatch Duitsland-Engeland bij te wonen. Deze wedstrijd vindt binnen twee weken plaats. Er wordt u opgedragen om de voorbereidingen en begeleiding van de reis te organiseren. Wat zou u doen? Eveneens trachtten psychologen van het Amerikaanse leger gedurende de Tweede Wereldoorlog het inzicht van soldaten te peilen. Deze vroege beoordelingstests bestonden uit scenario s met een aantal alternatieven. De oplossingen waren afhankelijk van het gezond verstand, de ervaring en de algemene kennis van de persoon, eerder dan van logisch redeneren. In de jaren 40 en 60 van de vorige eeuw werden ook tests ontwikkeld om het leiderschapspotentieel van sollicitanten te meten (McDaniel et al., 2001). Voorbeelden hiervan zijn de Practical Judgment Test (Cardall, 1942), de How Supervise? (File, 1945; File & Remmers, 1948) en de Supervisory Practices Test (Greenberg, 1963). 11

9 NAAR EEN NIEUWE GENERATIE ASSESSMENT Eind jaren 50 en begin jaren 60 van de vorige eeuw werden SJT s opgenomen in testbatterijen van grote organisaties om het succes van managers te voorspellen. Een voorbeeld is de Management Judgment Test ; deze bestaat uit items die het probleem beschrijven gecombineerd met mogelijke oplossingen waaruit de respondenten de meest geschikte moeten kiezen (McDaniel et al., 2001). Na deze ontwikkelingen werd het middel echter steeds minder populair. In de jaren 90 van de vorige eeuw kwam de toepassing van deze vroege prototypen van SJT s bijna niet voor, tot de moderne versie opnieuw werd uitgevonden door Motowidlo, Dunnette en Carter (1990). Dankzij deze auteurs werd de interesse voor SJT s weer aangewakkerd. Hun artikel gaf aanleiding tot veelvuldig onderzoek. Deze wetenschappers onderzochten het gebruik van een SJT bij de selectie van nieuwe managers. Bij deze SJT kregen de sollicitanten verbale beschrijvingen van werksituaties voorgeschoteld. Er werden ook verschillende alternatieven van mogelijke acties weergegeven. De sollicitanten moesten voor elke situatie aanduiden welk antwoord zij het meest en het minst waarschijnlijk zouden kiezen. Sinds de jaren 90 van de vorige eeuw is er sprake van een hernieuwde interesse in SJT s. Internet biedt enorme mogelijkheden om SJT s van grote groepen af te nemen. Deze moderne SJT s hebben de volgende negen kenmerken, die we hieronder bespreken: Principe van gedragsconsistentie Sample-benadering Realisme van SJT-situatie Realisme van SJT-antwoord Taxonomie Antwoordinstructies Mate van interactiviteit Scoring Verschillen met andere technieken. 1.2 Gedrag als voorspeller voor toekomstig gedrag Het principe van gedragsconsistentie vormt een van de kernideeën bij selectie (Wernimont & Campbell, 1968; Schmitt & Ostroff, 1986). Dit principe stelt dat het belangrijk is om tijdens selectieprocedures kandidaten te confronteren met situaties die representatief zijn voor toekomstige functiesituaties. De verwachting is namelijk dat het gedrag dat kandidaten in kwestie in de selectiesituatie vertonen een goede voorspelling van hun toekomstig gedrag in de werksituatie zal zijn. In figuur 1.1 wordt een schematisch overzicht van dit principe weergegeven. Gedrag in het verleden Gedrag in de selectieprocedure Gedrag in de toekomst Figuur 1.1. Gedragsconsistentie 12

10 DE BASIS VAN SJT S Dit principe vormt eveneens de voornaamste theoretische basis van SJT s. Dit is echter niet de enige selectietechniek die op dit principe stoelt. Zo fungeert dit principe ook als basis voor gedragsgerichte (gedrag in het verleden als voorspeller voor de toekomst) en situationele (intentioneel gedrag in interview als voorspeller voor gedrag in de toekomst) interviews. Ook assessment center-oefeningen en arbeidsproeven (work samples) ontlenen hun voorspellende kracht aan de logica van gedragsconsistentie. 1.3 Sample-benadering SJT s worden niet speciaal ontwikkeld om specifieke onderliggende karaktertrekken te meten (Motowidlo et al., 1990). Dit onderscheidt SJT s van traditionele selectietechnieken (bijvoorbeeld cognitieve vaardigheidstests en persoonlijkheidsvragenlijsten), die gebaseerd zijn op de sign-benadering. Zo meten cognitieve vaardigheidstests bijvoorbeeld numerieke of verbale intelligentie en peilen persoonlijkheidsvragenlijsten naar verschillende persoonlijkheidstrekken (zoals extraversie of emotionele stabiliteit). Bij de sign-benadering is er dus sprake van een indirecte relatie tussen een stabiele eigenschap van een kandidaat (iets wat hij bezit) en zijn gedrag (iets wat hij doet). SJT s maken onderdeel uit van de sample-benadering. Deze benadering stoelt op het principe dat het er bij selectie op aan komt om sollicitanten te confronteren met belangrijke en representatieve taken uit hun functie. SJT s weerspiegelen dus realistische situaties uit een bepaald functiedomein, hetgeen een specifieke functie kan zijn, zoals telefonist(e), of een groep van gelijkaardige functies, zoals verkoopfuncties. Daardoor presenteren SJT s aan sollicitanten een steekproef van mogelijke werksituaties en -gedragingen. De antwoorden van de sollicitanten worden beschouwd als directe aanwijzingen van hoe sollicitanten zouden handelen in een mogelijke toekomstige werksituatie. De sample-benadering doet dus geen beroep op het trekbegrip. Er wordt met andere woorden niet gepeild naar de karaktertrekken van mensen om functieprestaties te voorspellen. Men legt in deze sample-benadering een direct verband tussen het gedrag dat een sollicitant stelt in een aantal functierelevante situaties en zijn/haar later gedrag op de werkplek. In figuur 1.2 is een verduidelijkende schets van deze benadering terug te vinden. Het feit dat SJT s geen abstracte onderliggende eigenschappen beogen te meten, sluit niet uit dat ze diverse onderwerpen en functies kunnen bestrijken. De mogelijkheid van interpersoonlijke competenties loopt hier als een rode draad doorheen. Zo zijn reeds SJT s ontwikkeld om teamwork (McClough & Rogelberg, 2003; Morgeson, Reider & Campion, 2005; Stevens & Campion, 1999), integriteit van de werknemer (Becker, 2005), callcenterprestaties (Konradt, Hertel & Joder, 2003) of academische prestaties (Oswald, Friede, Schmitt, Kim, Ramsay & Gillespie, 2004) te toetsen. Om deze verscheidenheid te illustreren geven wij hierna een aantal voorbeelden van items van diverse SJT s. 13

11 NAAR EEN NIEUWE GENERATIE ASSESSMENT Sign-benadering Domein van de functie Bijvoorbeeld Alle functietaken en verantwoordelijkheden van een salesmanager Extraversie gemeten door persoonlijkheidsvragenlijst Doorzettingsvermogen gemeten door persoonlijkheidsvragenlijst Numeriek inzicht gemeten door cognitieve vaardigheidstest Sample-benadering Assessment center oefening (groepsdiscussie) over budget Assessment center oefening (gesprek) met medewerker SJT met veel voorkomende functiesituaties Figuur 1.2. Voorbeeld van sign- en sample-benadering Voorbeeld 1 Item van een SJT die aangewend wordt als ondersteuning van de selectie van managers. U bent samen met iemand van een andere afdeling verantwoordelijk voor de coördinatie van een project waarbij beide afdelingen betrokken zijn. De andere persoon neemt zijn deel van de verantwoordelijkheid niet. U zou meest waarschijnlijk/minst waarschijnlijk a de situatie met uw manager bespreken en hem vragen de situatie voor te leggen aan de manager van de andere persoon; b hem eraan herinneren dat u zijn hulp nodig hebt en dat het project niet effectief kan worden gerealiseerd zonder een teaminspanning van u beiden; c hem zeggen dat hij zijn deel van het werk niet doet, dat u het niet alleen gaat doen en dat u zich verplicht voelt zijn manager in te lichten als hij niet meer werkt; d trachten te achterhalen waarom hij zijn deel van het werk niet doet en hem uitleggen dat hij meer werk voor u creëert en het moeilijker maakt om het project tot een goed einde te brengen; e iemand anders van zijn afdeling u laten helpen bij het project. 14

12 DE BASIS VAN SJT S Voorbeeld 2 Item van een SJT die gebruikt wordt bij het meten van integriteit (Becker, 2005). U bent tijdens een teamvergadering met uw baas en collega s aan het discussiëren over de manier waarop u een nieuw product aan de man/vrouw zou brengen. Iedereen lijkt akkoord met de idee dat het product binnen een maand op de markt moet zijn. U hebt hier echter uw bedenkingen bij door een recent rapport van de onderzoeksafdeling waarin verschillende potentiële veiligheidsproblemen van het product werden beschreven. Uw baas heeft niet graag dat mensen het met hem oneens zijn. Wat zou u het meest waarschijnlijk doen? a U probeert te begrijpen waarom iedereen voor dit voorstel gewonnen is. Het is immers mogelijk dat uw bezorgdheid niet gegrond is; b U gooit uw mening in de groep en beargumenteert uw bezorgdheid met betrekking tot de veiligheid van het product; c U volgt de rest van het team, een goed teamgevoel is immers belangrijk; d Na de meeting praat u met verschillende teamleden om na te gaan of ze uw bezorgdheid delen. Voorbeeld 3 Item van een SJT die gehanteerd wordt bij de selectie van winkelpersoneel (Ployhart & Ryan, 2001). U bent verwikkeld in een telefoongesprek met een belangrijke klant wanneer een andere klant u onderbreekt. Deze laatste zegt dat hij/zij ontevreden is over uw winkel en hij/zij wil nu uw aandacht. Hij/zij spreekt luid en de andere klanten kunnen horen wat hij/zij zegt. Wat doet u? a U helpt de klant onmiddellijk en legt de hoorn neer; b U vraagt de persoon of hij/zij kan wachten tot u klaar bent met uw telefoongesprek; c U vraagt de klant aan de andere kant van de lijn of u hem/haar mag terugbellen; d U helpt eerst de klant aan de telefoon en helpt dan de klant die uw telefoongesprek heeft onderbroken. Voorbeeld 4 Item van een video-sjt die gebruikt wordt bij de selectie voor verpleegkundigen in een rusthuis (Weekley & Jones, 1997, blz ). Een verpleegkundige loopt de eetzaal binnen en merkt de zoon van een nieuwe bewoner op. De zoon lijkt heel bedroefd. [De scène begint wanneer de verpleegkundige de eetzaal binnenkomt en naar de zoon van de bewoner loopt.] Sandy: Mr. Andrews? Scheelt er iets? 15

13 NAAR EEN NIEUWE GENERATIE ASSESSMENT Arnie [hij heeft duidelijk gehuild, maar probeert te kalmeren]: Oh, ik weet het niet Dit is een van de moeilijkste dingen die ik ooit heb moeten doen. Ik voel me zo schuldig dat mijn vader hier woont. Sandy: Hij lijkt zich goed te voelen en raakt hier snel gewend. Arnie: Maar hij voelt zich hier niet echt thuis. Sandy: Ik begrijp dat het moeilijk voor u is, maar ik ben er zeker van dat alles op zijn pootjes terechtkomt zodra hij hier volledig gewend is. Arnie: Ik wist niet wat ik moest doen, ik weet dat hij niet meer in staat was om alleen thuis te blijven, maar ik vind het zo erg voor hem (hier stopt het scenario). Wat zou u doen indien u de verpleegkundige was? a Hem zeggen dat u persoonlijk een oogje in het zeil zult houden; b Hem voorstellen aan enkele andere familieleden die hetzelfde gevoel hebben gehad; c Hem aanraden om met een sociaal werker te praten; d Hem wat privacy geven. Voorbeeld 5 Item van een SJT die gebruikt wordt bij de selectie van teams (McClough & Rogelberg, 2003, blz. 596). Onaangename taken (zoals warm, vuil, fysiek veeleisend werk) worden normaal gezien verdeeld over de werknemers. Stel dat u het gevoel hebt dat u het grootste deel van de onaangename taken toegewezen krijgt. Wat zou u doen? a Ik zou de taken uitvoeren. Pas na een tijdje zou ik het melden aan mijn chef, omdat er waarschijnlijk een goede uitleg voor is. Het is trouwens moeilijk om al het werk eerlijk te verdelen; b Ik zou het werk doen en daarna mijn chef erover aanspreken; c Ik zou mijn chef meteen vragen of ik het werk moet doen omdat nieuwelingen leergeld moeten betalen. Ik zou wel verwachten dat dit niet meer gebeurt wanneer ik er wat langer werk. Voorbeeld 6 Item van een SJT die gebruikt wordt bij toelatingsexamens tot hogere studies (Oswald et al., 2004, blz. 205). De score voor een bepaald vak is gebaseerd op drie examens. Aanwezigheid tijdens de lessen is niet verplicht. Het huiswerk voor dit vak staat op de website van de professor. Wat zou u het minst en het meest waarschijnlijk doen? a De les bijwonen zolang u het gevoel hebt dat het uw punten kan verbeteren; 16

14 DE BASIS VAN SJT S b Al het huiswerk maken maar slechts enkele lessen volgen. Het zijn de examens die tellen; c Sowieso naar alle lessen gaan. De professor zou iets belangrijks kunnen zeggen; d Lessen overslaan, maar wanneer u een lage score zou halen op het eerste deel, wel de lessen volgen; e Het heeft geen zin om de lessen bij te wonen. Gewoon het huiswerk maken en slagen voor de examens. Voorbeeld 7 Item van een SJT die gebruikt wordt bij de selectie van leerkrachten (Stemler & Sternberg, 2006, blz. 125). Meneer Thompson kan normaal gezien goed overweg met zijn collega s. Tijdens een vergadering over het curriculum heeft hij een andere mening over het nieuwe programma dan de meeste van zijn collega s. Plots valt een van zijn collega s hem hierop aan. Gelieve de beoordelingsschaal van volgende statements te beoordelen: a Meneer Thompson zou zijn mening moeten herhalen, maar duidelijk stellen dat hij bereid is de groep te volgen; b Na de vergadering zou meneer Thompson het beste aan een van de andere leerkrachten kunnen vragen hoe hij volgens hem/haar moet omgaan met de onvriendelijke opmerkingen van de collega; c Meneer Thompson zou het beste zijn collega even apart kunnen nemen en hem zeggen dat hij de persoonlijke aanval heel ongepast vond; d Meneer Thompson zou de aanval het beste kunnen negeren en zijn discussie met een andere leerkracht voortzetten; e Meneer Thompson zou de directeur moeten vragen om zijn collega hierover aan te spreken; f Meneer Thompson zou moeten voorstellen om formele regels op te stellen in verband met het gedrag tijdens vergaderingen; g Meneer Thompson zou duidelijk moeten maken dat hij niet wil antwoorden op persoonlijke aanvallen, maar dat hij graag wil reageren op vragen over zijn mening over het programma. 1.4 Realisme van situatie Hoewel alle SJT s bij kandidaten een zo realistisch mogelijke steekproef (sample) van gedrag uit het domein beogen op te roepen, verschillen SJT s nogal in de mate van realisme waarmee ze deze doelstelling realiseren. Deze mate van realisme en getrouwheid (fidelity) van de aangeboden werksituaties verwijst hierbij naar de mate waarin de stimuli (situaties) consistent zijn met situaties in de werkcontext. 17

15 NAAR EEN NIEUWE GENERATIE ASSESSMENT Een SJT kan op drie verschillende manieren aan de respondent worden aangeboden: in een tekst (geschreven SJT s), via videoscenario s (video-sjt s) of met behulp van een pc (multimedia-sjt s) Geschreven SJT s Een geschreven SJT biedt op papier hypothetische werkgerelateerde situaties aan de respondent aan. In enkele zinnen wordt de problematische werksituatie beschreven. Bij elke situatie worden verschillende antwoordalternatieven aangeboden waarbij elk antwoordalternatief een mogelijke reactie op de situatie weerspiegelt. De respondent moet, afhankelijk van de instructie, zijn/haar meest of minst waarschijnlijke reactie op de situatie aanduiden of de effectiviteit van elk antwoordalternatief beoordelen (Motowidlo & Tippens, 1993) Video-SJT s Een video-sjt bestaat uit een aantal videoscenario s. Deze scenario s brengen op een realistische manier een werksituatie in beeld. Naast de inhoudelijke boodschap is ook het non-verbale gedrag zichtbaar. Het aangeboden videoscenario stopt op een sleutel moment. Vervolgens verschijnen er diverse antwoordalternatieven op het scherm. Uit deze alternatieven dient de respondent de gepaste reactie voor de situatie te selecteren (Dalessio, 1994; Smiderle, Perry & Cronshaw, 1994; Weekley & Jones, 1997). Een video-sjt heeft een aantal voordelen ten opzichte van een geschreven SJT. Allereerst kan men door het gebruik van videobeelden de situatie gedetailleerder, realistischer en nauwkeuriger schetsen (Funke & Schuler, 1998; Olson-Buchanan & Drasgow, 2006). Ten tweede kunnen video-sjt s ook worden gebruikt bij de selectie van individuen met minder kennis van het Nederlands (slechtere leesvaardigheid) (Chan & Schmitt, 1997). Dit biedt perspectieven voor het gebruik van SJT s bij de selectie van allochtonen Multimedia-SJT s Deze SJT s zijn grotendeels gelijk aan videogebaseerde SJT s. Het enige verschil is dat een cd of dvd als medium fungeert (in plaats van videorecorder, McHenry & Schmitt, 1994). 1.5 Realisme van antwoord SJT s bieden vaak meerkeuzeantwoorden. Dit betekent dat kandidaten uit een lijst met verschillende antwoordopties moeten kiezen. Opnieuw kunnen de alternatieven op een geschreven wijze (low response fidelity) of op een videogebaseerde wijze (medium response fidelity) worden aangeboden. In dit laatste geval worden de antwoordmogelijkheden visueel gepresenteerd en eventueel auditief ondersteund door een gesproken boodschap. Er wordt niet aan de sollicitanten gevraagd om zelf reëel gedrag te vertonen (high response fidelity). Dit kenmerk onderscheidt SJT s van high-fidelity simulaties zoals assessment center-oefeningen of work samples. Bij deze oefeningen krijgen kandidaten de 18

16 DE BASIS VAN SJT S opdracht om te antwoorden met reëel gedrag, dat geobserveerd en geëvalueerd wordt door getrainde assessoren. Deze graad van realisme van het antwoord heeft ook invloed op de snelheid waarmee individuen de SJT dienen te beantwoorden. Zo kunnen kandidaten bij geschreven meerkeuzevragen (low response fidelity) de tijd zelf verdelen over de verschillende items. Dit is meestal niet het geval als de antwoordopties via de pc of video worden aangeboden (medium response fidelity-variant). Kandidaten kunnen dan niet teruggaan naar voorgaande items en hebben dikwijls slechts een beperkt aantal seconden om het fragment te beantwoorden. Hetzelfde geldt als ze direct na het getoonde fragment dienen te antwoorden door concreet gedrag te vertonen (high response fidelity-variant). In tabel 1.1 is terug te vinden hoe situatie (stimulus) en antwoord (respons) aangeboden worden in respectievelijk low-fidelity simulaties, medium-fidelity simulaties en highfidelity simulaties. Vervolgens lichten we deze drie soorten simulaties verder toe. Tabel 1.1. Verschillen tussen low-, medium- en high-fidelity simulaties Stimulus Respons Low-fidelity simulatie Geschreven mondeling Geschreven mondeling Medium-fidelity simulatie Video/multimedia Geschreven mondeling video gedrag High-fidelity simulatie Gedrag Gedrag 1.6 Taxonomie Door de getrouwheid van de stimulus en de getrouwheid van het antwoord te variëren ontstaat een hele reeks mogelijke selectietechnieken. Deze worden in figuur 1.3 schematisch geïllustreerd Low-fidelity simulaties Deze simulaties presenteren enkel een louter verbale beschrijving van een werksituatie en vragen sollicitanten wat ze in die situatie zouden doen. Dit kan geschreven (met een SJT) of mondeling (met een situationeel interview) gebeuren. Recentelijk werd zelfs geëxperimenteerd met het aanbieden van de situatie in cartoonvorm (cartoon-sjt). Dergelijke selectietechnieken staan gecategoriseerd onder low-fidelity simulaties omdat ze het principe van gedragsconsistentie slechts beperkt realiseren. Het is veel minder realistisch om de functierelevante situaties mondeling of schriftelijk aan kandidaten aan te bieden dan een situatie echt mee te maken en te beleven. Verder geven de kandidaten hun antwoorden mondeling of schriftelijk. Dit is echter nog geen garantie dat ze de aangegeven reactie in de werkelijkheid ook werkelijk zouden vertonen. Deze technieken scoren echter hoog qua standaardisatie, omdat alle sollicitanten dezelfde situatie aangeboden krijgen. Ook de antwoorden liggen in principe vast (behalve bij het situationele interview). 19

17 NAAR EEN NIEUWE GENERATIE ASSESSMENT Mate van standaardisatie van stimulus en respons Geschreven SJT Low fidelity simulations Situationeel interview Video SJT Multimedia SJT Medium fidelity simulations Webcam SJT Rollenspel High fidelity simulations Groepsdiscussie Figuur 1.3. Getrouwheid van stimulus en respons Mate van getrouwheid van stimulus en respons High-fidelity simulaties Deze simulaties baseren zich enkel op het gedrag dat mensen tonen om zo toekomstig gedrag nog beter te kunnen voorspellen. Voorbeelden zijn assessment center-oefeningen (groepsdiscussie, rollenspel enzovoort). Deze simulaties creëren immers niet enkel een realistische situatie, maar vragen ook dat de kandidaat daadwerkelijk de handeling stelt. Hierdoor scoort dit type simulaties hoog wat realisme van de situatie en realisme van het antwoord van de kandidaat betreft. Een mogelijk probleem bij high-fidelity simulaties is echter dat ze dikwijls inboeten aan standaardisatie. Assessment center-oefeningen zijn ook een stuk minder gestructureerd dan bijvoorbeeld een geschreven of video-sjt, aangezien de kandidaat zelf (onvoorspelbaar) gedrag vertoont, dat assessoren vervolgens observeren en beoordelen ( interpreteren ). Kortom, de keerzijde van het hogere realisme van deze simulaties is een lagere standaardisatie. Het dient wel gezegd te worden dat de standaardisatie van assessment centeroefeningen verhoogd kan worden door goed uitgekiende instructies en een gedegen training van assessoren en rollenspelers Medium-fidelity simulaties Deze simulaties zijn recentelijk ontwikkeld. In essentie zijn dit hybride formaten waarbij wordt gepoogd een evenwicht te vinden tussen het maximaliseren van het realisme van de situatie en het maximaliseren van de standaardisatie. Een bekende hybride vorm is de video/multimedia-sjt. Deze SJT tracht de standaardisatie van een geschreven SJT te combineren met het realisme van werkelijk uitgebeeld gedrag, 20

18 DE BASIS VAN SJT S waarbij het non-verbale ook een rol speelt. De video/multimedia-sjt s scoren hoger qua realisme dan geschreven SJT s. Bij een andere hybride vorm wordt een gestandaardiseerde werksituatie bijvoorbeeld op video aangeboden maar wordt de respondent wel gevraagd er dadelijk en daadwerkelijk op te reageren. Hierbij neemt een camera (of soms zelfs een webcam) het gedrag op. Dit gedrag wordt vervolgens beoordeeld door assessoren. 1.7 Antwoordinstructies Elke SJT deelt de respondenten ook mee hoe hij tot een antwoord moet komen. Dit gebeurt aan de hand van antwoordinstructies. De antwoordinstructies van SJT s kunnen worden ingedeeld in twee groepen: kennisgeoriënteerde of gedragsgeoriënteerde instructies. Kennisinstructies peilen naar de kennis van de respondenten over het beste of meest effectieve antwoord. Gedragsgeoriënteerde instructies vragen de respondenten wat zij het meest en minst waarschijnlijk zouden doen (Ployhart & Ehrhart, 2003). 1.8 Mate van interactiviteit Binnen de groep van multimedia-sjt s kunnen twee soorten worden onderscheiden: lineaire SJT s en niet-lineaire SJT s. Deze laatste worden ook wel vertakte, geneste of interactieve SJT s genoemd (Olson-Buchanan et al.,1998; Olson-Buchanan & Drasgow, 2006; Richman-Hirsch, Olson-Buchanan & Drasgow, 2000). Dit onderscheid heeft te maken met de situaties die getoond worden nadat de respondent zijn/haar eerste antwoordalternatief heeft gekozen Lineaire SJT s Bij deze SJT s worden alle SJT-items in dezelfde volgorde aan de kandidaten aangeboden. Elke kandidaat doorloopt dus dezelfde SJT-items. Bovendien doorloopt ook elke kandidaat alle items Niet-lineaire of vertakte ( branched ) SJT s Bij deze SJT s worden niet alle SJT-items in een gelijke volgorde aan de kandidaten aangeboden. Elke kandidaat doorloopt dus niet lineair dezelfde situaties. De fragmenten bouwen immers voort op de antwoorden van de kandidaat in kwestie en zijn in elkaar vertakt (zie figuur 1.4). Indien de kandidaat bijvoorbeeld kiest om in een concrete situatie toe te staan dat persoon X iets vroeger het werk verlaat om zijn kleinzoon naar voetbaltraining te brengen, wordt de kandidaat in de volgende situatie geconfronteerd met de gevolgen van deze actie (namelijk dat persoon Y dit heeft gehoord en vraagt om de week erna iets later te mogen beginnen met werken omdat dit privé beter uitkomt). De vertakte opbouw 21

19 NAAR EEN NIEUWE GENERATIE ASSESSMENT van de SJT-items biedt aan multimediatests de mogelijkheid om een zekere vorm van interactiviteit te creëren, terwijl toch een bepaald niveau van standaardisatie behouden blijft. Kandidaten worden geconfronteerd met de gevolgen van hun keuzes. Deze interactiviteit houdt ook in dat alle sollicitanten niet op dezelfde items antwoorden. De technologische mogelijkheid om interactieve SJT s te ontwikkelen wordt vooral gebruikt bij multimedia-sjt s. Figuur 1.4. Voorbeeld van SJT met vertakte ( branched ) items 1.9 Scoring Een laatste kenmerk van SJT s is dat de scoringssleutel op voorhand wordt ontwikkeld. Dit betekent dat er geen assessoren of beoordelaars aanwezig zijn die het gedrag van de kandidaten evalueren. In plaats daarvan worden SJT s gescoord op grond van expertgebaseerde, empirische of theoretische scoring (Bergman, Drasgow, Donovan, Henning & Juraska, 2006). We bespreken deze diverse modellen kort hieronder Expertgebaseerde scoring Bij deze scoring is de scoringssleutel gebaseerd op de antwoorden van individuen met een aanzienlijke hoeveelheid kennis en ervaring over het onderwerp. 22

20 DE BASIS VAN SJT S Empirische scoring Bij deze scoring wordt de test van een grote pilot-steekproef afgenomen. De scores worden vastgesteld door de keuzes van verschillende respondenten met elkaar te vergelijken. Hierbij wordt ervan uitgegaan dat de antwoordalternatieven differentiëren tussen personen die verschillende prestatieniveaus behalen voor een bepaalde criteriumvariabele (bijvoorbeeld functieprestatie). In de praktijk komt dat erop neer dat de antwoordalternatieven die frequent gekozen worden door respondenten die goed functioneren in de functie als correct worden gescoord. Opties die vooral aangeduid worden door respondenten die minder goed functioneren, worden als incorrect gescoord Theoretische scoring Bij deze scoring wordt de scoringssleutel ontwikkeld op basis van een bestaand theoretisch model (bijvoorbeeld een model voor conflicthantering). Antwoordopties die overeenstemmen met de uitgangspunten van de theorie worden als effectief beschouwd. Opties die niet stroken met de theorie worden als niet-effectief gescoord Verschillen met andere technieken De kernelementen van SJT s die we in dit hoofdstuk naar voren brachten, verduidelijken de gelijkenissen en verschillen tussen SJT s en bekendere tests zoals assessment centeroefeningen of work sample-tests. Overeenkomsten tussen SJT s en deze sample-based tests zijn het feit dat zowel gedragsconsistentie als realisme (getrouwheid) als fundamenten van de test fungeren. Het zijn allemaal ook methoden die een veelheid aan domeinen kunnen bestrijken, ook al hebben ze niet de intentie om specifieke constructen te meten. Er zijn echter ook belangrijke verschillen (zie tabel 1.2). Ten eerste kunnen SJT s worden afgenomen van een grote groep mensen en via internet. Work samples en assessment center-oefeningen worden meestal gebruikt voor kleinere steekproeven en zijn afhankelijk van een specifieke locatie. Ten tweede, zoals hierboven al aangegeven, zijn assessment center-oefeningen en work sample-tests high-fidelity simulaties, omdat anderen (getrainde assessoren) het gedrag van de kandidaat observeren en beoordelen. SJT s zijn daarentegen low-fidelity simulaties, aangezien kandidaten zelf het correcte antwoord uit een lijst van vooraf opgestelde opties moeten kiezen (meerkeuzeformaat). Standaardisatie is dus verzekerd, aangezien bij iedereen dezelfde situaties worden weergegeven (met uitzondering van de vertakte SJT s) en de scoringssleutel van tevoren bepaald is. In tabel 1.3 sommen we de kernverschillen op tussen gedragsgerichte interviews en SJT s. Een belangrijk verschil is dat bij gedragsgerichte interviews de situaties door de kandidaat zelf worden gekozen en aangebracht, terwijl bij een SJT dezelfde gestandaardiseerde situaties aan alle kandidaten worden voorgelegd. Een ander punt van verschil is dat de beoordeling bij gedragsgerichte interviews door getrainde interviewers gebeurt, terwijl bij SJT s kandidaten dienen te kiezen uit vooraf bepaalde antwoordopties. 23

21 NAAR EEN NIEUWE GENERATIE ASSESSMENT Tabel 1.2. Verschillen tussen SJT s en assessment centers Stimulus Respons Scoring Gebruik SJT s Gestandaardiseerde geschreven of op video opgenomen werksituaties Geschreven respons Zelfbeoordeling Meerkeuzeformaat Ingebouwd expertmodel Vooraf geconstrueerd Select-out (screeningsfase) Grote groepen Assessment centers Gestandaardiseerde instructies bij assessment center-oefeningen Ongecontroleerd tegenspel van andere kandidaten of rollenspelers Daadwerkelijk gedrag Beoordeling door anderen (assessoren) Vrijheid in respons Getrainde assessoren Live observatie en beoordeling Select-in (eindfase selectie) Kleine groepen Tabel 1.3. Verschillen tussen SJT s en gedragsgerichte interviews Stimulus Respons Scoring Gebruik SJT s Gestandaardiseerde geschreven of op video opgenomen werksituaties Verleden of toekomstige situatie Geschreven respons Zelfbeoordeling Meerkeuzeformaat Ingebouwd expertmodel Vooraf geconstrueerd Select-out (screeningsfase) Grote groepen (webgebaseerd) Gedragsgerichte interviews Zelf aangebrachte situatie (verschilt van kandidaat tot kandidaat) Situatie uit het verleden Mondelinge respons Beoordeling door anderen (interviewers) Vrijheid in respons Getrainde interviewers Live observatie en beoordeling Zowel select-in als select-out Middelgrote groepen 1.11 Conclusie Dit hoofdstuk laat zien dat we eigenlijk niet kunnen spreken over de SJT. Er bestaan bijzonder veel varianten van SJT s. Zo bestaan er geschreven SJT s, video-sjt s en multimedia-sjt s. Daarnaast kunnen SJT s lineair of vertakt zijn opgebouwd. Ook dienen er keuzes te worden gemaakt met betrekking tot het type instructies en de scoring van SJT s. Toch doen deze variaties geen afbreuk aan de eigenheid van SJT s. Deze eigenheid laat zich als volgt karakteriseren. SJT s presenteren functiegerelateerde en gecontextualiseerde situaties en mogelijke antwoordopties om op deze manier voorspellingen te kunnen 24

22 DE BASIS VAN SJT S doen over het toekomstig functioneren. Hoe deze situatie wordt ingekleed, aangeboden en gescoord, kan echter variëren. Vervolgens peilen SJT s voornamelijk de interpersoonlijke competenties, hoewel bij SJT s ook andere competenties aan bod kunnen komen. Tot slot kunnen geschreven, video- en multimedia-sjt s via internet van grote groepen worden afgenomen. De variatie in SJT s komt ook tot uiting in de ontwikkeling van SJT s. In de volgende drie hoofdstukken gaan we dieper in op de keuzes die moeten worden gemaakt bij de ontwikkeling van SJT s. Allereerst gaan we in op strategische keuzes in verband met doelstelling en doelgroep. Daarna staan respectievelijk de inhoud en de scoring van SJT s centraal. Tot slot wijden we een hoofdstuk aan de implementatie en opvolging van SJT s. 25