Faculteit Psychologie en Pedagogische Wetenschappen. Academiejaar Tweede Examenperiode

Transcriptie

1 Faculteit Psychologie en Pedagogische Wetenschappen Academiejaar Tweede Examenperiode Het omzetten van een bestaande geschreven situationele test in een videogebaseerde test met rollenspelers Scriptie neergelegd tot het behalen van de graad van Master in de Psychologie, Optie Bedrijfspsychologie en Personeelsbeleid door Timothy De Jaeger Wouter Pereboom Promotor : Prof. Dr. F. Lievens Begeleiding : Lic. E. Schollaert

2 Ondergetekenden, Timothy De Jaeger en Wouter Pereboom, geven toelating tot het raadplegen van de masterproef door derden.

3 VOORWOORD Videobased Situational Judgment Test i Deze masterproef betekende voor ons een belangrijk werkstuk van onze vijfjarige universiteitsopleiding. Dit zou er echter nooit geweest zijn zonder de steun van een aantal mensen. Daarom graag aan hen een woord van dank. Vooreerst zijn we Prof. Dr. Filip Lievens erkentelijk voor de kans die we kregen om deze masterproef onder zijn promotorschap te realiseren. Hierbij aansluitend danken we expliciet onze begeleidster Eveline Schollaert voor haar frequente en intensieve feedback. Steeds ging zij in op onze vragen en was zij ontvankelijk voor onze inbreng. Graag willen wij ook de gelegenheidsacteurs, Marnix Vangheluwe, Liesbeth De Smet en David De Jaeger danken voor hun enthousiaste medewerking. Ook voor hen was dit een nieuwe ervaring. Wij willen Marnix Vangheluwe in het bijzonder danken voor het ter beschikking stellen van een camera, montageprogramma, en de opleiding die hij ons heeft gegeven. Verder danken wij ook Arche-Consulting voor het mogen gebruik maken van een leslokaal en danken wij ook 9000 Studios voor het helpen ontwikkelen van de website. Ten slotte gaat onze dank uit naar onze ouders en familie voor hun luisterend oor in moeilijke momenten en hun empathie. Ze bleven ons steunen in de gemaakte keuzes, leerden ons relativeren en gaven ons steeds passend advies. Timothy De Jaeger Wouter Pereboom Gent, augustus 2009

4 ABSTRACT Videobased Situational Judgment Test ii In deze masterproef werd een videogebaseerde situationele beoordelingstest (video SJT) ontwikkeld. Een videogebaseerde SJT bestaat uit scenario s die op een realistische manier een werksituatie in beeld brengen. Naast de inhoudelijke boodschap is ook het non-verbale gedrag zichtbaar. Het aangeboden videoscenario stopt op een sleutelmoment. Vervolgens verschijnen er diverse antwoordalternatieven op het scherm. Uit deze alternatieven dient de respondent de gepaste reactie voor de situatie te selecteren (Dalessio, 1994; Smiderle, Perry,& Cronshaw, 1994; Weekley & Jones, 1997). Vooraleer wordt begonnen met de bespreking van de ontwikkeling van de video SJT, wordt eerst de literatuurstudie besproken. Hierbij wordt ingegaan op de omschrijving, de betrouwbaarheid, en de validiteit van een geschreven SJT. Daarbij wordt ook aandacht besteed aan de bevindingen in verband met video SJTs. Daarnaast wordt reeds kort de ontwikkeling van beide types SJT toegelicht. Ten slotte worden de omschrijving, voordelen, en praktijkrelevantie van een video SJT nader besproken. Vervolgens wordt de ontwikkeling van de video SJT besproken. Voor de ontwikkeling van de video SJT werd er uitgegaan van een reeds bestaande geschreven SJT, namelijk een vertaling van de SJT van Bess en Mullins (2002). Deze SJT peilt naar de leermethoden van studenten en is reeds veel onderzocht geweest. Tijdens de ontwikkeling van de video SJT werden de stappen, die beschreven worden in de literatuur nauwgezet gevolgd. Hierna wordt de ontwikkelde video SJT besproken aan de hand van de mogelijke bijdrage aan praktijk en wetenschap alsook aan de hand van de beperkingen. Mogelijkheden tot verder onderzoek worden eveneens besproken. In deze sectie volgt tevens een mogelijke suggestie om de validiteit en betrouwbaarheid van de ontwikkelde video test te onderzoeken.

5 INHOUDSTAFEL Videobased Situational Judgment Test iii Voorwoord i Abstract ii Inhoudstafel iii Lijst met figuren v Inleiding 1 Situational Judgment Test 2 Algemene omschrijving 2 Definitie 2 Evolutie 3 Simulatie met laag realiteitsgehalte 5 Validiteit en betrouwbaarheid 5 Criteriumvaliditeit 5 Incrementele validiteit 6 Constructvaliditeit 7 Face validiteit 8 Betrouwbaarheid 9 Adverse impact 9 Faking 10 Ontwikkeling SJT 11 Videogebaseerde SJT 13 Definitie 13 Voordelen videotest 13 Praktijkrelevantie 14 Doelstelling 15 Methode 16 Ontwikkeling van een SJT 16 Fase 1: Verzamelen van kritische incidenten 16 Fase 2: Antwoordalternatieven verzamelen 16 Fase 3: Bepalen van de antwoordinstructies 17 Fase 4: Scoring van de SJT 17 Fase 5: Bepalen van de scoringssleutel 18 Welke SJT? 18

6 iv Ontwikkeling van een video-sjt 19 Planning 19 Ontwerpen van scripts 20 Preproductie 24 Video-opnamen 27 Post-productie 29 Montage 29 Van film naar test 31 Discussie 33 Ontwikkeling 33 Bijdrage aan praktijk en wetenschap 34 Beperkingen en verder onderzoek 34 Beperkingen 34 Verder onderzoek 36 Conclusie 38 Referenties 39 Bijlages 45

7 LIJST MET FIGUREN Videobased Situational Judgment Test v Figuur 1. Voorbeeld item 3 Figuur 2. Item uit test van Bess en Mullins (2002) 22 Figuur 3. Script van item uit Figuur 2 23

8 INLEIDING Videobased Situational Judgment Test 1 In de huidige maatschappij zijn er twee belangrijke uitdagingen op de arbeidsmarkt. Ten eerste wordt door het toenemend tekort van werknemers op de verschillende arbeidsmarkten het alsmaar belangrijker voor bedrijven om ten aanzien van hun concurrenten er in positieve zin uit te springen zodat ze als attractieve ondernemingen gezien worden door potentiële sollicitanten (Maurer, Howe, & Lee, 1992; Taylor & Collins, 2000; Thomas & Wise, 1999; Lievens & Highouse, 2005). Ten tweede krijgt men vaak te horen dat de allochtonen ondervertegenwoordigd zijn op de huidige arbeidsmarkt. Bovendien evolueert men naar een multiculturele maatschappij waar diversiteit steeds belangrijker wordt. Bij de zoektocht naar werknemers is er daarom een opportuniteit om deze doelgroep aan te spreken. Het gebruik van situationele beoordelingstesten biedt een goed antwoord op de uitdagingen van de arbeidsmarkt hierboven geschetst. Situationele beoordelingstesten (SJTs) zijn testen die bestaan uit situaties over een probleem waarmee iemand tijdens zijn of haar werk kan worden geconfronteerd en die een bepaalde handeling van de persoon vereist. De sollicitant dient deze situaties te beoordelen met behulp van een lijst met mogelijke reacties op de situatie. Uit deze lijst moet de kandidaat die reactie selecteren die zijn of haar meest of minst waarschijnlijke manier van handelen tijdens de situatie beschrijft (McDaniel & Nguyen, 2001; Motowidlo et al., 1990; Van der Maesen, Born, Van Oudenhoven-Van der Zee, & Ruhe, 2003). Ten eerste lijkt deze vorm van testen als attractiever te worden gepercipieerd wat zich zou kunnen vertalen naar een positief imago van de organisatie waar de test werd afgenomen en op die manier de kans vergroot dat een bepaalde sollicitant bij verschillende gelijkwaardige jobs voor de desbetreffende organisatie zal kiezen. De reacties van de kandidaten hebben immers invloed op het beeld dat ze van de organisatie hebben en daaruit voortvloeiend of ze de job al dan niet aanvaarden (Hausknecht, Day, & Thomas, 2004). Ten tweede komt uit de literatuur naar voor dat de adverse impact lager zou zijn voor minderheidsgroepen wat betreft deze manier van testen (Chan & Schmitt, 1997). Adverse impact betekent dat verschillende groepen verschillend scoren op de test. Dit zijn slechts enkele voordelen waarom dergelijke situationele beoordelingstesten meer en meer worden ingeschakeld in selectieprocedures. Naast deze algemene voordelen van een SJT kunnen wij op basis van de wetenschappelijke literatuur suggereren dat het gebruik van videogebaseerde SJTs bovenop

9 2 geschreven SJTs een meerwaarde zou kunnen bieden voor organisaties (Olson-Buchanan & Drasgow, 2006). Er is nog maar weinig empirisch onderzoek omtrent dit onderwerp gebeurd. Toch werden reeds enkele belangrijke voordelen in de literatuur vermeld. Vooreerst kan men door het gebruik van videobeelden de situatie meer gedetailleerd, realistisch, en nauwkeurig schetsen (Funke & Schuler, 1998; Olson Buchanan & Drasgow, 2006). Ten tweede vinden verschillende studies ook een hogere face validiteit (Kanning et al., 2006; Chan & Schmitt, 1997). Dit wil zeggen dat kandidaten de selectieprocedure relevant vinden voor de job waarvoor men solliciteert. Ten derde zouden video SJTs ook kunnen gebruikt worden bij de selectie van individuen met een mindere leesvaardigheid. Dit biedt perspectieven bij de selectie van allochtonen of bij beroepen waarbij leesvaardigheid minder van belang is (minder adverse impact) (Chan & Schmitt, 1997). Op basis hiervan kunnen we besluiten dat het gebruik van een video SJT in de selectieprocedure een opportuniteit biedt in het licht van de huidige maatschappelijke context. In het kader van deze scriptie ontwikkelen we daarom een videogebaseerde SJT. Vooraleer we de ontwikkelde SJT bespreken, wordt een overzicht gegeven van de relevante literatuur met betrekking tot SJTs. Eerst wordt getracht een algemene omschrijving te geven van situationele beoordelingstesten. Vervolgens worden de relevante bevindingen gepubliceerd in verband met validiteit en betrouwbaarheid en wordt reeds kort de ontwikkeling van beide types SJT toegelicht. Ter afsluiting wordt dieper ingegaan op de video SJT, meer bepaald de voordelen, de praktijkrelevantie, en de doelstelling van de scriptie. Situational Judgment Test Algemene Omschrijving definitie SJTs zijn samengesteld uit beschrijvingen van situaties die voorkomen in de functie waarvoor de kandidaat solliciteert. Meestal gaan deze situaties over een probleem waarmee iemand tijdens zijn/haar werk kan worden geconfronteerd en die een bepaalde handeling van de persoon vereist. De kandidaat dient deze situaties te beoordelen met behulp van een lijst met mogelijke reacties op de situatie. Uit deze aangeboden lijst moet de kandidaat die reactie selecteren die zijn of haar meest of minst waarschijnlijke manier van handelen tijdens de situatie beschrijft. De assumptie hierbij is dat op basis van hoe iemand presteert op een simulatie van de job, voorspeld kan worden hoe iemand in de job zal functioneren (McDaniel & Nguyen, 2001; Motowidlo et al., 1990; Van der Maesen, Born, Van Oudenhoven-Van der Zee, & Ruhe, 2003). Het voorbeelditem uit figuur 1 illustreert dit.

10 3 Een medewerkster slaagt er vaak niet in om haar werk af te krijgen omdat ze altijd heel lange praatjes voert met de klanten. Andere medewerkers hebben erover geklaagd dat zij op die manier haar deel van het werk niet doet. Welk antwoord is het beste voor jou? Welk antwoord is het slechtste voor jou? A. Haar ongemoeid laten want de klanten houden veel van deze babbels. B. Haar zeggen dat ze meer moet werken en minder praten en haar daarbij opdrachten geven die tegen een bepaalde dag moeten afgewerkt zijn. C. Een formele disciplinaire maatregel opstarten. D. Het verschil uitleggen tussen sociale babbels en dienstverlening en haar coachen om de gesprekken korter te houden. E. Dit punt enkel bespreken met haar als haar productie werkelijk onder de norm ligt. (Ontwikkeling Generieke Testen, 2007) Figuur 1. Voorbeelditem evolutie Het eerste gebruik van situationele beoordelingstesten gaat terug tot in de tweede wereldoorlog. Psychologen van het leger wilden het beoordelingsvermogen van de soldaten testen. Deze testen bestonden uit verschillende militair gerelateerde scenario s waarbij men moest oordelen op basis van gezond verstand, ervaring, en kennis eerder dan logisch redeneren. Bij onderzoek met deze testen bleek dat ze heel erg beroep deden op de algemene cognitieve factor g en niet een specifieke factor (Northrop, 1989). Niet alleen in het leger was men bezig met deze testen, ook in het bedrijfsleven waren dergelijke testen al aanwezig. Zo werden vanaf de jaren 40 een ganse resem situationele beoordelingstesten ontwikkeld om het leiderschapspotentieel na te gaan. Voorbeelden hiervan zijn The Practical Judgement Test (Cardall 1942), How Supervise? (File, 1945; File & Remmers, 1948), The Supervisory Practices Test (Bruce & Learner, 1958), The Business Judgement Test (Bruce, 1965), The Supervisory Judgement Test (Greenberg, 1963), en The Supervisory Inventory on Human Relations (Kirkpatrick & Planty, 1960). In de late jaren 50 en de vroege jaren 60 begonnen ook grote bedrijven deze testen te gebruiken als deel van hun selectiebatterij om bijvoorbeeld succes in management te voorspellen. Eén van die bedrijven was The Standard Oil Company of New Jersey die een programma genoemd the early identification of management potential had om werknemers er uit te selecteren die het in zich hadden om succesvol te zijn in management functies (Campbell, Dunnette, Lawler, & Weick, 1970). Een onderdeel van het programma was een situationele beoordelingstest. Hier werden

11 4 probleemsituaties voorgesteld waar managers later hadden mee af te rekenen en de participanten konden uit een reeks mogelijke gedragingen de meest geschikte kiezen. Deze testen waren nog kleinschalig (McDaniel et al., 2001). Pas in de jaren 90 zou de populariteit van de SJT s in een stroomversnelling geraken. Bedrijven en onderwijs werden meer en meer geïnteresseerd. In deze beide domeinen ontstond er een grote behoefte tot het vinden van bijkomende predictoren buiten het cognitieve domein. De motivatie hiervoor was tweeledig. Eerst was er het verlangen om een selectiesysteem te vinden die minder verschillen oplevert tussen rassen, en minder zogenaamde adverse impact oplevert dan systemen die dit meer hebben zoals cognitieve metingen (Lievens, Buyse, & Sackett, 2005). Adverse impact verwijst naar de verschillende scores op eenzelfde test bij verschillende groepen (etnische minderheden versus meerderheden, mannen versus vrouwen, ). Verschillende alternatieven kwamen hiervoor in aanmerking. De belangrijkste zijn het gebruik van andere constructen zoals persoonlijkheid of interpersoonlijke vaardigheden en alternatieve presentatievormen.. Een tweede motivatie was de behoefte om de criteria uit te breiden waar potentiële werknemers op beoordeeld moesten worden (Lievens, Buyse, & Sackett, 2005). Bij werknemers ging men verder kijken dan alleen de kerntaken (task performance), maar ook naar gedragingen die daar niet toe konden gerekend worden namelijk contextual performance. Voorbeelden van positieve gedragingen zijn collega s helpen als men tijd heeft, opruimen, enzovoort. Dit kan men omschrijven als citizenship. Voorbeelden van negatieve gedragingen zijn het stelen van materiaal, pesten van collega s, enzovoort. Dit wordt counterproductive work behavior genoemd. In het onderwijs werd niet alleen kennis als norm gehanteerd. Succes bij studenten werd ruimer geïnterpreteerd. Daarbij dacht men aan sociale vaardigheden, levenslang leren (lifelong learning oriëntation), (Chan & Schmitt, 2002). Eén specifieke predictor trok bij dit alles de aandacht. Dat was de situationele beoordelingstest. Verscheidene studies suggereerden belangrijke voordelen van deze soort testen. Allereerst bezaten SJT s een redelijke validiteit (predictieve validiteit, incrementele validiteit ten opzichte van cognitieve vaardigheid en ten opzichte van persoonlijkheidstests). Ten tweede waren er gunstige percepties van de respondenten (face validiteit). Een derde belangrijk voordeel was de mindere adverse impact tegen minderheden die deze testen bezaten ten opzichte van traditionele cognitieve vaardigheidstests. (Lievens, Buyse, & Sackett, 2005).

12 5 simulatie met laag realiteitsgehalte Een situationele judgment test (SJT) kan men beschouwen als een simulatie met een laag realiteitsgehalte (low fidelity simulation). In de eerste plaats is het een simulatie. Simulaties zijn in tegenstelling tot sign-gebaseerde methoden gebaseerd op samples. Dat wil zeggen dat men niet gaat kijken naar onderliggende signs zoals onderliggende vaardigheden, temperament of trekken maar uitgaat van het gedragsconsistentie principe (behavioral consistency), namelijk vroeger gedrag voorspelt toekomstig gedrag (Wernimont & Campbell, 1968). Nu kunnen deze simulaties variëren in de mate van overeenkomst waarmee zij een stimulus presenteren. Hoge overeenkomst betekent het gebruik van zeer realistische materialen om de situatie voor te stellen. Zo kan de proefpersoon bijna volledig antwoorden als was hij of zij in een echte jobsituatie. Simulaties met een lage overeenkomst daarentegen presenteren een verbale beschrijving van een hypothetische werksituatie. De proefpersonen moeten hier geen echte handelingen ondernemen. Simulaties met een hoge overeenkomst (high fidelity simulations) zijn bijvoorbeeld de work sample of een assessment center. Een situationele judgement test is een vorm van een low fidelity simulation (Motowidlo et al., 1990). Validiteit en Betrouwbaarheid Vaak worden nieuwe testen ontworpen wat soms gepaard gaat met hoge kosten. Daarom zijn validiteit en betrouwbaarheid veelbesproken onderwerpen binnen de personeelsselectie. Deze twee concepten tonen immers aan of deze testen wel degelijk een meerwaarde leveren tegenover de reeds gevestigde testen. Nu wordt achtereenvolgens de criteriumvaliditeit, de incrementele validiteit, de constructvaliditeit en de face validiteit van SJTs besproken met steeds ook een kijk op videogebaseerde SJTs. Daarna bespreken we de betrouwbaarheid van SJTs. Ook wordt de adverse impact onder de loep genomen. Als laatste wordt nagegaan in welke mate SJTs vatbaar zijn voor faking. criteriumvaliditeit Criteriumvaliditeit gaat na in welke mate een test een voorspellende waarde heeft. Met andere woorden in welke mate kan de prestatie van een respondent op de test de prestatie op een bepaald criterium voorspellen. Men kan criteriumvaliditeit onderverdelen in predictieve validiteit en concurrente validiteit. Predictieve validiteit geeft de mate weer waarin de testprestatie van een individu zijn toekomstig niveau

13 6 op het criterium kan voorspellen, terwijl concurrente validiteit de mate weergeeft waarin testscores een indicatie zijn voor zijn huidig niveau op het criterium (Messick, 1989). In de meta-analyse van McDaniel en Nguyen (2001) werd sterke evidentie geleverd voor de vraag of SJTs job prestatie kunnen voorspellen. Zij rapporteerden namelijk significante correlaties tussen SJTs en emotionele stabiliteit (.31), consciëntieusheid (.26), en aangenaamheid (.25). Deze drie persoonlijkheidsdimensies hebben reeds in het verleden bewezen valide predictoren te zijn van job prestatie. O Connell et al. (2007) rapporteerden dat SJTs beter task performance (.14) dan contextual performance (.10) konden voorspellen. In dit onderzoek heeft deze laatste betrekking op extrarol gedragingen die de organisatie ten goede komen en slaat task performance op gedragingen die vereist zijn om de job uit te oefenen. Echter, al te vaak kiest men voor algemene job prestatie als criterium voor SJTs. Dit kan problematisch zijn omdat zo n algemeen criterium misschien te breed is. Je loopt het risico om het specifieke voorspellende construct te missen. Zo overschrijden de validiteitscoëfficiënten de 0.15 niet in validiteitstudies van videotesten met het gebruik van metingen van algemene job prestatie. Bij gebruik van metingen van specifieke job prestatie criteria liggen de validiteitscoëfficiënten tussen 0.25 en 0.40 (Funke & Schuler, 1998). Eén van de eigenschappen van SJT items in het algemeen is dat zij vaak interpersoonlijke situaties beschrijven. In tegenstelling tot geschreven SJTs, krijg je in videogebaseerde SJTs ook informatie over non-verbale cues zoals lichaamstaal, toonhoogte enzovoort. Op die manier kan je nagaan hoe sollicitanten de non-verbale cues interpreteren. Men suggereerde dan ook dat een videogebaseerde SJT beter in staat was het interpersoonlijk criterium, die samenhangt met de toekomstige job, te voorspellen dan een geschreven SJT. Deze bevinding kan mogelijk verklaard worden door het additieve model van de impact van verschillende informatie kanalen (Archer & Akert, 1980; Gesn & Ickes, 1999). Volgens dit model leidt het toevoegen van extra informatie tot een meer waarheidsgetrouwe test (Lievens & Sackett, 2006). incrementele validiteit De incrementele validiteit van een SJT geeft weer hoeveel variantie wordt verklaard door de SJT bovenop de reeds verklaarde variantie die verkregen wordt door de afname van andere testen. Ondanks dat O Connell et al. (2007) geen incrementele validiteit vonden van SJTs bovenop een cognitieve vaardigheids- en persoonlijkheidstest, wordt meestal een significante incrementele validiteit van SJTs in de literatuur beschreven. Zo vonden Clevenger et al.

14 7 (2001) dat SJTs incrementele validiteit opleverden bovenop cognitieve vaardigheid, consciëntieusheid, en job ervaring in een sample bestaande uit onderzoeksagenten en een sample bestaande uit vertegenwoordigers van een klantendienst. In een derde sample bestaande uit ingenieurs werd geen incrementele validiteit verkregen, maar was er wel een hoge correlatie tussen de SJT en cognitieve vaardigheid (.53). Deze hoge correlatie kan verklaard worden doordat SJTs die peilen naar de kennis in verband met het oplossen van problemen, planning, en het nemen van beslissingen meer gerelateerd zijn aan cognitieve vaardigheden. SJTs, die interpersoonlijke situaties beschrijven, zullen minder aan cognitieve vaardigheden gerelateerd zijn. Naargelang de samenstelling van de SJT heeft deze meer of minder incrementele validiteit. (Clevenger et al., 2001). Ook Weekley en Jones (1997) vonden significante incrementele validiteit van een SJT. Een groot verschil met de studie van Clevenger et al. (2001) is dat Weekley en Jones (1997) een videogebaseerde SJT hanteerden. Lievens en Sackett (2006) vergeleken de incrementele validiteit van een videogebaseerde versie van een interpersoonlijk georiënteerde SJT met de incrementele validiteit van een geschreven versie. Zij kwamen tot de bevindingen dat de videogebaseerde SJT bovenop de cognitieve predictoren een significante en substantiële hoeveelheid variantie verklaarde in een interpersoonlijk construct, terwijl de geschreven SJT geen bijkomende variantie kon verklaren. Een mogelijke uitleg voor deze laatste bevinding is dat een videogebaseerde test zichzelf eerder plaatst in een non-cognitieve categorie tegenover een geschreven SJT dat eerder geplaatst is in een cognitieve categorie. constructvaliditeit Constructvaliditeit gaat na of een test het construct meet dat het beoogt te meten. Er wordt over het algemeen aangenomen dat SJTs een meetmethode zijn en niet dat SJTs slechts één construct meten (McDaniel & Nguyen, 2001; O Connell et al., 2007; Chan & Schmitt, 2002). Doordat men er vanuit gaat dat metingen van job kennis positief correleren met SJTs, en doordat job kennis vaak wordt geoperationaliseerd als een meting van job ervaring, is er onderzoek uitgevoerd naar de relatie van SJTs met job kennis en job ervaring. McDaniel en Nguyen (2001) rapporteerden in hun meta-analyse een grotere correlatie tussen SJTs en job kennis dan tussen SJTs en job ervaring. Waarschijnlijk is de reden hiervoor dat job kennis een imperfecte meting van job ervaring blijkt te zijn. Doordat men in de eerste jaren in de job veel meer leert dan in latere jaren, zal de correlatie tussen job ervaring en job kennis groter zijn in de eerste jaren dan in latere jaren (McDaniel & Nguyen, 2001).

15 8 Tevens zijn er significante correlaties gerapporteerd tussen SJTs en metingen van persoonlijkheid (McDaniel & Nguyen, 2001; O Connell et al., 2007; Peeters & Lievens, 2005). In hun meta-analyse rapporteerden McDaniel en Nguyen (2001) significante verbanden tussen SJTs en drie persoonlijkheidsdimensies van de Big Five. De Big Five is een persoonlijkheidsmodel dat bestaat uit vijf persoonlijkheidsdimensies, met name extraversie, consciëntieusheid, aangenaamheid, emotionele stabiliteit en openheid. Significante correlaties werden gerapporteerd met emotionele stabiliteit (.31), consciëntieusheid (.26) en aangenaamheid (.25). Dit leverde sterk bewijs dat SJTs job prestatie kunnen voorspellen, want deze drie persoonlijkheidsdimensies hebben al bewezen valide predictoren te zijn van job prestatie (McDaniel & Nguyen, 2001). Peeters en Lievens (2005) vonden dan weer geen significante correlatie van SJTs met emotionele stabiliteit, maar wel met de vier andere dimensies van de Big Five. O Connel et al. (2007) gebruikten een andere typologie van persoonlijkheid. De SJT correleerde significant met consciëntieusheid (.33), aangenaamheid (.31), positieve affectiviteit (.26), interne locus of control (.24) en aandacht voor details (.21). Doorgaans is het ook redelijk te veronderstellen dat een SJT ook correleert met cognitieve vaardigheid. In hun meta-analyse rapporteerden McDaniel en Nguyen (2001) een gemiddelde correlatie van.46 met een betrouwbaarheidsinterval van.17 tot.75. Dit betekent dat er veel variatie is in de grootte van correlaties van SJTs met cognitieve vaardigheid. Een mogelijke verklaring hiervoor is dat men doorgaans aanneemt dat een SJT een meetmethode is. Men kan SJTs creëren die vooral beroep doen op cognitieve vaardigheden en SJTs waarvoor men weinig tot geen nood heeft aan cognitieve vaardigheid (McDaniel & Nguyen, 2001). face validiteit Face validiteit verwijst naar de mate waarin sollicitanten de selectieprocedure relevant vinden voor de job waarvoor men solliciteert. SJTs (zowel geschreven als videogebaseerde SJTs) hebben een relatief hoge face validiteit (Lievens & Sackett, 2006). Dit is van groot belang aangezien face validiteit een grote invloed uitoefent op zowel de testmotivatie als de testperformantie (Chan & Schmitt, 1997). Wanneer sollicitanten de items in een test relevant vinden voor de job, zullen ze de test ook als eerlijk bestempelen (Chan et al., 1998). De resultaten die gevonden zijn in verband met het verschil in face validiteit tussen geschreven en videogebaseerde SJTs zijn wel verschillend. Zo rapporteerden zowel Lievens en Sackett (2006) als Kanning et al. (2006) geen significant verschil in face validiteit tussen de twee soorten SJTs. Anderzijds suggereerden Chan en Schmitt (1997) dat een

16 9 videogebaseerde SJT wel een hogere face validiteit had dan een papier-en-potlood SJT. Dit had ook zijn weerslag op adverse impact, aangezien het verschil in face validiteit tussen zwarten en blanken kleiner was bij een videogebaseerde SJT dan bij een geschreven SJT. De studie van Kanning et al. (2006) heeft gesuggereerd dat wanneer een videogebaseerde SJT bestaat uit interactieve items, deze wel meer positief werden geëvalueerd dan een geschreven SJT, ook al bestond deze laatste eveneens uit interactieve items. Met interactief wordt bedoeld dat de situatie die men te zien krijgt afhankelijk is van welke reactie men gekozen heeft op de vorige situatie. betrouwbaarheid Er zijn twee mogelijkheden om de betrouwbaarheid van SJTs na te gaan. Of men bekijkt de interne consistentie, of men bestudeert de test-hertest betrouwbaarheid. Deze laatste is het meest aangewezen voor SJTs, want interne consistentie is slechts geschikt voor een relatief homogeen constructdomein; terwijl SJTs een mutidimensioneel constructdomein omvatten. Toch rapporteren Motowidlo et al. (1990) en Motowidlo en Tippins (1993) cronbach α s van respectievelijk.56 en.73. Ployhart en Ehrhart (2003) hebben de invloed bestudeerd van verschillende antwoordinstructies op zowel interne consistentie als test-hertest betrouwbaarheid. Bij de test-hertest methode zag men dat de would do -versie een hogere betrouwbaarheid had dan de should do -versie. Op interne consistentie vond men echter geen invloed van instructies, maar wel van de gebruikte scoringsmethode. Men rapporteerde de hoogste interne consistentie voor antwoordvormen waarbij de opties moesten worden gerangschikt en de laagste interne consistentie voor antwoordvormen met slechts één optie. adverse impact Men spreekt van adverse impact wanneer verschillende groepen verschillende scores behalen. Dit gaat dan vooral om verschillen tussen mannen en vrouwen of verschillen tussen etnische groepen. Ondanks het feit dat cognitieve vaardigheidstesten een gevestigde waarde zijn in personeelsselectie, blijken deze testen grote verschillen teweeg te brengen in de behaalde scores van verschillende etnische groepen. Pulakos en Schmitt (1996) hebben echter aangetoond dat, wanneer men cognitieve vaardigheidsmetingen combineert met noncognitieve vaardigheidstesten, de verschillen sterk verminderd worden. Zo hebben ze aan een verbale vaardigheidstest een biodata meting, een gestructureerd interview, en een SJT toegevoegd. Een mogelijke verklaring voor deze bevinding is dat met zo n uitgebreide testbatterij bijna alle vaardigheden die vereist zijn voor de job getest worden en dat sommige

17 10 van deze testen resulteren in minder adverse impact. Wanneer men een selectieratio van.80 nam, bleek adverse impact inderdaad verdwenen te zijn. Bij lagere selectieratio s was adverse impact echter nog steeds aanwezig. Pulakos en Schmitt (1996) hebben eveneens aangetoond wanneer men een videogebaseerde verbale vaardigheidstest gebruikt deze de adverse impact eveneens verlaagt. Anderzijds was de validiteit van deze videotest lager dan de validiteit van de geschreven verbale vaardigheidstest. Chan en Schmitt (1997) hebben de adverse impact van een videogebaseerde SJT nagegaan en rapporteerden dat het verschil tussen zwarten en blanken substantieel lager was bij een videogebaseerde SJT (-.21) in vergelijking met een geschreven SJT (-.95). Een mogelijke verklaring hiervoor kan liggen in de waarden die door zwarten worden benadrukt. Zij leggen vooral de nadruk op waarden als communalisme, beweging en mondelinge communicatie. Dit zou dan een invloed uitoefenen op hun testprestaties. Dit betekent dat bij een geschreven SJT zwarten een nadeel hebben door de cognitieve component van het lezen en schrijven die vereist is om deze test af te leggen (Goldstein et al., 1992). Wannneer men gaat kijken naar verschillen op gebied van geslacht, ziet men over het algemeen dat vrouwen iets hogere scores halen dan mannen op SJTs. Het verschil is doorgaans niet zo groot maar wel significant. Dit werd zowel gevonden bij geschreven SJTs (O Connell et al., 2007) als bij videogebaseerde SJTs (Lievens & Coetsier, 2002; Weekley & Jones, 1997). Een mogelijke verklaring hiervoor is dat dergelijke situaties vaak een beroep doen op interpersoonlijke vaardigheden. Hierdoor zouden vrouwen bevoordeeld zijn bij SJTs (Weekley & Jones, 1997). Dit verschil kan echter teniet gedaan worden wanneer in de selectieprocedure zowel een SJT als een cognitieve vaardigheidstest worden afgenomen (Lievens & Coetsier, 2002). faking Faking vindt plaats wanneer er een intentionele vertekening is van de antwoorden. Het onderzoek naar faking in personeelsselectie kan gebeuren zowel als veldonderzoek als in laboratoriumsituaties. Terwijl men in laboratoriumsituaties enkel het maximale effect van faken kan nagaan, weet men niet of men in het echte leven aan faking doet. Hiervoor bieden veldsituaties een oplossing. In hun meta-analyse hebben Edens en Arthur (2000) gerapporteerd dat faking in het echte leven leidde tot een kleinere effect size (.30) in vergelijking met faking in laboratoriumsituaties (.71) (Peeters & Lievens, 2005). Het onderzoek naar faken op SJTs heeft geleid tot tegengestelde resultaten, waarbij sommige vonden dat SJTs kunnen gefaked worden (Haas & Mcdaniel, 1999; Nguyen et al., 2002), terwijl andere juist suggereerden dat dit niet mogelijk is (Juraska & Drasgow, 2001).

18 11 Deze studies waren wel niet zonder tekortkomingen. Zo is enkel de prestatie op SJTs nagegaan, maar werd het effect van faken op de validiteit van de SJT niet onderzocht. Ook werd geen rekening gehouden met de constructen waarmee de SJT correleerde, aangezien verschillende SJTs met verschillende constructen kunnen correleren. Peeters en Lievens (2005) hielden in hun laboratoriumonderzoek bij universiteitsstudenten wel rekening met bovenstaande opmerkingen. Als criterium werd het GPA of Grade Point Average van de studenten gebruikt. Dit bestond hier uit de behaalde resultaten van de studenten in hun eerste en tweede jaar. Peeters en Lievens (2005) rapporteerden in de eerlijke groep een correlatie van.33 tussen SJT en GPA, in de fake groep was dit slechts.09. Ook leverde de SJT in de fake groep geen incrementele validiteit boven op cognitieve vaardigheid en persoonlijkheid. In de eerlijke groep had de SJT een incrementele validiteit van 5.7%. Peeters en Lievens (2005) suggereerden dus dat wanneer men op de SJT faket, deze niet langer een valide predictor is. Het is wel zo dat, terwijl cognitieve testen heel moeilijk te faken zijn, de SJT in dit onderzoek een lage g-loading had. G-loading slaat op de mate waarin een test beroep doet op de cognitieve vaardigheid van een respondent. Door de lage g-loading was de SJT meer vatbaar voor faking. Ontwikkeling SJT Een SJT kan op twee verschillende manieren worden opgesteld: door middel van de kritische-incidentenmethode (Flanagan, 1954), ook wel de inductieve methode genoemd, of door middel van de deductieve methode, waarbij de situaties op basis van een theorie worden opgesteld (Weekley et al., 2006). Wanneer een SJT wordt ontwikkeld aan de hand van de kritische-incidentenmethode, worden de situaties verzameld door het bevragen van experts met betrekking tot de inhoud van de SJT (Subject Matter Experts ofwel SMEs). Dit bevragingsproces verloopt in drie fasen (Ployhart & Ehrhart, 2003). In een eerste fase wordt aan de SMEs gevraagd jobsituaties te beschrijven waarbij er sprake was van uitzonderlijk goede of uitzonderlijke slechte prestaties. Dit noemt men de kritische incidenten (Flanagan, 1954). Met kritisch wordt bedoeld dat de oplossing van deze situaties belangrijk is voor het slagen of falen op het werk. Bij de beschrijving van elke situatie door de SMEs wordt zowel naar het antecedent, de (in)effectiviteit van het gedrag en de consequentie ervan gepeild. Het antecedent kan worden gebruikt om de situatie te beschrijven, het gedrag als één van de antwoordalternatieven (Weekley et al., 2006).

19 12 Nadat de kritische incidenten zijn gegenereerd, worden in de tweede fase de situaties geselecteerd die in de finale SJT zullen worden opgenomen. Ook het construeren van de mogelijke antwoordalternatieven gebeurt in deze fase. Hier doet men vaak beroep op SMEs die weliswaar niet deelgenomen hebben aan de eerste fase. De meest en minst waarschijnlijke reacties worden gekozen om uiteindelijk tot situaties te komen waar elk antwoordalternatief een verschillende graad van effectiviteit weerspiegelt (McDaniel & Nguyen, 2001; Ployhart & Ehrhart, 2001). Gedurende de derde fase van het ontwikkelingsproces wordt de scoringssleutel ontwikkeld. Een SJT kan echter ook ontwikkeld worden via een deductieve methode. De situaties die hier worden gegenereerd weerspiegelen competenties of een theoretisch model. (Weekley et al., 2006). De competenties bekomt men via jobanalyse of literatuuronderzoek. Echter niet alle competenties worden opgenomen. Enkel degene die verondersteld worden noodzakelijk te zijn voor een effectieve jobprestatie blijven behouden. De bruikbaarheid van deze methode is moeilijk na te gaan omdat de meeste SJT s, die op deze manier zijn ontwikkeld, enkel een algemene testscore weergeven, geen subscore per competentie of dimensie (Samaey, 2006). Nu wordt de ontwikkeling van een video SJT toegelicht. Volgens Walker, Cucina, en Kannan (2008) kunnen hierbij vijf fasen onderscheiden worden. De eerste fase is de planning. Dit betekent dat men een schema opstelt met alle ontwikkelingsfasen. Daarna kan men dan overgaan tot een kostenraming. Hierbij moet rekening gehouden worden met het beschikbare budget en met eventueel onverwachte kosten. Het doel is een zo n precies mogelijk kostenplaatje ter beschikking te hebben. In de tweede fase worden de scripts ontwikkeld. Hierbij moet vooral gelet worden op de visuele elementen. Dit houdt in dat men omschrijft welke acties er zullen plaatsvinden, wie en wat er te zien zal zijn, welke de locatie en het opzet zullen zijn. Men kan ook in het script verwerken welke bewegingen de acteurs zullen moeten uitvoeren en waar specifieke attributen zich zullen bevinden ten einde de scène zo realistisch mogelijk te maken. Eenmaal een script is ontwikkeld, is het van belang deze te laten beoordelen door domeinexperts. Zij kunnen dan nagaan of het script voldoet aan de vooropgestelde criteria. De volgende fase noemt men de preproductie. Wanneer de scripts goed bevonden zijn, moet een geschikte locatie gevonden worden. Doorgaans verlopen opnames in studio, maar men kan ook kiezen voor andere locaties. Wanneer dit laatste het geval is, moet men rekening houden met tal van zaken. Eerst en vooral selecteert men een aantal opnamelocaties op basis van het script. Daarna moet men dan nagaan wat mogelijke nadelen kunnen zijn van de

20 13 opnamelocaties, zoals bijvoorbeeld geluidshinder. Verder moet ook toestemming verkregen worden om te mogen filmen en mag men de logistieke aspecten zoals kleedkamers voor acteurs niet uit het oog verliezen. Natuurlijk kan men niet beginnen filmen zonder spelers, dus de selectie van acteurs is de volgende stap in deze fase. Hierbij heeft men twee keuzes. Men kan kiezen voor professionele acteurs wat gepaard gaat met hoge kosten. Anderzijds is er bij het ontwikkelen van de video SJT de mogelijkheid om voor niet-professionele acteurs te kiezen zoals vrijwilligers of medewerkers. Tevens moeten ook de noodzakelijke rekwisieten bepaald worden zoals bijvoorbeeld kledij. Hierbij is het van belang dat men de scripts goed doorlicht. Er kan beroep gedaan worden op domeinexperts om realistische en functiespecifieke rekwisieten te vinden. De laatste stap in de preproductie fase is het opstellen van een opnameschema. Dit moet zeer gedetailleerd uitgewerkt zijn en bevat onder andere zaken zoals het tijdstip waarop medewerkers moeten werken en welke scripts per dag opgenomen worden. In de voorlaatste fase vinden de eigenlijke opnames plaats. Hierbij houdt men best een logboek bij waarin de begin- en eindpunten van verschillende scripts staan genoteerd en hoe goed de opnamekwaliteit van de verschillende scripts is. De laatste fase is deze van de postproductie. Hier wordt dan het ruwe filmmateriaal bewerkt en wordt alles gemonteerd tot een eindproduct. Videogebaseerde SJT definitie Een videogebaseerde SJT is een omgezette geschreven SJT in beeld en klank. Een video SJT bestaat uit scenario s en deze scenario s brengen op een realistische manier een werksituatie in beeld. Naast de inhoudelijke boodschap is ook het non-verbale gedrag zichtbaar. Het aangeboden videoscenario stopt op een sleutelmoment. Vervolgens verschijnen er diverse antwoordalternatieven op het scherm. Uit deze alternatieven dient de respondent de gepaste reactie voor de situatie te selecteren (Dalessio, 1994; Smiderle, Perry, & Cronshaw, 1994; Weekley & Jones, 1997). voordelen videotest Een video SJT heeft een aantal voordelen ten opzichte van een geschreven SJT. Allereerst kan men door het gebruik van videobeelden de situatie meer gedetailleerd, realistisch, en nauwkeurig schetsen (Funke & Schuler, 1998; Olson-Buchanan & Drasgow, 2006). Dit kan mogelijk leiden tot een hogere inhouds - en predictieve validiteit. Zo vonden managers dat een multimedia versie van een assessment relevantere informatie verschafte

21 14 over de job dan een papier - en potlood test of een gecomputeriseerde versie van de geschreven test (Richman-Hirsch et al., 2000). Deze bevinding heeft mogelijk ook zijn weerslag op de face validity. Wanneer sollicitanten de items in een test relevant vinden voor de job, zullen ze de test mogelijk eerlijker percipiëren. Verschillende studies suggereren een hogere face validiteit van de video SJT ten opzichte van een geschreven SJT waarbij de linguïstische informatie constant werd gehouden. Zoals hierboven reeds aangehaald vonden Kanning et al. (2006) dat een videogebaseerde SJT bestaande uit interactieve items positiever werd geëvalueerd dan een geschreven SJT, ook al bestaat deze laatste eveneens uit interactieve items. Chan en Schmitt (1997) bemerkten een gelijkaardige trend in hun studie. Een videogebaseerde SJT bleek een hogere face validiteit te hebben dan een papier - en potloodtest. Een videogebaseerde SJT is bovendien een vorm van een multimediatest. Een studie hieromtrent suggereerde een positievere evaluatie van de sollicitant omtrent de face validiteit en de gepercipieerde rechtvaardigheid (perceived fairness) van deze manier van testen (Richman-Hirsch et al., 2000). Ten tweede zouden video SJTs ook kunnen gebruikt worden bij de selectie van individuen met een mindere leesvaardigheid (Chan & Schmitt, 1997). Hun onderzoek suggereerde interessante resultaten. Zo kwam naar voor dat in de VS zwarten minder goed scoorden dan blanken op een SJT, maar dat dit verschil beduidend kleiner was in het geval van een video SJT ten opzichte van een geschreven test met dezelfde inhoud. Deels is het verschil mogelijk te wijten aan de mindere leesvaardigheid van de zwarten. Een andere verklaring is dat de zwarten andere waarden beklemtonen in hun cultuur. Zo zouden zij de nadruk leggen op waarden als communalisme, beweging en belangrijker mondelinge communicatie (Goldstein et al., 1992). Bovendien vonden Chan en Schmitt dat de face validiteit van de geschreven SJT lager was voor de zwarten dan de blanken. De mindere leesvaardigheid en de orale traditie in hun cultuur zorgen er mogelijk voor dat zij de geschreven SJT minder kunnen appreciëren en deze test als onrechtvaardiger percipiëren. Dit biedt perspectieven voor het gebruik van video SJTs bij de selectie van allochtonen of bij beroepen waarbij leesvaardigheid minder van belang is. praktijkrelevantie Onderzoek suggereert dat de impressies van sollicitanten de aantrekking tot bedrijven beïnvloeden (Smither et al., 1993; Lievens & Highhouse, 2005). Een mogelijk gevolg is dat bedrijven die testen gebruiken met een hoge face validiteit zoals

22 15 de video SJT een strategisch voordeel hebben bij de rekrutering en selectie (Richman-Hirsch et al., 2000). Daarnaast blijkt uit het besproken onderzoek dat minderheidsgroepen video SJTs mogelijk ook als meer face valide en rechtvaardiger gaan beschouwen (Chan & Schmitt, 1997). Dit kan belangrijk zijn aangezien in de huidige maatschappelijke context de aandacht voor diversiteit steeds meer beklemtoond wordt. De slogan Diversiteit verrijkt her en der verschijnend op de bussen is hier een expressie van. Bovendien wordt onze huidige arbeidsmarkt gekenmerkt door een tekort aan werkkrachten. Allochtonen zijn daarbij nog steeds ondervertegenwoordigd op de werkplaats. Het aantrekken van die pool van potentiële sollicitanten van allochtone origine wordt daarom een steeds belangrijker gegeven. In de War for Talent die er heerst om toch maar werknemers te vinden, zullen het de bedrijven zijn die de juiste strategie hanteren die zullen excelleren. Het inspelen op deze doelgroep wordt daarbij primordiaal. Het gebruik van een video SJT kan hieromtrent een belangrijke bijdrage bieden. Doelstelling Ondanks het weinige onderzoek dat gebeurd is en de relatief hoge ontwikkelingskost van video SJTs kunnen we uit het voorgaande afleiden dat er heel wat argumenten in het voordeel spreken van een video SJT. Face validiteit en adverse impact zijn belangrijke eigenschappen van een test in het licht van de huidige maatschappelijke context. In de praktijk kan deze vorm van testen aangewend worden om een competitief voordeel uit te bouwen in het kader van de rekrutering. Ons lijkt het daarom zinvol een video SJT te gaan ontwikkelen.

23 METHODE Videobased Situational Judgment Test 16 Er wordt eerst begonnen met een algemene bespreking van de ontwikkeling van een SJT. Daarna wordt er dan specifiek ingegaan op de ontwikkeling van een video SJT en hierbij wordt uitgelegd hoe men de video SJT voor deze scriptie heeft ontwikkeld. Ontwikkeling van een SJT De ontwikkeling van een SJT verloopt in vijf grote fasen. In de eerste fase worden kritisch incidenten verzameld. Deze worden vervolgens omgezet in duidelijk omschreven itemstammen. In de tweede fase worden de itemstammen voorzien van mogelijke antwoordalternatieven. In de derde fase worden de antwoordinstructies bepaald. In de vierde fase wordt de efficiëntie beoordeeld van de antwoordalternatieven zodat er in de vijfde fase een scoringssleutel kan bepaald worden (Weekley, Ployhart, & Holtz, 2006; Lievens & Schollaert, 2008). Fase 1: Verzamelen van Kritische Incidenten Voor het verzamelen van kritische incidenten wordt aan subject matter experts (SMEs) gevraagd om uitzonderlijk goede voorbeelden en uitzonderlijk arme voorbeelden te geven van prestaties. Belangrijk is dat deze kritische incidenten niet meer dan 6 tot 12 maanden oud mogen zijn (Lievens & Schollaert, 2008). Vervolgens worden de verzamelde incidenten herschreven tot itemstammen. De itemstam vormt dat deel van het item dat de werkgerelateerde situatie aan de respondent voorstelt. Bij deze stap moeten een aantal zaken in acht genomen worden. Eerst en vooral dienen de situaties gerangschikt te worden. Hierbij worden alle gelijkaardige situaties samengevoegd. Een tweede punt betreft de mate van specificiteit. De stam kan heel specifieke elementen bevatten. Dit is vaak het geval wanneer de SJT in functie van één bepaalde taak wordt ontwikkeld. Ten derde variëren itemstammen in lengte, complexiteit, en begrijpelijkheid. Zo geven sommige tests hun situaties weer aan de hand van korte beschrijvingen die simpele scenario s presenteren, terwijl andere tests gedetailleerde en complexere situatiebeschrijvingen hanteren (Weekley, Ployhart & Holtz, 2006). Fase 2: Antwoordalternatieven Verzamelen Voor het genereren van de antwoordalternatieven zijn er twee mogelijke manieren, de (1) inductieve methode en de (2) deductieve methode. Bij de inductieve methode worden de

24 17 antwoordopties meestal verzameld bij een nieuwe groep respondenten. Dit kan gaan om een nieuwe groep SMEs, maar men kan ook leken inschakelen hiervoor. Terwijl men bij de eerste optie komt te weten wat het beste en het slechtste antwoord is, krijgt men bij de laatste optie vooral antwoorden met verschillende graad van effectiviteit. Bij de deductieve methode worden antwoordalternatieven gegenereerd aan de hand van theoretische modellen. Deze benadering geeft meer inzicht waarom een bepaalde handeling beter is dan een alternatieve actie (Olson-Buchanan et al., 1998; Lievens & Schollaert, 2008). In een volgende stap moet het aantal antwoordalternatieven gereduceerd worden. Doorgaans wordt er tot vier antwoordalternatieven gereduceerd, maar dit aantal is slechts een vuistregel (Lievens & Schollaert, 2008). Fase 3: Bepalen van de Antwoordinstructies Een SJT moet meedelen aan de respondent hoe hij tot een antwoord dient te komen. Hierbij zijn twee soorten antwoordinstructies voorhanden: (1) gedragsgeoriënteerde instructies of would do -instructies en (2) kennisinstructies of should do -instructies. Gedragsgeoriënteerde instructies vragen de respondent wat hij waarschijnlijk zou doen of hoe hij zich waarschijnlijk zou gedragen. Kennisinstructies vragen de respondent wat hij idealiter zou moeten doen en peilen dus naar zijn kennis over de effectiviteit van de mogelijke handelingen (Weekley, Ployhart, & Holtz, 2006). Fase 4: Scoring van de SJT In deze fase wordt bepaald welke de beste en welke de slechtste antwoordalternatieven zijn. De effectiviteit van antwoordalternatieven wordt nagegaan om een scoringssleutel te ontwikkelen. De alternatieven kunnen op vier verschillende manieren gescoord worden: (1) rationele of expertgebaseerde scoring, (2) empirische scoring, (3) theoretische scoring, en (4) hybride scoring (Lievens & Schollaert, 2008). Bij de rationele of expertgebaseerde scoring is het uitgangspunt de veronderstelling dat domeindeskundigen de relatieve effectiviteit en ineffectiviteit van de verschillende antwoorden in de praktijk kennen (Mac-Lane, Barton, Holloway-Lundy, & Nickels, 2001). Bij deze methode wordt de scoringssleutel dus gebaseerd op de antwoorden van individuen met een aanzienlijke hoeveelheid kennis over en ervaring met het onderwerp (Lievens & Schollaert, 2008). Bij empirische scoring worden de items van een grote steekproef afgenomen. Meestal bekijkt men de antwoordalternatieven van een grote groep individuen die representatief zijn

25 18 voor de functie. Hierbij kan de antwoordoptie gekoppeld worden aan een criteriumvariabele zoals bijvoorbeeld prestatieniveau. Zo zullen de antwoordopties die relatief vaak aangeduid worden door goed presterende individuen als correct worden gescoord en de antwoordopties die relatief vaak aangeduid worden door slecht presterende individuen zullen als incorrect worden gescoord. Een andere mogelijkheid is om de correlaties tussen SJT-scores en criterium te hanteren. Positieve correlaties worden geassocieerd met hoge prestaties en deze opties zullen als correct worden beschouwd. Omgekeerd zullen negatieve correlaties geassocieerd worden met lage prestaties en deze antwoordalternatieven zullen als niet correct worden beschouwd (Lievens & Schollaert, 2008). Bij theoriegebaseerde scoring wordt een scoringssleutel ontwikkeld op basis van een bestaand theoretisch kader. De verschillende antwoordopties kunnen bepaalde veronderstellingen over de theorie weerspiegelen, er neutraal tegenover staan, of tegengesteld zijn aan wat de theorie voorspelt. Antwoordopties die in overeenstemming zijn met de theorie wordt als correct (1) gescoord, antwoordopties die tegengesteld zijn aan de theorie zullen als incorrect (-1) worden gescoord, en antwoordopties die irrelevant zijn voor de theorie krijgen een nulscore (Lievens & Schollaert, 2008; Olson-Buchanan et al., 1998). Als laatste scoringsmethode is er nog de hybride scoring. Hierbij wordt een empirische scoring gecombineerd met een andere scoringsmethode (Lievens & Schollaert, 2008). Fase 5: Bepalen van de Scoringssleutel Voor het bepalen van de scoringssleutel is het belangrijk dat er een beslissingsregel wordt ontworpen. Deze regel bepaalt welke punten er worden toegekend aan elk antwoord. Deze regel zorgt er dus voor dat er een definitieve score kan toegekend worden aan iedereen die de SJT invult. Welke SJT? Voor deze scriptie werd een videogebaseerde SJT ontwikkeld van een reeds bestaande geschreven SJT (zie bijlage 1 en 2). Er werd besloten te kiezen voor een SJT die peilt naar de leermethoden van studenten (Bess & Mullins, 2002). Er werd voor deze test gekozen omdat het naar de mening van de auteurs van deze scriptie de enige test is die studentensituaties weerspiegelt en naar het Nederlands is vertaald. Verder is het ook een test die al veel onderzocht werd. Zo bleek in een onderzoek van Peeters en Lievens (2005), waarin de faking van SJTs werd nagegaan, dat deze test valide zou zijn wanneer men de instructies kreeg om eerlijk te antwoorden en gevraagd werd hoe men waarschijnlijk zou reageren in de