Faculteit Psychologie en Pedagogische Wetenschappen Academiejaar Eerste Examenperiode

Transcriptie

1 Faculteit Psychologie en Pedagogische Wetenschappen Academiejaar Eerste Examenperiode HET VALIDEREN VAN EEN BESTAANDE GESCHREVEN SITUATIONELE TEST VOOR ADMINISTRATIEF BEDIENDEN Scriptie Neergelegd tot het behalen van de graad van Master in de Psychologie, Optie Bedrijfspsychologie en Personeelsbeleid door Habiba Arjah Promotor: Prof. Dr. F. Lievens Begeleider: Lic. Eveline Schollaert

2 Ondergetekende, Habiba Arjah geeft toelating tot het raadplegen van de scriptie door derden.

3 Voorwoord Bij het aanbieden van deze scriptie gaat mijn dank uit naar alle mensen die mij geholpen hebben om deze studie waar te maken. Allereerst wil ik mijn ouders bedanken omdat zij mij de mogelijkheid gegeven hebben om te studeren alsook de nodige liefde, steun en motivering om het te voltooien. Verder wil ik Prof. Dr. Lievens, mijn promotor, bedanken om mij de mogelijkheid te geven mij in deze materie te verdiepen. Het is een interessante en zeer leerrijke ervaring geweest. Ik zou hem ook willen bedanken voor de boeiende lessen. Aan Eveline Schollaert, mijn begeleidster, wil ik mijn dank en waardering uitspreken. Niet enkel haar uitgebreide kennis omtrent situationele testen, maar ook haar voortdurende enthousiasme waren een grote steun in het tot een goed einde brengen van deze studie. Vervolgens wil ik volgende deelnemende besturen bedanken: OCMW Lommel, Gemeente Aalter, Stad Gent, Gemeente Mol en Gemeente Staden. Speciale dank gaat uit naar de medewerkers. Zonder hen was er immers geen onderzoek geweest. Ook mijn vrienden en klasgenoten wil ik bedanken. Zij stonden klaar voor me wanneer ik hen nodig had. Tot slot gaat mijn dank uit naar mijn vriend, Jeroen, voor zijn onvoorwaardelijke liefde en steun doorheen de jaren. Habiba Arjah, Lommel, mei 2009

4 Abstract Het onderwerp van deze studie is een bestaande geschreven situationele test of Situational Judgment Test (SJT) ontwikkeld voor de selectie voor administratief bedienden. SJTs zijn werksimulaties die ontwikkeld zijn om het gedrag van een individu in een werksituatie te voorspellen. In de Verenigde Staten wordt reeds vaak gebruik gemaakt van SJTs. Aangezien er zich voor administratieve functies vaak een groot aantal kandidaten voorstelt, is er nood aan een tool voor de selectie van de geschikte kandidaat. Voor een SJT in praktijk gebruikt kan worden, dient deze eerst gevalideerd te worden. Deze studie onderzocht de concurrente validiteit en de incrementele validiteit. Verder werd de betrouwbaarheid van de situationele test nagegaan. De concurrente validiteit werd getoetst door de correlaties na te gaan van de score op de SJT met enerzijds een beoordeling door de chef en anderzijds met een beoordeling door een collega op nodige competenties. Er werden geen significante correlaties gevonden. Om de incrementele validiteit na te gaan werd gekeken of de SJT unieke variantie verklaarde bovenop persoonlijkheid en intelligentie. Als afhankelijke variabelen werden de beoordelingen op de competenties door chef en collega gebruikt. De situationele test verklaarde geen significante unieke variantie. Het huidige onderzoek is van groot praktisch belang voor selectie van administratief bedienden. De resultaten van deze studie zijn van belang om de test daadwerkelijk te kunnen gebruiken als selectie-instrument voor de betreffende doelgroep. Op het vlak van theorie levert deze studie een bijdrage door op basis van wetenschappelijk onderzoek de concurrente en incrementele validiteit en de betrouwbaarheid van de SJT te bestuderen.

5 Inhoudsopgave Literatuurstudie 8 Inleiding 8 Definitie 10 Historiek 11 Low- fidelity Simulatie 12 Soorten Situational Judgment Tests 13 Ontwikkeling van een Situational Judgment Test 15 Validiteit 17 Betrouwbaarheid 21 Adverse Impact 22 Faken 23 Huidig Onderzoek 23 Methode 26 Steekproef 26 Procedure 27 Meetinstrumenten 27 Analyses 30 Resultaten 30 Bespreking en Conclusies 36 Bespreking Resultaten 37 Methodologische Reflecties 40 Theoretische en Praktische Implicaties 41

6 Beperkingen en Toekomstig Onderzoek 43 Conclusie 45 Referenties 46 Appendix 50

7 Lijst met tabellen en figuren Tabel 1 De gemiddelden, standaarddeviaties en correlaties voor de verschillende variabelen. 32 Tabel 2 Gestandaardiseerde parameterschattingen (β s) en verklaarde varianties (R²) per afhankelijke variabele voor de steekproef van chefs/diensthoofden. 35 Tabel 3 Gestandaardiseerde parameterschattingen (β s) en verklaarde varianties (R²) per afhankelijke variabele voor de steekproef van collega's. 36 Figuur 1 Voorbeelditem uit een bestaande SJT (vrij vertaald uit het Engels) 10 Figuur 2 Voorbeelditem uit SJT gebruikt bij het Amerikaanse leger 12 Figuur 3 Voorbeelditem SJT 28 Figuur 4 Voorbeelditems van de beoordelingsvragenlijst per competentie 30

8 8 Literatuurstudie Inleiding In de literatuur omtrent personeelsselectie is de Situational Judgment Test (SJT) tevoorschijn gekomen als een belangrijk instrument naast traditionele tests (McDaniel, Morgeson, Finnegan, Campion, & Braverman, 2001). In België bestaan selectieprocedures nog hoofdzakelijk uit de traditionele cognitieve tests zoals interviews, cognitieve vaardigheidstesten, persoonlijkheidstesten en assessment centers. In de Verenigde Staten wordt reeds vaak gebruik gemaakt van SJTs. In Europa zijn deze testen minder bekend omdat men minder vertrouwd is met deze methode (Lievens & Peeters, 2006). SJTs zijn werksimulaties die ontwikkeld zijn om het gedrag van een individu in een werksituatie te voorspellen. Ze bestaan uit een serie beschrijvingen van situaties die zich kunnen voordoen in de job waarvoor gesolliciteerd wordt. De sollicitant wordt dan gevraagd om uit een set multiple choice alternatieven te kiezen hoe hij of zij zou reageren in de gegeven situatie (Clevenger, Pereira, Wiechmann, Schmitt, & Harvey, 2001). Onderzoek naar SJTs voor de selectie van werknemers is de laatste jaren enorm toegenomen (Weekley & Ployhart, 2006). Uit onderzoek is gebleken dat SJTs een aantal voordelen hebben als selectieprocedure ten opzichte van andere instrumenten. Een eerste voordeel en belangrijke kracht van SJTs is hun voorspellende waarde (McDaniel et al., 2001). Daarnaast hebben SJTs ook een betekenisvolle incrementele validiteit boven traditionele intelligentietesten en persoonlijkheidsvragenlijsten (McDaniel et al., 2007). Ten tweede hebben SJTs een hoge face validiteit (Lievens & Schollaert, 2008). Sollicitanten percipiëren SJTs als een rechtvaardig selectie-instrument (Strong & Najar, 1999). Een derde voordeel is dat ze minder gevoelig zijn voor adverse impact in vergelijking met intelligentietesten (Strong & Najar, 1999; Weekley & Jones,1999). Een vierde voordeel is dat het relatief gemakkelijk en goedkoop is om ze te ontwikkelen, gebruiken en scoren (Clevenger et al, 2001). Ten slotte is het moeilijker om te faken op

9 9 SJTs in vergelijking met persoonlijkheidsvragenlijsten (Hooper, Cullen, & Sackett, 2006). Deze studie gaat zich specifiek richten op een SJT voor administratief bedienden die ontwikkeld werd in 2006 door Trui Vandecasteele. Gezien het belang van validiteit en betrouwbaarheid, gaan we deze nagaan bij de SJT. Voorspelt deze test het gedrag van administratief bedienden in de job? Biedt deze SJT ook een betekenisvolle incrementele validiteit boven traditionele intelligentietesten en persoonlijkheidsvragenlijsten? Op deze vragen tracht deze studie een antwoord te bieden. Het huidige onderzoek is van groot praktisch belang voor selectie van administratief bedienden. De resultaten van deze studie zijn van belang om de test daadwerkelijk te kunnen gebruiken als selectie-instrument voor de betreffende doelgroep. Elke SJT moet immers gevalideerd worden (Schmidt & Hunter, 1998). Op het vlak van theorie levert deze studie een bijdrage door op basis van wetenschappelijk onderzoek de concurrente en incrementele validiteit en de betrouwbaarheid van de SJT te bestuderen. In dit onderzoek wordt in het eerste deel ingegaan op wat SJTs en low-fidelity simulaties zijn, welke soorten SJTs er bestaan en hoe een SJT ontwikkeld wordt. Daarnaast wordt aandacht besteed aan de validiteit, betrouwbaarheid en adverse impact van SJTs. Als laatste punt wordt het aspect van faken op SJTs behandeld. In het tweede deel van het onderzoek wordt de validiteit nagegaan van een SJT voor administratief bedienden.

10 10 Definitie In de literatuur zijn verschillende definities van Situational Judgment Tests (SJTs) terug te vinden. In deze studie opteert men voor volgende definitie omwille van haar duidelijkheid: SJTs zijn werksimulaties die ontwikkeld zijn om het gedrag van een individu in een werksituatie te voorspellen. Ze bestaan uit een serie beschrijvingen van situaties die zich kunnen voordoen in de job waarvoor gesolliciteerd wordt. De situaties worden aan de sollicitant gepresenteerd in een geschreven, verbale of visuele vorm. De sollicitant wordt dan gevraagd om uit een set multiple choice alternatieven te kiezen hoe hij of zij zou reageren in de gegeven situatie (Clevenger, Pereira, Wiechmann, Schmitt, & Harvey, 2001). Figuur 1 verduidelijkt bovenstaande definitie door middel van een voorbeelditem. Je bent in een teamvergadering met je collega s en baas aan het discussiëren over de manier waarop je een nieuw product aan de man/vrouw zal brengen. Iedereen lijkt akkoord met het idee dat het product binnen de maand op de markt moet zijn. Jij hebt echter jouw bedenkingen bij dit idee door een recent rapport van de onderzoeksafdeling waarin verschillende potentiële veiligheidsproblemen van het product werden beschreven. Jouw baas heeft het niet graag dat mensen het oneens met hem zijn. Wat zou jij het meest waarschijnlijk doen? A. Je probeert te begrijpen waarom iedereen voor dit voorstel gewonnen is. Het is immers mogelijk dat jouw bezorgdheid niet gegrond is. B. Je gooit je mening in de groep en beargumenteert jouw bezorgdheid met betrekking tot de veiligheid van het product. C. Je volgt de rest van het team, een goed teamgevoel is immers belangrijk. D. Na de meeting praat je met verschillende teamleden om na te gaan of ze dezelfde bezorgdheid delen. (Becker, 2005). Figuur 1. Voorbeelditem uit een bestaande SJT (vrij vertaald uit het Engels) Motowidlo et al. (1990) ontwikkelden als eersten een SJT zoals we die vandaag de dag kennen. Deze moderne SJTs hebben een aantal kenmerken (McDaniel & Nguyen, 2001; Weekley & Ployhart, 2006). Deze kenmerken vinden we terug in het voorbeeld.

11 11 Ten eerste bestaan SJTs uit jobgerelateerde situaties die worden gepresenteerd aan de applicanten. SJTs volgen dus de samplebenadering. Ze zijn ontwikkeld om jobgerelateerde gedragingen te verzamelen in plaats van signs te zoeken voor onderliggende vaardigheden, temperament of andere trekken die belangrijk zouden zijn voor jobprestatie (Motowidlo et al., 1990). Wernimont en Campbell (1968) beweren dat gedragsmatige samples, zoals uit simulaties getrokken worden, zeer bruikbaar zijn in het voorspellen van jobprestatie. Ze zouden zelfs meer bruikbaar zijn dan methoden die de sign-benadering volgen zoals bijvoorbeeld persoonlijkheidstesten. SJTs kunnen verschillen in het realiteitsgehalte of de fidelity waarmee de situaties gepresenteerd worden. Ten tweede hebben SJTs een meerkeuzeformaat. De applicanten krijgen 4 à 5 antwoordalternatieven waaruit ze een alternatief kiezen. Het formaat van de responsalternatieven kan zowel schriftelijk als videogebaseerd zijn. In tegenstelling tot assessment centers worden de applicanten niet gevraagd om actueel gedrag te rapporteren. Ten slotte wordt de scoringssleutel a priori ontwikkeld. Het gedrag van de applicanten wordt dus niet geëvalueerd door assessoren of raters. Deze kenmerken worden verder uitgewerkt in de volgende secties. Eerst wordt ingegaan op de historiek van SJTs. Historiek Het gebruik van SJTs dateert van het jaar 1920 (McDaniel, Morgeson, Finnegan, Campion, & Braverman, 2001). Een van de eerste wijdgebruikte SJTs is Judgment in Social Situations, een subtest van de George Washington Social Intelligence Test. In de jaren 40 werden er verschillende situationele testen ontwikkeld. Tijdens WOII kregen psychologen de opdracht om testen te ontwikkelen om het beoordelingsvermogen van soldaten te bepalen. Figuur 2 geeft een voorbeelditem dat gebruikt werd in een SJT bij het Amerikaanse leger. Verder werden andere situationele testen ontworpen. Deze testen dienden om het potentieel in leidinggeven van sollicitanten te meten (McDaniel et al, 2001). Voorbeelden hiervan zijn de Practical Judgment Test (Cardall, 1942), How Supervise? (File, 1945; File & Remmers, 1948), de Supervisory Practices Test (Bruce & Learner, 1958) en de Supervisory Judgment Test (Greenberg, 1963). De verschillende SJTs bestonden allen uit beschrijvingen van scenario s met een aantal responsalternatieven.

12 12 Een man op een dringende missie moet tijdens een gevecht een rivier oversteken van 40 voet breed. Er heeft een sneeuwstorm gewoed en de rivier is bevroren. Door de sneeuw weet de soldaat niet hoe dik het ijs is. Nabij de plek waar hij wil oversteken, ziet hij twee planken liggen van ongeveer 10 voet lang. Hij weet dat er 2 mijl verder stroomafwaarts een brug is. In deze omstandigheden moet hij: A. Naar de brug wandelen en oversteken. B. Snel over het ijs lopen. C. Een gat breken in het ijs vlakbij de oever om te zien hoe diep de rivier is. D. Oversteken met behulp van de planken, door de planken voor elkaar te duwen en erop te lopen. E. Traag over het ijs lopen. (Northrop, 1989) Figuur 2. Voorbeelditem uit SJT gebruikt bij het Amerikaanse leger Vanaf het einde van de jaren 50 en het begin van de jaren 60 werden SJTs ook gebruikt door grote organisaties als deel van de selectiebatterij om succes van managers te voorspellen. (McDaniel et al., 2001). Sinds de jaren 90 is er een hernieuwde aandacht voor het gebruik van situationele testen om jobsucces te voorspellen. Deze aandacht werd aangewakkerd door Motowidlo et al., 1990), die de SJT introduceerden als een low-fidelity simulatie. Hun artikel gaf aanleiding tot veelvuldig onderzoek. Low- fidelity Simulatie Situaties die in een SJT beschreven worden, kunnen variëren in fidelity. Hoe sterk leunen de situaties aan bij de echte werkomgeving? Er is een verschil in fidelity tussen enerzijds geschreven SJTs en anderzijds videogebaseerde of multimedia SJTs, waarbij geschreven testen het laagste scoren op fidelity. High-fidelity simulaties komen sterker overeen met actuele werkcondities. Een assessment center is een voorbeeld van een high-fidelity simulatie. Hierbij krijgt de sollicitant verschillende testen die een afspiegeling zijn van de werkomgeving waarin hij/zij terecht kan komen. Hierbij worden ook vaak rollenspelen ingelast. De sollicitant gaat als het ware de beoogde functie even innemen en naspelen hoe hij/zij in de gegeven situaties zou reageren. Highfidelity simulaties zouden een betere indicator zijn van toekomstige jobprestatie volgens

13 13 het principe van gedragsconsistentie. Dit principe stelt dat de prestatie op de test een goede voorspeller is voor de toekomstige prestaties in de job. High-fidelity simulaties kunnen zeer duur zijn om te ontwikkelen en te implementeren. Bovendien wordt door Wernimont en Campbell (1968) geargumenteerd dat deze methode slechts bruikbaar is voor mensen die enigszins met de job vertrouwd zijn. Low-fidelity tests zijn daarom zeer interessant. Ze steunen ook op de logica van gedragsconsistentie en zijn goedkoper om te ontwikkelen en af te nemen (Motowidlo et al, 1990). Ook is gebleken dat een sterke overeenkomst met realistische situaties niet altijd nodig is om een hoge predictieve waarde te hebben. Omwille van deze redenen wordt ervoor gekozen om de validiteit van een lowfidelity simulatie na te gaan. Zoals reeds vermeld, bestaan er verschillende soorten SJTs. In het volgende deel komen de verschillende soorten SJTs aan bod. Soorten Situational Judgment Tests Geschreven SJTs. De oudste en meest gebruikte vorm van SJTs werd in 1990 (her)uitgevonden door Motowidlo et al (1990). Zij ontwikkelden een geschreven SJT of paper-and-pencil SJT. Hierbij krijgt de sollicitant de hypothetische situaties en antwoordalternatieven aangeboden op papier. Elk antwoordalternatief vormt een mogelijke reactie op de gegeven situatie. De sollicitant moet afhankelijk van de instructies, zijn/haar meest of minst waarschijnlijke reactie aangeven of de antwoordalternatieven beoordelen op hun effectiviteit. Een voorbeeld van een Nederlandstalige geschreven SJT is de Vragenlijst voor Commercieel Inzicht ontwikkeld door Lievens, Steverdinck, Tjoa en Verhoeven in 1985 (Van der Maesen, Born, Van Oudenhoven-Van der Zee, & Ruhe, 2003). Aangezien in dit onderzoek een geschreven SJT gevalideerd zal worden, zal de validiteit en betrouwbaarheid van deze SJT-vorm uitgebreid aan bod komen. Echter, voor de volledigheid worden eerst de andere vormen van SJTs kort besproken. Videogebaseerde SJTs. Weekley en Jones (1997) onderzochten een andere vorm van SJTs, de video-based situational judgment test. Hierbij maakt men gebruik van videoscenario s. Deze scenario s brengen op een realistische manier een werksituatie in beeld voor de respondent. De respondent ziet een functiebeoefenaar een

14 14 handeling typisch voor de functie stellen. De aangeboden video stopt op een sleutelmoment. Er worden dan 4 à 5 antwoordalternatieven aangeboden waaruit de respondent de gepaste manier om met de situatie om te gaan selecteert. Zowel de vragen als de antwoordmogelijkheden worden op een televisiescherm aangeboden, eventueel ondersteund door een gesproken boodschap. Videogebaseerde SJTs hebben een aantal voordelen ten opzichte van geschreven SJTs. Men kan de situatie meer gedetailleerd schetsen. Een videogebaseerde SJT geeft meteen een realistisch beeld van de job waarvoor gesolliciteerd wordt. Ze bevat naast de inhoudelijke boodschap ook aspecten zoals non-verbale informatie, paralinguïstische informatie en contextinformatie. Daardoor heeft de videogebaseerde SJT een hogere face validiteit (Lievens & Peeters, 2006). Naast deze voordelen is er echter ook een nadeel verbonden aan video gebaseerde SJTs. Doordat ze meer additionele, contextuele en dus irrelevante informatie bevatten, stijgt de kans op beoordelingsfouten (Weekley & Jones, 1997). Multimedia-SJTs. Multimedia-SJTs zijn eigenlijk hetzelfde als videogebaseerde SJTs. Bij videogebaseerde SJTs wordt er echter gebruik gemaakt van een CD of DVD. Men schakelt computers in voor de afname van SJTs. Computers kunnen een realistisch beeld tonen van de werksituatie, de antwoorden van de sollicitanten registreren en onmiddellijk de testscores berekenen. Dergelijke SJTs maken gebruik van geïntegreerde audio, video en grafische computertechnologie. De ontwikkeling van multimedia SJTs is duur. De afname van multimedia SJTs duurt doorgaans langer dan de afname van andere SJT-vormen (McHenry & Schmitt, 1994). Geschreven SJTs vormen een goedkoper alternatief voor videogebaseerde en multimedia SJTs. Ze zijn goedkoper om te ontwikkelen en af te nemen (Motowidlo et al., 1990). Zoals reeds vermeld, is gebleken dat een sterke overeenkomst met realistische situaties, zoals bij videogebaseerde en multimedia SJTs, niet altijd nodig is om een hoge predictieve waarde te hebben.

15 15 Ontwikkeling van een Situational Judgment Test Zoals Motowidlo et al. (1990) beschrijven, bestaat de ontwikkeling van SJTs uit 3 fasen. We bespreken de 3 fasen afzonderlijk. Situatiebeschrijvingen. De eerste stap is de ontwikkeling van situatiebeschrijvingen. Men kan hierbij op twee manieren te werk gaan. Bij de eerste methode worden kritische incidenten verzameld. Op deze manier werden de situatiebeschrijvingen van de SJT, die het onderwerp van deze studie vormt, ontwikkeld. Vanuit de kritische incidenten worden hypothetische situaties ontwikkeld. Men doet hierbij beroep op subject - matter experts (SME s) of ervaren jobbeoefenaars. Aan hen wordt gevraagd voorbeelden op te roepen van uitzonderlijk goed en uitzonderlijk slecht presteren in de job. Een andere manier bestaat erin situatiebeschrijvingen op te stellen aan de hand van een onderliggend model. Dit kan een set van competenties zijn, kenmerken uit een jobanalyse, een literatuuronderzoek of een theorie over determinanten voor effectieve prestatie (Motowidlo et al., 1990). Antwoordalternatieven. In een tweede stap wordt een andere groep van SME s gevraagd om in een aantal zinnen te beschrijven hoe ze elke probleemsituatie zouden aanpakken. Zij generen dus de antwoorden, maar worden wel enkel gevraagd te beschrijven wat het beste zou zijn om te doen in de situaties. Onervaren werknemers zijn hier ook bruikbaar. Zij kunnen antwoorden bieden met een grote range in effectiviteit (Lievens & al., in press). SJTs verschillen ook in de gegeven antwoordalternatieven. Sommige SJTs stellen oplossingen voor aan een probleem. Respondenten geven dan aan in welke mate ze met de oplossingen akkoord gaan. Andere bieden multipele oplossingen aan waaruit de respondenten het beste of slechtste alternatief moeten kiezen (Motowidlo et al, 1990; Olson-Buchanan et al., 1998). Scoren. In een derde stap wordt de scoringssleutel ontwikkeld. De scoringssleutel van een SJT wordt a priori bepaald. Er zijn dus geen assessoren of raters

16 16 die het gedrag van de kandidaat evalueren. Hier wordt aan een groep zeer ervaren personen gevraagd om de effectiviteit van de alternatieven voor elke situatie te evalueren. Zij identificeren het beste en slechtste alternatief om met de situatie om te gaan. Gebaseerd op deze groep, identificeert men de meest en minst effectieve alternatieven voor elke situatie. Kwesties in verband met scoring bij de SJT lopen parallel met biodatametingen. Individuen worden hier gevraagd gedragingen uit het verleden en ervaringen te rapporteren. Biodatametingen hebben vaak geen gestaafde objectieve antwoorden. Dit is ook het geval bij SJT-items die vaak geen objectief gezien correct antwoord hebben. De meeste responsalternatieven lijken plausibel. De vraag is: Welk antwoord is het beste, in plaats van: Welk antwoord is juist? Er zijn verschillende scoringsmethodes voor multiplechoice-sjts (Bergman, Drasgow, Donovan, Henning, & Juruska, 2006). De verschillende scoringmethodes zijn: expertgebaseerde, empirische, theoretische en hybride scoring. Bij expertgebaseerde scoring is de sleutel gebaseerd op de antwoorden van individuen met een aanzienlijke hoeveelheid kennis omtrent het onderwerp. Deze methode werd gevolgd bij het opstellen van de scoringssleutel van de situationele test in dit onderzoek. Een empirische scoringssleutel is gebaseerd op de correlatie tussen een antwoordoptie en een criterium. Bij theoretische scoring wordt de SJT-sleutel gebaseerd op theoretische veronderstellingen in de relevante literatuur en ten slotte combineert men bij hybride scoring een empirische sleutel met een andere sleutel. Hoewel er verschillende manieren zijn om het beste antwoord te determineren, is er nog geen consensus bereikt over welke methode hiervoor het meest geschikt is. Testinstructies. Er zijn 2 types instructies. Enerzijds zijn er would do - instructies die de respondent vragen wat hij effectief zou doen en hoe hij zich zou gedragen ( behavioural tendency instructions of gedragsinstructies). Anderzijds zijn er should do -instructies die de sollicitant vragen wat hij idealiter zou moeten doen en dus peilen naar zijn kennis ( knowledge instructions of kennisinstructies) (McDaniel & Nguyen, 2001). Kennisinstructies vragen aan de respondent om het juiste of best mogelijke antwoord te selecteren of de effectiviteit van mogelijke reacties op een situatie te evalueren. Resultaten hebben getoond dat het type instructie dat gegeven wordt de constructen die gemeten worden door de test beïnvloeden (McDaniel et al.,

17 ). Het onderscheid in type van instructies is relevant voor de concepten typische versus maximale prestatie. SJTs met kennisinstructies meten maximale prestatie omdat ze aan de respondenten vragen hun oordeel te geven over wat tot een effectieve, maximale prestatie leidt. Maximale prestatietests zouden meer afhankelijk zijn van cognitieve vaardigheden dan van typische prestaties. Predictoren als cognitieve vaardigheidstests, kennistests en work samples beoordelen ook maximale prestatie. Alle maximale prestatietests zouden substantiële cognitieve correlaten moeten hebben. Andere predictoren zoals persoonlijkheidstests en SJTs met gedragsinstructies, vragen de respondenten te rapporteren hoe ze zich typisch gedragen. Van deze predictoren wordt verwacht dat ze kleinere cognitieve correlaten hebben en grotere niet-cognitieve correlaten ( McDaniel et al, 2007). De meest gebruikte antwoordinstructie voor SJTs is Wat zou je (het meest of minst waarschijnlijk) doen?. Validiteit Nu de ontwikkeling van een SJT besproken is, wordt ingegaan op de validiteit en betrouwbaarheid van een SJT. Deze concepten zijn immers van belang om aan te tonen dat een SJT een goed meetinstrument is. Face validiteit. Face validiteit is de mate waarin de respondent vindt dat de test meet dat wat het pretendeert of zegt te meten. SJTs hebben een vrij hoge face validiteit (Motowidlo et al., 1990). Ze scoren hoger op face validiteit dan cognitieve vaardigheidstests en persoonlijkheidstests. Ze worden door sollicitanten meestal ook als een geschikte selectieprocedure gezien. Hierdoor volgen er positieve reacties bij sollicitanten. Dit is geen verrassing aangezien applicanten over het algemeen selectietools prefereren die ze als jobgerelateerd percipiëren. Volgens Weekley et al. (2006) krijgen meer gedetailleerde en specifieke situatiebeschrijvingen positieve reacties van respondenten en zo ook een hogere face validiteit. De percepties van face validiteit en de positieve reacties van de sollicitant blijken ook een rol te spelen bij de motivatie om de test af te nemen en de grootte van subgroepverschillen (Clevenger et al, 2001). Chan en Schmitt (1997) deden een onderzoek naar de verschillen in face validiteit tussen geschreven en videogebaseerde SJTs. De face validiteit van een

18 18 videogebaseerde SJT is significant hoger dan deze van een geschreven SJT met dezelfde inhoud. Predictieve validiteit en criteriumvaliditeit. Hieronder wordt de predictieve validiteit en criteriumgerelateerde of criteriumvaliditeit besproken. Hoewel deze twee verschillende soorten validiteiten zijn, wordt de term criteriumvaliditeit vaak slechts gebruikt als een andere benaming voor de predictieve validiteit van de SJT. Het is echter van belang om deze soorten validiteiten van elkaar te kunnen onderscheiden. Predictieve en concurrente (gelijktijdige) validiteit vormen samen de criteriumvaliditeit. Bij predictieve validiteit luidt de centrale vraag in hoeverre het meetinstrument een criterium weet te voorspellen dat in de toekomst ligt. Predictieve validiteit gaat dus gedrag in de toekomst voorspellen. Bij concurrente validiteit is er sprake van gelijktijdigheid. Het te voorspellen criterium wordt op hetzelfde moment gemeten. Men gaat kijken naar de correlaties tussen scores op het meetinstrument en scores op een ander instrument dat het criterium voorspelt. Bij selectie is het belangrijk dat een selectieprocedure jobgerelateerde criteria kan voorspellen. Zijn SJTs goede voorspellers voor jobprestatie? Met deze vraag hebben verschillende studies zich al bezighouden. McDaniel et al. (2001) voerden de eerste meta-analyse uit van criteriumgerelateerde validiteiten van SJTs in werksettings. De gecorrigeerde correlatie tussen SJTs en jobprestatie was.34. (ongecorrigeerde correlatie:.26). De substantiële variabiliteit in criteriumgerelateerde validiteitscoëfficiënten over studies wezen op de aanwezigheid van moderatoren. Een belangrijke moderator voor de validiteit van SJTs bleek het feit of er al dan niet gebruik gemaakt was van een job-analyse om de SJT te ontwikkelen. SJTs die gebaseerd waren op een jobanalyse toonden hogere validiteiten dan diegene niet gebaseerd op een jobanalyse (.38 versus.29). Waarom voorspellen SJTs nu jobprestatie? Er zijn drie algemene, onderliggende assumpties (Motiwidlo et al., 1990). Volgens de eerste verklaring is het gedrag dat je in het verleden gesteld hebt de beste predictor voor toekomstig gedrag (d.i. het principe van gedragsconsistentie). Men maakt dus de assumptie dat de prestatie van de sollicitant op het selectie-instrument de prestatie in de job voorspelt. De tweede assumptie is dat SJTs de intenties en doelen meten van de applicanten ( goal-setting-theory ). De laatste

19 19 verklaring is dat SJTs constructen meten waarvan al aangetoond is dat ze bruikbare voorspellers zijn voor jobprestatie zoals praktische intelligentie, procedurele kennis, algemene cognitieve vaardigheid of persoonlijkheidstrekken (zie verder). Er is nog steeds geen uitsluitsel over de juiste mechanismen die ervoor zorgen dat SJTs gerelateerd zijn aan jobprestatie. Constructvaliditeit. Over de jaren heen zijn er verscheidene constructen gelinkt aan SJTs. Om de constructvaliditeit van SJTs te bepalen, worden de scores van SJTs in verband gebracht met de scores op andere testen. Traditioneel zijn dit persoonlijkheidsvragenlijsten, intelligentietesten of testen die jobervaring meten. Volgens Sternberg et al. (1993) is het doel van een SJT iets anders te meten dan academische intelligentie (cognitieve vaardigheid). Zij stelden voor dat SJTs tacit knowledge of praktische intelligentie meten. Ook volgens Chan & Schmitt (2002) meten SJTs het construct praktische intelligentie. Praktische intelligentie bestaat enerzijds uit taakkennis en anderzijds uit situationele of contextuele kennis. Wanneer men het heeft over job- of taakprestatie heeft men het over de taakkennis. Taakkennis reflecteert het aspect can-do van het domein prestatie. Situationele of contextuele kennis daarentegen bestaat uit de motivationele en interpersoonlijke aspecten van jobprestatie. Deze reflecteren het aspect will-do. Ander onderzoek is het niet eens met deze positie en stelt voor dat SJTs gerelateerd zijn aan cognitieve vaardigheid. In de meta-analyse van McDaniel et al. (2001) bleken SJTs gecorreleerd te zijn met consciëntieusheid, emotionele stabiliteit, aangenaamheid en cognitieve vaardigheid. SJTs toonden een correlatie van.46 met cognitieve vaardigheid. De grootte van deze schatting varieerde wel substantieel. Dit zou wijzen op het bestaan van moderatoren (McDaniel et al, 2007). Nog andere onderzoekers beweren dat SJTs jobkennis, jobervaring of interpersoonlijke variabelen meten (McDaniel & Nguyen, 2001; Motowidlo, Borman, & Schmitt, 1997). Het is geen verrassing dat SJTs met zoveel verschillende constructen wordt gelinkt. Immers, SJT items refereren naar een wijde range aan situaties en verschillen inhoudelijk op gebied van waar de applicanten op moeten letten bij het nemen van een

20 20 beslissing. Ook is het zo dat de antwoorden op een SJT met meerdere alternatieven bestaat uit een combinatie van vaardigheid, ervaring en persoonlijkheid. Uit een recente meta-analyse van McDaniel et al (2007) bleek dat het type responsinstructie een rol speelt. SJTs met kennisinstructies hebben een hogere validiteit voor het voorspellen van jobprestatie dan SJTs met gedragsinstructies. De validiteit van metingen die multiple constructen betreffen, zoals SJTs en interviews, zal waarschijnlijk groter worden als hun cognitieve lading stijgt. Kennisinstructies worden niet getroffen door zelfdeceptie en impressiemanagementfouten omdat het geen zelfrapporteringen zijn van typisch gedrag (McDaniel et al, 2007). Incrementele validiteit. De meeste personeelsselectiesystemen betrouwen op meer dan een selectieprocedure. De incrementele validiteit van SJTs is dus een belangrijk topic. Vaak bevatten selectiesystemen metingen van cognitieve vaardigheid omwille van hun hoge validiteit voor alle jobs (Schmidt & Hunter, 1998). De waarde van een SJT stijgt als hij incrementele validiteit heeft boven en over cognitieve vaardigheid. Incrementele validiteit van een test is de mate waarin de test unieke variantie kan verklaren in jobprestatie die niet verklaard wordt door andere metingen in de testbatterij. Omdat SJTs gecorreleerd zijn met cognitieve vaardigheid, is het potentieel van SJTs beperkt in het voorspellen van unieke variantie bovenop cognitieve vaardigheid. Zo ook beperkt de mate waarin SJTs gecorreleerd zijn met de Big Five, het potentieel van SJTs om unieke variantie te verklaren bovenop de Big Five. Toch hebben verscheidene studies incrementele validiteit gerapporteerd van een SJT naast een batterij bestaande uit cognitieve vaardigheid en persoonlijkheid (Chan & Schmitt, 2002; Clevenger et al, 2001). McDaniel et al. (2007) concludeerden in hun recente metaanalyse dat SJTs een incrementele validiteit voorzien bovenop cognitieve vaardigheid die varieert tussen de 3% en 5%. De incrementele validiteit van SJTs over persoonlijkheid werd geschat tussen de 6% en 7%. De incrementele validiteit van SJTs over zowel cognitieve vaardigheid en persoonlijkheid varieerde tussen 1% en 2%.

21 21 Betrouwbaarheid Om de betrouwbaarheid van een SJT na te gaan, zijn er verschillende methoden. Men kan de interne consistentie van de test berekenen of de test tweemaal afnemen. Dit laatste wordt ook de test-hertestbetrouwbaarheid genoemd. In de literatuur worden twee werkwijzen naar voor geschoven, om de interne consistentie te berekenen. Bij de eerste werkwijze gaat men de Cronbach alpha berekenen. De betrouwbaarheid van de SJT wordt meestal op deze manier berekend (Nguyen & McDaniel, 2001). McDaniel et al. (2001) rapporteren in hun meta-analyse dat de interne consistentiecoëfficiënten variëren tussen.43 en.94. Een tweede manier om de interne consistentie van de SJT te bepalen, is het ontwikkelen van parallelle SJTs. Uit de meta-analyse van Nguyen en McDaniel (2001) blijkt dat voor SJTs een parallelle betrouwbaarheid van.80 als representatief wordt geacht. Onderzoek heeft al op verschillende factoren gewezen die de variabiliteit in interne consistentie modereren. Eerst en vooral speelt de lengte van de SJT een rol. Langere SJTs tonen een hogere interne consistentie. Bijkomend vonden Ployhart en Ehrhart (2003) dat het type responsinstructie ook een invloed heeft op de interne consistentie. Responsinstructies waarbij men de respondenten vroeg om de effectiviteit te bepalen van elke respons, haalden de hoogste interne consistentie (.73). Wanneer men de kandidaten vroeg om te kiezen tussen twee antwoordalternatieven leidde dit tot een lagere interne consistentie (.60). Ten slotte behaalde de responsinstructies waarbij men enkel één antwoordalternatief moest kiezen de laagste interne consistentie (.24). Ondanks dat deze methode meestal gebruikt wordt om de betrouwbaarheid van een SJT te meten, is het niet de meest geschikte methode. Interne consistentie is enkel een adequate meetmethode voor het bepalen van de betrouwbaarheid van unidimensionele tests (McDaniel & Nguyen, 2001). De heterogeniteit van SJTs zorgt ervoor dat er twijfel is omtrent de geschiktheid van deze methode voor het meten van de betrouwbaarheid van SJTs. Omwille van deze reden wordt een tweede methode naar voor geschoven namelijk de test-hertestbetrouwbaarheid. Men gaat de test dan tweemaal afnemen. Deze zou mogelijk de beste methode zijn om de betrouwbaarheid van SJTs te bepalen.

22 22 Adverse Impact Wanneer bij een test bepaalde groepen (bv. blanken, vrouwen en senioren) systematisch hogere scores behalen, spreekt men van adverse impact. Tot op heden zijn enkel de effecten van gender en ras op prestatie op SJTs onderzocht. Deze worden hieronder besproken. Gender. In de studie van Weekley en Jones (1999) werden kleine maar significante geslachtsverschillen vastgesteld bij SJTs in het voordeel van de vrouwen. Nguyen, Biederman, & McDaniel (2005) vonden in hun meta-analyse een verschil in gemiddelde scores van.10 standaarddeviaties in het voordeel van vrouwen. Deze lichte tendens voor vrouwen om beter te scoren dan mannen kan toe te schrijven zijn aan de geslachtsverschillen in termen van persoonlijkheidstrekken. Gemiddeld behalen vrouwen hogere scores dan mannen voor de trekken consciëntieusheid en aangenaamheid (Lievens & Peeters, 2006). Ras. Verschillen in gemiddelde SJT-scores tussen raciale subgroepen zijn kleiner dan bij cognitieve vaardigheidstests (Jensen, 1998). Ook bij de studie van Clevenger et al. (2001) vond men dat het verschil in scores van blanken en zwarten op SJTs gemiddeld kleiner is dan het verschil in scores op jobkennismetingen. De metaanalyse van Nguyen, McDaniel, & Whetzel (2005) toonde een verschil in gemiddelde scores tussen blanken en zwarten van.38 standaarddeviaties in het voordeel van blanken. Een belangrijke determinant die bepaalt of SJTs adverse impact vertonen is de correlatie van SJTs met cognitieve vaardigheid. Deze correlatie verklaart bijna alle variantie in gemiddelde raciale verschillen over studies heen. Als SJTs hoofdzakelijk non-cognitieve aspecten van jobprestatie zouden meten, zouden subgroepverschillen tussen blanken en zwarten voor een groot deel gereduceerd worden. Uit een studie van Chan en Schmitt (1997) blijkt dat videogebaseerde SJTs minder adverse impact vertonen omdat ze minder cognitief geladen zijn dan geschreven SJTs. Ook resulteren SJTs met gedragsinstructies in een lagere adverse impact dan SJTs met kennisinstructies (Nguyen & al., 2005).

23 23 Faken Faking is de intentionele vertekening van antwoorden op een test. In een selectiecontext wordt faking omschreven als een bewuste keuze van het individu om de antwoorden te vervormen en daardoor gunstiger te scoren (Peeters & Lievens, 2005). Het is belangrijk de mate waarin faken mogelijk is na te gaan. Faken kan immers de criteriumgerelateerde validiteit van SJTs beïnvloeden. Ook kan faken leiden tot het aanwerven van individuen van wie de ware score op de gemeten karakteristiek minder is dan wat het lijkt te zijn (Chan & Schmitt, 2005). Hooper, Cullen en Sackett (2006) vonden dat de verschillen in gemiddelde scores tussen respondenten die gevraagd werden om zo eerlijk mogelijk te antwoorden en respondenten die de instructie kregen te faken, varieerden tussen.08 en.89 standaarddeviaties. Ook concludeerden ze dat de effecten van faking bij SJTs kleiner zijn dan bij persoonlijkheidsmetingen. Het is dus moeilijker om te faken op een SJT in vergelijking met een persoonlijkheidsvragenlijst. Er zijn verschillende factoren gevonden die de mogelijkheid tot faken op een SJT kunnen modereren. De eerste moderator is de cognitieve lading van SJT-items. Hoe hoger de cognitieve lading, hoe kleiner de mogelijkheid om te faken (Peeters & Lievens, 2005). De tweede moderator is de transparantie van items. Hoe transparanter de items, hoe groter de mogelijkheid om te faken. Ook de responsinstructies spelen een rol door hun invloed op de cognitieve lading. Bij gedragsinstructies kon men gemakkelijker faken dan bij kennisinstructies (Nguyen et al., 2005; Ployhart & Ehrhart, 2003). Ten slotte is het type studie een moderator. Laboratoriumstudies rapporteerden een grotere mate van faken in vergelijking met selectie in reële situaties. Laboratoriumstudies onderzoeken de mogelijkheid tot faken, waar bij actuele selectie wordt gekeken of applicanten daadwerkelijk faken op de test. Bij dit laatste peilt men naar de motivatie van de applicanten om te faken. Huidig Onderzoek Doelgroep. De doelgroep in deze studie is de groep administratief bedienden. Administratief bedienden zijn verantwoordelijk voor zeer gevarieerde en diverse taken. Hierdoor is het niet mogelijk ze te classificeren in een specifieke beroepscategorie, waarbij enkel een beperkte kennis van office management systemen en -procedures

24 24 vereist is. De taken van een administratief bediende worden toegewezen in overeenkomst met de procedures van het desbetreffende etablissement. Het takenpakket kan bestaan uit een combinatie van beantwoorden van telefoons, boekhouding, typen of tekstverwerking, stenografie (snelschrift), werken met kantoorapparatuur en klasseren. Andere benamingen: administratief assistent, office manager, receptionist, clerk, secretaris, office assistant, office clerk, customer service representative, office coördinator, court clerk (O*net). Binnen de beroepscategorie van administratief bedienden, zijn er specifiekere invullingen van de job. Een aantal van deze beroepen zijn knelpuntberoepen. Knelpuntberoepen zijn beroepen die moeilijk ingevuld geraken. Volgens een analyse van de VDAB (2006) zijn de knelpuntberoepen: commercieel bediende, technisch-administratief bediende, bediende planning en logistiek en bediende kostprijsberekening. Aan de basis van het knelpunt liggen kwalitatieve factoren. Bij de commercieel bediende vormen commerciële feeling, talenkennis, klantvriendelijkheid en een gezonde assertiviteit de evidente breekpunten. Het is tevens een stresserend beroep met veel verloop tot gevolg. Bij de andere knelpuntberoepen is de combinatie van administratieve vaardigheden en technische kennis determinerend. SJT. De test die in deze studie gevalideerd wordt is een SJT voor administratief bedienden. De SJT werd ontwikkeld door Trui Vandecasteele in het kader van een licentiaatsverhandeling. Bij de ontwikkeling is in drie fasen tewerk gegaan: verzamelen van situaties, genereren van antwoordalternatieven en opstellen van een scoringssleutel. Het resultaat hiervan is een SJT met zestien situatiebeschrijvingen met telkens vier antwoordalternatieven. Administratief bedienden worden binnen de organisatie ingezet voor zeer gevarieerde en diverse taken en deze test is ontwikkeld om het gedrag van administratief bedienden in hun functie te toetsen. Wanneer de ontwikkelingsfase doorlopen is, dient de SJT onderworpen te worden aan verdere validering (Ployhart & Ehrhart, 2003). Aangezien de test nog niet gevalideerd is, mag deze niet in de praktijk gebruikt worden. Dit leidt tot wat de doelstelling van deze studie is. Deze doelstelling wordt in het volgende deel geformuleerd.

25 25 Doelstelling. Deze studie gaat de validiteit en betrouwbaarheid van een SJT voor administratief bedienden toetsen. Meer specifiek kunnen we de doelstelling van de studie drieledig voorstellen: - Nagaan van de concurrente validiteit: voorspelt de SJT gelijktijdig het gedrag van administratief bedienden in hun job - Nagaan of de SJT een betekenisvolle incrementele validiteit biedt boven een persoonlijkheidsvragenlijst en traditionele intelligentietest - Nagaan van de betrouwbaarheid van de SJT

26 26 Methode Steekproef De situationele test is gebaseerd op situaties gegenereerd door medewerkers uit de openbare sector. Hierdoor komen vooral de competenties tot uiting die nodig zijn in de functie van administratief bediende in een openbaar bestuur. Enkele van deze situaties zijn eveneens herkenbaar in de private sector maar het is niet aan te raden de test zomaar te implementeren bij selectie van administratief bedienden in andere sectoren. Om deze reden is ervoor geopteerd om dit onderzoek uit te voeren in de openbare sector.. De gehele steekproef bestaat uit 105 participanten en kan onderverdeeld worden in 3 groepen steekproeven. De eerste steekproef binnen deze studie bestond uit 45 administratief bedienden tewerkgesteld binnen openbare besturen. De groep telt zeven mannen (15.6%) en 38 vrouwen (84.4%). De participanten zijn tussen 21 en 58 jaar oud, met een gemiddelde leeftijd van 37,44 jaar (SD = jaar). Hun anciënniteit varieert tussen nul jaar en 35 jaar (gemiddelde anciënniteit = 11.86, SD = jaar). De tweede steekproef binnen deze studie bestond uit 15 leidinggevenden of diensthoofden binnen openbare besturen. Deze groep telt acht mannen (53.33%) en zeven vrouwen (46.67%). De participanten zijn tussen 24 en 55 jaar oud, met een gemiddelde leeftijd van jaar (SD = jaar). Hun anciënniteit varieert tussen 1 jaar en 34 jaar (gemiddelde anciënniteit = 15.71, SD = jaar). De derde steekproef binnen deze studie bestond uit 45 administratief bedienden tewerkgesteld binnen openbare besturen. Deze groep bestond uit collega s van de administratief bedienden uit de eerste steekproef. Deze groep telt 10 mannen (22.2%) en 35 vrouwen (77.8%). De participanten zijn tussen 21 en 58 jaar oud, met een gemiddelde leeftijd van 38,53 jaar (SD = jaar). Hun anciënniteit varieert tussen nul jaar en 36 jaar (gemiddelde anciënniteit = 13.02, SD = jaar). De variabelen leeftijd, geslacht en anciënniteit werden als controlevariabelen opgenomen in deze studie om uit te sluiten dat effecten niet aan deze variabelen kon worden toegeschreven. Zowel de variabelen leeftijd als anciënniteit werden in jaren uitgedrukt.

27 27 Procedure Er werd ad random een steekproef van besturen gecontacteerd verspreid over heel Vlaanderen. Bij telefonisch contact met de voorzitter of secretaris van de gemeente, stad of OCMW werd het onderzoeksopzet duidelijk gemaakt en gepeild naar hun bereidheid en beschikbaarheid om hieraan deel te nemen. Van de in totaal 20 gecontacteerde besturen waren er vijf bereid om deel te nemen aan dit onderzoek. Intern werd dan een begeleidende brief met vraag tot medewerking opgestuurd naar alle medewerkers. De medewerkers die reageerden werden dan opgelijst en aan elke administratief medewerker werd het diensthoofd en een collega gekoppeld. De vragenlijsten voor de administratief bedienden werden, naargelang persoonlijk in papieren versie afgenomen. Deze vragenlijsten bestonden uit een situationele test, een persoonlijkheidsvragenlijst en een intelligentietest. Nadat de ingevulde vragenlijsten ontvangen werden van de administratief bedienden, kregen de collega s en diensthoofden de beoordelingsvragenlijst per mail toegestuurd. Diensthoofden dienden vaak meerdere administratief bedienden te beoordelen. Om sociale wenselijkheid te beperken werd de nadruk gelegd op de anonimiteit van de respondenten. Hierbij werd ook duidelijk gemaakt dat dit onderzoek werd uitgevoerd in het kader van deze thesis en de beoordelingen rechtstreeks aan de onderzoeker bezorgd worden. In ruil voor hun medewerking ontvingen alle deelnemende besturen indien gewenst een rapport van de resultaten van de gehele steekproef. Meetinstrumenten SJT. De Situational Judgment Test is ontwikkeld voor administratief bedienden. De test bestaat uit 16 items met telkens 4 antwoordopties. Een voorbeelditem wordt gegeven in Figuur 3.

28 28 2) U staat vandaag alleen aan de balie voor het ontvangen van klanten. Er komt een klant langs die een afspraak wil maken bij één van de medewerkers. De man lijkt erg opgejaagd. Vandaag heeft die medewerker een vrije dag. Er is morgen bij hem spreekuur van 9 tot 12u. U deelt de klant dit mee, maar hij blijft aandringen en zegt dat het heel dringend is. Hij moet die medewerker echt nu zien. a) U probeert de medewerker telefonisch te bereiken om te vragen wat u kunt doen. b) U luistert naar de klant en maakt hem duidelijk dat hij morgen zal moeten terugkomen. Daarna negeert u hem en u richt zich tot de volgende klant. c) U stuurt de man door naar het kantoor van uw leidinggevende. d) U vraagt een collega om in te springen aan de balie terwijl u even apart gaat zitten en de man zijn verhaal laat doen. Figuur 3. Voorbeelditem SJT Persoonlijkheidsvragenlijst. Om de persoonlijkheid van de kandidaten te meten viel de keuze op de International Personality Item Pool (zij bijlage 1 voor een overzicht per dimensie) (IPIP) van Goldberg (1999), een 50-itemmeting van de Big Five (10 items per construct). Deze persoonlijkheidsvragenlijst gaat 5 constructen of persoonlijkheidsdimensies na: extraversie, emotionele stabiliteit, aangenaamheid, intellect en consciëntieusheid. Een voorbeelditem voor extraversie is Ik maak gemakkelijk vrienden. Een voorbeelditem voor emotionele stabiliteit is Ik ben meestel ontspannen. Een voorbeelditem voor aangenaamheid is Ik ben geïnteresseerd in mensen. Een voorbeelditem voor intellect is Ik heb een rijke woordenschat. Een voorbeelditem voor consciëntieusheid is Ik besteed aandacht aan details. De interne consistentie werd per schaal berekend via de Chronbach alpha coëfficiënt. De interne consistentie van de items van extraversie bedraagt.85. Voor de items van emotionele stabiliteit bedraagt de interne consistentie.876. Voor de items van aangenaamheid bedraagt de interne consistentie.748. Voor de items van intellect bedraagt de interne consistentie.707. De interne consistentie van consciëntieusheid bedraagt.908. De items werden gescoord op een vijfpuntenschaal van 1 = helemaal niet akkoord tot 5 = helemaal akkoord. De IPIP werd om twee verschillende redenen gekozen. Een eerste

29 29 reden is de internationale toegankelijkheid van deze testitems. De IPIP is namelijk vrij te raadplegen en mag door iedereen, gratis, worden gebruikt. De aanvaardbare graad van interne consistentie., meer bepaald een gemiddelde alpha coëfficiënt van.84, is een tweede reden. Gezien de graad van interne consistentie voor de verschillende schelen werd het gemiddelde van de scores op de items per construct gehanteerd bij verdere analyses. Intelligentie. Raven s Advanced progressive matrices, set 1, werd gebruikt om een maat te krijgen van algemene intelligentie, meer specifiek abstract redeneervermogen. Het is een multiple choice test ontwikkeld door Dr John Raven (1938). De set bestaat uit 12 items. De items worden gepresenteerd in zwarte inkt op een witte achtergrond. Elk item heeft telkens 8 antwoordopties. Beoordelingsvragenlijst. Voor een beoordeling van diensthoofd en collega te verkrijgen, werd geopteerd om een beoordelingsvragenlijst te ontwikkelen specifiek voor administratief bedienden. Deze werd ontwikkeld op basis van de nodige competenties voor de doelgroep. De beoordelingsvragenlijst bestaat uit 15 items en gaat 5 competenties na: integriteit, klantvriendelijkheid, probleemanalyse, flexibiliteit, plannen en organiseren. Per competentie zijn er 3 items opgesteld. In Figuur 4 wordt per competentie een voorbeelditem weergegeven. De items werden gescoord op een vijfpuntenschaal van 1 = helemaal niet akkoord tot 5 = helemaal akkoord. De betrouwbaarheid van deze vragenlijst werd nagegaan aan de hand van interne consistenties. In tabel 1 staan de interne consistenties voor de items zowel voor diensthoofd en collega. Daar de interne consistentie van de items tussen de.744 en.914 bedroeg voor de beoordelingen van diensthoofden en collega s, beiden op basis van 45 situaties, werd het gemiddelde van de scores op de items per competentie gehanteerd bij verdere analyses.