Faculteit Psychologie en Pedagogische Wetenschappen Academiejaar 2007-08 Eerste Examenperiode ASSESSOREN EN OBSERVEERBAARHEID: ONDERZOEK NAAR DE EFFECTEN VAN GESTANDAARDISEERDE PROMPTS Scriptie neergelegd tot het behalen van de graad van Licentiaat in de Psychologie, Optie Bedrijfspsychologie en Personeelsbeleid. Door Guy Dobbeleir Promotor: Prof. Dr. Filip Lievens Begeleiding: Lic. Eveline Schollaert
Ondergetekende, Guy Dobbeleir geeft toelating tot het raadplegen van de scriptie door derden. Guy Dobbeleir
i VOORWOORD Bij het aanbieden van deze scriptie gaat mijn dank uit naar alle personen die door hun daadwerkelijke steun en raadgevingen geholpen hebben deze scriptie tot een goed einde te brengen. Allereerst wil ik Prof. Dr. Filip Lievens, mijn promotor, bedanken. Dankzij hem had ik de mogelijkheid om mij te verdiepen in een materie die initieel aantrekkelijk leek en die mij met de tijd steeds meer kon boeien. Tevens wil ik ook mijn grote dank en waardering uitspreken tegenover mijn begeleidster, Lic. Eveline Schollaert. Zij stelde niet enkel haar goede raad en wetenschappelijke kennis ter beschikking, maar zij heeft mij ook geholpen om mijn onderzoek vorm te geven en de data in te zamelen. Haar hulp zorgde ervoor dat de materie mij blijvend kon boeien en ikzelf gemotiveerd bleef om deze scriptie tot een goed einde te brengen. Vervolgens zou ik ook alle vrijwillige rollenspelers en beoordelaars willen bedanken. Hun tomeloze inzet maakte het mogelijk om de nodige data voor deze studie te verzamelen. Uiteraard gaat ook mijn speciale dank uit naar alle laatstejaarsstudenten van de Associatie Universiteit Gent die vrijwillig hebben meegewerkt aan dit onderzoek. Ten slotte zou ik nog mijn naaste familie en vrienden willen bedanken voor hun advies en voortdurende steun. Guy Dobbeleir, Gent, mei 2008
ii ABSTRACT Het belang van assessment centers in de huidige bedrijfswereld is nog nauwelijks weg te denken. Desondanks hun grote waarde, is het constructvaliditeitsprobleem bij assessment centers nog niet opgelost. Dit probleem is reeds benaderd vanuit de trekactivatietheorie (TAT) en deze studie is hierop verdergegaan. De trekactivatietheorie werd hier als prescriptief middel gebruikt worden in plaats van descriptief. Dit door middel van gestandaardiseerde cues die gebruikt worden in de simulatieoefeningen van een assessment center (voor selectie) om situatierelevant gedrag uit te lokken bij de kandidaten. Het effect hiervan werd nagegaan op de observeerbaarheid van het gedrag alsook werd het effect ervan op de transparantie van de dimensies nagegaan. Door de standaardisatie van deze cues, ook prompts genoemd, werd een verhoogde observeerbaarheid verwacht. Via de prompts krijgt de kandidaat de kans om gedrag te laten zien dat relevant is voor de competenties, het gedrag wordt als het ware door de prompts uitgelokt. Een neveneffect werd echter verwacht, namelijk een verhoogde transparantie van de dimensies. Een mogelijke keerzijde van de medaille van de prompts was dus dat de kandidaten meer doorhadden welke dimensies gemeten werden. Aan deze studie namen 236 laatstejaarsstudenten deel. Zij namen deel aan een sollicitatietraining met twee assessment center oefeningen, namelijk een werkgesprek en een presentatie. De resultaten tonen een effect van het gebruik van prompts, maar dit effect blijkt niet voor elke dimensie op een verhoging van de observeerbaarheid te duiden. Het verwachte neveneffect van een verhoogde transparantie werd in deze studie echter niet teruggevonden.
iii INHOUD VOORWOORD ABSTRACT INHOUD LIJST MET TABELLEN I II III VI INLEIDING 1 INTRODUCTIE 1 HET ASSESSMENT CENTER 2 Historisch 2 Eigenschappen 3 Soorten Assessment Centers 6 AC voor selectie 6 Diagnostisch AC 7 AC ter ontwikkeling 7 Psychometrische kenmerken 8 Face-validiteit 8 Inhoudsvaliditeit 8 Criteriumvaliditeit 8 Constructvaliditeit 8 TREKACTIVATIETHEORIE 10 Een interactionistische visie 10 Trekactivatietheorie en het assessment center 11 OBSERVATIE EN EVALUATIE 12 PROMPT 13 TRANSPARANTIE 15 METHODE 18 VOORSTUDIE 18 Eerste fase 18 Procedure 18 Steekproef 19 Tweede Fase 19 Procedure 19 Steekproef 19 Derde fase 20 STEEKPROEF 20 PROCEDURE 21 Opzet 21
iv Dimensies 22 Rollenspelers 22 Assessoren 23 AC OEFENINGEN 24 Werkgesprek 24 Presentatie 25 SCORINGSPROCEDURE 25 DESIGN OVERWEGINGEN 26 RESULTATEN 27 DESCRIPTIEVE RESULTATEN 27 Werkgesprek 27 Presentatie 28 OBSERVEERBAARHEID 31 Werkgesprek 31 Presentatie 32 TRANSPARANTIE 34 Werkgesprek 34 Presentatie 34 DISCUSSIE 35 BESPREKING RESULTATEN 35 Observeerbaarheid 35 Werkgesprek 36 Presentatie 38 Transparantie 39 METHODOLOGISCHE REFLECTIES 39 Steekproef 39 Procedure 40 Meetinstrument 40 THEORETISCHE EN PRAKTISCHE IMPLICATIES 41 Theoretische implicaties 41 Praktische implicaties 42 TOEKOMSTIG ONDERZOEK 42 Inhoudelijk 42 Methodologie 43 CONCLUSIE 44 REFERENTIES 45 BIJLAGE 50
v Bijlage 1. 50 Bijlage 2. 51 Bijlage 3. 52 Bijlage 4. 53 Bijlage 5. 59 Bijlage 6. 60 Bijlage 7. 77 Bijlage 8. 91
vi LIJST MET TABELLEN Tabel 1 Verdeling van de rollenspelers over de verschillende condities 23 Tabel 2 Aantal observaties van de assessoren verdeeld over de condities 24 Tabel 3 Beschrijvende statistieken en correlaties tussen de variabelen van de 30 studie (N=236) Tabel 4 Het effect van de aanwezigheid van gestandaardiseerde prompts 32 op de gehanteerde dimensies Tabel 5 Gemiddeld aantal observaties per dimensie over de gedrags- 33 indicatoren heen Tabel 6 Correct aantal ingeschatte dimensies 34
1 INLEIDING Introductie Assessment centers (ACs) worden tegenwoordig veelvuldig gebruikt voor selectieprocedures. Ze hebben in vrij korte tijd opgang gemaakt in de wereld van het personeelsmanagement. Ze worden in een verscheidenheid van landen over de hele wereld gebruikt, en dit zowel in de private als publieke sector (Thornton, 2006). Het AC wordt dan ook op de dag van vandaag in een verscheidenheid van settings gebruikt zoals industrie, onderwijs, militaire setting, overheid, ordediensten, en op organisatieniveau (Howard, 1997). Via het AC is het mogelijk geworden om complexe attributen op een adequate manier te gaan meten op een manier die als fair aanzien wordt en met een positieve attitude onthaald wordt (Fletcher & Kerslake, 1992; Thornton, 1992, 2006). Het adequaat meten van dit complex gedrag is voornamelijk mogelijk door de praktijksimulaties van het AC. Kandidaten moeten hierdoor het gewenste gedrag openlijk vertonen. Door middel van zijn interactief karakter onderscheidt het AC zich van andere technieken zoals bijvoorbeeld bevraging aan de hand van Likertschalen (Kok & De Jongh, 2004). Het principe van de trekactivatietheorie stelt dat de gedragsmatige uitdrukking van een persoonlijkheidstrek een activering van die trek vereist door situationele cues relevant voor die trek (Tett & Guterman, 2000). Zij verduidelijkt dus hoe meerdere oefeningen kansen voorzien voor individuen om verschillende capaciteiten, vaardigheden en andere prestatiedimensies te vertonen. Deze kansen of cues, ook wel prompts genoemd, worden naar voor gebracht door de assessor om reacties uit te lokken bij de assessee. Desondanks blijkt het niet evident om elk relevant gedrag van de assessee te kunnen observeren, of nauwkeurig genoeg te kunnen observeren. Het doel van dit onderzoek zal nu zijn om het effect na te gaan van het standaardiseren van dergelijke prompts via de trekactivatietheorie en dan voornamelijk hoe dit de beoordeling door de assessoren beïnvloedt op het vlak van die observeerbaarheid. Tot vandaag werd de trekactivatietheorie enkel gebruikt als descriptief raamwerk voor het bestuderen van ACs, hiermee zou in deze scriptie de trekactivatietheorie ook
2 prescriptief worden aangewend. Daarnaast zal er nagegaan worden of deze standaardisatie van prompts zal leiden tot een verhoogde transparantie van de dimensies voor de deelnemer, dit wil zeggen of dat de deelnemers door middel van het gebruik van prompts de gehanteerde dimensies meer zullen doorhebben. Alvorens het eigen onderzoek toegelicht wordt, zal eerst dieper ingegaan worden op enkele begrippen. Hierdoor wordt een gemeenschappelijk begrippenkader gecreëerd en worden enkele belangrijke concepten voor dit onderzoek verduidelijkt. Achtereenvolgens zal behandeld worden, het assessment center, de trekactivatietheorie, de beoordeling en prompts. Daarna vloeit dit uit in de hypothesen van dit onderzoek. Vervolgens worden de methode die gehanteerd werd en de resultaten verder toegelicht. Tenslotte zullen in de discussie de resultaten kritisch bekeken worden en implicaties naar de theorie en praktijk zullen besproken worden. Het Assessment Center In tegenstelling tot wat velen denken is een assessment center geen specifieke plaats. Het is een gestandaardiseerde evaluatie van gedrag die gebaseerd is op verschillende informatiebronnen met meerdere getrainde observatoren en technieken (International Task Force, 2000). Het doel van een assessment center (AC) is het evalueren en ontwikkelen van personeel in termen van attributen en mogelijkheden relevant voor de organisationele effectiviteit (Thornton, 2006). Historisch De methode van persoonsevaluatie zoals gebruikt bij assessment centers vindt zijn oorsprong in het leger. Assessment centers werden dus oorspronkelijk gebruikt voor militaire doeleinden tijdens de tweede wereldoorlog. In 1948 verscheen een boek met als titel Assessment of Men, geschreven door het Office of Strategical Services. In dit boek stonden zowel de methode als de resultaten grondig uitgelegd. Alhoewel dit bureau onder militaire controle viel, waren hierin veel burgers werkzaam met een psychologische vorming. Mede om deze reden kon deze methode zonder problemen
3 overgebracht worden naar een niet-militaire setting door Douglas Bray. Het AC zoals het gebruikt werd door Bray bij de American Telephone and Telegraph Company(AT&T) en Bell werd dan ook als toonaangevend beschouwd in de jaren die zouden volgen (Riggio & Mayes, 1997). Al gauw ontwikkelden er zich toepassingen die enkel delen van de methode incorporeerden en toch fungeerden onder de naam AC waardoor zij de reputatie hiervan bedreigde (Thornton, 2006). Zo ontstond de nood aan enkele ethische richtlijnen. Deze nood werd oorspronkelijk ingevuld op het 3 e Internationaal Congres voor de assessment center methode in 1975. Zolang de fundamentele kenmerken van het AC niet geschonden worden, stonden en staan de Guidelines and Ethical Considerations for Assesment Center Operations (International Task Force, 2000), in het vervolg afgekort tot de Guidelines, open voor innovatie waardoor zij sinds hun oorspronkelijke invulling dan ook al enkele malen herzien werden (Howard, 1997). De grote doorbraak voor de verspreiding van assessment centers kwam er in de vroege jaren 70 met de oprichting van consultingbureaus die assessmentmateriaal aanboden aan organisaties. Dit heeft geleid tot een wijdverspreid gebruik van het AC zoals reeds eerder vermeld (Howard, 1997; Riggio & Mayes, 1997). Eigenschappen Het unieke van het AC bij het beoordelen van iemands persoonlijke kwaliteiten, kan volgens de Guidelines (International Task Force, 2000) samengevat worden in een vijftal essentiële kenmerken. Het eerste kenmerkende aspect is dat voorafgaand aan het AC een jobanalyse wordt uitgevoerd. Een jobanalyse is het proces gebruikt voor het bepalen van de competenties geassocieerd met het succes of falen in een job (International Task Force, 2000). Dit vormt dan het raamwerk waarin simulatieoefeningen, observaties, evaluaties en feedback plaatsvinden. Een tweede kenmerk van het AC is dat het bestaat uit een diversiteit aan informatiebronnen: intelligentietesten, persoonlijkheidsvragenlijsten, praktijksimulaties en interviews. Op deze manier kan complex gedrag op voldoende wijze geëvalueerd
4 worden (International Task Force, 2000). Elk van deze bronnen zal later iets meer in detail behandeld worden. De assessees dit zijn de personen die geëvalueerd worden op hun gedrag tijdens het AC worden op voorhand op de hoogte gesteld van dit programma van het AC (Thornton, 2006). Ten derde is het ook essentieel dat de assessoren voldoende getraind zijn om de complexe assessmentfuncties uit te voeren. De assessoren - dit zijn de getrainde observatoren die het gedrag evalueren - moeten in staat zijn om te observeren en dit te noteren, het gedrag te classificeren in dimensies of competenties, het prestatieniveau te beoordelen, de eigen observaties mee te delen en de informatie afkomstig van andere observatoren te integreren, een evaluatie te maken van het geheel en suggesties te geven voor ontwikkeling in de toekomst (Thornton & Mueller-Hanson, 2004). Ten vierde zal de beoordeelde persoon of assessee, door verschillende beoordelaars of assessoren beoordeeld worden. In het programma is een rotatie van de assessoren verwerkt zodat elke assessee door meerdere assessoren wordt beoordeeld, dit om eventuele vertekeningen te voorkomen (Thornton, 2006). Er is geen algemene bepaling omtrent het aantal assessoren, maar het is uitermate belangrijk dat deze assessoren onafhankelijk van elkaar de prestaties van de assessee beoordelen (Thornton, 2006). Ten slotte is het ook belangrijk dat de observaties op correcte wijze worden geïntegreerd. Na afloop van het programma spenderen de assessoren hun tijd aan het verwerken van de verkregen informatie. Vervolgens worden verschillen in de scores van de assessoren besproken totdat de verschillende assessoren tot een overeenkomst komen over het profiel van iedere assessee (Thornton, 2006). Voor deze integratie bestaan twee methoden: de klinische methode (Dawes, 1979; Sawyer, 1966) en de statistische of mechanische methode (Sawyer, 1966). De klinische methode betreft een onderlinge groepsdiscussie tussen de assessoren, in tegenstelling tot de statistisch methode die inhoudt dat verscheidene deeltjes informatie vooraf gedetermineerde gewichten toegeschreven krijgen en vervolgens gecombineerd worden met gebruik van een formule. Er heerst echter nog een steeds verdergaand debat in de literatuur over welke integratiemethode verkozen dient te worden (Chan, 1996; Jansen & Stoop, 2001; Pynes & Bernardin, 1992). Deze bevindingen worden in de vorm van een rapport gegoten en in de loop van de volgende week wordt dit rapport meegedeeld aan de assessee. Dit
5 rapport is de rode draad van hoe de assessee scoort op de verschillende competenties (Thornton, 2006). Zoals hierboven vermeldt, worden de verschillende elementen van een AC hier verder uitgediept. Intelligentietesten, ook cognitieve vaardigheidstesten genoemd, worden beschouwd als een van de krachtigste voorspellers van toekomstig gedrag en toekomstig functioneren. De voorspellende waarde voor beroepsprestaties zal hoger liggen dan deze van biografische gegevens, het nemen van referenties, het opleidingsniveau of interviews (te Nijenhuis, van Vianen, & van der Flier, 2007). Afname van persoonlijkheidsvragenlijsten is een van die andere technieken. Aan de hand hiervan tracht men kenmerkende karaktertrekken te achterhalen, omdat dit eigenschappen zijn die relatief stabiel blijven. Evenwichtigheid, dominantie en vriendelijkheid zijn enkele voorbeelden van zulke eigenschappen (Kok & De Jongh, 2004). Praktijksimulaties zijn waarschijnlijk het meest kenmerkende aan assessment centers en kunnen gedefinieerd worden als oefeningen of technieken ontworpen om via situationele stimuli gedrag uit te lokken dat gerelateerd is aan de competenties die verband houden met de latere jobprestatie (International Task Force, 2000). De bedoeling is dus om overweg te kunnen met een complexe set van stimuli in een situatie nauw gelijkend op de targetfunctie. Het huidige gedrag is namelijk een goede voorspeller van het toekomstige gedrag en een goede bron van feedback aangezien de assessee zich meer bewust is van zijn gestelde gedrag dan van dieperliggende eigenschappen (Kok & De Jongh, 2004). Dit gedrag kan nagegaan worden via de volgende types van assessmentoefeningen: case (written case analysis), mondelinge presentatie (oral presentation), groepdiscussie (leaderless group discussion), interview, simulatie (simulation or role-play exercises), in-basket of in-box, mondelinge fact finding (oral fact finding), groepstaak (assigned leader group task) en business games. Elk van deze oefeningen heeft in het verleden reeds bewezen waardevol te kunnen zijn (Thornton en Byham, 1982; Thornton & Mueller-Hanson, 2004). In deze praktijksimulaties moet de assessee het complexe gedrag dat vereist is voor de target job openlijk vertonen. Dit openlijk gedrag onderscheidt zich van het covert gedrag, zoals
6 bevraagd wordt met Likertschalen of meerkeuze, door middel van zijn interactief karakter. Belangrijk bij deze openlijke vertoning van gedrag is dat de afwezigheid van dergelijk complex gedrag even belangrijk of zelfs belangrijker kan zijn dan het vertonen ervan ( Kok & De Jongh, 2004; Thornton, 2006). In het huidig onderzoek werd gekozen voor een simulatie van een werkgesprek en een presentatie. Verdere uitwerking van deze simulaties zal later aan bod komen. Het interview is ook een techniek die standaard gebruikt wordt in een assessment center. De beroepsmatige interviewer zal voornamelijk letten op persoonlijkheidskenmerken en competenties zodat deze later aan de hand van zijn notities gelinkt kunnen worden aan de testresultaten om de congruentie tussen beiden na te gaan ( Kok & De Jongh, 2004). Een voorbeeld van het algemene verloop van een AC wordt weergegeven door Thornton (2006, Fig. 1.1), en kan in bijlage 1 teruggevonden worden. Soorten Assessment Centers De functies die ondergebracht kunnen worden onder de noemer Human Resources (HR) zijn gevarieerd (rekrutering, selectie, plaatsing, training & ontwikkeling, prestatiebeoordeling, organisatieontwikkeling, HRplanning, promotie & overplaatsing, ontslag (Thornton, 2006)). In elk van deze toepassingen kan het AC van toepassing zijn. Dit wil echter niet zeggen dat alle ACs hetzelfde zijn en dat er maar een manier is om een AC uit te voeren. Het is cruciaal dat de kenmerken van het AC overeenstemmen met het doel ervan (Thornton, 2006). Door dit doel, waarnaar in het voorgaande al meermaals gerefereerd werd, kan het AC globaal genomen onderverdeeld worden in drie soorten: selectie, diagnose en ontwikkeling. AC voor selectie Dit wordt voornamelijk gebruikt indien het doel het achterhalen van de kans is dat de persoon succesvol zal functioneren in de beschikbare functie (Kok & De Jongh, 2004). Thornton (2006) maakt voor de drie soorten ACs (selectie, diagnose en ontwikkeling) een onderscheid naargelang de gebruikte principes. Bij het AC voor selectie primeert het principe van de voorspelling. Om een goede voorspelling te kunnen maken is een goede standaardisatie, betrouwbaarheid en
7 validiteit vereist (Howard, 1997; Schmidt & Hunter, 1998). Standaardisatie omvat de uniformiteit van de evaluatieprocedure. Het is dan ook essentieel dat elke assessee dezelfde instructies, vragen, regels, tijdslimieten en kansen krijgt (Thornton, 2006). De focus van dit onderzoek zal liggen op deze standaardisatie en daarom zal dit type AC ook het belangrijkste zijn in het kader van deze studie. Betrouwbaarheid refereert naar de consistentie van de scores van twee metingen van equivalente gedragingen of van twee metingen op verschillende tijdstippen, alsook naar de overeenkomst van de scores tussen assessoren (Thornton, 2006). Een test is dus pas betrouwbaar indien we een gelijkaardige score krijgen onafhankelijk van vorm, tijd en beoordelaar. De validiteit op zijn beurt refereert dan weer naar de mogelijkheid van de test om zijn doelen en objectieven te bereiken (Thornton, 2006). Dit hangt dus nauw samen met de jobanalyse die hierboven reeds besproken werd. Diagnostisch AC Dit ACkrijgt door Thornton (2006) het principe van de differentiële diagnose toegeschreven. Een kort voorbeeld ter uitleg: indien dimensies zoals communicatie en leiderschap nauw zouden samenhangen in de metingen, dan zal iemand die communicatief sterk is ook hoog scoren op leiderschap, maar dit geeft ons weinig diagnostische informatie. Daarom zou het beter zijn dat beide dimensies niet gerelateerd zijn zodat een groter inzicht verworven kan worden in het niveau van functioneren van de assessee voor beide dimensies afzonderlijk. AC ter ontwikkeling Dergelijk AC wordt ook wel het development center genoemd. Hier wordt een sterkte-zwakte analyse gemaakt. Dit wil zeggen dat de vraag omtrent geschiktheid van de persoon voor de functie verschoven is naar de vraag op welke punten de persoon zeer sterk is en op welke punten hij zich nog moet bijschaven. De vraag is nu dus hoe deze persoon zich verder moet ontwikkelen (Thornton, 2006). Ook voor dit type van AC heeft Thornton een principe, namelijk het principe van relevante training (Thornton, 2006). Hier ligt de nadruk vooral op de verandering in het gedrag en dit heeft zijn impact op het design van het AC, zoals de selectie van dimensies, uitvoering van de oefeningen en de manier van feedback.
8 Psychometrische kenmerken Face-validiteit Ten aanzien van andere testen zoals pen-en-papier testen blijkt het AC een grote face-validiteit te bezitten (Fletcher & Kerslake, 1992; Thornton, 2006). Via het AC bestaat de mogelijkheid om complexe attributen op een adequate manier te gaan meten op een manier die door de assessees als fair aanzien wordt en dus met een positieve attitude onthaald wordt (Fletcher & Kerslake, 1992; Thornton, 1992, 2006). Inhoudsvaliditeit Dit wordt omschreven als de relatie tussen de inhoud van de test en het te meten construct. Bronnen van inhoudsvaliditeit zijn een goede jobanalyse, goede training van de assessoren, de vorm en uniformiteit van de instructies, de antwoordmogelijkheden en het scoringssysteem (Sackett, 1987). Criteriumvaliditeit Volgens Howard (1997) is deze vrij solide, het AC blijkt een goede voorspeller te zijn. In hun meta-analyse omtrent AC criteriumvaliditeit rapporteerden Gaugler, Rosenthal, Thornton, & Bentson (1987) een validiteitcoëfficiënt van.37. Schmidt & Hunter (1998, Table 2) concluderen dat het AC met.37 een tiende plaats inneemt uit de negentien voorspellers (gemiddelde validiteit van de voorspellers =.33, SD =.16, max =.54, min =.01) (bijlage 2). Constructvaliditeit Constructvaliditeit wordt ook omschreven als de studie van de relatie van de meting met andere metingen van dezelfde en verschillende constructen. Dit zorgt voor de grootste problemen in verband met de validiteit van het AC (Bycio, Alvares & Hahn, 1987; Sackett & Dreher, 1982; Schneider & Schmitt, 1992). Gelijkaardige constructen zouden gerelateerd moeten zijn en niet gelijkaardige niet gerelateerd. Onderzoek toont aan dat er meer gelijkenissen bestaan onder dimensies gescoord binnen één oefening, dan onder diezelfde dimensies gescoord over de oefeningen heen (Henderson, Anderson, & Rick, 1995; Joyce, Thayer, & Pond, 1994; Schneider & Schmitt, 1992). Deze bevindingen suggereren dat oefeningen en niet dimensies meer gewicht in de schaal leggen. De data tonen vaak convergente validiteit (dimensies correleren wel over oefeningen), al is dit maar in beperkte mate. Het
9 probleem is eerder gelegen bij de discriminante validiteit (dimensies correleren hoger met andere dimensies binnen dezelfde oefening). De verschillende oefeningen zijn echter wel nodig, niet alleen om het AC van multiple input te voorzien, maar ook om het domein van de jobinhoud accuraat te kunnen testen. Eén zo een simulatie houdt vaak verscheidene gelijkaardige dimensies in die behoren tot hetzelfde domein, en zal dus een impact hebben op de discriminante validiteit (Howard, 1997). Vaak is het ook zo dat er een echt effect bestaat van de oefening, zodat vaardigheden van de assessee overlappen met de oefening (Lance, Newbolt, Gatewood, Foster, French, & Smith, 2000; Lievens, 2001; Lievens, Chasteen, Day, & Christiansen, 2006). Het type oefening kan dus effect hebben, los van de vaardigheden van de assessee, zo zullen sommigen dus bijvoorbeeld simpelweg beter scoren in een eentegen-een oefeningen dan in groepsdiscussies. Ondanks dit echt effect is het design van het AC en de manier waarop het geïmplementeerd wordt een belangrijke oorzaak van de variëteit in de psychometrische kenmerken van het AC (Woehr & Arthur, 2003). Enkele aanpassingen van het design zijn reeds uitgeprobeerd en zijn ook succesvol gebleken. Zo zal een daling van het aantal dimensies en de verhouding assessee-assessor een stijging van de convergente en een daling van de discriminante validiteit bewerkstelligen (Lievens & Conway, 2001; Woehr & Arthur, 2003). Een andere impactfactor kan het type van scoringsaanpak zijn. Recent onderzoek toont aan dat de across-exercise aanpak (evaluatie gebeurt na alle oefeningen), in tegenstelling tot de within-exercise aanpak (assessees worden beoordeeld op elke dimensie na elke oefening), een gunstiger effect zou hebben voor de impact op de convergente en discriminante validiteit (Robbie, Adams, Osburn, Morris, & Etchegaray, 2000; Woehr & Arthur, 2003). Daarnaast zal ook het type assessor (psycholoog, manager of leek) een invloed hebben op de constructgerelateerde validiteit van AC scores (Lievens, 2002; Lievens & Conway, 2001; Woehr & Arthur, 2003). Dit is ook het geval voor de aanwezigheid van training van de assessor (Woehr & Arthur, 2003; Woehr & Huffcutt, 1994). Er zijn echter ook studies waarin deze interventies minder succesvol bleken te zijn (Lance et al., 2000; Lievens, 2001, 2002). De trekactivatietheorie kan een nieuwe invalshoek zijn om dit probleem van de constructvaliditeit te benaderen (Lievens et al, 2006), dit wordt in het volgende deel verder toegelicht.
10 Trekactivatietheorie Een interactionistische visie De trekactivatietheorie (TAT) is een recente theorie die focust op de interactie tussen persoon en situatie. Zo tracht zij een verklaring te bieden voor het gedrag aan de basis van reacties in situaties met trekrelevante cues. De uiting van een persoonlijkheidstrek vereist een activering door situationele cues relevant voor die trek. Deze activering zal afhangen van drie variabelen: de trekrelevantie, de sterkte van de situatie en de persoonlijkheid van de persoon. Trekrelevantie en situatiesterkte representeren de twee kenmerken van situaties voor het concept trekactivatiepotentieel (trait activation potential, TAP; Tett & Burnett, 2003). Tett en Burnett (2003) maken gebruik van de analogie met een radio om de twee concepten te onderscheiden, waarin de trekrelevantie fungeert als het kanaal waarop de radio staat en de sterkte als het volume. Trekrelevantie is eerder het kwalitatieve luik van de situatie. Het geeft informatie over welke cues aanwezig zijn om het gedrag van een latente trek uit te lokken. De trekken die het meest beschouwd worden zijn deze van het vijf factorenmodel (VFM; Openness to experience, Concentiousness, Extraversion, Agreeableness, Neuroticism), omdat zij bestaan uit duidelijke gedragsdomeinen en de categorieën weergeven waarin individuen sociaal gedrag classificeren (Lievens, De Fruyt, & Van Dam, 2001). Een situatie wordt als relevant gezien voor een trek indien het cues voorziet voor de uitdrukking van gedrag relevant voor die trek (Tett & Guterman, 2000). Dit idee vindt zijn oorsprong in de notie van situational press (Murray, 1938). Een voorbeeld ter verduidelijking: indien men bijvoorbeeld agressief gedrag wenst na te gaan kan dit beter gebeuren bij een betoging dan bij een kerkdienst. Bij de laatste situatie zullen er weinig cues aanwezig zijn die dit agressieve gedrag kunnen uitlokken waardoor de situatie niet relevant is. De sterkte van de situatie is dan eerder het kwantitatieve luik, een continuüm dat refereert naar de duidelijkheid omtrent de interpretatie van de situatie. Het belang van de sterkte van de situatie kan niet onderschat worden. Een sterke situatie betreft een
11 duidelijke vraag om gedrag met een duidelijk resultaat. Opnieuw een voorbeeld ter verduidelijking: de vraag naar agressief gedrag is veel minder sterk in een vredesmars dan bij een betoging tegen het huidige bewind dat men wil omver gooien. Belangrijk om op te merken is dat de situatie soms te sterk kan zijn. Te sterke situaties lokken verhoogde responsen uit bij iedereen en maskeren daarom de onderliggende trekken. Zo zullen in het heetst van de strijd de verschillen tussen soldaten in hun agressieve predisposities niet detecteerbaar zijn (Mischel, 1973). Als laatste variabele is er de persoonlijkheid van de persoon. Zo zullen bepaalde mensen steeds hoger of lager scoren op bepaalde persoonlijkheidstrekken. Ter verduidelijking opnieuw het voorbeeld over agressief gedrag. Agressief gedrag wordt pas verwacht als reactie op agressie-uitlokkende stimuli, maar individuen met hoge agressiescores zullen wel sneller een verhoogde respons of grotere sensitiviteit vertonen op zwakkere cues (Tett & Guterman, 2000). Een verwant construct betreft de competency demand hypothesis (Mischel & Shoda, 1995), waarbij onderzoek heeft aangetoond dat individuele verschillen op de voorgrond komen wanneer situaties gedrag met een bepaalde mate van vermogen, vaardigheid of persoonlijkheidstrek vereisen. Trekactivatietheorie en het assessment center Oefeningen van een AC zijn ontworpen om een breed scala van gedragingen te kunnen observeren doorheen die oefeningen en te kunnen differentiëren in de prestaties van de assessees (Lievens et al., 2006). Deze observeerbare reacties vormen de basis voor de scores op dimensies gebruikt in ACs (Tett & Burnett, 2003). Daarom zullen deze oefeningen met het oog op de verscheidene VFM-trekken noodzakelijk verschillen in de gepresenteerde cues. Zij zullen ook verschillen naargelang TAP. De kans om verschillen in trekgerelateerd gedrag te observeren is afhankelijk van zowel de relevantie als de sterkte van de situatie en staat dus in verband met de convergente en discriminante validiteit van de scores op dimensies (Lievens et al., 2006). De TAT is relevant in verband met de convergente validiteit. Crosssituationeel gedrag zal enkel consistent overkomen indien het gedrag gerelateerd aan dezelfde
12 persoonlijkheidstrek geobserveerd kan worden in elke situatie. Sterker nog dan dat, het geobserveerde gedrag hoeft niet identiek te zijn, zolang het maar gerelateerd is aan dezelfde persoonlijkheidstrek (Lievens et al., 2006). Onderzoek van Haaland en Christiansen (2002) bevestigt de belangrijke rol van TAP voor de convergente validiteit. Onderzoek van Funder en Sneed (1993) toont aan dat cues gerelateerd aan sommige trekken makkelijker geobserveerd worden en vaker effectiever gebruikt worden, wat resulteert in accuratere oordelen van het gedrag. Lievens et al. (2006) suggereren en tonen aan dat het effect van TAP op de convergente validiteit van ACs afhankelijk is van hoe gemakkelijk de trekrelevante gedragscues geobserveerd en gebruikt kunnen worden. In verband met de discriminante validiteit tonen Lievens et al. (2006) aan dat deze beter zal zijn voor dimensies die geen uiting zijn van dezelfde onderliggende trekken dan voor trekken waarvoor dit wel het geval is. Voorgaand onderzoek hieromtrent correleerde alle dimensies binnen een oefening om een index van discrimante validiteit te bekomen, maar dergelijke aanpak negeert dat deze dimensies conceptueel gerelateerd kunnen zijn aan een onderliggende trek (Lievens et al., 2006). Weliswaar mag niet vergeten worden dat trekactivatie slechts een onderdeel is in het begrijpen van de AC constructvaliditeitspuzzel. De TAT behandelt dan wel de variabiliteit in gedrag over de oefeningen heen, maar het belang van het design van het AC en de implementatie ervan mogen dus ook niet vergeten worden. Observatie en evaluatie Behavioral checklists (gedragsmatige checklist) is een van de methodes die vaak gebruikt wordt om de observeerbaarheid en accuraatheid te verhogen. Het is een lijst voor elke oefening waarin voor elke dimensie de relevante observeerbare gedragingen opgesomd zijn. Hierdoor hoeven assessoren niet meer te bepalen of het vertoonde gedrag relevant is voor een van de vereiste dimensies. Door deze reductie van de cognitief complexe taak van de assessor zal de observeerbaarheid van het gedrag toenemen (Lievens, 1998). Mede om deze reden zou het gebruik van deze checklists een gunstig effect hebben op de constructvaliditeit, alhoewel de resultaten hieromtrent niet
13 eenduidig zijn (Donahue, Truxillo, Cornwell, & Gerrity, 1997; Reilly, Henry, & Smither, 1990). Training is een andere methode die gebruikt kan worden voor het verbeteren van de observeerbaarheid. Woehr en Hufcutt (1994) onderscheiden vier soorten training voor assessoren. De eerste training dient om halo-effecten te reduceren. Via de tweede training worden de assessors aangeleerd hoe te observeren, om vervolgens in de derde training prestatiedimensies te leren onderscheiden. Een laatste soort training is de referentiekadertraining (frame-of reference-training). Deze training bouwt verder op de derde training door het implementeren van dezelfde standaard voor evaluaties voor dimensies als bij prestaties (Lievens, 1998). Training kan ook toegepast worden voor de rollenspelers die vaak gebruikt worden in het AC. Het nut van deze rollenspelers is dat zij het dimensiegerelateerd gedrag dienen uit te lokken en de onbedoelde variantie in de oefeningen te beperken. Indien zij hierin goed getraind zijn, wordt het relevante gedrag makkelijker observeerbaar (Lievens, 1998). Uit het onderzoek van Lievens en Van Keer (1999) blijkt ook dat indien de oefeningen meer gestructureerd zijn, het gedrag duidelijker observeerbaar is. Dit onderzoek tracht om in de rollenspelen van het AC meer structuur te brengen door middel van het gedrag van de rollenspelers te standaardiseren. Prompts kunnen een invulling van deze standaardisatie verwezenlijken en zullen verder worden toegelicht in het desbetreffende deel. Prompt Zoals reeds eerder vermeld, zal de focus van dit onderzoek voornamelijk liggen op het rollenspel van een AC. Het doel van dergelijk rollenspel is om de assessee zoveel mogelijk de kans te geven om zijn vaardigheden te tonen. Het gedrag dat de rollenspeler vertoont, moet dus gezien worden als een presenteerblaadje of voorzet waarop de assessee kan inspelen (Kok & De Jongh, 2004). Deze presenteerblaadjes zullen hier verder prompts genoemd worden. In deze studie wordt geopteerd om volgende definitie
14 hiervoor te hanteren: prompts zijn gepredetermineerde verbale en non-verbale handelingen die door rollenspelers over alle kandidaten consistent gehanteerd worden, met als doel competentiegerelateerd gedrag uit te lokken. Prompts zijn als het ware lege vormen in die zin dat zij geen inhoudelijke betekenis geven, waardoor zij zich onderscheiden van bijvoorbeeld hints. De invulling van een prompt wordt beïnvloed door verschillende factoren: het te bespreken probleem, het karakter van de door de rollenspeler te spelen persoon, het gedrag van de kandidaat, de criteria waarop de assessee beoordeeld wordt enzovoort. De persoonlijke stijl van de assessee heeft een sterke invloed op de prompts die naar voor komen tijdens het gesprek. De reacties van de assessee beïnvloeden namelijk de reacties van de rollenspeler. Voor elke competentie worden een bepaald aantal voorzetten gegeven, telkens verschillend in de graad van moeilijkheid. Als de assessee hier niet op reageert, zal de rollenspeler hierop steeds duidelijkere gedragingen vertonen, maar op een bepaald moment zijn er voldoende prompts gegeven waarop de assessee had kunnen reageren en wordt er overgestapt naar een heel ander soort gedrag om een andere dimensie te meten (Kok & De Jongh, 2004). Indien simulatieoefeningen, zoals het rollenspel, moeten fungeren als gestandaardiseerde metingen van capaciteiten van de assessee, dan mogen de oefeningen de assessees niet veel keuze laten over het wel of niet handelen. Door middel van duidelijke instructies kan zo motivatie geëlimineerd worden als verklaring voor het gedrag en kan onderscheid in verband met de capaciteit dan gemaakt worden (Thornton, 2006). Om die reden zal dit onderzoek het effect nagaan van de standaardisatie van prompts op de observaties van de assessoren. Dit leidt tot de eerste onderzoeksvraag van deze studie: Onderzoeksvraag 1: Is er een verschil in de observeerbaarheid van dimensiegerelateerd gedrag indien gebruik gemaakt wordt van gestandaardiseerde prompts?
15 Zoals reeds eerder aangehaald zal de huidige studie gebruik maken van twee simulatieoefeningen, een werkgesprek en een presentatie, hierdoor kunnen we deze onderzoeksvraag opsplitsen: Hypothese 1a: Bij het werkgesprek zal er significant meer dimensiegerelateerd gedrag geobserveerd worden met het gebruik van gestandaardiseerde prompts dan zonder gestandaardiseerde prompts. Hypothese 1b: Bij de presentatie zal er significant meer dimensiegerelateerd gedrag geobserveerd worden met het gebruik van gestandaardiseerde prompts dan zonder gestandaardiseerde prompts. Deze standaardisatie zou ook een gunstig effect kunnen hebben op de convergente validiteit van het AC, aangezien het effect van TAP op de convergente validiteit hierdoor niet langer afhankelijk zal zijn van hoe gemakkelijk de cues gebruikt of geobserveerd kunnen worden. Tot vandaag werd de TAT dan ook enkel gebruikt als descriptief raamwerk voor het bestuderen van ACs en hun gebrekkige constructvaliditeit, maar door de TAT te gebruiken om gestandaardiseerde prompts te ontwikkelen die bepaalde trekken kunnen uitlokken bij de oefeningen, wordt de stap gezet naar de TAT als prescriptief raamwerk. Hierdoor zal er meer inzicht verworven worden in de oefeninggerelateerde factoren van de constructvaliditeit bij ACs, wat momenteel nog een lacune is. Transparantie Met transparantie wordt bedoeld de mate waarin het voor de assessee duidelijk is welke competenties worden nagegaan in het AC. Het gebrek aan transparantie in ACs kan zich op twee manieren uiten: assessees weten de competenties niet of ze weten niet welk gedrag relevant is voor elk van deze competenties (Kleinmann, 1993). Het construct demand characteristics dat Orne (1962) heeft ontwikkeld, past in dit kader. Hij bedoelt hiermee dat de prestatie van een proefpersoon in een experiment geconceptualiseerd kan worden als een probleemoplossend gedrag. Waarbij de
16 proefpersonen trachten te achterhalen wat het doel van het experiment is. Eenmaal er een hypothese gevormd is, zal deze determinerend zijn voor het verdere gedrag van de proefpersoon. Mogelijke bronnen van deze demand charecteristics betreffende het gewenste gedrag in ACs zijn: eerdere ervaring met ACs, het oefeningmateriaal, het gedrag van de observatoren en andere deelnemers, enzovoort. Ervan uitgaande dat mensen meestal trachten controle te verwerven over hoe anderen hen waarnemen in sociale interacties (Hogan, Hogan, & Roberts, 1996), kan aangenomen worden dat assessees trachten om de best mogelijke evaluatie te krijgen. Vervolgens wordt er dan verondersteld dat niet enkel de mogelijkheden en vaardigheden van de kandidaat, maar ook een adequate perceptie van de situatie (bvb. het correct herkennen van de dimensies) een grote impact kan hebben op de prestatie van de assessee (Kleinmann, 1993). Verder onderzoek toonde daarnaast aan dat deelnemers inderdaad verschillen in de mogelijkheid om dimensies te herkennen in individuele oefeningen en dat dit inderdaad verbonden is met de prestatie op het AC (Kleinmann, 1993; König, Melchers, Kleinmann, Richter, & Klehe, 2007). De mogelijkheid om dimensies te herkennen verschilt weliswaar naargelang beoordelingswijze. Zo zal het gemakkelijker zijn om te achterhalen wat men wil meten met een cognitieve vaardigheidstest dan wat men wil meten met een AC. Het gebruik van gestandaardiseerde prompts zorgt er mogelijks voor dat de dimensies gemakkelijker te achterhalen zijn in een AC omdat steeds cues in de richting van de dimensies gebruikt worden. Hieruit volgt dan de tweede hypothese van dit onderzoek. Onderzoeksvraag 2: Is er een verschil in transparantie van de competenties indien er gebruik gemaakt wordt van gestandaardiseerde prompts? Zoals reeds eerder aangehaald zal de huidige studie gebruik maken van twee simulatieoefeningen, een werkgesprek en een presentatie, hierdoor kunnen we deze onderzoeksvraag opsplitsen:
17 Hypothese 2a: De transparantie van competenties waarnaar gepeild wordt zal bij het werkgesprek significant groter zijn met het gebruik van gestandaardiseerde prompts dan zonder. Hypothese 2b: De transparantie van competenties waarnaar gepeild wordt zal bij de presentatie significant groter zijn met het gebruik van gestandaardiseerde prompts dan zonder. Daarnaast kan via de transparantie van de dimensies ook de link gelegd kan worden naar convergente en discriminante validiteit. Kleinmann (1993) wist namelijk ook aan te tonen dat de prestatiescores gelijkaardiger waren bij dezelfde dimensie in twee verschillende oefeningen, indien de dimensie telkens wel of niet herkend werd, dan indien deze enkel in een van de oefeningen herkend werd.
18 METHODE Voorstudie De dimensies die gehanteerd werden in deze studie resulteerden uit een voorstudie die bestond uit drie fasen. Eerste fase Procedure In de eerste fase werd aan ervaren assessoren gevraagd om voor zeven competenties minstens drie concrete uitspraken en/of gedragingen en handelingen op te geven, die zij zelf als rollenspeler gebruiken. Dit werd bevraagd aan de hand van vragenlijsten. De zeven competenties werden gehaald uit de meta-analyse van Arthur et al. (2003). Deze zeven dimensies zijn communicatie/mondeling communiceren, gedefinieerd als de mate waarin een individu mondeling en schriftelijk informatie overbrengt en reageert op vragen en uitdagingen; interpersoonlijke sensitiviteit/empathisch handelen, gedefinieerd als de mate waarin een individu s handelingen rekening houden met de gevoelens en behoefte van anderen, alsook het besef van de impact en implicaties van beslissingen relevant voor andere componenten zowel binnen als buiten de organisatie; doorzettingsvermogen, gedefinieerd als de mate waarin een individu een hoog activiteitsniveau aanzet of aanhoudt, hoge doelen vooropstelt, prestaties volhoudt en het verlangen om hogere posities te bekleden uitdrukt; anderen beïnvloeden/sturen, gedefinieerd als de mate waarin een individu anderen overhaalt om iets te doen of een standpunt over te nemen om zo tot een gewenst resultaat te komen alsook handelingen stellen waarin de dominante invloed van de eigen overtuigingen de invloed van anderen overschaduwt; plannen en organiseren, gedefinieerd als de mate waarin een individu systematisch zijn/haar werk en middelen regelt alsook dat van anderen voor een efficiënte taakverwezenlijking en de mate waarin een individu de toekomstig anticipeert en zich erop voorbereid; probleemanlyse en oplossing, gedefinieerd als de mate waarin een individu informatie verzamelt, relevante technische en professionele informatie begrijpt, effectief data en informatie analyseert, valabele mogelijkheden,
19 ideeën en oplossingen genereert, verdedigbare plannen van actie voor problemen en situaties selecteert, beschikbare middelen op nieuwe manieren gebruikt en verbeeldingrijke oplossingen genereert en herkent; stresstolerantie/omgaan met stress, gedefinieerd als de mate waarin een individu effectiviteit behoudt in verschillende situaties onder gevarieerde mate druk, weerstand en teleurstelling. Steekproef Er werden 30 vragenlijsten verspreid, waarvan er zeven terugkwamen. Dit is een responsratio van 23,3%.De gemiddelde leeftijd was 38,6 jaar (SD = 7.87; Min = 26, max = 49). 57% van de respondenten waren mannen. De gemiddelde selectie-ervaring van de respondenten was 13,3 jaar (M = 13.3, SD = 8.80) en het gemiddeld aantal jaren ervaring als assessor was 10.19 jaar (SD = 6.12; Min = 1.3, Max = 17.30). Alle respondenten van fase 1 kwamen uit hetzelfde bedrijf. Tweede Fase Procedure In de tweede fase werden deze concrete uitspraken/handelingen/gedragingen onderworpen aan een hervertaling, zodat een reeks zuivere platforms zou verkregen worden. Voor dat deze hervertaling kon gebeuren, moesten de zeven oorspronkelijke competenties herbekeken worden, zodat eventuele dubbele platforms konden verwijderd worden en enkel de breedst toepasbare platforms overgehouden werden. Uiteindelijk werden deze zeven herleid naar slechts vier, gebaseerd op Arthur, Day, McNelly, & Edens (2003). Enkel de platforms van deze vier competenties werden voorgelegd voor hervertaling. Deze hervertaling gebeurde door twee groepen: niet-ervaren assessoren en ervaren assessoren. Steekproef 8 vragenlijsten werden verstuurd naar willekeurig geselecteerde niet-ervaren assessoren. 62% van deze groep is mannelijk en heeft een gemiddelde leeftijd van 27,12 jaar (SD = 2.17; Min = 24, Max = 30). 30 vragenlijsten werden verstuurd naar de ervaren assessoren. Hiervan werden er 12 terugbezorgd. Twee van deze twaalf hadden de vragenlijst ook tijdens de eerste fase ingevuld. 42% hiervan was mannelijk en het gemiddeld aantal jaren selectie-ervaring bedroeg 5,71 jaar (SD = 7.35; Min = 0.6, Max = 24).
20 Derde fase In de derde en laatste fase werden enkel de zuivere platforms overgehouden. Wanneer onafhankelijke beoordelaars een platform voornamelijk aan één competentie linken, wordt aangenomen dat dit platform competentiezuiver is. Wanneer 70% van de beoordelaars een platform linkt aan één competentie, kan men er van uit gaan dat het een competentiezuiver platform is. Een lijst met de platforms en de bijkomende percentages zit in bijlage 3. Steekproef De data voor deze studie werd verzameld via een AC georganiseerd door de Faculteit Bedrijfspsychologie en Personeelsbeleid van de Universiteit Gent. De 236 deelnemers, 131 vrouwen en 105 mannen, zijn allen laatstejaarsstudenten van verschillende afstudeerrichtingen van de Associatie Universiteit Gent. Via de website van Universiteit Gent, posters, flyers en een mailing werden zij op de hoogte gebracht van dit AC, dat breder gekaderd werd in een sollicitatietraining. Zij konden hieraan op vrijwillige basis deelnemen en kregen in ruil een sollicitatietraining en feedback hierover. De deelnemers werden ad random toegewezen aan de condities, elk van de condities bevatte zodus 118 assessees.
21 Procedure Opzet Deze sollicitatietraining vond plaats tussen juni 2007 en februari 2008, duurde ongeveer zes uur per sessie, die bestond uit: een verwelkoming en een korte uitleg over het verloop van de dag, het invullen van een CV en enkele vragenlijsten en twee assessment center oefeningen. Ter volledigheid worden de vragenlijsten hier kort besproken, deze werden gebruikt om een volledige sollicitatietraining aan te bieden en voor het geven van feedback. In deze studie waren zij minder van belang dan de oefeningen die wel gebruikt werden in dit onderzoek. De vragenlijsten bestonden uit een vragenlijst omtrent persoonlijkheid (IPIP), cognitieve vaardigheid (Drenth Testserie Hoger Niveau (NAT, VAT, TNVA)), emotionele intelligentie (WLEIS), sociaal inzicht in persoonlijke beïnvloeding (Political Skill Inventory) en testmotivatie. Deze zelfbeoordelingen werden aangevuld met beoordelingen door peers en beoordelingen door assessoren aan de hand van twee oefeningen. De twee assessment center oefeningen bestonden uit een werkgesprek tussen een medewerker en zijn chef en een presentatieoefening. Deze inhoud van de oefeningen zullen meer in detail besproken worden in een volgend deel. Om de observeerbaarheid van de dimensies in de oefeningen na te gaan werd er geturfd telkens een gedrag geobserveerd werd. Na elke oefening werd dan aan de kandidaten ook gevraagd om een vragenlijst in te vullen die peilt naar de procedurele rechtvaardigheid (Selection Procedural Justice Scale). Deze vragenlijst peilt naar informationele, structurele en interactionele rechtvaardigheid en werd in bijlage toegevoegd (bijlage 4). Op het einde van deze vragenlijst werd gevraagd om vier competenties uit een totaal van zeven te kiezen, waarvan de assessee dacht dat deze werden nagegaan in de praktijksimulaties. Deze output werd gebruikt om de transparantie na te gaan. Na afloop ontvingen de assessees per mail een feedbackrapport, een boekje met uitleg en sollicitatietips en de mogelijkheid tot cvscreening. Het gehele assessment center vond plaats in de faculteit Psychologische en Pedagogische Wetenschappen aan de Universiteit Gent. De rollenspelen vonden plaats in een skillslab met twee one-way-mirrors. In het skillslab bevonden zich ook steeds 3
22 camera s die de rollenspelen van verschillende hoeken vastlegden op film. De kandidaten tekenden een formulier waarin ze verklaarden akkoord te gaan met het filmen van hun prestaties. (bijlage 5) Dimensies Tijdens de rollenspelen werden vier competenties gemeten: planning en organisatie, probleemanalyse en oplossing, interpersoonlijke sensitiviteit en omgaan met stress. Deze competenties werden gedefinieerd op dezelfde wijze zoals dit gebeurde door Arthur et al. (2003), zoals reeds eerder besproken in de voorstudie. Rollenspelers Er waren voor dit onderzoek 19 rollenspelers actief, onder de rollenspelers waren 8 mannen en 11 vrouwen, de gemiddelde leeftijd was 22 jaar. De rollenspelers werden vervolgens ad random toegewezen aan twee condities; zonder prompts of met prompts. Tien rollenspelers behoorden tot de conditie met prompts de negen overige belandden in de andere conditie. Tabel 1 geeft een overzicht van de verdeling van de rollenspelers over de verschillende condities. Elke rollenspeler kreeg een training. Deze training verliep over een halve dag, voor beide condities. Tijdens de training werden beide oefeningen aan de rollenspelers uitgelegd en werd hen daarna de inhoud van hun rol aangeleerd. In de conditie zonder prompts kregen rollenspelers een standaard training, vergelijkbaar met een training voor rollenspeler zoals die in de praktijk wordt gegeven. In deze training wordt een eerder passieve houding aangeraden, en enkele algemene richtlijnen worden meegegeven. De training in de conditie met prompts, bestond eveneens uit de uitleg van de twee oefeningen en de inhoud van de rol. Daarna kregen de rollenspelers echter heel specifieke cues aangeleerd, met als opdracht om competentiegerelateerd gedrag uit te lokken. Trainingen werden gegeven door een expert uit de praktijk, met het diploma bedrijfspsychologie en personeelsbeleid. Voor beide condities werd dezelfde trainer gebruikt, om persoonseffecten uit te sluiten.