De Relatie van Algemene en Specifieke Kennis met SJTs

Transcriptie

1 De Relatie van Algemene en Specifieke Kennis met SJTs Een Studie naar Antecedenten van Taak- en Contextuele Prestatie Helena Vancampenhout Studentennummer: Promotor: Prof. dr. Eva Derous Masterproef II voorgelegd voor het behalen van de graad Master of Science in de Psychologie, afstudeerrichting Bedrijfspsychologie en Personeelsbeleid Academiejaar: Aantal woorden:

2 Abstract Dit onderzoek toetst enkele fundamentele assumpties uit de theorie van Motowidlo et al. (2006a, 2006b, 2010), namelijk de relatie tussen de verschillende kennisconstructen gemeten met een Situationele Beoordelingstest (SJT) en de antecedenten persoonlijkheid en algemene intelligentie. Daarnaast werd ook onderzocht of algemene en specifieke ervaringen andere mogelijke antecedenten vormen voor de ontwikkeling van deze kennisconstructen. De SJT meet academische vaardigheden en via een kwantitatieve internetenquête participeerden 89 universiteitsstudenten. De onderliggende kennisconstructie van specifieke kennis en algemene kennis ofwel Implicit Trait Policies (ITPs) werd bevestigd. ITPs blijken significant gecorreleerd met persoonlijkheid en algemene intelligentie, ITPs bleken ook als mediator op te treden tussen enerzijds de relatie persoonlijkheid met SJT-prestatie en anderzijds de relatie algemene intelligentie met SJT-prestatie. Verder correleerde SJT-prestatie significant met de antecedent specifieke ervaring maar niet significant met algemene ervaring. Novices behaalden een even hoge score op de SJT als ervaren studenten en deden meer beroep op algemene kennis (ITPs) dan op specifieke kennis voor het beantwoorden van de SJT-items. Iemand met weinig ervaring zal zich baseren op dispositionele factoren (oordelen over gedragseffectiviteit reflecteren de eigen persoonlijkheid) terwijl iemand met meer specifieke ervaring zich zal beroepen op alle relevante opgedane ervaring door een leereffect (zowel specifieke als algemene ervaring). Interessant voor toekomstig onderzoek is het verder bestuderen van antecedenten van algemene kennis en specifieke kennis met een SJT die een duidelijker onderscheid kan maken tussen beide. Keywords: situationele beoordelingstest, implicit trait policies, jobkennis, werkervaring

3 Inhoudstafel Abstract Inleiding 1 Probleemstelling 2 Literatuuroverzicht 5 Persoonlijkheid Algemene intelligentie De invloed van algemene ervaring op een SJT De invloed van specifieke ervaring op een SJT Novices en experts Methode 22 Steekproef Opzet Materiaal Procedure Resultaten 33 Analyses Hypothesetoetsing Bijkomende analyses Bespreking 47 Bespreking van hypothesetoetsing Theoretische implicaties Praktische implicaties Beperkingen en toekomstig onderzoek Conclusie 61 Referenties 62

4

5 Situationele Beoordelingstests of SJTs zijn populaire selectietesten geworden sinds Motowidlo, Dunnette, en Carter (1990) ze reïntroduceerden in de literatuur (Campion, Ployhart, & MacKenzie, 2014). SJTs zijn gecontextualiseerde en jobgerelateerde meetmethodes die meestal interpersoonlijke vaardigheden meten en jobprestatie voorspellen (e.g. McDaniel, Morgeson, Finnegan, Campion, & Braverman, 2001). Er zijn verschillende antwoordvormen mogelijk, bij de klassieke vorm bijvoorbeeld worden jobgerelateerde situaties gepresenteerd aan de participant en die moet vervolgens uit een meerkeuze aanbod het effectiefste antwoord proberen aan te duiden (Ployhart & Ehrhart, 2003; Lievens, Peeters, & Schollaert, 2008; Campion et al., 2014). Het gebruiken van SJTs is aantrekkelijk in de praktijk omdat ze criteriumgerelateerde validiteit (e.g. de SJT verklaart jobgerelateerde criteria) en incrementele validiteit vertonen bovenop algemene intelligentie en persoonlijkheid, reacties van participanten positief zijn vanwege de jobgerelateerdheid van de SJTs, de scoreverschillen tussen subgroepen lager zijn dan bij algemene intelligentietesten wat mogelijk een gunstig effect heeft op adverse impact in selectie, en omdat ze toelaten een grote groep participanten te onderzoeken in de eerste selectiestap (Lievens et al., 2008). Het ontstaan van SJTs gaat terug tot de publieke dienst, militaire onderzoeken en de Tweede Wereldoorlog, maar het is sinds het artikel van Motowidlo et al. (1990) dat er een grote stijging is in onderzoek rond SJTs (Campion et al., 2014). Er werd aangetoond dat SJTs valide predictoren zijn van jobprestatie. McDaniel et al. (2001) voerden namelijk een meta-analyse uit met 95 studies en vonden een correlatie van.34 tussen SJTs en jobprestatie. Meta-analyses van de constructvaliditeit toonden aan dat SJTs gecorreleerd zijn met consciëntieusheid, emotionele stabiliteit, aangenaamheid en algemene intelligentie (McDaniel et al., 2001; McDaniel & Nguyen, 2001). Er zijn drie algemene assumpties waarom een SJT jobprestatie voorspelt (Motowidlo et al., 1990). De eerste verklaring stelt dat de beste voorspeller van toekomstig gedrag het gedrag is dat werd gesteld in het verleden (i.e. het gedragsconsistentie principe). Men stelt dus dat de prestatie op de SJT consistent is met en daarom predictief is voor jobprestatie. De tweede assumptie stelt dat SJTs de intenties en doelen van de participant meten (i.e. goal-setting theory ). De laatste verklaring stelt dat SJTs robuuste predictoren meet zoals jobkennis en procedurele kennis (Motowidlo, Borman, & Schmit, 1997; Motowidlo, Hooper, & Jackson, 2006a, 1

6 2006b), praktische intelligentie (Sternberg, Wagner, & Okagaki, 1993), algemene intelligentie (McDaniel et al., 2001) en persoonlijkheidstrekken. In deze studie worden voornamelijk assumpties getoetst in overeenstemming met deze laatste verklaring. Probleemstelling Er is reeds veel evidentie dat werkervaring gerelateerd is aan SJT-scores (Smith & McDaniel, 1998; Weekley & Jones, 1997, 1999; Weekley & Ployhart, 2005). Volgens deze auteurs leek het logisch dat werknemers met meer ervaring beter zijn in het oplossen van problemen zoals gepresenteerd in een typische SJT. In lijn met dit onderzoek vonden Weekley, Ployhart, en Harold (2004) dat werknemers hoger scoorden op SJTs dan sollicitanten, wellicht omdat werknemers meer jobkennis hebben. Maar het omgekeerde werd ook gevonden door Ployhart en Ehrhart (2003). Door deze contradictie in bevindingen wil deze studie onderzoeken welke theoretische verklaring mogelijk is voor het beter scoren van werknemers versus sollicitanten. Onze aandacht werd getrokken door Weekley en Ployhart (2005) die beschreven dat er drie individuele verschilcorrelaten zijn met SJTs. Ten eerste werd er reeds consistent gevonden dat algemene intelligentie gerelateerd is met jobprestatie en SJTprestatie (Hunter & Hunter, 1984; McDaniel et al., 2001; Schmidt & Hunter, 1998). Deze relatie lijkt logisch: slimme mensen leren sneller uit ervaring of kunnen beter de juiste acties afleiden (Weekley & Ployhart, 2005, p. 83). Ten tweede werd er gevonden dat er een relatie is tussen persoonlijkheid en SJTs, met name tussen consciëntieusheid, aangenaamheid en emotionele stabiliteit (Clevenger, Pereira, Wiechmann, Schmitt, & Harvey, 2001; McDaniel & Nguyen, 2001; Mullins & Schmitt, 1998; Smith & McDaniel, 1998; Weekley & Jones, 1999). Er werd algemeen gesteld dat de persoonlijkheid van participanten wordt gereflecteerd in oordelen over het (in)effectief zijn van de SJT-antwoordopties. Motowidlo et al. (2006a) boden een theoretische verklaring voor dit effect. Een belangrijk concept in hun theorie en in deze studie is het begrip implicit trait policies of ITPs. ITPs zijn impliciete overtuigingen over relaties tussen persoonlijkheidstrekken en effectiviteit in jobsituaties. De theorie stelt dat ITPs twee bronnen van variantie hebben: één uit persoonlijkheidstrekken en de andere uit algemene ervaring. ITPs worden waarschijnlijk 2

7 gevormd door socialisatieprocessen tijdens de kindertijd, bepaalde ervaringen leren aan kinderen namelijk het nut van aangenaam gedrag stellen, bijvoorbeeld het helpen van anderen. Onderzoek naar ITPs wees uit dat, wanneer mensen beoordelingen maken, deze oordelen vaak worden beïnvloed door hun eigen attitudes. Motowidlo et al. (2006a) stelden de hypothese op dat persoonlijkheidstrekken causale effecten hebben op ITPs, in die zin dat individuele verschillen in persoonlijkheidstrekken zullen bepalen in welke mate men de effectiviteit van effectief gedrag overschat en ineffectief gedrag onderschat. Dit onderzoek zal nagaan of persoonlijkheid inderdaad een invloed heeft op ITPs en of ITPs de positieve relatie tussen persoonlijkheid en SJTs mediëren. Ervaring representeert een derde set constructen die vaak, maar niet altijd, significant gerelateerd waren aan SJTs (Smith & McDaniel, 1998; Weekley & Jones, 1997, 1999). In het algemeen stelde men dat hoe groter de ervaring in gerelateerde types van werksituaties (i.e. specifieke ervaring), hoe groter de kans is dat de sollicitanten meer kennis zullen verworven hebben over hoe de situaties best behandeld worden (Weekley & Ployhart, 2005). Volgens de theorie van Motowidlo et al. (2006a) is specifieke ervaring, wat gerelateerd is aan specifieke kennis, echter maar één bron van kennis zoals gemeten door een SJT. Hun theorie vertrok namelijk van de assumptie dat SJTs jobprestaties voorspellen omdat ze procedurele kennis meten. Procedurele kennis is hoeveel iemand weet over effectief gedrag in situaties zoals beschreven in de SJT, wat gefragmenteerd kan worden in specifieke en algemene kennis. Alhoewel de algemene opvatting was dat meer werkervaring leidt tot een betere prestatie op een SJT, vonden Motowidlo en Beier (2010) in hun studie verbazende resultaten, namelijk dat de scoringssleutels gebaseerd op studenten met weinig jobervaring significant gecorreleerd waren met prestatiecriteria. Ze suggereerden dat, als dat resultaat gerepliceerd kan worden, dit betekent dat algemene kennis zoals gepresenteerd door ITPs ongeveer even belangrijk is als specifieke jobkennis in het bepalen van prestatie. Dit zou dus betekenen dat algemene kennis, vergaard door algemene socialisatieprocessen en kennis van de effectiviteit van persoonlijkheidstrekken, bijna even goed prestatie kan voorspellen als specifieke jobkennis. Meer specifiek was het namelijk zo dat de correlatie tussen SJTscores en residuen van experts, dat enkel specifieke kennis reflecteerde, ongeveer even hoog was als de correlatie tussen SJT-scores en de SJT-scores van novices, dat algemene kennis reflecteerde. 3

8 Dit onderzoek wil voornamelijk enkele fundamentele assumpties uit de theorie van Motowidlo et al. (2006a, 2006b, 2010) toetsen (zie figuur 1). Meer specifiek wordt de relatie onderzocht tussen persoonlijkheid en algemene intelligentie met ITPs en bijgevolg met prestatie. Ook het effect van specifieke en algemene ervaring op prestatie wordt onderzocht. Dit onderzoek biedt praktische relevantie omdat men eerder dacht dat SJTs minder kansen boden aan participanten met weinig ervaring (o.a. Weekley & Jones, 1999). Indien ons onderzoek de evidentie van Motowidlo en Beier (2010) kan repliceren, namelijk dat de invloed van enerzijds specifieke kennis en anderzijds algemene kennis op de grootte van de SJT-prestatie bijna even groot is, kan dit in de praktijk betekenen dat de SJT gebruikt kan worden voor pas afgestudeerden. We willen ook antecedenten nagaan van algemene kennis, daarom wordt ook onderzocht of een studentenjob leidt tot de ontwikkeling van accuratere ITPs. Een studentenjob die niet rechtstreeks gerelateerd is aan de studies kan namelijk gezien worden als een opportuniteit voor leren om algemene kennis (ITPs) te ontwikkelen. Figuur 1. Een studie naar de relatie van algemene en specifieke kennis met SJTs, gebaseerd op een theorie van Motowidlo et al. (2006a, 2006b, 2010) over de onderliggende kennisconstructie van prestatie op een Situationele Beoordelingstest (SJT). 4

9 Literatuuroverzicht Persoonlijkheid De Invloed van Persoonlijkheid op ITPs. Motowidlo et al. (2006a) ontwikkelden een theorie om te verklaren waarom persoonlijkheidstrekken zo vaak gecorreleerd zijn met SJT-scores: ze argumenteerden dat persoonlijkheidstrekken een direct effect hebben op ITPs (i.e. impliciete trekovertuigingen over relaties tussen persoonlijkheidstrekken en effectiviteit in jobsituaties). De connectie tussen persoonlijkheidstrekken en kennis gereflecteerd in ITPs is gebaseerd op de notie van dispositionele fit. Het basisidee hierachter is dat wanneer mensen oordelen maken over gedragseffectiviteit, hun oordelen hun eigen persoonlijkheid reflecteren, waardoor men gelooft dat de eigen trekken effectiever zijn. Bijgevolg stelt men dat, als acties corresponderend met de eigen persoonlijkheid inderdaad effectiever zijn, de mensen die deze trekken hebben meer kennis hebben over het effectieve gedrag. Dit impliceert dat, wanneer de effectiefste responsoptie bijvoorbeeld een hoge aangenaamheid uitdrukt, dat mensen met een hoge aangenaamheid die responsoptie zwaarder gaan wegen dan minder aangename mensen. Het is dus waarschijnlijk dat men de responsopties discrimineert op de mate van aangenaamheid die ze uitdrukken en bijgevolg zullen aangename mensen beter kunnen discrimineren tussen aangename responsopties en daarom een hogere score op de SJT behalen dan onaangename mensen (Motowidlo et al., 2006b). Wanneer mensen dus hun ITP voor aangenaamheid rapporteren door de gedragseffectiviteit op een SJT-optie te rapporteren onthullen ze ook iets over hun eigen mate van aangenaamheid. De theorie veronderstelt dus dat er stabiele verschillen bestaan tussen individuen in hun impliciete overtuigingen over het belang van verschillende persoonlijkheidstrekken voor het bepalen van gedragseffectiviteit. We geven nog een voorbeeld om dit te verduidelijken. Wanneer iemand de ITP heeft dat extraversie belangrijk is om effectief gedrag te stellen, zal die persoon bij het beoordelen van het SJT-item ook de extraverte responsoptie als meer effectief beschouwen. Dit betekent dat we verwachten dat extraverte mensen op basis van hun ITPs beter kunnen discrimineren tussen SJTresponsopties die hoge en lage niveaus van extraversie vertonen. Mensen die introvert zijn zullen minder goed kunnen discrimineren en bijgevolg de extraverte responsoptie 5

10 als maar een beetje meer effectief beschouwen dan de introverte responsoptie. We kunnen dus concluderen dat wanneer SJT-situaties een hoger niveau van een bepaalde trek vereisen voor een effectieve actie, mensen met ITPs die een hogere lading hebben voor die trek ook de effectiviteit van die opties meer accuraat kunnen beoordelen en bijgevolg meer procedurele kennis hebben. Bijgevolg heeft een persoonlijkheidstrek een causaal effect op zijn of haar ITP voor die trek. Welke specifieke persoonlijkheidstrekken betrokken zijn zal afhangen van de inhoud van de SJT. De SJT gerapporteerd door Motowidlo et al. (1990) voorspelde bijvoorbeeld interpersoonlijke en probleemoplossende prestaties en reflecteerden daarom aangenaamheid, extraversie en consciëntieusheid. De hypothese van Motowidlo et al. (2006a) stelde dus dat persoonlijkheidstrekken causale effecten hebben op ITPs over het belang van die trekken voor gedragseffectiviteit, de eerste bron van variantie in ITPs is dus persoonlijkheid (zie figuur 4). Wanneer deze overtuigingen accuraat zijn representeren ze algemene kennis omdat ITPs geleerd kunnen worden voordat mensen een specifieke jobsituatie betreden. Algemene kennis representeert dus de kennis over de effectiviteit van verschillende persoonlijkheidstrekken. Motowidlo et al. (2006a, 2006b) voerden enkele studies uit om hun theorie te staven. Motowidlo et al. (2006a) maakten gebruik van twee studies met studenten als participanten. Ze vonden bewijs voor de eerste hypothese dat persoonlijkheidstrekken ITPs beïnvloeden, in die zin dat aangename mensen geloofden dat de relatie tussen aangenaamheid en effectiviteit sterker was dan dat minder aangename mensen dit geloofden. Ze vonden echter enkel bewijs voor dit effect voor aangenaamheid en extraversie, maar niet voor consciëntieusheid. Motowidlo et al. (2006b) voerden een studie uit met bachelorstudenten en vonden significante relaties tussen ITPs en de geassocieerde persoonlijkheidstrekken voor aangenaamheid, consciëntieusheid en extraversie. Ze vonden ook een significante correlatie tussen ITPs voor aangenaamheid en rollenspelscores voor aangenaamheid, wat betekent dat ITPs gedrag kunnen voorspellen. Deze effecten bleven bestaan nadat de persoonlijkheidsscores werden uitgepartialiseerd, dit betekent dat de gevonden relatie niet het resultaat is van de invloed van persoonlijkheid op ITPs. Het is net zo dat variantie in het ITP-construct zelf verantwoordelijk is voor zijn relatie met uitdrukkingen van de gedragstrek. Het zijn dus de ITPs zelf, en niet enkel de 6

11 persoonlijkheidsscores, die een invloed hebben op het gestelde gedrag. In het onderzoek van Motowidlo et al. (2006b) werden de gedragstrekken geobserveerd uit een rollenspel, we suggereren dat het kiezen van een bepaalde SJT-responsoptie congruent is aan het uiten van een gedragstrek aangezien de participant moest aangeven hoe hij of zij zou reageren op de situatie beschreven in de SJT. Na de theorie ontwikkeld door Motowidlo et al. (2006a, 2006b) onderzochten de volgende studies de invloed van persoonlijkheid op ITPs. De eerste onderzoekers die ondersteuning vonden voor de ITP-theorie waren Miller, Smith-Jentsch, en Afek (2008). Ze voerden een studie uit onder 71 bachelorstudenten, om de ITPs te meten gebruikten ze een SJT die ontworpen was voor een welvarend-naar-het-werk programma. Significante relaties werden gevonden tussen ITPs en de geassocieerde persoonlijkheidsschaalscores. Hun onderzoek toonde dus opnieuw aan dat er een verband bestaat tussen persoonlijkheid en ITPs. Verder vonden ze ook dat ITPs voor aangenaamheid een unieke variantie verklaarden in peer ratings van aangenaamheid over en boven de aangenaamheidsscores op de persoonlijkheidsvragenlijst. Dit is hetzelfde als wat Oostrom, Bern, Serlie, & Molen (2012) vonden, namelijk dat ITPs incrementele validiteit hadden over en boven persoonlijkheid. Oostrom et al. (2012) voerden een veldstudie uit met 180 werknemers om te onderzoeken of een multimedia SJT die leiderschapsvaardigheden wil meten de individuele verschillen kan vangen in ITPs en of ITPs leiderschapsgedrag konden voorspellen. De resultaten bevestigden dat de SJT individuele verschillen in ITPs kon vangen voor extraversie en consciëntieusheid. Resultaten toonden ook dat ITPs voor extraversie leiderschapsgedrag kon voorspellen over en boven leiderschapservaring en de geassocieerde persoonlijkheidstrek. Er kan dus gesteld worden dat mensen ook beïnvloed worden door hun ITPs bij het beantwoorden van een SJT, aangezien ze dan de antwoordoptie moeten aanduiden die ze als het effectiefst zien. ITPs zorgen voor een betere inschatting van de effectiviteit, nog bovenop persoonlijkheid. We kunnen dus besluiten dat de resultaten demonstreren dat een multimedia SJT voor leiderschapsvaardigheden kan gebruikt worden om ITPs te vangen voor bepaalde persoonlijkheidstrekken en dat ITPs incrementele validiteit hebben over en boven persoonlijkheid in het voorspellen van jobgedrag in een relevant domein. Beide studies bieden dus ondersteuning voor de ITP-theorie. 7

12 Op basis van het vermelde onderzoek gebaseerd op de theorie van Motowidlo et al. (2006a) wordt de volgende hypothese getest: Hypothese 1a: Persoonlijkheid heeft een invloed op ITPs, in die zin dat ITPs gecorreleerd zijn met hun geassocieerde persoonlijkheidstrek. ITPs als Mediator voor Relatie tussen Persoonlijkheid en SJT. Verschillende auteurs onderzochten reeds de relatie tussen persoonlijkheid en SJTs. In de meta-analyse van McDaniel en Nguyen (2001) werd getoond dat de correlaties met SJT-scores.25 waren voor aangenaamheid,.26 voor consciëntieusheid,.31 voor emotionele stabiliteit,.06 voor extraversie en.09 voor openheid. Weekley en Ployhart (2005) stelden dat de persoonlijkheid van participanten wordt gereflecteerd in oordelen over het effectief of ineffectief zijn van de antwoordopties. Omdat SJTs gedeeltelijk deze persoonlijkheidsconstructen vatten worden ze verondersteld valide predictoren te zijn van prestatie (Clevenger et al., 2001). Bijgevolg wordt er in dit onderzoek een relatie verwacht tussen persoonlijkheid en SJTs, zoals eerder uitvoerig werd onderzocht. Motowidlo et al. (2006a) boden met hun ITP-theorie, met name dat ITPs de relatie mediëren tussen persoonlijkheid en SJTs, een theoretische verklaring voor dit effect. Motowidlo et al. (2006a) veronderstelden namelijk dat participanten zich beroepen op de eigen persoonlijkheidstrekken voor het beantwoorden van SJT-items. De kennis over de effectiviteit van persoonlijkheidstrekken zorgt dat participanten een hogere algemene kennis verkrijgen. Motowidlo et al. (2013) voerden twee studies uit in deze onderzoekslijn. In de ene studie maakten ze gebruik van studenten voor een rollenspel, in de andere studie deden ze een heranalyse van de data van Motowidlo, Crook, Kell, en Naemi (2009) die de relaties onderzochten tussen persoonlijkheid, kennis en de beoordeling van supervisors op de jobprestatie van vrijwilligers. Ze vonden evidentie voor hun hypotheses. Hun eerste hypothese stelde dat individuele verschillen in persoonlijkheid gecorreleerd zijn met kennis over hoe je het best deze diensten levert. Dit levert dus ondersteuning voor de theorie dat er een verband bestaat tussen persoonlijkheid en ITPs. Hun tweede hypothese stelde dat mensen met meer kennis over het leveren van diensten 8

13 effectiever zijn in het actueel handelen, zelfs wanneer effecten van persoonlijkheid gecontroleerd worden. Dit biedt dus evidentie dat ITPs geassocieerd zijn met prestatie. Beide studies vonden bovendien dat consciëntieusheid de dominante correlaat was, wat betekent dat individuele verschillen in consciëntieusheid gecorreleerd zijn met kennis. Tot slot vonden ze ook dat studenten die een hogere kennisscore hadden over hoe ze zich moesten gedragen, het ook beter deden in het rollenspel. Ook vrijwilligers die een hogere kennisscore hadden, deden het beter op de vrijwilliger-jobprestatie. Dit levert opnieuw bewijs dat ITPs gecorreleerd zijn met prestatie. Uit hun studie concludeerden Motowidlo et al. (2013) dat mensen die meer kennis hebben (i.e. accurate ITPs) over het leveren van diensten dit effectief ook beter kunnen en doen. In deze studie werd reeds de hypothese opgesteld dat er een relatie bestaat tussen persoonlijkheid en ITPs. Eerder onderzoek (o.a. Mischel & Shoda, 1995; Clevenger et al., 2001; McDaniel & Nguyen, 2001; Weekley & Jones, 2005) bevestigde dat er ook een relatie bestaat tussen persoonlijkheid en SJTs. In deze studie wordt de hypothese opgesteld dat ITPs deze relatie mediëren, zoals ook eerder werd onderzocht door Motowidlo et al. (2006a, 2006b, 2013). Meer specifiek betekent deze hypothese dat wanneer een SJT-item een hoge trekuitdrukking reflecteert de participanten met een hoge lading voor deze trek beter zullen kunnen discrimineren tussen items en bijgevolg een hogere prestatie zullen behalen op de SJT (zie figuur 2). Hypothese 1b: De positieve relatie tussen persoonlijkheid en SJTs wordt gemedieerd door ITPs. Figuur 2. Schematische voorstelling van hypothese 1b. 9

14 Algemene Intelligentie De Invloed van Algemene Intelligentie op ITPs. Oostrom et al. (2012) halen in hun suggesties voor toekomstig onderzoek aan dat de relatie tussen algemene intelligentie en ITPs nog niet eerder empirisch werd onderzocht. Motowidlo en Beier (2010) suggereerden dat algemene intelligentie een direct effect heeft op ITPs. Empirische evidentie toonde reeds herhaaldelijk aan dat intelligentie prestatie beïnvloedt via haar effect op kennis en vaardigheden (o.a. Ackerman, 1996). Om deze reden argumenteerden Motowidlo en Beier (2010) dat intelligente mensen sneller en meer leren welke trekuitdrukkingen effectief zijn in werksituaties, zoals beschreven in de SJT-items, en bijgevolg zullen ze ITPs ontwikkelen die accurater de ware relaties reflecteren tussen trekuitdrukkingen en jobeffectiviteit. In deze studie wordt bijgevolg de hypothese vooropgesteld dat algemene intelligentie een direct effect zal hebben op ITPs, in die zin dat personen met een hogere algemene intelligentie accuratere ITPs zullen ontwikkelen. Hypothese 2a: Algemene intelligentie heeft een positieve invloed op ITPs, in die zin dat intelligentere mensen accuratere ITPs zullen ontwikkelen. ITPs als Mediator voor Relatie tussen Algemene Intelligentie en SJT. Motowidlo en Beier (2010) suggereerden dat algemene intelligentie een direct effect heeft op ITPs, wat bijgevolg een effect had op de SJT-prestatie. Het effect van algemene intelligentie op ITPs werd nog niet eerder onderzocht (Oostrom et al., 2012), er werd echter wel al onderzoek verricht naar de relatie tussen algemene intelligentie en SJTs. Er werd al consistent gevonden dat algemene intelligentie gerelateerd is aan jobprestatie (Hunter & Hunter, 1984; Schmidt & Hunter, 1998) en prestatie op een SJT (McDaniel et al., 2001). McDaniel et al. (2001) vonden in hun meta-analyse een correlatie van.46 tussen algemene intelligentie en SJT-prestatie. Voor verschillende redenen is deze relatie logisch. Slimme mensen leren sneller uit ervaring of zijn gewoon beter in het afleiden van gepaste acties (Weekley & Ployhart, 2005, p. 83). In deze studie wordt er bijgevolg ook verwacht dat er een relatie bestaat tussen algemene intelligentie en SJTs. Als hypothese 2a wordt bevestigd dan wordt ook verondersteld dat ITPs deze relatie mediëren (zie figuur 3). Motowidlo en Beier (2010) argumenteerden 10

15 dat intelligente mensen sneller en meer leren welke trekuitdrukkingen effectief zijn in werksituaties, zoals beschreven in de SJT-items, en bijgevolg zullen ze ITPs ontwikkelen die accurater de ware relaties reflecteren tussen trekuitdrukkingen en effectiviteit. Hypothese 2b: De positieve relatie tussen algemene intelligentie en SJTs wordt gemedieerd door ITPs, in die zin dat intelligentere mensen accuratere ITPs zullen hebben en bijgevolg een betere prestatie op de SJT. Figuur 3. Schematische voorstelling van hypothese 2b. De Invloed van Algemene Ervaring op een SJT De Invloed van Algemene Ervaring op ITPs. Weekley en Ployhart (2005) stelden zich de vraag in welke mate SJTantwoorden afhankelijk zijn van specifieke versus algemene ervaring. Volgens hen is het gebruik van SJTs voor selectiedoeleinden problematisch wanneer SJTs jobspecifieke kennis meten. Zoals Hanson, Horgen, en Borman (1998) opmerkten, is het gebruik van SJTs voor selectie afhankelijk van de assumptie dat sommige sollicitanten meer kennis zullen hebben over hoe ze een situatie moeten behandelen dan anderen voordat ze met de job starten. Het onvermogen om af te leiden hoe je de situaties moet behandelen zou de variantie reduceren op de SJT tot op het onnuttige niveau. Weekley en Jones (1999) merkten ook op dat SJTs op basis van werkervaring geen eerlijke weerspiegeling konden geven, omdat niet alle sollicitanten al ervaring hadden met de situaties. SJTs die jobspecifieke situaties aanbieden kunnen dus falen in het voorspellen van prestaties tussen sollicitanten. 11

16 Zoals eerder aangehaald bevat procedurele kennis zowel een component dat door specifieke ervaring is bekomen als door algemene ervaring. Algemene ervaring is een type van leren dat algemene principes inhoudt over sociale kosten en baten over het uitdrukken van trekken, wellicht ontstaan door fundamentele socialisatieprocessen. Effecten van ervaring veronderstellen dat kennis kan ontwikkeld worden als personen worden blootgesteld aan situaties die opportuniteiten voor leren bieden. Wanneer men meer opportuniteiten heeft, zal men dus ook meer algemene kennis verkrijgen over wanneer het uitdrukken van een trek meer effectief is en wanneer het minder effectief is (i.e. algemene kennis representeert ITPs). Mensen ontwikkelen dus ITPs over het belang van een persoonlijkheidstrek door ervaring in situaties die hen tonen of gedrag die hoge niveaus van een trek tonen effectievere gevolgen hebben dan gedrag met een laag trekniveau. Bijvoorbeeld, een dokter die moet omgaan met een sensitieve situatie op de werkplaats, zoals een sterfgeval, zal een oordeel maken over de utiliteit (kosten en baten) van het demonstreren van aangenaamheid versus onaangenaamheid. Alhoewel deze dokter in het algemeen misschien een preferentie heeft voor stuurs gedrag, zal hij wellicht empathie en aangenaamheid tonen omdat hij weet dat dit een succesvollere strategie is om met deze situatie om te gaan. De theorie ontwikkeld door Motowidlo et al. (2006a) stelt dat ITPs twee bronnen van variantie hebben (zie figuur 4): één uit persoonlijkheidstrekken door het accentuatie effect en de andere uit ervaring met relevante situaties door een leereffect (i.e. algemene ervaring). Algemene kennis wordt vaak gevangen in spreekwoorden en zegswijzen, zoals je kan meer vliegen vangen met honing dan met azijn wat men kan zien als een preferentie voor aangenaam gedrag. Anderzijds kan het is beter om gevreesd te worden dan geliefd te worden gezien worden als een preferentie voor onaangenaam gedrag (Motowidlo et al., 2006a). Een ander voorbeeld is dat het deelnemen aan sociale activiteiten (e.g. naar een jeugdvereniging gaan) positief zouden kunnen bijdragen aan het ontwikkelen van algemene ervaring. Hoe mensen precies aan deze brede overtuigingen komen is nog niet duidelijk en de theorie kon nog geen specifieke variabelen suggereren als precursoren. Op dit punt suggereert de theorie alleen dat dit type van breed leren over effectieve manieren om je te gedragen (i.e. algemene ervaring) ITPs zal beïnvloeden. Er kan dus verondersteld worden dat wie veel algemene ervaring heeft opgedaan accuratere ITPs zal ontwikkelen. 12

17 Figuur 4. De onderliggende kennisconstructie van algemene kennis bestaat volgens de theorie van Motowidlo et al. (2006a, 2006b, 2010) uit persoonlijkheid, algemene ervaring en algemene intelligentie Onderzoek kon aantonen dat werknemers hoger scoren op SJTs dan sollicitanten (Weekley et al., 2004) wat suggereert dat SJTs jobkennis meten, maar ook het omgekeerde werd gevonden (Ployhart & Ehrhart, 2003), dat sollicitanten hoger scoorden dan werknemers. Er is nog verder onderzoek nodig om dit conflict te kunnen verklaren. MacKenzie, Ployhart, Weekley, & Ehlers (2010) verklaarden de verschillende prestaties op een SJT tussen werknemers en sollicitanten door te stellen dat ze een SJT invullen gebaseerd op een verschillend begrijpen, ophalen, oordelen en antwoorden (PRPR-model, Ployhart, 2006) wat gebaseerd is op een verschillende set KSA s (i.e. kennis, vaardigheden en vermogens). Ze stelden dat werknemers een SJT voornamelijk beantwoorden door zich te baseren op algemene intelligentie, ervaring en specifieke kennis. Langs de andere kant zal een sollicitant, die geen jobspecifieke informatie heeft, de SJT eerder beantwoorden op basis van dispositionele en persoonlijkheidsfactoren. We merken op dat MacKenzie et al. (2010) hier indirect de link leggen naar het onderzoek van Motowidlo et al. (2006a) en hun ITP-theorie. Er werd gesuggereerd dat persoonlijkheid sterker gecorreleerd zou zijn met SJTs voor sollicitanten dan voor werknemers, wellicht omdat sollicitanten meer terugvallen op hun ITPs (omdat ze geen jobkennis hebben). Hier vonden MacKenzie et al. (2010) geen ondersteuning voor, mogelijks omdat er range restrictie optrad bij de persoonlijkheidsmetingen van sollicitanten. Ze stelden dus dat een sollicitant zich voornamelijk zal baseren op dispositionele factoren, wat hun assumptie verklaart dat deze groep een sterkere correlatie zou hebben tussen persoonlijkheid en SJTs, en werknemers baseren zich voornamelijk op algemene intelligentie, ervaring en 13

18 jobspecifieke kennis waardoor men bij deze groep een sterkere correlatie terugvindt tussen SJT-scores en algemene intelligentie in vergelijking met sollicitanten. Weekley en Ployhart (2005) vonden dat een SJT kennis meet, algemeen of specifiek, zoals ook werd aangetoond door vorig onderzoek (Borman, Hanson, Oppler, Pulakos, & White, 1993; Borman, White, Pulakos, & Oppler, 1991; Hunter, 1983; Motowidlo et al., 1997; Schmidt et al., 1986; Weekley & Jones, 1999). Nadat ze geen evidentie vonden voor hun vierde hypothese, die stelde dat ook specifieke ervaring (e.g. trainingservaring en jobaanstelling) een mediator was, concludeerden ze dat een SJT voornamelijk algemene effecten van kennis reflecteert. Het was namelijk zo dat de SJT de effecten van algemene intelligentie en algemene werkervaring medieerde maar niet gerelateerd was aan specifieke ervaring. Dit onderzoek biedt dus ondersteuning voor de theorie van Motowidlo et al. (2006a, 2006b, 2010) die stelt dat algemene ervaring een invloed heeft op SJT-prestatie. Ze stelden zelfs dat algemene ervaring een belangrijkere voorspeller is van SJT-prestaties dan specifieke ervaring. Vervolgens onderzoeken we of algemene ervaring gerelateerd is aan SJT-prestatie. Hypothese 3a: Er is een positieve relatie tussen algemene ervaring en SJTprestatie. ITPs als Mediator voor Relatie tussen Algemene Ervaring en SJT. Schmit, Motowidlo, Degroot, Cross en Kiker (1996) vonden in hun studie met verkoopmedewerkers dat extraversie gecorreleerd was met kennis over hoe ze best klantenservice verlenen en dat kennis gecorreleerd was met prestaties. Motowidlo, Brownlee, en Schmit (2008) verklaarden deze effecten door zich te baseren op de theorie van Motowidlo et al. (2006a), die procedurele kennis zoals gemeten door een SJT, opsplitst in algemene en specifieke kennis. Ze stelden dat de kennis die hier geleerd werd een soort van algemene kennis is. Deze algemene kennis gaat namelijk over hoe de uitdrukking van persoonlijkheidstrekken kan bijdragen aan iemands effectiviteit in verschillende werksituaties. Deze algemene kennis representeert accurate ITPs (Motowidlo et al., 2006a). Het andere type kennis is specifieke jobkennis dat men leerde terwijl men de job uitoefende, dit kan uitzonderingen bevatten op de algemene regels. 14

19 Miller et al. (2008) en Oostrom et al. (2012) onderzochten of ITPs beïnvloed werden door jobervaring. Zoals eerder vermeld vonden beide studies dat ITPs incrementele validiteit hebben over en boven persoonlijkheid. Miller et al. (2008) vonden ook ondersteuning voor hun hypothese dat ITPs voor aangenaamheid beïnvloed werden door de eerste klantendienstervaring van studenten, wat aantoont dat individuen accurate ITPs ontwikkelden via eerdere (job)ervaring. Ook Oostrom et al. (2012) konden bevestigen dat ITPs beïnvloed werden door jobervaring. Meer specifiek vonden ze dat werknemers met meer ervaring als leider sterkere overtuigingen hadden over de effectiviteit van extraversie en consciëntieusheid aangezien de mate van leiderschapservaring een significant deel verklaarde van de variantie in ITPs. Deze ervaring reflecteert algemene ervaring en geen specifieke ervaring, omdat men via algemene ervaring leert dat de uitdrukking van een bepaalde persoonlijkheidstrek effectiever is dan de uitdrukking van een andere persoonlijkheidstrek (Motowidlo & Beier, 2010). Hypothese 3b: De positieve relatie tussen algemene ervaring en SJT-prestatie wordt gemedieerd door ITPs. Wie meer algemene ervaring heeft zal accuratere ITPs hebben en bijgevolg een betere prestatie op de SJT. Figuur 5. Schematische voorstelling van hypothese 3b. 15

20 Studentenjob als Antecedent van Algemene Ervaring. Op dit moment is het nog niet duidelijk hoe mensen precies aan algemene ervaring komen (Motowidlo et al., 2006a). Men suggereert enkel dat algemene ervaring ontstaat via algemene socialisatieprocessen en dat kennis kan ontwikkeld worden als personen worden blootgesteld aan situaties die opportuniteiten voor leren bieden. Men veronderstelt dat men meer kennis zal verkrijgen over wanneer het uitdrukken van een trek meer effectief is en wanneer het minder effectief is wanneer men meer opportuniteiten voor leren heeft. In deze studie willen we daarom nagaan of ervaring opgedaan via een studentenjob (e.g. vakantiewerk of weekendwerk) leidt tot de ontwikkeling van accuratere ITPs. We bekijken een studentenjob als een opportuniteit voor leren om algemene kennis (ITPs) te ontwikkelen (zie figuur 6). Het idee voor het bestuderen van deze antecedent is gebaseerd op onderzoek van Miller et al. (2008) die ondersteuning vonden dat ITPs voor aangenaamheid beïnvloed werden door de eerste klantendienstervaring van studenten, wat aantoont dat individuen accurate ITPs ontwikkelden via eerdere (job)ervaring. Effecten van ervaring veronderstellen dat kennis kan ontwikkeld worden als personen worden blootgesteld aan situaties die opportuniteiten voor leren bieden. Wanneer men meer opportuniteiten heeft, zal men dus ook meer algemene kennis verkrijgen over wanneer het uitdrukken van een trek meer effectief is en wanneer het minder effectief is. Algemene kennis (ITPs) kan dus bekomen worden via ervaring in relevante situaties, zowel binnen als buiten de job. In de volgende hypothese stellen we daarom dat studenten die meer dagen of weken een studentenjob hadden, die niet rechtstreeks gerelateerd is aan hun studies, accuratere ITPs zullen ontwikkelen. Merk hierbij op dat we enkel het vakantiewerk opnemen in de studie waar men enkel algemene ervaring kon opdoen en geen specifieke werkervaring. Met andere woorden, wanneer de studentenjob rechtstreeks gerelateerd is aan de studie, bijvoorbeeld een student bedrijfspsychologie die aan selectie en rekrutering doet, representeert dit specifieke werkervaring. In deze studie willen we echter toetsen of vakantiewerk ongerelateerd aan de studie, bijvoorbeeld kassamedewerk(st)er voor een student psychologie, bijdraagt tot de ontwikkeling van meer algemene ervaring. 16

21 Hypothese 3c: Een studentenjob die niet rechtstreeks gerelateerd is aan de studie heeft een positieve invloed op ITPs, in die zin dat wie meer dagen een studentenjob deed accuratere ITPs zal ontwikkelen. Figuur 6. De variabele studentenjob, een antecedent van algemene ervaring, werd bekeken als een opportuniteit voor leren om algemene kennis (ITPs) te ontwikkelen. De Invloed van Specifieke Ervaring op een SJT Weekley en Ployhart (2005) argumenteerden dat er nog onzekerheid bestaat of SJTs jobspecifieke kennis reflecteren (Schmidt, 1994) of meer algemene vormen van kennis (Motowidlo et al., 1997) of persoonlijkheid en algemene intelligentie (McDaniel et al., 2001; McDaniel & Nguyen, 2001). In de vorige hypotheses werd onderzocht in welke mate SJTs gecorreleerd zijn met persoonlijkheid en algemene intelligentie, nu wordt onderzocht of jobervaring, wat gerelateerd is aan (job)specifieke kennis, een invloed heeft op de SJT-prestatie. De theorie van Motowidlo et al. (2006a, 2006b) vertrok van de assumptie dat SJTs jobprestaties voorspellen omdat ze procedurele kennis meten. We recapituleren hun assumpties. Procedurele kennis is hoeveel iemand weet over effectief gedrag in situaties zoals beschreven in de SJT. Hun theorie fragmenteert deze kennis in algemene en specifieke kennis. Algemene kennis representeert kennis over de effectiviteit van verschillende persoonlijkheidstrekken terwijl specifieke kennis gaat over hoe je je effectief moet gedragen in specifieke 17

22 situaties en bevat kennis over uitzonderingen op de algemene regels. Algemene kennis is dus kennis over welke persoonlijkheidstrekken het effectiefst zijn in een bepaalde situatie. Iemand die bijvoorbeeld geleerd heeft dat het uitdrukken van emotionele stabiliteit (e.g. een kalme uitstraling) meer effectief is dan het uitdrukken van neuroticisme (e.g. een nerveuze uitstraling) in situaties die interacties met klanten vereisen heeft meer kennis over hoe hij zich effectief moet gedragen in een specifieke job (Motowidlo, Brownlee, & Schmit, 2008). Maar zelfs wanneer iemand geleerd heeft dat een aangename actie in het algemeen effectief is in een sensitieve interpersoonlijke actie, is er nog altijd ruimte om te leren dat een onaangename actie effectiever is. Via specifieke jobervaring kan men dus uitzonderingen op de algemene regels leren. Volgens Motowidlo et al. (2006a) kan men algemene kennis over trekeffectiviteit leren binnen en buiten de werksituatie, bijvoorbeeld door algemene socialisatieprocessen, terwijl men specifieke kennis enkel kan leren door ervaring met een specifieke job. De twee types kennis vormen samen de procedurele kennis zoals ze wordt gemeten door een SJT. Deze opsplitsing tussen algemene en specifieke kennis in de context van SJTscores is gebaseerd op uitgebreid onderzoek dat het onderscheid maakt tussen a priori kennis over een algemeen domein en nieuwe domeinrelevante kennis verkregen via specifieke ervaringen. In het algemeen stelde men dat hoe groter de ervaring in gerelateerde types van werksituaties (i.e. specifieke ervaring), hoe groter de kans is dat de sollicitanten meer kennis zullen verworven hebben over hoe de situaties best behandeld worden (Weekley & Ployhart, 2005). Volgens de theorie van Motowidlo et al. (2006a) is specifieke ervaring een bron van kennis zoals gemeten door een SJT. Weekley en Jones (1999) vonden evidentie dat ervaring gerelateerd is aan SJTscores. Volgens hen was het logisch dat werknemers met meer ervaring beter zullen zijn in het oplossen van problemen zoals gepresenteerd in een typische SJT. Ook Weekley en Ployhart (2005) vonden dat ervaring een set van constructen representeert die vaak, maar niet altijd, significant gerelateerd waren aan SJTs (Smith & McDaniel, 1998; Weekley & Jones, 1997, 1999). In het algemeen stelde men dat hoe groter de ervaring in gerelateerde types van werksituaties, hoe groter de kans is dat de sollicitanten meer kennis zullen verworven hebben over hoe de situaties best behandeld worden. Relaties tussen SJTs en ervaringen worden dus vaak verklaard door SJTs die jobkennis meten. MacKenzie et al. (2010) stelden dat werknemers (i.e. experts) zich voornamelijk 18

23 baseren op algemene intelligentie, ervaring en jobspecifieke kennis waardoor men bij deze groep een sterkere correlatie terugvindt tussen SJT-scores en algemene intelligentie in vergelijking met sollicitanten (i.e. novices). Hun bevindingen ondersteunden dus de assumptie dat werknemers zich baseren op hun specifieke ervaring en specifieke jobkennis voor het beantwoorden van een SJT. Op basis van de theorie van Motowidlo & Beier (2010) wordt verondersteld dat personen met meer specifieke ervaring (e.g. het hebben van een goede studiemethode) meer procedurele kennis hebben, omdat ze zich baseren op hun specifieke kennis (zie figuur 1). Verder wordt het mediatie effect van specifieke kennis onderzocht (zie figuur 7). Hypothese 4a: Specifieke ervaring heeft een positieve relatie met SJTs, in die zin dat studenten met meer ervaring met de studie een betere prestatie zullen halen op de SJT dan studenten met minder ervaring. Hypothese 4b: De positieve relatie tussen specifieke ervaring en SJTs wordt gemedieerd door specifieke kennis. Figuur 7. Schematische voorstelling van hypothese 4b. 19

24 Novices en Experts Tot slot bekijken we of personen met weinig ervaring het even goed kunnen doen op een SJT als personen met meer ervaring. Motowidlo et al. (2006a) maakten de assumptie dat algemene kennis (ITPs) en specifieke jobkennis samen procedurele kennis maken zoals gemeten door SJT-scores, maar onafhankelijke effecten hebben op prestaties. Dit zou betekenen dat accurate ITPs kunnen compenseren voor het gebrek aan specifieke jobkennis en dat specifieke jobkennis kan compenseren voor inaccurate ITPs. Vergelijkingen tussen experts (i.e. SME s met veel extensieve en relevante jobervaring) met novices (i.e. bachelorstudenten met weinig tot geen relevante jobervaring) illustreert het verschil in de mogelijkheid tot het leren van procedurele kennis zoals gemeten door een SJT, deze twee groepen hadden namelijk ongelijke opportuniteiten om specifieke kennis te leren (Motowidlo et al., 2006a). Maar wanneer ITPs geleerd kunnen worden door algemene socialisatieprocessen, waarvoor het niet nodig is om blootgesteld geweest te zijn aan de werksituaties zoals beschreven in een SJT, hebben zowel experts als novices dit type kennis verworven. Wie weinig specifieke ervaring (i.e. werkervaring) heeft, zal zijn effectiviteitsoordelen dus voornamelijk baseren op de algemene kennis die men heeft. Bijgevolg kunnen novices (e.g. studenten met weinig tot geen specifieke ervaring) toch een goede prestatie behalen op een SJT op basis van accurate ITPs via de algemene kennis die ze vergaarden. Deze algemene kennis ontstaat door algemene socialisatieprocessen en kennis van de effectiviteit van persoonlijkheidstrekken geleerd via ervaring met verschillende situaties. Wie meer algemene ervaring heeft opgedaan zal dus accuratere ITPs kunnen ontwikkelen. Motowidlo en Beier (2010) vonden in hun studie verbazende resultaten. De scoringsleutels gebaseerd op studenten (bachelors en masters) waren significant gecorreleerd met prestatiecriteria, alhoewel geen enkele groep studenten enige jobervaring had. De studenten leken dus impliciet te weten dat de uitdrukking van consciëntieusheid en aangenaamheid in de situaties, zoals beschreven in de SJT-items, in het algemeen effectief waren en hierdoor hadden ze tenminste gedeeltelijke kennis over hoe ze zich effectief moesten gedragen in die situaties. Bovendien waren de SJTscores gebaseerd op de residuen van experts, die waarschijnlijk specifieke jobkennis reflecteerden, gecorreleerd met jobprestatie op hetzelfde niveau als de SJT-scores gebaseerd op novices-kennis en ITP-scores, die waarschijnlijk algemene kennis 20

25 reflecteerden. De residuen van experts reflecteerden enkel specifieke kennis en geen algemene kennis (ITPs) meer, omdat aangenaamheid, consciëntieusheid en effectiviteitsscores van novices uit de effectiviteitsscores van experts werden gepartialiseerd. Bijgevolg bevatten residuen van experts enkel nog accurate informatie gebaseerd op specifieke en relevante jobervaring van experts. Wanneer dan de residuen van experts worden vergeleken met de SJT-scores van novices, vergelijkt men dus de correlatie tussen SJT-scores en specifieke kennis met de correlatie tussen SJT-scores en algemene kennis. Het was verbazend dat scoringssleutels gebaseerd op studenten significant gecorreleerd waren met prestatiecriteria alhoewel de studenten geen enkele specifieke jobervaring hadden. De enige kennis die studenten hadden was dat aangenaamheid en consciëntieusheid in die situaties effectief bleken te zijn. Dit impliceert dat, wanneer dit resultaat kan gerepliceerd worden, de algemene kennis zoals gepresenteerd door ITPs even belangrijk is als specifieke jobkennis in het determineren van jobprestatie. Eerder werd er gesuggereerd dat SJTs enkel gebruikt kunnen worden voor het selecteren van sollicitanten met voldoende domein specifieke kennis en ervaring (e.g. Weekley et al., 2004). Maar als ITPs algemene kennis vangen, bekomen onafhankelijk van jobervaring, kunnen SJTs gebruikt worden voor sollicitanten zonder relevante jobervaring. Hypothese 5: Novices behalen een even goede SJT-prestatie als experts. 21

26 Methode Opzet Het is een kwantitatief onderzoek waar gebruik gemaakt wordt van een internetenquête die samengesteld werd met behulp van Qualtrics. De internetenquête bestond uit vier delen: een persoonlijkheidsvragenlijst, een cognitieve vaardighedentest, algemene achtergrondvragen en een SJT over academische vaardigheden bestaande uit 23 vragen. De respondenten studeren eerste bachelor psychologie en werden benaderd in het kader van het vak sociale psychologie. De deelnemers kregen een mail met hierin een link om naar de enquête te gaan. Het was vrijwillig in te vullen, ze konden ook kiezen waar en op welk moment. Het invullen van de enquête nam gemiddeld gezien 35 minuten in beslag en de respondent kreeg feedback op het eind met tips over een goede studiemethode. Steekproef Aan dit onderzoek participeerden eerstejaarsstudenten Psychologie van de Universiteit Gent. Ik vroeg participatie aan 956 studenten. Uit die groep werd aan 240 studenten (25.1%) meer uitleg verschaft met een persoonlijke presentatie, uit deze groep vulden 53 studenten de enquête in. De overige 716 studenten werden enkel via mail uitgenodigd voor deelname aan het onderzoek, uit deze groep vulden 36 studenten de enquête in. In totaal vulden 89 studenten (9.3%) de online enquête in. De gemiddelde leeftijd van de deelnemers was 19 jaar (SD = 2.94) met een leeftijdsbereik van 16 tot 38 jaar. Uit de achtergrondvragen kunnen we afleiden dat 44 van de 89 deelnemers, of 49%, in het middelbaar een score haalden tussen de 71% en 85% op hun rapport. De deelnemers hadden tussen de nul en acht jaar ervaring in een hogere studie. 65 personen hadden weinig ervaring met een hogere studie, zij studeerden pas sinds enkele maanden aan de universiteit. 18 personen noteerden dat ze eerder al een andere studie gevolgd hadden, bijvoorbeeld een jaar Kinesitherapie of Taal- en Letterkunde, maar die studie niet afwerkten en overgingen naar Psychologie. Vijf personen werkten al een andere studie af en behaalden hun diploma, bijvoorbeeld voor verpleegkunde of diergeneeskunde. Het merendeel had reeds werkervaring: 94% van de deelnemers deed al eens een studentenjob. 64% van hen werkte in totaal al 22

27 tussen de een en 60 dagen, zes personen hadden nog nooit vakantiewerk gedaan en de overige deelnemers werkten al meer dan 60 dagen. Er werd bewust gekozen om studenten te ondervragen. De reden hierachter is tweeledig. Ten eerste was er een SJT voor academische vaardigheden beschikbaar. Ten tweede zijn studenten makkelijk aanspreekbaar op de universiteit. Het leek interessant om de studenten persoonlijk aan te spreken zodat ze meer bereid waren de enquête in te vullen. Dit idee werd mogelijk gemaakt via begeleiding op de universiteit, waardoor er enkele presentaties mochten gegeven worden over dit onderzoek. Er werd gekozen om enkel deelnemers eerste bachelor psychologie te ondervragen of studenten die meerdere vakken uit eerste bachelor psychologie volgen. De reden hierachter is dat er verwacht wordt dat alle hypotheses getoetst kunnen worden met deze steekproef. Het eerste idee was om zowel bachelor- als masterstudenten te ondervragen, dit idee kreeg echter weinig navolging door de praktische haalbaarheid: masterstudenten hebben minder interesse in enquêtes over studiemethode, hierdoor werd weinig respons verwacht. Daarom werd gekozen om het onderzoek te richten op studenten eerste bachelor. Procedure Er werd participatie gevraagd via mail aan 956 eerstejaarsstudenten. Uit die groep werd aan 240 studenten meer uitleg verschaft met een persoonlijke presentatie. In de presentatie werd duidelijk aangegeven dat de enquête doorging in het kader van een masterproef en de studenten indien gewenst (i.e. vrijwillig) mochten deelnemen. Tijdens de presentatie werd de nadruk gelegd op de baat voor de studenten, ze kregen na de enquête namelijk tips voor een goede studiemethode. De presentaties gingen door aan het begin van een verplicht werkcollege voor het vak sociale psychologie. Er werd gebruik gemaakt van acht presentaties, aangezien de groep van 240 studenten in acht groepen verdeeld was. Deze presentaties gingen door in november 2016: twee presentaties op dinsdagnamiddag, twee presentaties op vrijdagvoormiddag en dit gedurende twee weken. Tijdens de korte presentatie over dit onderzoek werd verteld dat de studenten een mail zouden krijgen met een uitnodiging voor deelname. Bovendien vulden deze studenten verplicht de intelligentievragenlijst in waarna de resultaten gelinkt werden door een code die genereerd werd. De overige 716 eerstejaarsstudenten, met name aan wie geen persoonlijk presentatie werd gegeven, werden enkel online (i.e. 23

28 via ) uitgenodigd voor deelname aan het onderzoek. Er waren 17 studenten die de enquête bekeken maar geen enkele vraag invulden. Aan deze studenten werd na een week een mail gestuurd ter herinnering, maar hier kwam geen respons op. Deze enquêtes werden niet opgenomen in de data-analyse. Tot slot namen 89 studenten (9.3%) vrijwillig deel aan het onderzoek. De interne validiteit wordt onder controle gehouden bij gebruik van de juiste methodologische testen, maar er zal geen causaliteit zijn. Met betrekking tot externe validiteit kunnen we zeggen dat de steekproef veralgemeenbaar is naar andere eerstejaarsstudenten van een universitaire richting. Materiaal Persoonlijkheid. De variabele persoonlijkheid wordt gemeten met de IPIP Goldborg, International Personality Inventory (Goldberg, 1999). Deze persoonlijkheidsvragenlijst bevat 50 items en is vrij beschikbaar. In dit onderzoek werden alle 50 items opgenomen. De antwoordschaal is een 5-puntenschaal van 1 (helemaal niet van toepassing) tot 5 (helemaal van toepassing). Enkele voorbeelditems zijn: Ik maak gemakkelijk vrienden, Ik ben meestal ontspannen, Ik ben geïnteresseerd in mensen. De test is ontworpen om de BIG 5 persoonlijkheidstrekken te meten, met name Extraversie, Neuroticisme, Aangenaamheid, Openheid en Consciëntieusheid, en elke schaal bevat 10 items. Na afname in de huidige steekproef werden factoranalyses en betrouwbaarheidsanalyses toegepast. Er werd een Principale As Factor extractiemethode uitgevoerd met 50 persoonlijkheidsitems op een orthogonale rotatie (varimax). De Keiser-Meyer-Olkin Meting was 0.63, wat gebaseerd op Field (2009) matig betekent. De Bartlett s test van sphericiteit (χ $ %$$& = , p < 0.001) is significant, wat inhoudt dat de correlaties tussen items groot genoeg zijn om de extractiemethode uit te voeren. Na het uitvoeren van een factoranalyse op de 50 items van de persoonlijkheidstest werd ondervonden dat tien componenten een eigenwaarde hadden groter dan 1 en samen 60.65% van de variantie verklaarden. Uit het scree-plot kon echter afgeleid worden dat het inflexiepunt op 5 lag. Op basis van veelvuldig onderzoek in de literatuur kunnen we besluiten dat er vijf factoren zijn in de persoonlijkheidstest. Als we ervoor kiezen om een factoranalyse uit te voeren met vijf vooraf bepaalde factoren zien we dat deze samen 45.5% van de variantie verklaren. Het is wel zo dat geen enkel item problematisch is of dubbel laadt 24

29 wanneer er voor vijf factoren wordt gekozen. Verder waren 24 van de 50 items negatief geschaald en werden bijgevolg gerecodeerd. Er werd een analyse uitgevoerd om de interne consistentie Cronbach s alpha als indicatie voor betrouwbaarheid te berekenen. Het persoonlijkheidsconstruct had een alpha waarde van 0.82, wat wordt beschouwd als goed. Algemene intelligentie. De variabele algemene intelligentie werd gemeten met een verkorte versie van de Wilde Intelligence Test (Kersting, Althoff & Jäger, 2008). Deze test meet non-verbale intelligentie met o.a. dimensies logisch redeneren, abstract redeneren, verwerkingssnelheid en visuo-spatiaal inzicht. De intelligentietest bevat twee delen: een inleiding met 4 voorbeeldvragen, gevolgd door de test met 45 vragen. De deelnemer krijgt maximum 12 minuten om zoveel mogelijk vragen zo goed mogelijk in te vullen. Hieruit volgt een algemene score, berekend als de som van alle itemscores die bestaan uit een 1 voor een correct antwoord en een 0 voor een fout antwoord, wat een maximumscore van 45 geeft. Een voorbeelditem is Welke zijn de volgende letters in deze letterreeks? a b b c d d e f?. De helft van de vragen bevat meerkeuzeantwoorden, met ofwel 5 ofwel 3 mogelijkheden, bij de andere vragen moet men zelf een cijfer ingeven. De 240 eerstejaarsstudenten aan wie een persoonlijke presentatie werd gegeven vulden verplicht de intelligentievragenlijst in, dat gebeurde in het kader van het vak sociale psychologie. Hun resultaten werden anoniem doorgegeven in het kader van deze masterproef en konden gelinkt worden door een code die genereerd werd. De andere deelnemers vulden de IQ-test vrijwillig in tijdens dit onderzoek. Er werd per deelnemer een score op 45 berekend. De scores van de deelnemers konden zo vergeleken worden met de normgegevens. Het betreft de normgroep jaar, WIT-S. We kunnen een klokverdeling constateren uit dit onderzoek, zie figuur 8. De meeste deelnemers, 60.8%, hebben een gemiddelde algemene intelligentie, ze hebben namelijk een score tussen 14 en 22 (op een maximumscore van 45). 8.5% van de deelnemers behaalt een algemene intelligentie die vergeleken met de normgroep benedengemiddeld, laag of zeer laag is. 30.7% scoort hoger dan gemiddeld, wat we kunnen opsplitsen in 22.2% met een normklasse van bovengemiddeld of hoog, en 8.5% scoort zeer hoog in vergelijking met de norm. Verder ontbreken er gegevens voor acht van 89 deelnemers. Er werd een analyse uitgevoerd om de interne consistentie Cronbach s alpha te 25

30 berekenen. Cronbach s alpha is 0.69, wat wordt beschouwd als net onder de algemene cut-off score van 0.70 voor een voldoende betrouwbaarheid. Figuur 8. De algemene intelligentie van participanten per normklasse (18-34 jaar, WIT- S) naar het aantal participanten (frequenties) en het percentage participanten (percentage) per normklasse (zeer laag, laag, benedengemiddeld, gemiddeld, bovengemiddeld, hoog, zeer hoog). 26

31 SJT-prestatie. Deze studie gebruikt een bestaande Situational Judgment test (SJT). De SJT voorspelt academische vaardigheden en bevat 23 items. Er werd gewerkt met een meerkeuze antwoord systeem met 4 antwoordmogelijkheden. Elk item vraagt aan de studenten hoe ze zouden reageren in de situatie, een gedragsinstructie Wat zou je doen? (would do) werd toegevoegd. De SJT meet twee componenten: algemene kennis en specifieke kennis ( contextual knowledge and task knowledge ; Bess & Mullins, 2002). De items presenteren situaties over teamwerk, studeren voor examens, organiseren, opdrachten en taken maken, interpersoonlijke vaardigheden, sociale verantwoordelijkheid, doorzettingsvermogen en integriteit. De SJT is gebaseerd op Bess en Mullins (2002) en werd door Peeters en Lievens (2005) vertaald naar het Nederlands. Een scoringssleutel op basis van SME s (tien masterstudenten) werd ontwikkeld en een scoringsmethode van resp. +1 en -1 voor het beste en slechtste antwoord en een 0 voor de andere twee opties, gebaseerd op de scoringsmethode van Motowidlo et al. (1990). De SJT en de scoringssleutel werd gedeeld in het kader van deze masterproef, dezelfde SJT werd in 2015 gebruikt door een masterproefstudent van de universiteit Gent (Flament, 2015). Een Principale As Factor extractiemethode werd uitgevoerd met 23 SJT-items op een orthogonale rotatie (varimax). De Keiser-Meyer-Olkin Meting was 0.51, wat gebaseerd op Field (2009) matig betekent. De Bartlett s test van sphericiteit (χ $ $&4 = , p < 0.001) is significant, wat inhoudt dat de correlaties tussen items groot genoeg zijn om de factoranalyse uit te voeren. Na het uitvoeren van een factoranalyse werd ondervonden dat 5 componenten een eigenwaarde hadden groter dan 1 en samen 33.55% van de variantie verklaarden. Uit het scree-plot kon echter afgeleid worden dat het inflexiepunt op 2 ligt. We verwachten twee factoren op basis van de literatuur en opzet van de test, namelijk items over algemene versus specifieke kennis. We voeren een bijkomende factoranalyse uit met twee factoren, deze verklaren samen maar 14.62% van de variantie. We zien dat 11 van de 23 items dubbel laden. Er werd een analyse uitgevoerd om de interne consistentie Cronbach s alpha te berekenen, waaruit we kunnen afleiden dat het construct een lage tot matige betrouwbaarheid heeft namelijk Verder kan de betrouwbaarheid niet veel hoger worden door het verwijderen van een item. 27

32 Algemene kennis (ITPs). Een SJT meet de totale procedurele kennis, wat opgesplitst kan worden in algemene kennis en specifieke kennis. Algemene kennis ontstaat door algemene socialisatieprocessen alsook door kennis van de effectiviteit van persoonlijkheidstrekken, geleerd via ervaring met verschillende situaties. Verder is het zo dat deze SJT, die academische vaardigheden meet, twee componenten onderscheidt: interpersoonlijke vaardigheden en taakkennis ( contextual knowledge and task knowledge ; Bess & Mullins, 2002). Aangezien algemene kennis onder andere kennis is over welke persoonlijkheidstrekken het effectiefst zijn in een bepaalde situatie, wordt algemene kennis (ITPs) in deze studie geoperationaliseerd als de 12 items uit de SJT die de component interpersoonlijke vaardigheden meten (zie figuur 9). Een voorbeelditem met antwoordmogelijkheden: Je bent een student in een les. Een andere student komt naar je toe en vraagt om je lesnota s te lenen, vermits hij niet naar de les kon komen. Je geeft hem de nota s. Later die maand gebeurt hetzelfde en opnieuw geef je je nota s aan de student. Deze situatie blijft voortduren en uiteindelijk geraak je geërgerd, vermits je klasgenoot zijn eigen werk zou moeten doen en naar de les zou moeten komen, en niet op jou vertrouwen om voor hem nota s te nemen. Hoe ga je te werk? a. je legt aan de student uit dat je niet begrijpt wat het probleem is om naar de les te komen, maar dat je zoveel mogelijk hebt geholpen als je kan (0); b. je blijft je lesnota s aan hem uitlenen (- 1); c. je deelt de student mee dat je je lesnota s nog één maal aan hem zal geven, maar waarschuwt hem dat het de laatste keer zal zijn (0); d. je praat met de student en achterhaalt waarom hij niet naar de les komt, zodat je de beste manier kan uitzoeken om vanaf nu met de situatie om te gaan (+1). Er werd een analyse uitgevoerd om de interne consistentie Cronbach s alpha als indicatie voor betrouwbaarheid te berekenen. Cronbach s alpha is 0.43, wat wordt beschouwd als een lage betrouwbaarheid. Specifieke kennis. Specifieke kennis gaat over hoe je je effectief moet gedragen in specifieke situaties, bijvoorbeeld de beste manier om een examen af te leggen. Volgens Motowidlo et al. (2006a) kan men specifieke kennis enkel leren door ervaring met een specifieke job, terwijl men algemene kennis over trekeffectiviteit kan leren binnen en buiten de werksituatie. Specifieke kennis gaat over hoe je je effectief moet gedragen in specifieke situaties en via specifieke jobervaring kan men uitzonderingen leren op de algemene regels. Specifieke kennis ontstaat dus door ervaring met relevante 28

33 situaties en kan men enkel leren door ervaring met een specifieke taak of job. Om die reden wordt specifieke kennis in deze studie geoperationaliseerd als de 11 items uit de SJT die de component taakkennis meten (zie figuur 9). Zowel specifieke kennis als taakkennis geven bijvoorbeeld aan hoe je een goede planning opmaakt of welke leerstof je beslist in te studeren, steeds met het doel om goede punten te behalen op examens. Een voorbeelditem met antwoordmogelijkheden: Tijdens het studeren voor een examen, vind je dan dat je de beste resultaten behaalt wanneer: a. je op voorhand begint te plannen en tijd ervoor vrijmaakt. (+1); b. je werkt in een nette en ordelijke omgeving, zelfs wanneer dit betekent dat je daardoor wat tijd verliest bij het studeren. (0); c. je wacht tot je echt gemotiveerd bent vooraleer je je bezig houdt met de belangrijkste studietaken. (0); d. je tot de laatste dagen wacht om te studeren, omdat je dan beseft dat je het nu MOET gedaan krijgen. (-1). Er werd een analyse uitgevoerd om de interne consistentie Cronbach s alpha als indicatie voor betrouwbaarheid te berekenen. Cronbach s alpha is 0.48, wat wordt beschouwd als een lage betrouwbaarheid. Het verwijderen van een item kan deze betrouwbaarheid niet verhogen. Merk op dat deze studie ervoor kiest om de interne consistentie Cronbach s alpha als indicatie voor betrouwbaarheid te rapporteren, alhoewel er in de literatuur dikwijls discussie was of deze maat gebruikt kan worden bij een niet-homogene of heterogene SJT. In de literatuur argumenteert men echter dat rapportage op basis van deze maat mag, vooral als er geen test-retest betrouwbaarheidsmaat mogelijk is (Campion et al., 2014; Whetzel & McDaniel, 2009). Figuur 9. Uit de theorie wordt verondersteld dat de SJT twee componenten meet, algemene kennis en specifieke kennis. Deze componenten werden geoperationaliseerd in de SJT door de componenten contextual knowledge en task knowledge (Bess & Mullins, 2002). 29

34 Specifieke ervaring. De variabele specifieke ervaring werd berekend op basis van twee vragen. De ene vraagt peilt naar de behaalde examenresultaten in het middelbaar, de andere vraag naar scores in het laatste middelbaar. Een voorbeeldvraag is: Hoe hoog was je score op examens/rapporten uit het middelbaar?. Er waren vier antwoordmogelijkheden: (1) tussen 40% en 55%; (2) tussen 56% en 70%; (3) tussen 71% en 85%; (4) tussen 86% en 100%. De interne consistentie Cronbach s Alpha is 0.63, wat wordt beschouwd als een matige betrouwbaarheid. De grootste groep deelnemers (49.4%) geeft een resultaat aan tussen 71% en 85%. Bovendien bleek dat men een hoger gemiddeld cijfer rapporteert van het laatste middelbaar in vergelijking met de behaalde cijfers gedurende de zes jaren. We kunnen twee groepen onderscheiden: deelnemers met lage tot gemiddelde scores in het middelbaar, d.w.z. tussen 40 en 70%, en deelnemers met hoge punten in het middelbaar, d.w.z. tussen 71 en 100%. De eerste groep benoemen we als lage GPA (46.4%) en de tweede groep als hoge GPA (53.6%). GPA verwijst naar grade point average, het gemiddelde van de door de student gerapporteerde rapportcijfers (zie figuur 10). Figuur 10. Specifieke ervaring werd geoperationaliseerd door punten in de middelbare school en er werden twee groepen gedefinieerd: lage GPA en hoge GPA. GPA verwijst naar grade point average, het gemiddelde van de door de student gerapporteerde rapportcijfers. 30

35 Algemene ervaring. De variabele algemene ervaring wordt berekend op basis van drie gestelde vragen, allen gaan ze over de mate waarin men sociaal contact zoekt. We redeneerden dat het deelnemen aan sociale activiteiten (e.g. naar een jeugdvereniging gaan) positief zouden kunnen bijdragen aan het ontwikkelen van algemene ervaring omdat het een opportuniteit voor leren biedt om meer algemene kennis te verkrijgen over wanneer het uitdrukken van een trek meer effectief is en wanneer het minder effectief is. Er wordt gepeild hoe vaak de deelnemers al opportuniteiten hadden om bij te leren over sociaal gedrag. De drie vragen zijn: Ik zat in de scouts, Chiro of andere jeugdbeweging, Ik ga regelmatig weg met vrienden, Ik ging in het middelbaar graag op groepsreis of naar een evenement. Bij elke vraag kreeg men vier antwoordmogelijkheden die weinig, matig, veel tot zeer veel activiteit uitdrukken. Uit de drie vragen werd de schaal algemene ervaring geconstrueerd. De interne consistentie Cronbach s Alpha is 0.47 wat een lage betrouwbaarheid uitdrukt. Tijdens de opzet van de studie werd nog een bijkomstige vraag gesteld, Ik deed vroeger/ik doe nu een teamsport, deze werd echter weggelaten uit de analyse omdat ze de betrouwbaarheid nog verlaagde. De variabele algemene ervaring heeft een minimum van 1 en een maximum van 4, de mediaan ligt op 2.98 met een standaarddeviatie van De meeste participanten gaan graag af en toe, bv. Eenmaal per week, weg met vrienden of naar een uitstap. Verder merken we dat 40% van de deelnemers nooit in een jeugdbeweging zat maar 25% wel al meer dan vijf jaar in een jeugdbeweging. Studentenjob. Deze studie wou nagaan of ervaring opgedaan via een studentenjob (e.g. vakantiewerk of weekendwerk), wat gezien kan worden als een opportuniteit voor leren, leidt tot de ontwikkeling van accuratere ITPs. Effecten van ervaring veronderstellen dat kennis kan ontwikkeld worden als personen worden blootgesteld aan situaties die opportuniteiten voor leren bieden. Wanneer men meer opportuniteiten heeft, zal men dus ook meer algemene kennis verkrijgen over wanneer het uitdrukken van een trek meer effectief is en wanneer het minder effectief is. De variabele studentenjob wordt gemeten aan de hand van de vraag: Deed je al eens een vakantiejob? Scoor het aantal dagen dat je al werkte (in totaal). Er zijn zes antwoordmogelijkheden: Ik deed nog geen vakantiejob ; 1 tot 30 dagen ; 31 tot 60 31

36 dagen ; 61 tot 120 dagen ; 121 tot 240 dagen en meer dan 240 dagen. We zien dat vijf personen nog geen studentenjob deden (6%). De overige deelnemers (94%) deden al een studentenjob, waarvan 50% al in verschillende functies of sectoren. Novices en ervaren studenten. Het vergelijken van novices met ervaren studenten werd berekend na het stellen van een open vraag: Aantal jaren hogere studies (en in welke richting)?. De deelnemers hadden tussen de nul en acht jaar ervaring in een hogere studie. Hieruit konden duidelijk twee groepen afgeleid worden: 65 personen hadden weinig ervaring met een hogere studie, zij studeerden pas sinds enkele maanden aan de universiteit. Die groep zullen we verder novices noemen aangezien ze minder dan een jaar ervaring hebben met hogere studies De resterende 18 personen noteerden dat ze eerder al een andere studie gevolgd hadden. 13 personen uit deze groep volgden bijvoorbeeld één jaar Kinesitherapie of Taal- en Letterkunde maar werkten die studie niet af en gingen over naar Psychologie. Vijf personen werkten al een andere studie af en behaalden hun diploma, bijvoorbeeld voor verpleegkunde of diergeneeskunde. Deze groep van 18 personen zullen we vanaf nu ervaren studenten noemen aangezien ze tussen een en acht jaar ervaring hadden met een hogere studie. 32

37 Resultaten Analyses Er werd een Structureel Vergelijkingsmodel ( Structural Equation Model of SEM ) getoetst. Dat model werd a priori opgesteld op basis van de getoetste hypotheses (zie figuur 1). De pasmaten X $, CFI, TLI en RMSEA worden bekeken om de fit van het model na te gaan (Bentler, 1990; Tucker & Lewis, 1973; Steiger et al, 1990). Bij het invoeren van het volledige model met SEM in R (zie figuur 1) blijkt er nonconvergentie op te treden, wellicht omdat steekproefgrootte van de studie niet groot genoeg was (Anderson & Gerbing, 1998). Dat probleem kon niet opgelost worden door imputatietechnieken van missing data. Door de nonconvergentie konden de correlatieanalyses niet gebeuren via een SEM-model en konden bijgevolg de pasmaten voor het volledige model niet verder bekeken worden. Wanneer we het linker- en rechterdeel van het model apart bekijken (met andere woorden: apart voor de onderliggende kennisconstructie van algemene versus specifieke kennis), wijzen de pasmaten op een goede fit: X $ is niet significant (p > 0.05), CFI en TLI hebben een waarde groter dan 0.95 en de RMSEA is kleiner dan Aangezien dit voldaan is kan verder gegaan worden met het bekijken van de regressiecoëfficiënten en mediatieanalyses. Voor de mediatieanalyses werd bevestigd dat de voorwaarden volgens Baron en Kenny (1986) voldaan zijn, behalve voor hypothese 3b: de onafhankelijke variabele (algemene ervaring) heeft geen invloed op zowel mediator als afhankelijke variabele, we zien dan ook voor hypothese 3b geen ondersteuning. Bij hypothese 2b werden de voorwaarden wel voldaan, de onafhankelijke variabele (algemene intelligentie) heeft wel een invloed op de mediator (ITP) alhoewel niet op de afhankelijke variabele (SJT-prestatie), wat mogelijk is door het suppressie effect (Baron & Kenny, 1986). Vervolgens werden de totale effecten bekeken en de Sobel test uitgevoerd. Uit de Sobel testen kunnen indirecte en directe effect afgeleid worden, alsook de gemedieerde proportie. Verder wordt er vaak opgemerkt dat de Sobel test conservatief is, maar we zien toch enkele significante mediatie effecten. 33

38 De gemiddeldes, standaarddeviaties en correlaties kunnen teruggevonden worden in tabel 1. Eerst noteren we de significante en niet-significante correlaties, waarna wordt overgegaan tot de hypothesetoetsing. Uit het model komen positieve significante correlaties tussen: SJT-prestatie met ITPs (r =.78, p < 0.01); SJTprestatie met specifieke kennis (r =.80, p < 0.01); SJT-prestatie met specifieke ervaring (r =.27, p < 0.05); specifieke kennis met specifieke ervaring (r =.24, p < 0.05); ITPs met specifieke kennis (r =.27, p < 0.05); ITPs met persoonlijkheid (r =.34, p < 0.01); ITPs met algemene intelligentie (r =.24, p < 0.05) en tot slot SJTprestatie met persoonlijkheid (r =.28, p < 0.05). Verschillende relaties blijken niet significant. Algemene ervaring blijkt niet significant te correleren met ITPs (r =.05, p > 0.05) en met studentenjob (r =.08, p > 0.05). Verder correleert algemene intelligentie niet significant met SJT-prestatie (r =.22, p > 0.05). Missing data. Er werden enkele analyses bekeken om missing data na te gaan. Eerst en vooral was het duidelijk dat 17 studenten (17 personen van 106, of 16%) de enquête bekeken maar geen enkele vraag invulden. Deze personen werden verder niet meer opgenomen in de data-analyse. Wanneer we de analyse opnieuw uitvoeren, merken we bij de variabele Studentenjob dat er 20.2% missing variabelen zijn. Dit blijkt te komen door de opmaak van de internetenquête: deelnemers die nog geen studentenjob deden, mochten 1 vraag overslaan. Hun antwoorden kunnen dus worden aangevuld. Als we nu de analyse opnieuw uitvoeren, zien we dat er bij 10 cases minimum 1 datapunt niet werd ingevuld, dit geeft een totaal van 5.76% missing data. Verder is het opvallend dat de missing data vooral optreedt bij de laatste vragen: het lijkt dat de deelnemers stopten met het invullen van de test, misschien omdat ze de test te lang vonden duren. 34

39 Tabel 1. Univariate statistieken en Pearson correlaties (N = 89) M SD Persoonlijkheid Algemene intelligentie Algemene ervaring Algemene kennis (ITPs) **.24* SJT-prestatie * ** 6. Specifieke ervaring * 7. Specifieke kennis *.80**.24* 8. Studentenjob p < 0.05, p < 0.01 Persoonlijkheid op 5-punten Likert schaal; algemene intelligentie als een score op 45; specifieke kennis, ITP en SJT-prestatie als de som van 1, 0 of -1; studentenjob op een 6- punten schaal; specifieke ervaring op een 4-punten schaal; algemene ervaring als de som van drie vragen op een 4-punten schaal. 35

40 Hypothesetoetsing De volgende relaties werden onderzocht: de relatie tussen enerzijds algemene ervaring en anderzijds specifieke ervaring met SJT-prestatie; de relatie van persoonlijkheid, algemene intelligentie, algemene ervaring en studentenjob met ITPs; algemene kennis (ITPs) als mediator voor de relatie tussen ten eerste algemene ervaring en SJT-prestatie, ten tweede persoonlijkheid en SJT-prestatie en ten derde algemene intelligentie met SJT-prestatie; specifieke kennis als mediator tussen specifieke ervaring en SJT-prestatie. De hypotheses 1a, 2a, 3a, 3c en 4a werden getoetst met een bivariate correlatieanalyse (zie tabel 1 en figuur 11). De hypotheses 1b, 2b, 3b en 4b veronderstellen een mediatie effect uitgevoerd met de Sobel test. Figuur 11. Resultaten van de hypothesetoetsing gebaseerd op het model van Motowidlo et al. (2006a, 2006b, 2010). 36

41 Hypothese 1a suggereert dat persoonlijkheid gecorreleerd is met ITPs. We vinden een significante positieve correlatie tussen persoonlijkheid en ITPs (r =.34, p < 0.01) dus hypothese 1a wordt ondersteund. Hiervoor werd de correlatie tussen de globale persoonlijkheidsmaat en de globale ITP-maat bekeken. Na het uitvoeren van een hiërarchische regressieanalyse bleek er incrementele validiteit van ITPs boven persoonlijkheid (zie figuur 14). Persoonlijkheid verklaart 7.8% variantie in SJT-prestatie terwijl ITPs 62% variantie verklaren bovenop persoonlijkheid in de SJTprestatie. Als we kijken naar de literatuur zien we dat Miller et al. (2008) en Oostrom et al. (2012) gelijkaardige resultaten bekomen. Hypothese 1b suggereert dat de positieve relatie tussen persoonlijkheid en SJTs wordt gemedieerd door ITPs (zie figuur 2). Er is een significant indirect effect (ab =.08, p < 0.01) maar geen significant direct effect (c A =.006, p > 0.05). Hypothese 1b wordt dus bevestigd: er treedt complete mediatie op. Bovendien is de gemedieerde proportie 93%, d.w.z. 93% van het totale effect van persoonlijkheid op procedurele kennis wordt verklaard door ITPs. Hypothese 2a suggereert dat algemene intelligentie gecorreleerd is met ITPs. We vinden een significante positieve correlatie tussen algemene intelligentie en ITPs (r =.24, p < 0.05) dus hypothese 2a wordt ondersteund. Hypothese 2b suggereert dat de positieve relatie tussen algemene intelligentie en SJTs wordt gemedieerd door ITPs (zie figuur 3). Er is een significant indirect effect (ab =.07, p < 0.05) maar geen significant direct effect (c A =.01, p > 0.05). Hypothese 2b wordt dus bevestigd: er treedt complete mediatie op. De gemedieerde proportie is 8%, d.w.z. 8% van het totale effect van algemene intelligentie op procedurele kennis wordt verklaard door ITPs. 37

42 Hypothese 3a suggereert dat er een positieve relatie is tussen algemene ervaring en SJT-prestatie. We vinden een niet significante positieve correlatie tussen algemene ervaring en SJT-prestatie (r =.03, p > 0.05) dus hypothese 3a wordt niet ondersteund. Hypothese 3b suggereert dat de positieve relatie tussen algemene ervaring en SJTs wordt gemedieerd door ITPs (zie figuur 5). Er is geen significant indirect effect (ab =.07, p > 0.05) en ook geen significant direct effect (c A =.14, p > 0.05). Hypothese 3b wordt niet bevestigd: er treedt geen mediatie op. Hypothese 3c suggereert dat de variabele studentenjob, een antecedent van algemene ervaring, gecorreleerd is met ITPs. We vinden geen significante correlatie tussen het aantal dagen studentenjob en ITPs (r =.11, p > 0.05). Hypothese 3c wordt niet ondersteund. Hypothese 4a suggereert dat specifieke ervaring (punten uit de middelbare school, grade point average of GPA) een positieve relatie zal hebben met de SJTprestatie. Een significante correlatie r =.27, p < 0.05 wordt gevonden tussen de variabele specifieke ervaring en de SJT-prestatie. Hypothese 4a wordt dus bevestigd. Dit suggereert dat hoge GPA een betere prestatie zullen halen op de SJT dan lage GPA. Dat blijkt inderdaad zo te zijn: hoge GPA behalen een hogere SJT-prestatie M = (4.34 ) dan lage GPA M = (4.3 ). Bovendien blijkt dat verschil significant (t 81 = 2.5, p < 0.05). De groep hoge GPA behaalden dus een significant betere SJT-prestatie dan de groep lage GPA. Hypothese 4b suggereert dat de positieve relatie tussen specifieke ervaring en SJTs wordt gemedieerd door specifieke kennis (zie figuur 7). Er is een significant indirect effect (ab = 1.18, p < 0.01) maar geen significant direct effect (c A =.48, p > 0.05). Hypothese 4b wordt dus bevestigd: er treedt complete mediatie op. Bovendien is de gemedieerde proportie 70%, d.w.z. 70% van het totale effect van specifieke ervaring op procedurele kennis wordt verklaard door specifieke kennis. 38

43 Hypothese 5 suggereert dat novices een even goede SJT-prestatie behalen als experts. In de steekproef zitten 66 novices (personen met weinig ervaring in hogere studies) en 17 ervaren studenten (meer ervaring met het volgen van hogere studies). We zien dat de novices een hogere gemiddelde score behalen op de SJT (novices: M = ; ervaren: M = ; zie figuur 12). De Levene s F (1,97) = 0.00, p > 0.05 is niet significant dus de assumptie van gelijke varianties wordt bevestigd, nadien werd een onafhankelijke t-toets uitgevoerd om te kijken of het verschil tussen de twee groepen significant verschilt. Het verschil tussen novices en ervaren studenten op SJT-prestatie blijkt volgens de t-toets niet significant (t(81) = 1.1, p > 0.05). Het blijkt dus dat novices een even goede SJT-prestatie behalen als ervaren studenten, hypothese 5 wordt bevestigd. Figuur 12. Vergelijking van SJT-prestatie tussen novices en ervaren studenten. (Novices: M = ; ervaren: M = (4.19)). Novices en ervaren studenten doen het even goed op een SJT, de t-toets was niet significant. 39

44 Bijkomende analyses Lage en hoge GPA. We bekijken of personen met weinig specifieke ervaring (lage GPA) meer terugvallen op persoonlijkheid en ITPs voor het beantwoorden van SJT-items. MacKenzie et al. (2010) suggereerden namelijk dat persoonlijkheid sterker gecorreleerd zou zijn met SJTs voor novices dan voor experts, wellicht omdat novices meer terugvallen op hun ITPs (omdat ze geen jobkennis hebben). We onderzoeken dit door de correlaties te bekijken tussen persoonlijkheid en SJTs, apart voor deelnemers met een lage en hoge GPA. Dit wordt bevestigd (zie tabel 3): de correlatie tussen persoonlijkheid en SJTs is groter voor lage r =.54, p < 0.01 dan voor hoge GPA r =.23, p > We zien hetzelfde patroon voor de correlatie met ITPs: de correlatie tussen persoonlijkheid en ITPs is groter voor lage r =.44, p < 0.01 dan voor hoge GPA r =.18, p > Ook de correlatie tussen ITPs en SJTs is groter voor lage r =.79, p < 0.01 dan voor hoge GPA r =.66, p < We kunnen samenvatten dat persoonlijkheid sterker gecorreleerd is met ITPs en SJTs voor participanten met een lage mate aan specifieke ervaring (lage GPA), de assumptie van MacKenzie et al. (2010) wordt ondersteund in het onderzoek. Vervolgens wordt een onafhankelijke t-toets uitgevoerd om te kijken of het verschil tussen lage en hoge GPA significant is. Het verschil tussen lage en hoge GPA blijkt niet significant voor persoonlijkheid (t 82 = 1.2, p > 0.05) en niet significant voor ITPs (t 81 = 1.4, p > 0.05). Het verschil blijkt wel significant voor SJT-prestatie (t 81 = 2.5, p < 0.05), zie ook hypothese 4a. De groep hoge GPA behaalden dus een significant betere SJT-prestatie dan de groep lage GPA. We kunnen besluiten dat participanten met meer specifieke ervaring beter scoorden op de SJT. 40

45 Tabel 3. Lage GPA vallen meer terug op persoonlijkheid en ITPs voor het beantwoorden van SJT-items. Lage GPA Hoge GPA M SD Persoonlijkheid ITPs ** SJT-prestatie **.79** ** p < 0.05, p < 0.01 Novices en experts. De groep novices werd vergeleken met de ervaren studenten. Novices (personen met weinig ervaring in hogere studies) bleken een even goede SJT-prestatie te behalen als ervaren studenten (meer ervaring met het volgen van hogere studies). Nadien werden hun scores op de component algemene en specifieke kennis bekeken: zowel novices als ervaren studenten blijken een ongeveer even hoge score te behalen op deze twee componenten, de onafhankelijke t-toets toont ook aan dat het verschil tussen beide groepen niet significant is (ITPs: t 81 =.88, p > 0.05; specifieke kennis: (t 81 =.80, p > 0.05). Nadien bekijken we het verschil tussen novices en ervaren studenten in verklaarde variantie op de SJT-prestatie. Na het uitvoeren van een regressieanalyse bleek de incrementele validiteit van verklaarde variantie, bovenop persoonlijkheid en algemene intelligentie voor het voorspellen van SJT-prestatie, tussen novices en ervaren studenten verschillend voor algemene en specifieke kennis. We zien dat novices meer beroep doen op algemene kennis (ITPs; 57%) dan op specifieke kennis (35%) voor het invullen van SJT-items, terwijl ervaren studenten op allebei evenveel beroep doen (resp. 46 en 50% variantie in SJT-prestatie wordt verklaard door ITPs en specifieke kennis). Samenvattend, het blijkt dus dat novices in het algemeen een even goede SJT-prestatie behalen als ervaren studenten, beide groepen behaalden ook een ongeveer even goed score op algemene en specifieke kennis (zie figuur 13), tot slot blijkt wel dat novices meer beroep doen op ITPs dan op specifieke kennis (zie figuur 14). 41

46 Figuur 13. Novices en ervaren studenten behalen een ongeveer even goede prestatie op algemene en specifieke kennis. Note: De vergelijking werd gemaakt tussen novices (de participanten studeren pas een aantal maanden aan de universiteit) en ervaren studenten (de participanten volgden al een andere richting aan de hogeschool of universiteit). De SJT over academische vaardigheden meet twee componenten: algemene kennis (e.g. kennis over welke persoonlijkheidstrekken het effectiefst zijn in een bepaalde situatie) en specifieke kennis (e.g. de beste manier om een planning te maken of een examen af te leggen, geleerd door ervaring met een specifieke taak). Figuur 14. Novices doen meer beroep op algemene kennis (ITPs) dan op specifieke kennis. Na het uitvoeren van een regressieanalyse bleek er namelijk meer incrementele validiteit bij novices voor algemene kennis (ITPs); bij ervaren studenten bleek er meer incrementele validiteit voor specifieke kennis. 42