Situational Judgement Tests Alain Hosdey en Michael Tack
Inhoud Inleiding Situational Judgement Tests Demo Omschrijving The making of Kwaliteit van SJTs Balans Tips voor doe het zelvers en concurrenten Stellingen en discussie
Inleiding Alain Hosdey en Michael Tack Adforum Oefening
Inleiding Alain Hosdey en Michael Tack Adforum Uitgangspunten: Innovatief Wetenschappelijk Praktijkgericht Activiteiten: Ontwikkeling HR-tools Audit Varia
Relevante projecten die momenteel lopen:
Oefening VRAAG: WAT DOE JE? Je bent personeelsverantwoordelijke van een grote firma.het is begin september. Op de camerabeelden is te zien dat een van de administratieve medewerksters een viertal cursusblokken en wat balpennen in haar tas steekt. Wanneer ze hierover wordt aangesproken door de bewaking, geeft ze toe dat ze het materiaal voor private doeleinden wou gebruiken. Ze is alleenstaande moeder met twee kinderen, zo zegt ze en september is een dure maand.extra schoolgerief komt goed van pas. In het arbeidsreglement staat: Diefstal = ontslag.
Oefening Stellingen: Bent u akkoord? 1) Uit de reactie die iemand geeft op de situatie, leren we iets over die persoon. 1) Die kennis over die persoon is nuttig om te voorspellen (met mate van onzekerheid) hoe iemand zal reageren in een professionele context. 1) Iemands ervaring heeft een invloed op wat iemand al dan niet een goede reactie vindt. 1) In verschillende organisaties zal je geconfronteerd worden met verschillende professionele uitdagingen.
Oefening De bovenstaande stellingen vormen de uitgangspunten om te gaan werken met testen in het algemeen en SJTs in het bijzonder.
Situational Judgement Tests Demo Omschrijving The making of Kwaliteit Tips voor doe het zelvers en concurrenten Balans
SJT- DEMO Tekstueel: Selor Multimediaal: Vlaamse Overheid 10
Demo: Tekstueel SITUATIE: Anita is een grote flapuit. Dit zorgt vaak voor hilarische situaties, maar soms kwetst ze mensen hiermee. Tijdens de koffiepauze maakt ze een mopje over dikke mensen. Carla, die zelf nogal stevig is gebouwd, voelt zich gekwetst en loopt kwaad naar buiten met de woorden Anita, jij kan toch echt lomp ziin. Je denkt beter twee keer na voor je iets zegt!. Henri, een derde collega, staat naast Anita wanneer dit gebeurt. Anita: Zeg, Henri, Carla is toch ook snel op haar tenen getrapt, hé! Henri reageert als volgt: 11
Demo: Tekstueel Hoe gepast vindt u elk van volgende reacties? Ja, inderdaad, ze kan niet tegen een grapje. Nogal flauw van haar, vind ik. En toch moet ik haar geen ongelijk geven, hoor. Soms kan je nogal scherp overkomen met je grappen. Ach, dat waait wel weer over. Ze zal waarschijnlijk een slechte dag hebben vandaag. Misschien moet je even naar haar toe gaan om te zien of wel alles in orde is met haar. 12
Demo: Multimediaal item Demo Vlaamse Overheid (Generieke proef) 13
Omschrijving Situational Judgement Tests geven ons een beeld van hoe kandidaten situaties inschatten waarmee ze worden geconfronteerd in een professionele context. Kandidaten worden geconfronteerd met een aantal werkgerelateerde uitdagingen en worden gevraagd een oordeel te geven over een aantal beschreven reacties. (Eigen definitie op basis van verschillende definities uit de literatuur) 14
Overzicht verloop test Kandidaat neemt plaats voor PC Instructies Oefenitem Kandidaat scoort antwoordalternatieven op gepastheid Kandidaat bekijkt antwoordalternatieven Filmpje van professionele situatie speelt af of kanidaat leest de situatie Opslaan resultaten Verwerking van de resultaten Resultaat: Score en feedback
The making of Typisch traject om SJT te maken: Incl. keuzes die moeten worden gemaakt In samenspraak met de opdrachtgever (i.c. Selor) 16
The making of Beslissing 1: Wat willen we meten? Optie 1: P-O fit op gedrags- niveau(klassieke benadering)
The making of Beslissing 1: Wat willen we meten? Optie 2: Competenties Aanbieden van: Cases Goede reacties (= indien competentie beheerst) Slechte reacties (= indien competentie niet beheerst)
The making of Beslissing 1: Wat willen we meten? Optie 3: Ethisch verantwoord gedrag (Recent) Aanbieden van: Cases Goede reacties (= indien men ethisch handelt) slechte reacties (= indien men niet ethisch handelt) = Experimenteel Valkuilen: sociale wenselijkheid, helderheid ethische normen, doorzichtigheid situaties Experimenten afwachten
The making of Keuze die we maakten samen met Selor: Meten van competenties aan de hand van confrontatie van kandidaat met herkenbare situaties voor federale ambtenaren
The making of Beslissing 2: Hoe gaan we kritische incidenten genereren? Via workshops/interviews in organisatie Via eigen ervaring en inspiratie Werkwijze bij dit project: verschillende bronnen van input: Workshops Interviews Eigen ervaring, voorgelegd aan Selor
The making of Kritische incidenten sorteren: Samenvoegen gelijkaardige voorvallen Elimineren van te specifieke situaties (bijvoorbeeld te specifiek voor één FOD)
The making of Ontwikkeling items (situaties) Zoeken van een balans tussen: Context niet té specifiek voor één categorie van ambtenaren (probleem van voorkennis) Context niet té specifiek voor één soort functies Herkenbaar voor externen, maar geen context die typerend is voor private sector
The making of Ontwikkeling items Indien verfilmd: aandachtspunten: Professionele filmploeg Professionele acteurs die Niet (te) bekend zijn Niet te geschoold zijn Ideaal= trainingsacteurs Verregaande aandacht voor non-verbale elementen (in scripts en regie) Rigoureusheid als consultant: Voor jezelf Voor anderen
The making of Beslissing 3: Welke instructies gebruik je? Inhoud: Peilen naar: Inzicht? (Hoe gepast vindt u deze reacties?) Gedrag? (Wat zou je doen?) Hoe: Normatief? (Kandidaat geeft oordeel over iedere reactie) Ipsatief? (Kandidaat kiest beste (en eventueel slechtste) reactie)
The making of In dit project kozen we voor: Peilen naar inzicht (Hoe gepast vindt u deze reacties?) Normatieve bevraging (Kandidaat geeft oordeel over iedere reactie)
The making of Beslissing 4: Welke scoringssleutel gebruik je? Optie 1: Theoretisch model Competenties Theoretische visie op wat goede medewerker is Nieuw type medewerker (bijvoorbeeld naar aanleiding van nieuwe strategie)
The making of Beslissing 4: Welke scoringssleutel gebruik je? Optie 2: Empirisch criterium: Gebruik een groep medewerkers als criterium: High performers (bijv. Beste scores bij evaluaties) Hoge anciënniteit Juiste competenties Juiste waarden Vergelijk antwoorden van kandidaten met antwoorden deze groep
The making of Beslissing 4: Welke scoringssleutel gebruik je? Optie 3: Experten Panel Vraag aan experten hoe een goede kracht op de situaties zou moeten reageren: Topmanagement Directe leidinggevenden Extern panel van specialisten Resultaten bepalen als gemiddelde individuele responsen (variant op empirische methode) In workshop komen tot ideale antwoorden
The making of Beslissing 4: Welke scoringssleutel gebruik je? Keuze in dit project: Optie 1: Theoretische sleutel: Selor competenties Hoe gaat dit concreet in zijn werk?
The making of Stap 1: Framework opmaken per item: TEST 131 Itemnr. 1.1 Compet entie In team werken SITUAT IE Beschrijving van de situatie Reactie ALT A ALT B ALT C ALT D Indicator Dimensie beste score is Overleggen: ideeën en Bespreekt problemen en opvattingen op een open dossiers met de andere manier delen met anderen teamleden om zo tot en hen ertoe uitnodigen een oplossing te komen. hetzelfde te doen. POS Overleggen: ideeën en Zet medewerkers en/of opvattingen op een open collega s aan om manier delen met anderen spontaan informatie en en hen ertoe uitnodigen opinies uit te wisselen. hetzelfde te doen. NEU Neemt de nodige initiatieven die de groepssfeer ten geode komen. Geeft het geode voorbeeld door zelf actief samen te werken en te communiceren met de teamleden. Groepsgevoel stimuleren: teamgeest creëren door het aanmoedigen van communicatie en door het bundelen van krachten. Groepsgevoel stimuleren: teamgeest creëren door het aanmoedigen van communicatie en door het bundelen van krachten. POS POS Indicator waarvan de reactie een (tegen)indicatie van is. Dimensie waartoe de indicator behoort Het ideale antwoord is (at random verdeeld)
TEST 131 Itemnr. 1.1 Compet entie SITUAT IE The making of Stap 2: Invullen framework: In team werken Anita is een grote flapuit. Dit zorgt vaak voor hilarische situaties, maar soms kwetst ze mensen hiermee. Tijdens de koffiepauze maakt ze een mopje over dikke mensen. Carla, die zelf nogal stevig is gebouwd, voelt zich gekwetst en loopt kwaad naar buiten met de woorden Anita, jij kan toch echt lomp ziin. Je denkt beter twee keer na voor je iets zegt!. Henri, een derde collega, staat naast Anita wanneer dit gebeurt. Anita: Zeg, Henri, Carla is toch ook snel op haar tenen getrapt, hé! Henri reageert als volgt: ALT A En toch kan ik haar geen ongelijk geven, hoor. Soms kan je nogal scherp overkomen met je grappen. Ik weet niet of je je daar bewust van bent. Heb je daar al eens bij stil gestaan? Indicator Dimensie beste score is Bespreekt problemen en dossiers met de andere teamleden om zo tot een oplossing te komen. Overleggen: ideeën en opvattingen op een open manier delen met anderen en hen ertoe uitnodigen hetzelfde te doen. POS
The making of Stap 3: Evaluatie door maagdelijke consultant: Binnen het team is er steeds iemand die niet meewerkt aan de eerste versies van de items en de reacties. Zijn/haar rol is kritisch bevragen of reacties effectief een goede (tegen)indicatie zijn van de gedragsindicator Stap 4: Selor leest kritisch na en gaat na of: De situaties herkenbaar zijn De reacties realistisch zijn binnen de federale overheid De reacties ook volgens hen een goede (tegen)indicatie zijn van de gedragsindicator
The making of Na de eerste afname, worden de gegevens geanalyseerd: Verdeling van de antwoorden wordt bekeken Alpha coëfficiënten: Per indicator Per competentie Per test
The making of Na de eerste afname, worden de gegevens geanalyseerd: Verdeling van de antwoorden Antwoordpatronen (Gemiddelden en standaardafwijkingen) Alpha coëfficiënten (interne consistentie): Per indicator Per competentie Per test
The making of De scores worden genormeerd naar de schaal van Selor: Gemiddelde 10 en standaardafwijking 4 Feedback wordt voorzien per gedragsindicator Wie slecht scoort, krijgt ook een ontwikkeltip per indicator
Kwaliteit van SJTs Kwaliteit van SJTS als testvorm (uit de literatuur): Grote verschillen in kwaliteit tussen verschillende SJTs Maar: Globale resultaten zijn positief Predictieve validiteit performantie is ok (0,3-0,4) SJT heeft zekere incrementele validiteit t.a.v. klassieke screeningstechnieken
Kwaliteit van SJTs Over het algemeen: Methodologische rigor van ontwikkelaar is van cruciaal belang Verder onderzoek rond bruikbaarheid in het kader van meting van het concept van ethisch gedrag is nodig Resultaten zijn positiever bij normatieve scoring
Kwaliteit van SJTs Over het algemeen: Instructies hebben invloed op: Sociale wenselijkheid (Meer sociale wenselijkheid indien gevraagd wordt wat men zou doen dan wanneer wordt gevraagd wat men het beste vindt) De mate waarin men beredeneerd (Hoe gepast vindt u deze reactie) dan wel gevoelsmatig (Wat zou u doen?) gaat reageren.
Kwaliteit Ervaringen van eigen projecten: Waar mogelijk correleren aan resultaten evaluaties (afwachten tot kandidaten tijdje in dienst zijn) Wel al resultaten van bevraging kandidaten die SJT aflegden (Vlaamse overheid): Perceptie relevantie Perceptie moeilijkheid Kandidaten (test): 12189 Respondenten (vragenlijst): 9875
Perceptie moeilijkheidsgraad: Textuele items 41
Perceptie moeilijkheidsgraag: Video Based items 42
Perceptie relevantie textuele items 43
Perceptie relevantie video based items 44
Balans Algemene voordelen SJT voor organisaties: Gezichtsvaliditeit Predictieve validiteit ok Incrementele validiteit Inhoudsvaliditeit (tailor-made) Geen re-test effect van andere selectieprocedures Positieve, plezante user experience Kan gerecycleerd worden in een ontwikkelingscontext Nadeel SJT: = Op maat gemaakt => Kwaliteit staat of valt met methodologische rigor van de ontwikkelaar 45
Balans Gefilmde items: Voordelen: Minder adverse impact (Taal) Sexy (employer branding) Intonatie and lichaamstaal Van toepassing voor hoger en lager geschoolden Nadeel: Kost
Balans Textuele items: Voordelen: Kost Relevante inhoud Nadelen: Meer nadelen van klassieke testing: Taal (adverse impact) Geen info over non-verbaal gedrag 47
Balans Uitdagingen waarmee we leerden omgaan: Algemene items voor een toch nog diverse groep Positieve user-experience voor zéér lage opleidingsgroepen (alle testing via PC) Feedback van hoge kwaliteit Creatie van draagvlak voor nieuwe testingsmethoden (ook bij HR-mensen) IT: Veiligheid Capaciteit Opvolging van de ontwikkeling van medewerkers Klassieke SJT of Webcamtest?
Tips voor doe het zelvers en concurrenten Mocht u na deze uiteenzetting zin hebben om zelf SJTs te gaan ontwikkelen en deze te gaan verkopen of als u deze knowhow wil doorspelen aan onze concurrenten, wil ik u alvast de volgende tips meegeven: TIP 1: Verras uw klant Vertel uw klant dat je met een SJT alles kan meten wat hij wenst. Hij zal erg blij zijn met dit nieuws Vertel op voorhand niets over de scoringsmethodiek. Dat is veel te technisch voor klanten.
Tips voor doe het zelvers en concurrenten TIP 2: Verzin een eigen procedure om een SJT te maken Laat uw leiden door uw inspiratie van het moment (creativiteit en innovatie zijn erg belangrijk in deze tijden van crisis) Werk efficiënt: Sla zoveel mogelijk stappen in het ontwikkelproces over. Time is money
Tips voor doe het zelvers en concurrenten TIP 3: Laat u inspireren door hedendaagse poëzie om uw items te schrijven Vermijd klassieke grammatie Gebruik de kracht van de suggestie Laat geen kritiek toe op uw werk, het is uw individuele expressie van uw intieme emoties
Tips voor doe het zelvers en concurrenten TIP 4: Tracht zo snel mogelijk een verfilmde SJT te verkopen. Het is een uitstekende gelegenheid om uw nichtje met acteertalenten haar eerste filmervaring te laten opdoen. Verras uw klant met de afrekening. Best nog niet op voorhand vertellen (zou demotiverend kunnen werken)
Stellingen en discussie
Stellingen Ik blijf nog wat bezorgd over de sociale wenselijkheid bij SJTs.
Stellingen SJTs zijn vooral geschikt voor sociale competenties, minder voor cognitieve competenties.
Stellingen Ik vind het jammer dat de reacties al op voorhand zijn vastgelegd. Ik zou het beter vinden dat de mensen hun reactie kunnen neerpennen (of indien verfilmd kunnen inspreken op een webcam).
Stellingen Al bij al vind ik SJTs een interessant type test.
Stellingen Ik denk dat ik zelf een bedrijf zal beginnen dat SJTs maakt. De tips die we kregen vond ik echt nuttig!
Vragen?