- Handleiding SQ-sales Een multimedia SJT voor commercie en accountmanagement Paul van der Maesen de Sombreff Barend Koch Versie juni 2011
INHOUD Bladzijde 1. Inleiding 2 2. Gebruiksdoel 2 2.1. Meetpretentie 2 2.2. Gebruiksmogelijkheden SQ-sales 2 2.3. Gebruikers van de SQ-sales 3 2.4. Doelgroep 3 3. Beschrijving van de schalen 4 3.1. SQ-score 4 3.2. Competentiescores 4 4. Afname en scoring 5 4.1. Benodigde hardware 5 4.2. T-station 5 4.3. Afname 5 4.4. Responsformat 5 4.5. Scoring 5 4.6. Rapportage 6 5. Onderzoeksgegevens 7 5.1. Onderzoeksgroep 7 5.2. Betrouwbaarheid 7 5.3. Groepsverschillen 8 5.4. Criteriumgerelateerde validiteit 8 5.5. Normering 8 5.6. Expertpanel 9 Literatuur 10 Van der Maesen Koch HRM-Advies, versie juni 2011 1
1. Inleiding De SQ-test sales is een situationele beoordelingstest, in het Engels SJT (Situational Judgment Test) genoemd. SJT s worden in de VS veelvuldig ingezet, en zijn ook binnen Europa en andere delen van de wereld sterk in opkomst, mede onder invloed van het werk van de Vlaamse hoogleraar Filip Lievens. Hij noemt dit type tests het assessment van de toekomst. In zijn algemeenheid kan aan SJT s een aantal gunstige eigenschappen worden toegeschreven, zoals hoge voorspellende waarde, acceptatie door deelnemers en weinig adverse impact bij minderheidsgroepen. In versterkte mate gelden deze eigenschappen voor multimediale SJT s. De SQ-sales is zo n multimedia SJT die geheel online is af te nemen. De SQ-test bevat videobeelden. De kandidaat zit achter een PC en bekijkt en beluistert de videobeelden. De beelden gaan over vijftien werksituaties die geen specifieke kennis en ervaring vereisen. Na elke beginsituatie laat de hoofdpersoon in de videobeelden vier oplossingen in echt gedrag horen en zien. De kandidaat beoordeelt elk van deze oplossingen op effectiviteit, door het aanklikken van een keuze met de muis. Dit oordeel van de kandidaat wordt door de PC afgewogen tegen de scores van een panel van experts. Door de beoordelingen van de kandidaat gestandaardiseerd te meten en te normeren, wordt gemeten welke competenties (kennis en vaardigheden) deze kandidaat door ervaring of opleiding heeft opgedaan. De scores van de kandidaat zijn onmiddellijk beschikbaar. De SQ-test sales zegt iets over het inzicht van de kandidaat in de effectiviteit van gedragingen die met commercie en zakelijke klantcontacten te maken hebben: het overtuigen van klanten om een product of dienst te kopen, het afsluiten van een deal en het onderhouden van het contact met de klant. Voor deze activiteiten zijn competenties van belang: zelfbeheersing, klantgerichtheid, overtuigingskracht, vasthoudendheid. SQ staat voor sociaal quotiënt. In veel functies is sociale intelligentie (SQ) minstens even belangrijk als analytische of cognitieve intelligentie (IQ). Dat geldt ook voor functies waarin zakelijk overlegd moet worden om commerciële doelen te bereiken. Van der Maesen Koch HRM-Advies, versie juni 2011 2
2. Gebruiksdoel 2.1 Meetpretentie SQ-sales meet sociaal inzicht in uiteenlopende situaties van commercieel zakelijk overleg met (voornamelijk) klanten waarvan het doel is het beïnvloeden van de ander om een commercieel doel te bereiken of om te bereiken dat de zakelijke relatie in stand blijft. 2.2 Gebruiksmogelijkheden SQ-sales Er zijn verscheidene gebruiksmogelijkheden voor de SQ-sales: 1. selectie en assessment 2. self-assessment 3. coaching 4. training 2.3 Gebruikers van de SQ-sales Personen die het meest gebaat zijn met de SQ-sales zijn professionals die mensen moeten beoordelen op commerciële vaardigheden: coaches, consultants werving en selectie, testpsychologen en loopbaanadviseurs. 2.4 Doelgroep De SQ-sales is bedoeld om het inzicht in commerciële effectiviteit te bepalen van personen die een commerciële functie ambiëren of een functie waarin veel zakelijke contacten moeten worden gelegd en onderhouden. Het niveau is HBO+ of MBO-niveau met ervaring. Van der Maesen Koch HRM-Advies, versie juni 2011 3
3. Beschrijving van de schalen 3.1 SQ-score Veruit de belangrijkste schaal is de totale SQ-score: De SQ-score geeft aan hoe goed de oordelen van de kandidaat over de gehele test genomen lijken op de oordelen van experts. 3.2. Competentiescores Daarnaast rapporteert de test over vier subscores. Deze scores hebben betrekking op competenties die het succes in commerciële activiteiten bepalen. Ook competentiescores komen tot stand door de afstand te bepalen tussen de kandidaatoordelen en de expertoordelen. Score op Klantgerichtheid Deze score geeft aan hoe goed de oordelen van reacties overeenkomen met de oordelen van experts. Bij deze score gaat het om situaties waarin een verkoper rekening houdt met het perspectief van de klant: diens belangen, onzekerheden, eigenaardigheden en emoties. In de Roos van Leary, een belangrijk psychologisch model van sociale interactie, is dit de Samen-dimensie. In de big five is het factor 2: Respect. In het competentiemodel Denken-Voelen-Kracht wordt deze competentie gerubriceerd onder Voelen. Score op Overtuigingskracht Ook hier is de score weer gebaseerd op de overeenkomst met de oordelen van experts, maar nu in situaties waarin een verkoper op die manier de relatie met de klant zo stuurt dat de klant een route kiest die in het belang is van de verkoper (en die bij verkopen meestal congruent is met het organisatiebelang). In de Roos van Leary gaat het om de Boven-dimensie. In de big five is het een deelaspect van factor 1: Extraversie, Sociale Invloed. In het competentiemodel Denken-Voelen-Kracht wordt deze competentie gerubriceerd onder Kracht. Score op Zelfbeheersing Deze score geeft aan hoe goed de kandidaat overeenkomt met experts in de beoordeling van reacties die betrekking hebben op het omgaan met tegenvallers, conflict, obstructie, onzekerheid, kritiek. Hierbij hoort gedrag zoals: niet in verwarring raken, niet dichtklappen, kalm blijven, optimisme, pokerface, rustig blijven praten zijn allemaal indicatoren. Big five factor IV (Emotionele stabiliteit) komt overeen met dit construct. Score op Doelgerichtheid Net als bij de uitslagen 2, 3 en 4 gaat het om de overeenstemming met experts, maar nu in situaties waarin het gaat om de energie te blijven richten op het bereiken van het doel. In de big five wordt deze vertegenwoordigd door factor III, Consciëntieusheid. In het competentiemodel Denken-Voelen-Kracht wordt deze competentie gerubriceerd onder Kracht. Van der Maesen Koch HRM-Advies, versie juni 2011 4
4. Afname en scoring 4.1 Benodigde hardware Om optimaal gebruik te kunnen maken van SQ-sales dient u minimaal te beschikken over: een PC of laptop, een geluidskaart, luidsprekers of koptelefoon Een breedband internetaansluiting voor deze PC Windows Flash-plugin vanaf versie 8 (aanwezig op de meeste computers, anders gratis te downloaden). 4.2 T-station SQ-sales is één van de producten in testportaal T-station. Om de test te kunnen gebruiken is een beheeraccount in T-station nodig. Voor T-station verwijzen we naar de handleiding dienaangaande op www.t-station.nl. 4.3 Afnemen van SQ-sales Hoe de SQ-sales te starten: 1. Start www.t-station.nl op 2. Typ de gebruikersnaam, wachtwoord en organisatiecode exact over. Klik op inloggen. 3. Na het invullen van achtergrondgegevens, start de instructie inclusief een oefenitem. Daarna kan de werkelijke test doorlopen worden. De afname duurt ongeveer 45 minuten. Er is geen tijdslimiet. Als de SQ-sales door wat van reden dan ook onderbroken wordt, kan de test herstart worden door opnieuw in te loggen met dezelfde testlogin. De deelnemer komt dan op de laatste situatie die nog niet beantwoord was. 4.4 Responsformaat De kandidaat krijgt een situatie te zien, met daarop vier verschillende sociale reacties. Deze vier reacties moeten beoordeeld worden door de kandidaat op hun effectiviteit. De beoordeling wordt uitgedrukt door een keuze op een vijfpunts Likertschaal die varieert van -- (helemaal niet effectief) tot ++ (heel effectief). 4.5 Scoring De reacties op de situaties zijn ook door experts beoordeeld. De mate van overeenstemming tussen de beoordeling van de kandidaat en de beoordeling van het expertpanel, bepaalt de score van de kandidaat. Van der Maesen Koch HRM-Advies, versie juni 2011 5
4.6 Rapportage Hoe de rapportage van een persoon op te vragen? 1. Start www.t-station.nl op 2. Geef uw beheerlogin (persoonlijke gebruikersnaam, wachtwoord, organisatiecode) op 3. Kies in het menu Testen 4. Klik op Resultaten 5. Kies de gebruiker om wie het gaat en klik op Rapportage Van der Maesen Koch HRM-Advies, versie juni 2011 6
5. Onderzoeksgegevens 5.1 Onderzoeksgroep De antwoorden van 1355 personen werden verzameld. Deze personen deden de online SQ-sales in de periode april 2007 tot eind 2010. Kenmerken van de onderzoeksgroep Er waren scores van 788 mannen en van 567 vrouwen. De meerderheid van de respondenten was van HBO-niveau (608) en van WO-niveau (408). Van MBO-niveau waren er 246 personen, VMBO/MAVO 18 personen, HAVO 46 personen, VWO 26 personen. De gemiddelde leeftijd was 35,4 (minimum 21, maximum 62, SD 8,1). Scorekenmerken De SQ-score varieerde van 187,1 tot 273,2. Gemiddelde was 249,8, spreiding 8,0. De scoreverdeling is bij benadering normaal, zoals hieronder te zien is. 5.2. Betrouwbaarheid De betrouwbaarheid alpha van de 60 itemscores bedroeg.89. Deze waarde is hoger dan gebruikelijk wordt gevonden van SJT s. Van der Maesen Koch HRM-Advies, versie juni 2011 7
5.3. Groepsverschillen De gemiddelde SQ-scores van mannen en vrouwen waren ongeveer gelijk: resp. 249,9 (SD=7,9) en 249,6 (SD=8,1). Opleiding was van invloed. De MBO-groep scoort ongeveer een halve standaarddeviatie lager dan de HBO+-groep: VMBO/MAVO (M=244,8; SD=11.2), MBO (M=244,8; SD=8,6), HAVO (M=246,3; SD=11,8), VWO (M=249,9; SD=8,5), HBO (M=250,6; SD=7,4), WO (M=250,7; SD=7,2). 5.4 Criteriumgerelateerde validiteit Onderzoek naar de predictieve validiteit van SJT s is vooral verricht in de VS. Het ging in hoofdzaak om tekstuele in plaats van multimediale SJT s. Vooral bekend is de meta-analytische studie van McDaniel e.a. (2001). De gevonden validiteit, gecorrigeerd voor onbetrouwbaarheid van praktijkbeoordelingen, is hoog:.34. Zie ook Van der Maesen e.a. (2003) voor theoretische achtergronden en psychometrische onderzoeksresultaten van SJT s. Weekley & Ployhart (2006) zijn editors van een recent boek dat uitsluitend aan SJT s is gewijd. De SQ-sales is een multimedia of video-sjt. Lievens & Sacket (2006) deden onderzoek naar de meerwaarde van een video-sjt ten opzichte van een schriftelijke SJT. Uit hun onderzoek blijkt dat: de video-sjt beter succes in de omgang met anderen voorspelt dan de tekst- SJT (.35 ten opzichte van.09) de video-sjt minder gerelateerd dan de tekst-sjt is aan een IQ-score de video-sjt meer incrementele validiteit heeft ten opzichte van de IQvoorspeller dan de tekst-sjt de video-sjt beter geaccepteerd wordt dan de tekst-sjt door aspirant studenten. Onderzoek naar de criterium- en constructvaliditeit van de SQ-sales hebben we nog niet kunnen uitvoeren. We zijn steeds op zoek naar mogelijkheden om dit soort onderzoek te doen, in samenwerking met klanten en met universiteiten. Onderzoek naar criterium- en constructvaliditeit van een andere SQ-test van Van der Maesen Koch, de SQ-test voor leidinggeven, bracht aan het licht dat de SQ-leid een correlatie van.27 had met beoordeling van professioneel gedrag in de werkgroep voor meer dan 100 studenten psychologie. Dit is een aantrekkelijk resultaat omdat de SQ-leid aspecten van leidinggeven bevat die niet aan de orde zijn in een werkgroep maar wel in bij leidinggeven in een werksetting, bijvoorbeeld het aanspreken van een ander op taakgedrag en op sociaal gedrag, en coachingsgedrag. Bovendien wordt de correlatie ongetwijfeld gedrukt door het feit dat er in het criterium sprake is van enkelvoudige beoordeling. 5.5 Normering De antwoorden van de onder 5.1. beschreven groep personen hebben als basis gediend voor de normering. De normering van de SQ-sore is in decielen, die van de vier competenties is in quintielen (1-20, 21-40, 41-60, 61-80, 81-100). De argumenten voor de keuze van twee verschillende normschalen is als volgt: de SQ-score is de meest betrouwbare score want is gebaseerd op 4*15 items. De alpha is.89. De scorevariatie is groot. Hier is een gedifferentieerde normschaal, namelijk een in decielen, verantwoord. In een decielschaal wordt de scoreverdeling van deelnemers in de normeringssteekproef (in ons geval van 1355 mensen) opgedeeld Van der Maesen Koch HRM-Advies, versie juni 2011 8
in tien gelijke stukken van elk 10%. Je kunt bijvoorbeeld zeggen dat iemand met decielscore 1 hoort bij de 10% mensen met de laagste scores. De competentiescores zijn veel minder betrouwbaar dan de SQ-score, want SQ is gebaseerd op alle 60 items terwijl de vier deelscores op ongeveer ¼ van de items zijn gebaseerd. De scorevariatie is veel kleiner. We vonden het verantwoord om een vijfpuntsnormering toe te passen, in quintielen. Elk quintiel (1,2,3,4,5) correspondeert met 20% van de scoreverdeling. 5.6 Expertpanel We hebben aan veertien ervaren salesmensen, trainers en selectieadviseurs op gebied van sales gevraagd om in de rol van "experts" de acties te beoordelen op effectiviteit. Deze oordelen hebben we verwerkt. De overeenstemmingsbetrouwbaarheid bleek hoog te zijn (alpha van.95). Van der Maesen Koch HRM-Advies, versie juni 2011 9
Literatuur Lievens, F., & Sackett, P.R. (2006). Video-based versus written situational judgment tests: A comparison in terms of predictive validity. Journal of Applied Psychology, 91, 1181-1188. McDaniel, M.A., Morgeson, F.P., Finnegan, E.B., Campion, M.A., and Braverman, E.P. (2001). Use of situational judgment tests to predict job performance: A clarification of the literature. Journal of Applied Psychology, 86, 4, 730-740 Maesen de Sombreff, P. van der en Abell, P. (2001), Selectie van allochtone sollicitanten met arbeidsproeven en interview. In: F. v.d.vijver & N. Bleichrodt (Eds.), Diagnostiek bij allochtonen. Mogelijkheden en beperkingen van psychologische tests.(hoofdstuk 7, pp. 157-175), Lisse: Swets & Zeitlinger Maesen de Sombreff, P. van der, Born, M., van Oudenhoven-van der Zee, K. & Ruhe, D. (2003). Situationele beoordelingstests in de schijnwerpers, De Psycholoog, 38, 2, 58-67 Weekley, J.A. & R.E. Ployhart (Eds.) (2006). Situational Judgment Tests: Theory, Measurement and Application, Mahwah, New Yersey: Lawrence Erlbaum Van der Maesen Koch HRM-Advies, versie juni 2011 10