HRorganizer past normeringen aan Nieuwe indeling normgroepen maakt nauwkeuriger assessments mogelijk HRorganizer.com, het snelstgroeiende online expertsysteem voor Human Resource Management, past de normgroepen binnen het assessmentsysteem aan. Het bedrijf wil gebruikers meer informatie bieden over de kwalificaties van de geteste medewerkers en kandidaten. HRorganizer komt hiermee tegemoet aan de vraag van gebruikers naar meer flexibiliteit en informatie en daarmee een bredere inzetbaarheid van de testresultaten. HRorganizer maakt op basis van verschillende assessment-tests per competentie een beoordeling aan. De combinatie van de resultaten van de tests en de algemene ontwikkelbaarheid van iedere competentie leidt tot een inschatting van iemands potentieel om deze competenties naar het gewenste niveau te kunnen ontwikkelen. Om een zinvol vergelijk te kunnen maken moet het ontwikkelpotentieel van de kandidaat of medewerker worden afgezet tegen een normgroep, bijvoorbeeld die van het relevante werk- en denkniveau. De keuze van de juiste normgroep is daarbij echter van groot belang voor de bruikbaarheid van de test. Normgroepen Een ruwe score krijgt pas betekenis als je deze vergelijkt met een score van een normgroep. Een normgroep is een groep personen met dezelfde kenmerken. Deze kenmerken kunnen globaal zijn (opleidingsniveau), of heel specifiek (vrouwen tussen de 25 en 35 jaar met een mbo-opleiding en leidinggevende ervaring). De normgroep heeft een gemiddelde score met een bijbehorende spreiding. Deze gemiddelde score noemen we de normscore waarbij norm staat voor normaal of gemiddeld. De normscore is de referentie-eenheid van de psychologische test. Om uitspraken te doen over hoe iemand scoort ten opzichte van anderen worden ruwe scores vergeleken met deze normscore. Hoe groter de afwijking van een ruwe score ten opzichte van de normscore des te hoger of lager iemand scoort op een psychologische eigenschap. Dr. Wouter Schoonman, psychometrisch deskundige en adviseur van HRorganizer: Er kleven echter ook grote bezwaren aan het werken met normgroepen en normcategorieën. In het middengebied veroorzaakt een klein verschil in de score vaak al direct een grote verandering in de normscore, terwijl aan de uiteinden de test juist heel weinig discrimineert. ** De meest wezenlijke vraag is wat de meest relevante normgroep is. Want de keuze van een andere normgroep heeft als consequentie dat dezelfde score op een test tot een andere normscore leidt. Een consequentie hiervan is dat wanneer er twee deelnemers zijn met een gelijke score en zij ieder met de eigen normgroep vergeleken zouden worden, er een vertekening ontstaat. Als er twee kandidaten zijn voor een functie met dezelfde score op een test, maar met een ander groepslidmaatschap (leeftijd, sekse), dan blijft de vraag welke kandidaat de voorkeur heeft. Jeroen Visscher, systeem manager van HRorganizer: Juist hierom koppelt het systeem automatisch kandidaten in dezelfde procedure of
testprogramma aan dezelfde normgroep. Daarmee is de kwaliteit op dit punt geborgd. Klassieke normgroepen; opleidingniveau HRorganizer wil zijn klanten het breedst mogelijke palet aan normeringen bieden. In de eerste versie van HRorganizer werd daarom gekozen voor een normgroepverdeling gebaseerd op opleidingsniveau: MBO, HBO, WO. Dit is een onderverdeling die veel mensen kennen. Hij is vooral vertrouwd en makkelijk. Mensen konden zelf aangeven in welke groep ze zaten. Maar de groepen zelf kenden heel veel overlap. Iemand met een resultaat op gemiddeld MBO-niveau, kon ook nog prima een redelijk scorende HBO-er zijn. Het onderscheid bestaat niet echt. veel WO-opleidingen. HBO heet in het buitenland niet voor niets University of Applied Sciences. Normgroepen 2e generatie: European Qualification Framework Om ook internationale vergelijking van niveaus mogelijk te maken introduceerde HRorganizer drie jaar geleden de indeling van het European Qualification Framework, een systeem voor harmonisatie van de verschillende opleidingsniveaus in de landen van de Europese unie. Dit resulteerde in een onderverdeling in acht complexiteitsniveaus, oplopend van moet onder leiding repeterende taken kunnen uitvoeren tot volledig zelfstandig en/of leidinggevend, de managers en professionals. Deze acht groepen resulteerden in de praktijk echter in een groot aantal normgroepen met relatief veel overlap. De score in een bepaalde groep gaf maar een beperkte vergelijkbaarheid ten opzichte van die in een andere normgroep. Wouter Schoonman, foto Eric Fecken Wouter Schoonman: Veel hoogbegaafden komen bijvoorbeeld op de middelbare school helemaal niet goed uit de verf, en hebben dan een opleiding onder hun niveau. En wat is dat HBO-niveau dan precies? Is dat het niveau van de PABO, of is dat het niveau van de software-engineer? De onderlinge verschillen binnen het HBO zijn groter dan het verschil met Normgroepen 3e generatie: Drievoudige normering Om meer onderscheid te kunnen maken heeft HRorganizer nu gekozen voor een nieuwe indeling. Een driedeling op basis van complexiteit: laagcomplex, middencomplex en hoogcomplex. Een indeling met een hele grote middengroep, en twee duidelijk afwijkende groepen aan het einde van het spectrum: laag complex en. De normgroepen zijn bewust kunstmatig geconstrueerd op basis van grote aantallen beschikbare scores op de tests. Op deze manier is een differentiatie verkregen waarbij veel beter zichtbaar is in hoeverre iemand die op de middengroep goed scoort ook in staat is door te groeien naar hogere functies. Ook omgekeerd: als iemand niet voldoende scoort voor een hogere functie, hoe goed doet hij het dan in de middengroep? De consequentie van de nieuwe normering is dat de scores voor sommige mensen en tests lager uitkomen, voor andere hoger. HRorganizer geeft bestaande gebruikers volledig inzicht in hoe de nieuwe normering zich verhoudt tot de oude, zodat gebruikers hun huidige beoordelingscriteria en werkwijze kunnen blijven gebruiken in de nieuwe situatie.
Wouter Schoonman: Tot nu toe leken de normgroepen nog teveel op elkaar. Als iedereen laag scoort, hoe weet je dan wie er slimmer is? Door nu de lage of de hoge normeringsgroep erbij te gebruiken, kun je die mensen opeens wel weer onderling vergelijken. Gebruikers willen mensen ook op het naastgelegen niveau kunnen scoren. Iemand met een lage score, is die echt laag, of is toch nog slimmer dan de grote middengroep? En als iemand wordt beoordeeld voor een middenfunctie, hoe scoort die dan in de hoge of lage groep? Maarten Hack, CEO van HRorganizer: Klanten vroegen om een verdere differentiatie. HRorganizer was altijd al een prima systeem om mensen onderling te vergelijken, maar als individuele niveaubepaler was er nog verdere verbetering mogelijk. Die verbetering wordt nu gerealiseerd. Normgroepen 3e generatie zorgt voor een betere niveaubepaling, je maakt nu nauwkeuriger onderscheid binnen HRorganizer, vult Jeroen Visscher aan. Dat iemand die op hoog niveau onder de maat scoorde op middenniveau wellicht nog goed inzetbaar zou zijn, kon je eerder niet gemakkelijk beoordelen. Doordat we dat nu kunstmatig uit elkaar trekken, kunnen we een gedifferentieerde beoordelingsmethode bieden die door gebruikers eenvoudig is te hanteren. De nieuwe normering komt op 15 oktober 2012 beschikbaar in HRorganizer. Deze zal direct in alle lopende en nieuwe programma s geactiveerd worden. In de loop van 2013 zal de oude normering verdwijnen. Eigen normeringen van organisaties blijven gewoon bestaan. Ook zal het kosteloos mogelijk zijn van eerder gedane testsessies een rapport te genereren met de nieuwe normering. **(Voor meer informatie zie: Schoonman (2012). Mensen beoordelen. Voor HRMprofessionals. (Hoofdstuk 'Test & Norm'), Amsterdam: De Witte Ridders
Bijlage 1: HRorganizer normen per 15 oktober 2012 drievoudige normering werknemer, VMBO opleiding (eqf 1) zelfstandig werknemer, MBO opleiding (eqf 2) beginnend opleiding (eqf 3) zelfstandig opleiding (eqf 4) superviserend opleiding (eqf 5) junior professional of of WO opleiding (eqf 6) zelfstandig professional of manager met een HBO of WO opleiding (eqf 7) senior professional of of WO opleiding (eqf 8) shapes executive (491) (491) (491) (353) (353) (353) shapes (1044) (1044) (14698) (14698) (14698) (6094) (6094) (6094) shapes basic (1732) (1732) (1963) (1963) (1963) views (1063) (1063) (12928) (12928) (12928) (4279) hoog (4279) (4279) scales ix (a) (786) (786) scales eql (a) scales stm scales clues scales lct (349) (349) scales lst (a) (998) (998) scales mt (364) (364) scales spr Normgrootte tussen haakjes : scores verschuiven omhoog : scores verschuiven sterk omhoog : scores verschuiven omlaag : scores verschuiven sterk omlaag Normen in het grijs zijn beschikbaar voor gebruikers en tbv matching maar worden niet door het expertsysteem gebruikt bij de automatische selectie van tests
drievoudige normering vmbo vmbo+ mbo mbo+ bachelors/hbo bachelors/hbo+ masters/wo masters/wo+ shapes executive (491) (491) (353) (353) (353) (353) shapes (1044) (1044) (14698) (14698) (6094) (6094) (6094) (6094) shapes basic (1732) (1732) (1963) (1963) views (1063) (1063) (12928) (12928) (4279) (4279) (4279) (4279) scales ix (a) (786) (786) scales eql (a) scales stm scales clues scales lct (349) (349) scales lst (a) (998) (998) scales mt (364) (364) scales spr Normgrootte tussen haakjes : scores verschuiven omhoog : scores verschuiven sterk omhoog : scores verschuiven omlaag : scores verschuiven sterk omlaag Normen in het grijs zijn beschikbaar voor gebruikers en tbv matching maar worden niet door het expertsysteem gebruikt bij de automatische selectie van tests
Bijlage 2: Normering op basis van European Qualification Framework en op basis van opleidingsniveau s (verouderd) European Qualification Framework shapes executive werknemer, VMBO opleiding (eqf 1) zelfstandig werknemer, MBO opleiding (eqf 2) beginnend opleiding (eqf 3) zelfstandig opleiding (eqf 4) superviserend opleiding (eqf 5) junior professional of of WO opleiding (eqf 6) zelfstandig professional of manager met een HBO of WO opleiding (eqf 7) senior professional of of WO opleiding (eqf 8) shapes (193) junior employee (1264) (1375) senior employee (1856) (1876) expert /manager (1164) (1527) shapes basic starting laborer/ semiskilled (214) / semi-skilled (196) junior employee (212) (162) senior employee (158) views junior employee (1823) (721) senior employee (808) (1245) expert/ manager (1076) (1234) (1129) senior employee (1053) (2574) expert/ manager (763) (774) (532) senior employee (476) (3274) expert/ manager (786) (791) (621) senior employee (813) (3697) expert/ manager (1849) (2561) (186) / semi-skilled (163) junior employee (179) service selection (162) (241) / semi-skilled (274) junior employee (548) (221) senior employee (217) scales ix (a) junior//senior junior//senior junior//senior junior//senior junior//senior scales eql (a) starting laborer (469) (537) junior employee (832) (346) senior employee (287) expert/ manager (256) scales stm starting laborer (263) (183) junior employee (486) (161) senior employee (173) (422) expert/ manager (256) scales clues junior employee (871) (1389) (2364) scales lct (836) expert/manager (276) (249) scales lst (a) scales mt starting laborer (286) (253) junior employee (1242) (513) senior employee (542) (1667) expert/manager (984) scales spr employee (347) employee (347) employee (347) employee (347) employee (347)
Opleidingsniveau s vmbo vmbo+ mbo mbo+ bachelors/hbo bachelors/hbo+ masters/wo masters/wo+ shapes executive shapes junior employee (1264) shapes basic views (214) autonomous laborer/semi-skilled (196) junior employee (212) junior employee (1823) (1357) (721) (1876) (1245) expert/manager (1164) expert/manager (1076) (1876) (1245) expert/manager (1164) expert/manager (1076) (2574) expert/manager (763) (2574) expert/manager (763) (3274) expert/manager (786) (3274) expert/manager (786) (186) (241) autonomous laborer/semi-skilled (163) autonomous laborer/semi-skilled (274) junior employee (179) junior employee (548) (621) (161) (221) (3697) expert/manager (1849) (3697) expert/manager (1849) scales ix (a) junior//senior junior//senior junior//senior junior//senior scales eql (a) starting laborer (469) (537) junior employee (832) (346) expert/manager (256) scales stm starting laborer (263) (183) junior employee (486) (422) expert/manager (256) (422) scales clues junior employee (871) (1389) (2364) (2364) scales lct (836) expert/manager (276) (836) expert/manager (276) scales lst (a) scales mt starting laborer (286) (253) junior employee (1242) (513) (1667) expert/manager (984) (1667) scales spr employees (347) employees (347) employees (347) employees (347) employees (347)