Validering Skills Indicator 2007 Opdrachtgever: TFC Arnhem Dick Slettenhaar BAROC Knowledge Consultancy (101207) Validering SI - 1/25 -
Inhoud Validering Skills Indicator... 1 Inleiding... 3 Validiteit en betrouwbaarheid... 4 Inleiding... 4 Procedure SI... 4 Bepalen betrouwbaarheid en validiteit... 5 Resultaten... 7 Betrouwbaarheid... 7 Factoranalyse... 7 Betrouwbaarheid... 8 Validiteit... 8 Algemeen... 8 Interactie tussen gebruiker en feed-backer(s)?... 10 Gebruikers... 11 Feed-backers... 18 Discussie... 21 Samenvatting... 21 De validiteit van SI... 22 De toekomst van SI... 23 Voortdurend onderzoek van SI... 23 Standaardfeedback... 23 Online-community... 23 Portfolio... 23 Een geschikte omgeving... 24 Validering SI - 2/25 -
Inleiding De Skills Indicator is een persoonlijkheidstest op basis van 360º feedback, bedoeld om individuele sterktes en zwaktes te beoordelen. De 360º feedback methodiek staat al jaren in een groeiende belangstelling omdat deze testvorm eenvoudig lees: tegen geringe kosten en tijdsbeslag - is toe te passen en behoort tot de klasse van de zogeheten peer reviews welke in onderzoeken relatief hoog scoren op het criterium predictieve validiteit. Door deelnemers aan deze test zichzelf te laten beoordelen op specifieke vaardigheden en anderen te vragen de deelnemer te beoordelen op diezelfde vaardigheden levert de Skills Indicator een realistisch beeld van sterke punten en aandachtspunten voor verbetering van de competenties van de betreffende deelnemer. De testenserie werd onder de naam Skills Indicator vanaf de jaren 90 (?) ontwikkeld door het Australische psychologenpaar Eve Ash en Peter Quarry. In 2000 (?) kwam een samenwerking met TFC Training Facilities Center tot stand, waarna TFC uiteindelijk in 2005 de intellectuele eigendomsrechten en de wereldwijde exploitatie overnam, terwijl Ash&Quarry betrokken bleven voor de ontwikkeling van nieuwe Skills Indicator testen. Inmiddels zijn er meer dan 25 verschillende competentiegebieden waarvoor Skills Indicator tests zijn ontwikkeld, benevens 15 functieprofielen. Naast de standaard testen worden maatwerkversies samengesteld voor competentiegebieden die opdrachtgevende organisaties in overleg definiëren. De Skills Indicator testen worden in diverse talen aangeboden, zowel online als op papier, en worden wereldwijd gedistribueerd via een netwerk van gelicenseerde Area Partners en Resellers. De nederlnadstalige versie staat bekend als de Vaardigheidsmeter. De gebruikende professionals zijn trainers, opleiders, coaches, testpsychologen en HR-functionarissen. Individuele gebruikers kunnen de test voor self-assessments hanteren. Als instrument voor leren en ontwikkeling heeft de Skills Indicator tal van voordelen: De lerende krijgt kwalitatief hoogwaardige feedback op zijn vaardigheden en prestaties De lerende kan zijn eigen inschatting toetsen aan die van anderen De test is nuttig om ontwikkelingsbehoeften aan het licht te brengen, op individueel en groepsniveau De test is zinvol als evaluatie-instrument na een periode van ontwikkeling De test is multi-linguaal, dwz dat feedback in andere talen moeiteloos online kan worden verwerkt De testresultaten lenen zich als input voor dialoog, groepsbespreking en coaching, maar niet noodzakelijkerwijs: de testrapportering is ook voor de leek-deelnemer inzichtelijk. Om beter op vragen van bestaande en potentiële gebruikers te kunnen antwoorden besloot TFC om de meest gebruikte variant van Skills Indicator, namelijk de online versie, aan een valideringsonderzoek te laten onderwerpen. Het onderzoek werd uitgevoerd onder enkele duizenden Nederlandse gebruikers van het instrument en werd in de loop van 2007 afgerond. Over de aanpak en conclusies in termen van validiteit en betrouwbaarheid wordt in dit rapport verslag uitgebracht. Validering SI - 3/25 -
Validiteit en betrouwbaarheid Inleiding Rondom de geldigheid van getrokken conclusies spelen een tweetal belangrijke begrippen: validiteit en betrouwbaarheid. Een conclusie is valide als gemeten is wat gemeten behoorde te worden. De betrouwbaarheid is een uitspraak die samenhangt met de spreiding (breedte) rondom de uitspraak. Een metafoor: iemand schiet een aantal malen met een geweer op een schietschijf. Daarbij mikt hij op de roos. Als het resultaat een klein wolkje in een hoek van de schietschijf is dan is het afschieten van het geweer betrouwbaar. Is de wolk groot dan is deze niet betrouwbaar. Ligt de roos midden de wolk dan is het afschieten van het geweer valide, ongeacht de grootte van de wolk. Een goed instrument leidt dus tot èn betrouwbare èn valide conclusies. Dus zowel betrouwbaarheid als validiteit moeten bepaald worden. Wat is valide? Er wordt vaak gesproken over valide instrumenten. Dat is eigenlijk onjuist. Alleen conclusies kunnen valide zijn. Er kan dus wel gezegd worden: Het gebruik van dit instrument leidt (bij goed gebruik) tot valide conclusies. Procedure SI Iemand staat voor een (belangrijke) keuze in zijn leven. Hij opteert b.v. voor een ander type functie. Hij heeft een bepaald beeld van de vaardigheden die hij in dezen bezit. Om dit beeld te verbeteren en te onderbouwen vult hij de SI in, en laat dit ook doen door één of meer personen die zijn vaardigheden kunnen beoordelen (360 feedback). De score(s) van de andere(n) vergelijkt hij met die van hemzelf. Op basis daarvan maakt hij de keuze om door te gaan op het gekozen pad, of een andere weg in te slaan. Redenering: Door SI in te vullen en om 360 feedback te vragen verbetert de gebruiker het zicht op zijn eigen vaardigheden betreffende een bepaalde te vervullen functie of functieveld. Bedreigingen: M.b.t. de getrokken conclusies: Vooringenomenheid bij trekken conclusie (beide partijen) Oogkleppen bij trekken conclusie (beide partijen) M.b.t. de beoordeling van de validiteit van SI: De resultaten uit SI kunnen ook pas later in het keuze proces pregnant worden Remedies: Zorgvuldige selectie van feed-backer(s): Wie kan mij goed beoordelen? i.p.v. Wie is het met mij eens/wil mij verder helpen?. Zelf: Een open houding m.b.t. tot de toekomstige uitslag. Ook een negatieve uitkomst kan positief benut worden. Een functie vervullen zonder de nodige vaardigheden maakt ook niet gelukkig. Eerlijk invullen. Modellering van de redenering Validering SI - 4/25 -
Vooronderstellingen SI Scores Selectie feedbacker(s) Vragenlijst Expert(s) Figuur 1. Model van de procedurele werking van SI Bepalen betrouwbaarheid en validiteit De betrouwbaarheid is te bepalen uit de scorepatronen. Statistische pakketten hebben daarvoor een functie. Validiteit Krathwohl (1998) onderscheid twee vormen van validiteit: interne en externe validiteit. Interne validiteit Beoordeeld moet worden of de getrokken conclusies geloofwaardig zijn. De basis voor de werking van SI zijn de vragenlijsten. Daarmee staat of valt de validiteit. Ze moeten de verschillende aspecten van het domein afdekken. Daarnaast moet de vraagstelling zodanig zijn dat het scoren van de vragen een goed beeld oplevert. Bronnen voor de bepaling van de interne validiteit: De vragenlijsten. Kenmerken: afdekken domein en formulering o Als de vragenlijsten door experts zijn gemaakt valt aan te nemen dat ze valide zijn o Ze kunnen door andere experts beoordeeld worden op validiteit De beleving van de feed-backer(s) op het scoren (kan ik een goed beeld geven de gebruiker?) o Dit kan via een korte vragenlijst afgevraagd worden De beleving van de gebruiker op het scoren (kan ik een goed beeld geven de mezelf?) o Dit kan via een korte vragenlijst afgevraagd worden De beleving van de gebruiker op de getrokken eindconclusie(s) (heeft het gebruik van SI een goed beeld van mezelf gegeven?) o Dit kan via een korte vragenlijst afgevraagd worden o Het zou kunnen dat de eindbeleving van de gebruiker voldoende is over validiteit te oordelen. Deze dekt immers de andere stappen af. Maar de soms afwijkende meningen van de feed-backers komen daar mogelijk niet goed genoeg in terug Opmerking: als uit de beleving van feed-backers en gebruikers validiteit blijkt, dan mag aangenomen worden dat uit het gebruik van SI valide conclusies getrokken kunnen worden. De beoordeling van de vragenlijsten is dan niet nodig. T.b.v. het bepalen van de interne validiteit zijn de volgende gegevens nodig, te bepalen via een vragenlijst Validering SI - 5/25 -
De beleving van de feed-backer(s) op het scoren (kan ik een goed beeld geven de gebruiker?) De beleving van de gebruiker op het scoren (kan ik een goed beeld geven de mezelf?) De beleving van de gebruiker op de getrokken eindconclusie(s) (heeft het gebruik van SI een goed beeld van mezelf gegeven?) Aanbeveling: voeg deze vragen toe aan SI. Dan is in de toekomst verder onderzoek en validering mogelijk. Externe validiteit Het gaat om generaliseerbaarheid. Beoordeeld moet worden of het instrument ook in de toekomst zal leiden tot geloofwaardige conclusies, eventueel ook naar andere of nieuwe doelgroepen. In het geval van SI is aan te nemen dat als SI in het verleden tot betrouwbare en valide uitspraken heeft geleid, dat in de toekomst ook wel zo zal zijn. In ieder geval zijn er geen redenen om het tegendeel aan te nemen. Er is immers geen of nauwelijks sprake van andere of nieuwe doelgroepen. Door TFC aan te leveren gegevens T.b.v. het bepalen van de betrouwbaarheid zijn de volgende gegevens nodig: Vrager: o Eigen nummer o Scores op SI o Volledig ingevuld? Feed-backer(s): o Nummer(s) o Relatie met vrager Format: Excel Deze gegevens zijn aanwezig in de gestuurde dummy. Daaruit kunnen ze gedestilleerd worden. Aanleveren volgens de dummy is OK, niet nodig zijn de velden: Password FirstName LastName Email Te doen: Oude gebruikers en hun feed-backers een separate vragenlijst sturen (beter: online afnemen) De interne validiteit is te bepalen uit de scores op de extra vragenlijsten. Aanleveren in format: zie betrouwbaarheid. Validering SI - 6/25 -
Resultaten Betrouwbaarheid De betrouwbaarheid werd bepaald aan de hand van het aanwezige bestand van afgenomen vragenlijsten. Reductie van het aanwezige bestand: Alleen de resultaten van de vier meest gebruikte instrumenten werden meegenomen in de berekeningen Alle records met progress minder dan 21 Alle records met namen waarvan bekend is dat ze SI invulden met het oogmerk eens kijken wat het is Over bleven 5695 records: 1770 gebruikers 3925 feedbackers Per top-4 instrument en voor gebruikers dan wel feedbackers afzonderlijk worden de verschillende analyses uitgevoerd. Allereerst wordt een factoranalyse uitgevoerd om afhankelijkheden op te sporen en na te gaan of bepaalde clusters van vragen een specifieke betekenis hebben. Daarna wordt als maat voor de betrouwbaarheid Crohnbach s alpha bepaald. Voor alle analyses werd gebruik gemaakt van SPSS 12.0.1. Factoranalyse Indicator Significante correlaties tussen Factoren vragen ( aantal correlaties: 780) Aantal Verklaren samen % van de variantie Communicatie Gebruikers 0 9 67 Feedbackers 0 12 77 Leidinggeven Gebruikers 9 9 69 Feedbackers 0 10 76 Time-management Gebruikers 199 12 68 Feedbackers 13 14 81 Persoonlijke effectiviteit Gebruikers 46 11 64 Feedbackers 0 13 74 Het aantal significante correlaties tussen de vragen is klein, m.u.v. de vragenlijst van Timemanagement, ingevuld door de gebruikers, valt in het bijzonder op door het grote aantal significante correlaties. Die vragenlijst moet nog eens goed bekeken worden. De andere vragenlijsten zijn met zorg samengesteld. De verschillen tussen gebruikers en feedbackers suggereren dat gebruikers de vragenlijsten wat anders ervaren/ondergaan/invullen dan feedbackers. De eerste factor verklaart doorgaans alleen al de helft van het genoemde percentage van de variantie. De tweede factor draagt meestal zo n 10% bij aan de variantie. De rest van de Validering SI - 7/25 -
factoren dragen allemaal maar in geringe mate bij aan de variantie. De eerste en de tweede factor omvatten steeds (nagenoeg) alle vragen. Uit analyse komen geen duidelijke en geen zinvolle clusters van vragen voort. De betrouwbaarheid kan bepaald worden op basis van alle vragen. Betrouwbaarheid Als maat voor de betrouwbaarheid wordt Cronbach s alpha bepaald. Indicator Users Feedbackers n Cronbach s alpha n Cronbach s alpha Communicatie 710 0,956 1402 0,950 Leidinggeven 487 0,947 1428 0,952 Time-management 202 0,896 305 0,937 Persoonlijke 371 0,916 790 0,932 effectiviteit De gevonden betrouwbaarheid is groot. Dit is consistent met de hoge mate van onafhankelijkheid van vragen. Validiteit De validiteit wordt bepaald aan de hand van een daarop toegesneden vragenlijst die is toegezonden aan gebruikers en feedbackers van de top-4 instrumenten. Per top-4 instrument en voor gebruikers dan wel feedbackers afzonderlijk worden de verschillende analyses uitgevoerd. Daarna wordt als maat voor de betrouwbaarheid Crohnbach s alpha bepaald. Voor alle analyses werd gebruik gemaakt van SPSS 12.0.1. In het vervolg worden de resultaten van de vragenlijst gepresenteerd. Algemeen In totaal hebben 159 gebruikers en 240 feedbackers de vragenlijst ingevuld. 1. Was u bekend met het principe van 360 graden feedback? Communicatie Leidinggeven Persoonlijke Gebruikers Time- Ja 31 50,0 26 66,7 21 55,3 13 65,0 91 57,2 Nee 31 50,0 13 33,3 17 44,7 7 35,0 68 42,8 Feed-backers Ja 38 58,5 56 61,5 40 74,1 15 50,0 149 93,7 Nee 27 41,5 35 38,5 14 25,9 14 46,7 90 56,6 nvt 1 3,3 1 0,6 Ongeveer de helft van de gebruikers en de feed-backers is bekend met 360 feedback. Validering SI - 8/25 -
2. Wat vond u van de instructies voor het gebruik van de Vaardigheidsmeter Online? n 62 39 38 20 159 Feed-backers Zeer slecht Slecht 1 1,5 1 1,1 2 0,8 Matig 1 1,1 2 6,7 3 1,3 Voldoende 23 35,4 22 24,2 14 25,9 59 24,6 Goed 38 58,5 60 65,9 37 68,5 15 50,0 150 62,5 Zeer goed 1 1,5 2 2,2 1 1,9 10 33,3 14 5,8 Geen mening 2 3,0 5 5,5 2 3,7 3 10,0 12 5,0 n 65 91 54 30 240 Slechts een enkeling vindt de instructies onvoldoende: Een kleine 6 % vaqn de gebruikers Ca. 2 % van de feedbackers 3. Heeft u de vragen zo eerlijk mogelijk ingevuld? Communicatie Leidinggeven Persoonlijke Gebruikers Zeer slecht Slecht 2 3,2 1 2,6 3 1,9 Matig 1 1,6 1 2,6 3 7,9 1 5,0 6 3,8 Voldoende 18 29,0 11 28,2 15 39,4 13 65,0 57 35,8 Goed 36 58,1 25 64,1 19 50,0 5 25,0 85 53,5 Zeer goed 4 6,5 1 2,6 1 2,6 1 5,0 7 4,4 Geen mening 1 1,6 1 0,6 Time- Gebruikers Zeer mee eens 28 45,2 23 59,0 15 39,5 13 65,0 79 49,7 Eens 32 51,6 16 41,0 23 60,5 6 30,0 77 48,2 Oneens Zeer mee Geen mening 2 3,2 1 5,0 3 1,9 Niet ingevuld n 62 39 38 20 159 Feed-backers Zeer mee eens 30 46,2 48 52,7 27 50,0 13 43,4 118 49,2 Eens 34 52,3 40 44,0 23 42,6 15 50,0 112 46,7 Oneens 1 1,5 1 1,1 2 0,8 Zeer mee Geen mening 2 2,2 2 3,7 1 3,3 5 2,1 Niet ingevuld 2 3,7 1 3,3 3 1,3 n 65 91 54 30 240 Validering SI - 9/25 -
De vragenlijsten zijn zeer serieus ingevuld Interactie tussen gebruiker en feed-backer(s)? Gebruikers Zeer mee eens 7 11,3 1 2,6 3 7,9 2 10,0 12 7,5 Eens 31 50,0 29 74,4 20 52,7 9 45,0 89 56,0 Oneens 14 22,6 3 7,7 11 28,9 1 5,0 29 18,2 Zeer mee 1 1,6 2 5,1 1 2,6 2 10,0 6 3,8 Geen mening 7 11,3 3 7,7 3 7,9 5 25,0 18 11,3 Niet ingevuld 2 3,2 1 2,5 1 5,0 4 2,5 n 62 39 38 20 159 Veel gebruikers (ca. twee derde) willen interactie met de feedbacker(s). 4. Had u de vragen liever anoniem ingevuld, zodat de ander niet kan zien welke feedback u gaf? Zeer mee 16 24,6 21 23,1 18 33,3 7 23,3 62 25,8 Geen mening 7 10,8 10 10,9 4 7,4 5 16,7 26 10,8 Niet ingevuld 1 1,9 1 0,4 n 65 91 54 30 240 Er is onder feedbackers weinig behoefte aan anonimiteit (slechts ca. 15 %) 5. Had u de gebruiker graag toelichting gegeven op de feedback die u gaf? 4. Zijn de resultaten voor u aanleiding om in gesprek te gaan met de mensen die u feedback hebben gegeven? Feed-backers Zeer mee eens 1 1,5 5 5,5 1 1,9 1 3,3 8 3,3 Eens 5 7,7 13 14,3 4 7,4 5 16,7 27 11,3 Oneens 36 55,4 42 46,2 26 48,2 12 40,0 116 48,3 Feed-backers Zeer mee eens 3 4,6 14 15,4 8 14,8 2 6,7 27 11,3 Eens 38 58,5 46 50,5 35 64,7 13 43,3 132 55,0 Oneens 18 27,7 16 17,6 5 9,3 8 26,7 47 19,6 Zeer mee 4 4,4 1 3,3 5 2,1 Geen mening 6 9,2 11 12,1 5 9,3 5 16,7 27 11,3 Niet ingevuld 1 1,9 1 3,3 2 0,8 n 65 91 54 30 240 Validering SI - 10/25 -
Nogal wat (ongeveer twee derde) feedbackers willen ook interactie met de gebruikers Toont een grote betrokkenheid met het gebeuren De resultaten over deze drie vragen tonen dat SI bij voorkeur gebruikt wordt in een setting waarin interactie over het invullen en de uitkomsten van SI mogelijk is. Gebruikers 6. Met welk doel heeft u gebruik gemaakt van de Vaardigheidsmeter Online? [gebruikers] Communicatie trainingsbehoefte inventariseren Inventarisatie vaardigheden vooraf als cursist Communicatie Empowerment leerdoelen vaststellen beeldvorming van anderen over mij en mijn functioneren verhelderen Als intake bij een cursus. Cursusdoeleinden -> persoonlijke ontwikkeling kapstok voor cursus CE Startpunt cursus communicatie empowerment Voor af gaand aan de M.O.T. training cursus cursus communicatie binnen de bank Ik zat in een cursus waarin aan ons gevraagd werd om 360 graden feedbacks van jezelf te laten maken.. Communicatie empowerment training Cursus MOT T.b.v. communicatiecursus. ivm cursus communiceren in de bank Cursus werkvoorbereider, persoonlijke toetsing! cursus werkvoorbereider, communicatie cursus. de response was overigens af en toe zeer slecht. Voor een cursus die ik ging volgen Studie school Voor mijn communicatievaardigheden Om mijn eigen inzicht over mijzelf te vergelijken met hoe anderen dit zien. meten waar je staat. verbeteren eigen aandachtgebieden inzicht te krijgen in of mijn beeld van mijzelf overeenkomt met die anderen van mij hebben Inzicht krijgen in de vaardigheid om daarna te verbeteren. reïntegratie uitgezet onder collega's m.b.t. cursus. mijn vaardigheden toepassen op mijn huidige functie Intern klanten onderzoek Wat kan ik nog verbeteren aan mijzelf t.o.v. medewerkers en/of werk. Het testen van mijn eigen skills en de hierop gekregen feedback Om feedback te vragen bij collega s en leiding voor een cursus Zelf analyse Input voor vaardigheidstraining Persoonlijke ontwikkelingplan opstellen meer inzicht krijgen in mezelf Cursus voorbereiding en feedback test In het kader van een communicatietraining die ik heb gevolgd. persoonlijke ontwikkeling Bepalen hoe anderen mijn vaardigheden ervaren Validering SI - 11/25 -
te weten komen hoe anderen mijn vaardigheden beoordelen Training i.c.m. feedback om te zien hoe collega's mijn vaardigheden ervaren. inzicht krijgen in het zicht van anderen op eigen vaardigheden In het kader van het Medewerker Ontwikkelings Traject met als doel voorafgaand feedback te verkrijgen van direkte collega's op het onderwerp Communicatie Om mijn communicatie vaardigheden te toetsen Om bepaalde punten te verbeteren die onvoldoende waren maar ook om te zien waar ik meer als voldoende voor behaalde Allround inzicht in eigen competenties Inzicht in persoonlijke ontwikkelpunten. via werk om beter inzicht van jezelf te krijgen analyseren of vragenlijst klantenservice inzetbaar was bij opdrachtgever weet niet Leidinggeven Invullen voor de cursus leiding geven. Testen Coaching traject (op maat) Voorbereiding MOP training Cursus brug naar leiderschap op het werk Informatie Eigen competenties te bepalen en te verbeteren vanuit psychologie achtergrond geinteresseerd in vragenlijsten. Om te zien hoe ik zelf funcktioneer en hoe andere dat zien kennis verijking Feedback verzamelen en aan elkaar leren geven Persoonlijke Ontwikkeling Verbeterpunten voor mijzelf vinden Om te spiegelen en de vaardigheden te verbeteren. Uitproberen of het een handig feedback instrument si voor onze doelgroep (managers en vakspecialisten in hoge salarisgroepen) om in mijn team mijn ontwikkel- en sterke punten te kunnen bespreken. Daarnaast om ontwikkelpunten voor de perfromance contract op te kunnen stellen in het kader van een opleiding "Basivaardigheden leidinggeven" om te zien hoe ver ik sta in het doen en kunnen van leiding geven feedback krijgen op mijn eigen functioneren development Eigen aandachtpunten te onderzoeken Ontwikkelpunten duidelijk krijgen. om te kijken of mijn zelf beeld een beetje klopt en om een pop te kunnen maken test om competenties te toetsen Training ontwikkeling leiderschapsvaardigheden. groei Nulmeting kursus leiderschapsontwikkeling Bruikbaarheid voor testen voor teams Om na te gaan welke eigenschappen van mijzelf voor verbetering in aanmerking komen om daar dan ook aan te kunnen gaan werken Bewustwording van leiderschapseigenschappen. check om feedback te ontvangen feedback geven aan anderen nulpunt bepalen tbv ontwikkeling vaardigheden Spiegel meer informatie te krijgen over mijzelf inz. mijn functioneren Om mijn competenties beter in beeld te brengen Inzicht in mijn positie binnen organisatie en evt leerdoelen uit distilleren. Validering SI - 12/25 -
Persoonlijke effectiviteit SUPPORT Personeelsdiensten gebruikt dit instrument om een coachvraag inzichtelijk te krijgen. Bevestiging van zelfkennis en aanscherpen van vaardighheden en bewustwording. Interesse voor mogelijk gebruik binnen onze organisatie. opleiding tot verkoopadviseur Als onderdeel van de MOT training was dit een opdracht aan alle deelnemers Als uitgangspunt voor functioneringsgesprek. functioneringsgesprek cursus t.b.v. cursus als voorbereiding op cursus Om te kijken hoe het werkt Gewoon kijken wat er uit komt. Dus hoe is de meetwijze? tbv. een cursus effectief communiceren vanuit mijn studie technische bedrijfskunde heb ik mijn medestudenten en collega's gevraagd om feedback te geven. Studie opdracht Hogeschool Utrecht Beter beeld van mezelf krijgen en hoe anderen mij zien. persoonlijke ontwikkeling effectiviteit wat anderen voor beeld van mij hebben testen vaardigheden en interesse medewerkers De Vaardigheidsmeter maakte onderdeel uit van een training Communicatie. studie verplicht door voormalig werkgever opleiding aan de HU TBK voorbereiding op training persoonlijke effectiviteit en communicatie school Zelfreflectie MOT cursus beter volgen kennis over mijzelf vergaren Opleiding Hogeschool Utrecht het was een onderdeel van een opdracht van de hoge school Utrecht Om voor mij zelf er achter te komen wat mijn eventuele sterke en zwakke punten zijn. En er achter te komen hoe een ander er over denkt. studie doeleinde Interne cursus persoonlijke effectiviteit Voorbereiding interne cursus school Hier was door ons management voor gekozen bij wijze van oefening op het gebied van competenties en vaardigheden. Time-Management time management efficiency training inzicht in eigen vaardigheden, leerdoelen vaststellen cursus time management Cursus Time Management Ter voorbereiding op de cursus time-management. Meer georganiseerd werken testen en inhoudelijk kijken naar meerwaarde Voor volgen van cursus ivm werkzaamheden Ivm een cursus inzicht krijgen in eigen vaardigheden t.a.v. timemanagement Validering SI - 13/25 -
Kijken hoe het instrument werkt en of ik iets kon leren om mijn time managementvaardigheden bij te schaven. om een beeld te krijgen van mijn ontwikkelbehoefte Om van andere, en ook van mezelf, te weten te komen hoe eenieder over elkeer denkt. Zelf kan je wel denken dat je goed ben, maar van andere krijg je mogelijk je zwakke punten te horen. Wat mijn echter opviel is dat de personen die voor mijn deze vaardigheidsmeter hebben ingevuld positiever waren dan ik zelf. opdracht training meer inzicht te krijgen Had ik nodig voor the time-managment training voorbereiding cursus Time management cursus Als voormeting, voorafgaand aan een training. Vooral: Gebruik als voorbereiding op een cursus Gebruik in een cursus Voor zelfanalyse Soms als voorbereiding op een functioneringsgesprek 7. Vond u het (emotioneel) moeilijk om de vragen eerlijk te beantwoorden? n 62 39 38 20 159 Slechts een enkeling (ca. 13 % van de gebruikers) vond het moeilijk om de vragen in te vullen. Samen met vraag 3. wijst dit er op dat de ingevulde vragenlijst een goede basis vormt voor (zelf- en of 360 -)analyse. 8. Gaf het invullen van de zelfanalyse-vragenlijst Vaardigheidsmeter Online u al een goed beeld van uw sterktes en zwaktes in de gekozen vaardigheid? Zeer mee eens Eens 4 6,5 5 12,8 9 23,7 3 15,0 21 13,2 Oneens 33 53,2 22 56,4 20 52,6 8 40,0 83 52,2 Zeer mee 21 33,9 11 28,2 8 21,1 8 40,0 48 30,2 Geen mening 3 4,8 1 2,6 1 5,0 5 3,1 Niet ingevuld 1 1,6 1 2,6 2 1,3 Zeer mee eens 1 1 2,6 2 10,0 4 2,5 Eens 55 88,7 30 77,0 36 94,8 15 75,0 136 85,5 Oneens 3 4,8 5 12,8 1 5,0 9 5,7 Zeer mee 1 2,6 1 2,6 1 5,0 3 1,9 Geen mening 4 6,5 2 5,2 1 5,0 7 4,4 Niet ingevuld n 62 39 38 20 159 Validering SI - 14/25 -
Het invullen van de zelfanalyse-vragenlijst gaf voor een kleine 90 % van de gebruikers op zich al een goed beeld van uw sterktes en zwaktes in de gekozen vaardigheid. Dit resultaat suggereert dat het wellicht wenselijk is om SI uit te breiden met standaard reacties, zoals dat b.v. bij de instrumenten op de Volkskrant-site gebruikelijk is. SI kan dan op twee manieren worden ingezet: als zelfanalyse-instrument en als instrument met 360 -feedback. Zeer mee eens 10 3,3 7 17,9 5 13,2 3 15,0 25 15,7 Eens 42 67,7 25 64,1 25 65,8 14 70,0 106 66,7 Oneens 2 3,2 3 7,7 5 13,2 1 5,0 11 6,9 Zeer mee 2 3,2 1 2,6 3 1,9 Geen mening 5 8,1 3 7,7 3 7,9 2 10,0 13 8,2 Niet ingevuld 1 1,6 1 0,6 n 62 39 38 20 159 De feedback van anderen wordt in hoge mate (ruim 80 %) als een meerwaarde gevoeld. Uit de vragen 8 en 9 volgt dat SI als zelfanalyse-instrument gebruikt wordt en als feedback instrument. Dit wekt de suggestie dat het nuttig is de zelf-analyse functies van SI te versterken. 9. Had de feedback van anderen een meerwaarde ten opzichte van het beeld dat u kreeg uit uw eigen beantwoording van de vragenlijst? 10. Heeft het gebruik van de Vaardigheidsmeter Online u een goed beeld van uw sterktes en zwaktes in de gekozen vaardigheid gegeven? Zeer mee eens 5 8,1 4 10,3 3 7,9 1 5,0 13 8,2 Eens 48 77,4 27 69,2 33 86,8 15 75,0 123 77,2 Oneens 3 4,8 5 12,8 2 5,3 1 5,0 11 6,9 Zeer mee 1 1,6 1 5,0 2 1,3 Geen mening 3 4,8 1 2,6 2 10,0 6 3,8 Niet ingevuld 2 3,2 2 5,1 4 2,5 n 62 39 38 20 159 SI wordt door ca. 85 % van de gebruikers positief gewaardeerd als middel om sterktes en zwaktes in de gekozen vaardigheid op te sporen. Validering SI - 15/25 -
Zeer mee eens 2 3,2 2 5,1 1 2,6 5 3,1 Eens 31 50,0 17 43,6 18 47,4 8 40,0 74 46,5 Oneens 16 25,8 10 25,6 8 21,1 7 35,0 41 25,8 Zeer mee 2 3,2 2 5,1 2 5,3 1 5,0 7 4,4 Geen mening 10 16,1 7 17,9 8 21,1 4 20,0 29 18,2 Niet ingevuld 1 1,6 1 2,6 1 2,6 3 1,9 n 62 39 38 20 159 SI dient voor ongeveer de helft van de gebruikers als instrument om keuzes met betrekking tot eigen ontwikkeling en carrière te maken. Er is een substantieel aantal gebruikers waarvoor dat niet geldt. De redenen daarvoor zijn niet erg duidelijk. Dit behoeft nader onderzoek. Zeer mee eens 2 3,2 1 2,6 Eens 8 12,9 8 20,5 7 18,4 1 5,0 24 15,1 Oneens 35 65,5 23 59,0 24 63,2 13 65,0 95 59,7 Zeer mee 5 8,1 6 15,4 2 5,3 3 15,0 16 10,0 Geen mening 11 17,7 2 5,1 4 10,5 3 15,0 20 12,6 Niet ingevuld 1 1,6 1 0,6 n 62 39 38 20 159 Voor ca. 65 % van de gebruikers geldt dat het gebruik van SI niet heeft geleid tot een wijziging in de keuze van vervolgstappen in de carrière. 11. Heeft het gebruik van de Vaardigheidsmeter u geholpen bij keuzes in uw eigen ontwikkeling en carrière? 12. Heeft het gebruik van de Vaardigheidsmeter Online geleid tot een wijziging in de keuze van vervolgstappen in uw carrière? 13. Hebt u in een later stadium nog gebruik gemaakt van de resultaten van de Vaardigheidsmeter Online? Zeer mee eens 1 1,6 1 2,6 3 7,9 5 3,1 Eens 21 33,9 17 43,6 4 10,5 8 40,0 50 31,4 Oneens 27 43,5 15 38,5 24 63,2 6 30,0 72 45,3 Zeer mee 4 6,5 2 5,1 3 7,9 1 5,0 10 6,3 Geen mening 8 12,9 3 7,7 3 7,9 4 20,0 18 11,3 Niet ingevuld 1 1,6 1 2,6 1 2,6 1 5,0 4 2,5 n 62 39 38 20 159 Validering SI - 16/25 -
Voor de instrumenten Communicatie, Leidinggeven en Time-Management geldt dat bijna de helft van de gebruikers in een later stadium van de resultaten van SI nog eens gebruikt maakt. Voor het instrument Persoonlijke effectiviteit geldt dat ongeveer een vijfde later nog eens gebruik maakt van de resultaten van SI. 14. Komen de resultaten overeen met die van andere tests of assessments die u al eens deed? Zeer mee 1 1,6 1 2,6 2 1,3 Geen mening 29 46,8 11 28,2 14 36,8 7 35,0 61 38,4 Niet ingevuld 1 1,6 1 2,6 1 5,0 3 1,9 n 62 39 38 20 Voor zover men andere tests dan wel assessments gedaan heeft, komen de resultaten volgens de gebruikers goed overeen met de uitkomsten daarvan. Deze uitkomst ondersteunt de hypothese dat er door gebruik te maken van SI valide uitspraken gedaan kunnen worden. Zeer mee eens 1 1,6 1 2,6 1 5,0 3 1,9 Eens 26 41,9 19 48,7 20 52,6 10 50,0 75 47,2 Oneens 4 6,5 6 15,4 4 10,5 1 5,0 15 9,4 15. Heeft u behoefte aan persoonlijk advies omtrent uw ontwikkeling en loopbaan, gelet op de resultaten van de feedback? Zeer mee eens 1 1,6 2 5,1 1 2,6 4 2,5 Eens 10 16,1 10 25,6 9 23,7 5 25,0 34 21,4 Oneens 29 46,8 20 51,3 19 50,0 12 60,0 80 50,3 Zeer mee 10 16,1 5 12,8 2 5,3 1 5,0 18 11,3 Geen mening 12 19,4 7 18,4 2 10,0 21 13,2 Niet ingevuld 2 5,1 2 1,3 n 62 39 38 20 159 Ongeveer een kwart van de gebruikers heeft behoefte aan persoonlijk advies omtrent uw ontwikkeling en loopbaan, gelet op de resultaten van de feedback. Validering SI - 17/25 -
16. Hoe waardeert u de Vaardigheidsmeter Online? Communicatie Leidinggeven Persoonlijke n 62 39 38 20 159 m 7,24 7,00 7,16 7,05 7,14 SD 1,29 1,50 0,72 1,57 1,25 Zonder enen n 61 38 38 19 159 m 7,34 7,16 7,16 7,37 7,14 SD 1,01 1,14 0,72 0,67 1,25 De enen vormen een uitzondering. Door hun extreme waarde wegen ze zwaar mee in de berekening van het gemiddelde. Daarom zijn gemiddelde en standaarddeviatie ook berekend zonder deze enen. De waardering voor SI is ruim een 7. Er worden nauwelijks onvoldoendes gegevens (in totaal 6,7 %). Het instrument Leidinggeven valt relatief iets minder in de smaak (ca. 13 % onvoldoendes) Feed-backers Time- 1 1 1,6 1 2,6 1 5,0 3 1,7 2 3 4 1 2,6 1 0,6 5 3 4,8 3 7,7 1 2,6 7 4,4 6 8 12,9 4 10,3 4 10,5 2 10,0 18 11,3 7 21 33,9 13 33,3 21 55,3 8 40,0 63 39,6 8 24 38,7 16 41,0 12 31,6 9 45,0 61 38,4 9 4 6,5 4 2,5 10 1 1,6 1 2,6 2 1,3 Niet ingevuld 17. Vond u dat u de gebruiker van de Vaardigheidsmeter Online voldoende kende om de vragen te kunnen beantwoorden? Zeer mee eens 9 13,8 12 13,2 7 12,9 1 3,3 29 12,1 Eens 48 73,8 67 73,6 35 64,8 22 73,3 172 71,7 Oneens 3 4,6 7 7,7 8 14,8 5 16,7 23 9,6 Zeer mee 2 3,1 1 3,3 3 1,3 Geen mening 3 4,6 5 5,5 4 7,4 1 3,3 13 5,4 Niet ingevuld n 65 91 54 30 240 In de meeste gevallen (ca. 84 %) kenden de feedbackers de gebruikers voldoende om zinvolle feedback te kunnen geven. Validering SI - 18/25 -
Zeer mee eens 1 1,5 1 1,1 1 1,9 1 3,3 4 1,7 Eens 55 84,6 76 83,5 46 85,2 19 63,3 196 81,7 Oneens 3 4,6 7 7,7 2 3,7 5 16,7 17 7,1 Zeer mee Geen mening 6 9,2 7 7,7 5 9,3 4 13,3 22 9,2 Niet ingevuld 1 3,3 1 0,4 n 65 91 54 30 240 De feedbackers vinden in hoge mate (ca. 83 %) dat ze door het invullen van de vragenlijst een goed beeld konden geven van de gekozen vaardigheid van de gebruiker. Voor het instrument Time-management is dat iets minder. 19. Miste u in de vragen belangrijke aspecten van die vaardigheid? 18. Kon u door het invullen van de vragenlijst een goed beeld geven van de gekozen vaardigheid van de gebruiker? Ja 4 6,2 9 9,9 4 7,4 3 10,0 20 8,3 Nee 61 93,8 82 90,1 50 92,6 26 86,7 219 91,3 Nvt 1 3,3 1 0,4 n 65 91 54 30 240 Verreweg de meeste feedbackers (ruim 90 %) misten geen belangrijke aspecten. Op de open vraag welke aspecten dan wel gemist werden werd het volgende genoemd (er zijn typefouten verbeterd): Ad instrument Communicatie : Helaas is het al zolang geleden dat ik de vaardigheidsmeter heb ingevuld, veel weet ik er niet meer van. Heb ik nu niet meer paraat, is iets te lang geleden dat ik het heb ingevuld. Maar in het algemeen vond ik het een (te) algemene vragenlijst. Alhoewel ik ook wel begrijp dat je voor één persoon geen maatwerk kunt maken. Mijn conclusie: Voor één persoon zou ik deze vorm van 360- graden feedback niet toepassen en voor een grote groep zou ik een maatwerk lijst met vragen en/of stellingen willen hebben waarin de deelnemers/invullers/organisatie zich beter kunnen herkennen. Non-verbale versus verbale communicatie. Stemgebruik (volume / intonatie)en het effect daarvan op anderen Aspecten die ik miste, dat je antwoorden niet kon toelichten. Dat geeft dan een eendimensionaal van de persoon. Misschien dan een uitgebreidere vragenlijst. sa toelichten. Ad instrument Leidinggeven : Het is veel te lang geleden dat ik de 360 feedback heb in gevuld. Dus weet ik dat niet meer. Ik kon een aantal dingen niet kwijt. Net als toen kwamen de aan te klikken antwoorden niet overeen met de te kiezen antwoorden. Soms was de vraag te breed, konden meer antwoorden gegeven worden Vragen waren vaak onvoldoende van toepassing omwille van gebrek aan ervaring en anciënniteit Lastig als iemand potentieel wil meten maar nog niet echt in zijn functie zit, Lijkt deze meter niet voldoende geschikt voor, Toelichting op antwoord. Vragen mbt communicatie met de groep als geheel. Te veel om op te noemen Validering SI - 19/25 -
Ad instrument Persoonlijke effectiviteit : De vragen minder suggestief stellen Ik heb gereageerd vanuit de privé-situatie, meeste vragen waren werkgerelateerd. Meer persoonlijk en concreter Moeilijk te zeggen, maar meer de behoefte om niet altijd te moeten kiezen uit een 'minste/meeste'om dat soms niets van toepassing was! Ad instrument Time-Management : werkzaamheden eind van de dag af, flexibiliteit in het werk niet zozeer aspecten maar ik vond het niet logisch dat je niet per vraag kon selecteren om "geen mening" in te vullen i.p.v. ineens per vragengroep dit te moeten invullen. De feedbackers vinden in hoge mate dat er geen belangrijke aspecten van de vaardigheid ontbreken. Voor zoverre er aspecten genoemd andere zaken aangeduid worden: deze meenemen met een volgende aanpassing van SI. 20. Had uw relatie met de gebruiker invloed op de manier waarop u de vragen n 65 91 54 30 240 Deze vraag is achteraf gezien te ruim gesteld en kan tweeledig worden opgevat. De relatie kan immers positief en negatief zijn. 21. Zette de vragenlijst u aan het denken over uw eigen vaardigheden? beantwoordde? Zeer mee eens 5 7,7 2 2,2 1 1,9 8 3,3 Eens 30 46,2 34 37,4 19 35,2 13 43,3 96 40,0 Oneens 21 32,3 39 42,9 23 42,6 12 40,0 95 39,6 Zeer mee 5 7,7 8 8,8 3 5,6 4 13,3 20 8,3 Geen mening 4 6,2 8 8,8 8 14,8 1 3,3 21 8,8 Niet ingevuld Zeer mee eens 2 3,1 2 2,2 1 1,9 3 10,0 8 3,3 Eens 38 58,5 54 59,3 31 57,4 13 43,3 136 56,7 Oneens 15 23,1 23 25,3 12 22,2 7 23,3 57 23,8 Zeer mee 1 1,1 2 3,7 3 1,3 Geen mening 9 13,8 11 12,1 8 14,8 7 23,3 35 14,6 Niet ingevuld 1 1,5 n 65 91 54 30 240 Het invullen van de vragenlijst zette veel feedbackers (60 %) aan het denken over de eigen vaardigheden. Validering SI - 20/25 -