Assessment van Gespreksvaardigheden via de Webcamtest: Onderzoek naar Betrouwbaarheid, Beleving en de Samenhang met Persoonlijksfactoren

Transcriptie

1 : Onderzoek naar Betrouwbaarheid, Beleving en de Samenhang met Persoonlijksfactoren Assessment of Counseling Communication Skills by Means of the Webcamtest: A Study of Reliability, Experience and Correlation with Personality Factors Petra L. van den Heuvel-Langenberg Studentnummer: Eerste begeleider: Dr. Mark Hommes Tweede begeleider: Dr. Wim Bloemers december 2011 Faculteit Psychologie Afstudeerrichting Arbeids- en Organisatiepsychologie Open Universiteit Nederland

2 Inhoudsopgave Samenvatting 4 Summary 6 Inleiding Situational judgment test 8 Van paper & pencil test tot webcamtest 10 Invloed persoonlijkheid op gespreksvaardigheden 14 Het toetsen van gespreksvaardigheden 16 Beleving 18 Het huidige onderzoek, onderzoeksvraag en hypothesen 21 Methode Onderzoeksgroep 22 Meetinstrumenten 23 Procedure 25 Analyseplan 26 Resultaten Beschrijving onderzoeksgroep 26 Hypothese 1.1: Interbeoordelaarsbetrouwbaarheid 28 Hypothesen 2.1, 2.2, 2.3: Beleving 28 Hypothesen 3.1, 3.2, 3.3: Invloed van persoonlijkheidsfactoren 30 Petra van den Heuvel 2

3 Discussie Interbeoordelaarsbetrouwbaarheid 32 Beleving 32 Persoonlijkheid 34 Beperkingen 35 Aanbevelingen voor nader onderzoek 36 Literatuur 39 Petra van den Heuvel 3

4 Samenvatting Achtergrond. Het aanleren van gespreksvaardigheden is een vast onderdeel in het curriculum van psychologiestudenten aan de Erasmus Universiteit Rotterdam. Deze vaardigheden worden getentamineerd door middel van een schriftelijke reactie op videofragmenten van geënsceneerde praktijksituaties. In deze thesis is een nieuwe manier van toetsen onderzocht, namelijk door de student deze reactie in een webcam te laten uitspreken. Doel. Het doel van dit onderzoek was na te gaan of een assessment van gespreksvaardigheden per webcamtest betrouwbaar is en hoe de webcamtest door de kandidaten beleefd wordt. Tevens is onderzocht of persoonlijkheidsfactoren van invloed zijn op de resultaten van toetsing van gespreksvaardigheden door middel van de webcam. Deelnemers, procedure en onderzoeksontwerp. Deelnemers aan dit onderzoek waren studenten psychologie aan de Erasmus Universiteit Rotterdam die de schriftelijke toets eenmaal of tweemaal hebben gedaan. De totale onderzoeksgroep (N=34) bestond uit 22 eerstejaars, negen tweedejaars en drie vierdejaars studenten, in de leeftijd van 19 tot 24 jaar. Kandidaten hebben zich na een algemene oproep aan alle studenten vrijwillig aangemeld voor deelname. Meetinstrumenten. Voor het meten van de gespreksvaardigheden via de webcam zijn de 42 filmfragmenten en vragen uit de op de Erasmus Universiteit door J. Kuntze ontwikkelde schriftelijke toets (VVGT) omgezet in een webcamversie. Beleving werd gemeten met vier meerkeuzevragen en één open vraag. De webcamtest en de belevingsvragen zijn aangeboden via het door VanderMaesen Koch HRM-Advies ontwikkelde testportaal T-Station. De persoonlijkheidsfactoren emotionaliteit, extraversie en integriteit zijn gemeten met de HEXACO-PI(R) persoonlijkheidsvragenlijst. Resultaten. De onderzochte interbeoordelaarsbetrouwbaarheid is hoog gebleken (r >.80). Met betrekking tot beleving hebben de deelnemers aangegeven de webcamtest gemiddeld Petra van den Heuvel 4

5 leuker en realistischer, maar ook moeilijker te vinden dan de schriftelijke toets. De invloed van de persoonlijkheidsfactoren emotionaliteit, extraversie en integriteit op de prestatie op de webcamtest werd in dit onderzoek niet aangetoond. Conclusie. Hoewel de resultaten gezien de beperkte omvang van de onderzoeksgroep met enige voorzichtigheid geïnterpreteerd dienen te worden, bieden de gevonden hoge interbeoordelaarsbetrouwbaarheid en de positieve beleving van de kandidaten perspectief voor de verdere ontwikkeling van webcamtesten voor onderwijs- en selectiedoeleinden. Het onderzoek wordt afgesloten met aanbevelingen voor nader onderzoek. Keywords: SJT; persoonlijkheid; emotionaliteit; extraversie; integriteit; webcamtest; gespreksvaardigheden; beleving Petra van den Heuvel 5

6 Summary Background. The acquisition of counseling communication skills is part of the curriculum of psychology students at the Erasmus University Rotterdam. These skills are assessed by means of a written reaction to video clips of relevant situations. In this study a new way of assessing was tested, namely to let the student express their reaction verbally into the webcam. Aim. The aim of this study was to investigate whether an assessment of counseling communication skills by means of a webcam test is reliable and how the webcam test is experienced by the participants. Furthermore we investigated the influence of personality factors on the results of the webcamtest. Participants, procedure, design. Participants were psychology students at the Erasmus University Rotterdam who have taken the written version of the test once or twice. The total sample (N=34) consisted of 22 freshmen, nine second-year and three fourth-year students, aged from 19 to 24. After a general invitation to all students participants have volunteered to participate in this study. Measures. To measure the counseling communication skills by means of the webcam the 42 video clips and questions of the original paper & pencil test (VVGT: Kuntze, 2009) were transformed into a webcam test. Experience was measured by four multiple choice questions and one open ended question. The webcamtest and the questions with regard to experience were presented by means of the test software T-Station (VanderMaesen Koch HRM-Advies). The personality factors emotionality, extraversion and honesty-humility were measured by means of the HEXACO-PI(R), the HEXACO personality inventory revised. Results. The interrater reliability of the webcam test was high (r >.80). With regard to experience the participants indicated the webcam test as more user friendly and realistic, but also more difficult than the paper & pencil version with written answers. The influence of the Petra van den Heuvel 6

7 personality factors emotionality, extraversion and honesty-humility on the results of the webcam test could not be established. Conclusion. Although the results of this study should be interpreted with caution because of the limited sample size, the high interrater reliability and the positive experience of the participants do offer opportunities for further development of webcam tests for the purpose of education and selection. The study concludes with recommendations for future research. Keywords: SJT; personality; emotionality; extraversion; honesty-humility; webcam test; communication skills; experience Petra van den Heuvel 7