Emotionele Intelligentie onder Psychologiestudenten

Transcriptie

1 Emotionele Intelligentie onder Psychologiestudenten Een pilotstudie UNIVERSITEIT TWENTE. JUNI 2011.

2 Emotionele Intelligentie onder Psychologiestudenten: Een pilotstudie Testtheorie & inleiding Psychodiagnostiek Lianne Groen Sipke Stuiver Arnold van Meerveld Ronald V. Roskam. Onderzoeksverslag Juni 2011 Student: Lianne Groen Sipke Stuiver Arnold van Meerveld Ronald V. Roskam s s s s Initem Universiteit Twente Faculteit der Gedragswetenschappen Opleiding Psychologie Begeleiding: Prof. S. Van den Berg 2

3 Voorwoord Voor u ligt de Emotionele Studenten Survey voor Intelligentie. De titel van deze vragenlijst onderstreept de mogelijkheden en methoden die er zijn om een valide en betrouwbaar meetinstrument te ontwikkelen dat specifiek is gericht op het meten van emotionele intelligentie bij psychologiestudenten. In dit verslag wordt inzicht gegeven in de stappen die zijn genomen. Dit meetinstrument is ontwikkeld tijdens het vak Testtheorie en inleiding psychodiagnostiek aan de Universiteit Twente. Dit verslag maakt deel uit van de huidige discussie om emotionele intelligentie specifieker in kaart te brengen. Ten eerste is de huidige literatuur bestudeerd omtrent emotionele intelligentie en onderzocht welke tests er tot op heden zijn. Ten tweede is onderzocht hoe de informatie uit de literatuur op een valide en betrouwbare manier kan worden vertaald naar de belevingswereld van de studenten. Deze analyse heeft maatregelen voortgebracht om een efficiënt en effectief meetinstrument te ontwikkelen voor deze specifieke doelgroep. Het meetinstrument is onderzocht op betrouwbaarheid en validiteit. Tijdens dit project is veel steun ontvangen van mevrouw van Dijk, werkend als studentenpsycholoog op de Saxion Hogeschool. Wij danken haar voor het beschikbaar stellen van informatie en persoonlijke toelichting met betrekking tot de inhoudsvaliditeit. Tevens zijn wij veel dank verschuldigd aan mevrouw van den Berg voor haar heldere toelichtingen en kritische opmerkingen. 3

4 Inhoudsopgave VOORWOORD... 3 HOOFDSTUK 1 - INLEIDING INLEIDING THEORETISCH KADER Stromingen binnen de huidige theorie Conclusie EERDERE TESTS OPERATIONALISATIE Herkennen van emoties van anderen Het gebruiken van emoties Het begrijpen van emoties Controleren van emoties Aandachtspunten operationalisering Likertschaal HOOFDSTUK 2 TESTHANDLEIDING HOOFDSTUK 2 TESTHANDLEIDING DOELGROEP TESTGEBRUIKERS TESTMATERIAAL INSTRUCTIE TESTSCORES Berekening testscores Analyse normscores HOOFDSTUK 3 - BETROUWBAARHEID EN VALIDITEIT BETROUWBAARHEID Heterogeniteit versus homogeniteit Stabiliteit De Cronbach s alfa en de inter-itemtest Herindeling constructen via factoranalyse Hertest Aanvullingen VALIDITEIT Gezichtsvaliditeit Constructvaliditeit Inhoudsvaliditeit Convergente & Discriminante validiteit Interventie HOOFDSTUK 4 - REFLECTIE DE TEST HET GROEPSPROCES HET BELANG CONCLUSIE BIJLAGE 1: PILOTVERSIE VRAGENLIJST ESSI BIJLAGE 2: UITEINDELIJKE VERSIE VRAGENLIJST ESSI

5 Hoofdstuk 1 - Inleiding Inleiding De ESSI (Emotionele Studenten Survey voor Intelligentie) is een vragenlijst die de emotionele intelligentie (EI) van psychologiestudenten meet. Deze meting bestaat uit een zelfrapportage waarin emotionele intelligentie is toegespitst op de belevingswereld van de huidige psychologiestudent. De ESSI is geoperationaliseerd in 20 items en vier demografische vragen. Met deze vragen worden vier constructen gemeten, te weten (1) het herkennen van emoties van anderen, (2) het gebruiken van emoties, (3) het begrijpen van emoties en (4) het controleren van emoties Nut van nieuwe test Tot op heden worden er voornamelijk algemene EI testen afgenomen bij psychologiestudenten, zonder in de vraagitem en operationalisatie specifiek rekening te houden met de belevingswereld van deze psychologiestudenten. Het nut van deze test is om een meetinstrument te ontwikkelen dat specifiek rekening houdt met het referentiekader van de psychologiestudenten, zodat vragen worden gesteld waar studenten zich iets bij voor kunnen stellen. Het uiteindelijke doel hiervan is om de validiteit te vergroten. Daarnaast zijn de huidige vragenlijsten relatief lang (meer dan 100 vragen) en tijdrovend. Kortom, naast een meer valide meetinstrument, is het tevens functioneel een korter meetinstrument te maken wat toegankelijker is voor onze doelgroep. Het doel van de test is om de EI in kaart te brengen bij psychologiestudenten op een meer genuanceerde wijze dan voorheen. Voorheen is emotionele intelligentie hoofdzakelijk gemeten over grote groepen mensen met een grote diversiteit aan individuen (Mayer et al, 2001; Dulewicz & Higgs, 1999). Een genuanceerder beeld is noodzakelijk omdat psychologiestudenten naar verwachting met betrekking tot EI uitslagen dichter bij elkaar liggen dan de totale populatie. De homogeniteit onder psychologiestudenten is relatief gezien hoog. De vraag is dan ook wat het onderscheidende vermogen van de huidige tests is op het moment dat de scores dicht bij elkaar liggen. Tevens is de ecologische validiteit van de huidige EI tests laag in relatie tot de psychologiestudenten (Wang, Young, Wilhite & Markczyk, 2010). De huidige EI tests zijn algemeen en gaan relatief weinig in op het leven van de student. Samenvattend kan er gesteld worden dat de directe aanleiding voor het ontwikkelen van een EI test te vinden is in het doel om een vragenlijst te ontwikkelen die korter is, meer is toegespitst op de belevingswereld van studenten en die wat betreft scoring een meer onderscheidend beeld geeft. Het doel in dit onderzoek is het opstellen van een betrouwbaar en valide meetinstrument voor het meten van EI Theoretisch kader Een theoretisch uitgangspunt is een belangrijke voorwaarde om uiteindelijk een meetinstrument op te kunnen zetten dat zowel betrouwbaar als valide is met betrekking tot onze doelgroep. 5

6 Emotionele intelligentie is een onderwerp waar de afgelopen twintig jaar bij onderzoekers een groeiende interesse naar is. Het begrip staat sterk in de belangstelling en is niet meer weg te denken in de praktijk. Tot dusver lijkt het, ondanks het grote volume aan publicaties over EI, problematisch om een coherent theoretisch kader te formuleren. Verschillende onderzoekers hebben geprobeerd om EI te conceptualiseren en een leidend meetinstrument op te zetten. De één al dan niet met meer succes dan de ander (Salovey & Mayer, 1990; Mayer, Caruso & Salovey, 1993; Izard, 2001; Bar-On, Handley, & Fund, 2006; Papadogiannis, Logan & Sitarenios, 2009). Uit de hierboven genoemde onderzoeken blijkt dat EI meer dan IQ, een belangrijke factor is voor persoonlijk succes. Daarnaast correleert een toename van het EI hoog met efficiënter werken in teamverband, omgaan met stress en stresstolerantie, een verbeterde groepsproductiviteit en een verbeterde gemoedstoestand. (Bar-On, 1997; Cooper, 1996; Cherniss, 2000; Cherniss & Goleman, 2001; Goleman, 1995; Goleman & Cherniss, 1998; Lusch & Serpkenci, 1990; Weisinger, 1998). Tevens blijkt het nut van EI onder studenten relevant te zijn: een longitudinaal onderzoek van Feist & Barron (1996) wijst uit dat EI het academische succes van studenten vier zo goed kan weergeven dan IQ dit doet Stromingen binnen de huidige theorie Om tot een definiëring van het EI te komen, is het noodzakelijk om het onderscheid in stromingen aan te duiden. Het onderscheid is van belang met betrekking tot de operationalisatie en validiteit van de test. Er is in de huidige literatuur een onderscheid te maken tussen drie stromingen die elk hun eigen conceptualisering geven van het begrip EI. De eerste stroming is begonnen aan het begin van de jaren 90 en omschrijft EI als een voorwaarde voor succes. Deze stroming heeft bekendheid verworven door Goleman. Hij definieert EI als de capaciteit om eigen gevoelens van onszelf en van anderen te herkennen om doelen te bereiken (Goleman, 1995). Een belangrijke voorwaarde voor EI is zelfbewustzijn, zelfregulering, motivatie en empathie. In deze stroming wordt meer nadruk gelegd op voorwaarden die het mogelijk maken om gedrag te vertonen passend bij EI. In deze stroming gaat het niet zo zeer om concreet gedrag of vaardigheden als om de voorwaarden voor dit gedrag. De meetinstrumenten worden met name gebruikt om voorspellingen te doen met betrekking tot sociaal welbevinden en leiderschap (Bar-On, 1997; Cherniss & Goleman, 2001; Goleman, 1995; Goleman, Boyatsis & McKee, 2002). De tweede stroming heeft kritiek op de classificatie en operationalisatie van EI door Goleman. De belangrijkste kritiek op Goleman is dat de definiëring te veel omvattend is, zodat meetinstrumenten onwerkbaar worden omdat de gehanteerde constructen (zelfbewustzijn, zelfregulering en motivatie) te ruim en ambigue zijn. Deze stroming is ontwikeld door onder andere Salovey, Mayer en Caruso. Deze stroming omschrijft EI als een concrete vaardigheid in plaats van kenmerken die voorwaarden vormen om de vaardigheden van EI toe te passen. Deze stroming is in verhouding tot de eerste stroming concreter en minder abstract. 6

7 Kortom, deze tweede groep onderzoekers gaan in op meetbare vaardigheden die behoren bij EI. Zij meten de volgende constructen: (1) de vaardigheid om emoties te herkennen bij anderen. (2) de vaardigheid om de complexiteit en veranderlijkheid van emoties doelbewust te gebruiken, (3) de vaardigheid om emotionele informatie over relaties en de omgeving te begrijpen (4) en de vaardigheid om emoties te reguleren om emotionele en intellectuele groei te bevorderen. (Salovey & Mayer, 1990; Mayer & Salovey, 1997; Mayer, Caruso & Salovey, 1999; Mayer et al, 2001; Mayer et al, 2003; Buckens et al, 2006; Mayer, Roberts & Barsade, 2008). Opvallend is dat er vier constructen worden onderscheiden in deze stroming die als concrete vaardigheid beter zijn te operationaliseren in verhouding tot de stroming van Goleman. Deze stroming wordt ook wel aangeduid met de omschrijving vaardigheid EI. Tot slot is er een derde groep onderzoekers die EI zien als een stabiel kenmerk dat wordt bepaald door de persoonlijkheid. Deze stroming staat tussen de eerste en tweede stroming in wat betreft het abstractieniveau. Deze stroming is breder dan de tweede, maar minder breed dan de eerste stroming van Goleman. Deze stroming is na het jaar 2000 op gang gekomen. Dit is relatief laat met als gevolg dat deze stroming onvoldoende homogeen is. Tevens ontbreekt het aan onderzoek dat deze stroming ondersteunt (Buckens et al, 2006). Onderzoekers die deze stroming vertegenwoordigen zijn onder andere Petrides en Furnham. Deze stroming wordt ook wel het Kenmerk EI genoemd. Het Kenmerk EI is het best meetbaar via zelfrapportage in bijvoorbeeld vragenlijsten (Warwick & Nettlebeck, 2004) Conclusie De ESSI zal aansluiten bij de stroming van Salovey, Mayer en Caruso. Om die reden wordt EI als vaardigheid beschouwd. Deze theorie biedt de meeste houvast om in een korte tijd de constructen uit de theorie te operationalisering en te vertalen naar psychologiestudenten. Daarnaast sluit deze stroming beter bij ons doel aan om een kortere vragenlijst te ontwikkelen. De stroming van Goleman is daarvoor simpelweg te breed. Bij de stroming van onder andere Petrides en Fumham kunnen vraagtekens worden gezet met de overlap tussen persoonlijkheidskenmerken en vaardigheden. De kans dat er meer verwarring dan verduidelijking optreedt, maakt deze stroming minder geschikt voor onze vragenlijst. In dit verslag wordt EI gezien als een stabiele vaardigheid dat los staat van de persoonlijkheidskenmerken en motieven. De tweede stroming biedt meer ruimte om concreet gedrag te meten. In het paragraaf 1.4 zal nader worden toegelicht hoe de constructen uit deze theorie geoperationaliseerd worden: het waarnemen van emoties, het gebruiken van emoties om gedachten te faciliteren, het begrijpen van emoties en het reguleren van emoties 1.3 Eerdere tests Zoals op de vorige pagina is benoemd, bestaan er verschillende theorieën voor het meten van EI die uiteenvallen in drie verschillende stromingen. Bij de theorie van Goleman en Bar-On is de test Bar- 7

8 On Model of Emotional-Social Intelligence (EQ-i) ontwikkeld. In deze self-test wordt de emotionele intelligentie gemeten als voorspeller van sociaal succes. De test bevat 133 items met betrekking tot vijftien subschalen waaronder assertiviteit, stress en onafhankelijkheid. In het kader van de theorie van Mayer et al. (2003) wordt EI gemeten met de Mayer Salovey Caruso Emotional Intelligence Test (MSCEIT). Hierin wordt emotionele intelligentie gemeten als een aantal vaardigheden. De meest recente versie (MSCEIT V2.0 ) bestaat uit 141 items en meet vier constructen: het waarnemen van emoties, het gebruiken van emoties om gedachtes uit te drukken, het begrijpen van emoties en het controleren van emoties. Het onderzoek van de laatste stroming die is genoemd zit volgens Buckens et al. (2006) nog in een ontwikkelingsfase waardoor er op dit moment nog geen valide betrouwbare tests beschikbaar zijn. De stroming waar de ESSI op gebaseerd is, is de stroming van Mayer en Salovey. Door Mayer en Salovey is veel onderzoek gedaan naar EI en de geruime hoeveelheid literatuur die emotionele intelligentie sterk onderbouwd. Tevens bieden Mayer et al. (2003) door hun onderzoek een valide basis voor de ESSI. Ook is gebleken dat deze test een hoge betrouwbaarheid heeft met een splithalfbetrouwbaarheid van 0.91 tot 0.93 (Mayer et al, 2003). 1.4 Operationalisatie In verschillende onderzoeken worden constructen toegekend aan de definitie van EI zoals in de inleiding beschreven is (Mayer et al, 2003; Warwick & Nettlebeck, 2004; Lane et al, 2009). In dit gedeelte wordt de operationalisatie toegelicht. Bij de operationalisering is rekening gehouden met de situatie waarin studenten zich bevinden. Tevens is rekening gehouden met de theorie die als bron dient voor deze constructen. In dit onderzoek wordt de stroming vaardigheid EI als uitgangspunt genomen. Binnen Vaardigheid EI worden vier constructen onderscheiden (Mayer et al, 2001; Mayer et al, 2003) Herkennen van emoties van anderen Dit construct gaat in op wat mensen letterlijk waarnemen. Mayer et al (2003) omschrijven het als de vaardigheid om emoties waar te nemen en te identificeren. Mensen zien foto s of gezichten en kunnen een interpretatie ontlenen in wat ze zien. In hoeverre zijn mensen in staat om emoties van anderen te herkennen? Komt datgene wat ze zien overeen met de gedachte die ze hebben over een individu die een emotie vertoond? Dit construct bevat items die gericht zijn op het vermogen van de respondent tot het identificeren van emoties (Papadogiannis, Logan & Sitarenios, 2009). Tijdens de operationalisatie is rekening gehouden met de situatie waarin studenten zich in bevinden op het moment dat zij emoties van anderen herkennen. Bijvoorbeeld situaties in groepsverband omdat studenten regelmatig in groepen werken. Een voorbeeld hiervan is: in groepsverband begrijp ik nonverbale signalen gemakkelijk Andere items zijn te vinden in bijlage 1. Het betreft de items 6,7, 9, 12, 14, 17, 18 en 19 8

9 1.4.2 Het gebruiken van emoties Dit construct wordt door Mayer et al (2001) gedefinieerd als de vaardigheid om emotionele informatie aan te wenden en deze direct te gebruiken om het denkproces te bevorderen. Het betreft het omzetten van kennis van emoties naar het daadwerkelijk gebruik ervan in sociale situaties. Iemand die hoog scoort op het gebruik van emoties kan gemakkelijker een verbintenis op emotioneel vlak aangaan met anderen. De beredenering hierachter is, dat deze persoon op, een prettige manier, de juiste emoties op het juiste moment weet te gebruiken. Dit gedrag zorgt ook voor een stijging in effectiviteit op gebieden zoals creatief denken, het probleemoplossend vermogen en groepsleiderschap (Papadogiannis, Logan & Sitarenios, 2009). Het gebruiken van emoties wordt gemeten met items die gericht zijn op situaties waarbij de studenten een emotie moet koppelen aan het verwezenlijken van doel. Bij de operationalisatie is ook hier geprobeerd om rekening te houden met situaties waarin studenten zich in bevinden. Een voorbeeld hiervan: Ik geef mijn groepsgenoten gemakkelijk een compliment als zij goed werk hebben geleverd. Andere items zijn te vinden in bijlage 1. Het betreft de items 10, 13, 16, 22 en Het begrijpen van emoties Het begrijpen van emoties is de vaardigheid om emotionele informatie over relaties-, de overgang tussen emoties en linguïstische informatie van emoties te begrijpen (Mayer et al, 2001). Het betreft het proces om emotionele veranderingen tijdig te signaleren. Met tijdig wordt in deze context het moment bedoelt waarop de emoties zich voordoen. Bij het signaleren van emoties wordt in onze operationalisatie geen onderscheidt gemaakt tussen het begrijpen van andere emoties en eigen emoties. Reden is dat het om dezelfde vaardigheid gaat (Mayer et al, 2001). Emotionele signalen zijn zichtbaar in de manier van spreken van een individu, maar ook in de inhoud van de taal. Iemand met een verhoogd niveau om emoties te begrijpen beschikt over een vergrote emotionele vocabulaire waardoor het begrijpen van complexe relaties tussen emoties verbeterd wordt (Papadogiannis, Logan & Sitarenios, 2009). Om dit begrip te operationaliseren worden vragen gesteld zoals ik ben mij bewust van de emoties die ik ervaar en ik vind het moeilijk om te begrijpen hoe een ander zich voelt. Andere items zijn te vinden in bijlage 1. Het betreft de items 11, 15, 20, 21, 26 en Controleren van emoties Het controleren van emoties is de vaardigheid tot het controleren van emoties en emotionele relaties voor persoonlijke en interpersoonlijke groei (Mayer et al, 2003). In hoeverre hebben de studenten controle over hun emoties en hun copinggedrag? En in hoeverre kunnen zij emoties gebruiken om hun ontwikkelen te stimuleren? Dit construct kan gemeten worden aan de hand van items die beschrijven in welke mate een persoon in staat is tot het vasthouden van emoties, het repareren van emoties (rustig worden na een bui van boosheid) en het genereren van emoties die gepast zijn bij een bepaalde 9

10 situatie (Papadogiannis, Logan & Sitarenios, 2009). Een item die bij dit construct gesteld wordt is Als ik teleurgesteld ben over een opdracht, dan ben ik in staat om snel terug te keren in een goede bui. De andere items zijn te vinden in bijlage 1. Het betreft de items 5, 8, 23, 25, 27, 29, 30, 31, 32 en Aandachtspunten operationalisering Likertschaal De operationalisatie vindt plaats op basis van een Likertschaal met vijf antwoordmogelijkheden. Bij de operationalisatie is gepoogd om de belangrijkste aspecten achteraan de zin te zetten, dubbele ontkenningen te vermijden en concrete situaties in de vragen te betrekken. Bij de items is geprobeerd om het item zo positief of negatief mogelijk te formuleren. Er zijn voor negatieve constructen gekozen om een tendens in antwoorden op te kunnen merken en ook het aantal meetfouten te verkleinen. In tabel 1 wordt zichtbaar welke items bij welk construct horen. Belangrijk is om te vermelden dat dit de indeling is voor de pilottest. Dit is van belang omdat enkele items niet meer voorkomen in de uiteindelijke test na uitvoering van een betrouwbaarheids- en factoranalyse. Constructen Cronbach s alpha Herkennen van emoties (1) 6,7, 9, 12, 14, 17, 18*, 19 Het gebruiken van emoties (2) 10, 13, 16, 22, 24 Het begrijpen van emoties (3) 11, 15*, 20, 21, 26, 28 Controleren van emoties (4) 5, 8, 23, 25*, 27, 29, 30, 31*, 32, 33 Tabel 1: Scoringstabel * Deze items dienen een hercodering te krijgen voor een juist interpretatie van de schaal, deze luidt als volgt: (1=5, 2=4, 3=3, 4=2, 5=1). 10

11 Hoofdstuk 2 Testhandleiding De uitspraken die gedaan worden op basis van deze test zijn kwantitatief. Het gaat om uitspraken die informatie geven over één individu. Het doel is om aan te geven wat het niveau van EI is van deze specifieke persoon door zijn of haar gegevens te vergelijken met de normgroep. In deze context is het van belang om uitspraak te doen over het individu in relatie tot de breedte van het spectrum. Dit in tegenstelling met een criterium. Deze test leent zich niet om te bepalen of iemand geschikt of niet geschikt is. Er worden verder geen consequenties verbonden aan de uitkomst, behalve dat het individu op een bepaald percentiel scoort. De interpretatie die aan deze waarde ontleent kan worden zal duidelijk worden bij de normering. 2.1 Doelgroep Mannelijke en vrouwelijke psychologiestudenten in Nederland vormen de doelgroep voor deze test. Zoals in hoofdstuk 1 is aangegeven, is er voor deze doelgroep gekozen omdat deze groep naar verwachting homogener is dan de gehele populatie in Nederland. Tevens wordt verwacht dat deze groep gezien hun studie meer belang hebben om inzicht te vergaren in hun niveau van emotionele intelligentie. In hun latere beroepsuitoefening is het essentieel dat zij enig inzicht hebben in hun eigen emotionele intelligentie. Vanwege de vrijwillige deelname aan de test wordt er vanuit gegaan dat de deelnemers die beginnen aan de test oprecht geïnteresseerd zijn in het onderwerp EI en dat ze zelf willen weten hoe emotionele intelligent zij zijn. 2.2 Testgebruikers De ESSI zal voornamelijk gebruikt worden voor wetenschappelijk onderzoek op verschillende terreinen. Wetenschappers kunnen met behulp van de ESSI een genuanceerder beeld krijgen van de scores van EI bij psychologiestudenten. Deze scores kunnen vervolgens eventueel met andere populaties vergeleken worden om bijvoorbeeld correlaties tussen het EI van deze populaties en psychologiestudenten te ontdekken. Naast de wetenschappers zullen de studenten zelf de testgebruikers zijn op het moment dat zij geïnteresseerd zijn in hun EI ten opzichte van andere psychologiestudenten. Zij kunnen met behulp van de test informatie opdoen over hun emotionele vaardigheden in vergelijking met andere psychologiestudenten en deze zo nodig verbeteren zodat zij zelf kunnen werken aan hun EI. 2.3 Testmateriaal Deze test is kwantitatief opgebouwd en maakt gebruik van een vijfpunts-likertschaal. In kwantitatief onderzoek kan er onderscheid gemaakt worden in verschillende typen onderzoek. De ESSI wordt afgenomen door middel van een digitale vragenlijst. Een digitale variant van de ESSI is een relatief goedkope methode ten opzichte van andere schriftelijke methoden waarbij veel kosten gemaakt 11

12 worden aan instructeurs, papier en vergelijkbare zaken. Bij een digitale test is de toegankelijkheid voor studenten hoger doordat ze deze test op hun eigen plaats en moment kunnen invullen. Het voordeel is dat de test zelf op een gestandaardiseerde wijze afgenomen wordt. Tevens is een digitale versie een snelle en efficiënte manier van dataverzameling, die gezien de korte tijd van testconstructie wenselijk is. Dit betekent dat het onderzoek via de computer ingevoerd wordt en dat internet noodzakelijk is. Nadelen hiervan is dat mensen gemakkelijk onserieus te werk kunnen gaan en dat de identiteit van de kandidaat onduidelijk is. De uitspraken die gedaan worden kunnen dan grotere meetfouten bevatten met als gevolg dat betrouwbaarheid omlaag wordt gebracht. 2.4 Instructie De test wordt individueel ingevuld. De aanwezigheid van een testinstructeur is niet noodzakelijk. Dit betekent dat er niet overlegd wordt over de inhoud tijdens het maken van de test. De plaats en tijd tijdens het invullen heeft naar verwachting geen invloed. Vanwege het korte karakter van de test zijn pauzes niet noodzakelijk. Het is van belang dat de doelgroep de tijd heeft- en neemt voor het invullen, zodat de vragen voldoende begrepen worden. De vragen zijn in een weloverwogen volgorde geplaatst en hebben een logische opbouw. Aan het begin is er gekozen om te starten met de demografische items (1, 2, 3 en 4). Om respondenten te enthousiast te maken om de volledige vragenlijst in te vullen is er voor gekozen items toe te voegen waarin humor zit verwerkt. Een voorbeeld hiervan is item 5: Wanneer er een professor uit zijn broek scheurt tijdens een hoorcollege, kan ik mijn lach inhouden. De respondenten worden nieuwsgierig door dit item naar wat er gaat komen. Het gevolg hiervan is dat de intentie om de gehele vragenlijst in te vullen versterkt wordt. Een instructie is opgesteld om de test in te leiden, deze luidt als volgt: Altijd al willen weten hoe emotioneel intelligent je bent? Doe dan de ESSI-test! Deze test meet je emotionele intelligentie. Allereerst worden vier demografische vragen gesteld. Daarna bevat de test 29 items waarbij je telkens kunt kiezen uit vijf mogelijkheden: 1) Helemaal mee oneens, 2) Tamelijk mee oneens, 3) Neutraal, 4) Tamelijk mee eens en 5) Helemaal mee eens. Probeer de items zo eerlijk mogelijk te beantwoorden. Denk niet te lang na, maar ga af op je eerste ingeving. De test is anoniem. Het invullen van de test zal in totaal ongeveer 10 minuten van je tijd in beslag nemen. Mocht je vragen of opmerkingen hebben dan kan dit aan het eind van de test worden vermeld. Wij danken je vriendelijk voor het invullen. De test is geschikt voor psychologiestudenten, maar eventueel kan er een toepassing gevonden worden van de test in andere opleidingen. (bijvoorbeeld communicatiewetenschappen). Daarvoor is het echter noodzakelijk dat er normtabellen gecreëerd worden. Er wordt informatie gegeven over een andere groep mensen in het totaal spectrum van EI. Aangenomen kan worden dat respondenten van een technische opleiding anders zullen scoren dan psychologiestudenten. 12

13 2.5 Testscores De ESSI geeft de EI score weer van psychologiestudenten ten opzichte van andere psychologiestudenten. Een normering van de EI score is van belang voor de student om een interpretatie te kunnen verlenen aan een behaalde score. Alleen een score is voor de student namelijk niet duidelijk, het gaat vooral om de verklaring die gegeven kan worden aan de hand van de behaalde score. In deze paragraaf wordt duidelijk wat de scores inhouden, waar zij op zijn gebaseerd en welke normtabel bij de scores past Berekening testscores Een hoge score op de ESSI geeft aan dat een student een hoog EI heeft. Een lage score geeft een laag EI aan. De totale score op de test wordt berekend door alle items bij elkaar op te tellen. Hierbij geldt dat bij een antwoord met helemaal mee eens de score 5 wordt gegeven. De score loopt vervolgens trapsgewijs met één af tot helemaal mee oneens waarbij de score 1 wordt gegeven. Vermeld dient te worden dat negatief geformuleerde items voor de berekening al zijn omgeschaald. De laagste score die een student kan behalen op de ESSI is 20 (20 items maal 1). De hoogste score bedraagt 100 (20 items maal 5) Analyse normscores De totaal scores op de ESSI in de pilot zijn normaal verdeeld. Dit blijkt uit figuur 1. Tevens is de verdeling zeer symmetrisch. De skewnesss geeft aan in hoeverre de populatie normaal verdeeld is. Hoe dichter de waarde van skewnesss bij de 0 ligt, hoe normaler de populatie is verdeeld. Wanneer de skewness hoger dan 1 is, mag er aangenomen worden dat de data niet normaal verdeeld is. De skewnesss bedraagt in deze data 0.033, dat ligt zo dicht bij de nul dat de afwijking zeer minimaal is. Tevens Figuur 1: Normaalverdeling Pilot ESSI spelen de bol- en holheid een rol bij de vorm van de normaalverdeling. Hol betekent dat de verdeling spitser is dan normaal en bol betekent dat de verdeling platter is dan normaal. Dit wordt uitgedrukt in Kurtosis, ook wel welving genoemd. De Kurtosis bedraagt Deze twee gegevens houden voor de test in, dat bepaling van de normscores op basis van de standaard normaalverdeling geoorloofd is (Dooley, 2001). 13

14 Figuur 2: Normaalverdeling Aan de hand van de normaalverdeling is de indeling in normscores bepaald. In figuur 2 is een voorbeeld te zien van een normaal curve. Figuur 2 geeft overzichtelijk weer, dat hoe verder de standaarddeviatie van 0 verwijderd is, des te verder de score afwijkt van het gemiddelde. Dat is precies wat de ESSI wil meten. Daarom is er gekozen om de scores van de ESSI in te delen op basis van de standaard deviatie. In tabel 2 is de verdeling van de standaarddeviaties te zien met bijbehorende score. Wat hierbij vermeldt dient te worden is dat het gemiddelde van de groep tussen -1 standaard deviatie en 1 standaard deviatie zit. De groep gemiddeld EI bevat een grote van twee standaarddeviaties, dat is er één meer dan de overige vier groepen. De achterliggende reden hierachter is 0 tot 1s de bovenzijde van het gemiddelde weergeeft, -1s tot 0 de onderzijde van het gemiddelde. Echter samen geven zij een goed beeld van het totale gemiddelde. De gemiddelde score op de ESSI uit de pilot is 75.5 met een bijbehorende standaarddeviatie van Met behulp van deze gegevens kan de score aan de verklarende score gekoppeld worden. In onderstaande tabel staan deze opgesteld. Wel moet gezegd worden dat deze scores slechts een indicatie geven van het EI niveau en zijn gebaseerd op een relatief kleine groep respondenten (N=52). Standaarddeviatie Verklaring scores Score Minimum tot 2 s Lage EI 20 tot s tot -1s Benedengemiddeld EI tot s tot 1s Gemiddeld EI tot s tot 2s Bovengemiddeld EI tot 90 2s tot maximum Hoge EI 90 tot 100 Tabel 2: Normeringtabel ( na betrouwbaarheidsanalyse pilot) 14

15 Hoofdstuk 3 - Betrouwbaarheid en validiteit 3.1 Betrouwbaarheid Met dit meetinstrument wordt de emotionele intelligentie gemeten op basis van vier constructen. In dit hoofdstuk wordt een betrouwbaarheidsanalyse weergegeven van de testgegevens van de eerste pilot. De vier constructen die terugkomen in de uiteindelijke test zijn: herkennen van emoties, het gebruiken van emoties, het begrijpen van emoties en controleren van emoties. In dit hoofdstuk zal worden toegelicht op welke wijze de betrouwbaarheidsanalyse is uitgevoerd en de argumentatie waarom voor deze analyses is gekozen. In deze analyse is data gebruikte welke is verzameld onder 52 psychologiestudenten. Om de betrouwbaarheid te analyseren zijn verschillende methoden beschikbaar: hertesting, splithalfmethoden, evenmethoden en Cronbach s alfa en inter-itemtest (Cohen & Swerdlik, 2010). Bij het analyseren wordt gebruikt gemaakt van de betrouwbaarheidscoëfficiënt die een cijferindicatie van 0 tot 1 geeft, waarbij 0 geheel onbetrouwbaar is en 1 uiterst betrouwbaar. De keuze voor het type betrouwbaarheid is met name bepaald door het doel van de test en ook de manier waarop de test is opgezet Heterogeniteit versus homogeniteit Emotionele intelligentie is een breed onderwerp en heterogeen van aard. Gepoogd is om deze bij dit onderwerp de schaal op te breken in meer homogene constructen. Het voordeel van een indeling in homogene constructen is dat er een inter-item betrouwbaarheidsanalyse uitgevoerd kan worden, zodat de betrouwbaarheid nauwkeurig kan worden berekend. Met homogeniteit wordt in deze context bedoeld dat de verschillende items één concept vertegenwoordigden. Door deze homogene constructen te meten wordt geprobeerd om het heterogene concept meetbaar te maken. Het achterliggende idee is dat de verschillende homogene concepten gezamenlijk een bijdrage leveren aan de meting van het heterogene concept: emotionele intelligentie Stabiliteit De betrouwbaarheid wordt ook beïnvloed door de stabiliteit van het begrip emotionele intelligentie. Zoals blijkt uit het theoretische kader, wordt er uitgegaan van een vaardigheid. Daarmee is het concept van emotionele intelligentie relatief stabiel over de tijd. Voor deze reden leent de test-hertest methoden zich om de betrouwbaarheid te berekenen bij onze test De Cronbach s alfa en de inter-itemtest De betrouwbaarheid van de ESSI is allereerst gemeten aan de hand van Cronbach s alfa: de ondergrens van de interne betrouwbaarheid. De Cronbach s alfa is de meest gehanteerde maat voor 15

16 betrouwbaarheid. De Cronbach s alfa is het meest geschikt voor een betrouwbaarheidanalyse omdat onze test gebruik maakt van een vijfpunts-likertschaal. Tevens kan met de Cronbach s alfa de betrouwbaarheid over de test per construct worden berekend. Om een voldoende betrouwbare schaal te kunnen gebruiken dient de Cronbach s alfa minimaal 0.60 te zijn met een item-test-correlatie van minimaal 0.20 (Evers, Van Vliet-Mulder & Groot, 2000). In onderstaand tabel is de Cronbach s alfa van de schaal weergegeven op basis van analyses van SPSS en N=52. Met behulp van de inter-item correlatie en de Cronbach s alfa zijn 9 van de 29 items verwijderd. Bij de inter-item correlatie zijn items verwijderd met een correlatie lager dan Zichtbaar is dat Cronbach s alfa hierdoor toeneemt. Schaal Cronbach s alfa Emotionele Intelligentie Tabel 2: Scoringstabel Deze volgende items zijn na analyse van de Cronbach s alfa en inter-itemtest verwijderd: 5, 6, 7, 9, 23, 25, 27, 30 en 33 Bovenstaande tabel toont aan dat de Cronbach s alfa van de test ruim voldoet aan de minimale eis van Van belang is om op te merken dat exacte betrouwbaarheid niet wordt bepaald door de Cronbach s alfa. Cronbach s alfa geeft enkel de ondergrens van de betrouwbaarheid aan. De werkelijke betrouwbaarheid is dan ook groter dan de genoteerde alfa van (Sijtsma, 2009). Een andere kritische noot is dat er een kleine en specifieke steekproef is gebruikt bij deze test. De generaliseerbaarheid van dit meetinstrument is dan ook gering. Daarnaast valt op dat er relatief weinig items overblijven (20 van de 29). Om in de toekomst de betrouwbaarheid te verhogen is het van belang om meer items te generen die de desbetreffende concepten vertegenwoordigen Herindeling constructen via factoranalyse De interne consistentie is onderzocht met behulp van factoranalyse in plaats van Cronbach s alfa omdat de meting van de Cronbach s alfa geen informatie geeft over de interne consistentie (Sijtsma, 2009). Het achterliggende doel van deze factoranalyse is om te controleren of de gevormde constructen, op basis van de theorie, ook daadwerkelijk het zelfde meten in de praktijk. Uit factoranalyse blijkt in hoeverre items laden op een specifieke factor. Aan de hand van de factoren zijn de constructen onderzocht. Uit factoranalyse blijkt dat de meeste items correleren met het van te voren verwachte construct (zie tabel 3, items zonder *). Er zijn echter een vijftal items die hierop een uitzondering vormen: 8, 12, 16, 22 en 26. Deze items zijn met behulp van een factoranalyse ondergebracht in andere constructen. Om de inzichtelijkheid van de keuzes te vergroten met betrekking tot de herindeling is hieronder aangegeven welk item ondergebracht is in welk construct. Hierbij staan tussen haakjes de factorladingen aangegeven: - item 8 is ondergebracht in construct twee (0,58) en is verwijderd op construct vier (-0,053) - item 12 is ondergebracht in construct drie (0,563) en is verwijderd op construct drie (-0,394). 16

17 - item 16 is ondergebracht in construct vier (0,492) en is verwijderd op construct twee (0,255). - item 22 is ondergebracht in construct één (0,432) en is verwijderd op construct twee (0.054). - item 26 is ondergebracht in construct twee (0,626) en is verwijderd op construct drie (0,433). Constructen Items Herkennen van emoties (1) 14, 17, 18, 19, 22* Het gebruiken van emoties (2) 8*, 10, 13, 24, 26* Het begrijpen van emoties (3) 11, 12*, 15, 20, 21, 28 Controleren van emoties (4) 16*, 29, 31, 32, Tabel 3: Scoringstabel * Deze items zijn items die oorspronkelijk behoorden bij een ander construct. In tabel 3 is weergegeven welk item na factoranalyse bij welk construct hoort. De vernieuwde indeling vergroot de ondergrens van de betrouwbaarheid in verhouding tot een eerste betrouwbaarheidsanalyse waarbij geen factoranalyse is gedaan. Dit is zichtbaar in tabel 3. Uit deze waarden valt te concluderen dat de Cronbach s alfa van de individuele constructen voldoen aan de minimale eis van In bijlage 1 is de originele vragenlijst te vinden zoals deze in de steekproef is afgenomen. In bijlage 2 is de heringedeelde vragenlijst zichtbaar. Constructen Cronbach s alfa Herkennen van emoties (1) Het gebruiken van emoties (2) Controleren van emoties (3) Het begrijpen van emoties (4) Tabel 4:Betrouwbaarheidsanalyse na factoranalyse * Deze items zijn items die oorspronkelijk behoorden bij een ander construct Hertest In de ESSI is geen gebruik gemaakt van de splithalf-methode en evenmethode omdat deze analyses alleen functioneel zijn wanneer de ESSI uit een groot aantal items zou bestaan. Om de betrouwbaarheid te verhogen kunnen er in de toekomst meer items gegenereerd worden, zodat er een splithalf- en een evenmethode uitgevoerd kan worden. Dit was echter in deze test niet mogelijk, gezien het korte tijdsbestek waarin de opdracht gemaakt diende te worden. Een hertest is echter wel een belangrijke aanvulling om de betrouwbaarheid verder in te kunnen schatten Aanvullingen De Cronbach s alfa van de gehele test is ruim voldoende: de score van de test is Daarnaast zijn de Cronbach s alfa van de constructen voldoende (0.7) tot matig (0.6) nadat de items op de constructen zijn gerangschikt met behulp van factoranalyse. Om de betrouwbaarheid te vergroten, dus de mate waarin testscores onder dezelfde conditie herhaalbaar zijn, kunnen er nog een aantal stappen gezet worden. Van belang is dat er een test-hertest plaatsvindt en dat er meer items gegenereerd worden per 17

18 construct. Meer items zijn noodzakelijk om een beter en meer onderbouwd beeld te geven van EI. Daarnaast valt er ook een kritische kanttekening te plaatsen bij het gebruik van de testomgeving (Thesistools) en de steekproef. Tevens is af te vragen in hoeverre de respondenten representatief zijn voor de gewenste doelgroep. De respondenten volgen namelijk allemaal het zelfde eerstejaars vak en hebben er belang bij dat hun vragenlijst wordt ingevuld. Daarnaast vullen veel respondenten in een korte tijd relatief veel vragenlijsten in. De tijdsdruk om de vragenlijst in te vullen en het belang dat men heeft bij de vragenlijsten, kan er toe bijdragen dat de data minder betrouwbaar is dan verwacht. Tevens is de testomgeving van belang bij de mate van betrouwbaarheid. Het grote nadeel van Thesistools en andere computergestuurde tests is dat er geen feedback mogelijk is tussen de respondenten en testgebruikers. Daarnaast is er ook niet of nauwelijks te achterhalen hoe valide de test is ingevuld. Deze vertekeningen kunnen de meetfouten vergroten in de ingevulde scores. Opvallend was dat er geen verschil in alfa was te constateren tussen Nederlandse en Duitse studenten 3.2 Validiteit Validiteit stelt centraal of de ESSI daadwerkelijk meet wat het beoogt te meten. Een belangrijke voorwaarde voor validiteit is betrouwbaarheid (Dooley, 2001). De verschillende soorten validiteit met betrekking tot de ESSI vragenlijst worden in deze paragraaf verder besproken Gezichtsvaliditeit De gezichtsvaliditeit geeft informatie over de validiteit die met het oog waarneembaar is. Is er aan de ESSI te zien dat deze meet wat de test beoogt de meten. Volgens de stroming van onder andere Caruso, Mayer en Salovey (zie hoofdstuk 1) is emotionele intelligentie te meten met vier constructen, te weten (1) het herkennen van emoties van anderen, (2) het uitdrukken van gedachtes in emoties, (3) het begrijpen van emoties en (4) het controleren van emoties. Met de score op deze vier constructen wordt de mate van EI gemeten. Een aantal respondenten heeft feedback gegeven op de vragenlijst en gaven aan dat zij twee constructen herkenden in de vragenlijst: het herkennen van emoties van anderen en het controleren van emoties Constructvaliditeit Na afloop van de pilotstudie zijn de scores op de diverse items teruggebracht onder deze vier constructen. Vanuit deze constructen is de data geanalyseerd: zoals is weergeven in de factoranalyse van het vorige hoofdstuk. Vragen kunnen echter gesteld worden bij het feit in hoeverre deze vier constructen representatief zijn voor het onderwerp EI. In deze studie worden de constructen als dekkend gezien, omdat er voor een specifieke stroming binnen het concept van EI gekozen is. Vraagtekens over de constructen zijn vooral terug te leiden naar het concept EI zelf. Op dit moment bestaan er drie stromingen over het EI die allen een genuanceerd en iets ander beeld van elkaar geven. Kortom, in de algehele literatuur is er nog veel onduidelijkheid over het concept EI. Zolang er binnen 18

19 de literatuur geen consensus bestaat over het concept EI kan de vraag of er met de constructen gemeten wordt wat het concept beoogd te meten niet uitgesloten worden Inhoudsvaliditeit Inhoudsvaliditeit geeft weer of de items van het meetinstrument een representatieve weergave zijn van de constructen die worden gemeten. De vier constructen die de ESSI meet zijn direct vertaald uit de literatuur (zie theoretisch kader) en toegespitst op de belevingswereld van studenten. Daarnaast is geprobeerd om de inhoudsvaliditeit te vergroten door een deskundige te raadplegen: Mevr. Drs. E van Dijk, werkend als studentenpsycholoog op de Saxion hogeschool. Haar aanbevelingen met betrekking tot de inhoud en vraagitem zijn verwerkt in de testpilot. Samenvattend kan worden geconcludeerd dat de overgebleven items door de literatuur en Mevr. Drs. E van Dijk worden ondersteund Convergente & Discriminante validiteit De convergente validiteit van de test zou gemeten kunnen worden door onze test te vergelijken met testen van Mayer, Salovey en Caruso. De MSCEIT2.0 meet dezelfde constructen, maar dan toegespitst op een bredere doelgroep. Wanneer blijkt dat deze test hoog correleert met de ESSI dan kan met meer zekerheid dan op dit moment, gesteld worden dat ons meetinstrument valide is. Tevens omdat deze instrumenten al zijn gevalideerd. Het tegenovergestelde is ook mogelijk. De discriminante validiteit zou hoog moeten zijn met de andere testen binnen de EI omdat deze zijn gebaseerd op andere theorieën Interventie Een andere manier om de validiteit van het meetinstrument te vergroten is door middel van een interventie. Van belang is dat het in dit geval gaat om een experimenteel onderzoek met een controle groep. Een mogelijkheid is om eerst een pretest te houden met beide groepen. Met één groep een interventie te starten training vaardigheid emotionele intelligentie en vervolgens een posttest af te nemen waarin hetzelfde meetinstrument wordt voorgelegd. Tegelijkertijd volgt de controlegroep dezelfde pre-test en posttest zonder interventie. Op het moment dat er significante verschillen optreden tussen de interventiegroep en controlegroep kan er met meer zekerheid worden vastgesteld dat het meetinstrument valide is. De aanname die hier gedaan wordt is dat de scores bij aanvang tussen de groepen even hoog zijn, de interventie deugd en de omgeving is gecontroleerd om andere verklaringen uit te sluiten Vergelijking andere groepen De validiteit van de ESSI kan worden vergroot door verschillende groepen het meetinstrument te laten invullen. Bij voorkeur een groep die afwijkt van de huidige groep. Op het moment dat de test 19

20 verschillen geeft in scores die te verwachten zijn op basis van lidmaatschap van een bepaalde groep dan kan ook met meer zekerheid worden vastgesteld dat het meetinstrument valide is. Een idee is om bijvoorbeeld bouwvakkers van dezelfde leeftijd de test voor te leggen. De achterliggende gedachte is vooral te vinden in de veronderstelling dat een valide meetinstrument andere scores op de constructen zou moeten weergeven bij groepen die in essentie van elkaar verschillen. 20

21 Hoofdstuk 4 - Reflectie 4.1 De test De ESSI is een vragenlijst die EI meet. Met een relatief hoge betrouwbaarheid (α=0.80) kan er gesteld worden dat er een degelijke test ontwikkeld is. De test is relatief kort en gemakkelijk bruikbaar. In vijf minuten is de test gedaan en de resultaten zijn direct af te lezen aan de hand van de normeringstabel. De test is hierdoor efficiënt in gebruik en prettig om mee te werken. Feit is dat er verbeterpunten liggen in onder andere de theoretische onderbouwing. De definitie van EI wordt in dit onderzoek helder gegeven, echter, er is in de literatuur over emotionele intelligentie nog geen consensus over wat EI precies is. De diversiteit aan stromingen en mogelijkheden die bestaan binnen het continuüm van EI maken het lastig om een goede test te construeren die een goed beeld geeft van EI. Er is één centrale vraag die aanwezig blijft, ondank alle pogingen die door verscheidene onderzoekers (Mayer et al, 2003; Goleman, Boyatsis & McKee, 2002) gedaan zijn, wat isei? Tevens kan er gediscussieerd worden over de betrouwbaarheid. Volgens de COTAN (Commissie Testaangelegenheden Nederland) behoort voor een test met minder belangrijke beslissingen op individueel niveau een minimale populatiegrootte van 200 aanwezig te zijn. In dit onderzoek bedraagt de uiteindelijke populatiegrootte 52. Dit relatief lage aantal kan verklaart worden door het korte tijdsbestek waarin deze test geconstrueerd diende te worden. Met als gevolg dat er onvoldoende ruimte was om meer respondenten te verzamelen. Kortom deze populatiegrootte is te klein om de kwaliteit van de test voldoende te waarborgen. Het aantal items is relatief geslonken in dit onderzoek. Door het relatief kleine aantal items dat overgebleven is (N=20) kan afgevraagd worden in hoeverre deze items voldoende representatief zijn voor EI. Het korte tijdsbestek heeft meerdere gevolgen voor dit onderzoek. Zo is er gekozen voor een online mogelijkheid voor dataverzameling, omdat dit een efficiëntere methode is qua hoeveelheid werk. Kortom, in dit onderzoek is er een goede poging gedaan om EI te meten en om de verscheidene stromingen binnen de literatuur over emotionele intelligentie te integreren. Uit de resultaten van een factoranalyse blijkt dat de constructen individueel goed overeind staan en tezamen consistent emotionele intelligentie meten. Al met al is de ESSI een inhoudelijke goede en bruikbare test met een hoge betrouwbaarheid en een redelijk goede validiteit. 4.2 Het groepsproces Voor de groep ligt de meerwaarde van het vak Testtheorie vooral in de literatuur en oefening van betrouwbaarheids- en factoranalyse. Een deel van de studenten in deze groep volgen een premaster traject waarin factoranalyse alleen in dit vak voorkomt. Factoranalyse is relevant en belangrijk binnen onderzoek in de psychologie. Dit vak kent overlap met onder andere het vak 21

22 Onderzoeksmethodologie en biedt een goede uitwerking en uitdieping van de geleerde theorie in de praktijk. Dit vak biedt deels herhaling en deels vernieuwing ten opzichte van de stof die voorheen geleerd is. Door deels de onderwerpen validiteit, utiliteit en betrouwbaarheid te herhalen wordt deze stof beter begrepen. Door in een opdracht aan de gehele testtheorie een toepassing te bieden wordt de ervaring en inzicht van de student met de constructie van een test vergroot. Deze opdracht is een absolute meerwaarde binnen de opleiding. Het inzicht in hoe een test in elkaar zit, het inzicht in betrouwbaarheid en het inzicht in hoe validiteit terug komt in onderzoek wordt in geruime mate vergroot. Het vak is een doe-vak. Door met de opdracht bezig te zijn, wordt de student sneller wegwijs binnen de testtheorie en wordt het vak als geheel gemakkelijker. Verwacht wordt als het enkel bij de theorie zou blijven, dat juist dan moeilijker wordt om de theorie naar de praktijk te vertalen. 4.3 Het belang Het belangrijkste onderdeel van de testconstructie is het theoretisch kader en de operationalisatie hiervan. Meer dan de andere onderdelen is in dit onderzoek de noodzaak van een goede theoretische onderbouwing belangrijk gebleken. De stap om vanuit een definitie constructen te ontwikkelen die leiden tot valide items is een stap die de meeste moeite vergt. Een heldere, concrete definitie leidt tot relevante en inhoudelijk sterke constructen. Volgens onze groep ligt hier de kracht van een goede test. Een duidelijke definitie met relevante en goed opgebouwde constructen leveren een degelijk theoretisch kader van waaruit een goede test ontwikkeld kan worden. Door dit theoretisch kader wordt het gemakkelijker om items te bedenken en zal het minder moeite kosten om een voldoende Cronbach s alfa (>0.60) en een voldoende validiteit te bereiken. 4.4 Conclusie De ESSI lijkt na zijn eerste pilot zijn doel te behalen: het weergeven van het niveau van EI door een korte en eenvoudige zelfrapportage. De betrouwbaarheid van de ESSI is voldoende tot goed, nadat de test onder de normgroep van studenten is afgenomen. Daarnaast is de interne consistentie onderzocht aan de hand van de literatuur en met behulp van factor analyse. Mede gelet op het aantal respondenten, is deze goed voor een eerste pilot. Tevens is de inhoudsvaliditeit bekrachtigd door Mevr. Drs. E van Dijk. Aanvullende stappen kunnen ondernomen worden om de validiteit verder te onderzoeken. Voorbeelden van stappen zijn: een vergelijking met andere EI tests, het vergelijken van de ESSI met andere groepen of het eventuele gebruik van de ESSI in combinatie met een interventie. De normgegevens van dit meetinstrument zijn gebaseerd op de 52 psychologierespondenten aan de Universiteit Twente. Deze gegevens zijn gebruikt om het niveau van scores te analyseren en om interpretatie te verlenen aan de scores. De verkregen gegevens zijn bij benadering normaal verdeeld. Wel is het van belang om bij de interpretatie van de normtabel een slag om de arm te houden omdat de 22

23 steekproef van onvoldoende grootte is. De kwaliteit van de normtabellen zou verder moeten blijken op het moment dat er een grotere steekproef gehanteerd wordt. Concluderend is de ESSI een vragenlijst die op een korte en efficiënte manier de emotionele intelligentie van psychologiestudenten meet. 23