Het Teamkompas gereviseerd

Transcriptie

1 Het Teamkompas gereviseerd Erasmus Universiteit Rotterdam Instituut voor de Psychologie, Faculteit der Sociale Wetenschappen Master Scriptie Silvana van der Vliet, Het teamkompas is een model dat gebruikt wordt om de samenwerking binnen teams in kaart te brengen. Het is een praktisch model, dat een sterkere wetenschappelijke basis nodig had. Deze basis is verkregen is door middel van een validatie onderzoek. De onderzoeksvraag die in dit artikel beantwoord is: Wat zijn de psychometrische kenmerken van het Teamkompas, in termen van validiteit en betrouwbaarheid? Dit is onderzocht met behulp van een vragenlijst waar de leden van 63 studententeams en 42 werkteams aan hebben deelgenomen. Uit de resultaten blijkt dat het Teamkompas een goede betrouwbaarheid heeft. Daarnaast heeft het model een goede indrukvaliditeit, criterium validiteit en incrementele validiteit. De constructvaliditeit was onvoldoende en zou in de toekomst verbeterd kunnen worden, hier zijn ook aanbevelingen voor gedaan. Al met al kan het model als geheel waardevol zijn voor het verbeteren van teamprocessen in de praktijk. Daarentegen behoeven de onderliggende vier dimensies en de aansluiting daarvan met de vragenlijst nog aandacht. 1

2 Het Teamkompas gereviseerd Veel van het werk dat wordt uitgevoerd in organisaties vindt plaats in teamverband. In teams werken mensen samen met het streven om een gezamenlijk doel te bereiken dat verder gaat dan hetgeen door individuen afzonderlijk kan worden bereikt (Marks, Mathieu & Zaccaro, 2001). Kozlowski en Bell (2003) omschrijven een team als: Twee of meer individuen die samen taken uitvoeren, die samen een doel delen, die sociale interacties hebben, waarbij er sprake is van taakafhankelijkheid, die grenzen bepalen en behouden en waarbij er sprake is van uitwisseling met andere teams. Het is belangrijk dat de samenwerking tussen teamleden goed verloopt zodat teams hun doelen op een effectieve manier behalen. Literatuur laat overtuigend zien dat het verloop van allerlei teamprocessen (bijv. communicatie) sterk bepalend is voor de effectiviteit van samenwerking. Wanneer deze teamprocessen begrepen worden, geeft dit organisaties de mogelijkheid om personeel te selecteren, trainen, ontwikkelen en belonen voor effectief teamwerk (Marks et al., 2001). Het inzicht dat processen een vitale rol spelen bij teamwerk zorgt voor een grote behoefte aan toepasbare conceptuele modellen op het gebied van teamprocessen. Om aan deze behoefte tegemoet te komen is het Teamkompas ontwikkeld: een praktisch, Nederlandstalig model waarmee de samenwerking in teams in kaart gebracht kan worden. In Figuur 1 is het model te zien van het Teamkompas (Spijkerman & Spijkerman, 2010). 2

3 Figuur 1. Grafische weergave van het Teamkompas Het Teamkompas is ontwikkeld op basis van algemene kennis en ervaring. Het is een model dat reeds gebruikt wordt voor de evaluatie, het monitoren en het verbeteren van de samenwerking en/of effectiviteit van teams. Het instrument ziet er professioneel uit en heeft al bewezen waardevol te kunnen zijn voor gebruik in de praktijk, maar hoe verhoudt het zich tot de wetenschappelijke inzichten op het gebied van testconstructie en kwaliteit? In hoeverre biedt dit instrument toegevoegde waarde ten opzichte van de huidige teamliteratuur? Het doel van het huidige onderzoek is het valideren en onderbouwen van het Teamkompas. De kwaliteit van het Teamkompas zal worden onderzocht aan de hand van de COTAN richtlijnen (Evers, Van Vliet-Mulder & Groot, 2000). De COTAN omvat richtlijnen die de kwaliteit van psychologische testen beoordeelt. De psychometrische kenmerken waar de vragenlijst op onderzocht wordt zijn afgeleid van deze richtlijnen (Evers et al., 2000). Aan de hand van het onderzoek zal het Teamkompas wetenschappelijk onderbouwd worden. Het wetenschappelijk onderbouwen van het Teamkompas zorgt er ten eerste voor dat de kompaspunten in de theorie beter gedefinieerd en afgebakend kunnen worden. Als duidelijk is wat de kompaspunten precies inhouden, kan er gerichter feedback worden gegeven en kunnen teams beter gecoacht worden. Ten tweede kan wetenschappelijke onderbouwing de 3

4 marketing van het Teamkompas faciliteren. Bedrijven zullen door de onderbouwing meer vertrouwen krijgen in het model en zullen het eerder willen toepassen. Ten derde zullen de resultaten van het onderzoek naar het Teamkompas worden gebruikt voor het opstellen van een handleiding en normgroepen voor het instrument. Hierdoor kan er gekeken worden naar de ontwikkeling van teams en kunnen verschillende teams vergeleken worden. Tot slot is het belangrijk dat een model valide en betrouwbaar is wanneer het gebruikt wordt voor het nemen van beslissingen (Drenth & Sijtsma, 2004). De kompaspunten van het Teamkompas De term Teamkompas is gebaseerd op de doelstelling om met het model de communicatie in de gewenste richting te sturen. Communicatie heeft alles te maken met het uitzetten van een koers en het bepalen van een richting, waar een kompas normaal gesproken ook voor gebruikt wordt. Vandaar dat in dit model het kompas wordt gebruikt als metafoor voor de communicatie binnen teams (Spijkerman & Spijkerman, 2010). De vier kompaspunten staan in een logische volgorde die begint met het vormen van een doel en eindigt met de band tussen de teamleden. Het Teamkompas bevat vier kompaspunten: het Noorden, het Oosten, het Zuiden en het Westen. Het kompas begin met Focus op het Noorden, zoals een kompas is geijkt op het Noorden. Dit houdt in dat de leden van een team gericht zijn op het behalen van doelen. Hierbij is het belangrijk dat alle teamleden het met deze doelen eens zijn en dat de doelen specifiek en voor iedereen helder zijn (Spijkerman & Spijkerman, 2010). Uit de meta-analyse van LePine, Piccolo, Jackson, Mathieu en Saul (2008) blijkt dat doelspecificatie positief gerelateerd is aan teamprestatie. De beste teams vertalen hun algemene doel in specifieke prestatiedoelen. Deze doelen zorgen er voor dat teamleden gefocust blijven op de resultaten (Katzenbach & Smith, 1993). Ook uit het artikel van Locke, Saari, Shaw en Latham (1981) blijkt dat specifieke en uitdagende doelen leiden tot een hogere prestatie. Uit hun samenvatting van de literatuur over doelen en prestatie bleek uit 24 veldexperimenten dat mensen die specifieke, uitdagende doelen hebben beter presteren dan degenen die alleen hun best doen. De rol van doelen, en met name de mate waarin die specifiek en moeilijk zijn, bij het behalen van de teameffectiviteit wordt ondersteund door de literatuur. Het Oosten staat voor Route. Na het vaststellen van het doel moet er een route worden gekozen om de gestelde doelen te bereiken. De taken moeten verdeeld worden en de juiste strategie moet besproken worden (Spijkerman & Spijkerman, 2010). Route is te vergelijken met het concept van coördinatie, de samenwerking binnen een team moet gecoördineerd worden. Teams moeten het eens worden over een gemeenschappelijk werkplan waarbij de subdoelen voor ieder teamlid duidelijk zijn. Als hier overeenstemming over is, kan het team efficiënt en effectief aan het werk gaan (Hoegl & Gemuenden, 2001). Het formuleren van een strategie en het verdelen van taken blijkt 4

5 positief gerelateerd aan teamprestaties (LePine et al., 2008). Daarnaast ontwikkelen effectieve teams een sterke betrokkenheid voor een gemeenschappelijke benadering, de manier van samenwerken en de methode om de doelen te bereiken (Katzenbach & Smith, 1993). De rol van het formuleren van een strategie en de betrokkenheid met het doel in het behalen van de teameffectiviteit wordt ondersteund door de literatuur. Naast een doel (Noorden) en een route naar het doel toe (Oosten) is het ook belangrijk dat de leden gemotiveerd zijn om het doel na te streven. Hier staat het Zuiden voor, Drive, dat onder andere te maken heeft met de wil om de doelen na te streven. Hierbij is het belangrijk dat er wordt voldaan aan de basisbehoeften van de teamleden, pas dan is iedereen gemotiveerd en kan iedereen zelf iets inbrengen (Spijkerman & Spijkerman, 2010). De basisbehoeften op het werk zijn volgens Reynaert en Spijkerman (2009): autonomie speelruimte om het eigen lot in handen te nemen, het hebben van een vertrouwelijke band met teamleden en competentie het willen tonen van kwaliteiten. Uit onderzoek van Hackman en Lawler (1971) blijkt dat er vier dimensies zijn die ook basisbehoeften genoemd zouden kunnen worden: afwisseling, taakidentiteit, autonomie en feedback. Werknemers die werk hebben dat betekenisvol is, waarbij verantwoordelijkheid nodig is en waarbij de resultaten bekend worden gemaakt, zullen gemotiveerd zijn en goed presteren. Daarnaast blijkt uit een meta-analyse dat motivatie positief gerelateerd is aan teamprestatie (LePine et al., 2008). De basisbehoeften van Reynaert en Spijkerman en de relatie tussen motivatie en teameffectiviteit worden ondersteund door de literatuur. Het laatste punt van het kompas is het Westen. Het Westen staat voor Verbondenheid. De leden van een team moeten een band hebben om goed te kunnen samenwerken. Een goede sfeer en een goede omgang horen daarbij. De leden moeten zich betrokken voelen bij het team en rekening houden met elkaar (Spijkerman & Spijkerman, 2010). Verbondenheid komt overeen met het begrip cohesie en saamhorigheid. Mullen en Copper (1994) onderscheiden drie krachten van cohesie: (1) persoonlijke aandacht van en voor teamleden, (2) verbondenheid met de taak van het team en (3) groepstrots, groepsspirit. De samenwerking binnen een team zal beter verlopen als er een sterk gevoel van cohesie is. Een bepaalde mate van cohesie is nodig om een team in stand te houden en samen te werken (Hoegl & Gemuenden, 2001). Uit het onderzoek van Mullen en Copper (1994) blijkt dat verbondenheid met de taak (taakcohesie) een significante relatie heeft met prestatie. Saamhorigheid was volgens de meta-analyse van LePine et al. (2008) gerelateerd aan het effectiever kunnen omgaan met stress en frustraties. Daarnaast zorgt het wederzijds steunen van teamleden voor de integratie van de expertise van teamleden (Hoegl & Gemuenden, 2001). De rol van cohesie in het behalen van hoge teamprestatie wordt ondersteund door de literatuur. Het gebruik van het Teamkompas werkt via het invullen van een vragenlijst, hierna volgt communicatie tussen de teamleden over de scores. Het gaat hierbij om een zelfevaluatie waardoor 5

6 teamleden zelf ontdekken wat de resultaten zijn. Rupert en Bregje sturen hierbij de communicatie binnen het team. Communiceren over specifieke teamprocessen leidt er toe dat de samenwerking beter zal verlopen en het team beter gaat presteren. Het teamkompas sluit dan ook goed aan bij de algemene behoefte van organisaties om teams optimaal te laten functioneren (Spijkerman & Spijkerman, 2010). Na het evalueren van de uitkomsten werkt het team toe naar een werkagenda om de samenwerking te verbeteren. Het instrument kan ingezet worden om veel verschillende teams te coachen, bijv. sportteams en werkteams. Hierbij gaat het om het coachen van individuele teams, maar ook om het coachen van individuen binnen een team. Dit onderzoeksproject is vormgegeven naar aanleiding van een vraag van Rupert en Bregje Spijkerman die het Teamkompas graag verder willen onderbouwen, ontwikkelen en verfijnen. Om dat te bereiken zullen verschillende stappen genomen worden, namelijk: het scherper afbakenen van de kompaspunten, items herindelen op basis van de constructvaliditeit en items beoordelen op consistentie en duidelijkheid. Inzicht krijgen in de psychometrische eigenschappen van het model en deze waar nodig en mogelijk verbeteren, zal het instrument een wetenschappelijke basis geven. Op basis hiervan luidt de centrale onderzoeksvraag: wat zijn de psychometrische kenmerken van het Teamkompas, in termen van validiteit en betrouwbaarheid? Deze vraag zal onderverdeeld worden in deelvragen. Psychometrische kenmerken De psychometrische kenmerken waar de vragenlijst op onderzocht wordt zijn afgeleid van de COTAN beoordeling (Evers et al., 2000). Dit is een beoordeling van de kwaliteit van testen die gebruikt wordt voor psychologisch onderzoek. COTAN staat voor de Commissie Testaangelegenheden Nederland en maakt deel uit van het NIP (Nederlands instituut van Psychologen). De COTAN is opgericht in 1959 en houdt zich sindsdien bezig met het beschrijven van tests. In 1969 werden voor het eerst beoordelingen van tests gepubliceerd. De leden van de COTAN zijn professionals met expertise op het gebied van testconstructies en psychometrie. Zij beoordelen alle tests die voor opname in de Documentatie van Tests en Testresearch in aanmerking komen. Daarnaast publiceren zij de uitkomsten en adviseren zij over tests en testgebruik. Het doel van de beoordelingen is om testgebruikers te informeren over de kwaliteit van de instrumenten en om testauteurs feedback te geven over de kwaliteit van het door hen ontwikkelde instrument (Evers et al., 2000). Psychologische tests worden ingezet om menselijk gedrag te verklaren, voorspellen en beïnvloeden. Soms met ingrijpende consequenties voor de betrokkenen. Het is dan ook van groot belang dat de gebruikte tests betrouwbaar en valide zijn. De beoordeling van de COTAN bestaat uit zeven criteria: 6

7 1. Uitgangspunten van de testconstructie: Bij dit criterium gaat het om de vraag of de uitgangspunten van de test expliciet zijn aangegeven zoals de constructen die de test beoogt te meten en de doelgroep waarvoor de test is bedoeld. 2. Kwaliteit van het testmateriaal: Bij dit criterium gaat het om de kwaliteit van de vragenlijst en het scoringsmodel. Hierbij komen vragen aan de orde zoals: zijn de items correct geformuleerd? Is de test gestandaardiseerd? En gebeurt het scoren objectief? 3. Kwaliteit van de handleiding: Is er een handleiding beschikbaar van de test? En is de informatie in deze handleiding volledig en juist? 4. Normen: Bij dit criterium komen er vragen aan de orde als: Zijn er normen? Zijn deze actueel? Wat is de kwaliteit van de normen? 5. Betrouwbaarheid: Wat is de betrouwbaarheid van het instrument en hoe is deze berekend? 6. Begripsvaliditeit: Bij begripsvaliditeit gaat het erom te toetsen of de test inderdaad de eigenschap meet die wordt verondersteld. Meet de test de bedoelde begrippen? 7. Criteriumvaliditeit: In hoeverre is de testscore een voorspeller van gedrag? Dit gedrag kan beoordeeld zijn in het verleden, het heden of de toekomst. In deze studie zal er niet worden gekeken naar de uitgangspunten van de testconstructie, de kwaliteit van de handleiding en de normen. Op basis van de huidige studie kunnen de ontwikkelde normen en de gespecificeerde uitgangspunten wel worden opgenomen in de handleiding. In deze studie zal er wel worden ingaan op de kwaliteit van het testmateriaal, de betrouwbaarheid, de begripsvaliditeit en de criteriumvaliditeit van het Teamkompas. Alle analyses zullen worden uitgevoerd op het individuele niveau behalve de predictieve validiteit, deze zal worden uitgevoerd op teamniveau. Kwaliteit van het testmateriaal De kwaliteit van het testmateriaal zal worden onderzocht. In dit onderzoek wordt gekeken naar de formulering van de items. Worden steeds dezelfde begrippen gebruikt om gelijke concepten te omschrijven? En zijn de items duidelijk omschreven waarbij maar één interpretatie mogelijk is? 7

8 Betrouwbaarheid De betrouwbaarheid wordt in dit onderzoek beoordeeld omdat het één van de belangrijkste kwaliteitsaspecten is van een instrument. De betrouwbaarheid van een instrument geeft aan in hoeverre verschillende items in een vragenlijst die eenzelfde kenmerk beogen te meten, dat ook daadwerkelijk doen. Het is belangrijk dat de betrouwbaarheid van een test goed is om bijvoorbeeld eigenschappen te kunnen meten en voorspellen (Drenth & Sijtsma, 2004). Een methode om betrouwbaarheid te meten is door twee keer een test af te nemen bij één groep mensen. Dit wordt de test-hertest methode genoemd. Het lastige van deze methode is dat iedere deelnemer de test op twee verschillende momenten moet invullen. In dit onderzoek is dat niet haalbaar, daarom is er gekozen voor de interne-consistentiemethode waarbij Cronbach s alpha voor ieder kompaspunt wordt berekend. Cronbach s alpha is een betrouwbaarheidsmaat gebaseerd op de covarianties tussen de items in de test. Als de covarianties binnen een kompaspunt van het Teamkompas hoog correleren, houdt dit in dat de Cronbach s Alpha hoog is en dus een hoge betrouwbaarheid van dat kompaspunt. Een hoge betrouwbaarheid houdt in dat de test consistent meet. De betrouwbaarheid is een voorwaarde voor de validiteit. Een test die niet betrouwbaar is, is per definitie ook niet valide. Onderzoeksvraag 1: Wat is de betrouwbaarheid van de kompaspunten van het Teamkompas? Validiteit De validiteit van een test is de mate waarin de test meet wat het beoogt te meten. Een test is valide als deze voldoet aan het doel waar de test voor gebruikt wordt (Drenth & Sijtsma, 2004). Er zijn verschillende vormen validiteit, die hieronder zullen worden toegelicht. Indrukvaliditeit De vraag die bij de indrukvaliditeit hoort: Is het aannemelijk dat de test meet wat hij moet meten? (Kline, 1986; Drenth & Sijtsma, 2004). De indrukvaliditeit wordt gemeten aan de hand van de subjectieve indruk en de intuïtie van de testgebruiker. Op deze manier wordt de kwaliteit van de test beoordeeld. Als een test een goede indrukvaliditeit heeft, lijkt de relatie tussen de test en de te onderzoeken dimensies zonder meer duidelijk. De gebruiker heeft dan de indruk dat de test valide is. Een voorbeeld van een goede indrukvaliditeit is als psychologen, na het zien van een test, de indruk hebben dat een specifieke intelligentietest geschikt is voor het meten van intelligentie. De indrukvaliditeit van een test is van belang omdat het aangeeft of de test de testgebruikers aanspreekt (Bryman, 2004). Als het Teamkompas een hoge indrukvaliditeit heeft, betekent dit dat de testgebruikers de indruk hebben dat de vragenlijst geschikt is voor het meten van teamprocessen. De indrukvaliditeit 8

9 wordt altijd beoordeeld door ervaringsdeskundigen; mensen die ervaring hebben met de inhoud van de test. In het geval van het Teamkompas zal de vragenlijst beoordeeld worden door mensen werkzaam in een team. Onderzoeksvraag 2: Hebben ervaringsdeskundigen de indruk dat het Teamkompas geschikt is voor het meten van teamprocessen? Construct validiteit Een hoge construct validiteit houdt in dat de bedoelde psychologische eigenschappen adequaat worden gemeten door de test. Het is belangrijk dat de constructen die je wilt meten in een vragenlijst op de juiste manier gemeten worden. Spijkerman en Spijkerman (2010) hebben het Teamkompas ontworpen om vier dimensies (Focus, Route, Drive, Verbondenheid) te meten. Het belang van het onderzoeken van de construct validiteit is inzicht krijgen in de constructen die worden gemeten door de vragenlijst. Het is belangrijk dat het resultaat van de construct validiteit overeenkomt met de 4-dimensionele structuur, anders wordt er iets gemeten, wat men niet wilt meten. Om de construct validiteit te onderzoeken wordt er een factoranalyse uitgevoerd. Een factoranalyse clustert items die hetzelfde meten en toont aan hoeveel onderliggende constructen er zijn in een vragenlijst. In het huidige onderzoek wordt gekeken of de dimensionaliteit van het Teamkompas overeenkomt met de vier theoretische dimensies die we beogen te meten. Onderzoeksvraag 3: In hoeverre biedt de factoranalyse ondersteuning voor de bedoelde 4- dimensionele structuur? Criteriumvaliditeit De criteriumvaliditeit gaat over het voorspellende vermogen van de test in het verleden, heden of de toekomst (retrospectief, gelijktijdig of predictief). De criteriumvaliditeit is met name belangrijk als voorspellen een doel is van de test (Evers et al., 2000). Men onderzoekt in hoeverre de testscore een goede voorspeller is van bepaald gedrag. Een voorbeeld van een hoge criteriumvaliditeit is een intelligentietest die zeer goed studieresultaten voorspelt. In dit onderzoek worden twee soorten criteriumvaliditeit onderzocht: concurrente en predicitieve validiteit. Concurrente validiteit omvat de relatie tussen testresultaten en gelijktijdig beschikbare criteriumgegevens (Drenth & Sijtsma, 2004). Een voorbeeld is de samenhang van een depressievragenlijst en het oordeel van een psychiater op hetzelfde moment. Deze vorm van validiteit zal onderzocht worden in deelstudie één en twee. De criteria die onderzocht zullen worden zijn communicatie en zelfgerapporteerde teamprestatie. Predictieve validiteit omvat de relatie tussen testresultaten en criteriumgegevens beschikbaar in de toekomst. Dit is de optimale vorm van criteriumvaliditeit, omdat het voorspellen 9

10 van gedrag vaak het doel is van psychologische vragenlijsten. Een voorbeeld van predictieve validiteit is het afnemen van een IQ-test om werkprestatie te voorspellen in de toekomst. Als een IQtest erg goed werkprestatie in de toekomst voorspelt, heeft de IQ-test een hoge predictieve validiteit. De predictieve validiteit van het Teamkompas zal onderzocht worden in deelstudie één. Het criterium dat onderzocht wordt voor het Teamkompas is teamprestatie aan de hand van gegeven cijfers. Onderzoeksvraag 4: in hoeverre hangen de scores op de dimensies van het Teamkompas samen met het criterium teamprestatie? Incrementele validiteit Idealiter is het Teamkompas niet alleen voorspellend voor relevante uitkomsten, maar is die voorspellende waarde ook nog eens uniek vergeleken met die van bestaande instrumenten. Dit wordt onderzocht met de incrementele validiteit. De incrementele validiteit van het Teamkompas zal onderzocht worden ten opzichte van de Team Climate Inventory (TCI) van Anderson en West (1996). Dit instrument is gekozen omdat drie van de vier dimensies overeenkomen met de dimensies van het Teamkompas. De TCI is ontwikkeld om team innovatie te meten aan de hand van werkteam klimaat onderverdeeld in vier dimensies: visie, een vertrouwelijke sfeer, taak oriëntatie en steun voor innovatie. Deze vier dimensies kwamen naar voren in de bestaande literatuur over werkteam klimaat voor innovatie. De eerste dimensie is visie: Het hebben van een idee over de gewenste uitkomst zoals een doel of een motiverende kracht. Deze dimensie komt overeen met Focus uit het Teamkompas. Bij beide gaat het om de verbondenheid met het doel. De tweede dimensie is een vertrouwelijke sfeer: Dit staat voor een vertrouwelijke en ondersteunende sfeer, waarin iedereen zich veilig voelt om nieuwe ideeën aan te dragen. Deze dimensie komt overeen met Verbondenheid uit het Teamkompas. Beide aspecten gaan over een goede sfeer binnen het team waarin mensen zich durven te uiten. De derde dimensie is taakoriëntatie: Dit staat voor het verdelen van de aandacht over twee aspecten. Enerzijds een goede kwaliteit van de taakprestatie en anderzijds de gedeelde visie of uitkomst. Deze dimensie komt overeen met Route uit het Teamkompas. Het gaat in beide modellen over de weg om de doelen te bereiken. De vierde dimensie is steun voor innovatie: Er moet steun en goedkeuring zijn voordat een team zich bezighoudt met innovatie. Deze dimensie sluit niet aan bij de dimensies van het Teamkompas. De incrementele validiteit is van belang omdat het Teamkompas pas bestaansrecht heeft als er iets mee verklaard of voorspelt kan worden, dat niet met bestaande instrumenten verklaard of voorspeld kan worden. Om dit te onderzoeken wordt de voorspellende waarde van het Teamkompas geanalyseerd, terwijl er gecontroleerd wordt voor de voorspellende waarde van het TCI. 10

11 Onderzoeksvraag 5: in hoeverre heeft het gebruik van het Teamkompas een toegevoegde waarde ten opzichte van de Team Climate Inventory? De onderzoeksfases In dit artikel worden drie verschillende studies beschreven, verdeeld in twee fases. Fase 1 bestaat uit een pilotstudie uitgevoerd voor een eerste psychometrische verkenning met als doel het instrument verder aan te scherpen en verbeteren ten behoeve van grootschaliger dataverzameling. Deze studie wordt uitgevoerd aan de hand van al beschikbare data. De aangepaste vragenlijst wordt gebruikt voor beide vervolgstudies. Fase 2 bestaat uit twee vervolgstudies waarvoor data zijn verzameld bij studententeams en werkteams. De twee teamtypen zullen apart geanalyseerd worden. Het voordeel van de nieuwe data verzameling is dat deze dataset groter is dan de eerste en dat deze bestaat uit teams in plaats van individuen. Op deze manier kan er gekeken worden hoe waardevol het Teamkompas is voor teams. Daarnaast wordt er gekeken of de eerste verbeteringen naar aanleiding van de pilotstudie door de nieuwe dataset bevestigd worden. Fase 1: Pilotstudie voor aanpassingen De pilotstudie wordt uitgevoerd om de eerste aanpassingen aan de vragenlijst van het Teamkompas te doen. Het is namelijk niet bekend hoe betrouwbaar en valide de vragenlijst is. In deze studie wordt onderzocht of de items op itemniveau betrouwbaar zijn, of de vragenlijst items bevat die verkeerd geformuleerd zijn en of er vier kompaspunten blijken te zijn, zoals bedoeld door de ontwerpers. Ook wordt er gekeken of de dimensionele structuur van het model klopt. Dit onderzoek zorgt ervoor dat het volgende onderzoek met een betere vragenlijst kan worden uitgevoerd. Omdat deelnemers van de pilotstudie alleen de Teamkompas vragenlijst hebben ingevuld kunnen niet alle onderzoeksvragen hier worden beantwoord. In deze pilotstudie zal er gekeken worden naar de betrouwbaarheid en naar de structuur van de dimensies middels een factoranalyse. Naar aanleiding van deze analyses kan het Teamkompas worden heringedeeld. In deze pilotstudie komen de centrale onderzoeksvragen één en drie aan bod. Onderzoeksvraag 1: Wat is de betrouwbaarheid van de kompaspunten van het Teamkompas? Onderzoeksvraag 3: In hoeverre biedt de factoranalyse ondersteuning voor de bedoelde dimensionele structuur? 11

12 Methode Respondenten en procedure. De validatie van het Teamkompas is gedaan door middel van dataverzameling en een literatuurstudie. De data gebruikt voor deze pilotstudie zijn verzameld door Rupert en Bregje Spijkerman tijdens hun gebruik van het Teamkompas. Deze dataset bevat 67 deelnemers. Hiervan was 51.7% vrouw en 48.3% man. De gemiddelde leeftijd was 26.8 jaar (SD = 8.8), waarbij de minimum leeftijd 21 jaar was en de maximum leeftijd 60 jaar. Een deel van de data werd verzameld bij studenten in een gastcollege aan de Erasmus universiteit in Rotterdam. De rest van de data werd verzameld bij verschillende bedrijven. Materiaal. Deelnemers vulden de originele vragenlijst van het Teamkompas in bestaande uit vier dimensies (Focus, Route, Drive, Verbondenheid) (Spijkerman & Spijkerman, 2010). Focus houdt in dat de leden van een team gericht zijn op het behalen van doelen. Route gaat over het verdelen van de taken en het bespreken van de juiste strategie. Drive staat voor de wil om de doelen na te streven. Bij Verbondenheid gaat het om een goede sfeer en een goede omgang binnen het team. De totale vragenlijst bestaat uit 40 items, met tien items per dimensie. De vragen werden beantwoord op een 10-puntsschaal van 1 (is niet waar) tot 10 (klopt helemaal). Een voorbeeld item is: Fouten maken mag in dit team. De schaalbetrouwbaarheden zullen in de resultatensectie besproken worden. Data-analyse. Als eerste is gekeken naar de formulering van de items, worden er consistente begrippen gebruikt, zijn items in dezelfde vorm geschreven, zijn items in dezelfde tijd geschreven en zijn de items direct duidelijk? Voor de statistische analyses is gebruik gemaakt van Statistical Program for Social Sciences (SPSS), versie De betrouwbaarheid van de items is beoordeeld door middel van Cronbach s alpha. Hiermee wordt de interne consistentie van de items beoordeeld. Cronbach s alpha moet tussen de.70 en.80 zijn voor een voldoende betrouwbaarheid en boven de.80 voor een goede betrouwbaarheid (Evers et al., 2000). Daarnaast werden de item-restcorrelaties berekend voor het Teamkompas als geheel en per dimensie zodat duidelijk werd welke items goed correleerden met de totaalscore. Op basis van lage item-rest correlaties voor specifieke items, zijn items waarvan de inhoud niet aansloot bij de inhoud van de dimensie als reserve meegenomen en zullen mogelijk later uit de vragenlijst verwijderd worden. Op deze manier kunnen er uitspraken gedaan worden over de psychometrische kwaliteit van het instrument zoals het oorspronkelijk is ontwikkeld. Verder is er een verkennende factoranalyse uitgevoerd om de construct validiteit te bepalen van het oorspronkelijke instrument. Met een factoranalyse wordt de dimensionaliteit van het instrument in kaart gebracht (Costello & Osborne, 2005). Er is gekozen voor een maximum 12

13 likelihood extraction omdat deze methode het beste aansluit bij normaal verdeelde data (DeCoster, 1998). De rotatie methode die gebruikt werd, is direct oblimin omdat theoretisch aangenomen kan worden dat de items onderling correleren (Costello & Osborne, 2005). Uit de factoranalyse is gebleken of de resultaten overeenkomen met de 4-dimensionele structuur van het Teamkompas (Drenth & Sijtsma, 2004). Als laatste is de consistentie van de antwoordopties van het model onderzocht en waar nodig aangepast. Alle analyses in de pilotstudie zijn op het individuele niveau uitgevoerd omdat de data voor het grootste deel uit individuen bestonden. Resultaten en discussie Formulering items. Als eerste werd onderzocht of de items correct geformuleerd waren (Drenth & Sijtsma, 2004; Evers et al., 2000). Hiertoe is gekeken of de concepten uit de vragenlijst steeds met hetzelfde begrip werden aangeduid en of de items duidelijk omschreven waren. Eén van de zaken die op viel was dat de begrippen team en groep door elkaar werden gebruikt in de vragenlijst. In de gereviseerde versie van het instrument is systematisch de term team gebruikt. Als tweede viel op dat de betekenis van alle items niet meteen duidelijk was, deze items zijn aangepast. Bijvoorbeeld item 6: De groep is in staat om samen knopen door te hakken als dat nodig is, is geworden: Bij het bepalen van de juiste procedure is het team in staat samen knopen door te hakken. Als derde is er gekeken naar dubbele vragen in één item, deze zijn gesplitst. Een voorbeeld hiervan is item 3: Je ontdekt in deze groep wat je wil en wat je kan, is geworden item 3a: Je ontdekt in dit team wat je wilt en Item 3b: Je ontdekt in dit team wat je kan. Als laatste is ook de zinsopbouw van de items gecontroleerd en waar nodig aangepast. Formulering antwoordopties. De antwoordopties van de vragenlijst waren niet consistent. Er is besloten om deze aan te passen, maar wel de zelfde schaal van 10 punten te behouden. De antwoordopties waren: 1; is niet waar, 2; is nauwelijks van toepassing, 3; komt weinig aan bod, 4; komt af en toe aan bod, 5; komt met mate aan de orde, 6; komt voldoende aan bod, 7; regelmatig, 8; vrij vaak is dat het geval, 9; bijna altijd van toepassing, 10; klopt helemaal. Deze antwoordopties zijn veranderd in: 1; helemaal niet van toepassing, 4; niet van toepassing, 7; van toepassing, 10; helemaal van toepassing. Betrouwbaarheid. De teamkompas schalen hadden een uitstekend niveau van betrouwbaarheid, de Cronbach s alpha van de verschillende dimensies lagen allen boven de cut-off score van.70. In Tabel 1 staan de resultaten weergegeven. 13

14 Tabel 1 Interne consistentie van het Teamkompas Dimensie Aantal items Cronbach s alpha Focus Route Drive Verbondenheid (N = 67) In de gereviseerde vragenlijst worden alleen items meegenomen die positief bijdragen aan de betrouwbaarheid. Items die dat niet deden of de betrouwbaarheid zelfs verlaagden en niet goed aansloten bij de inhoud van het kompaspunt zijn uit de test verwijderd (Drenth & Sijtsma, 2004). Per component zijn er tien items. De reden voor gelijke items per component is dat zo de somscores per dimensie kunnen worden berekend en met elkaar vergeleken kunnen worden. Daarnaast bestond het oorspronkelijke instrument ook uit tien items per component en dit wilden we graag in tact houden. Items die niet voldoende bijdroegen aan de betrouwbaarheid zijn vervangen door andere items om zo de tien vragen per dimensie te behouden. Uit de item-rest correlaties op itemniveau bleek dat item 40 natuurlijk gezag van de groepsleden staat los van functie en status een hele lage item-rest correlatie had van.02. De Cronbach s alpha gaat met.03 omhoog als deze vraag verwijderd wordt. Item 40 doet het iets beter op dimensieniveau, de item-rest correlatie is dan.04 binnen de dimensie Verbondenheid. Hetzelfde geldt voor item 19 de groepsleden doen alleen hun zegje als het functioneel is voor de taak. Deze vraag heeft op itemniveau een item-rest correlatie van.05 en de Cronbach s alpha gaat met.03 omhoog als deze vraag verwijderd wordt. Item 19 doet het iets beter op dimensieniveau binnen de dimensie Route, de item-rest correlatie is dan.14. De conclusie van het bestuderen van de item-rest correlaties is dat er twee items waren die onvoldoende bijdroegen aan de betrouwbaarheid. Daarnaast zijn item 40 en 19 erg abstract. Toch worden de items nog meegenomen naar het volgende onderzoek om het originele instrument te kunnen onderzoeken. Zo kunnen deze items ook nogmaals geëvalueerd worden om zo een optimaal onderbouwde keuze te maken over het al dan niet verwijderen ervan uit het instrument. Correlaties. In Tabel 2 worden de correlaties tussen de dimensies van het Teamkompas weergegeven. De correlaties waren allen boven de.70 wat inhoudt dat de dimensies sterk correleren. Deze hoge correlaties kunnen verklaard worden door de sterke overlap tussen de afzonderlijke dimensies. Dit wil zeggen dat er onvoldoende onderscheidend vermogen is tussen de 14

15 dimensies. Indien er een regressieanalyse uitgevoerd wordt, zal niet duidelijk bekeken kunnen worden wat de unieke bijdrage is van een dimensie (Field, 2009). Tabel 2 Intercorrelaties tussen de dimensies van het Teamkompas Gemiddelde S.D Route Focus ** - 3. Drive **.74** - 4. Verbondenheid **.77**.71** - ** Correlatie significant op 0.01 niveau (Items gemeten op een 10-puntsschaal) Construct validiteit. Om de onderliggende structuur van de originele Teamkompas vragenlijst te onderzoeken, is er een exploratieve factoranalyse uitgevoerd. De factoranalyse is uitgevoerd op het individuele level van analyse over alle 40 items (N = 67). De KMO-waarde van.62 en de Chisquare van de Bartlett s Test of Sphericety van (p < 0.001) geven aan dat er aan de voorwaarden voor een factoranalyse voldaan is. De analyse resulteerde in een model waarin sprake was van tien factoren met een eigenwaarde groter dan 1, met een totale verklaarde variantie van 76 procent. Hierbij verklaarde de eerste factor verreweg de meeste variantie (36.6%), zie Figuur 2. 15

16 Figuur 2. Screeplot Teamkompas Naar aanleiding van de resultaten van de factoranalyse is gestreefd naar een vier factor oplossing omdat het doel was dat de oorspronkelijke kompasbenadering ook in het gereviseerde instrument terug zou komen. De factorladingen waren relatief dubbelzinnig en er was sprake van veel dubbelladingen. Hierdoor was de factoranalyse lastig interpreteerbaar. Bij analyse van de itemladingen op de factoren blijkt dat geen enkel item het hoogst laadt op de achtste en tiende factor, daarom is er gefocust op de overige acht factoren. Factor 1 verklaarde 36.6 procent van de variantie. Op deze factor laadden alleen schaalitems van de dimensie Focus, bestaande uit vier items. Verder laadde op factor 6 drie items van de dimensie Route en twee items van de dimensie Focus. Beide factoren gingen over doelen, waarbij factor 1 ging over de doelverbondenheid en factor 6 over de doelspecificatie. Deze factoren worden daarom samengevoegd tot de dimensie Focus, bestaande uit negen items. Op factor 2 laadden verschillende items van de oorspronkelijke dimensies. Al deze items gingen over communicatie. Omdat het doel van het Teamkompas het op gang brengen van communicatie is, wordt dit concept als extra component naast de kompaspunten meegenomen. Deze component bestaat uit zeven items. Op factor 3 laadden vijf items van de dimensie Drive en op factor 9 laadden drie items van de dimensie Drive. Beide factoren gingen over motivatie, waarbij factor 3 ging over de winst door 16

17 deelname en factor 9 over inspiratie. Deze factoren worden daarom samengevoegd tot de dimensie Drive, bestaande uit acht items. Op factor 4 laadden drie items van de dimensie Route en op factor 7 laadden drie items van de dimensie Route en één item van de dimensie Focus. Deze items hadden allen te maken met de dimensie Route. Hierbij ging factor 4 over het verdelen van taken en het formuleren van een strategie en factor 7 over alternatieve standpunten. Deze factoren worden daarom samengevoegd tot de dimensie Route, bestaande uit zeven items. Op factor 5 laadden vier items van de dimensie verbondenheid en één item van de dimensie Drive die goed bij de items van Verbondenheid aansloot. De dimensie Verbondenheid bestaat nu uit vijf items. Naar aanleiding van de factoranalyse en de betrouwbaarheidsanalyse is de originele Teamkompas vragenlijst gereviseerd. Hierbij zijn de dimensies, de items en de indeling van de items aangepast wat heeft geleid tot een nieuw, gereviseerd model. Het gereviseerde Teamkompas Uit de correlaties tussen de vier componenten van het Teamkompas blijkt dat het onderscheidend vermogen van de componenten niet goed is, er zijn hoge correlaties en dus veel overlap. Daarnaast waren de resultaten van de factoranalyse diffuus. Op basis van deze informatie zijn we items gaan schuiven en zijn we tot een nieuwe indeling gekomen van vier dimensies, acht subdimensies en een nieuwe component, communicatie. In het gereviseerde instrument wordt Focus onderverdeeld in vijf items over doelverbondenheid en vijf items over doelspecificatie. Zeven daarvan zijn afkomstig uit het oorspronkelijke instrument. Daarnaast zijn op basis van de literatuur omtrent doelspecificatie (Marks et al., 2001) drie nieuwe items geformuleerd om op het gewenste aantal van tien items per dimensie uit te komen. Doelverbondenheid impliceert vastberadenheid om het doel te gaan halen (Locke et al., 1981). Doelspecificatie staat voor het identificeren en prioriteren van doelen. Een voorbeeld van de items over doelspecificatie: Het team weet hoeveel tijd er is voor het behalen van het doel (Marks et al., 2001). Route wordt onderverdeeld in het verdelen van taken en het formuleren van een strategie en gemeten met tien items. Taakverdeling staat voor het verdelen van taken tussen de leden van het team om het doel te behalen. Strategie formulering staat voor het formuleren van een strategie om het doel te behalen. Negen items zijn afkomstig uit het oorspronkelijke instrument. Daarnaast is op basis van de literatuur over strategie formulering (Marks et al., 2001) één nieuw item geformuleerd om op het gewenste aantal van tien items per dimensie uit te komen, dit is het item: De manier waarop het team hun doel wil bereiken is voor alle teamleden duidelijk. 17

18 Drive wordt onderverdeeld in individuele winst door deelname en inspiratie en gemeten met tien items. Winst door deelname staat voor de winst die deelnemers van het team behalen door hun deelname aan het team. Een voorbeeld is het ontwikkelen van zichzelf of ontdekken wat ze willen bereiken. Inspiratie staat voor het bewust kiezen voor het team en de motivatie van de teamleden. Negen items zijn afkomstig uit het oorspronkelijke instrument. Daarnaast is op basis van de literatuur over bevlogenheid (Schaufeli & Bakker, 2004) één nieuw item geformuleerd: De teamleden gaan helemaal op in hun werk om op het gewenste aantal van tien items per dimensie uit te komen. Verbondenheid bestond na de factoranalyse uit vijf items. Hierbij zijn twee items toegevoegd die qua inhoud goed bij deze dimensie aansloten, maar nergens hoog op laadden. Deze items zijn anders geformuleerd zodat ze beter bij deze dimensie passen. Daarnaast zijn item 5 en 20 gesplitst in tweeën omdat ze uit twee vragen bestonden. Tot slot is op basis van de literatuur over psychologische veiligheid (Edmondson, 1999) één nieuw item geformuleerd: In dit team durven teamleden elkaar om hulp te vragen om op het gewenste aantal van tien items per dimensie uit te komen. Communicatie verbeteren in teams is een belangrijke doelstelling van het Teamkompas. Ook bleek communicatie een belangrijk proces binnen de teamliteratuur (Hoegl & Gemuenden, 2001). Communiceren over belangrijke informatie in het team was positief gerelateerd aan teamprestatie (LePine et al., 2008). De component Communicatie is daarom aan het Teamkompas toegevoegd. Deze component wordt niet meegenomen als kompaspunt maar als uitkomstmaat van het Teamkompas. In het gereviseerde instrument wordt Communicatie gemeten met tien items. Zeven daarvan zijn afkomstig uit het oorspronkelijke instrument. Deze items gingen over communicatie en sloten niet aan bij de vier oorspronkelijke kompaspunten. Daarnaast zijn op basis van de literatuur over teamcommunicatie (Hoegl & Gemuenden, 2001) drie nieuwe items geformuleerd om op het gewenste aantal van tien items per dimensie uit te komen. Eén van die items is: De teamleden delen taakrelevante informatie openlijk met elkaar. Om een eerste beeld te krijgen van de kwaliteit van het instrument is de indrukvaliditeit onderzocht. Op basis van het gereviseerde Teamkompas is de indrukvaliditeit beoordeeld door 13 ervaringsdeskundigen (77% vrouw en 23% man). Deze hadden allen ervaring met teamwerk. De deelnemers is gevraagd in hoeverre zij dachten dat de test adequaat is voor het meten van de vier kompaspunten. De indrukvaliditeit werd beoordeeld aan de hand van een item gemeten op een 6- puntsschaal: 6; de test is extreem geschikt voor het te meten doel, 5; de test is geschikt voor het te meten doel, 4; de test is voldoende geschikt voor het te meten doel, 3; de test is onvoldoende geschikt voor het te meten doel, 2; de test is niet geschikt voor het te meten doel en 1; de test is helemaal niet geschikt voor het te meten doel, gebaseerd op een item van Nevo (1985). Uit de 18

19 resultaten bleek dat de gemiddelde score 4.46 was en het minimum en maximum respectievelijk 3 en 5. Dit betekent dat de test beoordeeld is als voldoende geschikt tot geschikt voor het te meten doel. Deze pilotstudie heeft geresulteerd in een gereviseerde versie van het Teamkompas, bestaande uit vier dimensies (Route, Focus, Drive, Verbondenheid), een uitkomstmaat (Communicatie) en in totaal 53 items (waarvan 3 reserve). Dit gereviseerde model vormt de basis voor Fase 2 van dit onderzoeksproject: Een uitgebreide validatiestudie van het gereviseerde Teamkompas. Fase 2: Psychometrische Kwaliteit van het Gereviseerde Teamkompas Fase 1 heeft geleid tot een gereviseerde versie van het Teamkompas. In Fase 2 zal de psychometrische kwaliteit van het gereviseerde instrument in kaart worden gebracht. In deze fase zal geen verder onderzoek gedaan worden naar de subdimensies omdat de vier kompaspunten en niet de subdimensies bepalend zijn voor de structuur van het instrument en daarnaast laat de steekproefomvang het verder onderverdelen in subdimensies niet toe. De ontwikkelde onderzoeksvragen die in deze Fase zullen worden behandeld, zijn terug te vinden in de inleiding. De centrale vraagstelling van dit onderzoek is: Wat zijn de psychometrische kenmerken van het Teamkompas, in termen van validiteit en betrouwbaarheid? Dit zal onderzocht worden aan de hand van twee studies. Studie 1 zal bestaan uit studenten die samen gewerkt hebben in groepjes van twee of drie personen. In deze studie zal er gekeken worden naar de betrouwbaarheid van de dimensies, de indrukvaliditeit, de constructvaliditeit, de incrementele validiteit en de predictieve validiteit omdat we beschikken over een criterium gemeten in de toekomst. Studie 2 zal bestaan uit teams werkend bij verschillende bedrijven. In deze studie zal er gekeken worden naar dezelfde psychometrische eigenschappen als in studie 1, alleen zal de concurrente validiteit onderzocht worden in plaats van de predictieve validiteit omdat we in deze studie alleen beschikken over een gelijktijdig criterium. Studie 1 Methode. Respondenten en procedure. De data werden verzameld aan de Erasmus Universiteit in Rotterdam, door twee masterstudenten, bij studenten psychologie uit het derde jaar. De studenten maakten opdrachten in groepjes voor het vak statistiek. Deze groepjes bestonden uit twee of drie studenten. De onderzoekers deelden de vragenlijsten voor aanvang van de onderwijsbijeenkomst uit en haalden de ingevulde lijsten na afloop weer op. De gehele populatie bestond uit 63 teams, 19

20 daarvan hebben 16 teams van 2 leden en 18 teams van 3 leden deelgenomen aan het onderzoek, in totaal 86 deelnemers. Hiervan was 84.7% vrouw en 15.3% man. De gemiddelde leeftijd was 22.5 jaar (SD = 2.0). De studenten vulden de originele vragenlijst tijdens hun les op een papierenversie in. Hier waren zij ongeveer 20 minuten mee bezig. Daarnaast zijn na afloop de prestatiegegevens van de studenten verzameld via het onderwijsbureau om zo de predictieve validiteit te kunnen onderzoeken. Materiaal. Het teamkompas. Bij dit onderzoek is de gereviseerde versie van het Teamkompas gebruikt die resulteerde uit de pilotstudie. De componenten die gemeten worden zijn: Focus, Route, Drive, Verbondenheid en Communicatie. De vragenlijst bestaat uit 50 vragen, waarbij er per kompaspunt tien items zijn. De vragen worden beantwoord op een 10-puntsschaal waarbij vier punten van een beschrijving zijn voorzien; 1 (helemaal niet van toepassing), 4 (niet van toepassing), 7 (van toepassing) en 10 (helemaal van toepassing). Dit telt op tot een totaalscore met maximaal 100 punten per dimensie. Een hogere score wijst daarbij op betere samenwerking. Een voorbeelditem is: de teamleden luisteren goed naar elkaar. Na de pilotstudie is het gereviseerde Teamkompas uitgebreid beschreven. Team Climate Inventory. De Team Climate Inventory (TCI) is een vragenlijst bestaande uit vier componenten die team innovatie meten. Deze vragenlijst wordt meegenomen om de incrementele validiteit van het Teamkompas te onderzoeken omdat de componenten van de TCI grotendeels overkomen met de componenten van het Teamkompas. De originele TCI vragenlijst bestaat uit 38 items onderverdeeld in: visie, veiligheid, steun voor innovatie en taakoriëntatie (Anderson en West, 1996). Voor dit onderzoek is de verkorte versie van de TCI gebruikt bestaande uit 14 items, die naar het Nederlands zijn vertaald. De vragen worden beantwoord op een 5-puntsschaal van 1 (helemaal mee oneens) tot 5 (helemaal mee eens). Een hogere totaalscore wijst op een hoger innovatie klimaat binnen het team. Een voorbeelditem is: de doelstellingen van ons team zijn haalbaar. De betrouwbaarheid van de schaal zal worden gerapporteerd in de resultaten sectie. Teamprestatie. Teamprestatie wordt meegenomen aan de hand van cijfers voor de groepsopdracht die de instructeurs aan de Erasmus Universiteit hebben gegeven aan de groepjes studenten. Zij beoordeelden de opdracht op basis van gedetailleerde instructies van de cursuscoördinator. Daarnaast is de zelfgerapporteerde teamprestatie onderzocht aan de hand van twee schalen. 20

21 De eerste schaal bestond uit 4 items van de vertaalde teamprestatie schaal van Becker, Billings, Eveleth & Gilbert (1996). Een voorbeelditem is: ons team verzet veel werk. De tweede schaal was een constructie van 11 items van Van Heeren (2008). Een voorbeelditem is: ons team levert kwalitatief goed werk. Beide schalen worden gemeten op een 5-punts Likert schaal, van 1 (helemaal niet van toepassing) tot 5 (helemaal van toepassing). Een hogere score op deze schalen staat voor een hogere teamprestatie. De twee schalen meten inhoudelijk beiden teamprestatie en ze maken gebruik van dezelfde schaal. De twee schalen zijn daarom samengenomen als schaal voor teamprestatie. De betrouwbaarheid van de gecombineerde schaal wordt gerapporteerd in de resultaten sectie. Indrukvaliditeit. De indrukvaliditeit werd gemeten aan de hand van één item gebaseerd op een item van Nevo (1985) gemeten op een 6-puntsschaal, van 1 (de test is helemaal niet geschikt voor het te meten doel) tot 6 (de test is extreem passend voor het te meten doel). Sociaaldemografische gegevens. De sociaaldemografische gegevens die werden gevraagd zijn: naam van de kandidaat, geboortejaar en geslacht. Daarnaast is gevraagd naar de naam van het bedrijf, de naam van het team en het aantal teamleden. Data-analyse. Anderson en West (1996) kwamen met het idee de analyses voor de TCI op het individuele niveau te doen, zodat problemen voor het omgaan met gesommeerde data op het teamniveau vermeden werden. Verder zorgt het analyseren van de data op individueel niveau ook voor het maximaliseren van de steekproefgrootte. Kline (1986) zegt verder dat er een minimum van 100 cases moet zijn voor het doen van een factoranalyse. Dit betekent dat er op individueel niveau 100 individuen moeten zijn en op groepsniveau 100 teams. In dit onderzoek zullen de meeste analyses worden uitgevoerd op het individuele niveau omdat de vragenlijst op het individuele niveau goede validiteit en betrouwbaarheid moet hebben. Het Teamkompas is namelijk primair bedoeld voor het meten van de individuele percepties die teamleden hebben van de kenmerken van hun team. Doordat de scores van leden in een team op elkaar zullen lijken, zit er een clusterpatroon in de antwoorden. Door deze data op het individuele niveau te analyseren wordt de assumptie van onafhankelijke observaties geschonden die ten grondslag ligt aan veel analyses (Field, 2007). Op de mogelijke implicaties hiervan komen we in de discussie terug. De predictieve validiteit zal worden onderzocht op teamniveau omdat ieder team een gelijke prestatie-uitkomst heeft. Om data aggregatie te rechtvaardigen worden ICC(1) en ICC(2) berekend. ICC staat voor intraclass correlatie. De ICC s zijn berekend op basis van een one-way ANOVA. ICC(1) staat voor dat 21

22 deel van de variantie van de individuele scores dat verklaard wordt door de variantie op teamniveau. Hoe hoger ICC(1) hoe meer variantie er verklaard wordt door teamlidmaatschap. Als de F-waarde significant is, is data aggregatie gerechtvaardigd. Daarnaast kan ICC(2) geïnterpreteerd worden als de betrouwbaarheid van de groepsgemiddelden. ICC(2) kan worden uitgedrukt als functie van ICC(1) en de groepsgrootte. Er wordt vaak een cut-off score van.70 gebruikt (Klein en Kozlowski, 2000). De ICC s zullen getoond worden in de resultaten sectie. Voor het beantwoorden van Onderzoeksvraag 1 tot met 5 is er gebruik gemaakt van betrouwbaarheidsanalyses, factoranalyses, correlaties en multipele regressieanalyses. Resultaten. In Tabel 3 worden de correlaties tussen alle variabelen weergegeven evenals het gemiddelde en de standaardafwijkingen. Tabel 3 Correlaties tussen alle variabelen M S.D Focus Route ** - 3. Drive **.60** - 4. Verbondenheid **.78**.65** - 5. Communicatie **.72**.69**.75** - 6. Teamprestatie **.56**.49**.58**.53** - 7. TCI-visie **.37**.40**.41**.39**.44** - 8. TCI-veiligheid **.62**.52**.73**.70**.55**.52** - 9. TCI-taakorientatie **.19.35**.26*.54**.37**.11.34** TCI-steun voor **.31**.43**.36**.53**.46**.31**.51**.69** - innovatie 11.Cijfers (teamniveau) * p < 0.05, ** p <.01 (N ind = 86; N team = 34) Variabelen 1 t/m 5 zijn gemeten op een schaal van 1-10, Variabele 7 is gemeten op een schaal van 1-7, Variabelen 6, 9 en 10 zijn gemeten op een schaal van

23 Betrouwbaarheid. Na het bekijken van de inter-item correlaties en de inhoud van de items is besloten een aantal items uit de vragenlijst te verwijderen. Er waren 3 items die een lage itemrestcorrelatie hadden: item 40 (verbondenheid), item 19 (route) en item 11 (focus). De resultaten komen gedeeltelijk overeen met de pilot studie en daarom is besloten deze items definitief te verwijderen. Het kompaspunt Focus bevat twee ongeveer gelijke items. Het item Ons team weet wat de deadline is voor het behalen van het doel wordt verwijderd omdat dit item een lagere itemrest correlatie heeft dan het item Ons team weet hoeveel tijd er is voor het behalen van het doel. Na verwijdering van de items bestaan alle vier de schalen uit 10 items. Dit gereviseerde instrument na verwijdering van een aantal items zal gebruikt worden voor de rest van de analyses. De teamkompas schalen hadden een uitstekend niveau van betrouwbaarheid, de Cronbach s alpha s van de verschillende dimensies lagen allen boven de cut-off score van.70. Dit betekent dat deze informatie ondersteuning biedt voor de betrouwbaarheid van het Teamkompas. In Tabel 4 staan de resultaten weergegeven van de betrouwbaarheden van de definitieve schalen na verwijdering van de items. Tabel 4 Interne consistentie van het definitieve Teamkompas en de overige schalen Dimensie Aantal items Cronbach s alpha Teamkompas - Focus Route Drive Verbondenheid Communicatie TCI - Visie Veiligheid Taakoriëntatie Steun voor innovatie 3.81 Zelfgerapporteerde teamprestatie N = 86 23

24 Indrukvaliditeit. Om de indrukvaliditeit van het gereviseerde Teamkompas te onderzoeken zijn het gemiddelde en de standaardafwijking van de indrukvaliditeitschaal berekend, waarin respondenten gevraagd werden te beoordelen in hoeverre het Teamkompas geschikt is voor het meten van de vier kompaspunten. Uit de resultaten van 80 studenten bleek dat het gemiddelde 3.70 was (SD =.96) op een schaal van 1 tot 6. Deze score ligt boven het midden van de schaal, het lijkt er op dat de studenten de gereviseerde vragenlijst van het Teamkompas beoordelen als onvoldoende geschikt tot voldoende geschikt voor het te meten doel. Uit de opmerkingen van een aantal studenten bleek dat zij het Teamkompas niet helemaal geschikt vonden voor het soort team waar zij in werkten. Zij vonden veel vragen uit het model niet van toepassing op hun team en dit zou verklaard kunnen worden door de duidelijkheid van het doel en de eenvoud van de samenwerking binnen hun teams in vergelijking met werkteams. Op basis van het item en de open antwoorden kan geconcludeerd worden dat de indrukvaliditeit voor de studententeams twijfelachtig is. Construct validiteit. Om de onderliggende structuur van het gereviseerde Teamkompas vragenlijst te onderzoeken, is er een verkennende factoranalyse uitgevoerd. Er is gekozen voor een maximum likelihood extraction met een direct oblimin rotatie methode. De factoranalyse is uitgevoerd op het individuele niveau van analyse over de 40 items van de gereviseerde versie van het Teamkompas (N = 86). De KMO-waarde van.84 en de Chi-square van de Bartlett s Test of Sphericety van (p < 0.001) geven aan dat er aan de voorwaarden voor een factoranalyse voldaan is. Bij de factoranalyse is aangegeven dat de items zich moeten verdelen in 4 factoren omdat het model hier oorspronkelijk uit bestaat. De analyse resulteerde in een model waarin sprake was van 8 factoren met een eigenwaarde groter dan 1, met een totale verklaarde variantie van 74 procent. Hierbij verklaarde de eerste factor de meeste variantie (42.6%), zie Figuur 3. 24

25 Figuur 3. Screeplot gereviseerde Teamkompas Verder zijn in Tabel 5 de eigenwaarden en de verklaarde varianties van de factoren te zien. Tabel 5 Verklaarde variantie Factor Eigenwaarde % van variantie Cumulatief % De interpretatie van de factoranalyse is erg lastig. Er waren veel dubbelladingen en weinig unieke ladingen. De factoranalyse toonde geen onderliggende factoren, wat inhoudt dat alle items sterk onderling samen lijken te hangen en laden op slechts één globale factor. De bedoelde structuur in vier dimensies wordt dus niet ondersteund. De enige dimensie die uniek laadde op één factor is de dimensie Verbondenheid. De hoge correlaties tussen de dimensies kunnen een mogelijke oorzaak zijn voor dit geringe onderscheid. Hierbij kunnen we concluderen dat het Teamkompas uit één 25

26 dimensie bestaat. De analyses toonden niet de verwachte dimensionele structuur. Dit betekent dat er geen ondersteuning is voor de constructvaliditeit van het Teamkompas. Criterium validiteit. Data aggregatie Om de predictieve validiteit te onderzoeken werden de data van de studenten geaggregeerd naar het teamniveau. Een voorwaarde voor het aggregeren van data is dat de variantie in de data binnen een team kleiner is dan de variantie in de data tussen de teams. Met behulp van de intra-klasse correlatie coëfficiënten ICC(1) en ICC(2) is berekend of data aggregatie geoorloofd is. Een one-way ANOVA is uitgevoerd met groepsnummer als factor en de Teamkompas dimensies als afhankelijke variabelen om de ICC s te berekenen. De F-waarde van alle dimensies was significant. In Tabel 6 zijn de ICC s te zien. Tabel 6 ICC s van de Teamkompas dimensies Dimensie ICC1 ICC2 Focus Route Drive Verbondenheid Communicatie De ICC(1) voor alle dimensies is relatief hoog, dit houdt in dat een groot deel van de variantie in de individuele scores verklaard wordt door teamlidmaatschap en dat geeft rechtvaardiging voor het aggregeren van de data. ICC(2) is ook relatief hoog en zit bij alle dimensies dicht bij de minimale.70. ICC(2) geeft de betrouwbaarheid van de groepsgemiddelden aan, in dit geval betekent het dat de groepsgemiddelden erg betrouwbaar zijn. Deze waarden geven aan de het aggregeren van de data van het individuele niveau naar het teamniveau geoorloofd is. Predictieve validiteit Om het verband tussen de Teamkompas dimensies en de cijfers van de studenten te onderzoeken is een multipele regressieanalyse uitgevoerd op teamniveau met verslagcijfer als afhankelijke variabele. De resultaten van de regressieanalyse toonden aan dat de vier predictoren 55.8% van de variantie verklaarden ( R 2 =.21, F(4, 26) = 2.93, p < 0.05). Er werd gevonden dat Verbondenheid als enige een significante p-waarde had (β= -1.3, p < 0.05). Het bètagewicht van Verbondenheid is groter dan 1, iets wat afwijkend is en weinig voorkomt. Toch zijn 26

27 er uitzonderingen waarbij bètagewichten groter kunnen zijn dan 1. Dit gebeurt meestal wanneer er sprake is van sterke indirecte effecten of wanneer er sprake is van multicolineariteit in de data. (Jöreskog, 1999). Hier komen we in de discussie op terug. Uit de analyse bleek dat het Teamkompas de cijfers significant voorspelde. Dit betekent dat er ondersteuning is voor de predictieve validiteit van het Teamkompas. In Tabel 7 zijn de bèta gewichten van alle predictoren te zien. Concurrente validiteit Voor het onderzoeken van de concurrente validiteit is er een multipele regressieanalyse uitgevoerd om het verband tussen de scores op de Teamkompas dimensies en de zelfbeoordeling van prestatie te onderzoeken. De resultaten van de regressieanalyse toonden aan dat de vier kompaspunten 47% van de variantie verklaarden (R 2 adj. =.47, F(4, 29) = 8.19, p < 0.001). Hoewel de kompaspunten gezamenlijk dus een significante proportie van de variantie in zelfgerapporteerde prestatie verklaarden, kwam alleen Verbondenheid (β=.32, p < 0.05) naar voren als een significante voorspeller. De correlatietabel met de correlaties tussen de kompaspunten en zelfgerapporteerde prestatie laat zien dat alle correlaties rond de.50 zijn. Er is dus wel degelijk een verband tussen de kompaspunten en zelfgerapporteerde prestatie. Daarnaast is er een multipele regressieanalyse uitgevoerd om het verband tussen de scores op de Teamkompas dimensies en communicatie te onderzoeken. De resultaten van de regressieanalyse toonden aan dat de vier kompaspunten 72% van de variantie verklaarden (R 2 adj. =.72, F(4, 29) = 21.79, p < 0.001). Er werd gevonden dat Verbondenheid en Drive als enige een significante positieve relatie hadden met communicatie (β=.37, β=.28, p < 0.01). In Tabel 7 zijn de bètagewichten van alle predictoren te zien. Tabel 7 Gestandaardiseerde regressiegewichten van de multipele regressieanalyses Beta s Teamprestatie Beta s Communicatie Beta s Cijfers op Teamniveau Focus Route Drive.08.28**.01 Verbondenheid.32*.37** -1.3** R 2 Adjusted.34**.63**.21* F (df) (4, 76) (4, 78) 2.93 (4, 26) N = 82 (teamprestatie, communicatie) N = 30 (cijfers) ** p < 0.01, * p <

28 Uit beide regressieanalyses volgde maar twee kompaspunten met een individuele significante relatie met de uitkomstmaat. Daarentegen laat de correlatietabel met de correlaties tussen de kompaspunten en zelfgerapporteerde prestatie zien dat alle correlaties tussen de Teamkompas dimensies en de uitkomstmaten van.49 tot.75 lopen. Er zijn dus wel degelijk verbanden tussen de kompaspunten en zelfgerapporteerde prestatie en communicatie. De waarschijnlijke verklaring voor het niet vinden van significant voorspellende dimensies wordt gevormd door de sterke overlap tussen de kompaspunten in combinatie met de geringe steekproefomvang. Hierdoor heeft de toets te weinig power. De conclusie die uit deze analyses volgt is dat het Teamkompas communicatie en zelfgerapporteerde teamprestatie significant voorspelde. Dit betekent dat er ondersteuning is gevonden voor de concurrente validiteit van het Teamkompas. Hierbij moet wel rekening gehouden worden met het beperkte voorspellende vermogen van de afzonderlijke dimensies. Incrementele validiteit. Voor het onderzoeken van de incrementele validiteit is er een multipele regressieanalyse uitgevoerd om de toegevoegde waarde van de dimensies van het Teamkompas op de dimensies van de TCI te onderzoeken. In het eerste blok zijn de vier dimensies van de TCI toegevoegd en in het tweede blok de dimensies van het Teamkompas. Als uitkomstmaat zijn zowel communicatie als zelfgerapporteerde prestatie gebruikt. De resultaten van de regressieanalyse met communicatie als uitkomstmaat toonden aan dat de vier dimensies van het Teamkompas 16% extra van de variantie verklaarden (R 2 adj. =.73, F(8, 72) = 27.92, p < 0.001). Dit betekent dat de dimensies van het Teamkompas gezamenlijk een significante bijdrage hadden in het voorspellen van communicatie bovenop de dimensies van de TCI. Van de afzonderlijke kompaspunten hingen alleen Route en Drive significant samen met communicatie. Er is dus ondersteuning voor de incrementele validiteit van het Teamkompas met betrekking tot het voorspellen van communicatie. Ten tweede is er een regressieanalyse uitgevoerd met zelfgerapporteerde teamprestatie als uitkomstmaat. De resultaten van de regressieanalyse toonden aan dat de vier dimensies van het Teamkompas 6% extra van de variantie in zelfgerapporteerde prestatie verklaarden, maar geen sigifincante variantie verklaarden bovenop de dimensies van de TCI (R 2 adj. =.37, F(4, 70) = 1.81, p > 0.05). Er is dus geen ondersteuning voor de incrementele validiteit van het Teamkompas met betrekking tot het voorspellen van zelfgerapporteerde teamprestatie. In Tabel 8 zijn de gegevens van de analyse te zien. 28

29 Tabel 8 Regressieanalyse incrementele validiteit met communicatie en teamprestatie als uitkomst Beta s Communicatie Beta s Prestatie Model 1 Model 2 Model 1 Model 2 TCI Visie *.20 Veiligheid.55**.20*.30*.07 Taakoriëntatie.38**.34** Steun voor innovatie Teamkompas Focus Route.23*.14 Drive.19* -.04 Verbondenheid R 2 adj..57**.73**.35**.37 F(df) (4, 76) (8, 72) (4, 74) 6.78 (8, 70) R F( R 2 ) 27.79** 11.98** 11.25** 1.81 * p < 0.05, ** p < 0.01 Studie 2 Methode. Respondenten en procedure. Dit betreft een steekproef van werkteams uit organisaties. De deelnemers voor dit onderzoek zijn geworven via en telefoon. De meeste zijn bekenden van de onderzoekers. Via hebben de deelnemers informatie ontvangen over ons onderzoek met daarbij de online link naar de gereviseerde vragenlijst. Nadat de deelnemers wilden meedoen hebben wij verschillende malen reminders gestuurd via de en via een voic bericht of een telefoongesprek. Het invullen van de vragenlijst kostte de deelnemers ongeveer 20 minuten. De gegevens van de deelnemers werden strikt vertrouwelijk behandeld. De respondenten die deelnamen aan ons onderzoek werkten in teams bij verschillende bedrijven en clubs zoals managementteams, projectteams en sportteams. In totaal hebben 42 teams deelgenomen aan ons onderzoek die bestonden uit 288 deelnemers, waarvan 221 deelnemers de vragenlijst hebben 29

30 ingevuld. Dit was een respons van 77%. Deze 42 teams waren afkomstig van 29 bedrijven. De deelnemers waren 48% man en 52% vrouw, met een gemiddelde leeftijd van 38.6 jaar (SD = 12.7). De gemiddelde teamgrootte was vijf leden per team. Materiaal. De variabelen gemeten bij deze studie zijn: sociaal-demografische gegevens, de componenten van het Teamkompas, de componenten van het TCI en teamprestatie. De gebruikte instrumenten bij deze studie komen overeen met de instrumenten gebruikt bij studie 1. Met uitzondering van de prestatiemaat omdat het niet mogelijk was op een later moment prestatiegegevens te verzamelen van deze werkteams. Teamprestatie werd bij deze dataset gemeten met een gecombineerde prestatieschaal van Becker et al. (1996) en Van Heeren (2009). Data-analyse. De analyses gedaan bij deze studie komen overeen met de analyses gedaan bij studie één. Met uitzondering van de predictieve validiteit, in deze studie zal alleen de concurrente validiteit worden onderzocht. Verder zal dezelfde vragenlijst worden meegenomen, namelijk de gereviseerde versie van het Teamkompas na verwijdering van een aantal items. Resultaten. In Tabel 9 worden de intercorrelaties tussen de meegenomen variabelen weergegeven evenals het gemiddelde en de standaardafwijking. Tabel 9 Intercorrelaties tussen de meegenomen variabelen M S.D Route Focus ** - 3. Drive **.60** - 4. Verbondenheid **.63**.65** - 5. Communicatie **.60**.69**.75** - 6. Teamprestatie **.43**.44**.34**.46** - 7. TCI-visie **.57**.53**.39**.43**.26** - 8. TCI-veiligheid **.59**.60**.69**.68**.44**.44** - 9. TCI-taakorientatie **.51**.56**.61**.63**.35**.45**.56** TCI-steun voor innovatie N = **.57**.57**.55**.61**.31**.32**.55**.65** - 30

31 ** p < 0.01 Variabelen 1 t/m 5 zijn gemeten op een schaal van 1-10, Variabele 7 is gemeten op een schaal van 1-7, Variabelen 6 en 9 t/m 10 zijn gemeten op een schaal van 1-5. Betrouwbaarheid. De teamkompas schalen hadden een uitstekend niveau van betrouwbaarheid, de Cronbach s alpha van de verschillende dimensies lagen allen boven de cut-off score van.70. Dit betekent dat deze informatie ondersteuning biedt voor de betrouwbaarheid van het Teamkompas. In Tabel 10 staan alle betrouwbaarheden weergegeven. Tabel 10 Interne consistentie van het gereviseerde Teamkompas en de overige schalen Dimensie Aantal items Cronbach s alpha Teamkompas - Focus Route Drive Verbondenheid Communicatie TCI - Visie Veiligheid Taakoriëntatie Steun voor innovatie 3.68 Zelfgerapporteerde teamprestatie Indrukvaliditeit. Om de indrukvaliditeit van het gereviseerde Teamkompas te onderzoeken zijn het gemiddelde en de standaardafwijking van de indrukvaliditeitschaal berekend, waarin respondenten gevraagd werden te beoordelen in hoeverre het Teamkompas geschikt is voor het meten van de vier kompaspunten. Uit de resultaten van 225 deelnemers bleek dat het gemiddelde 4.21 is (SD =.81) op een schaal van 1 tot 6. Deze score ligt ruim boven het midden van de schaal, het lijkt er op dat de deelnemers de gereviseerde vragenlijst van het Teamkompas beoordelen als voldoende geschikt tot geschikt voor het te meten doel. Op basis van deze gegevens concluderen we dat het Teamkompas volgens de indrukvaliditeit voldoende geschikt is voor het meten van de teamprocessen. Dit betekent dat er ondersteuning is voor de indrukvaliditeit van het Teamkompas. 31

32 Construct validiteit. Om de onderliggende structuur van de gereviseerde Teamkompas vragenlijst te onderzoeken, is er een verkennende factoranalyse uitgevoerd. Er is gekozen voor een maximum likelihood extraction met een direct oblimin rotatie methode. De factoranalyse is uitgevoerd op het individuele niveau van analyse over alle 40 items (N = 225). De KMO-waarde van.94 en de Chi-square van de Bartlett s Test of Sphericety van (p < 0.001) geven aan dat er aan de voorwaarden voor een factoranalyse voldaan is. De analyse resulteerde in een model waarin sprake was van zes factoren met een eigenwaarde groter dan 1, met een totale verklaarde variantie van procent. Hierbij verklaarde de eerste factor de meeste variantie (46.57%), zie Figuur 5. Figuur 5. Scree plot factoranalyse werkteam-steekproef Verder zijn in Tabel 11 de eigenwaarden en de verklaarde varianties van de factoren te zien. 32

33 Tabel 11 Verklaarde variantie Factor Eigenwaarde % van variantie Cumulatief % % % % % % % 67.8 De interpretatie van de factoranalyse is erg lastig. Er zijn veel dubbelladingen en weinig unieke ladingen. De enige dimensie die uniek laad op één factor is de dimensie Verbondenheid. Voor de andere drie dimensies kan er geen onderscheid gemaakt worden op de factoren. Een oorzaak voor dit weinige onderscheid tussen de dimensies zijn de hoge correlaties tussen de dimensies. Hierbij kunnen we concluderen dat het Teamkompas uit één dimensie bestaat. De analyses toonden niet de verwachte dimensionele structuur. Dit betekent dat er geen ondersteuning is voor de constructvaliditeit van het Teamkompas. Concurrente validiteit. Voor het onderzoeken van de concurrente validiteit is er een multipele regressieanalyse uitgevoerd om het verband tussen de scores op de Teamkompas dimensies en de zelfbeoordeling van prestatie te onderzoeken. De resultaten van de regressieanalyse toonden aan dat de vier predictoren 21% van de variantie verklaarden (R 2 adj. =.21, F(4, 220) = 15.98, p < 0.001). Hoewel de kompaspunten gezamenlijk een significante proportie van de variantie in zelfgerapporteerde prestatie verklaarden, kwamen alleen Focus en Drive naar voren als significante voorspellers. Daarnaast is er een multipele regressieanalyse uitgevoerd om het verband tussen de scores op de Teamkompas dimensies en communicatie te onderzoeken. De resultaten van de regressieanalyse toonden aan dat de vier predictoren 84% van de variantie verklaarden (R 2 adj. =.79, F(4, 220) = , p < 0.001). Hierbij hadden alle dimensies een significante positieve relatie met communicatie. In Tabel 12 zijn de bèta gewichten van alle predictoren te zien 33

34 Tabel 12 Gestandaardiseerde regressiegewichten van de multipele regressieanalyse Beta s Teamprestatie Beta s Communicatie Focus.21*.12* Route.03.26** Drive.22*.18** Verbondenheid.07.43** R 2 Adjusted.21*.79** F (df) (4, 220) (4, 220) N = 220 ** p < 0.01, * p < 0.05 Uit de regressieanalyse met teamprestatie volgde twee kompaspunten met een individuele significante relatie met de uitkomstmaat. De correlatietabel met de correlaties tussen de kompaspunten en zelfgerapporteerde prestatie laat zien dat alle correlaties tussen de Teamkompas dimensies en de uitkomstmaten van.34 tot.75 lopen. Er zijn dus wel degelijk verbanden tussen de overige kompaspunten en zelfgerapporteerde prestatie. De waarschijnlijke verklaring voor het niet vinden van significant voorspellende dimensies wordt gevormd door de sterke overlap tussen de kompaspunten in combinatie met de geringe steekproefomvang. Hierdoor heeft de toets te weinig power. Uit de regressieanalyse met communicatie als uitkomstmaat volgde wel dat alle kompaspunten een significante relatie hadden met de uitkomstmaat. De conclusie die uit deze analyses volgt is dat het Teamkompas communicatie en zelfgerapporteerde teamprestatie significant voorspelde. Dit betekent dat er ondersteuning is gevonden voor de concurrente validiteit van het Teamkompas. Hierbij moet wel rekening gehouden worden met het beperkte voorspellende vermogen van de afzonderlijke dimensies. Incrementele validiteit. Voor het onderzoeken van de incrementele validiteit is er een multipele regressieanalyse uitgevoerd om de toegevoegde waarde van de dimensies van het Teamkompas op de dimensies van de TCI te onderzoeken. In het eerste blok zijn de vier dimensies van de TCI toegevoegd en in het tweede blok de dimensies van het Teamkompas. Als uitkomstmaat is communicatie gebruikt. De resultaten van de regressieanalyse toonden aan dat de vier dimensies van het Teamkompas 22% extra van de variantie verklaarden (R 2 adj =.80, F(8, 216) = , p < 0.001). Dit betekent dat de dimensies van het Teamkompas een significante bijdrage hadden in het 34

35 voorspellen van communicatie bovenop de dimensies van de TCI. Er is dus ondersteuning voor de incrementele validiteit van het Teamkompas met betrekking tot het voorspellen communicatie. Ten tweede is er een regressieanalyse uitgevoerd op het individuele niveau met zelfgerapporteerde teamprestatie als uitkomstmaat. De resultaten van de regressieanalyse toonden aan dat de vier dimensies van het Teamkompas 5% extra van variantie verklaarden (R 2 adj =.23, F(8, 216) = 9.51, p < 0.01). Dit betekent dat de dimensies van het Teamkompas een significante maar kleine bijdrage hadden in het voorspellen van teamprestatie bovenop de dimensies van de TCI. Er is dus ondersteuning voor de incrementele validiteit van het Teamkompas met betrekking tot het voorspellen van zelfgerapporteerde teamprestatie. In Tabel 13 zijn de gegevens van de regressieanalyse te zien. Tabel 13 Regressieanalyse incrementele validiteit met communicatie en teamprestatie als uitkomst Communicatie Prestatie Model 1 Model 2 Model 1 Model 2 TCI Visie Veiligheid.40** **.24** Taakoriëntatie.22** Steun voor.23** innovatie Teamkompas Focus.12*.21* Route.23** -.01 Drive.18**.22* Verbondenheid.38** -.06 R 2 adj..58**.80**.20**.23** F(df) (4,220) (8, 216) (4, 220) 9.51 (8, 216) R F( R 2 ) (p<.001) (p<.001) (p<.001) 3.67 (p<.01) * p < 0.05, ** p <

36 Discussie Het doel van dit onderzoek was het onderzoeken van de validiteit en de betrouwbaarheid van het Teamkompas. Het Teamkompas is een praktisch, Nederlandstalig model waarmee de samenwerking binnen teams in kaart gebracht kan worden. Het model is ontwikkeld door Spijkerman en Spijkerman (2010) en wordt vooral gebruikt in het bedrijfsleven om de communicatie in teams te sturen zodat verschillende aspecten van het samenwerken aan bod komen. Het model bestaat uit vier dimensies: Focus betreft de mate waarin leden van een team gericht zijn op het behalen van doelen, Route betreft de mate waarin een strategie is bepaald om de gestelde doelen te bereiken, Drive betreft de mate van motivatie van de leden om het doel na te streven en Verbondenheid betreft de band tussen de teamleden (Spijkerman & Spijkerman, 2010). De bijdrage van dit onderzoek is het langs de wetenschappelijke meetlat leggen van een praktisch, intuïtief model voor het in kaart brengen van samenwerking binnen teams. Het onderzoek is door middel van een vragenlijststudie uitgevoerd bij 63 studententeams en 42 werkteams. De keuzes wat betreft de onderzochte psychometrische kenmerken zijn gebaseerd op de COTAN (Evert et al., 2000). De betrouwbaarheid is onderzocht door middel van de interne consistentie methode. Wat betreft de validiteit zijn de indrukvaliditeit, de construct validiteit, de criterium validiteit en de incrementele validiteit onderzocht. De conclusies in dit onderzoek zijn gebaseerd op de resultaten uit de tweede fase van dit onderzoek. Wat is de betrouwbaarheid van de kompaspunten van het Teamkompas? De betrouwbaarheid van het Teamkompas is gemeten met de interne-consistentiemethode door middel van Cronbach s alpha. De betrouwbaarheid van de kompaspunten was bij beide onderzoeken erg hoog. Dit houdt in dat de items binnen de afzonderlijke kompaspunten een sterke onderlinge samenhang vertonen en daarmee volgens de gangbare normen een betrouwbare meting vormen (Drenth en Sijtsman, 2004). Hebben ervaringsdeskundigen de indruk dat het Teamkompas geschikt is voor het meten van teamprocessen? De indrukvaliditeit is onderzocht om te onderzoeken of de test de testgebruikers aanspreekt (Bryman, 2004). De indrukvaliditeit is beoordeeld op basis van één item afgeleid van Nevo (1985) en gemeten op een 6-puntsschaal. Zowel de studenten als de werkteamleden beoordeelden het Teamkompas als voldoende geschikt voor het meten van teamprocessen. Dit komt overeen met punt vier op een schaal van één tot zes. Hierbij scoorden de studenten iets lager dan de werkteams. Uit de opmerkingen van een aantal studenten bleek ook dat zij het Teamkompas niet helemaal geschikt vonden voor het soort team waar zij in werkten. Zij vonden veel vragen uit het model niet van toepassing op hun team en dit zou verklaard kunnen 36

37 worden door de duidelijkheid van het doel en de eenvoud van de samenwerking binnen hun teams in vergelijking met werkteams. Het is waarschijnlijk dat de studenten door deze kritiekpunten de mate waarin het Teamkompas geschikt is voor het meten van teamprocessen lager hebben beoordeeld. Op basis van het item en de open antwoorden kan geconcludeerd worden dat de indrukvaliditeit voor werkteams acceptabel is, maar voor de studententeams twijfelachtig. In hoeverre biedt de factoranalyse ondersteuning voor de bedoelde 4-dimensionele structuur? De constructvaliditeit van het Teamkompas is onderzocht om inzicht te krijgen in de dimensionele structuur van het Teamkompas. Deze structuur zou overeen moeten komen met de vier theoretische dimensies waarvan verondersteld wordt dat deze gemeten worden. Om de constructvaliditeit te onderzoeken is er een factoranalyse uitgevoerd. Noch de factoranalyse van de bedrijven, noch de factoranalyse van de studenten liet een duidelijk onderscheid zien tussen de vier dimensies. De conclusie met betrekking tot de constructvaliditeit is dan ook dat de factoranalyse geen ondersteuning biedt voor de bedoelde vier-dimensionele structuur en het Teamkompas maar uit één factor bestaat. Dit wil zeggen dat er geen goede constructvaliditeit is. Deze resultaten zouden enerzijds verklaard kunnen worden door abstracte items in de vragenlijst die slecht te onderscheiden zijn en bij meerdere dimensies onderverdeeld zouden kunnen worden. Anderzijds zou het verklaard kunnen worden door respondenten die de vragenlijst niet serieus hebben ingevuld of zijn afgegaan op een globale inschatting van hun team en zo onderhevig zijn aan het halo-effect (Clark & Lawless, 1994). Op basis van deze bevindingen introduceren we hieronder bij de praktische aanbevelingen een nieuwe gemodificeerde versie van het Teamkompas met daarin een selectie van de items. In hoeverre hangen de scores op de dimensies van het Teamkompas samen met het criterium teamprestatie? De criteriumvaliditeit van het Teamkompas is onderzocht om het voorspellend vermogen van het Teamkompas te onderzoeken (Evers et al., 2000). De analyses van de concurrente validiteit zijn uitgevoerd op het individuele niveau en toonden aan dat het Teamkompas als geheel significant samenhangt met zowel communicatie als zelfgerapporteerde prestatie. In de studenten-steekproef werd communicatie als uitkomstmaat beter voorspeld dan zelfgerapporteerde prestatie. Hoewel de kompaspunten gezamenlijk een significante proportie van de variantie in zelfgerapporteerde prestatie en communicatie verklaarden, hadden de afzonderlijke dimensies weinig voorspellend vermogen. Verbondenheid kwam als enige naar voren als voorspellende dimensie bij zelfgerapporteerde prestatie en bij communicatie waren dit Verbondenheid en Drive. De correlatietabel met de correlaties tussen de kompaspunten en zelfgerapporteerde prestatie laat daarentegen zien dat alle correlaties rond de.50 waren. Er is dus wel degelijk een verband tussen de kompaspunten en zelfgerapporteerde prestatie. Het niet vinden 37

38 van een voorspellend vermogen van de dimensies zou verklaard kunnen worden door de sterke samenhang tussen de items. Ook bij de werkteam-steekproef werd communicatie als uitkomstmaat beter voorspeld. Daarnaast hing het Teamkompas voor deze steekproef beter samen met zelfgerapporteerde prestatie dan voor de studenten-steekproef. Hoewel de kompaspunten gezamenlijk een significante proportie van de variantie in zelfgerapporteerde prestatie verklaarden, hadden de afzonderlijke dimensies weinig voorspellend vermogen. Focus en Drive kwamen als enige naar voren als voorspellende dimensies. Bij de analyse met communicatie als uitkomstmaat hadden alle dimensies wel een voorspellend vermogen. De predictieve validiteit van het Teamkompas is geanalyseerd op het teamniveau omdat de uitkomstmaat cijfers op het teamniveau was. De analyses toonden aan dat het Teamkompas een significante voorspeller is van de cijfers van de studenten. Hierbij kwam alleen Verbondenheid naar voren als significante voorspeller. Na het samenvatten van deze informatie kan geconcludeerd worden dat het Teamkompas een goede voorspeller is van communicatie, zelfgerapporteerde teamprestatie en cijfers. Hierbij moet wel rekening gehouden worden met het beperkte voorspellende vermogen van de afzonderlijke dimensies. De scores op de dimensies van het Teamkompas hingen dus niet in alle analyses samen met prestatie. De Wit, Greer en Jehn (2012) beschrijven teamprestatie als een distal groepsuitkomst en processen zoals communicatie als een proximal groepsuitkomst. Dit zou het verschil in voorspellen kunnen verklaren omdat teamprestatie verder van het team afstaat en wellicht ook niet volledig te beïnvloeden is, terwijl communicatie juist dichtbij staat en wel te beïnvloeden is. We kunnen concluderen dat de criteriumvaliditeit van het gehele Teamkompas goed is, evenals het voorspellende vermogen van de losse dimensies in de werkteam-steekproef met communicatie als uitkomstmaat. In hoeverre heeft het gebruik van het Teamkompas een toegevoegde waarde ten opzichte van de Team Climate Inventory? De incrementele validiteit van het Teamkompas is onderzocht om de toegevoegde waarde van het model ten opzichte van de TCI te onderzoeken. De incrementele validiteit van het Teamkompas is onderzocht ten opzichte van de Team Climate Inventory (Anderson en West, 1998). Dit model is gekozen omdat de dimensies erg overeenkomen met die van het Teamkompas. De uitkomstmaten die zijn gebruikt voor het onderzoeken van de incrementele validiteit zijn communicatie en zelfgerapporteerde teamprestatie. Uit de analyses bleek dat voor zowel de studenten als de bedrijven het Teamkompas een toegevoegde waarde had ten opzichte van de TCI in het voorspellen van communicatie. Daarentegen was de incrementele validiteit erg laag bij het voorspellen van zelfgerapporteerde teamprestatie en was deze voor de studententeams niet 38

39 significant. De verklaring die hiervoor gegeven kan worden komt overeen met die voor de concurrente validiteit. De Teamprestatie kan beschreven worden als een distal groepsuitkomst en processen zoals communicatie als een proximal groepsuitkomst. Dit zou het verschil in voorspellen kunnen verklaren (De Wit et al., 2012). Er kan geconcludeerd dat het Teamkompas een goede incrementele validiteit heeft ten opzichte van de TCI in het voorspellen van communicatie, maar niet in het voorspellen van zelfgerapporteerde teamprestatie. Totaalbeeld: De psychometrische kwaliteit van het Teamkompas De overkoepelende onderzoeksvraag die aan deze scriptie ten grondslag lag was: Wat zijn de psychometrische kenmerken van het Teamkompas, in termen van validiteit en betrouwbaarheid. Alle informatie samengevat, kan geconcludeerd worden dat het Teamkompas een goede praktische toepasbaarheid heeft. Het model is beoordeeld als voldoende geschikt voor het meten van teamprocessen door ervaringsdeskundigen, het kan gebruikt worden om te voorspellen, het is betrouwbaar en het model heeft een toegevoegde waarde ten opzichte van de TCI met overeenkomende dimensies. Daarentegen kwam de constructvaliditeit van het model niet goed naar voren. Het onderliggende vier-dimensionele model en de aansluiting van de vragenlijst daarbij kreeg onvoldoende ondersteuning, wat vraagt om verdere aanscherping. Bij gebruik van het model kunnen daar dan ook geen uitspraken over gedaan worden. Beperkingen en toekomstig onderzoek In dit onderzoek zijn een aantal beperkingen aan te duiden. Een eerste beperking in het onderzoek betrof het niveau van analyse. De analyses zijn in dit onderzoek hoofdzakelijk op individueel niveau gedaan. De resultaten betreffen dan de individuele percepties van teamleden over hun team wat overeenkomt met de primaire doelstelling van het Teamkompas. Daarnaast zou de steekproef voor analyses op teamniveau te klein zijn geworden. De kanttekening die bij deze keuze geplaatst moet worden is dat er op het individuele niveau te veel overlap was tussen de individuen omdat deze individuen uit een team komen en dat scores van leden in een team op elkaar zullen lijken en er dus een clusterpatroon in de antwoorden zal zitten (Klein en Kozlowski, 2000). Individuen in een team denken, voelen en gedragen zich in een interactieve context waardoor het gedrag en de cognitie van de leden collectieve kenmerken zou kunnen hebben (Kozlowski en Bell, 2001). De assumptie van onafhankelijke observaties die ten grondslag ligt aan veel analyses wordt zo geschonden (Snijders en Bosker, 1999; Field, 2007). Toch zeggen Snijders en Bosker (1999) dat metingen op het micro-niveau op een correcte manier op het micro-niveau geanalyseerd kunnen worden, zolang er rekening gehouden wordt met de mogelijke gecorreleerde observaties op het macro-niveau. In de huidige studie is hier niet nadrukkelijk rekening mee gehouden. De consequentie van deze beperking is dat 39

40 de steekproef groter lijkt dan dat hij eigenlijk is en dat daardoor resultaten eerder significant kunnen zijn. Bij vervolgonderzoek zal er meer rekening moeten worden gehouden met het niveau van analyse en zou er gebruik moeten worden gemaakt van multi-level analyses of analyses op teamniveau, afhankelijk van het niveau van de uitkomstvariabelen waarin men geïnteresseerd is. De tweede beperking heeft te maken met problemen in het onderzoek die mogelijk hebben geleid tot de onverwachte factoranalyse resultaten. Een mogelijke verklaring voor het vinden van maar één factor in plaats van de bedoelde vier-dimensionele structuur zou kunnen liggen aan het halo-effect. Hierbij worden alle vragen heel consistent ingevuld door een globale inschatting van het overkoepelende thema (Clark & Lawless, 1994). Dit komt ook voor op het moment dat er minder belang aan het invullen wordt gehecht. Het belang van het invullen van de vragenlijst hadden wij aangegeven door de teamleiders te vertellen dat ieder team feedback zou krijgen over de resultaten. Toch duurde het soms lang voordat we de vragenlijst terugkregen. Het kan zijn dat sommige respondenten het invullen van de vragenlijst niet erg belangrijk vonden, wat zou kunnen hebben geleid tot het halo-effect. Een derde beperking heeft te maken met de factoranalyse. Gezien de resultaten van de factoranalyse was het bestuderen van de afzonderlijke dimensies van het Teamkompas wellicht niet zo verantwoord. De dimensies waren immers niet duidelijk herkenbaar, laadden op dezelfde factor en hingen daardoor sterk onderling samen. Dit zou de resultaten kunnen hebben beïnvloed, bijvoorbeeld via multicollineariteit in de regressieanalyses. Dit houdt in dat er te hoge correlaties zijn tussen de voorspellende variabelen en zorgt ervoor dat de unieke bijdrage van de dimensies moeilijk te onderzoeken is omdat ze sterk samen hangen met andere dimensies (Field, 2007). De afzonderlijke dimensies zijn in dit onderzoek toch bekeken omdat het een belangrijk onderdeel is van het Teamkompas, zonder de dimensies is er namelijk geen kompas. Bij vervolgonderzoek zouden de kompaspunten sterker moeten worden afgebakend waardoor het onderscheidend vermogen beter wordt en de kompaspunten beter onderzocht kunnen worden. Een vierde beperking kan geplaatst worden bij de criteriumvaliditeit. Er was maar één dimensie (Verbondenheid) die een voorspellende waarde had, wat verklaard kan worden door de resultaten van de factoranalyse. Er was namelijk maar één onderliggende factor. Daarnaast zijn de gegevens die werden gebruikt bij de criteriumvaliditeit gelijktijdig verzameld en is het niet duidelijk welke richting het verband heeft. Het zou kunnen dat het verband in de tegengestelde richting is, waarbij de communicatie en zelfgerapporteerde teamprestatie de resultaten van het Teamkompas voorspellen (Kozlowski en Ilgen, 2006). Als de communicatie binnen een team namelijk onvoldoende is, zou dit kunnen zorgen voor een slechte band tussen de teamleden waardoor de Verbondenheid laag is. Verder zou dan ook het doel van de samenwerking niet duidelijk besproken kunnen zijn waardoor er sprake is van een lage Focus. Mogelijk is er sprake van wederzijdse invloed, waarbij het 40

41 Teamkompas communicatie en prestatie voorspelt en doordat deze beide hoog zijn scoren de deelnemers ook weer hoog op het Teamkompas (Kozlowski en Ilgen, 2006). Dit wordt ook wel een opwaartse spiraal genoemd waarbij prestatie leidt tot een verhoogde efficacy en dat weer leidt tot een hogere prestatie (Lindsley, Brass & Thomas, 1994). Het probleem van de richting van het verband geldt niet voor de predictieve validiteit. Hierbij zijn de cijfers gegeven na de meting van Verbondenheid en dus is er maar één richting mogelijk en dat is dat Verbondenheid in het team de cijfers voorspelt. De huidige studie toont in elk geval aan dat er een verband is en dat de richting daarvan nog ongewis is. Het zou goed zijn om dit in vervolgonderzoek verder te bekijken. Praktische aanbevelingen In dit onderzoek kon wat betreft de betrouwbaarheid alleen de interne consistentie berekend worden in verband met het niet beschikken over een herhaalde meting. Aanvullend onderzoek naar de test-hertest betrouwbaarheid en de stabiliteit van testresultaten is wenselijk. Er kan zo onderzocht worden of de test resultaten consistent zijn op twee verschillende tijden onder gelijkblijvende condities (Field, 2009). Het model werkte daarnaast volgens de indrukvaliditeit beter voor werkteams dan voor studententeams. Veel studenten vonden namelijk dat het model niet aansloot bij hun doelstellingen. Wij zouden dan ook adviseren dit model niet te gebruiken voor studententeams, maar eerder voor werkteams en sportteams. Daarnaast zal er in de toekomst gekeken kunnen worden naar het onderscheid in dimensies. Het onderscheid in de vier dimensies is belangrijk voor dit model en daarom zou dit nader onderzocht kunnen worden bij verdere ontwikkeling van het model. We doen hier een eerste voorzet waarbij de helft van de vragen uit de vragenlijst is geselecteerd om zo een maximaal onderscheidende vragenlijst te krijgen. Deze items zijn zowel geselecteerd op onderscheidendheid als op inhoud zodat ze dekkend zijn voor de dimensies. Alle geselecteerde items zijn te zien in Tabel 14. Er zijn verkennende factoranalyses uitgevoerd om inzicht te krijgen in de structuur van de geselecteerde items voor zowel de studenten-steekproef als de werkteam-steekproef. Hierbij was het onderscheidend vermogen van de dimensies duidelijk te zien, de items waren netjes verdeeld onder de vier dimensies. Bij de werkteam-steekproef laadde alleen het item: Teamleden krijgen verantwoordelijkheden die ze aankunnen met betrekking tot taakrealisatie even hoog op Verbondenheid als op Route. Op basis van deze gemodificeerde versie van het Teamkompas hebben we de verschillende psychometrische eigenschappen nogmaals in kaart gebracht. Hiertoe hebben we weer afzonderlijk gekeken naar de twee steekproeven (studententeams en werkteams). We geven 41

42 hieronder een beknopt overzicht van de bevindingen ten aanzien van de voorgestelde gemodificeerde versie. De details van de analyses zijn te vinden in Bijlage 2. Bij zowel de studenten als de bedrijven zijn erg hoge betrouwbaarheden gevonden, ze waren allen boven de.86, wat uitstekend is. Daarnaast kwam de concurrente validiteit erg overeen met de resultaten in studie één en twee. Het Teamkompas voorspelde teamprestatie en communicatie significant voor beide datasets, toch was ook bij deze analyses te zien dat niet alle dimensies een significant voorspellend vermogen hadden. De predictieve validiteit daarentegen kwam niet overeen met de resultaten in studie één. De cijfers van de studenten werden helaas niet significant voorspeld door het Teamkompas. Als laatste is gekeken naar de incrementele validiteit ten op zicht van de TCI, hieruit bleek dat voor zowel de studenten als de bedrijven het Teamkompas een significante bijdrage had op de TCI voor de uitkomstvariabelen communicatie en teamprestatie. Het gemodificeerde Teamkompas had dus een toegevoegde waarde ten opzichte van de TCI in het voorspellen van communicatie en teamprestatie. De voorgestelde gemodificeerde versie kan een goede basis vormen voor verder onderzoek naar de psychometrische eigenschappen van het Teamkompas. In Bijlage 2 zijn de tabellen van alle analyses te zien. Tabel 14 Geselecteerde items van het gemodificeerde Teamkompas Focus: in hoeverre de leden van een team zijn gericht op het behalen van de doelen. Iedereen staat achter de plannen die het team gemaakt heeft. Het doel waarvoor ons team bijeen is, is voor de teamleden duidelijk. Ons team weet welk doel ze wil bereiken. Er is positieve energie om het gezamenlijke doel te realiseren. Er is vastberadenheid om het gezamenlijke doel te bereiken. Route: de route die wordt gekozen om de gestelde doelen te bereiken. Bij het bepalen van de juiste procedure is ons team in staat samen knopen door te hakken. Ons team kiest voor een juiste procedure om taken aan te pakken. Teamleden maken gebruik van elkaars talenten om tot een resultaat te komen. Teamleden krijgen verantwoordelijkheden die ze aankunnen met betrekking tot taakrealisatie. De manier waarop ons team hun doel wil bereiken is voor alle teamleden duidelijk. Drive: staat voor de motivatie van de leden om het doel na te streven. Je talenten kun je hier optimaal benutten. Deelname aan ons team is voor iedereen een kans. 42

43 Deelname aan ons team biedt voor iedereen de mogelijkheid om te leren. Deelname aan ons team stimuleert de groei en ontwikkeling van de teamleden. Je ontdekt in dit team wat je kan. Verbondenheid: de band die bestaat tussen de teamleden In ons team voelt iedereen zich op zijn gemak. Iedereen krijgt in dit team de ruimte zijn zegje te doen. In ons team krijgt iedereen de ruimte om te leren van gemaakte fouten. In dit team durven teamleden elkaar om hulp te vragen. De teamleden waarderen elkaars standpunten. 43

44 Conclusie Ondanks de beperkingen van het onderzoek zijn er een aantal interessante resultaten naar voren gekomen. Het Teamkompas kan gebruikt worden voor het verbeteren van de samenwerking binnen teams als leidraad voor de communicatie tussen de teamleden. Het Teamkompas hangt namelijk samen met zowel teamprestatie als communicatie. Het invullen van de vragenlijsten en het in kaart brengen van de scores biedt aanknopingspunten voor communicatie tussen de teamleden. Deze communicatie kan dan bijdragen aan bijvoorbeeld het verduidelijken van het doel en de taakverdeling binnen het team. Dit onderzoek draagt bij aan de huidige teamliteratuur door de praktische toepasbaarheid van het model en de samenhang met relevante uitkomstmaten. Het onderliggende idee van onderscheid in vier kompaspunten benodigd aanvullende aandacht in de toekomst. Voor de Nederlandse markt zijn er nog niet veel gedegen, wetenschappelijk onderbouwde instrumenten beschikbaar. Het Teamkompas kan hierin een waardevolle aanvulling vormen, zeker als het lukt de kompaspunten scherper af te bakenen. Er kan geconcludeerd worden dat het Teamkompas een aantal goede psychometrische kwaliteiten heeft, waarbij helaas de constructvalditieit onvoldoende was. Het Teamkompas is een goed praktisch en toepasbaar model dat gebruikt kan worden voor het sturen van de communicatie binnen teams. 44

45 Referenties Anderson, N. R. & West, M. A. (1998). Measuring climate for work group innovation: Development and validation of the Team Climate Inventory. Journal of Organizational Behavior, 19, Becker, T. E., Billings, R. S., Eveleth, D. M. & Gilbert, N. L. (1996). Foci and bases of employee commitment: Implications for job performance. The Academy of Management Journal, 39, Clark, C. C. & Lawless, H. T. (1994). Limiting response alternatives in time-intensity scaling: An examination of the halo-dumping effect. Chemical Senses, 19, Costello, A. B. & Osborne, J. W. (2005). Best practices in exploratory factor analysis: Four recommendations for getting the most from your analysis. Practical Assessment, Research & Evaluation, 10. Geraadpleegd op 16 maart via DeCoster, J. (1998). Overview of Factor Analysis. Geraadpleegd op 18 mei 2012 via help.com/notes.html Drenth, P. J. D. & Sijtsma, K. (2004). Testtheorie: inleiding in de theorie van de psychologische test en zijn toepassingen. Houten: Bohn Stafleu van Loghum. Edmondson, A. (1999). Psychological safety and learning behavior in work teams. Administrative Science Quarterly, 44, Evers, A., Van Vliet-Mulder, J. C. & Groot, C. J. (2000). COTAN: documentatie van tests en testresearch in Nederland. Amsterdam: Boom test uitgevers. Field, A. (2009). Discovering statistics using SPSS, third edition. London: Sage. Heeren, van. (2008). Scriptie. Hackman, J. R. & Lawler, E. E. (1971). Employee reactions to job characteristics. Journal of Applied Psychology Monograph, 55, Hoegl, M. & Gemuenden, H. G. (2001). Teamwork quality and the success of innovative projects: A theoretical concept and empirical evidence. Organization Science, 12, Jöreskog, K. G. (1999). How large can a standardized coefficient be? Op 24 september 2012 van Katzenbach, J. R. & Smith, D. K. (1993). The discipline of teams. Hardvard Business Review, Klein, K. J. & Kozlowski, S. W. J. (2000). From micro to meso: Critical steps in conceptualizing and conducting multilevel research. Organizational Research Methods, 3, Kline, P. (1986). A handbook of test construction: Introduction to psychometric design. London: Methuen. 45

46 Kozlowski, S. W. J. & Bell, B. S. (2001). Work groups and teams in organizations. In W. C. Borman, D. R. Ilgen, & R. J. Klimoski (Eds.), Handbook of psychology (Vol. 12): Industrial and Organizational Psychology (pp ). New York: Wiley. Kozlowski, S. W. J. & Ilgen, D. R. (2006). Enhancing the effectiveness of work groups and teams. Association for Psychological Science, 7, LePine, J. A., Piccolo, R. F., Jackson, C. L., Mathieu, J. E. & Saul, J. R. (2008). A meta-analysis of teamwork processes: Tests of a multidimensional model and relationships with team effectiveness criteria. Personnel Psychology, 61, Lindsley, D. H., Brass, D. J. & Thomas, J. B. (1994). Efficacy-performance spirals: A multilevel perspective. The Academy of Management Review, 20, Locke, E. A., Saari, L. M., Shaw, K. N. & Latham G. P. (1981). Goal setting and task performance: Psychological Bulletin, 90, Marks, M. A., Mathieu, J. E. & Zaccaro, S. J. (2001). A temporally based framework and taxonomy of team processes. The Academy of Management Review, 26, Mullen, B. & Copper, C. (1994). The relation between group cohesiveness and performance: An integration. Psychological Bulletin, 115, Nevo, B. (1985). Face validity revisited. Journal of Educational Measurement, 22, Reynaert, W. en Spijkerman, R. (2009). Loopbaandilemma s. Den Bosch: Malmberg/LDC. Schaufeli, W. B. & Bakker, A. B. (2004). Bevlogenheid: Een begrip gemeten. Gedrag & Organisatie, 17, Snijders, T. A. B. & Bosker, R. J. (1999). Multilevel analysis, an introduction to basic and advanced multilevel modeling. Londen: SAGE publications. Spijkerman, R. & Spijkerman, B. (2010). Navigeer je team naar succes: Groepen aansturen met het teamkompas. Amsterdam: Pearson Education Benelux. Wit, F. R. C. de, Greer, L. L. & Jehn, K. A. (2012). The paradox of intragroup conflict: a meta-analysis. Journal of Applied Psychology, 97,

47 Bijlage 1: originele vragenlijst en gereviseerde vragenlijst. De nummers in de tabel komen overeen met gelijke items. Schuin gedrukte items zijn nieuw. Originele vragenlijst Gereviseerde vragenlijst Focus Focus 1. Het doel waarvoor het team bijeen is, is 1. Het doel waarvoor ons team bijeen is, is voor duidelijk voor de deelnemers de teamleden duidelijk 2. Iedereen staat achter de plannen 2. Iedereen staat achter de plannen die ons team gemaakt heeft 3. Bij bijna alles wat besproken wordt staat het 3. Het doel staat centraal bij alles wat besproken doel centraal wordt 4. Iedereen brengt onder woorden waar het om Ons team weet hoeveel tijd er is voor het gaat behalen van het doel 5. Als het gesprek afdwaalt, roept altijd iemand 6. Ons team weet welk doel ze wil bereiken het team tot de orde 6. Het team weet wat het wil Ons team weet wat de deadline is voor het behalen van het doel 7. Verschil van inzicht over waar het eigenlijk om gaat wordt grondig uitgepraat 8. Er is positieve energie en vastberadenheid om 8a. Er is positieve energie om het gezamenlijke het teamdoel te realiseren doel te realiseren 8b. Er is vastberadenheid om het gezamenlijke doel te realiseren 9. Duidelijk wordt afgebakend wat wel en wat 9. Duidelijk wordt afgebakend wat wel en niet niet wordt opgepakt en waarom wordt opgepakt 10. Er is ruimte voor twijfel en discussie over wat Ons team heeft duidelijk onderscheid gemaakt belangrijk is om te bereiken als team tussen het hoofddoel en de subdoelen 12. Ons team neemt de tijd om problemen goed te analyseren 47

48 Route 11. De taak van het team staat centraal in de teamgesprekken 12. Het team neemt de tijd om problemen goed te analyseren 13. Het team kiest voor een juiste procedure om taken aan te pakken 14. Teamleden maken dankbaar gebruik van elkaars talent om tot resultaat te komen 15. Verschil van benadering wordt meestal als een verrijking gezien voor de taakuitvoering 16. Kritiek geven wordt beschouwd als een nuttige bijdrage in het proces van taakrealisatie 17. Afwijkende standpunten worden serieus genomen 18. Het team is in staat om samen knopen door te hakken als dat nodig is 19. De teamleden doen alleen hun zegje als het functioneel is voor de taak 20. Teamleden krijgen de verantwoordelijkheden die ze aan kunnen en die ze willen met betrekking tot de taakrealisatie 10. Er is ruimte voor twijfel en discussie over wat belangrijk is om te bereiken als team De manier waarop ons team hun doel wilt bereiken is voor alle teamleden duidelijk 13. Ons team kiest voor een juiste procedure om taken aan te pakken 14. Teamleden maken gebruik van elkaars talenten om tot resultaat te komen 15. Verschil van benadering wordt als een verrijking gezien voor de taakuitvoering 16. Kritiek geven wordt beschouwd als een nuttige bijdrage in het proces van taakrealisatie 17. Afwijkende standpunten worden serieus genomen 18. Bij het bepalen van de juiste procedure is ons team in staat samen knopen door te hakken 20a. Teamleden krijgen verantwoordelijkheden die ze aankunnen met betrekking tot taakrealisatie 20b. Teamleden krijgen verantwoordelijkheden die ze willen met betrekking tot taakrealisatie Drive 21. In dit team komt iedereen tot zijn recht De teamleden gaan helemaal op in hun werk 22. Je talenten kun je hier optimaal benutten 22. Je talenten kun je hier optimaal benutten 23. De taak van het team spreekt iedereen aan 23. De taak van ons team spreekt iedereen aan 24. Je ontdekt in dit team wat je wilt en wat je 24a. Je ontdekt in dit team wat je wilt kan 24b. Je ontdekt in dit team wat je kan 25. Deelname aan dit team is voor alle 25. Deelname aan ons team is voor iedereen een deelnemers een kans kans 26. Je krijgt in dit team adequate feedback waar 48

49 je wat mee kan 27. De kwaliteit van de overige deelnemers is 27. De kwaliteit van de andere teamleden is voor voor iedereen inspirerend iedereen inspirerend 28. De wijze waarop het team te werk gaat is 28. Deelname aan ons team biedt iedereen de voor iedereen leerzaam mogelijkheid om te leren 29. Deelname aan dit team zal iedereen veel 29. Deelname aan ons team stimuleert de groei opleveren en ontwikkeling van de teamleden 30. De deelnemers kiezen bewust voor dit team 30. De teamleden kiezen bewust voor dit team Verbondenheid 31. De leden van het team luisteren goed naar In dit team durven teamleden elkaar om hulp te elkaar vragen 32. Iedereen kan in dit team zijn zegje doen 32. Iedereen krijgt in dit team de ruimte zijn zegje te doen 33. Elkaar feedback geven wordt in dit team 21. In ons team komt iedereen tot zijn recht positief gewaardeerd 34. Spreken over je gevoelens is toegestaan in 34. Spreken over je gevoelens is toegestaan in dit team ons team 35. Iedereen in dit team voelt zich op zijn gemak 35. In ons team voelt iedereen zich op zijn gemak 36. De teamleden respecteren en waarderen 36a. De teamleden respecteren elkaars elkaars standpunten standpunten 36b. De teamleden waarderen elkaars standpunten 37. Als er misverstanden dreigen te ontstaan, In ons team krijgt iedereen de ruimte om te leren kan men daar goed over praten met elkaar van gemaakte fouten 38. Fouten maken mag in dit team 38. In ons team is niemand bang om fouten te maken 39. De teamleden letten erop dat iedereen 39. De teamleden letten erop dat iedereen voldoende aan bod komt voldoende aan bod komt 40. Natuurlijk gezag van teamleden staat los van functie en status 49

50 Communicatie 4. Iedereen brengt onder woorden waar het om gaat 5. Als het gesprek afdwaalt, roept iemand het team tot de orde 7. Verschil van inzicht binnen het team wordt grondig uitgepraat 37. Als er misverstanden dreigen te ontstaan, kan men daar goed over praten 26. Je krijgt in dit team adequate feedback waar je wat mee kan 33. Elkaar feedback geven wordt in dit team positief gewaardeerd 31. De teamleden luisteren goed naar elkaar De communicatievaardigheden in dit team zijn hoog De teamleden delen taakrelevante informatie openlijk met elkaar Er wordt op een directe en persoonlijke manier met elkaar gecommuniceerd 50

51 Bijlage 2: Resultaten van het gemodificeerde Teamkompas Tabellen van de studenten-steekproef Tabel 15 Correlaties tussen alle variabelen M S.D Focus Route ** - 3. Drive **.54** - 4. Verbondenheid **.70**.61** - 5. Communicatie **.66**.65**.72** - 6. Teamprestatie **.53**.44**.58**.53** - 7. TCI-visie **.34**.39**.40**.39**.44** - 8. TCI-veiligheid **.61**.49**.73**.70**.55**.52** - 9. TCI-taakorientatie *.24*.54**.37**.11.34** TCI-steun voor **.34**.29**.30**.53**.46**.31**.51**.69** - innovatie N = 86 ** p < 0.01 Variabelen 1 t/m 5 zijn gemeten op een schaal van 1-10, Variabele 7 is gemeten op een schaal van 1-7, Variabelen 6 en 9 t/m 10 zijn gemeten op een schaal van 1-5 Tabel 16 Interne consistentie van het gemodificeerde Teamkompas Dimensie Aantal items Cronbach s alpha Teamkompas - Focus Route Drive Verbondenheid

52 Tabel 17 Verklaarde variantie van het gemodificeerde Teamkompas Factor Eigenwaarde % van variantie Cumulatief % % 54.04% % 63.88% % 70.39% % 75.92% Tabel 18 Gestandaardiseerde regressiegewichten van de multipele regressieanalyse Beta s Teamprestatie Beta s Communicatie Beta s Cijfers Focus Route.16.24*.06 Drive.04.27**.24 Verbondenheid.39**.40** -.32 R 2 Adjusted.33**.58** -.10 F (df) (4, 76) (4, 78).27 (4, 29) N = 86 ** p < 0.01, * p <

53 Tabel 19 Regressieanalyse incrementele validiteit met communicatie en teamprestatie als uitkomst Communicatie Prestatie Model 1 Model 2 Model 1 Model 2 TCI Visie *.22 Veiligheid ** -.02 Taakoriëntatie Steun voor innovatie Teamkompas Focus Route Drive Verbondenheid.23.35* R 2 adj..57**.71**.35**.40** F(df) (4,76) (8, 72) (4, 74) 7.48 (8, 70) R F( R 2 )

54 Tabellen van de werkteam-steekproef Tabel 20 Intercorrelaties tussen de meegenomen variabelen M S.D Focus Route ** - 3. Drive **.67** - 4. Verbondenheid **.69**.60** - 5. Communicatie **.76**.67**.80** - 6. Teamprestatie **.45**.36**.35**.46** - 7. TCI-visie **.46**.44**.39**.43**.26** - 8. TCI-veiligheid **.65**.52**.66**.68**.44**.44** - 9. TCI-taakorientatie **.58**.51**.54**.63**.35**.45**.56** TCI-steun voor **.62**.51**.52**.61**.31**.32**.55**.65** - innovatie N = 225 ** p < 0.01 Variabelen 1 t/m 5 zijn gemeten op een schaal van 1-10, Variabele 7 is gemeten op een schaal van 1-7, Variabelen 6 en 9 t/m 10 zijn gemeten op een schaal van 1-5 Tabel 21 Interne consistentie van het gemodificeerde Teamkompas Dimensie Aantal items Cronbach s alpha Teamkompas - Focus Route Drive Verbondenheid

55 Tabel 22 Verklaarde variantie van het gemodificeerde Teamkompas Factor Eigenwaarde % van variantie Cumulatief % % % % % Tabel 23 Gestandaardiseerde regressiegewichten van de multipele regressieanalyse Beta s Teamprestatie Beta s Communicatie Focus Route.29**.29** Drive.06.17** Verbondenheid.02.48** R 2 Adjusted.20**.74** F (df) (4, 220) (4, 220) N = 220 ** p < 0.01, * p <

56 Tabel 24 Regressieanalyse incrementele validiteit met communicatie en teamprestatie als uitkomst Communicatie Prestatie Model 1 Model 2 Model 1 Model 2 TCI Visie Veiligheid Taakoriëntatie Steun voor innovatie Teamkompas Focus Route Drive Verbondenheid R 2 adj..58**.80**.20**.23** F(df) (4,220) (4, 216) (4, 220) 3.67 (4, 216) R F( R 2 )