Paper 4 Uitvoering onderzoek

Paper 4 Uitvoering onderzoek Auteur: Erik de Vries Gonggrijp Mei 2015 1

Inhoudsopgave 1. Samenvatting paper 1 blz. 2 2. Uitvoering van de interventie blz. 2 2a. Beschrijving van de uitvoering 2b. Analyse (en evaluatie) van de interventie (2c) Evaluatie van de interventie 3. Uitvoering van het onderzoek blz. 6 3a. Beschrijving dataverzameling 3b. Analyse (en evaluatie) van de dataverzameling (3c) Evaluatie van de dataverzameling Literatuur blz. 8 Bijlagen 1. Groepsrollen: mogelijke groepsrollen blz. 9 2. Teamcontract projectonderwijs blz. 10 3. Peer assessment blz. 11 4. Projectplanning (fasering) + begeleiding blz. 12 5. Schriftelijke enquête A blz. 14 2

1. Samenvatting paper 1 Het onderzoek richt zich op de wijze waarop het projectonderwijs binnen de opleiding Marketing & Communicatie van het Horizon College verbeterd kan worden qua begeleiding/begeleidingsstructuur, werkwijze en beoordelingswijze, zodat de tevredenheid van de leerlingen en het rendement van het projectonderwijs toenemen.. Door de begeleidingsstructuur van het projectonderwijs vorm te geven op de wijze van Van Holten en Van Vliet (2009), te werken met kleine groepjes van maximaal drie leerlingen (Karau & Williams, 1993), waarbij ieder van de leerlingen een vaste rol heeft (Johnson & Johnson, 1999; 2009) en de projectgroep deelnemers hun mede projectgroepsleden beoordelen zoals beschreven door Milius, Oost en Holleman (2001), Leenknecht (2011) en Liu & Carless (2006), verwacht ik dat het rendement van het projectonderwijs en de tevredenheid van de leerlingen van de opleiding Marketing & Communicatie over het projectonderwijs significant toenemen. 2. Uitvoering van de interventie De interventie is uitgevoerd bij één van de drie derde klassen van de opleiding Marketing & Communicatie van het Horizon College, klas MC3C. 2.a. Beschrijving van de uitvoering Bij de interventiegroep werd aan het project gewerkt volgens de door Van Holten en Van Vliet (2009) ontworpen en beschreven begeleidingsstructuur, met per fase een product, zoals een projectplan, een presentatie, etc. Het project startte met een kick-off bijeenkomst waar de werkwijze van het project werd toegelicht, qua product en proces (begeleidingswijze, projectgroepen van drie leerlingen, projectrollen, teamcontract en peer assessment, vergaderstructuur). Na de presentatie van de projectopdracht zijn de projectgroepen samengesteld. Leerlingen konden zelf aangeven met wie ze wilden samenwerken en verdeelden de rollen onderling. De leerlingen kregen rollen als voorzitter, notulist en woordvoerder/lid. De leerlingen verkenden daarna de projectopdracht en maakten een eerste aanzet voor een plan van aanpak. De leerlingen stelden vervolgens de regels voor samenwerking vast in de vorm van een teamcontract (zie bijlage 2). Ze presenteerden kort hun projectaanpak, de stappen die ze dachten te nemen om tot het eindproduct te komen en hoe de verdeling van de werkzaamheden was. Week 2: Plan van aanpak De teamcontracten werden met de projectgroepen besproken. Duidelijk was dat de afspraken bindend waren en dat de mede projectgroepsleden en de projectbegeleider hen hierop kon aanspreken. De leerlingen kregen verder een instructie over het plan van aanpak. Week 3: Go/no go plan van aanpak De projectgroepen bespraken hun plan van aanpak met de projectbegeleider. De projectgroepen werkten aan hun taken, werden daarbij begeleid door de projectbegeleider en hadden de gelegenheid om te vergaderen. 3

Week 4: werken aan het project De projectbegeleider besprak de voortgang met de projectgroepen en controleerde tevens of de projectgroepen zich hielden aan de rolverdeling en de afspraken over vergaderen. Hij vroeg ook naar de samenwerking en gaf advies en feedback. Week 5: peer assessment + tussentijdse presentatie De projectgroepsleden beoordeelden elkaar op het proces (zie bijlage 3). Iedere leerling beoordeelde de twee andere leden van zijn projectgroep. Het ging om een formatief, tussentijds peer assessment. De verschillende projectgroepen verzorgden een tussenpresentatie. Deze tussenpresentatie maakte het mogelijk om inzichtelijk te krijgen in de vorderingen van het project. Week 6: tussentijdse presentatie en bespreking peer assessment. Deze week gaf de projectbegeleider feedback op het peer assessment van vorige week, op de beoordeling van het proces en gedragselementen zoals hierboven beschreven. Week 7: werken aan het project De projectgroepen werkten zelfstandig aan het project. De begeleider begeleidde de projectgroepen en gaf gelegenheid voor consultatie. Week 8: afronding project Week 8 was de laatste week dat de projectgroepen konden werken aan het project. Week 9: peer assessment Deze week beoordeelden de projectgroepsleden elkaar voor de tweede keer. Deze eind (peer)beoordeling van het proces telde mee voor het eindcijfer: 25% van het eindcijfer kwam tot stand via peer assessment van het proces, de overige 75% werd bepaald door de docent en was een beoordeling van de kwaliteit van het product (50%) en de presentatie (25%). Week 10: Presentatie project + schriftelijke enquête Aan het eind van het project vulden de leerlingen, na een korte instructie, een schriftelijke enquête in om het effect van mijn interventies te meten (zie bijlage 5). De projectgroepen verzorgden een presentatie van hun project. Voor de planning van het project per week verwijs ik naar bijlage 4. 4

2b. Analyse (en evaluatie) van de interventie Wat is er terecht gekomen van de geplande interventies? Wat is goed verlopen en wat minder? 2b.1. Begeleidingsstructuur De begeleidingsstructuur zoals ontworpen door Van Holten en Van Vliet (2009) werkte goed. Dat er per fase van het project een product werd gevraagd, gaf de leerlingen de juiste richting en houvast. Wat niet goed werkte, was de vergaderstructuur die ook onderdeel uitmaakt van de begeleidingsstructuur van Van Holten en Van Vliet (2009). De leerlingen overlegden wel, maar zijn niet gewend om dit gestructureerd te doen, inclusief notulen. Daar komt bij dat ik zelf ook te weinig sturing heb gegeven aan het vergaderen door de verschillende projectgroepen. Het zou beter zijn om in het vervolg afspraken te maken over facultatieve en verplichte vergaderingen, waarbij de leerlingen periodiek (wekelijks) verplicht notulen maken en naar de projectbegeleider opsturen. Ook zou het goed zijn om bij toerbeurt vergaderingen van projectgroepen bij te wonen. 2b.2. Drie leerlingen per projectgroep Het werken met drie leerlingen per projectgroep is goed bevallen. Uit de enquête en gesprekken met leerlingen bleek dat leerlingen het prettig vonden om in kleine groepjes te werken. 2b.3. Rollen voor de projectgroepsleden Het wisselen van de rollen van de projectgroepsleden werkte in de meeste gevallen niet: leerlingen bleven vasthouden aan de aangenomen rol, soms omdat iemand nou eenmaal goed is in het leiding geven aan de groep, zoals een leerling het verwoordde. Dit komt waarschijnlijk omdat leerlingen het werken met rollen helemaal niet gewend zijn. Een andere oorzaak was gelegen in mijn begeleiding: ik heb te weinig sturing gegeven aan het werken met de verschillende rollen en ook te weinig gestuurd waar het ging om het wisselen van de rollen. Het zou in het vervolg goed zijn het werken met rollen en het tussentijds wisselen verplicht te stellen en de leerlingen te laten reflecteren op de wijze waarop ze de rollen ervaren hebben. Bovendien zou een schema met wie wanneer welke rol moet vervullen uitkomst kunnen bieden. 2b.4. Peer assessment Uit de uitkomsten van het peer assessment (zie ook bijlage 3) blijkt dat leerlingen elkaar naarmate het project vorderde (bij de eindbeoordeling) kritischer durfden te beoordelen dan bij de start van het project. Wel is het zo dat het peer assessment (zoals gepland) enkel bestond uit het twee keer invullen van een beoordelingsformulier. De leerlingen hebben het werk van hun mede projectgroepsleden niet inhoudelijk beoordeeld. De beoordeling bleef beperkt tot het proces. Het zou interessant geweest zijn als ook de inhoudelijke kant van het werk was beoordeeld door de mede projectgroepsleden. Het peer assessment was onderdeel van de beoordeling van de leerlingen (25% eindcijfer), maar vooraf had ik niet goed nagedacht over de wijze waarop ik dit in een cijfer zou vertalen. Uiteindelijk heb ik tijdens het project een beoordeling toegepast die gebaseerd was op: helemaal oneens (2 punten), oneens (4 punten) neutraal (6 punten), eens (8 punten) en helemaal eens (10 punten). Dit is een wijze van becijferen die nogal arbitrair is en wellicht de totale beoordeling heeft beïnvloed. Het was wellicht beter 5

geweest de samenwerking met één (heel) cijfer te laten beoordelen door de leerlingen. In ieder geval moet vooraf helder zijn hoe de beoordeling tot stand komt. 2b.5. Groepscontract Alle groepen hebben een groepscontract ingevuld (voor inhoud: zie bijlage 2). Het invullen werd serieus gedaan, echter, in de loop van de interventie ben ik niet, of slechts sporadisch, inhoudelijk ingegaan op de gemaakte afspraken. Daarmee is deze interventie feitelijk niet echt uit de verf gekomen. Ik denk toch dat een groepscontract een positieve invloed kan hebben op de samenwerking van leerlingen in een projectgroep. Misschien dat het wel verstandig is om bepaalde afspraken SMART te laten formuleren, zodat ze beter meetbaar zijn. Bijvoorbeeld: bij een afwezigheid bij meer dan 20% van de lessen, volgt verwijdering uit de projectgroep en dient student X het project te herkansen. Conclusie: De interventie is, ondanks het niet geheel volgens plan verlopen van deelinterventies, overwegend goed verlopen. Wel houd ik in mijn achterhoofd dat de grote aandacht die ik had voor de interventiegroep, resulterend in veel instructie, feedback en gesprekken met leerlingen, op zichzelf ook al een positief effect zal hebben gehad op het verloop van het project en de kwaliteit van het eindproduct. Ik neem deze observatie mee in de verwerking van de resultaten. 6

3. Uitvoering van het onderzoek 3a. Beschrijving dataverzameling De data voor het onderzoek zijn verzameld via een peer assessment (zie bijlage 3), een schriftelijke enquête (zie bijlage 5) en de beoordeling van de werkstukken en presentaties. Het peer assessment is meegeteld in de beoordeling van het project en heeft daarmee invloed gehad op het rendementscijfer, evenals de beoordeling van de werkstukken en de presentaties. De schriftelijke enquête aan het eind van het project heeft inzicht gegeven in de waardering van de interventies en de beoordeling van de begeleiding (weergegeven in een cijfer). Het peer assessment en de schriftelijke enquête maakten beiden gebruik van een Likertschaal (helemaal oneens, oneens, neutraal, eens, helemaal eens). Beiden zijn afgenomen bij 25 respondenten, de leerlingen van klas MC3C. Het invullen vond plaats in de klas, tussentijds (formatieve peer assessment) en aan het eind van het project (summatief peer assessment en enquête week 9 en 10, zie ook bijlagen 3,4 en 5). Het peer assessment en de vragen van de enquête zijn vooraf toegelicht door de projectbegeleider. 3b. Analyse (en evaluatie) van de dataverzameling Hieronder analyseer ik de wijze waarop de tevredenheid en waardering van de interventies is gemeten via de schriftelijke enquête en de wijze waarop het rendement is gemeten aan de hand van het peer assessment en de beoordeling van het werkstuk en de presentaties. 3b.1 Tevredenheid en waardering interventies: schriftelijke enquête Het invullen van de enquête leverde de leerlingen, na toelichting weinig problemen op. Wel is het zo dat leerlingen het soms moeilijk vonden een keuze te maken tussen helemaal oneens en oneens, of eens en helemaal eens: wanneer ben je het ergens helemaal mee oneens of oneens? Dat onderscheid, bleek bij navraag, was voor leerlingen soms niet makkelijk te maken. Wellicht had het handiger geweest om een andere schaal te gebruiken, bijvoorbeeld een driepuntsschaal, maar een dergelijke schaalverdeling geeft veel minder nuancering. Een ander fenomeen dat zich voordeed, was de keuze voor neutraal als leerlingen het niet zo goed wisten: de neiging was in sommige gevallen, als enige twijfel mogelijk was, te vluchten in het antwoord neutraal. Bovenstaande heeft de uitkomsten van het onderzoek beïnvloed. Ik ben mij er van bewust dat de beantwoording van de enquête is beïnvloed doordat leerlingen met elkaar konden overleggen. Sommige leerlingen hebben zich laten leiden door de mening van hun medeleerlingen. Daarmee is de uitkomst van de enquête minder zuiver dan wanneer de leerlingen de enquête individueel hadden ingevuld. Een individueel afgenomen enquête had uitkomst kunnen bieden. 7

3b.2. Rendement: peer assessment en beoordeling docent Het rendement van het project heb ik gemeten aan de hand van het gemiddelde eindcijfer van het project van de interventiegroep: 25% van het eindcijfer werd bepaald door het peer assessment (leerlingen), 50% door de beoordeling van het werkstuk (docent) en 25% door de beoordeling van de presentatie (docent). Het cijfer voor het peer assessment is arbitrair: zoals beschreven in de analyse van de interventie heb ik pas tijdens het project cijfers toegekend aan het peer assessment. Helemaal oneens leverde 2 punten op, oneens 4 punten, neutraal 6 punten, eens 8 punten en helemaal eens 10 punten. Dat leverde voor 10 stellingen maximaal 100 punten op (=10). Het aantal behaalde punten deelde ik dus door 10 waardoor ik een eindcijfer kreeg. Na doorrekening van alle cijfers en vergelijking van de eindcijfers met die van de twee andere klassen (MC3A en MC3B) die het project deden, blijkt dat de invloed van het peer assessment cijfer niet zo groot is: het scheelt tienden vergeleken met een berekening zonder peer assessment, volgens de methode die ik bij de andere twee klassen hanteerde (50% werkstuk, 50% presentatie). Het is dus belangrijk om vooraf goed na te denken over het gewicht van de verschillende beoordelingsinstrumenten. Het feit dat ik dit vooraf onvoldoende heb gedaan, heeft ongetwijfeld invloed gehad op de uitkomsten. Wel denk ik dat de gekozen methode een goede methode is om het rendement van het project te meten. Wat het minder zuiver maakte in dit geval, is dat ik zelf het project en de beoordeelde. Het was beter geweest als een neutrale collega dat had gedaan. Welke invloed dit op de eindcijfers heeft gehad is mij niet duidelijk. Echter, de neiging kan bestaan, ondanks alle goede bedoelingen, om het werk van de interventiegroep positiever te beoordelen. Met deze invloed moet bij de uitkomsten van het onderzoek rekening gehouden worden. 8

Literatuur Holten, M. van, & Vliet, R. van (2009). Projectonderwijs in het hbo. De docent als projectontwikkelaar en projectbegeleider. Houten: Bohn Stafleu van Loghum Johnson, D.W., & Johnson R.T. (1999) Making Cooperative Learning Work. Theory into practice, 38 (2), 67-73. Johnson, D.W., & Johnson R.T. (2009) An Educational Psychology Success Story: Social Interdependence Theory and Cooperative Learning. Educational researchers, 38, 365 379. Karau, S. J., & Williams, K. D. (1993). Social loathing: A meta-analytic review and theoretical integration. Journal of Personality and Social Psychology, 65, 681 706. Leenknecht, M. J. M., & Tillema, H. H. (2010). Formative assessment in vocational education: Student involvement in monitoring progress in their learning. Progress in Education 22, 101-125. Liden, R. C., Wayne, S. J., Jaworski, R. A., & Bennett, N. (2004). Social loathing: A field investigation. Journal of Management, 30 (2), 285-304. Liu, N. F. & Carless, D. (2006) Peer feedback: the learning element of peer assessment, Teaching in Higher Education, 11(3), 279-290. Milius, J., Oost, H. & Holleman, W. (2001). Werken aan academische vorming: ideeën voor actief leren in de onderwijspraktijk. Utrecht: IVLOS. Literatuur bijlagen: Barkley, E.F., Cross, K.P., & Major, C.H. (2005). Collaborative learning techniques. San Francisco: Jossey-Bass. Johnson, D. W., Johnson, R. T., & Smith, K. (1991). Cooperative learning: Increasing college faculty instructional productivity, Higher Education Report 4. Washington, DC: The George Washington University, School of Education and Human Development. Millis, B. J., and Cottell, P. G., Jr. (1998). Cooperative learning for higher education faculty. American Council on Education, Series on Higher Education. Phoenix, AZ: The Oryx Press. Smith, K. A. (1996). Cooperative Learning: Making 'Group work' Work. In T.E. Sutherland & C.C. Bonwell,(Eds.), Using active learning in college classes: A range of options for faculty, New Directions for Teaching and Learning 67. San Francisco: Jossey Bass. Watson, W.E. & Michaelsen, L.K. (1988). Group interaction behaviors that affect performance on an intellective task. Group and Organizational Studies, 13 (4), 495-516. 9

Bijlagen 1. Groepsrollen: mogelijke groepsrollen Projectgroepen functioneren vaak het beste wanneer de leden bepaalde rollen hebben. Deze rollen kunnen worden bepaald door de docent/instructeur of door de groepsleden zelf. De rollen die je kiest hangen af van de doelstelling van de opdracht, de grootte van het team, etc. Ze kunnen vast zijn of wisselend. Hier zijn wat mogelijke groepsrollen. De groepsrollen die niet gebruikt worden voor het onderzoek staan cursief gedrukt: Voorzitter: leidt de teamdiscussie, zorgt dat de taak wordt uitgevoerd en verdeelt het werk. Notulist: maakt aantekeningen van groepsdiscussies en besluiten en houdt alle noodzakelijke bestanden bij. Woordvoerder: voert het woord richting de groep of de begeleidende docent/instructeur over de groepsactiviteiten en conclusies Tijdwaarnemer: zorgt ervoor dat de groep zich bewust is van tijdslimieten en deadlines en zorgt ervoor dat vergaderingen op tijd beginnen. Advocaat van de duivel: komt met tegenargumenten en (constructieve) bezwaren, introduceert alternatieve oplossingen. Diplomaat: streeft naar het creëren van een harmonieuze en positieve groepssfeer en zorgt voor consensus (overeenstemming) binnen de groep. Onderzoeker: probeert nieuwe mogelijkheden te ontdekken bij groepsleden en voor het project en onderzoekt deze. Vernieuwer:komt met vernieuwende ideeën en moedigt dit bij de teamleden aan. Draagt bij aan het project met nieuwe en alternatieve ideeën. Deze rollen zijn overgenomen uit:barkley, E.F., Cross, K.P., & Major, C.H. (2005). Collaborative learning techniques. San Francisco: Jossey-Bass. Johnson, D. W., Johnson, R. T., & Smith, K. (1991). Cooperative learning: Increasing college faculty instructional productivity, Higher Education Report 4. Washington, DC: The George Washington University, School of Education and Human Development. Millis, B. J., and Cottell, P. G., Jr. (1998). Cooperative learning for higher education faculty. American Council on Education, Series on Higher Education. Phoenix, AZ: The Oryx Press. Smith, K. A. (1996). Cooperative Learning: Making 'Group work' Work. In T.E. Sutherland & C.C. Bonwell,(Eds.), Using active learning in college classes: A range of options for faculty, New Directions for Teaching and Learning 67. San Francisco: Jossey Bass. 10

2. Teamcontract projectonderwijs Groepsnaam: DOELSTELLINGEN: wat zijn de doelstellingen van onze groep voor dit project? Wat willen we bereiken. Welke vaardigheden willen we ontwikkelen of verbeteren? VERWACHTINGEN: wat verwachten we van elkaar betreffende het volgen en bijwonen van de lessen, vergaderingen, deelname aan het project, de communicatie en de kwaliteit van het werk? REGELS EN PROCEDURES: welke regels spreken we met elkaar af om onze doelstellingen en verwachtingen te kunnen bereiken? CONSEQUENTIES: Hoe gaan we om met onvoldoende presteren met betrekking tot de doelen die we stellen, de verwachtingen en de regels en procedures die we stellen? Wij delen deze doelstellingen en verwachtingen en zijn het eens over de regels/ procedures en de consequenties bij het niet voldoen aan de verwachtingen. Alkmaar,.201. Naam en handtekening groepslid Naam en handtekening groepslid Naam en handtekening groepslid Naam en handtekening groepslid 11

3. Peer assessment Zet een kruisje neer in het vakje dat het meest overeenkomt met hoe de bewering jouw groep beschrijft. Helemaal oneens Oneens neutraal Eens Helemaal eens 1. Leerling X is steeds aanwezig tijdens de projecturen. 2. Leerling X komt zijn afspraken na. 3. Leerling X is steeds op tijd klaar met zijn opdrachten. 4. Leerling X levert voldoende bijdrage aan het project. 5. Leerling X durft feedback te geven aan anderen binnen de groep. 6. Leerling X delegeert niet alleen taken, maar neemt op taken op zich. 7. Leerling X werkt op een aangename manier met de rest van de groep samen. 8. Leerling X tracht conflicten op te lossen en te vermijden. 9. Leerling X probeert steeds andere leerlingen binnen zijn team te motiveren. 10. Leerling X staat open voor feedback en commentaar van anderen. Overgenomen uit Van den Berg et al.(2006). Evalueren van projectwerk. Het leeronderzoek onder de loep (pp. 141-142). Antwerpen: Universiteit Antwerpen 12

4. Projectplanning (fasering) + begeleiding Voor projecthandleiding: zie pdf materiaal (separaat): 1. projectboek (leerlingen) 2. begeleidingshandleiding (docent) 3. docent bijlagen 4. leerling bijlagen 5. projectplanning (fasering) + begeleiding Week Onderwerp Taak Begeleiding 1 Kick-off bijeenkomst Presentatie van de projectopdracht door de projectbegeleider. presentatie Vaststellen projectgroepen (drie leerlingen per groep). Presentatie teamrollen Verkennen van de projectopdracht door de projectgroepen. Geen begeleiding Vaststellen van de regels voor samenwerking (teamcontract) Uitleg teamcontract Presentatie plannen door leerlingen feedback 2 Plan van aanpak + peer assessment Presentatie plannen door leerlingen feedback Inleveren teamcontract Bespreking met projectgroepen Advies Presentatie peer assessment Projectbegeleider presenteert het begrip peer assessment en licht toe wat er van de leerlingen gevraagd wordt op dit gebied tijdens het project. Plan van aanpak Presentatie vorm plan van aanpak door de projectbegeleider. 13

Werken aan plan van aanpak Begeleiding 3 Go/no go plan van aanpak Bespreking met projectbegeleider Advies/ go of no go. Werken aan taken/producten Feedback/advies + begeleiding 4 Werken aan het project. Werken aan taken/producten Feedback/advies + begeleiding 5 Peer assessment 1, assessment groepsproces 1 en tussentijdse presentaties deel 1 Leerlingen beoordelen elkaar en het groepsproces. Tussentijdse presentaties door helft van de projectgroepen: presentatie stand van zaken (10 minuten per projectgroep) Instructie over peer assessment Feedback Werken aan taken Geen begeleiding 6 Tussentijdse presentatie en bespreking peer feedback Presenteren stand van zaken (10 minuten per groep) Feedback 7 Werken aan het project Werken aan taken Begeleiding Consultatie projectbegeleider door projectgroepen op basis van vrijwilligheid Advies en feedback 8 Afronding project: deadline project Werken aan taken Begeleiding 9 Presentatie project + peer assessment + assessment van het groepsproces 2 Per groep presentatie projectverslag Individueel beoordelen prestaties peers + groepsproces Beoordeling docent Toelichting peer assessment en assessment groepsproces Invullen vragenlijst idem 10 Presentatie project + schriftelijke enquête Per groep presentatie projectverslag Beoordeling docent Invullen vragenlijst Uitleg vragenlijst 14

5. Schriftelijke enquête A: groep met interventie MC3C Helemaal oneens Oneens neutraal Eens Helemaal eens Begeleiding project De begeleiding van het project heeft een positieve invloed gehad op de kwaliteit van het eindproduct. De begeleiding van het project heeft een positieve invloed gehad op de beoordeling van het eindproduct. Ik beoordeel de begeleiding van het project met het cijfer (hele cijfers) Fases project Het werken met een product per fase heeft een positieve invloed gehad op de kwaliteit van het eindproduct. Het werken met een product per fase heeft een positieve invloed gehad op de beoordeling van het eindproduct. Teamcontract Het teamcontract heeft een positieve bijdrage geleverd aan de samenwerking binnen de projectgroep. Het teamcontract heeft een positieve bijdrage geleverd aan de kwaliteit van het eindproduct. Het teamcontract heeft een positieve bijdrage geleverd aan de beoordeling van het eindproduct. Teamrollen Het werken met teamrollen had een positieve invloed op de samenwerking binnen de projectgroep. Het werken met teamrollen had een positieve invloed op de kwaliteit van het eindproduct. Het werken met teamrollen had een positieve invloed op de beoordeling van het eindproduct. Groepsgrootte De groepsgrootte heeft een positieve invloed gehad op de samenwerking binnen de projectgroep. De groepsgrootte heeft een positieve invloed gehad op de kwaliteit van het eindproduct. De groepsgrootte heeft een positieve invloed gehad op de beoordeling van het eindproduct. Beoordeling De beoordeling door de andere projectgroepsleden heeft een positieve invloed gehad op de kwaliteit van het eindproduct. De beoordeling door de andere projectgroepsleden heeft een positieve invloed gehad op de beoordeling van het eindproduct. 15