Paper 3 Onderzoeksinstrumenten

Transcriptie

1 Paper 3 Onderzoeksinstrumenten Auteur: Erik de Vries Gonggrijp September/oktober

2 Inhoudsopgave 1: samenvatting paper 1 blz. 22 2: beschrijving van de onderzoeksmethode blz. 22 Literatuur blz. 28 Bijlagen 3.1. Schriftelijke enquête A blz Schriftelijke enquête B blz. 30 2

3 1. Samenvatting paper 1 Het onderzoek richt zich op de wijze waarop het projectonderwijs binnen de opleiding Marketing & Communicatie van het Horizon College verbeterd kan worden qua begeleiding/begeleidingsstructuur, werkwijze en beoordelingswijze, zodat de tevredenheid van de leerlingen en het rendement van het projectonderwijs toenemen.. Door de begeleidingsstructuur van het projectonderwijs vorm te geven op de wijze van Van Holten en Van Vliet (2009), te werken met kleine groepjes van maximaal drie leerlingen (Karau & Williams, 1993), waarbij ieder van de leerlingen een vaste rol heeft (Johnson & Johnson, 1999; 2009) en de projectgroep deelnemers hun mede projectgroepsleden beoordelen zoals beschreven door Milius, Oost en Holleman (2001), Leenknecht (2011) en Liu & Carless (2006), verwacht ik dat het rendement van het projectonderwijs en de tevredenheid van de leerlingen van de opleiding Marketing & Communicatie over het projectonderwijs significant toenemen. Het onderzoeksontwerp wordt geëvalueerd door middel van een schriftelijke enquête waarin de leerlingen bevraagd worden over de begeleiding/begeleidingsstructuur (begeleiding en fasering van het project), de werkwijze (groepsgrootte, groepsrollen) en de beoordelingswijze (peer assessment). 2. Beschrijving van de onderzoeksmethode 2.1. Onderzoeksvragen Met het onderzoek wil ik antwoord vinden op de volgende onderzoeksvragen: 1. Wat is het effect van het invullen van een teamcontract op de samenwerking binnen de projectgroep, de kwaliteit en de beoordeling van het eindproduct? 2. Wat is het effect van het werken met een groep van drie leerlingen op de samenwerking binnen de projectgroep, de kwaliteit en de beoordeling van het eindproduct? 3. Wat is het effect van het werken met teamrollen op de samenwerking binnen de projectgroep? 4. Wat is het effect van het werken met peer assessment op de beoordeling van het eindproduct? 5. Wat is het effect van de gehanteerde begeleidingsstructuur op de tevredenheid van de projectgroepsleden over de begeleiding en de kwaliteit en de beoordeling van het eindproduct? 6. Wat is het effect van een duidelijke fasering, inclusief product per fase op de kwaliteit en de beoordeling van het eindproduct? 7. Wat is het effect van de gehanteerde werkwijze op de tevredenheid/de waardering van de projectdeelnemers voor het projectonderwijs? 3

4 2.2. Onderzoeksontwerp Onderzoeksvraag Antwoord? 1. Wat is het effect van het invullen van een teamcontract op de samenwerking binnen de projectgroep, de kwaliteit en de beoordeling van het eindproduct? 2. Wat is het effect van het werken met een groep van drie leerlingen op de samenwerking binnen de projectgroep, de kwaliteit en de beoordeling van het eindproduct? 3. Wat is het effect van het werken met teamrollen op de samenwerking binnen de projectgroep? op de samenwerking binnen de projectgroep, de kwaliteit en de beoordeling van het eindproduct? Het antwoord op deze vraag komt tot stand door een schriftelijke enquête in te laten vullen aan het eind van het project. Het antwoord op de vraag wat het effect is van het invullen van een teamcontract/werken met een groep van drie leerlingen en het werken met teamrollen op de samenwerking wordt beantwoord door wat de leerlingen invullen bij deze vraag van de enquête. Het effect van het invullen van een teamcontract/werken met een groep van drie leerlingen en het werken met teamrollen op de kwaliteit van het eindproduct en de beoordeling van het eindproduct haal ik eveneens uit de enquête. Ik wil echter de beleefde kwaliteit en beoordeling van het eindproduct vergelijken met de (werkelijke) cijfers die leerlingen hebben behaald voor het Je kunt in principe stellen dat hoe hoger de uiteindelijke waardering voor het eindproduct is (exclusief de peer beoordeling van het proces!), des te beter de kwaliteit van dat Daarom is het ook interessant om de beoordelingen van de eindproducten van de interventiegroep te vergelijken met de beoordelingen van de eindproducten van de controlegroepen. Daarmee kan objectief beoordeeld worden of de kwaliteit en de beoordeling van de producten van de interventiegroep hoger liggen dan die van de controlegroepen. De vraag is dan nog of dit te verklaren is door het teamcontract en/of werken met een groep van drie leerlingen en/of het werken met teamrollen: tenslotte wordt er bij de interventiegroep gewerkt met meerdere interventies zoals het teamcontract, kleine groepen en teamrollen. Het zal lastig zijn te bepalen aan welk van de interventies het mogelijke verschil in kwaliteit en beoordeling tussen de interventiegroep en de controlegroepen te danken is. 4

5 4. Wat is het effect van het werken met peer assessment op de kwaliteit en beoordeling van het eindproduct? Het antwoord op deze vraag komt tot stand door een schriftelijke enquête in te laten vullen aan het eind van het project. Peer assessment wordt toegepast tijdens het project. het formulier voor de beoordeling van peers wordt slechts in het project gebruikt, het formulier voor assessment van het groepsproces wordt in het project gebruikt maar ook als instrument om de invloed van peer assessment te meten. Uit het formulier voor assessment van het groepsproces is informatie te halen over de samenwerking en de kwaliteit van het Daarnaast geeft het informatie over de beleving van de rollen die de projectgroepsleden hebben, wat ook onderdeel uitmaakt van het onderzoek. 5. Wat is het effect van de gehanteerde begeleidingsstructuur op de kwaliteit en de beoordeling van het eindproduct? Het antwoord op deze vraag komt tot stand door een schriftelijke enquête in te laten vullen aan het eind van het project. 6. Wat is het effect van een duidelijke fasering, inclusief product per fase op de kwaliteit en de beoordeling van het eindproduct? 7.Wat is het effect van de gehanteerde werkwijze op de tevredenheid/de waardering van de projectdeelnemers voor het projectonderwijs Het antwoord op deze vraag komt tot stand door een vraag op te nemen in de enquête over de tevredenheid van de leerlingen over de begeleiding van het project. Deze vraag wordt zowel aan de interventiegroep als de controlegroepen gesteld. De uitkomsten van beide typen groepen kan met elkaar vergeleken worden. De verwachting is dat de tevredenheid van projectgroepsleden van de interventiegroep groter is dan die van de controlegroepen. 5

6 2.3. Onderzoeksinstrumenten en verantwoording Als onderzoeksinstrument naar de uitkomsten van de interventie gebruik ik een schriftelijke enquête. Deze schriftelijke enquête verschilt qua vraagstelling/vraag categorieën tussen de groep waar de interventie plaatsvindt en de overige twee groepen die volgens de traditionele projectmethode werken. Zie ook bijlage 3.1. en 3.2. De vragen kunnen worden beantwoord met: helemaal oneens, oneens, neutraal, eens en helemaal eens. Deze vijf puntenschaal biedt de leerlingen de mogelijkheid om hun antwoorden te nuanceren. Hun tevredenheid over de begeleiding van het project kunnen de projectgroepsleden uitdrukken in een cijfer (heel getal). De invloed van het teamcontract, de teamrollen en peer assessment kunnen alleen gemeten worden bij de interventiegroep. De verwachting is dat deze zaken een positieve bijdrage leveren aan het project en de tevredenheid van de leerlingen. De afhankelijke variabelen/interventie-uitkomsten van mijn onderzoek zijn: De samenwerking binnen de projectgroep: uit mijn interventie moet blijken welke invloed een teamcontract, werken met een kleine groep (max. 3 leerlingen) en teamrollen hebben op de samenwerking binnen de groep. Ik ga ervan uit dat de samenwerking binnen de projectgroep verbetert onder invloed van de genoemde onafhankelijke variabelen. De kwaliteit van het eindproduct: uit mijn interventie moet blijken welke invloed een teamcontract, werken met een kleine groep (max. 3 leerlingen), teamrollen en de gehanteerde begeleidingsstructuur hebben op de kwaliteit van het Ik ga ervan uit dat de kwaliteit van het eindproduct verbetert onder invloed van de genoemde onafhankelijke variabelen. Het resultaat (de beoordeling) van het eindproduct: uit mijn interventie moet blijken welke invloed een teamcontract, werken met een kleine groep (max. 3 leerlingen), teamrollen, peer assessment, de gehanteerde begeleidingsstructuur en een duidelijke fasering van het project hebben op het resultaat (de beoordeling) van het Ik ga ervan uit dat het resultaat/de beoordeling van het eindproduct verbetert/positief beïnvloed wordt door de genoemde onafhankelijke variabelen. Een schriftelijke enquête onder alle leerlingen die aan het project deelnemen (zowel de interventiegroep als de controlegroepen) geeft inzicht in de verschillen die optreden qua beleving van de samenwerking, kwaliteit van het eindproduct en resultaat/beoordeling van het eindproduct tussen de leerlingen van de klas waarbij de interventies plaatsvinden en de klassen waarbij dit niet gebeurt. De algehele tevredenheid van de leerlingen over het project kan eveneens gemeten worden via de enquête. De leerlingen kunnen in een cijfer uitdrukken hoe tevreden ze zijn over de begeleiding van het project. Dit geldt voor zowel de interventiegroep als voor de controlegroepen Onderzoeksgroep Het onderzoek wordt gehouden onder alle leerlingen van de klassen MC3A, MC3B en MC3C van de opleiding Marketing & Communicatie van het Horizon College. De interventies worden uitsluitend uitgevoerd bij klas MC3C. De twee andere derde klassen dienen als controlegroepen. Zij (MC3A en MC3B) werken volgens de traditionele projectmethode. 6

7 Bij al deze klassen wordt aan het eind van het project de schriftelijke enquête gehouden. De vragenlijst verschilt echter bij de klas waarbij de beschreven interventies worden toegepast (MC3C) van de vragenlijst die uitgezet wordt bij de twee andere klassen (MC3A en MC3B). Immers, alleen bij klas MC3C vinden de interventies plaats. De overige twee klassen werken volgens de traditionele projectmethode Procedure Ik verzamel de data die ik nodig heb aan het eind van het project. Dan laat ik alle projectgroepsleden, van alle drie de derde klassen, een enquête invullen. De data die ik door middel van deze enquête verzamel geven mij onder andere inzicht in de samenwerking binnen de projectgroep, de beoordeling van de kwaliteit van het geleverde werk en de beoordeling van het Voor de enquête verwijs ik naar bijlage 3.1. en Data-analyse in totaal worden er tijdens de interventie twee meetinstrumenten gebruikt: een schriftelijke enquête, in twee versies (A en B, zie bijlage 3.1. en 3.2.) en twee keer een assessment van het groepsproces. Beide instrumenten werk ik uit per vraag en scoor ik in Excel. Aan de hand van de uitkomsten maak ik per vraag een (staaf)diagram en/of cirkeldiagram en een totaal overzicht per vraag, dat wil zeggen dat ik de totaalscores per enquêtevraag, per instrument aangeef. Dus: per instrument maak ik een totaaloverzicht van alle antwoorden die de respondenten hebben gegeven op de gestelde vragen. Daarnaast maak ik per vraag de uitkomst inzichtelijk door middel van een diagram. Aan de hand van de uitkomsten zal ik conclusies trekken over de verschillende items van de vragenlijsten. Zie het variabelenschema op bladzijde 27. 7

8 Variabelenschema Rendement en tevredenheid project Begeleiding project Fasering project Teamcontract Teamrollen De begeleiding van het project heeft een positieve invloed gehad op de kwaliteit van het De begeleiding van het project heeft een positieve invloed gehad op de beoordeling van het Ik beoordeel de begeleiding van het project met het cijfer (hele cijfers) Het werken met een product per fase heeft een positieve invloed gehad op de kwaliteit van het Het werken met een product per fase heeft een positieve invloed gehad op de beoordeling van het bijdrage geleverd aan de samenwerking bijdrage geleverd aan de kwaliteit van het bijdrage geleverd aan de beoordeling van het Groepsgrootte Beoordeling positieve invloed op de samenwerking positieve invloed op de kwaliteit van het positieve invloed op de beoordeling van het invloed gehad op de samenwerking invloed gehad op de kwaliteit van het invloed gehad op de beoordeling van het De beoordeling door de andere projectgroepsleden heeft een positieve invloed gehad op de kwaliteit van het De beoordeling door de andere projectgroepsleden heeft een positieve invloed gehad op de beoordeling van het 8

9 Literatuur Holten, M. van, & Vliet, R. van (2009). Projectonderwijs in het hbo. De docent als projectontwikkelaar en projectbegeleider. Houten: Bohn Stafleu van Loghum Johnson, D.W., & Johnson R.T. (1999) Making Cooperative Learning Work. Theory into practice, 38 (2), Johnson, D.W., & Johnson R.T. (2009) An Educational Psychology Success Story: Social Interdependence Theory and Cooperative Learning. Educational researchers, 38, Karau, S. J., & Williams, K. D. (1993). Social loathing: A meta-analytic review and theoretical integration. Journal of Personality and Social Psychology, 65, Leenknecht, M. J. M., & Tillema, H. H. (2010). Formative assessment in vocational education: Student involvement in monitoring progress in their learning. Progress in Education 22, Liden, R. C., Wayne, S. J., Jaworski, R. A., & Bennett, N. (2004). Social loathing: A field investigation. Journal of Management, 30 (2), Liu, N. F. & Carless, D. (2006) Peer feedback: the learning element of peer assessment, Teaching in Higher Education, 11(3), Milius, J., Oost, H. & Holleman, W. (2001). Werken aan academische vorming: ideeën voor actief leren in de onderwijspraktijk. Utrecht: IVLOS. 9

10 3. Bijlagen 3.1 Schriftelijke enquête A: groep met interventie MC3C Helemaal oneens Oneens neutraal Eens Helemaal eens Begeleiding project De begeleiding van het project heeft een positieve invloed gehad op de kwaliteit van het De begeleiding van het project heeft een positieve invloed gehad op de beoordeling van het Ik beoordeel de begeleiding van het project met het cijfer (hele cijfers) Fases project Het werken met een product per fase heeft een positieve invloed gehad op de kwaliteit van het Het werken met een product per fase heeft een positieve invloed gehad op de beoordeling van het Teamcontract bijdrage geleverd aan de samenwerking bijdrage geleverd aan de kwaliteit van het bijdrage geleverd aan de beoordeling van het Teamrollen positieve invloed op de samenwerking positieve invloed op de kwaliteit van het positieve invloed op de beoordeling van het Groepsgrootte invloed gehad op de samenwerking invloed gehad op de kwaliteit van het invloed gehad op de beoordeling van het Beoordeling De beoordeling door de andere projectgroepsleden heeft een positieve invloed gehad op de kwaliteit van het De beoordeling door de andere projectgroepsleden heeft een positieve invloed gehad op de beoordeling van het 10

11 3.2. Schriftelijke enquête B: groepen zonder interventie MC3A en MC3B Helemaal oneens Oneens neutraal Eens Helemaal eens Begeleiding project De begeleiding van het project heeft een positieve invloed gehad op de kwaliteit van het werk. De begeleiding van het project heeft een positieve invloed gehad op de beoordeling van het Cijfer Ik beoordeel de begeleiding van het project met het cijfer (hele cijfers) Fases project Helemaal oneens Oneens neutraal Eens Helemaal eens Het werken met een product per fase heeft een positieve invloed gehad op de kwaliteit van het Het werken met een product per fase heeft een positieve invloed gehad op de beoordeling van het Groepsgrootte invloed gehad op de samenwerking binnen de projectgroep. invloed gehad op de kwaliteit van het invloed gehad op de beoordeling van het Beoordeling De beoordeling door de docent heeft een positieve invloed gehad op de kwaliteit van het De beoordeling door de andere projectgroepsleden heeft een positieve invloed gehad op de beoordeling van het 11