Peer assessment inuniversitair

Transcriptie

1 Peer assessment inuniversitair Samenstelling van de peer feedback onderwijs. In Eenonderzoeknaar dit hoofdstuk wordt onderzocht hoe bruikbare 6 Hoofdstuk 6 peer feedback in de verschillende cursusontwerpen is samengesteld. Om deze vraag te kunnen beantwoorden is de mondelinge en de schriftelijke peer feedback gecategoriseerd in termen van feedbackfunctie en feedbackaspect. ontwerpen. Peer De opbouw van dit hoofdstuk is als volgt. In paragraaf 6.1 wordt de samenstelling van de peer feedback beschreven vanuit het perspectief van de te vervullen feedbackfuncties. In ass essmen t in universitair paragraaf 6.2 staat de samenstelling van de feedback in termen van het feedbackaspect centraal, oftewel het onderwerp waarop de feedback betrekking heeft. De relatie tussen onderwijs. Eenonderzoeknaar de feedbackfunctie en het feedbackaspect in zowel de schriftelijke als de mondelinge feedback komt aan de orde in paragraaf 6.3. Het hoofdstuk wordt afgesloten met een samen- bruikbare ontwerpen. Peer vatting van de resultaten (paragraaf 6.4). assessment in universitair onderwijs. Eenonderzoeknaar bruikbare ontwerpen. Peer assessment in universitair

2

3 De samenstelling van de peer feedback De functie van feedback De term feedbackfunctie dient om de feedback te karakteriseren vanuit het type handeling, zoals bijvoorbeeld het verhelderen of beoordelen van de tekst. De beoogde feedbackfuncties in het onderhavige onderzoek zijn ontleend aan het feedbackmodel van Roossink (1990), aangevuld met delen uit de schrijftheorie van Flower en anderen (1986). Feedbackgevers zouden er volgens deze auteurs op gericht moeten zijn om het product waarop ze feedback geven eerst goed te begrijpen, dan te beoordelen, hun beoordeling toe te lichten en tenslotte voorstellen te doen voor revisie. Daarnaast moet de feedback procesgericht zijn, teneinde het eigen vermogen tot bijsturing van de feedbacknemer te helpen vergroten. Een uitgebreide toelichting en verantwoording van dit model is opgenomen in hoofdstuk 2. De beoordelingsformulieren zijn ontworpen met de bedoeling om het hierboven beschreven proces te stimuleren. De feedbackgever gaat eerst na of hij de kern van het te beoordelen schrijfproduct begrepen heeft, brengt vervolgens een oordeel met toelichting uit, en vat dit samen in de vorm van enkele adviezen voor verbetering. Aangezien de studenten geen training kregen in het geven van feedback en er weinig ervaring mee hadden, zagen we ervan af om de studenten via het formulier te focussen op het schrijfproces. We wilden ze in eerste instantie op het product richten en vonden procesgerichte vragen vooralsnog te hoog gegrepen, aangezien het onderwijs dat de meeste studenten genoten over het algemeen weinig procesgericht was (zie Vermunt, 1992, voor een omschrijving van de kenmerken van procesgerichte instructie). Dat neemt niet weg dat we wel benieuwd waren wat de studenten hierover, in de formulieren en in hun mondelinge toelichtingen hierop, spontaan te berde zouden brengen. De samenstelling van de feedback wordt gepresenteerd in de vorm van frequentietabellen. Onderscheiden worden de feedbackfuncties verhelderen (VERH), beoordelen (BEOORD), toelichten (TOEL), reviseren (REVIS), gesprek voorbereiden (ORIENT), bespreken van het schrijfproces (WERKW) en de restcategorie geen feedback (FB-nvt). Voor meer informatie over deze categorieën verwijzen we naar hoofdstuk 4. De tabellen dienen als volgt te worden geïnterpreteerd: elk getal geeft het percentage aan van een bepaalde categorie uitspraken ten op-

4 118 Hoofdstuk 6 zichte van het totale aantal feedbackuitspraken in het betreffende cursusontwerp. Alleen de uitspraken van de feedbackgevers zijn opgenomen.voor een omschrijving van de eenheid die wordt aangeduid als uitspraak in de mondelinge en de schriftelijke feedback verwijzen wij naar paragraaf In de tabellen wordt alleen het algemene beeld van de feedback per cursusontwerp gepresenteerd. Dat beeld is gebaseerd op de bij elkaar opgetelde feedback op alle schrijfproducten in het betreffende ontwerp. Het getal 20 bij VERH in SS in Tabel 6.1 betekent dus dat 20% van alle functiegerichte uitspraken van de feedbackgevers in de cursus SS bestaat uit verhelderen. Daarmee is niet gezegd dat de feedback voor elk schrijfproduct voor 20% bestaat uit uitspraken van het type verhelderen. Oftewel, het cursusbeeld hoeft niet per se herhaald te worden op het niveau van de afzonderlijke productbesprekingen. Om het algemene beeld te controleren is dan ook gekeken naar afwijkingen met betrekking tot de feedback op de afzonderlijke schrijfproducten binnen een cursusontwerp. Alleen wanneer er sprake is van opvallende afwijkingen, zal dat worden vermeld De feedbackfunctie in de schriftelijke feedback In Tabel 6.1 is weergegeven hoe de schriftelijke feedback is samengesteld in termen van de feedbackfunctie. Tabel 6.1 Verdeling in percentages van de feedbackfunctie in de schriftelijke peer feedback SS HA-1 HA-2 DS HIST-1 HIST-2 RP ICE TGM Gem. VERH* (22**) BEOORD (47) TOEL (19) REVIS (12) ORIENT WERKW FBnvt Tot (100) Noot. * de productgerichte feedbackfuncties zijn vetgedrukt; ** percentage van de productgerichte feedback. Gemiddeld 93% van de schriftelijke feedback is productgericht. Daarbij zijn de studenten vooral bezig met het uitbrengen van hun oordeel. Dat de nadruk op het beoordelen ligt, kan verklaard worden vanuit de in-

5 De samenstelling van de peer feedback 119 structie die de studenten hadden gekregen om het werk van hun collegastudenten te beoordelen. De studenten vragen niet zo vaak om verheldering, voorzien hun oordeel lang niet altijd van enige toelichting en geven relatief weinig adviezen voor verbetering. Er zijn significante verschillen 1 per ontwerp in de mate waarin de verschillende feedbackfuncties voorkomen (χ 2 = 143; df = 48; p.001). Zo besteden de studenten in de cursussen RP en ICE relatief veel aandacht aan verheldering; in TGM en HA-2 daarentegen gebeurt dat weinig. De studenten in SS zijn aanzienlijk meer gericht op beoordelen, terwijl men zich hier in RP en ICE veel minder mee bezig houdt. De studenten lichten hun oordeel vaak toe in HA-2 en TGM, terwijl ze dat in ICE juist weinig doen. Feedback met betrekking tot de revisie van het schrijfproduct wordt relatief vaak gegeven in ICE en in RP, maar weinig in HA-2. Ook zijn er aanzienlijke verschillen tussen de ontwerpen met betrekking tot de mate waarin er feedback wordt gegeven die niet rechtstreeks betrekking heeft op het schrijfproduct. In TGM en in ICE wordt relatief veel niet-productgerichte feedback gegeven, in SS daarentegen erg weinig. Deze verschillen tekenen zich ook af wanneer uitsluitend gelet wordt op de productgerichte feedbackfuncties (χ 2 = 77; df = 24; p.001) De feedbackfunctie in de mondelinge feedback In Tabel 6.2 is weergegeven hoe de mondelinge feedback is samengesteld in termen van de feedbackfunctie. In vergelijking met de schriftelijke feedback is de mondelinge feedback minder productgericht. Daarbij dient men zich te realiseren dat het totale aantal mondelinge uitspraken veel groter is dan het aantal schriftelijke. Daarnaast doen de studenten ook uitspraken die niet specifiek over het schrijfproduct gaan, al zijn ze meestal wel gerelateerd aan de inhoud van het werkstuk of aan de vakinhoud (FBnvt). Slechts een zeer klein percentage van alle uitspraken is gericht op het schrijfproces. Voor zover er uitspraken van dit type door studenten zijn gedaan betrof het meestal opmerkingen van het type: zie maar of je er iets mee kunt, of lees het nog een keer door. 1 Het significantieniveau waarop getoetst wordt, is bij alle toetsen α = 0.05.

6 120 Hoofdstuk 6 Tabel 6.2 Verdeling in percentages van de feedbackfunctie in de mondelinge peer feedback SS HA-1 HA-2 DS HIST-1 HIST-2 RP IC Gem. E VERH* (23**) BEOORD (32) TOEL (26) REVIS (17) ORIENT WERKW FBnvt Tot (100) Noot. * de productgerichte feedbackfuncties zijn vetgedrukt; ** percentage van de productgerichte feedback; TGM is hier buiten beschouwing gelaten, omdat hierin alleen schriftelijke feedback is gegeven. Anders dan in hun schriftelijk commentaar zijn studenten in hun mondelinge feedback meer gericht op het toelichten van de beoordeling en op de revisie van het schrijfproduct. Het percentage op revisie gerichte opmerkingen valt hoger uit als ook de uitspraken van de feedbacknemer meegeteld worden. Het gebeurt vrij vaak dat deze functie niet door de feedbackgever vervuld wordt, maar door de feedbacknemer zelf. Dit is het geval als deze zelf met een voorstel tot verbetering komt, onmiddellijk nadat de feedbackgever zijn oordeel heeft gegeven of toegelicht. Zo praten de feedbacknemers in de cursussen RP en HIST ongeveer even vaak over de revisie als de feedbackgevers. In HA is het zelfs zo dat de feedbacknemers zich vaker over de revisie uitspreken dan de studentfeedbackgevers. Ook ten aanzien van de mondelinge feedback zijn er significante verschillen tussen de ontwerpen in de mate waarin de verschillende feedbackfuncties voorkomen (χ 2 = 351; df = 42; p.001). Dat geldt ook hier voor de verdeling van de alleen productgerichte feedbackfuncties (χ 2 = 93; df = 21; p.001). In de cursussen HA-2 en in RP is de feedback meer op verheldering gericht dan in de andere ontwerpen. In SS is de mondelinge feedback evenals de schriftelijke sterk op beoordeling gericht, maar het oordeel wordt nu vaak voorzien van een toelichting. In HIST, RP en ICE is de feedback ook sterk beoordelingsgericht, waarbij in HIST-2 relatief minder en in RP relatief meer toelichting wordt gegeven. Bij SS is het percentage op revisie gerichte uitspraken in de mondelinge feedback opvallend laag in vergelijking met de andere ontwerpen. Dit kan een lo-

7 De samenstelling van de peer feedback 121 gisch gevolg zijn van de instructie aan de studenten. Zij kregen de opdracht om hun feedback als discussiant te presenteren tijdens een plenaire bijeenkomst. Impliciet werd hiermee aangegeven dat het niet de bedoeling was dat de beschikbare tijd werd besteed aan het voorstellen van verbeteringen. De instructie aan de studenten om hun feedback als discussiant te presenteren kan ook verklaren waarom de studenten in SS relatief veel aandacht besteden aan zowel het beoordelen als aan het toelichten van hun oordeel. In HIST-1 is het percentage revisiegerichte feedback eveneens laag, anders dan in HIST-2. Dit zou veroorzaakt kunnen worden door het feit dat in HIST-1 de te beoordelen schrijfproducten niet altijd compleet waren (zie hoofdstuk 5), waardoor er minder aanknopingspunten waren om verbeteringen voor te stellen. Het schrijfproces komt in HA-1 en HA-2 relatief vaak aan de orde, waarbij de uitspraken hierover hoofdzakelijk afkomstig zijn van de docenten, die in dit ontwerp participeerden in de feedbackgroepen. Commentaar dat niet rechtstreeks betrekking heeft op het schrijfproduct wordt met name gegeven in de cursussen HA (de feedback wordt hier vaak afgewisseld met opmerkingen over het zoeken en interpreteren van de literatuur) en ICE (meningen worden uitgewisseld over de bezochte tentoonstelling). 6.2 Het feedbackaspect De term feedbackaspect wordt gebruikt om in kaart te brengen op welke tekstuele aspecten de feedback is gericht: inhoud, structuur of stijl. De opzet van de beoordelingsformulieren was erop gericht dat de studenten de belangrijke tekstuele aspecten in hun beoordeling zouden betrekken. Deze zijn ontleend aan Steehouder e.a. (1992) en betreffen de inhoud, structuur en stijl van het product. De items in de beoordelingsformulieren hebben achtereenvolgens betrekking op de inhoud (probleemstelling, uitleg van begrippen, relevantie van de informatie, argumentatie), de structuur (relatie hoofd- en deelvragen, organiserend principe van het betoog, relatie probleemstelling - uitwerking - conclusie) en de stijl (schrijfstijl, grammatica, spelling en layout) van de tekst. Daarnaast verwachtten we dat de studenten tijdens de mondelinge toelichting ook hun negatieve of positieve kritiek ten aanzien van de procedure van peer assessment naar voren zouden brengen, naast andere niet tekstgerichte opmerkingen.

8 122 Hoofdstuk 6 Met betrekking tot het feedbackaspect worden derhalve zes categorieen onderscheiden. De eerste vier daarvan omvatten alle uitspraken die rechtstreeks over het te beoordelen product gaan. Het betreft de aspecten inhoud (INH), structuur (STRUCT) en stijl (STIJL). Omdat de feedback soms niet duidelijk op één feedbackaspect terugslaat, maar op meerdere aspecten tegelijkertijd betrekking kan hebben, zoals bijvoorbeeld in de uitspraak ik vind het een duidelijk verhaal, is hiervoor een combinatiecategorie (COMBI) ontwikkeld. De vijfde en zesde categorie zijn bedoeld om ook niet-tekstgerichte uitspraken te kunnen typeren. In de vijfde categorie worden uitspraken ondergebracht waarin iets gezegd wordt over de procedure van peer assessment (PROC), deze categorie is alleen gebruikt bij de mondelinge toelichting. De zesde categorie bevat de uitspraken waarop geen van genoemde vijf rubrieken van toepassing is (NVT). Voor meer informatie over deze categorieën verwijzen wij naar hoofdstuk Het feedbackaspect in de schriftelijke feedback In Tabel 6.3 is weergegeven hoe de schriftelijke feedback is samengesteld in termen van het feedbackaspect. Tabel 6.3 Verdeling in percentages van het feedbackaspect in de schriftelijke peer feedback SS HA-1 HA-2 DS HIST-1 HIST-2 RP ICE TGM Gem. INH* (43**) STRUCT (13) STIJL (33) COMBI (10) NVT Tot (100) Noot. * De productgerichte (= tekstuele) feedbackaspecten zijn vetgedrukt ; ** percentage van de productgerichte feedback; PROC is niet opgenomen omdat uitspraken van deze categorie niet voorkomen in de schriftelijke feedback. De meeste schriftelijke feedback is gericht op de inhoud en de stijl van het te beoordelen product. Commentaar op de structuur wordt relatief weinig gegeven. Van de schriftelijke feedback is gemiddeld 92% gericht op de tekstuele aspecten, de overige 8% gaat over zaken buiten de tekst, bijvoorbeeld uitspraken in de trant van geen idee, of is een vraagstelling belangrijk in een biografie? Ook wat het feedbackaspect betreft verschillen de onderwerpen in de mate waarin de verschillende feedbackaspecten

9 De samenstelling van de peer feedback 123 voorkomen (χ 2 = 116; df = 40; p.001). Dit geldt ook als alleen wordt gekeken naar de productgerichte feedback (χ 2 = 86; df = 24; p.001). In de cursussen HIST, ICE en SS is men meer op de inhoud gericht dan in de andere ontwerpen. Opvallend is het ontbreken van opmerkingen over de structuur in ICE. In DS daarentegen en in HA wordt relatief veel feedback gegeven op de structuur Het feedbackaspect in de mondelinge feedback In Tabel 6.4 is weergegeven hoe de mondelinge feedback is samengesteld in termen van het feedbackaspect. Tabel 6.4 Verdeling in percentages van het feedbackaspect in de mondelinge peer feedback SS HA-1 HA-2 DS HIST-1 HIST-2 RP ICE Gem. INH* (45**) STRUCT (6) STIJL (35) COMBI (14) PROC NVT Tot (100) Noot. * De productgerichte (= tekstuele) feedbackaspecten zijn vetgedrukt; ** percentage van de productgerichte feedback; TGM is hier buiten beschouwing gelaten, omdat hierin alleen schriftelijke feedback is gegeven. Binnen de productgerichte mondelinge feedback is er relatief ongeveer evenveel aandacht voor de inhoud en de stijl van het schrijfproduct als in de schriftelijke feedback. Daarentegen wordt er mondeling nog minder feedback gegeven op de structuur dan in de schriftelijke feedback. Het percentage gecombineerd commentaar is iets groter, waarschijnlijk omdat de categorieën bij mondelinge feedback gemakkelijk in samenhang worden gecommuniceerd. De ontwerpen verschillen in de mate waarin de feedbackaspecten voorkomen (χ 2 = 330; df = 35; p.01). Dit geldt ook wanneer er uitsluitend gekeken wordt naar verschillen met betrekking tot de productgerichte feedback (χ 2 = 251; df = 21; p.001). In de cursussen SS, HA en HIST is de feedback meer dan in de andere ontwerpen op de inhoud gericht. In HA is de feedback meer dan in de andere ontwerpen op de structuur gericht en in ICE wordt helemaal geen aandacht aan de structuur besteed. In de cursussen RP, DS en ICE

10 124 Hoofdstuk 6 wordt relatief veel over de stijl gesproken. Ten aanzien van de cursus RP speelt hierbij een rol dat de opdracht was om het werkstuk in de stijl van een krantenartikel te schrijven. De studenten besteedden daar in de mondelinge toelichting veel aandacht aan, meer dan in de schriftelijke feedback. Waarom ook bij DS de studenten in de mondelinge feedback een sterke nadruk op stijl leggen is niet direct duidelijk. Nadere analyse van de mondelinge feedback op het niveau van de afzonderlijke productbesprekingen leert dat een ietwat vertekend beeld is ontstaan, doordat in één duo maar één werkstuk ter beoordeling was voorgelegd. De feedbackgever benutte de volle gespreksruimte en maakte hoofdzakelijk stijlgerichte opmerkingen. Als dit duo buiten beschouwing gelaten wordt komt de frequentie in de buurt van die in de cursus ICE. De structuur, die in de schriftelijke feedback al weinig aandacht kreeg, is in de meeste ontwerpen nauwelijks besproken. De cursus ICE springt er in dit opzicht uit, doordat er geen enkele uitspraak, noch schriftelijk noch mondeling, over de structuur werd gedaan. In dit specifieke geval is dit verklaarbaar uit het feit dat de studenten in de studiehandleiding die ze van de docent ontvingen een lijst aandachtspunten aantroffen die zij in hun verslag moesten behandelen. De meeste studenten namen deze aandachtspunten zonder meer over als structuur voor hun verslag. Vermoedelijk omdat zij dachten dat de structuur van het verslag was voorgeschreven, gaven de studenten elkaar op dit punt geen feedback. In de cursus HA zijn relatief nog de meeste structuurgerichte uitspraken gedaan (zowel in de schriftelijke en in de mondelinge feedback), hetgeen veroorzaakt zou kunnen worden doordat de studenten de opdracht hadden gekregen om elkaars opzet te beoordelen, dat wil zeggen de probleemstelling en de specificatie daarvan in deelvragen. Een dergelijk schrijfproduct ontlokt waarschijnlijk relatief meer structuurgerichte feedback. In een volgende beoordelingsronde beoordeelde men een uitgeschreven tekst, te weten een hoofdstuk. Er zijn enkele mogelijke verklaringen voor het feit dat de studenten weinig ingingen op de structuur van de schrijfproducten. Ten eerste kan het zijn dat de studenten niet goed raad wisten met de structuurgerichte vragen in de beoordelingsformulieren. Dit blijkt soms uit de antwoorden van de studenten met betrekking tot de items over het formulier in de peer assessment-vragenlijst. Ten tweede vraagt het beoordelen van de structuur meer inspanning dan het beoordelen van stijlaspecten. Om de

11 De samenstelling van de peer feedback 125 structuur te beoordelen moet het werkstuk immers grondig worden doorgenomen en op innerlijke samenhang worden doordacht. Het is ook een taak van een hoger abstractieniveau. Wellicht dat hiervoor meer voorbereiding is vereist en dat er uitdrukkelijker aandacht aan moet worden geschonken in de opdracht. Daarnaast moeten de studenten de tijd krijgen en bereid zijn om de vereiste inzet hiervoor aan de dag te leggen. Van de mondelinge feedback is gemiddeld 60% gericht op de tekstuele aspecten van het schrijfproduct en de rest gaat over iets anders. In dat laatste geval gaat het vaak over onderwerpen die wel inhoudelijk met het schrijfproduct te maken hebben, maar niet rechtstreeks de tekst zelf betreffen. Een voorbeeld hiervan is de cursus ICE waarin de bezochte tentoonstelling zelf onderwerp van gesprek werd naast het te bespreken verslag. Een ander type uitspraken dat veel werd gedaan en buiten de productgerichte feedback valt, is van gesprekstechnische aard. Zo zijn er in de meeste feedbackgroepjes afspraken gemaakt over de volgorde waarin de verslagen zullen worden besproken. Over de procedure van peer assessment zelf is weinig gesproken, behalve in HIST-1 (zie hoofdstuk 5 voor een beschrijving van de reacties van de studenten bij de introductie van de peer assessment). Dat kan opgevat worden als een teken dat de procedure over het algemeen weinig losmaakte bij de studenten. Verder valt op dat de feedback in de cursusontwerpen waarin iedereen hetzelfde materiaal heeft bestudeerd (dit is het geval in RP en ICE) niet inhoudsgerichter is dan in de ontwerpen waarin men inhoudelijk minder bekend is met elkaars onderwerp. Evenmin is men stijlgerichter in de ontwerpen waarin men niet goed bekend is met elkaars onderwerp. 6.3 De relatie tussen feedbackfunctie en feedbackaspect De relatie tussen feedbackfunctie en feedbackaspect Door de opzet van het beoordelingsformulier wilden we bereiken dat de tekstuele aspecten inhoud, structuur en stijl in de beoordeling zouden worden meegenomen en dat ten aanzien van elk van deze aspecten alle productgerichte feedbackfuncties vervuld zouden worden. Dat is voor de aspecten inhoud en stijl wel gelukt, maar de structuur wordt in beide vormen van feedback weinig belicht. Voor elke cursus is gekeken of er een relatie aangetoond kon worden tussen de feedbackfunctie en het

12 126 Hoofdstuk 6 feedbackaspect. Dit is gedaan voor zowel de schriftelijke als de mondelinge feedback. In de tabellen 6.5 en 6.6 worden de resultaten van de analyse van de relatie tussen feedbackfunctie en feedbackaspect gepresenteerd. Omdat er in TGM geen mondelinge feedback is gegeven is deze cursus alleen opgenomen in tabel 6.5. De relatie wordt uitgedrukt in Cramérs C (Siegel & Castellan, 1988). De Cramérs C coëfficiënt wordt uitgedrukt in een getal tussen 0 (geen enkele associatie) tot 1 (maximale associatie). Tabel 6.5 Relatie feedbackfunctie en feedbackaspect in de schriftelijke peer feedback C χ 2 df p SS HA n.s.* HA n.s. DS HIST n.s. HIST n.s. RP n.s. ICE TGM n.s Noot. * n.s. is niet significant. Tabel 6.6 Relatie feedbackfunctie en feedbackaspect in de mondelinge peer feedback C χ 2 df p SS n.s.* HA HA n.s DS n.s HIST HIST RP n.s. ICE Noot. * n.s. is niet significant. Uit de Tabellen 6.5 en 6.6 komt naar voren dat er enkele significante verschillen zijn in de relatie tussen de feedbackfunctie en het feedbackaspect in de verschillende cursussen. Zo onderscheidt de schriftelijke feedback van de cursussen SS, DS en ICE zich van de andere cursusontwerpen doordat de studenten hier de tekst meer op stijl beoordelen dan op inhoud of structuur. In DS en ICE hebben ook de revisievoorstellen meer betrekking op stijl. Het verband is evenwel zwak, alleen in

13 De samenstelling van de peer feedback 127 DS is er sprake van een middelmatig verband (C =.30). Wat betreft de mondelinge feedback onderscheiden de cursussen HA-1, HIST en ICE zich, doordat de studenten hier relatief meer aandacht besteden aan het verhelderen van de inhoud, dan van de structuur of stijl. Ook voor de mondelinge feedback geldt dat er een zwak verband is. Dat betekent dat de verschillen niet groot zijn tussen de ontwerpen met betrekking tot de relatie feedbackfunctie en feedbackaspect De relatie tussen feedbackfunctie en de wijze van feedback geven Voor elk cursusontwerp is gekeken of er een relatie bestaat tussen de wijze waarop de feedback is gegeven (schriftelijk of mondeling) en de functie die de feedback vervult. In Tabel 6.7 worden de resultaten van de analyse van de relatie gepresenteerd tussen de feedbackfuncties en de wijze van feedback geven. Omdat er in TGM geen mondelinge feedback is gegeven is deze cursus niet opgenomen. Tabel 6.7 Relatie feedbackfunctie en wijze van feedback geven C χ 2 df p SS p.001 HA p.001 HA p.001 DS p.001 HIST p.001 HIST p.001 RP p.001 ICE p.001 Er is in alle cursussen sprake van een significante relatie tussen de wijze van feedback geven (schriftelijk of mondeling) en de feedbackfuncties. Over het algemeen is er sprake van een middelmatig verband. In de schriftelijke feedback geven studenten relatief meer feedback die als Beoordelen kan worden opgevat. In de mondelinge feedback daarentegen is er, meer dan in de schriftelijke feedback, sprake van de feedbackfuncties Toelichten, Oriënteren en Feedback-niet van toepassing. De verbanden zijn het sterkst in SS, HA en DS. In HA en DS is er in de mondelinge feedback relatief meer sprake van Reviseren. Uit nadere bestudering van de verschillen blijkt dat de grootste verschillen tussen de schriftelijke en

14 128 Hoofdstuk 6 de mondelinge feedback zitten in de niet-productgerichte feedbackfuncties. Om daar meer duidelijkheid over te krijgen zijn de verbanden nogmaals getoetst, nu alleen voor de productgerichte feedbackfuncties. Daaruit komt naar voren dat er ten aanzien van de ontwerpen SS, HA, DS en ICE een significante relatie is tussen de feedbackfunctie en de wijze waarop de feedback wordt gegeven, waarbij de verbanden zwak tot middelmatig zijn. Dit duidt erop dat de verschillen tussen de schriftelijke en mondelinge feedback voor een deel productgerichte feedbackfuncties betreffen (Toelichten en Reviseren) en voor een deel niet-productgerichte feedbackfuncties (Oriënteren en Feedback-niet van toepassing). Het feit dat er in de mondelinge feedback meer niet-productgerichte functies voorkomen dan in de schriftelijke feedback kan verklaard worden uit de geringe mate van sturing die de studenten hadden gekregen bij het mondeling toelichten van hun feedback De relatie tussen feedbackaspect en de wijze van feedback geven Voor elk cursusontwerp is gekeken of er een relatie bestaat tussen de wijze waarop de feedback is gegeven (schriftelijk of mondeling) en het feedbackaspect. In Tabel 6.8 worden de resultaten gepresenteerd van de analyse van de relatie tussen het feedbackaspect en de wijze van feedback geven. Tabel 6.8 Relatie feedbackaspect en wijze van feedback geven C χ 2 df p SS p.001 HA p.001 HA p.001 DS p.001 HIST p.001 HIST p.001 RP p.001 ICE p.001 Er is in alle cursussen sprake van een significante relatie tussen de wijze van feedback geven (schriftelijk of mondeling) en het feedbackaspect. De verbanden zijn over het algemeen middelmatig. In de schriftelijke feedback richt de student zich, meer dan in de mondelinge feedback, op de structuur van het product. In RP en ICE richten de studenten zich in

15 De samenstelling van de peer feedback 129 hun schriftelijke feedback meer op de inhoud. De mondelinge feedback heeft relatief vaak betrekking op de stijl van het product. Dit zou erop kunnen wijzen dat een combinatie van schriftelijke en mondelinge feedback meer garantie geeft dat op alle tekstuele aspecten in de feedback worden meegenomen. Ook hiervoor geldt dat de verbanden na toetsing op alleen het productgerichte feedbackaspect iets zwakker zijn. Het verschil tussen beide vormen van feedback zit hier voor een deel in de categorie Onderwerp-niet van toepassing. Ook dit verschil is te verklaren vanuit de geringe mate van sturing bij de mondelinge feedback. 6.4 Samenvatting In dit hoofdstuk is de samenstelling van de feedback beschreven. Hierbij is een onderscheid gemaakt tussen de functie van de feedback en het aspect waarop de feedback betrekking heeft. In Figuur 6.1, aan het einde van dit hoofdstuk, worden de resultaten per cursusontwerp samengevat. In alle ontwerpen is de samenstelling van de peer feedback zodanig dat de conclusie gerechtvaardigd is dat de studenten erin zijn geslaagd om een aantal belangrijke feedbackfuncties ten opzichte van elkaars schrijfproducten te vervullen. Daarbij besteedden ze evenwel weinig aandacht aan de structuur van de te beoordelen tekst. Het beoordelingsformulier dat de studenten hierin beoogde te sturen, heeft dus niet in alle opzichten goed gewerkt. De studenten richtten zich in alle ontwerpen vooral op het beoordelen van het product, al of niet voorzien van toelichting. Voorafgaand aan het oordeel werden soms vragen ter verheldering gesteld. De studenten gaven elkaar relatief weinig aanwijzingen ter verbetering van het schrijfproduct, zowel in de mondelinge als in de schriftelijke feedback. Over het schrijfproces werd weinig of niet gesproken, hetgeen verklaard zou kunnen worden uit het feit dat het onderwijs dat de meeste studenten hebben gehad weinig procesgericht is en de studenten niet getraind waren in het geven van procesgerichte feedback. Bovendien was het niet in de instructie aan de studenten opgenomen dat ze het schrijfproces aan de orde zouden moeten stellen. Er zijn significante verschillen tussen de ontwerpen met betrekking tot de nadruk die er op de verschillende feedbackfuncties wordt gelegd. Deze verschillen kunnen deels worden gerelateerd aan ontwerpkenmerken.

16 130 Hoofdstuk 6 De feedback is meestal gericht op de inhoud en op de stijl van de tekst. Over het algemeen geven de studenten elkaar weinig feedback op de structuur van het schrijfproduct. Ook hier zijn significante verschillen tussen de ontwerpen, die voor een deel te relateren zijn aan ontwerpkenmerken. De relatie met de ontwerpkenmerken zal worden uitgewerkt in hoofdstuk 9. Hoewel de verbanden middelmatig zijn, is er een significante relatie tussen de wijze waarop de feedback wordt overgebracht en de feedbackfunctie respectievelijk het feedbackaspect. In de schriftelijke feedback overheerst het beoordelen, in de mondelinge feedback gaat het meer om toelichten en revisie. Voor zover er iets over de structuur gezegd wordt, gebeurt dit meer in de schriftelijke en minder in de mondelinge feedback. De inhoud wordt vaker in de schriftelijke feedback aan de orde gesteld, de stijl meer in de mondelinge feedback. Om alle functies en aspecten in feedback aan de orde te laten komen zou gekozen moeten worden voor een combinatie van schriftelijk en mondeling feedback geven.

17 Samenstelling schriftelijke feedback m.b.t. feedbackfunctie Samenstelling mondelinge feedback m.b.t. feedbackfunctie Samenstelling schrift. feedback m.b.t. feedbackaspect Samenstelling mond. feedback m.b.t. feedbackaspect SS HA DS HIST RP ICE TGM + Beoordelen HA-2: + Toelichten; - Verhelderen; - Reviseren + Beoordelen + Beoordelen + Verhelderen; + Reviseren; - Beoordelen + Verhelderen; + Reviseren; - Beoordelen; - Toelichten; veel niet-productgerichte feedback +Beoordelen; +Toelichten; veel niet-productgerichte feedback +Beoordelen; +Toelichten; - Reviseren +Werkwijze HA -1: + Reviseren HA-2: + Verhelderen veel niet-productgerichte feedback + Toelichten + Beoordelen HIST-1: -Reviseren HIST-2: - Toelichten; + Reviseren + Verhelderen; + Beoordelen; + Toelichten + Beoordelen veel niet-productgerichte feedback n.v.t + Inhoud + Structuur + Structuur + Inhoud + Inhoud; + Stijl + Inhoud; - Structuur Geen bijz.nadruk + Inhoud + Inhoud; + Structuur + Stijl + Inhoud; HIST-1: + Procedure + Stijl + Stijl; - Structuur n.v.t.

18 SS HA DS HIST RP ICE TGM Relatie feedbackfunctie en feedbackaspect in schrift.feedback Beoordelen op stijl n.s. Beoordelen op stijl; Reviseren op stijl n.s. n.s. Beoordelen op stijl; Reviseren op stijl n.s. Relatie feedbackfunctie en feedbackaspect in mond.feedback n.s. HA-1: Verhelderen van inhoud n.s. Verhelderen van inhoud n.s. Verhelderen van inhoud n.v.t. Relatie tussen feedbackfunctie en wijze van feedback geven Schrift.: Reviseren; Toelichten Schrift: Beoordelen; Reviseren Schrift.: Beoordelen; Toelichten en Reviseren n.s. n.s. Schrift.: Reviseren; Toelichten n.v.t. Relatie tussen feedbackaspect en wijze van feedback geven Schrift: Stijl Combi Schrift: Structuur HA-2: Inhoud Schrift: Structuur Stijl Schrift: HIST-2: Structuur HIST-1: Combi HIST-2: Stijl Schrift: Inhoud en Structuur Stijl Schrift: Inhoud Stijl en Combi n.v.t. Figuur 6.1 Samenstelling van de peer feedback. Noot. n.s. = niet significant; + = meer nadruk dan in de andere ontwerpen; - = minder nadruk dan in de andere ontwerpen.