bruikbare ontwerpen. Peer

Transcriptie

1 Peer assessment inuniversitair Leeropbrengst en waardering on derwijs. Eenonderzoeknaar 8 Hoofdstuk 8 In dit hoofdstuk worden de effecten van peer assessment bepaald. Daarbij gaat het over de leeropbrengst en over de waardering die studenten en docenten geven aan het werken met peer assessment. Dit hoofdstuk heeft de volgende opbouw. In bruikbare ontwerpen. Peer paragraaf 8.1 wordt een overzicht gegeven van de resultaten met betrekking tot de leeropbrengst. In paragraaf 8.2 wordt de waardering van studenten respectievelijk docenten voor de werkwijze gepresenteerd. Het hoofdstuk wordt afgesloten met een samenvatting (para- ass essment in universitai r graaf 8.3). onderwijs. Eenonderzoeknaar bruikbare ontwerpen. Peer assessment in universitair onderwijs. Eenonderzoeknaar bruikbare ontwerpen. Peer assessment in universitair

2

3 Leeropbrengst en waardering Leeropbrengst van studenten Onder leeropbrengst wordt in dit onderzoek verstaan: de korte-termijn leerwinst van studenten, dat wil zeggen de leerwinst aan het einde van de cursus. De leeropbrengst wordt beschreven in termen van (1) de kwaliteit van de revisie van het schrijfproduct, hier opgevat als de mate van toepassing van de feedback; (2) de behaalde cijferwaardering en (3) de door studenten en docenten ingeschatte leeropbrengst. In paragraaf wordt verslag gedaan van de verwerking van de peer feedback bij de revisie. Daarbij zijn de ontwerpen waarin het docentencommentaar sterk interfereerde met de peer feedback (de cursussen HA, SS en DS) buiten beschouwing gebleven. Om zicht te krijgen op de verbeteringen van het schrijfproduct zijn de gereviseerde schrijfproducten vergeleken met de conceptversie. Daarbij is door de onderzoeker gekeken naar de mate waarin de schriftelijke en mondelinge feedback is gebruikt bij de revisie van het schrijfproduct. In paragraaf worden de leerresultaten besproken in termen van cijferwaardering. Daartoe worden de cijfers gepresenteerd die de studenten van de peer assessment-groepen hebben behaald voor hun eindversie en vergeleken met de behaalde cijfers in de controlegroep. In twee ontwerpen kon tevens de cijfervooruitgang bepaald worden, oftewel het verschil tussen de cijferwaardering van de conceptversie en die van de gereviseerde versie van het schrijfproduct. Dit was alleen mogelijk in de cursusontwerpen waarin ook de eerste versie is beloond door middel van een cijfer (RP en DS). In paragraaf wordt beschreven in welke mate de studenten vonden dat hun werkstuk als gevolg van hun verwerking van de peer feedback is verbeterd en of ze van mening waren dat bepaalde voor het schrijven relevante vaardigheden als gevolg van de cursus waren toegenomen. Met betrekking tot dat laatste wordt ook een vergelijking gemaakt tussen de inschattingen van de peer assessment-groepen en van controlegroepen respectievelijk andere vergelijkbare groepen. De gegevens van de studenten met betrekking tot hun inschatting van de leeropbrengst zijn verzameld door middel van de vragenlijst over peer assessment en door de cursusvragenlijst. De gegevens omtrent de inschatting van de leeropbrengst door docenten zijn verkregen door middel van een interview met ieder van de negen docenten die de ontwerpen voor peer assessment uitvoerden. De inschatting van de leeropbrengst door de docenten volgt in

4 156 Hoofdstuk Kwaliteit van de revisie In deze paragraaf zal worden ingegaan op de mate waarin de studenten de ontvangen peer feedback hebben toegepast bij de revisie. De gegevens over de verwerking van de feedback zijn samengevat in Tabel 8.1. De percentages geven aan hoeveel revisies van een bepaald type zijn voorgesteld en hoe vaak die zijn overgenomen. De omvang en de diepgang van de revisie kan niet uit de tabel worden afgeleid. Tabel 8.1 Verwerking van de peer feedback % Inhoud % Structuur % Stijl Aantal * ICE Verwerkt (23%) Niet verwerkt TGM Verwerkt (34%) Niet verwerkt HIST-1 Verwerkt (41%) Niet verwerkt HIST-2 Verwerkt (29%) Niet verwerkt RP Verwerkt (34%) Niet verwerkt Alle Verwerkt (31%) cursussen Niet verwerkt Noot. * het totale aantal revisieopmerkingen, uitgesplitst naar verwerkt en niet verwerkt; SS, HA en DS zijn niet opgenomen, omdat het docentcommentaar teveel interfereerde met de peer feedback. Zoals uiteengezet in hoofdstuk 4 wordt de feedback, voor zover deze gericht is op het schrijfproduct, ingedeeld in drie categorieën: inhoud, structuur en stijl. Het inhoudsgerichte commentaar omvat alle uitspraken over de inhoud van het werkstuk, bijvoorbeeld de manier waarop bepaalde begrippen in het stuk uitgelegd worden, de hoeveelheid gepresenteerde informatie of de argumentatie. Het structuurgerichte commentaar betreft alle uitspraken over de interne samenhang van het werkstuk, bijvoorbeeld de opsplitsing van de vraagstelling in deelvragen, de volgorde waarin de deelvragen of subthema s aan de orde worden gesteld of de samenhang van de conclusie met de hoofdvraag en het betoog. Daarnaast is er stijlgericht commentaar, dat gaat meestal over zinsconstructies, taal- of spelfouten, leesbaarheid en lay-out.

5 Leeropbrengst en waardering 157 Zoals in hoofdstuk 6 al duidelijk werd, is de peer feedback weinig gericht op de structuur. Gemiddeld twee vijfde van het aantal aanwijzingen voor revisie betreft de inhoud, twee vijfde deel de stijl en een vijfde deel de structuur van het schrijfproduct. Vergelijking van de eerste en tweede versie laat zien dat de studenten gemiddeld een derde van alle revisievoorstellen van hun medestudenten daadwerkelijk hebben verwerkt. Daarbij verwerkten ze ongeveer een derde van de voorstellen gericht op de inhoud, een derde van de voorstellen met betrekking tot de structuur en een derde van de voorstellen aangaande de stijl. De mate waarin er gereviseerd is en het soort revisie verschilt per ontwerp. In de cursussen TGM, HIST-1 en RP zijn de meeste revisieaanwijzingen verwerkt. Daarbij is relatief meer structuurgerichte peer feedback verwerkt dan in de andere cursussen. Bij aanwijzingen voor de structuur gaat het om adviezen als maak andere perioden, in de conclusie kom je met nieuwe informatie, neem die ook op in je betoog. Dat leidt tot bijvoorbeeld een nieuwe hoofdstukindeling. Het meeste commentaar dat verwerkt wordt is inhouds- en stijlgericht. Van inhoudsgericht commentaar is sprake in opmerkingen als geef aan waarom je alleen deze twee werken van Toynbee bespreekt, leg die twee begrippen beter uit of schrijf iets meer over de Amerikaanse betrokkenheid bij de Panama-kwestie. Dat leidt tot het opnemen van aanvullende alinea s, met toelichting, extra informatie of nieuwe argumenten. Daarnaast is er veel stijlgericht commentaar, dat verwerkt wordt bijvoorbeeld door het verbeteren van taalfouten. Het feit dat er relatief veel commentaar van medestudenten verwerkt is in de cursus HIST-1 kan te maken hebben met het feit dat aan sommige conceptversies nog delen ontbraken. De studenten van RP wisten dat de kwaliteit van hun analyse het zwaarst woog bij de vaststelling van het eindcijfer; dit gegeven kan hen hebben beïnvloed in hun revisiearbeid. De omvang van de revisie varieert in beide ontwerpen van lokaal tot ingrijpender. Bij TGM zijn er maar een paar studenten die de revisieaanwijzingen gebruikten. Waarom de studenten bepaalde opmerkingen wel verwerkten en andere lieten liggen is ten aanzien van geen van de ontwerpen onderzocht. In de cursus ICE verwerkten de studenten minder revisieaanwijzingen dan in de andere cursussen. De revisies waren in deze cursus bovendien summier: men voegde een paar regels toe over een vraag die meer uitge-

6 158 Hoofdstuk 8 diept kon worden, een paar type- en spelfouten werden verbeterd, de alinea-indeling werd bijgesteld, tussenkopjes weggehaald, enzovoort. Slechts twee studenten (een student in ICE en een in HIST), die een conceptversie door medestudenten hadden laten beoordelen, gebruikten de peer feedback in het geheel niet; zij leverden hetzelfde stuk weer in als tweede versie. Het gebeurde sporadisch dat een student iets wijzigde zonder dat de aangebrachte verandering te herleiden was tot de ontvangen feedback. Samengevat, bijna alle studenten maakten gebruik van de peer feedback bij het reviseren. Met name het inhouds- en stijlgerichte commentaar is zichtbaar toegepast in de gereviseerde schrijfproducten. De mate waarin de feedback is verwerkt, alsook de omvang en diepgang van de revisies verschilt per cursus Cijfers van de schrijfproducten De cijfers voor de eindversie van het schrijfproduct van de studenten uit de peer assessment-groep zijn vergeleken met de cijfers van de studenten uit de controlegroep. Daarbij is in beide groepen alleen gekeken naar degenen die een cijfer hebben gehaald binnen de door de docent gestelde termijn. Er zijn geen gegevens verzameld over uitvallers en vertraagden. In drie cursussen (ICE, TGM en HIST) kon een dergelijke vergelijking worden gemaakt, omdat daar met controlegroepen is gewerkt. In de controlegroep werd hetzelfde onderwijs door dezelfde docent gegeven, maar dan zonder peer assessment. Er blijkt geen sprake van significante verschillen. De resultaten van de vergelijking worden gepresenteerd in Tabel 8.2. Tabel 8.2 Gemiddeld eindcijfer peer assessmentgroep (PA) en controlegroep (C) PA C t df p HIST HIST ICE TGM In de cursussen RP en DS is niet alleen een cijfer gegeven voor de eindversie van het schrijfproduct, maar ook voor de conceptversie (beide versies zijn beoordeeld door dezelfde docent). Door deze cijfers met el-

7 kaar te vergelijken kon worden vastgesteld of, op grond van de criteria van de docent, de kwaliteit van het schrijfproduct na revisie was verbeterd. In beide cursussen blijkt de cijfervooruitgang significant te zijn. Daarbij is in beide gevallen sprake van een hoge correlatie (r =.88 in RP en r =.92 in DS), hetgeen betekent dat er sprake is van cijfervooruitgang voor de hele groep studenten uit de cursus. De resultaten omtrent de cijfervooruitgang worden gepresenteerd in Tabel 8.3. Tabel 8.3 Cijfervooruitgang eerste en tweede versie schrijfproduct Leeropbrengst en waardering 159 v1 v2 t df p DS RP Noot. v1 = conceptversie; v2 = gereviseerde versie. De cijfervooruitgang in RP lijkt voor een belangrijk deel te worden veroorzaakt door de toepassing van de peer feedback. Uit vergelijking van de twee versies blijkt dat alle studenten aantoonbaar delen van de (vaak gedetailleerde en daardoor in de verwerking gemakkelijk te traceren) schriftelijke en mondelinge feedback van hun medestudenten hebben verwerkt. In de cursus DS lijkt de cijfervooruitgang minder aan peer assessment toe te schrijven. De studenten verwerkten hier vaker het (gedetailleerde en in de conceptversie bijgeschreven) docentcommentaar, dat de studenten tegelijk ontvingen met het schriftelijk commentaar van hun medestudenten. In beide ontwerpen hebben de studenten vooral de gedetailleerde en in termen van concrete revisievoorstellen geformuleerde feedback verwerkt. In RP werd de concreet geformuleerde feedback vooral door de studenten gegeven, in DS door de docent Inschatting leeropbrengst door studenten Het gaat hier om het oordeel van studenten over twee aspecten van leeropbrengst, te weten: (1) de verbetering van het schrijfproduct als gevolg van de verwerking van de peer feedback en (2) de vooruitgang die de studenten bij zichzelf waarnemen met betrekking tot in verband met schrijven op academisch niveau belangrijke vaardigheden.

8 160 Hoofdstuk 8 Inschatting kwaliteit van de revisie Voordat ze kennis hadden genomen van hun cijfer voor de gereviseerde versie is aan de studenten in alle ontwerpen gevraagd in hoeverre zijzelf dachten dat hun tweede versie beter zou zijn als gevolg van hun verwerking van de peer feedback. De antwoorden op deze (open) vraag zijn door de onderzoeker omgezet in schaalscores op een schaal van 1 (niet beter) tot 3 (veel beter). De resultaten worden gepresenteerd in Tabel 8.4. Tabel 8.4 Inschatting studenten van de kwaliteit van de revisie %1 %2 %3 N SS HA HA DS HIST HIST RP ICE TGM Alle cursussen Noot. Schaal 1-3: 1 = geen verbetering; 2 = enige verbetering; 3 = aanzienlijke verbetering. Over het algemeen vonden de studenten dat hun werkstuk als gevolg van de peer feedback was verbeterd. Sommigen gaven daarbij aan dat ze vooral de stijl hebben verbeterd (taalfouten), bij anderen is naar eigen zeggen vooral de structuur (indeling van het betoog, aansluiting conclusie op betoog) of de inhoud (informatie aangevuld) beter geworden. Daarnaast waren er studenten die opmerkten dat ze niet wisten of hun verbeteringen het gevolg waren van de peer feedback. Ze zouden ook het gevolg kunnen zijn van de plenaire bespreking na de mondelinge toelichting of van het docentcommentaar. Hun antwoorden zijn niet meegenomen in tabel 8.4. Uit een Kruskal-Wallis variantieanalyse (Siegel & Castellan, 1988) blijkt dat er significante verschillen tussen de cursussen zijn met betrekking tot de mate waarin de studenten dachten dat hun product is verbeterd (KW = 15.0; df = 7; p =.036). De cursus HA-2 is in deze variantieanalyse niet meegenomen vanwege het te lage aantal fre-

9 quenties. In de cursussen HIST-2 en SS verwachtten de studenten de meeste verbetering. De studenten van TGM verwachtten relatief weinig verbetering, zonder dit toe te lichten. Ook de studenten van HA-1 verwachtten weinig verbetering als gevolg van de peer assessment. Twee studenten uit die cursus gaven als reden dat ze de peer feedback onbruikbaar vonden. Zij omschreven het naar hun oordeel minimale commentaar dat ze van hun medestudenten hadden gekregen als volslagen nutteloos dan wel onzinnig. Ze hadden het idee dat hun medestudenten niet serieus naar hun stukken hadden gekeken en zich er met wat opmerkingen over de spelling vanaf hadden gemaakt. In HA-2, waar de uitvoering soepeler was verlopen dan in HA-1 vond men dat de peer assessment wel bijdroeg aan de verbetering van het werkstuk. Sommige studenten vroegen zich af of het commentaar niet net zo goed of beter door de docent gegeven kon worden omdat een docent kritisch mag zijn, als student durf je geen negatief commentaar te geven op het werk van je medestudenten. Inschatting vooruitgang in vaardigheden Aan de studenten in alle cursusontwerpen is gevraagd om op een vijfpuntsschaal aan te geven in hoeverre men de stelling onderschrijft dat de eigen schrijfvaardigheid is toegenomen als gevolg van de betreffende cursus. Tabel 8.5 Inschatting studenten van de toename van hun schrijfvaardigheid per ontwerp Leeropbrengst en waardering 161 Gem. SD N SS HA HA HIST HIST RP 3.4* ICE TGM Noot. Schaal 1-5: 1 = zeer oneens m.b.t toename; 5 = zeer eens m.b.t toename; * gem. score van twee vragen m.b.t. schrijfvaardigheid (één m.b.t correct taalgebruik en één m.b.t het formuleren van een logisch betoog; in DS is de studenten niet gevraagd hun inschatting op dit gebied te geven.

10 162 Hoofdstuk 8 De cursusontwerpen verschillen significant met betrekking tot de inschatting van de studenten omtrent de toename van hun schrijfbekwaamheid (F =4,9; df = 7.82; p.001). Het betreft hier een groot effect, te weten f =.65 (zie Cohen, 1988). In de cursussen HA en SS heeft men meer het idee dat de schrijfvaardigheid is toegenomen dan in de andere cursusontwerpen. De resultaten worden gepresenteerd in Tabel 8.5. Ook in de controlegroepen is aan de studenten gevraagd om een inschatting te maken van de eventuele toename van hun schrijfbekwaamheid. Alleen in ICE is sprake van een significant verschil met de peer assessment-groep. De resultaten worden gepresenteerd in Tabel 8.6. Tabel 8.6 Inschatting studenten van de toename van hun schrijfvaardigheid: peer assessment-groep vs. controlegroep Gem. PA Gem. C t df p HIST HIST ICE TGM Noot. Schaal 1-5: 1 = zeer oneens m.b.t. toename; 5 = zeer eens m.b.t. toename; PA = peer assessment-groep; C = controlegroep. Waar geen vergelijking gemaakt kon worden met controlegroepen is de inschatting van de toename van de schrijfvaardigheid vergeleken met die in parallelwerkgroepen, waarin hetzelfde onderwijsprogramma, zonder peer assessment, door andere docenten werd uitgevoerd. De inschatting met betrekking tot de toename van hun schrijfvaardigheid blijkt in de peer assessment-groepen van SS significant hoger te zijn dan die in de overige groepen. De resultaten worden gepresenteerd in Tabel 8.7. Tabel 8.7 Inschatting studenten van de toename van hun schrijfvaardigheid: peer assessment-groep vs. overige groepen Gem. PA Gem. O t df p SS HA HA Noot. Schaal 1-5: 1 = zeer oneens m.b.t. toename; 5 = zeer eens m.b.t toename; PA = peer assessment-groep; O = parallelwerkgroep zonder peer assessment, met andere docent. Daarnaast is in de cursussen ICE en TGM in de peer assessment-groep en in de controlegroep gevraagd of men de stelling onderschrijft dat als

11 Leeropbrengst en waardering 163 gevolg van de cursus, de eigen analysevaardigheid (van een tentoonstelling respectievelijk van teksten) is toegenomen. De verschillen zijn niet significant. De resultaten worden gepresenteerd in Tabel 8.8. Tabel 8.8 Inschatting studenten van de toename van hun analysevaardigheid: peer assessment-groep vs. controlegroepen Gem. PA Gem. C t df p ICE TGM Noot. Schaal 1-5: 1 = zeer oneens m.b.t. toename; 5 = zeer eens m.b.t. toename; PA = peer assessment-groep; C = controlegroep. In HIST is in de peer assessment-groepen en in de controlegroep gevraagd in hoeverre men de stelling onderschrijft dat als gevolg van de cursus het eigen inzicht is toegenomen in de criteria waaraan een werkstuk moet voldoen. De verschillen zijn niet significant. De resultaten worden gepresenteerd in Tabel 8.9. Tabel 8.9 Inschatting studenten van de toename van hun inzicht in de criteria: peer assessment-groep vs. controlegroepen Gem. PA Gem. C t df p HIST HIST Noot. Schaal 1-5: 1 = zeer oneens m.b.t. toename; 5 = zeer eens m.b.t. toename; PA = peer assessment-groep; C = controlegroep. Samengevat, kunnen we concluderen dat in de perceptie van de studenten - in tegenstelling tot de cijferwaardering - er soms wel sprake lijkt te zijn van leerwinst als gevolg van peer assessment. Zo wordt de toename van de schrijfvaardigheid in de peer assessment-groepen van SS en ICE significant hoger ingeschat dan in de groepen waarin niet met peer assessment wordt gewerkt. Daarbij past een kanttekening voor wat betreft SS. In de cursus SS is het onderwijs in de peer assessment-groepen door andere docenten gegeven dan in de parallelgroepen. Dus de verschillen in gemiddelde schaalscores kunnen ook te maken hebben met verschillende bekwaamheden van docenten inzake de begeleiding van leren schrijven. Het verschil in schaalscore kan hier dus niet zonder meer aan peer assessment worden toegeschreven. Met betrekking tot de inschat-

12 164 Hoofdstuk 8 ting van de analysevaardigheid (alleen bevraagd in de cursussen ICE en TGM) zijn er geen significante verschillen tussen de peer assessmentgroep en de controle groep. Evenmin is er sprake van significante verschillen ten aanzien van het inzicht in de criteria waaraan een werkstuk moet voldoen (alleen bevraagd in de cursus HIST). Wij merken op dat de scores voor de schrijfvaardigheid in de cursussen HIST, ICE en TGM zowel in de peer assessment-groepen als in de controlegroepen aan de lage kant zijn in vergelijking met de schaalscores in HA en SS. Dit is niet vreemd, aangezien eerstgenoemde cursussen vooral inhoudelijke doelstellingen hadden en er niet speciaal op gericht waren om de schrijfvaardigheid te verbeteren. Het cijfer voor het schrijfproduct telde in deze cursussen ook minder zwaar mee voor het eindcijfer dan in de andere cursussen Inschatting leeropbrengst door docenten Ten aanzien van de vraag of het werken met peer assessment resulteerde in een kwaliteitsverbetering van het werkstuk antwoordden de docenten verschillend. De docenten die ook conceptversies beoordeelden (in de cursussen RP, SS en DS) vonden de kwaliteit van de tweede versie beter. De docenten noemen drie elementen uit de ontwerpen voor peer assessment die van invloed zijn geweest op de verbetering van de schrijfproducten: de feedback van medestudenten, de feedback van de docent en in geval van de cursus RP, de extra tijd die de studenten hadden gekregen voor de revisie doordat er één opdracht minder was gepland. De docenten van de cursus SS zagen de opbrengst van peer assessment vooral tot uitdrukking komen in de inhoudelijke interactie tijdens de werkgroep. De studenten toonden zich meer bij elkaars werk betrokken en ze hadden elkaars werk merkbaar bestudeerd. Daardoor was een gezamenlijk gesprek mogelijk. Dit werd bovendien meer gestructureerd gevoerd, omdat er duidelijke beoordelingscriteria waren geformuleerd, die de studenten ook kenden. De docent van de werkgroep HA-1 vergeleek de eindversies uit de peer assessment-groep met de eindversies van degenen die zich aan de peer assessment hadden onttrokken. Haar indruk was dat de werkstukken van degenen die niet mee hadden gedaan met peer assessment minder gestructureerd waren in termen van vraagstelling en deelvragen. Ze

13 Leeropbrengst en waardering 165 vond het een winstpunt dat degenen die wel mee hadden gedaan, zich daadwerkelijk in elkaars werk hadden verdiept. De docent van de werkgroep HA-2 vergeleek haar ervaring in deze werkgroep met die in een deeltijdgroep HA die ze eerder had en vond het niveau van de inhoudelijke interactie vergelijkbaar. Ze vond niet dat de eindversies beter waren als gevolg van peer assessment, maar het viel haar op dat de studenten, omdat ze elkaars vorderingen in stappen meemaakten, meer aandacht hadden voor het schrijfproces. De docenten van de cursussen ICE, TGM en HIST hadden geen conceptversies bestudeerd. Zij vergeleken de eindversies van hun peer assessment-groepen met die van de controlegroep en zagen geen verschil. Evenmin bespeurden ze enig effect op de inhoud van de interactie. Wel vonden ze dat de mondelinge toelichting in de subgroepjes meer afwisseling en levendigheid in de groep teweeg bracht. Samengevat, de docenten van SS vonden dat de inhoudelijke interactie tussen studenten verbeterde als gevolg van peer assessment. De docenten van ICE, TGM en HIST zagen geen effect op de inhoudelijke interactie, maar vonden peer assessment wel bevorderlijk voor een actiever leerklimaat. De drie docenten die de conceptversies hebben bestudeerd zijn positief over de effecten van peer assessment op de kwaliteit van het schrijfproduct, maar wijzen daarbij ook op andere factoren die een verbetering van het schrijfproduct veroorzaakt kunnen hebben: het docentcommentaar en de extra tijd die beschikbaar was voor de revisie. 8.2 Waardering van peer assessment Behalve de leeropbrengst is ook de waardering van peer assessment onderzocht. Aan zowel de studenten als aan de docenten zijn vragen gesteld om te achterhalen hoe zij het werken met peer assessment hebben ervaren. Daarnaast is hun de vraag voorgelegd of ze vaker met peer assessment zouden willen werken Waardering van studenten Aan de studenten in de peer assessment-groepen is gevraagd wat ze vonden van de tijdsinvestering, de feedback die ze van hun medestudenten kregen, de bruikbaarheid van de beoordelingsformulieren, hun eigen inzet en die van hun medestudenten. Ook is hun gevraagd of ze vaker met

14 166 Hoofdstuk 8 peer assessment zouden willen werken en zo ja, welke aanpassingen ze daarbij eventueel voorstellen. Een Kruskal-Wallis variantieanalyse van alle waarderingsvariabelen wijst uit dat er geen significante verschillen zijn tussen de cursusontwerpen, behalve met betrekking tot de inzet van medestudenten (zie Tabel 8.14 en de toelichtende tekst). De resultaten worden per waarderingsaspect gepresenteerd in de tabellen 8.10 tot en met 8.16 en per aspect toegelicht. Tijdsinvestering Het merendeel van de studenten vond de tijd die ze hadden geïnvesteerd in het lezen en beoordelen van het werk van hun medestudenten qua omvang redelijk en nuttig besteed. Hierbij was er geen significant verschil tussen de ontwerpen. Tabel 8.10 Waardering studenten nut tijdsinvestering %1 %2 %3 N SS HA HA DS HIST HIST RP ICE TGM Alle cursussen Noot. Schaal 1-3: 1 = overwegend negatief; 2 = negatief noch positief; 3 = overwegend positief. De studenten gaven vaak een toelichting bij hun uitspraken over de tijdsinvestering. Meestal werd daarbij ingegaan op het ervaren nut van peer assessment. De positieve antwoorden werden voorzien van toelichtingen als: Sommige fouten van anderen zetten je zelf aan het denken. Ook doe je ideeën op voor je eigen scriptie. Overeenkomsten met mijn tekst gaven me zelfvertrouwen, verschillen met mijn tekst maakten me kritisch ten aanzien van mijn tekst. Je wordt gedwongen kritisch te lezen. De hoeveelheid tijd was geen punt. Studenten die negatief waren, maakten opmerkingen als teveel extra tijd, krijgt er te weinig voor terug. De studielast van deze cursus is eigenlijk te hoog. Ambivalente reacties zijn:

15 De tijd viel wel mee, als de werkstukken verder af waren geweest dan zou me dat waarschijnlijk ook meer tijd gekost hebben (student HIST- 1). Ik weet niet of ik er zelf wat van heb geleerd, van het nakijken dan. Commentaar op mijn eigen stuk is altijd nuttig, maar of een docent dat doet of een student Schriftelijke peer feedback De meeste studenten hebben de ontvangen feedback positief gewaardeerd. De schriftelijke feedback vond men vaak zinnig of stimulerend. Ook met betrekking tot de waardering van de schriftelijke feedback waren er geen significante verschillen tussen de ontwerpen. Tabel 8.11 Waardering studenten schriftelijke feedback Leeropbrengst en waardering 167 %1 %2 %3 N SS HA HA DS HIST HIST RP ICE TGM Alle cursussen Noot. Schaal 1-3: 1 = overwegend negatief; 2 = negatief noch positief; 3 = overwegend positief. De positieve antwoorden werden voorzien van toelichtingen als: erg zinnig: je wordt nog eens met je neus op je zwakheden gedrukt, maar het werkt zeer stimulerend. Vooral de grammatica- en spellingsfouten had ik veel aan. Zeer gedetailleerd en overdacht. Studenten die negatief waren, maakten opmerkingen als zeer kort, moet veel uitgebreider. Vaak mager ingevuld doordat het meeste mondeling wordt gebracht. Alleen spelfouten, verder geen opmerkingen dus ook niet zinnig. Ambivalente reacties waren er niet. Mondelinge peer feedback Over het algemeen werd de mondelinge toelichting door de studenten als een belangrijke ondersteuning gezien van de schriftelijke feedback, vanwege de gelegenheid die het bood om elkaar duidelijk te maken wat

16 168 Hoofdstuk 8 men met de schriftelijke feedback bedoelde. Slechts enkele studenten vonden de mondelinge toelichting niet nodig. Er zijn in dit opzicht geen significante verschillen tussen de ontwerpen. Tabel 8.12 Waardering studenten mondelinge feedback %1 %2 %3 N SS HA HA DS HIST HIST RP ICE Alle cursussen Noot. Schaal 1-3: 1 = overwegend negatief; 2 = negatief noch positief; 3 = overwegend positief; TGM is niet opgenomen omdat er in dit ontwerp geen mondelinge toelichting was gepland. De positieve antwoorden werden voorzien van toelichtingen als: Nuttiger dan de schriftelijke commentaren zelf. Leuk! Het is wel raar om iemand over je eigen tekst te horen spreken, en ook wel moeilijk om zware kritiek te geven. Het ging wel goed, we overlegden echt. Maakt duidelijker wat je medestudenten precies bedoelen. Het in groepjes bespreken van de analyses in de werkgroep was zinvoller [dan schriftelijk feedback geven]. Er waren nogal wat meningsverschillen wat betreft de inhoud van de tentoonstelling (student ICE). Doorwerken van papier, maar toch wel goed om elkaar ook echt te begijpen. Studenten die negatief waren, maakten opmerkingen als: Eerlijk gezegd een beetje teveel van het goede. Je zit eigenlijk je beoordelingsformulier uitgebreid te herhalen. Ambivalente reacties waren: Ik vraag me of af mondelinge toelichting wel zo zinvol is, vooral ook omdat je dan het commentaar een gezicht geeft. Ik zou het liever anoniem doen. Feedback krijgen is prettig maar je krijgt het toch vanuit hun standpunt. Als het jouwe anders is denk ik toch niet dat je er veel mee zult doen. Het praten erover verduidelijkt wel veel. Beoordelingsformulier Het beoordelingsformulier werd door iets meer dan de helft van de studenten als duidelijk en bruikbaar bij de beoordeling ervaren. Zij zagen

17 het als een goed houvast om hun commentaar op de belangrijke tekstuele aspecten te richten. Er zijn op dit punt geen significante verschillen tussen de ontwerpen. Tabel 8.13 Waardering studenten beoordelingsformulieren Leeropbrengst en waardering 169 %1 %2 %3 N SS HA HA DS Hist Hist RP ICE TGM Alle cursussen Noot. Schaal 1-3: 1 = overwegend negatief; 2 = negatief noch positief; 3 = overwegend positief. Niettemin vond men ook vaak dat er vragen op het formulier waren die elkaar overlapten of dat het formulier te weinig schrijfruimte bood. Sommigen wilden liever alleen aantekeningen in de tekst maken en niet met een beoordelingsformulier werken. Een enkeling zou alleen maar mondelinge feedback willen geven. Iets minder dan een kwart van alle studenten oordeelde negatief over het formulier. Voorbeelden van de toelichting die studenten gaven bij een positieve waardering van het beoordelingsformulier zijn: Soms wat zakelijk, maar wel duidelijk de punten naar voren brengend die student op positieve manier helpt bij verbetering. Gaven goede sturing. Erg handig, ook als referentiekader voor het stuk dat je zelf dient te schrijven. Goed, zo werd je gedwongen je kritiek te formuleren. Voorbeelden van toelichtingen bij een negatieve waardering zijn: Zoiets vind ik altijd lastig in te vullen, mondeling commentaar geven is een stuk makkelijker. Sommige vragen waren overbodig. Het formulier voor het proefhoofdstuk was niet goed, het was voor een werkstuk (student HA-1). Suf, aantekeningen in de tekst zijn voldoende. Doet de docent ook. Ambivalente reacties waren er ook: soms wel handig, maar meestal te sturend. Liever commentaar in kantlijn en overall commentaar op blanco vel. Te weinig ruimte om

18 170 Hoofdstuk 8 duidelijk uit te leggen wat je bedoelde. Ik vind het moeilijker om vandaaruit te beoordelen dan vanuit het werk zelf. Inzet De meeste studenten zijn tevreden over zowel hun eigen inzet als die van hun medestudenten voor de cursus. Er is een significant verschil tussen de ontwerpen wat betreft het oordeel over de inzet van medestudenten (KW = 17.5; df = 7; p =.02). In HIST-1 en HA-1 zijn de studenten duidelijk minder tevreden over de inzet van hun medestudenten. Als redenen worden genoemd dat studenten geen feedback hadden gegeven of niet kwamen opdagen tijdens de mondelinge feedbackronde. Tabel 8.14 Waardering studenten eigen inzet en inzet van mdestudenten %1 %2 %3 N Eig. inzet Inzet medest. Eig. inzet Inzet medest. Eig. inzet Inzet medest. SS HA HA DS HIST HIST RP ICE Alle cursussen Noot. Schaal 1-3: 1 = overwegend negatief; 2 = negatief noch positief; 3 = overwegend positief; in TGM is het oordeel van studenten hierover niet gevraagd. De positieve antwoorden werden voorzien van toelichtingen als: Goed, men was actief in de dialoog, met goede discussies. Het was aangenaam les volgen. Tevreden over mijn inzet. Ik heb het gevoel dat ik er serieus mee bezig ben geweest. Studenten die negatief waren, maakten opmerkingen als: Inzet medestudenten was waardeloos, had er totaal niets aan (student HA-1). Niet tevreden over mijn inzet. Ik ben vooral druk geweest met mijn eigen werk, de beoordeling van de anderen heeft daaronder te lijden gehad. Ik heb genoeg meegedaan, de rest van mijn werkgroep niet (student HIST-1). Ambivalente reacties waren: Van onze werkgroep van drie denk ik dat ik er het meeste tijd in heb gestoken. Niet helemaal tevreden over mijn inzet. Ik had de scriptie van

19 K. niet beoordeeld (hij was niet af, maar toch... ), ik kreeg de scriptie niet meer in handen. Meer dan tevreden over mijn inzet (heb het halve werkstuk verbeterd). Vaker werken met peer assessment Tweederde van de studenten ziet peer assessment als een methode waar ze vaker mee zouden willen werken, hoewel dat niet noodzakelijk in dezelfde vorm hoeft te gebeuren. Er zijn wat dit betreft geen significante verschillen tussen de ontwerpen. Tabel 8.15 Oordeel studenten m.b.t. vaker werken met peer assessment Leeropbrengst en waardering 171 %1 %2 %3 N SS HA HA DS HIST HIST RP ICE Alle cursussen Noot. Schaal 1-3: 1 = overwegend negatief; 2 = negatief noch positief; 3 = overwegend positief; in TGM is het oordeel van studenten hierover niet gevraagd. Van de studenten die zeggen vaker met de methode te willen werken vindt ongeveer 40% dat de werkwijze aangepast moet worden. Zinvolle suggesties daarbij zijn: misschien zou het schelen als er kleinere werkgroepen zijn, dat er dan meer verantwoordelijkheid voor elkaar zou zijn voor zoiets (student HIST-1). Wel vragenformulier, maar minder vragen. Suggesties als: dat het zo precies op een bepaalde datum ingeleverd moet zijn en je precies de vragenlijst in moet vullen hoeft van mij niet, vinden we in strijd met het karakter van peer assessment, dat juist een bepaalde dwingendheid moet hebben. Daarnaast zijn er onderling tegenstrijdige suggesties als liever enkel verbaal tegenover eventueel zonder mondelinge toelichting. Studenten die niet vaker met peer assessment zouden willen werken, lichtten dit toe met: zonder medewerking van medestudenten kom je nergens, wat in mijn geval gebeurd is. Ik hoop niet dat peer assessment tot de toekomst gaat

20 172 Hoofdstuk 8 behoren. Overleg met docent/tutor is voldoende. Het is vreselijk lastig dat je niet in je eigen tempo kan werken en je hebt er niets aan als de rest niets doet. Ambivalente reacties waren: Probleem is dat je niet weet wat degene die uiteindelijk het cijfer geeft denkt van je werkstuk. Het liefst zou ik vaker door de docent beoordeeld willen worden. Aangezien dit door tijd-/geldgebrek waarschijnlijk niet mogelijk is, lijkt mij peer assessment een redelijk alternatief (wel alternatief en nooit doel). Samengevat, de studenten hadden het lezen en beoordelen van het werk van hun medestudenten als een nuttige activiteit ervaren, die geen al te groot beslag legde op hun tijd. De ontvangen peer feedback werd op prijs gesteld, waarbij men het mondelinge commentaar als een belangrijke ondersteuning zag van het schriftelijke commentaar. De beoordelingsformulieren vond men een goed houvast, hoewel er ook op onvolkomenheden gewezen werd. Als voordelen van peer assessment noemen de studenten vooral dat men ideeën kan opdoen aan elkaars werkstukken. Sommigen merkten dat ze door andermans werk te beoordelen meer afstand namen van hun tekst. Anderen ontdekten dat ze fouten in andermans werkstuk aanwezen, die ze zelf ook maakten. Een nadeel dat toch vaak genoemd wordt, hoewel de tijdsinvestering voor de meesten aanvaardbaar bleek, is dat het lezen en beoordelen tijd kost die niet gecompenseerd wordt. Ook was sommigen de meerwaarde van de peer feedback ten opzichte van het docentcommentaar niet duidelijk. Enkelen vonden de afhankelijkheid van medestudenten een groot nadeel. Studenten in de cursussen HA-1 en HIST-1 waren significant vaker ontevreden over de inzet van hun medestudenten. Ongeveer tweederde van de studenten zou vaker met peer assessment willen werken. Voor de helft daarvan zou de werkwijze moeten worden aangepast. De suggesties die studenten daarvoor geven zijn vooralsnog moeilijk op te nemen in een eventueel herontwerp Waardering van docenten Aan de docenten is gevraagd om hun oordeel te geven over (1) de kwaliteit van de peer feedback; (2) de bruikbaarheid van de beoordelingsformulieren en (3) de voor- en nadelen van peer assessment. Ten slotte is hun gevraagd (4) of ze peer assessment als vast onderdeel in het pro-

21 Leeropbrengst en waardering 173 gramma zouden willen opnemen en (5) welke aanpassingen zij eventueel voorstellen. Kwaliteit van de peer feedback De docenten die de schriftelijke peer feedback hadden bekeken, vonden dat de studenten elkaar over het algemeen zinvol commentaar hadden gegeven, al was het vaak onvolledig, globaal en weinig kritisch. Een docent constateerde dat de studenten elkaar soms verkeerde adviezen gaven. De docenten die de mondelinge feedback hadden kunnen beluisteren, vonden dat het schriftelijk commentaar in de mondelinge toelichting de nodige aanscherping kreeg. Sommige docenten hadden ervaren dat de studenten hun kritiek tijdens de mondelinge toelichting niet altijd goed konden doseren, waardoor de ontvanger de op zichzelf soms goede feedback niet wilde accepteren. De andere docenten, die de feedback slechts terloops hadden ingezien, hadden de indruk dat er tijdens de mondelinge toelichting in de feedbackgroepjes in de meeste groepjes taakgericht werd gesproken. Af en toe hadden ze studenten gevraagd of ze iets konden doen met de ontvangen peer feedback, waarop ze van de meesten positieve reacties kregen. Alleen in de werkgroep HIST-1 werd door sommige studenten negatief op deze vraag van de docent gereageerd, omdat er van peer assessment in hun groepje weinig terecht was gekomen. Daarbij bleek dat er studenten waren die zich voor het blok gezet voelden omdat werken met peer assessment betekende ze eerder aan hun werkstuk moesten beginnen dan ze van plan waren geweest. In TGM vond de docent het moeilijk te peilen wat de studenten vonden van het commentaar dat ze van hun medestudenten hadden gekregen. Hij hoorde de studenten niet over hun werkzaamheden in verband met peer assessment praten en als hij er naar vroeg, merkte hij dat hun aandacht veel meer door de Powerpointpresentatie in beslag werd genomen. Bruikbaarheid beoordelingsformulieren De docenten hadden de indruk dat de beoordelingsformulieren over het algemeen houvast boden aan de studenten bij de peer assessment en behulpzaam waren bij het anticiperen op de criteria waaraan het schrijfproduct zou moeten voldoen. Een docent noemde als positief punt dat het

22 174 Hoofdstuk 8 formulier ook andere criteria bevatte dan die ze zelf aandroeg, waardoor studenten op dingen geattendeerd werden waar je als docent niet aan gedacht had. Een andere docent vond dat de discussie in de feedbackgroepjes meer verdieping kreeg doordat het beoordelings-formulier gebruikt werd. Voor de docenten zelf bleken ze een hulp te zijn bij het nakijken en bij de cijferwaardering van het schrijfproduct, met uitzondering van één docent die vond dat hijzelf zoiets niet nodig had omdat de criteria in zijn hoofd zaten. Daarbij vond hij dat de studenten meer hadden aan zijn aantekeningen in het werkstuk. Een paar docenten waren bang dat de discipline die het invullen, uitdelen en innemen vereiste op den duur zou verslappen, zowel bij de studenten als bij henzelf. Een docent vond de formulieren te streng, omdat de studenten nog onvoldoende vertrouwd waren met de criteria. Het formulier voor het beoordelen van de opzet was, volgens de docenten van HA, te gesloten en daardoor uitnodigend tot een oppervlakkige beoordeling. Voor- en nadelen van peer assessment De docenten zien voor- en nadelen aan het werken met peer assessment. Als voordelen worden onder andere genoemd dat de studenten op deze manier vertrouwd raken met een manier van samenwerken die ook in de geesteswetenschappen steeds gebruikelijker wordt, dat er een structuur geboden wordt waarin de discussie in de groep gemakkelijker op gang komt en zodoende het eenrichtingsverkeer tussen docent en studenten doorbroken wordt. Men vindt dat de werkwijze de studenten meer dan gewoonlijk dwingt om zich in elkaars werk te verdiepen, zodat er een gezamenlijk gesprek over gevoerd kan worden. De docent van DS vond het jammer dat het moment van peer assessment zo laat in zijn cursus was gepland. Daardoor ontvingen de studenten zijn commentaar ongeveer gelijktijdig met dat van hun medestudenten, waardoor de peer assessment naar zijn oordeel weinig kon toevoegen. Een nadeel dat door meerdere docenten werd ervaren, is dat de docent minder begeleiding kan geven aan zwakke studenten, omdat de beschikbare contacttijd hetzelfde is gebleven en een gedeelte wordt gevuld met de mondelinge toelichting van de feedback door de studenten.

23 Leeropbrengst en waardering 175 Aanpassingen peer assessment Zeven van de negen docenten staan positief tegenover de gedachte om peer assessment als vast onderdeel in hun cursus op te nemen. De docent van de cursussen ICE en TGM zou peer assessment wel in ICE, maar niet in TGM willen opnemen, omdat de studenten er te weinig tijd voor hebben naast de andere taken die ze in de cursus moeten uitvoeren. Hij zou peer assessment in ICE ook willen gebruiken om de studenten elkaars referaten te laten beoordelen. Twee andere docenten zijn niet afwijzend, maar terughoudend. Alle docenten stellen bepaalde aanpassingen voor. Zo zou één docent de feedbackgroepjes niet meer at random in willen delen, maar zo dat de zwakkere studenten gekoppeld worden aan betere studenten. De docent van ICE zou in het vervolg wél een plenaire bespreking houden na de mondelinge toelichting. Daarnaast stelt hij voor om de uitwisseling van producten digitaal te laten verlopen. De docent van HA-1 geeft de voorkeur aan meer open beoordelingsformulieren en de docent van HA-2 zou de beoordelingsformulieren gedetailleerder willen zien. De docent van DS zou het moment van peer assessment eerder in de cursus willen laten plaatsvinden, zodat de studenten eerst elkaars feedback verwerken, waarna de docent alleen de gereviseerde versie hoeft na te kijken. De docent van HIST vindt dat de studenten eerder geïnformeerd moeten worden over de inlevertermijnen en de tijdsinvestering die peer assessment met zich meebrengt. Een aantal docenten vindt dat de docent meer gelegenheid moet hebben om de nodige begeleiding te geven. Sommigen merken op dat deze methode niet zonder meer instituutsbreed moet worden ingevoerd, dit vanwege het gevaar van overkill, maar ook omdat de uitvoering een discipline vraagt die niet voor iedereen (studenten en docenten) is op te brengen. 8.3 Samenvatting In dit hoofdstuk is de leeropbrengst en de waardering van peer assessment gepresenteerd. De leeropbrengst is beschreven in termen van de kwaliteit van de revisie, de behaalde cijferwaardering en de door studenten en docenten ingeschatte leeropbrengst en kan aldus worden samengevat. De meeste studenten gebruikten delen van het commentaar dat ze van hun medestudenten kregen bij de revisie, althans van het inhouds- en stijlgerichte commentaar. Structuurgericht commentaar is, voorzover het gege-

24 176 Hoofdstuk 8 ven werd, weinig verwerkt. De revisies variëren in omvang en diepgang. Daarbij doen zich verschillen voor tussen de ontwerpen (zie Tabel 8.10). Zo is er in TGM, HIST-1 en RP meer gereviseerd dan in de andere ontwerpen, de revisies zijn in hoofdzaak inhouds- en stijlgericht, maar ook relatief meer op structuur gericht. In RP ligt het accent in de revisie meer op stijl dan in de andere ontwerpen. De eventuele cijfervooruitgang van schrijfproducten voor en na de revisie kon alleen onderzocht worden in geval ook de conceptversie was beoordeeld. In twee cursusontwerpen was sprake van een cijfervooruitgang. Deze cijferwinst kan echter niet zonder meer aan peer assessment worden toegeschreven. In één ontwerp is de cijferwinst vooral het gevolg van de verwerking van het docentcommentaar. Waar een vergelijking met controlegroepen mogelijk was blijken de cijfers voor de eindversie van het schrijfproduct niet significant te verschillen van de cijfers voor de eindversie in de peer assessment-groep. Studenten in de peer assessment-groepen van ICE en SS hebben over het algemeen wel het idee dat hun schrijfvaardigheid is toegenomen. Wat betreft de waardering die studenten en docenten geven aan het werken met peer assessment zijn de resultaten over het algemeen positief. De studenten zagen het lezen en het beoordelen van het werk van hun medestudenten over het algemeen als een nuttige activiteit, die geen al te groot beslag legde op hun tijd. De ontvangen peer feedback werd op prijs gesteld, waarbij men het mondelinge commentaar als een belangrijke ondersteuning zag van het schriftelijke commentaar. De beoordelingsformulieren vond men een goed houvast, hoewel er ook op onvolkomenheden gewezen werd. Als voordelen van peer assessment noemden de studenten vooral dat men ideeën kan opdoen aan elkaars werkstukken. Sommige studenten vonden de afhankelijkheid van medestudenten een groot nadeel. Er is een verschil tussen de ontwerpen met betrekking tot de waardering van de inzet van medestudenten. Deze wordt negatiever gewaardeerd in de cursussen HIST-1 en HA-1. Verder zou ongeveer tweederde van de studenten vaker met peer assessment willen werken. Voor de helft daarvan zou de werkwijze moeten worden aangepast. De docenten waren over het algemeen van oordeel dat de studenten elkaar zinvol commentaar hadden gegeven, al was het vaak onvolledig,

25 Leeropbrengst en waardering 177 globaal en weinig kritisch. Degenen die ook de mondelinge feedback hadden kunnen beluisteren vonden dat het schriftelijk commentaar in de mondelinge toelichting werd aangescherpt. De docenten hadden de indruk dat de beoordelingsformulieren over het algemeen een goed houvast boden aan de studenten. Voor henzelf bleken ze een hulp te zijn bij het nakijken en bij de cijferwaardering van de schrijfproducten. Als voordelen van peer assessment worden onder andere genoemd dat er een structuur geboden wordt waarin de discussie in de groep gemakkelijker op gang komt en dat de werkwijze de studenten meer dan gewoonlijk dwingt om zich in elkaars werk te verdiepen, zodat er een gezamenlijk gesprek over gevoerd kan worden. Een paar docenten waren van oordeel dat de rol van de docent te onduidelijk is in het systeem van peer assessment. Zijzelf hadden gemerkt dat ze meer begeleiding hadden willen geven, maar dat de tijd daarvoor ontbrak nu de studenten als medefeedbackgevers ook aan bod moesten komen. Ondanks deze bedenkingen stonden de docenten over het algemeen positief tegenover de gedachte om peer assessment als vast onderdeel in hun cursus op te nemen.

26 Verwerking van de peer feedback Cijfers van de schrijfproducten Inschatting kwaliteit van de revisie door studenten Inschatting vooruitgang vaardigheden door studenten Inschatting leeropbrengst door docenten SS HA DS HIST RP ICE TGM n.a. n.a. n.a. Relatief veel revisieaanwijzingen verwerkt Relatief veel revisieaanwijzingen verwerkt Minder revisieaanwijzingen verwerkt Relatief veel revisieaanwijzingen verwerkt n.a. n.a. Cijfervooruitgang eindversie t.o.v. conceptversie, voor alle studenten Geen verschil cijfers eindversie PA-groep en controlegroep Cijfervooruitgang eindversie t.o.v. conceptversie, voor alle studenten, mede als gevolg van peer assessment Geen verschil cijfers eindversie PA-groep en controlegroep Geen verschil cijfers eindversie PA-groep en controlegroep Veel verbetering verwacht o.g.v. peer feedback HA-1: weinig verbetering o.g.v peer feedback HA-2: positief over verbetering o.g.v. peer feedback Positief over kwaliteit revisie o.g.v. peer feedback Veel verbetering verwacht o.g.v. peer feedback Positief over kwaliteit revisie o.g.v. peer feedback Positief over kwaliteit revisie o.g.v. peer feedback Weinig verbetering verwacht o.g.v peer feedback PA-groepen vinden schrijfv. heid meer verbeterd dan overige groepen 2 e versie verbeterd n.s. n.a. n.s. n.a. PA-groep vindt schrijfv.heid meer verbeterd dan contr.groep Docent HA1: werkstuk beter gestructureerd 2 e versie verbeterd Geen verschil in kwaliteit schrijfproducten PAgroep en contrgroep 2 e versie verbeterd Conceptversie niet bestudeerd; geen verschil in kwaliteit schrijfproducten PAgroep en contrgroep n.s. Conceptversie niet bestudeerd; geen verschil in kwaliteit schrijfproducten PAgroep en contrgroep

27 Waardering van studenten SS HA DS HIST RP ICE TGM Overwegend Overwegend Overwegend Overwegend positief positief m.b.t. de positief m.b.t. de positief m.b.t. de m.b.t. de gevraagde aspecteteten gevraagde aspec- gevraagde aspec- gevraagde aspecten Studenten HA-1 negatiever over inzet medestudenten; voor het overige in HA-1 en 2 positief Studenten HIST- 1 negatiever over inzet medestudenten; voor het overige in HIST-1 en 2 positief Overwegend positief m.b.t. de gevraagde aspecten Waardering van docenten PA heeft inhoudelijke interactie verbeterd; PA structureel opnemen in de cursus PA heeft de inhoudelijke interactie verbeterd; meerdere beoordelingsrondes stimuleerden de aandacht voor schrijfproces; PA structureel opnemen PA is een winstpunt PA heeft als voordeel dat de studenten met elkaar over de stof praten PA structureel opnemen in deze en in andere cursussen PA eventueel als vast onderdeel opnemen, ook voor referaten PA niet opnemen, cursus biedt daarvoor te weinig ruimte Door docenten voorgestelde aanpassingen Inbreng van de docent beter regelen Figuur 8.1 Leeropbrengst en waardering. Inbreng van de docent beter regelen: beoordelingsformulieren aanpassen PA en docentfeedback meer uit elkaar trekken Geen aanpassingen voorgesteld Bij samenstelling feedbackgroep zwakke en betere studenten aan elkaar koppelen Tijd inplannen voor plenaire nabespreking na mond. PA n.v.t. Noot. n.a.= niet geanalyseerd; n.s. = geen significant verschil.