onderwijs. Eenonderzoeknaar

Transcriptie

1 Peer assessment inuniversitair Samenvatting, conclusie en discussie onderwijs. Dit Eenonderzoeknaar hoofdstuk is een terugblik op het onder- bruikba re 9 assessment Hoofdstuk 9 zoek. Daartoe wordt eerst een samenvatting gegeven in de paragrafen 9.1 en 9.2. Paragraaf 9.1 gaat over de probleemstelling en de opzet van het onderzoek, in paragraaf 9.2 worden de resultaten belicht. De resultaten zullen in paragraaf 9.3 in verband worden gebracht met de ontwerpen. Peer in universitai r ontwerpkenmerken. Hierin zullen conclusies worden getrokken over welke kenmerken van belang zijn bij het ontwerp van onderwijs waarin peer assessment wordt ingezet en aanbevelingen worden gedaan voor de onderwijspraktijk. Tot slot volgt een kritische beschouwing in onderwijs. Eenonderzoeknaar paragraaf 9.4, waarin kanttekeningen worden geplaatst bij de opzet van het onderzoek. Tevens komt de generaliseerbaarheid van de resultaten ter sprake en zullen aanbevelingen bruikbare ontwerpen. Peer worden gedaan voor vervolgonderzoek. assessment in universitair onderwijs. Eenonderzoeknaar bruikbare ontwerpen. Peer assessment in universitair

2

3 Samenvatting, conclusie en discussie Samenvatting van de probleemstelling en de opzet van het onderzoek Academische vorming is onlosmakelijk verbonden met de ontwikkeling van academische vaardigheden, zoals schrijfvaardigheid. Leren schrijven op een aanvaardbaar academisch niveau gaat hand in hand met een diepere beheersing van de disciplinaire kennis. We spreken hier over een vaardigheid die niet in het bestek van één cursus aan te leren is, maar die in alle fasen van het curriculum ondersteund moet worden. Veel universitaire opleidingen herzien momenteel hun programma s en zoeken naar begeleidingsvormen voor het ontwikkelen van academische vaardigheden. Dit proefschrift gaat over peer assessment, als een werkwijze die het schrijfonderwijs in het perspectief van academische vorming zou kunnen verbeteren. In het bijzonder gaat het over de vraag welke kenmerken een effectief onderwijsontwerp voor peer assessment heeft. De basisgedachte achter peer assessment is dat studenten elkaars werk beoordelen en daarvan leren. Een korte termijneffect is dat ze hun schrijfproduct kunnen verbeteren, als ze de kans krijgen om het commentaar van hun medestudenten te verwerken. Een mogelijk effect op langere termijn is dat het toepassen van de beoordelingscriteria op werk van andere studenten een proces van internalisering op gang brengt, waardoor studenten leren hun eigen producten beter te beoordelen. Voor de docenten zou het gevolg kunnen zijn dat zij een deel van het diagnosticeren en bijsturen aan de studenten kunnen overlaten, waardoor zij meer tijd kunnen besteden aan expertbegeleiding. Het idee om met peer assessment te gaan werken vond gehoor bij de leiding en een aantal docenten van de opleiding Geschiedenis van de Universiteit Utrecht, en zij hebben dit in hun cursus toegepast. Bestaand onderzoek naar peer assessment gaf evenwel weinig aanwijzingen voor de organisatie ervan. Hoe kan de leersituatie op een manier worden ingericht die de studenten ertoe aanzet om serieus commentaar te geven op het werk van hun medestudenten en er ook van leren? Om hier meer zicht op te krijgen is het plan om peer assessment te gaan toepassen uitgewerkt tot een praktijkstudie, waarin zeven verschillende ontwerpen voor peer assessment zijn ontwikkeld, geïmplementeerd en geëvalueerd. De eerste groep ontwerpvariabelen heeft betrekking op de functie van

4 184 Hoofdstuk 9 peer assessment als beoordelingsinstrument. Zo hebben de studenten in de verschillende ontwerpen producten beoordeeld van verschillende omvang en in verschillende stadia (opzet, hoofdstuk, conceptversie van het werkstuk). Daarnaast werd de conceptversie al dan niet door de docent van voorzien en vormde de peer assessment al dan niet een extra beoordelingsmoment. De tweede groep variabelen heeft te maken met de interactie van de studenten. In de meeste ontwerpen beoordeelden de studenten elkaar wederzijds, maar in sommige niet. Ook verschilde de mate van beslotenheid waarin de peer assessment plaatsvond. Ten derde is er gevarieerd op de samenstelling van de -groepen. Dit gold met name ten aanzien van de groepsomvang en het gezamenlijk of individueel uitvoeren van de beoordeling. De vierde groep ontwerpvariabelen betrof elementen van verplichting en beloning. In de meeste ontwerpen werd een deel van de peer assessment tijdens de onderwijsbijeenkomst uitgevoerd en een deel daarbuiten. In een enkel ontwerp werd de inzet voor peer assessment gestimuleerd door een cijfer te geven voor de beoordeling. De ontwerpvariabelen en hun uitwerking zijn opgenomen in het eerste deel van Figuur 9.2. De vraag naar een optimaal ontwerp voor peer assessment in universitair onderwijs is geconcretiseerd in zes onderzoeksvragen, waarvan de eerste vijf met betrekking tot elk ontwerp afzonderlijk zijn gesteld. De term peer assessment wordt gebruikt als de procedurele kant van de begeleiding door medestudenten centraal staat. Daarnaast gebruiken we de term peer als de aandacht gericht is op de die de studenten elkaar in het kader van peer assessment geven. De onderzoeksvragen zijn: 1. Op welke wijze verloopt de uitvoering van peer assessment en in welke mate verloopt de uitvoering zoals bedoeld? 2. Welke samenstelling heeft de peer? 3. Hoe brengen de studenten hun aan elkaar over? 4. Wat is de leeropbrengst van peer assessment in deze vorm? 5. Hoe waarderen studenten en docenten de inzet van medestudenten bij leren schrijven? De antwoorden op bovengestelde vijf onderzoeksvragen per ontwerp zijn naast elkaar gelegd en met elkaar vergeleken, om een antwoord te

5 Samenvatting, conclusie en discussie 185 krijgen op de vraag welke ontwerpkenmerken bijdragen aan een optimaal onderwijsontwerp van peer assessment: 6. Op welke wijze verschillen de zeven ontwerpen in de beantwoording van bovenstaande vijf onderzoeksvragen en op welke wijze zijn deze verschillen te relateren aan elementen uit het onderwijsontwerp? De gegevens voor de beschrijving van de wijze waarop de procedure van peer assessment in het algemeen is uitgevoerd, zijn hoofdzakelijk verkregen met behulp van observatie van de werkgroepen. Gegevens met betrekking tot de inschatting van de studenten van de leeropbrengst en hun waardering, zijn verkregen door middel van een schriftelijke vragenlijst, die is afgenomen bij de studenten na de peer assessment. De gegevens aangaande de inschatting van de leeropbrengst door docenten en hun waardering zijn verkregen door middel van een interview met de docent na afloop van de cursus. Om de kwaliteit van de revisie te kunnen bepalen zijn alle schrijfproducten verzameld. De benodigde gegevens met betrekking tot de samenstelling van de schriftelijke werden verkregen door kopieën te verzamelen van de ingevulde beoordelingsformulieren. Gegevens over de mondelinge zijn verkregen door deze met een bandrecorder te registeren en te observeren tijdens de mondelinge toelichting van de peer. In totaal namen 168 studenten en 9 docenten deel aan het onderzoek. Van de groep studenten namen er 131 deel aan werkgroepen met peer assessment. De overige 37 studenten vormden controlegroepen, waarin niet met peer assessment werd gewerkt. Van de respondenten volgde 58% het zogeheten vaste programma van Geschiedenis en 42% het specialisatieprogramma. Tot die laatste groep behoorden ook studenten die de specialisatie volgden vanuit een andere opleiding dan Geschiedenis, zoals met name Theaterwetenschap, Algemene Letteren en Muziekwetenschap. Om de onderzoeksvragen te kunnen beantwoorden zijn de data als volgt geanalyseerd. Ter beantwoording van de eerste onderzoeksvraag is de uitvoering van de peer assessment-procedure beschreven met behulp van inhoudsanalyse en beschrijvende statistiek. Ten behoeve van de beantwoording van de tweede onderzoeksvraag is de samenstelling van de

6 186 Hoofdstuk 9 peer (schriftelijk en mondeling) geanalyseerd. Vervolgens is per ontwerp nagegaan hoe de peer was samengesteld met het oog op de te vervullen functies. Hetzelfde is gedaan ten aanzien van de onderwerpen waarop de betrekking heeft (het aspect). Ter beantwoording van de derde onderzoeksvraag zijn de posities beschreven die de studenten in de verschillende ontwerpen innemen tijdens het overbrengen van hun. Voor de analyse van de gegevens met betrekking tot de beantwoording van de vierde en vijfde onderzoeksvraag, die betrekking hebben op de leeropbrengst en op de waardering, is hoofdzakelijk gewerkt met inhoudsanalyse en beschrijvende statistiek. Voor de beantwoording van de zesde onderzoeksvraag, waarin de verschillende ontwerpen met elkaar vergeleken worden, zijn de data gevat in matrices, waarbij de verschillende ontwerpen en de betreffende variabelen de ingangen waren. De kwaliteit van de inhoudsanalyse en van de analyse-instrumenten is gecontroleerd door middel van interbeoordelaarsbetrouwbaarheid, member check en peer debriefing. Eventuele verschillen tussen de ontwerpen die betrekking hebben op de kwantitatieve data zijn getoetst met behulp van (non-)parametrische statistische toetsen, op een significantieniveau van α = Samenvatting van de resultaten In deze paragraaf worden de uitkomsten van het onderzoek per onderzoeksvraag samengevat. Deze samenvatting wordt gepresenteerd in Figuur 9.2. De ontwerpkenmerken zijn samengevat in het eerste deel hiervan Uitvoering van peer assessment Over het geheel genomen is de peer assessment door alle docenten en door het merendeel van de studenten grotendeels volgens plan uitgevoerd. De resultaten omtrent de uitvoering zijn samengevat in het tweede deel van Figuur 9.2. Ongeveer 80% van de studenten leverde op tijd een conceptversie in bij de medestudenten, kreeg daarop van minstens één medestudent en beoordeelde het schrijfproduct van minstens één medestudent. Daarvan kreeg 65% van de studenten het aantal beoordelingen dat de procedure voorschreef. In elke cursus waren er

7 Samenvatting, conclusie en discussie 187 studenten die minder beoordelingen uitvoerden dan de bedoeling was, soms buiten hun toedoen omdat ze het te beoordelen schrijfproduct niet hadden ontvangen. Slechts 4 % van degenen die op tijd een conceptversie voorlegden, kreeg geen van een medestudent. De studenten namen elkaar serieus, men ging over het algemeen zakelijk met elkaar om en het gebeurde maar een enkele keer dat de extreem negatief werd overgebracht. De sfeer tijdens de mondelinge toelichting in de groepjes was doorgaans taakgericht en levendig. De tijd die de studenten naar eigen zeggen gemiddeld per cursus hadden besteed aan het lezen en het beoordelen van het werk van hun medestudenten benaderde in de meeste ontwerpen de tijd die wij minimaal nodig achtten om tot een serieuze beoordeling te kunnen komen. De introductie van peer assessment verliep zonder veel problemen. Voorzover er door studenten bij de introductie negatief gereageerd werd op het plan om met peer assessment te gaan werken, had dat meestal te maken met het feit dat de studenten inzagen dat ze eerder aan hun werkstuk moesten beginnen dan ze van plan waren. Over het algemeen hadden de studenten snel door waar het om ging. Ze stelden weinig vragen over de procedure en konden vrij gemakkelijk met de beoordelingsformulieren overweg. Tweederde van de studenten verklaarde, nadat zij het werk van hun medestudenten hadden beoordeeld, zichzelf voldoende in staat om het werk van medestudenten te beoordelen. Dat betekent dat zij zich niet voor een onuitvoerbare taak gesteld hadden gevoeld. Anderzijds is het percentage studenten dat zich beoordelingsbekwaam vond niet zo groot dat hieruit zou blijken dat een training in het beoordelen overbodig zou zijn. Het feit dat de beoordeling niet anoniem plaatsvond, vonden de meeste studenten geen probleem. Dit alles duidt er ons inziens op dat we met een simpel en robuust concept hebben gewerkt, dat overeind blijft ook als niet alle studenten precies doen wat er gevraagd wordt. De docenten hielden zich over het algemeen goed aan de afgesproken procedure, maar soms bood het plan in de ogen van de docent te weinig mogelijkheden om de student tijdig te kunnen corrigeren en greep de docent meer in dan we (als ontwerpers) graag hadden gezien. Dit was met name het geval in de cursussen die in het curriculum de functie hadden van schrijftraining (SS, HA, DS en RP).

8 188 Hoofdstuk 9 De tijd die de docenten hadden besteed aan het nakijken en het geven van op schrijfproducten was naar hun eigen oordeel niet verminderd, maar dat had ook niemand van hen verwacht. Sommigen hadden zelfs meer tijd dan normaal geïnvesteerd, omdat ze twee versies van het schrijfproduct in plaats van één hadden becommentarieerd. Eén docent had daarnaast ook de kwaliteit van de peer beoordeeld De samenstelling van de peer De resultaten rond de samenstelling van de zijn samengevat in het derde deel van Figuur 9.2. In hun schriftelijke waren de studenten vooral gericht op het beoordelen van de tekst. In de mondelinge toelichting besteedden ze vooral aandacht aan niet-productgerichte en aan het beargumenteren van hun oordeel en het geven van suggesties voor verbetering. Vanuit de te vervullen functies gezien is de mondelinge toelichting dan ook een belangrijke aanvulling gebleken op de schriftelijke. Daarnaast werd er tijdens de mondelinge ook gesproken over zaken die niet in het schrijfproduct staan, maar wel gerelateerd zijn aan de inhoud ervan of aan de vakinhoud. Een uitzondering hierop is het cursusontwerp SS waarin de studenten de opdracht kregen om hun mondelinge in de vorm van een referaat te presenteren. Als gevolg van deze opzet, waarin de mogelijkheid tot interactie tussen de gever en de nemer zeer beperkt was, bleek de peer sterk op Beoordelen te zijn geconcentreerd en kwamen de functies Verhelderen en Reviseren weinig naar voren. De studenten brachten zelden iets te berde over het schrijfproces. Dit zou onder meer verklaard zou kunnen worden uit het feit dat het onderwijs dat de meeste studenten hebben gehad weinig procesgericht is, waardoor zij -zonder training of instructie- dergelijke niet spontaan geven. De studenten gaven vooral op de inhoud en de stijl van het schrijfproduct. De structuur kreeg weinig aandacht, in de schriftelijke noch in de mondelinge. Het kan zijn dat het beoordelen van de structuur meer inspanning vraagt dan het beoordelen van inhouds- en stijlaspecten. Om de structuur te beoordelen moet het schrijfproduct immers grondig worden doorgenomen en op innerlijke samenhang wor-

9 Samenvatting, conclusie en discussie 189 den doordacht. Wellicht is hiervoor meer voorbereiding vereist en moet de instructie aan studenten worden verbeterd. Het product moet zich er ook voor lenen. In één cursusontwerp gaven de studenten eerst op de opzet van het werkstuk. Deze werkwijze leidde ertoe dat de studenten elkaar meer gaven op de structuur van het schrijfproduct. Een conceptversie die nagenoeg af is, nodigt niet uit tot commentaar op de structuur. Anderzijds geeft een nog niet met tekst aangeklede schematische opzet de studenten waarschijnlijk te weinig aanknopingspunten. Ook het beoordelingsformulier zou op dit punt verbeterd kunnen worden. Daarnaast moeten de studenten de tijd krijgen en bereid zijn om de vereiste inzet hiervoor aan de dag te leggen. Er is sprake van een significante relatie tussen de wijze van geven en de functies die worden uitgeoefend. Hetzelfde geldt ten aanzien van het aspect. De kans dat alle functies worden vervuld en dat daarbij alle tekstuele aspecten aan bod komen, is groter bij een combinatie van schriftelijke en mondelinge De interactie tijdens het geven De typologie van Lockhart en Ng (1995) is gebruikt om verschillende interactiepatronen te kunnen onderscheiden in de wijze waarop de studenten hun aan elkaar overbrengen. De typologie geeft ook een indicatie voor de onderlinge verhouding waarin de functies vervuld zouden moeten worden om van een goede interactie te kunnen spreken. Er van uitgaande dat cognitieve ontwikkeling en leren schrijven tevens sociale processen zijn, die meer opleveren als er geen machtsverschil is tussen de actoren, zouden de studenten het meest van elkaar moeten leren als zij een ontdekkende positie innemen. Daarin wordt de nemer gestimuleerd om over zijn tekst te praten, waardoor hij beter begrijpt wat hij eigenlijk wil zeggen. Dat betekent dat de gever er vooral op gericht is om de tekst samen met de nemer te verhelderen en te verbeteren. De resultaten van de toepassing van de typologie op de interactie tussen de studenten zijn samengevat in het vierde deel van Figuur 9.2. In de praktijk volgde ruim de helft van de studenten het evaluatieve patroon. De verwachting dat studenten die onervaren zijn in het geven van geneigd zijn om het nakijkgedrag van hun docent te imiteren - dat kan worden getypeerd als evalua-

10 190 Hoofdstuk 9 tief - lijkt hiermee bevestigd. Daarbij tonen de studenten zich evaluatiever dan de meeste docenten, doordat ze vooral het rode potlood overnemen en overslaan wat docenten bij hun beoordeling meestal ook doen: vragen stellen over de tekst en suggesties doen voor verbetering. Anderzijds, we weten niet hoe de uitkomst was geweest als de studenten een minder gesloten taakinstructie hadden gekregen. Dat wil zeggen, als ze niet in de eerste plaats aan de hand van een voorgestructureerd formulier een schrijfproduct moesten beoordelen. In dat licht gezien is het verrassend dat een kwart van de werkstukbesprekingen wel op een min of meer ontdekkende manier is gevoerd. Daaruit blijkt dat studenten, zonder training en instructie op dit punt, in staat zijn om elkaar op een meer open manier te geven De leeropbrengst van studenten De leeropbrengst van de studenten is bepaald op grond van de kwaliteit van de revisie, de behaalde cijfers voor het werkstuk en de inschatting die de studenten respectievelijk docenten maakten van de leeropbrengst als gevolg van peer assessment. De resultaten zijn samengevat in het vijfde deel van Figuur 9.2. De meeste studenten gebruikten de peer bij de revisie; gemiddeld werd een derde van alle aanwijzingen van medestudenten verwerkt. Dit betekende niet dat de studenten die aanwijzingen zonder meer overnamen. De meeste revisies hebben betrekking op inhoud en stijl. Het gebeurde sporadisch dat studenten revisies aanbrachten die niet te herleiden waren tot de ontvangen (hetzij van medestudenten hetzij van de docent). In twee cursusontwerpen kon een vergelijking worden gemaakt tussen het cijfer voor en na revisie. De cijfervooruitgang die bij nagenoeg alle studenten in deze cursussen werd geconstateerd is in één cursusontwerp aantoonbaar het gevolg van peer assessment. In drie cursusontwerpen was het mogelijk om de cijfers voor het schrijfproduct in de peer assessment groepen te vergelijken met het behaalde cijfer in de controlegroep. Daaruit kwamen geen significante verschillen naar voren. De meeste studenten dachten dat hun tweede versie beter was dan de eerste als gevolg van hun verwerking van de peer. De mate waarin ze die mening zijn toegedaan, verschilt per cursus.

11 Samenvatting, conclusie en discussie 191 Voorzover de docenten de eerste versies van de schrijfproducten hebben bestudeerd, constateerden ook zij dat de kwaliteit van de gereviseerde versie over het algemeen beter was. Naar hun oordeel kon dit het gevolg zijn van de verwerking van peer assessment, maar ook van andere factoren zoals hun eigen commentaar op de conceptversie en het feit dat de studenten extra tijd kregen om hun stuk te reviseren. De docenten die alleen de eindversies van de peer assessment-groep hadden bestudeerd, vonden deze niet beter dan de schrijfproducten van de controlegroep. Al met al kunnen we over de leeropbrengst van de ontwerpen van peer assessment gematigd positieve conclusies trekken. Het lijkt erop dat de betrokkenen inschatten dat de schrijfproducten zijn verbeterd. Deze opbrengst is echter niet of nauwelijks terug te vinden De waardering door studenten en docenten De resultaten van de analyse van de waardering van studenten en docenten zijn samengevat in het zesde deel van Figuur 9.2. Het werken met peer assessment werd door de studenten ten aanzien van alle aspecten overwegend positief gewaardeerd. Ze hadden het lezen en het beoordelen van het werk van hun medestudenten als een nuttige activiteit ervaren en vonden de die ze van hen hadden gekregen over het algemeen bruikbaar. De mondelinge toelichting op de schriftelijke werd als een waardevolle aanvulling gezien. De vragen op de beoordelingsformulieren bleken een goed houvast voor de beoordeling. Als voordelen van peer assessment noemden de studenten vooral dat men ideeën kon opdoen aan elkaars werkstukken. Als een belangrijk nadeel werd genoemd dat het lezen en het beoordelen tijd kostte die niet vooraf was ingecalculeerd. Ongeveer twee derde van de studenten zou vaker met peer assessment willen werken. Voor de helft daarvan zou de werkwijze moeten worden aangepast. De suggesties die daarbij werden gegeven waren individueel en werden zelden door meerdere studenten naar voren gebracht. Bij elkaar genomen wezen ze niet in een bepaalde richting waarin het betreffende ontwerp zou kunnen worden verbeterd. De docenten vonden de schriftelijke van studenten vaak te summier en te globaal. Degenen die ook de mondelinge hadden kunnen beluisteren, vonden dat het schriftelijk commentaar in de mondelinge toelichting de nodige aanscherping kreeg. Sommige docen-

12 192 Hoofdstuk 9 ten zagen peer assessment als een goede manier om het eenrichtingsverkeer tussen docent en student te doorbreken. Anderen constateerden dat de werkwijze de studenten ertoe gebracht had om zich daadwerkelijk in elkaars werk te verdiepen, zodat er een gezamenlijk gesprek over gevoerd kon worden. Een paar docenten hadden moeite om hun rol te bepalen in het systeem van peer assessment. Zijzelf hadden gemerkt dat ze meer begeleiding hadden willen geven dan mogelijk was, nu de studenten als medegevers ook aan bod moesten komen. Ondanks deze bedenkingen staan de docenten over het algemeen positief tegenover de gedachte om peer assessment als vast onderdeel in hun cursus op te nemen. 9.3 Cruciale ontwerpkenmerken van peer assessment Met betrekking tot de eerste vijf onderzoeksvragen zijn er per ontwerp verschillende resultaten verkregen. In deze paragraaf worden deze besproken aan de hand van de verschillende ontwerpkenmerken. De verschillen tussen de ontwerpen met betrekking tot de resultaten worden per onderzoeksvraag samengevat in Figuur 9.2, achteraan dit hoofdstuk. Ten slotte zal een optimaal ontwerp worden geschetst De relatie tussen de ontwerpkenmerken en de resultaten De ontwerpen verschillen van elkaar doordat er gevarieerd is op een aantal ontwerpvariabelen uit de typologie van Topping. De wijze waarop dat gebeurd is, werd beschreven en toegelicht in hoofdstuk 3. In onderstaande uiteenzetting gaan we in op de relatie tussen de verschillende waarden die aan de ontwerpvariabelen is gegeven. De ontwerpkenmerken worden gepresenteerd in het eerste deel van Figuur 9.2. Ontwerpvariabele 4: het product In de ontwerpen waarin de studenten een product van minimaal 15 bladzijden moesten beoordelen, bleef de geïnvesteerde tijd voor het lezen en het beoordelen achter bij de norm. In de ontwerpen met kleinere schrijfproducten kwam de tijd die de studenten besteedden aan het uitvoeren van de peer assessment meer overeen met de norm. Het type product had geen invloed op de beoordeling, behalve waar studenten een opzet van een werkstuk voorgelegd kregen. Voor het beoordelen van de opzet

13 Samenvatting, conclusie en discussie 193 van een werkstuk is een aanpassing nodig van de instructie aan de studenten. Daarvoor is ook een aanpassing nodig van het beoordelingsformulier. Ontwerpvariabele 5: relatie met docentbeoordeling In de ontwerpen waarin de docent de conceptversies becommentariëerde had de peer assessment minder effect. Met name wanneer het moment waarop zij commentaar kregen van de docent erg dicht lag bij het moment van de peer assessment, verwerkten de studenten minder commentaar van hun medestudenten en volgden zij meer de aanwijzingen van de docent. In de ontwerpen waarin de studenten een cijfer kregen voor hun conceptversie waren de schrijfproducten niet opvallend beter uitgewerkt dan in de ontwerpen waarin de conceptversie niet met een cijfer werd beloond. De meeste studenten legden hun medestudenten in alle ontwerpen doorgaans een product voor dat zover was uitgewerkt dat er zinvolle op gegeven kon worden, ongeacht of de docent hun eerste versie beoordeelde. Ontwerpvariabele 7: oordeelsrichting In de ontwerpen waarin de studenten elkaar wederzijds beoordeelden, vereiste de uitwisseling van de schrijfproducten minder coördinatie van de docent dan bij niet-wederzijdse beoordeling, omdat het voor de studenten duidelijk was dat het een kwestie was van gelijk oversteken tussen beoordelaars en beoordeelden. Ook de interactie tussen gevers en nemers is bij wederzijdse beoordeling gemakkelijker te organiseren. Omdat de interactie bij niet-wederzijdse beoordeling niet goed organiseerbaar is, is de kans groot dat de hoofdzakelijk beoordelingsgericht is. Ontwerpvariabele 8: privacy In de meeste ontwerpen werd de mondelinge peer in de groep gegeven. Daarnaast had de docent een kopie van de schriftelijke ontvangen. De studenten hadden er over het algemeen geen moeite mee dat de sterke en zwakke kanten van hun schrijfproduct in die kleine kring van twee tot vier studenten werden besproken. Er zijn geen aanwijzingen dat de studenten er problemen mee hadden om in het

14 194 Hoofdstuk 9 openbaar van medestudenten te krijgen. Wel is het zo dat waar de (mondelinge) peer uitsluitend in het openbaar gegeven werd (in het ontwerp SS), er veel minder gelegenheid was voor interactie tussen de gever en de nemer. Daar was geen tijd voor, omdat alle studenten in de beperkte tijd die er was naar de op alle schrijfproducten moesten luisteren. De was ook eenzijdiger van samenstelling, met weinig aandacht voor verheldering en revisie, doordat er weinig interactie met de nemer was. Ontwerpvariabele 9: contact De combinatie van schriftelijke en mondelinge blijkt essentieel om de volledigheid van de te bewerkstelligen, doordat in de mondelinge toelichting ook andere productgerichte functies aan bod komen als Toelichten, Verhelderen en Reviseren. Daarnaast komen tijdens het gesprek ook niet-productgerichte functies aan bod, waarbij niet de tekst maar de vakinhoud vaak onderwerp van gesprek is. In de cursusontwerpen waarin weinig of geen mogelijkheden waren ingeroosterd voor de studenten om de peer onderling te bespreken, was de relatief eenzijdig op Beoordelen gericht. Ontwerpvariabele 11: bekwaamheid In geen enkel ontwerp waren de studenten onbekend met het onderwerp van het schrijfproduct dat ze moesten beoordelen. We weten dus niet hoe peer assessment uitpakt als de studenten weinig weten van elkaars thema. De studenten hadden meestal wel enige achtergrondkennis van de onderwerpen waarover geschreven werd, omdat die behandeld was in de cursus. Over het algemeen bleek het geen belemmering te zijn dat de studenten niet volledig waren ingevoerd in elkaars onderwerp. De meeste studenten vonden dat ze zinvol commentaar hadden gekregen. We hadden verwacht dat de, naarmate men minder bekend was met de inhoud, meer op stijl gericht zou zijn, maar dat was niet zo. In twee ontwerpen hadden de studenten hetzelfde bronnenmateriaal bestudeerd en waren ze in principe dus volledig ingevoerd in elkaars onderwerp, maar daar was de niet inhoudsgerichter dan in de andere ontwerpen.

15 Samenvatting, conclusie en discussie 195 Ontwerpvariabele 12: constellatie van de beoordelaars In de ontwerpen waarin de docent medebeoordelaar was, deed de peer er voor de studenten minder toe (zie bij relatie docentbeoordeling ). Waar de docent participeerde in de groep bleek dit ten koste te gaan van de inbreng door de studenten, waardoor deze minder aan het elaboreren van de stof toekwamen. Waar het de bedoeling was dat de studenten de beoordeling met een medestudent zouden opstellen is dit meestal individueel gebeurd, volgens de studenten omdat men het lastig vond om daar een afspraak voor te maken. Uit de paar keer dat studenten wel gezamenlijk één oordeel opstelden kan op basis van de beschikbare data niets geconcludeerd worden over de leerzaamheid ervan. Ontwerpvariabele 13: constellatie beoordeelden De beoordeling vond in de meeste ontwerpen plaats in kleine groepen van twee, drie of vier studenten, waarin men elkaar wederzijds beoordeelde. Daarbij was bij het bepalen van de groepsgrootte rekening gehouden met de omvang van de schrijfproducten. Een groepsgrootte van drie tot vier studenten bleek goed te werken. Elke student kreeg doorgaans van minstens twee leden van het groepje, waardoor ze de mogelijkheid hadden om de commentaren met elkaar te vergelijken en beter de relevantie ervan in te schatten. De beoordelaars stelden hun commentaar vaak nog bij tijdens de mondelinge, naar aanleiding van wat ze de anderen in het groepje hoorden zeggen. In de tweetallen was men aangewezen op de inzet en de beoordelingsbekwaamheid van één medestudent. Een dergelijke constellatie is kwets- Ontwerpkenmerk 14: plaats baar. In de meeste ontwerpen was het de bedoeling dat de studenten de schriftelijke peer assessment buiten contacttijd uitvoerden. De mondelinge toelichting was gepland in de onderwijsbijeenkomst. In één ontwerp (de cursus TGM) was geen tijd voor mondelinge toelichting gereserveerd in contacttijd. Omdat de studenten elkaar niet wederzijds beoordeelden en de beoordelingen van student tot student op een ander moment in de cursus werden uitgevoerd, was de mondelinge toelichting overgelaten aan eigen initiatief van de studenten. Het gevolg was dat de helft van de

16 196 Hoofdstuk 9 schriftelijke beoordelingen niet werd uitgevoerd en dat de beoordelingen die wel waren uitgevoerd, niet mondeling werden toegelicht. Vermoedelijk ontbrak de prikkel daartoe, omdat de studenten niet merkten dat peer assessment een deel was van het onderwijs. Ontwerpvariabele 17: beloning In één van de ontwerpen is gewerkt met beloning van de schriftelijke in de vorm van een cijfer. Het is niet zichtbaar geworden dat de studenten hier meer werk maakten van de beoordeling. Wel hebben ze veel tijd besteed aan het lezen en het beoordelen van het werk van hun medestudenten. In deze vorm kostte het de docent veel tijd; om de kwaliteit van de te kunnen beoordelen, moest hij ook de conceptversie bestuderen Optimaal ontwerp van peer assessment Nu uit het onderzoek naar voren komt welke ontwerpkenmerken de uitvoering en de resultaten van peer assessment ondersteunen, is het mogelijk om een optimaal ontwerp voor peer assessment te formuleren. De ontwerpkenmerken van een optimaal ontwerp worden samengevat in Figuur 9.1. Cursus X (4) Product Conceptversie artikel of werkstuk( 5-8 pp.) (5) Relatie docentbeoordeling Aanvullend; extra beoordeling (7) Oordeelsrichting Wederzijds (2 beoordelingen) (8) Privacy Vertrouwelijk (binnen de groep) (9) Contact Schrift. en mond.; plen. bespreking o.l.v. docent (11) Bekwaamheid At random o.g.v. verwant of zelfde onderwerp (12) Constellatie beoordelaars Kleine groepen (3 studenten) (13) Constellatie beoordeelden Dezelfde kleine groepen (14) Plaats Schrift. buiten resp. mond. in contacttijd (17) Beloning Geen beloning van deelname aan peer assessment Figuur 9.1 Kenmerken van een optimaal ontwerp van peer assessment. We stellen ons een cursus voor in het tweede opleidingsjaar van een universitaire opleiding op het terrein van de letteren of sociale wetenschap. De studenten moeten een bepaalde hoeveelheid literatuur of ander bronnenmateriaal op een zelfstandige manier verwerken. Ze geven daar-

17 Samenvatting, conclusie en discussie 197 van blijk door een artikel van minimaal vijf en maximaal acht bladzijden te schrijven voor een (nader aan te geven) tijdschrift. De studenten beoordelen elkaars conceptversie in groepjes van drie, ze doen dat als volgt. Elke student beoordeelt twee conceptartikelen, eerst schriftelijk, buiten de onderwijsbijeenkomst. Ze gebruiken daarvoor de lijst criteria die de docent gebruikt bij de beoordeling van de eindversie. Deze lijst is in een van de eerste onderwijsbijeenkomsten door de docent met hen besproken. Vervolgens lichten de studenten hun schriftelijke beoordeling mondeling in de groep toe. Dit gebeurt in de onderwijsbijeenkomst die volgt nadat de schriftelijke beoordeling werd uitgevoerd. De mondelinge toelichting wordt afgesloten met een plenaire bespreking onder leiding van de docent waarin problemen uit de groepjes waar men onderling niet uitkwam, besproken worden. Daarna reviseren de studenten hun artikel en leveren het op de afgesproken tijd in bij de docent. De docent beoordeelt alleen de eindversie. De peer assessment hoeft niet beperkt te blijven tot een eenmalige uitvoering, men kan er ook voor kiezen om de studenten twee of meer malen eenzelfde of ander tussenproduct te laten beoordelen. We stellen ons een derdejaarscursus voor waarin de studenten moeten leren om een onderzoeksverslag te schrijven op basis van literatuuronderzoek. De opdracht voor de studenten is om een geschikt onderwerp te kiezen dat past binnen het inhoudelijke kader van de cursus. Vervolgens moeten ze dit onderwerp transformeren tot een hanteerbare probleemstelling en die in het eerste deel van de cursus uitwerken tot een onderzoeksopzet. De studenten beoordelen vervolgens, in groepjes van drie of eventueel vier, elkaars opzet met daarin als kernelementen de probleemstelling, de uitwerking daarvan in deelvragen en de inhoudsopgave van het daarna te schrijven onderzoeksverslag. Zij doen dat eerst schriftelijk en lichten hun beoordeling in de kleine groepen mondeling aan elkaar toe. Enige tijd daarna beoordelen zij elkaars uitwerking van een van de deelvragen in de vorm van een paragraaf of hoofdstuk. In de resterende tijd wordt de rest van het werkstuk afgemaakt en ter beoordeling aan de docent voorgelegd Aanbevelingen voor de onderwijspraktijk Bij de presentatie van de resultaten zijn problemen gesignaleerd, die niet

18 198 Hoofdstuk 9 of niet alleen te verhelpen zijn door middel van een goed ontwerp van de peer assessment-procedure. We zetten de belangrijkste op een rij en proberen een oplossing te geven. 1. Hoe te voorkomen dat de studenten niet hun best doen op hun conceptversie en maar wat inleveren? In dit onderzoek is niet gebleken dat de studenten geen serieuze conceptversie inleveren als ze weten dat die alleen beoordeeld wordt door medestudenten. Misschien droeg het feit dat ze een kopie aan de docent moesten sturen eraan bij dat er over het algemeen behoorlijk uitgewerkte producten werden voorgelegd. Ze wisten nu niet precies wat de docent met hun conceptversie zou doen, althans niet in de cursusontwerpen waarin de docent geen cijfer gaf voor de conceptversie en/of schriftelijke. Dus waarschijnlijk zetten ze zich in zoals ze dat in een situatie zonder peer assessment ook gedaan zouden hebben. De vraag is hoe het systeem op den duur gaat werken. Blijven de studenten voldoende aandacht aan hun conceptversie besteden als ze weten dat er geen stok achter de deur is in de vorm van een cijfer of van de docent? De kans is aanwezig dat ze het echte schrijfwerk pas doen na de peer assessment. Op zichzelf hoeft dat geen verkeerde ontwikkeling te zijn, mits ze het denkwerk maar niet uitstellen en tijdig aan hun medestudenten een product voorleggen dat zinvol becommentarieerd kan worden. Dat de studenten hun denkwerk op tijd doen, zodat ze van elkaars kunnen profiteren, kan bevorderd worden door ze elkaar geen conceptversie, maar een (als inleiding geschreven) ontwerp van hun product voor te laten leggen. Een conceptversie die nagenoeg af is heeft als voordeel dat er meer aanknopingspunten zijn voor gedetailleerde. Het is echter ook een nadeel als een product al zover af is, omdat de schrijver dan minder geneigd is om er nog veel aan te doen. 2. Hoe te bevorderen dat studenten elkaar ook structuurgerichte geven? Geef de studenten gerichte instructie met betrekking tot wat het inhoudt om commentaar te geven op de structuur van een tekst: aanwijzingen voor het analyseren van de structuur en voor het overwegen van alternatieven. Laat vervolgens de tekst in meerdere fasen door medestudenten becommentariëren: bijvoorbeeld eerst het ontwerp van het schrijfpro-

19 Samenvatting, conclusie en discussie 199 duct (uitgeschreven als inleiding), waarbij op de structuur nog kan worden verwerkt en commentaar op stijlaspecten nog even kan wachten, en daarna een hoofdstuk of de conceptversie van het onderzoeksverslag. De studenten leren dan hun commentaar te prioriteren en af te stemmen op de schrijffase waarin iemand zich bevindt. Dat helpt ook om meer inzicht in en meer greep te krijgen op het eigen schrijfproces. 3. Welke rol is er voor de docent in het systeem van peer assessment? De docent brengt zijn expertise in op het moment dat de studenten met elkaar niet meer verder komen. Problemen waar de groepjes tijdens de sessies zelf niet uitkomen, kunnen besproken worden in een plenaire nabespreking onder zijn leiding en met zijn inbreng. Eventueel kan hij sommige studenten uitnodigen voor een individueel gesprek als hij ziet dat er problemen zijn waar medestudenten niet genoeg hulp kunnen bieden en plenaire behandeling niet functioneel is. Voor studenten die dat willen, is hij individueel te consulteren. Afhankelijk van het soort problemen dat hij krijgt voorgelegd, zou hij hierbij als voorwaarde kunnen stellen dat de studenten eerst de leden van hun groepje hebben geconsulteerd. Daarnaast bewaakt hij het uitvoeringsproces. Hij krijgt daartoe een kopie van alle producten die de studenten aan elkaar ter beoordeling voorleggen, op hetzelfde moment als de medestudenten, en van de bijbehorende ingevulde formulieren. 4. Waar moet de docent rekening mee houden bij de introductie van peer assessment? Als er in een bestaande cursus voor het eerst met peer assessment gewerkt gaat worden, is het verstandig om de tijd die de studenten nodig hebben voor het lezen en het beoordelen van het werk van hun medestudenten te begroten en op te nemen in het studiebelastingsoverzicht. Ook kan het van belang zijn om de studenten extra te attenderen op de data waarop ze een product ter beoordeling aan medestudenten moeten voorleggen. De ervaring leert dat studenten zich vaak een beeld van de cursus vormen op grond van wat ze erover horen van medestudenten; als er in het jaar daarvoor niet met peer assessment gewerkt is, valt het ze rauw op hun dak als er ineens eerder stukken moeten worden ingeleverd.

20 200 Hoofdstuk 9 Het is zinvol om de studenten voor te bereiden op het beoordelen van werk van medestudenten, bijvoorbeeld in een van de eerste werkgroepbijeenkomsten. Aan de hand van geanonimiseerd materiaal van studenten uit het voorafgaande jaar kunnen de studenten oefenen in het toepassen van de beoordelingscriteria en daar expliciet kennis van nemen. Het leren geven van structuurgerichte vergt daarbij extra aandacht in de instructie. Om voor de studenten te onderstrepen dat het voor een academicus van belang is om prestaties van anderen en uiteindelijk ook van zichzelf zorgvuldig te kunnen beoordelen, is het aan te bevelen om de vaardigheid elkaars werk kunnen beoordelen als (een van de) academische vaardigheidsdoelen van de cursus op te nemen. 9.4 Discussie Bij het onderzoek kunnen een aantal kanttekeningen worden geplaatst. Omdat het is uitgevoerd in de onderwijspraktijk en niet in een laboratoriumsituatie heeft dat gevolgen voor de herhaalbaarheid en generaliseerbaarheid. Het onderzoek had vollediger kunnen zijn. Zo is er geen gedetailleerde aandacht besteed aan het proces van verwerking van de : hoe maken de studenten een selectie uit de ontvangen aanwijzingen en hoe leidt die tot de feitelijke revisie? Bovendien is alleen de leerwinst op korte termijn onderzocht. Daarmee tekenen zich ook een aantal mogelijkheden af voor vervolgonderzoek Kanttekeningen bij het onderzoek De eerste beperking die we noemen is inherent aan praktijkonderzoek. Omdat dit onderzoek in de gegeven onderwijspraktijk werd uitgevoerd, waren de mogelijkheden tot het aanbrengen van variatie beperkt en was het niet mogelijk om alle ontwerpvariabelen onder controle te houden. Docenten willen hun studenten terecht niet blootstellen aan wat in hun ogen op waaghalzerij lijkt van een onderwijskundig ontwerper. De ontwerpen zijn daarom deels het gevolg van een compromis. Een voorbeeld daarvan is de keuze die in sommige ontwerpen gemaakt is om de docent niet alleen de eindversie, maar ook de concepttekst te laten beoordelen. Een ander voorbeeld is de beslissing om de docent te laten deelnemen aan de groep. Maar ook dan is de realisatie van het ontwerp niet

21 Samenvatting, conclusie en discussie 201 gegarandeerd in een praktijkonderzoek, al hadden we op dit punt weinig reden tot ontevredenheid. Een tweede beperking is dat er geen extra analyses zijn ondernomen in het onderzoek naar de interactie van de studenten tijdens de mondelinge. Zo zou een analyse van het gespreksverloop meer inzicht kunnen geven in het interactiepatroon van de studenten, doordat de dynamiek van het gesprek erin betrokken kan worden. Onze bevinding dat de positie gedurende een groepsgesprek niet steeds hetzelfde blijft, maar zeker in de wat langere gesprekken vaak heen en weer gaat tussen evaluatief en ontdekkend kan dan beter geplaatst worden. Ook zouden de gesprekken meer naar de inhoud geanalyseerd kunnen worden dan alleen in termen van functies, waardoor de verschillen tussen de vier posities beter naar voren zouden kunnen komen. Om meer inzicht te krijgen in de manier waarop de studenten de verwerken is eveneens uitbreiding van de dataverzameling en analyse nodig. Zo zouden we studenten bijvoorbeeld kunnen vragen waarom ze bepaalde aanwijzingen wel en andere niet opvolgen. Een andere mogelijkheid is om via hardopdenk-protocollen gegevens te verzamelen over de doorloop van de vanaf het moment van ontvangen tot de daadwerkelijke revisie in het schrijfproduct. Ten slotte willen we nog een derde beperking noemen. In dit onderzoek is de leerwinst beperkt tot de leeropbrengst in de zin van een beter schrijfproduct. Omdat de peer assessment in dit onderzoek voor de meeste studenten een eenmalige activiteit was, zagen we geen mogelijkheid om de eventuele leerwinst op langere termijn vast te stellen. Helpt peer assessment de studenten om hun eigen schrijfproducten te beoordelen en adequaat te reviseren? Dat is niet op basis van één cursus waarin met peer assessment gewerkt wordt vast te stellen. Het is jammer dat we daar niets van kunnen zeggen, omdat de leerwinst op langere termijn juist interessanter is. Daarvoor zouden de leerdoelen ten aanzien van de schrijfvaardigheid in de verschillende fasen van het curriculum beter en nauwkeuriger vastgelegd moeten worden Generaliseerbaarheid van de resultaten Het doel van dit onderzoek was om tot een effectief ontwerp te komen van peer assessment. Dat is gelukt, in zoverre we meer inzicht hebben

22 202 Hoofdstuk 9 gekregen in wat de cruciale ontwerpkenmerken zijn. We pretenderen niet dat we tot een ontwerp gekomen zijn dat overal toepasbaar is. Het is zelfs niet duidelijk of het optimale ontwerp dat in de vorige paragraaf werd gepresenteerd inderdaad een optimaal effect heeft, want deze samenstelling van ontwerpkenmerken is nog niet uitgeprobeerd. Maar ook al zou het effect optimaal blijken, dan nog weten we niet in hoeverre de resultaten generaliseerbaar zijn naar andere vakgebieden, andere typen onderwijs, nieuwe lichtingen studenten, andere docenten, andersoortige producten, enzovoort. Vooralsnog zien we echter geen reden om te denken dat het niet toepasbaar is in andere disciplines waar studenten van tijd tot tijd aan schrijfproducten werken. Het zou behalve in universitaire studies ook gebruikt kunnen worden in andere onderwijstypen, bijvoorbeeld wanneer leerlingen in het voortgezet onderwijs met hun profielwerkstuk bezig zijn, al zouden de effecten daar anders of kleiner in omvang kunnen zijn. Een ander punt in verband met de beperkte generaliseerbaarheid van de onderzoeksresultaten is dat de studenten (en docenten) in dit onderzoek slechts één keer met peer assessment te maken kregen. Het is te verwachten dat ze er anders op reageren als ze er in het curriculum vaker mee moeten werken Aanbevelingen voor vervolgonderzoek Naar aanleiding van de opmerkingen over de beperkingen van het onderzoek tekenen zich een paar interessante mogelijkheden af voor vervolgonderzoek. Als eerste noemen wij de mogelijkheid van een aanvullende analyse van de interactie tijdens de mondelinge, die meer inzicht zou moeten geven in de positie die de studenten in de verschillende ontwerpen innemen. In het onderhavige onderzoek zijn alleen de frequenties geteld waarmee bepaalde typen uitspraken worden gedaan. Er is geen analyse ondernomen van het gespreksverloop. Ook kunnen sommige in het onderzoek beoogde effecten van peer assessment nauwkeuriger worden onderzocht, zoals bijvoorbeeld de vraag of studenten een beter begrip gekregen hebben van de criteria waaraan hun werkstuk moet voldoen. Het zou een waardevolle aanvulling van het onderzoek zijn om gegevens te verzamelen en te analyseren over het verwerkingsproces. Wat

23 Samenvatting, conclusie en discussie 203 gebeurt er met de vanaf het moment dat deze het hoofd van de schrijver binnenkomt en het moment dat hij zijn gereviseerde tekst inlevert? Waarom worden sommige aanwijzingen uit de wel omgezet in revisie en andere niet? Wat zijn de verschillen in de manier waarop de docent geeft en de manier waarop een student dat doet? Een andere lijn voor vervolgonderzoek is het onderzoek naar de effecten van peer assessment op langere termijn. Men zou bijvoorbeeld een of enkele cohorten van studenten gedurende hun opleiding kunnen volgen. Hierbij wordt op verschillende momenten in de opleiding peer assessment ingezet en wordt tevens regelmatig informatie verzameld over de schrijfvaardigheid van de studenten. Ten slotte noemen we de mogelijkheid om vormen van peer assessment te ontwikkelen en op effecten te onderzoeken, die minder beoordelend zijn en meer ontdekkend. Op grond van Saunders (1989) is de uitkomst dat de positie van de studenten in ons onderzoek hoofdzakelijk evaluatief is, immers niet verrassend. De gever was niet medeverantwoordelijk voor het product, werd pas in de eindfase erbij betrokken en had bovendien als taak gekregen om het schrijfproduct te beoordelen. De vraag is wat een taakstelling oplevert die meer op het geven van ontdekkende is gericht. Leidt die ertoe dat de studenten vaker een ontdekkende positie innemen? En hoe vertaalt zich dat in leerwinst? Hoe creëer je bij een meer op samenwerken gerichte taakstelling toch de distantie die nodig is om elkaar te geven? Allemaal interessante vragen voor toekomstig onderzoek.

24 1 Ontwerpkenmerken (4) Product Conceptwerkstuk (10 pp.) SS HA DS HIST RP ICE TGM Conceptopzet voor werkstuk (1-2 pp.) en kernhoofdst (3-5 pp.) Conceptwerkstuk (15 pp.) Concept biografie (10 pp.) Concept krantenartikel (5 pp.) Conceptanalyse van een tentoonstelling (3-5 pp.) Conceptartikel (5 pp.) (5) Relatie docentbeoordeling Aanvullend; docent geeft schriftelijke op conceptversie Aanvullend Aanvullend; docent geeft schriftelijke + cijfer voor conceptversie Aanvullend; extra beoordeling Aanvullend; docent geeft schriftelijke + cijfer voor conceptversie Aanvullend; extra beoordeling Aanvullend; extra beoordeling (7) Oordeelsrichting Eenrichting (2 beoordelingen) Wederzijds (2 of 3 beoordelingen van beide producten) Wederzijds (1 beoordeling) Wederzijds (2 gezamenlijke beoordelingen) Wederzijds (2 beoordelingen) Wederzijds (3 beoordelingen) Eenrichting (2 beoordelingen); beoordelen (1) schrijven beoordelen (2) (8) Privacy Openbaar (voor de docent en alle studenten) Vertrouwelijk (binnen de groepen); de docent ontvangt een kopie Vertrouwelijk (binnen de groepen); de docent ontvangt een kopie Vertrouwelijk (binnen de groepen); de docent ontvangt een kopie Vertrouwelijk (binnen de groepen); de docent ontvangt een kopie en beoordeelt Vertrouwelijk (binnen de groepen); de docent ontvangt een kopie Vertrouwelijk; de docent ontvangt een kopie (9) Contact Schriftelijke en mondelinge ; plenaire nabespreking met aanvullende van docent Schriftelijke en mondelinge Schriftelijke en mondelinge ; plenaire bespreking van discussiepunten Schriftelijke en mondelinge ; plenaire bespreking van discussiepunten Schriftelijke en mondelinge ; plenaire bespreking van discussiepunten Schriftelijke en mondelinge Schriftelijke

25 11) Bekwaamheid 12) Constellatie beoordelaars SS HA DS HIST RP ICE TGM Groepssamenstelling at random Twee studenten en de docent Groepssamenstelling o.g.v. verwant onderwerp (door docent) Kleine groepen (3-4 studenten) met docent als participant Groepssamenstelling o.g.v. verwant onderwerp (door studenten) Twee studenten en de docent Groepssamenstelling at random Kleine groepen bestaande uit 2 duo s (studenten) Groepssamenstelling at random; zelfde onderwerp Kleine groepen (3 studenten) en de docent Groepssamenstelling gebaseerd op tentoonstelling (door studenten) Kleine groepen (4 studenten) Groepssamenstelling at random Twee studenten 13) Constellatie beoordeelden Twee andere studenten 14) Plaats Schrift. buiten /mond. in contacttijd (plenaire bespreking en tutorial met docent) Dezelfde kleine groepen Schrift. buiten /mond. in contacttijd (kleine groepen met docent) Dezelfde twee studenten Schrift. buiten /mond. in contacttijd (kleine groepen en plenaire bespreking) Dezelfde kleine groepen Schrift. buiten /mond. in contacttijd (kleine groepen en plenaire bespreking) Dezelfde kleine groepen Schrift. buiten /mond. in contacttijd (kleine groepen en plenaire bespreking) Dezelfde kleine groepen Schrift. buiten /mond. in contacttijd (kleine groepen) Twee andere studenten Schrift. buiten contacttijd 17) Beloning Geen beloning van PA deelname Geen beloning van PA deelname Geen beloning van PA deelname Geen beloning van PA deelname Uitgebracht schrift.oordeel beloond met max. ¼ punt extra Geen beloning van PA deelname Geen beloning van PA deelname 2 Uitvoering Introductie peer assessment Volgens plan; studenten stelden geen vragen Volgens plan; studenten stelden geen vragen Kritische vragen; een enkele student maakte bezwaar tegen peer assessment Weerstand tegen peer assessment in HIST-1 Volgens plan; studenten stelden geen vragen Volgens plan Volgens plan