Peer assessment inuniversitair

Transcriptie

1 Peer assessment inuniversitair Beschrijving en evaluatie van de uitvoering ond erwi js. Eenonderzoeknaar 5 bruikba re assessment Hoofdstuk 5 In dit hoofdstuk wordt beschreven hoe de ontwerpen van peer assessment door studenten en docenten zijn uitgevoerd en in welke mate de uitvoering verliep zoals bedoeld. Het gaat hierbij om de introductie van peer assessment, de uitvoering van de procedure en de realisering van de ontwerpkenmerken. De ontwerpen. Peer uitvoering wordt per ontwerp beschreven en geëvalueerd in de paragrafen 5.1 tot en met 5.7. Het hoofdstuk wordt afgesloten met een samenvatting (paragraaf 5.8), waarin een in universitai r overzicht wordt gegeven van de uitvoering van alle ontwerpen. onderwijs. Eenonderzoeknaar bruikbare ontwerpen. Peer assessment in universitair onderwijs. Eenonderzoeknaar bruikbare ontwerpen. Peer assessment in universitair

2

3 Beschrijving en evaluatie van de uitvoering Cursus Scriptie Schrijven (SS) Het cursusontwerp Scriptie Schrijven (SS) onderscheidt zich vanwege de niet-wederzijdse beoordeling (kenmerk 7). Een ander specifiek ontwerpkenmerk is dat de beoordeling in het openbaar gepresenteerd wordt (kenmerk 8). De conceptversie wordt niet alleen door de studenten, maar ook door de docent van feedback voorzien; er wordt geen cijfer voor gegeven (kenmerk 5). Het cursusontwerp SS is uitgevoerd door drie docenten, die elk tutor waren van een groep van vijf of zes studenten. In totaal waren er 17 studenten bij de uitvoering betrokken. In de beschrijving worden de drie groepen samen genomen, behalve op punten waarin de uitvoering per groep sterk verschilde. Er was geen controlegroep. De kenmerken van dit ontwerp worden samengevat in Figuur 5.1. De tussen haakjes geplaatste cijfers in de eerste kolom verwijzen naar de nummering van de variabelen in de typologie van Topping (1998). De variabelen 11, 12 en 13 worden door ons samengevat onder de noemer groepssamenstelling, de variabelen 7, 8 en 9 onder interactie. Variabelen die in alle ontwerpen dezelfde waarde hebben gekregen, zijn uit deze deeloverzichten weggelaten. Voor meer informatie over de ontwerpen verwijzen wij naar hoofdstuk 3. SS (17 studenten) (4) Product Conceptwerkstuk (10 pagina s) (5) Relatie docentbeoordeling Aanvullend; docent geeft schriftelijke feedback op conceptversie (7) Oordeelsrichting Eénrichting (2 beoordelingen) (8) Privacy Openbaar (voor de docent en alle studenten) (9) Contact Op afstand (schrift.feedback) + face to face (mond.feedback); plenaire nabespreking met aanvullende feedback van de docent (11) Bekwaamheid Groepssamenstelling at random (12) Constellatie beoordelaars Twee studenten en de docent (13) Constellatie beoordeelden Twee andere studenten (14) Plaats Schrift.feedback buiten resp. mond. feedback in contacttijd (plenaire bespreking en tutorial met docent) (17) Beloning Geen beloning van deelname aan peer assessment Figuur 5.1 Kenmerken van het onderwijsontwerp SS Introductie peer assessment De procedure werd gepresenteerd als vanzelfsprekend onderdeel van de cursus. Het beoordelingsformulier werd op een van de eerste onderwijs-

4 84 Hoofdstuk 5 bijeenkomsten door de docent aan de studenten toegelicht. De handleiding met technische details over de procedure werd uitgedeeld twee weken voordat de schriftelijke beoordeling zou moeten plaatsvinden. De presentatie van de procedure aan de studenten gaf weinig aanleiding tot vragen bij de studenten, waarschijnlijk omdat de studenten eerstejaars waren die nog weinig ervaring hadden met cursussen waarin het anders verloopt. Uit het feit dat er nagenoeg geen vragen over de procedure werden gesteld, mag evenwel niet geconcludeerd worden dat de studenten de vaardigheid om andermans werk te beoordelen al onder de knie hadden Uitvoering procedure In totaal leverden 15 van de 17 studenten op tijd een conceptversie in. Daarvan werden er 12 door twee studenten beoordeeld, het aantal dat de procedure voorschreef, en (in werkgroep 2) drie door één student. Van de twee studenten die niet op de afgesproken tijd een conceptversie inleverden, heeft er één naderhand een conceptversie bij zijn medestudenten ingeleverd. Deze is niet meer door medestudenten beoordeeld. De student die geen conceptversie inleverde, is er niet in geslaagd om de cursus binnen de gestelde termijn af te ronden. Alle vragen op het beoordelingsformulier werden doorgaans door de studenten beantwoord, maar een toelichting was vaak summier of ontbrak. Tijdens de slotbijeenkomst in de eerste en tweede werkgroep presenteerde ieder zijn werkstuk in een paar minuten. De presentatie was meestal gestructureerd in termen van vraagstelling, deelvragen en conclusie, conform de opzet van het beoordelingsformulier. Daarna lichtten de twee beoordelaars hun schriftelijke beoordeling mondeling toe. Een extra instructie van de docent daarbij was om de toelichting toe te spitsen op inhoudelijke kwesties en niet op stijlaspecten. In de bespreking in de derde werkgroep (met vier van de zes studenten aanwezig) domineerde één student, waardoor de beoordeling van de werkstukken van twee studenten nauwelijks aan bod kwam. De uitvoering van de basisprocedure, inclusief de daarbij horende afspraken, verliep in dit ontwerp dus in twee werkgroepen goeddeels volgens plan. Wat betreft de schriftelijke beoordeling week de derde werkgroep niet af van de andere twee, maar in de mondelinge toelichting tijdens de slotbijeenkomst bleven de werkstukken van twee van de vier

5 Beschrijving en evaluatie van de uitvoering 85 aanwezige studenten goeddeels onbesproken. Gegevens over de uitvoering van de procedure zijn samengevat in Tabel 5.1. Tabel 5.1 Uitvoering procedure peer assessment in SS n Conceptversie gereed Conceptversie schriftelijk beoordeeld SS (2x feedback) SS (2x feedback); 3 (1xfeedback) SS (2x feedback) Uitvoering ontwerpkenmerken groepssamenstelling Een week voordat het schriftelijk deel van de peer assessment uitgevoerd zou worden, kreeg elke student te horen wie zijn twee beoordelaars waren en van welke twee studenten hijzelf het werk moest beoordelen. De docenten deelden de studenten in op grond van de door hen gekozen deelonderwerpen. In de eerste en derde werkgroep verliep de toewijzing van beoordelaars en beoordeelden zoals gepland. In de tweede werkgroep bleek de docent de studenten te hebben ingedeeld in een drietal en een tweetal dat elkaars werkstukken beoordeelde. De docenten vervulden hun rol als medebeoordelaar deels op dezelfde, deels op een verschillende manier. Ze gaven alle drie schriftelijke feedback door het beoordelingsformulier in te vullen op basis van de conceptversie. Zoals was afgesproken kregen de studenten dit commentaar pas nadat ze elkaars werk schriftelijk en mondeling hadden beoordeeld. Daarnaast kregen de studenten in de eerste en derde werkgroep ook individuele mondelinge feedback van de docent, waarbij de docent van de derde werkgroep zich te weinig op de achtergrond hield. De afspraak was dat de docent alleen aanvullende feedback, algemeen of individueel gericht, zou geven als hij dat nodig vond. De docent van de tweede werkgroep gaf geen mondelinge feedback op de gepresenteerde conceptversies Uitvoering ontwerpkenmerken interactie In werkgroep 1 en 3 verliep de beoordeling, zoals gepland, in één richting. In werkgroep 2 daarentegen had de docent feedbackgroepen gemaakt waarin de studenten elkaar wederzijds beoordeelden. Uit de antwoorden op de peer assessment-vragenlijst, afgenomen nadat de studenten elkaars werk hadden beoordeeld, blijkt dat 60% van de studenten

6 86 Hoofdstuk 5 zich bekwaam achtte om het werkstuk van een medestudent te beoordelen. De overige 40% vond zichzelf op dit punt niet bekwaam. Deze percentages vonden we acceptabel, al geven ze wel een indicatie dat het nuttig zou kunnen zijn om een training in het leren beoordelen in te lassen. Een kwart van de studenten had het beter gevonden als de beoordeling anoniem was geweest. Hoewel hun schriftelijke beoordelingen over het algemeen mild waren, waren de studenten in hun mondelinge toelichting vaak aanmerkelijk kritischer. Aan de studenten was door de docent gevraagd om zowel positieve als kritische zaken naar voren te brengen. In feite werd positieve kritiek nauwelijks gegeven, behalve als de docent erom vroeg. Wat betreft de mogelijkheid om aanvullende mondelinge feedback in de plenaire bespreking te geven, handelden de docenten verschillend. De docent van werkgroep 1 gaf bij elke presentatie tijdens de plenaire slotbijeenkomst mondelinge feedback op het werk van elke student, in aansluiting op de twee discussianten die het woord hadden gevoerd. De docent van werkgroep 2 gaf alleen schriftelijke feedback op beide versies. Hij verkeerde, zo bleek achteraf, in de veronderstelling dat hij geen feedback mocht geven tijdens de bijeenkomst. In werkgroep 3 werd de geplande structuur voor de slotbijeenkomst, waarin twee discussianten na elkaar hun oordeel mondeling toelichtten, met eventuele feedback van de docent daarna, niet vastgehouden. De studenten presenteerden wel hun werkstuk en twee van hen kregen mondelinge feedback van hun medestudenten, maar zij werden daarbij vaak onderbroken door de docent, die hen door vragen te stellen tot het geven van meer en andersoortig commentaar wilde bewegen. Samengevat, in werkgroep 1 en 3 hield de docent zich aan de opzet dat de beoordeling in één richting zou worden uitgevoerd, in werkgroep 2 werd de beoordeling wederzijds uitgevoerd. De meeste studenten leverden op tijd een conceptversie in en beoordeelden de producten van hun medestudenten. De mondelinge toelichting was vaak kritisch geformuleerd, met weinig positieve elementen. Omdat de studenten gevraagd was als discussiant op te treden, waarbij het niet in de bedoeling lag om een gesprek aan te gaan met de beoordeelde student, was dit te verwachten.

7 Beschrijving en evaluatie van de uitvoering 87 In werkgroep 3 was de docent tijdens de mondelinge feedbackronde teveel verwikkeld in het proces van feedback geven en was één student te nadrukkelijk aanwezig. 5.2 Cursus Historisch Ambacht (HA) Het ontwerp HA onderscheidt zich doordat de docent meedoet als feedbackgever tijdens de mondelinge toelichting in de feedbackgroepjes (kenmerk 12). Bijzonder aan het ontwerp HA is ook dat het hier om het beoordelen van twee tussenproducten gaat, te weten de opzet van een werkstuk en een hoofdstuk. Het gaat dus niet om de beoordeling van een heel (concept-) werkstuk (kenmerk 4). Elke student voert twee beoordelingsrondes uit. Eerst beoordeelt hij de opzet die de twee of drie andere leden van zijn feedbackgroepje gemaakt hebben voor hun werkstuk. In de volgende ronde beoordeelt hij een kernhoofdstuk. Het ontwerp HA is uitgevoerd door twee docenten met elk een werkgroep. Tezamen waren 20 studenten bij de uitvoering betrokken. In werkgroep 1, bestaande uit 12 studenten, zijn vier groepen gevormd van drie studenten. In werkgroep 2, bestaande uit 8 studenten, zijn twee viertallen gevormd. In de beschrijving worden de twee werkgroepen tezamen genomen, behalve op punten waarin de uitvoering tussen de werkgroepen sterk verschilde. HA (20 studenten) (4) Product Conceptopzet voor werkstuk (1-2 pagina s) en kernhoofdstuk (3-5 pagina s) (5) Relatie docentbeoordeling Aanvullend (7) Oordeelsrichting Wederzijds (2 of 3 beoordelingen van beide producten) (8) Privacy Vertrouwelijk (binnen de groepen); de docent ontvangt een kopie (9) Contact Op afstand (schrift.feedback) + face to face (mond.feedback) (11) Bekwaamheid Groepssamenstelling o.g.v. verwant onderwerp (door docent) (12) Constellatie beoordelaars Kleine groepen (3 of 4 studenten) met docent als participant (13) Constellatie beoordeelden Dezelfde kleine groepen (14) Plaats Schrift.feedback buiten resp.mond.feedback in contacttijd (kleine groepen met docent) (17) Beloning Geen beloning van deelname aan peer assessment Figuur 5.2 Kenmerken van het onderwijsontwerp HA. In de analyse ter beantwoording van de andere onderzoeksvragen worden beide groepen als afzonderlijke ontwerpen behandeld. Een derde werkgroep zou het plan aanvankelijk ook uitvoeren, maar vanwege een

8 88 Hoofdstuk 5 misverstand over de te volgen procedure werden de studenten door de docent verkeerd geïnstrueerd. Ze kregen van hem de opdracht om samen met een medestudent een opzet voor hun werkstuk te maken en die met diezelfde partner uit te wisselen en te beoordelen, buiten de bijeenkomsten om. Uit hun reacties bleek dat de studenten moeite hadden met deze, ons inziens onwerkbare, combinatie van samenwerken en beoordelen. Omdat er geen beoordelingen werden toegelicht in contacttijd en er weinig producten binnen de gestelde termijnen werden ingeleverd, konden we in deze groep geen geschikte data verzamelen, zodat deze werkgroep buiten het onderzoek is gebleven. Er was geen controlegroep. De ontwerpkenmerken worden samengevat in Figuur Introductie peer assessment De cursushandleiding was vóór de start van de cursus verstrekt, circa twee maanden voor het moment waarop met peer assessment gewerkt zou gaan worden. In deze informatie werd de werkwijze globaal geïntroduceerd. Op de eerste bijeenkomst van het onderwijsblok waarin de peer assessment zou worden uitgevoerd, is de procedure mondeling toegelicht. De details zijn direct daarna schriftelijk verstrekt, voor elk van de twee beoordelingsrondes. Er werden door de studenten geen vragen gesteld Uitvoering procedure In beide werkgroepen organiseerden de docenten aparte bijeenkomsten per feedbackgroep. In elk groepje werd anderhalf uur gesproken over elkaars opzet voor het werkstuk. De docent was medefeedbackgever en vervulde de rol van voorzitter. Twee weken daarna werd op dezelfde manier een kernhoofdstuk besproken. Op het moment dat de studenten de opzet van hun werkstuk met elkaar zouden uitwisselen, bleek dat in de eerste werkgroep acht van de twaalf studenten een opzet klaar hadden. Dit gold ook voor het hoofdstuk. Sommige producten kwamen nog binnen op het moment dat de mondelinge toelichting begon. Om alsnog een beoordeling te kunnen geven werd een leespauze ingelast. Uiteindelijk zijn zes opzetten door twee studenten beoordeeld, het aantal dat de procedure voorschreef, en twee studenten kregen feedback van één student. Bij de hoofdstukken kregen drie studenten een beoordeling van twee studenten, twee van één student en drie geen beoordeling. De vier

9 Beschrijving en evaluatie van de uitvoering 89 studenten die geen tussenproducten inleverden brachten het niet tot een werkstuk binnen de voorgeschreven termijn. In de tweede werkgroep hadden alle acht studenten hun opzet op tijd klaar. Vier daarvan werden door twee studenten beoordeeld (dat is dus één beoordeling minder dan de procedure voorschreef), drie door één student en één kreeg geen studentbeoordeling. Zeven van de acht studenten hadden op tijd een hoofdstuk klaar. Vier daarvan zijn door twee in plaats van drie studenten beoordeeld, en drie door één student. Al met al hebben vier studenten niet op beide schrijfproducten feedback gehad, de rest heeft tenminste een beoordeling ontvangen van zowel de opzet als het hoofdstuk. Echter, vijf van de 15 studenten die een opzet en een hoofdstuk inleverden ontvingen slechts van één student een beoordeling. De meeste studenten die de beoordeling uitvoerden, gebruikten het daarvoor bestemde formulier bij hun beoordeling van de opzet en bij de beoordeling van het hoofdstuk. Ze vulden de beide formulieren volledig in. De meesten gaven daarbij enige toelichtende tekst. Het formulier voor de beoordeling van het hoofdstuk bleek voor sommigen lastig te gebruiken, omdat het bedoeld was voor een compleet werkstuk en niet speciaal was aangepast voor het beoordelen van een hoofdstuk. Er stonden bijvoorbeeld vragen in over de vraagstelling en de conclusie, zaken waarover volgens de studenten pas iets te zeggen is als je een compleet werkstuk voor je hebt. Daarnaast werden door de studenten aantekeningen gemaakt in de te beoordelen stukken. Enkelen vulden het formulier niet in, maar gaven hun schriftelijke beoordeling alleen door middel van aantekeningen op het schrijfproduct. De uitvoering van de procedure in de twee werkgroepen wordt samengevat in Tabel 5.2. Tabel 5.2 Uitvoering procedure peer assessment in HA n Opzet gereed Opzet schrift.beoordeeld HA (2x feedback) 2 (1x feedback) HA (2x feedback) 3 (1x feedback) Hoofdstuk Hoofdstuk gereed schrift.beoordeeld 8 3 (2x feedback) 2 (1xfeedback) 7 4 (2x feedback) 3 (1x feedback)

10 90 Hoofdstuk Uitvoering ontwerpkenmerken groepssamenstelling Tijdens de eerste bijeenkomst van het onderwijsblok waarin de peer assessment plaats zou vinden, zijn groepjes gevormd. In werkgroep 1, met 12 studenten, vormde de docent vier groepjes van drie studenten. Studenten met een nauw verwant onderwerp werden door de docent bij elkaar gezet. Om drietallen te krijgen werden de combinaties soms aangevuld met iemand die een onderwerp had dat iets minder verwant was. In werkgroep 2, met acht studenten, werden twee groepjes gevormd van vier studenten, eveneens op inhoudelijke gronden. De docenten vulden geen beoordelingsformulier in bij hun beoordeling, noch van het hoofdstuk, noch bij de eindbeoordeling. De docent van werkgroep 1 deed dit niet, omdat ze een en ander te geformaliseerd vond en de beoordelingsaspecten te precies geformuleerd. De docent van werkgroep 2 daarentegen vond de beoordelingsformulieren juist te weinig precies. Beide docenten schreven hun commentaar rechtstreeks op de schrijfproducten. De studenten kregen dit mee aan het eind van de mondelinge feedbackronde. De studenten maakten er geen bezwaar tegen om door de docent in groepjes te worden ingedeeld. In de groepjes toonden ze zich geïnteresseerd in elkaars onderwerp Uitvoering ontwerpkenmerken interactie In de eerste werkgroep functioneerden twee van de vier feedbackgroepjes naar behoren. Zij leverden op tijd de gevraagde producten in bij elkaar en bij de docent. Elk van beide groepjes had tweemaal een bijeenkomst met de docent, één over de opzet en één over het hoofdstuk. De twee andere feedbackgroepjes hadden elk slechts één bijeenkomst met de docent. In deze bijeenkomst werden de beoordelingen van elkaars opzet toegelicht, maar daarbij ontbraken sommige studenten. Zowel onder de afwezigen als onder de aanwezigen waren enkele studenten die niets hadden ingeleverd of geen beoordeling hadden uitgevoerd. De geplande bespreking van het hoofdstuk ging in elk van deze twee groepjes niet door, omdat de studenten zonder bericht niet aanwezig waren. In de tweede werkgroep functioneerden beide feedbackgroepjes naar behoren. Zij leverden op tijd een opzet en een hoofdstuk in en de meesten gaven schriftelijk commentaar op elkaars stukken, zij het niet altijd in de vorm van het invullen van het formulier.

11 Beschrijving en evaluatie van de uitvoering 91 Van de studenten HA vond 64% zichzelf voldoende bekwaam om werk van een medestudent te beoordelen; de rest was daar minder zeker van. Ongeveer een kwart van de studenten voelde zich bij het beoordelen gehinderd doordat de beoordeling niet anoniem was, men hield zich in omdat men bang was te negatief over te komen. Eenmaal zag een docent zich gedwongen om een student uit de feedbackgroep te halen, aangezien deze haar bedenkingen te scherp naar voren bracht en zich niet ontvankelijk toonde voor het commentaar dat ze van haar medestudenten kreeg. Zij werd daarna individueel begeleid door de docent. De docenten van beide werkgroepen vulden hun rol tijdens de mondelinge feedbackronde in de kleine groepen als volgt in. Ze lieten de studenten eerst aan het woord en lieten hun eigen commentaar zoveel mogelijk daarbij aansluiten. Vaak gaven ze het gesprek een extra impuls, bijvoorbeeld door iets uit de door de studenten ingevulde beoordelingsformulieren naar voren te halen dat hun interessant leek, of een aanvullende vraag te stellen als ze een probleem vermoedden dat niet genoeg boven tafel kwam. Daarnaast brachten ze het gesprek vaak op de literatuurkeuze en gaven de nodige suggesties mee om het goede materiaal te vinden. De docenten gaven iets meer instructie bij de bespreking van de opzet dan bij die van het hoofdstuk. Dat bleek nodig, omdat het formulier voor het beoordelen van de opzet voornamelijk uit gesloten vragen bestond, die door de studenten vaak beantwoord werden zonder dat de achterliggende argumentatie voor hun beoordeling erbij vermeld werd. Bovendien waren de opzetten veelal schematisch en in trefwoorden geschreven. Sommige studenten waren daar snel over uitgepraat. Bij de bespreking van de hoofdstukken was er meer uitgeschreven tekst te bespreken, waardoor de studenten gemakkelijker uit zichzelf met commentaar kwamen. Doordat men elkaars opzet beoordeeld had, was men bovendien beter bekend met elkaars bedoelingen. Samengevat, in de eerste werkgroep liet de discipline bij twee van de vier groepjes te wensen over, in de twee andere groepjes is volgens plan gewerkt. In de tweede werkgroep is beter gewerkt, al moest de docent ingrijpen toen iemand het gespreksklimaat langdurig dreigde te verstoren. Dit roept de vraag op hoe de gesprekken in de feedbackgroepjes waren gelopen als de docent er niet bij was geweest. Dit geldt voor beide werkgroepen.

12 92 Hoofdstuk Cursus Doctoraalseminar (DS) DS (11 studenten) (4) Product Conceptwerkstuk (15 pagina s) (5) Relatie docentbeoordeling Aanvullend; docent geeft schriftelijke feedback + cijfer voor conceptversie (7) Oordeelsrichting Wederzijds (1 beoordeling) (8) Privacy Vertrouwelijk (binnen de groepen); de docent ontvangt een kopie (9) Contact Op afstand (schrift.feedback) + face to face (mond.feedback); plenaire bespreking van discussiepunten (11) Bekwaamheid Groepssamenstelling o.g.v verwant onderwerp (door studenten) (12) Constellatie beoordelaars Twee studenten en de docent (13) Constellatie beoordeelden Dezelfde twee studenten (14) Plaats Schrift.fb buiten resp. mond.fb in contacttijd (kleine groepen en plenaire bespreking) (17) Beloning Geen beloning van deelname aan peer assessment Figuur 5.3 Kenmerken van het onderwijsontwerp DS. Het ontwerp DS onderscheidt zich van de andere ontwerpen doordat de feedbackgroepjes bestaan uit tweetallen (kenmerk 12), waarbij de studenten zelf een partner kiezen die qua onderwerp aansluit (kenmerk 11). Ook op het punt van de relatie met de docentbeoordeling onderscheidt het ontwerp DS zich: de docent geeft een cijfer voor de conceptversie dat meetelt bij de eindbeoordeling (kenmerk 5). De ontwerpkenmerken worden samengevat in Figuur 5.3. Het ontwerp DS is uitgevoerd door één docent in een werkgroep van vijftien studenten. Er was geen controlegroep Introductie peer assessment Tijdens de eerste bijeenkomst werd de procedure mondeling toegelicht. Dit leidde tot kritische vragen bij de studenten en bij een enkeling tot weerstand. Zo vroeg iemand of het wel mogelijk was om een werkstuk te beoordelen over een onderwerp waar je zelf niet zoveel vanaf weet als de schrijver. Anderen hadden erop gerekend dat ze pas tegen het einde van de cursus met het schrijven konden beginnen. Dat bleek nu een paar weken eerder te moeten. Eén student was expliciet tegen het voorstel om met peer assessment te gaan werken in deze cursus vanwege een negatieve ervaring ermee bij de cursus Historisch Ambacht. Nadat de vragen waren beantwoord, is het plan om met peer assess-

13 Beschrijving en evaluatie van de uitvoering 93 ment te gaan werken in stemming gebracht. Het voorstel werd bij meerderheid van stemmen aangenomen. De details met het beoordelingsformulier volgden een paar weken later, een week voordat de conceptwerkstukken zouden worden uitgewisseld Uitvoering procedure In totaal leverden 10 van de 11 studenten op tijd een conceptversie in. Van de oorspronkelijke groep van 15 studenten hadden er vier toestemming gekregen van de docent om niet aan peer assessment mee te doen. Een student deed wel mee aan de peer assessment door de conceptversie van een medestudent te beoordelen, maar hij leverde zelf geen stuk ter beoordeling in. Van de tien studenten die wel op tijd een conceptversie voorlegden, kregen er acht een beoordeling van één student, zoals de procedure voorschreef, en twee (van een inmiddels gevormd drietal) een beoordeling van twee studenten. Alle vragen op het beoordelingsformulier werden door de studenten ingevuld, waarbij ze doorgaans per beoordelingsaspect enige regels tekst als toelichting gaven. Ongeveer eenderde van de studenten deed dus niet mee aan peer assessment, maar omdat dit van tevoren bekend was werd niemand gedupeerd. Degenen die wel mee deden, hielden zich aan de procedure, met uitzondering van de student die zelf niets had ingeleverd. De uitvoering van de procedure wordt samengevat in Tabel 5.3. Tabel 5.3 Uitvoering procedure peer assessment in DS n Conceptversie gereed Conceptversie schriftelijk beoordeeld DS (1x feedback) 2 (2x feedback) Uitvoering ontwerpkenmerken groepssamenstelling De docent gaf de studenten tijdens de eerste bijeenkomst van het onderwijsblok waarin met peer assessment gewerkt zou worden, de opdracht om zelf tweetallen te vormen. Zijn aanbeveling was om iemand te kiezen die qua onderwerp goed aansloot bij het eigen onderwerp. Tijdens de pauze groepeerden de studenten zich in tweetallen, waarna de docent noteerde welke duo s waren gevormd. In de weken die volgden werd de oorspronkelijke indeling nog een keer veranderd, omdat vier studenten

14 94 Hoofdstuk 5 uit verschillende duo s toestemming van de docent hadden gekregen om de cursus zonder peer assessment af te maken. Op het moment dat de schriftelijke beoordeling mondeling zou worden toegelicht, waren sommige duo s dus opnieuw samengesteld en er was een drietal gevormd vanwege het oneven aantal studenten. Uiteindelijk waren er vier tweetallen en een drietal. De docent vulde het beoordelingsformulier in bij zijn beoordeling van de conceptversie en gaf daarbij veel schriftelijke feedback, gedetailleerder dan in het plan was voorzien. Hij had het formulier weliswaar globaal, door middel van trefwoorden ingevuld, maar daarnaast veel detailopmerkingen en revisieaanwijzingen in de conceptversies geschreven Uitvoering ontwerpkenmerken interactie De studenten kregen een half uur de tijd om hun schriftelijke beoordelingen aan elkaar toe te lichten in de onderwijsbijeenkomst, in de week nadat de schriftelijke beoordeling was uitgevoerd. Drie van de vier tweetallen waren er en een drietal, dat later was gevormd. Eén student van het ontbrekende duo was ziek, maar had er wel voor gezorgd dat haar partner op de bijeenkomst over haar schriftelijk commentaar kon beschikken. In één duo werd over één werkstuk gesproken, omdat een van de twee studenten maar een paar bladzijden had ingeleverd. De studenten achtten zichzelf bekwaam om het werk van een medestudent te beoordelen. Verder vormde het feit dat de beoordeling niet anoniem was voor hen geen probleem. In de plenaire nabespreking die direct volgde op de mondelinge toelichting werden de bespreekpunten, die de studenten op het bord hadden gezet, door de docent stuk voor stuk behandeld. Hij werd daarbij vaak onderbroken door de studenten die nog veel extra vragen hadden over schrijftechnische zaken als annotatie en het gebruik van citaten. Samengevat, nadat er aanvankelijk enige kritiek was op het werken met peer assessment werd de procedure door de studenten volgens plan uitgevoerd. De docent gaf gedetailleerder commentaar op de conceptversie dan in het ontwerp was voorzien. 5.4 Cursus Historiografie (HIST) Bijzonder aan het ontwerp HIST is dat de studenten hun schriftelijke

15 Beschrijving en evaluatie van de uitvoering 95 beoordelingen in tweetallen eerst bij elkaar leggen en er één gezamenlijk oordeel van proberen te maken, voordat ze het aan de betreffende student overbrengen (kenmerk 7). Een ander kenmerk, dat we in de ontwerpen tot nu toe nog niet tegen zijn gekomen, is dat de peer assessment een extra beoordeling is, in een fase waarin normaliter geen beoordeling plaatsvindt (kenmerk 5). Het ontwerp HIST is uitgevoerd door één docent, in twee werkgroepen van elk ongeveer twintig studenten. Een derde groep van ongeveer 15 studenten fungeerde als controlegroep. In de beschrijving van de uitvoering worden beide peer assessment-groepen bij elkaar genomen. Waar zich aanzienlijke verschillen tussen de werkgroepen voordeden, is de uitvoering voor beide werkgroepen apart beschreven. In de analyses van de beantwoording van de andere onderzoeksvragen worden beide peer assessment-groepen als afzonderlijke ontwerpen beschouwd. De ontwerpkenmerken worden samengevat in Figuur 5.4. HIST (40 studenten) (4) Product Conceptbiografie (10 pagina s) (5) Relatie docentbeoordeling Aanvullend; extra beoordeling (7) Oordeelsrichting Wederzijds (2 gezamenlijke beoordelingen) (8) Privacy Vertrouwelijk (binnen de groepen); de docent ontvangt een kopie (9) Contact Op afstand (schrift.feedback) + face to face (mond.feedback); plenaire bespreking van discussiepunten (11) Bekwaamheid Groepssamenstelling at random (12) Constellatie beoordelaars Kleine groepen bestaande uit 2 duo s (studenten) (13) Constellatie beoordeelden Dezelfde kleine groepen (14) Plaats Schrift.feedback buiten resp. mond. feedback in contacttijd (kleine groepen en plenaire bespreking) (17) Beloning Geen beloning van deelname aan peer assessment Figuur 5.4 Kenmerken van het onderwijsontwerp HIST Introductie peer assessment De procedure werd mondeling toegelicht op de eerste bijeenkomst van het onderwijsblok waarin de studenten aan hun werkstuk moesten beginnen en met peer assessment zouden werken. De introductie gaf in de eerste werkgroep (HIST-1) problemen, omdat de studenten ervan uitgingen dat ze pas tegen het eind van het blok het werkstuk moesten inleveren. De docent besprak deze bezwaren met de studenten en deelde de schriftelijke informatie met technische details over de procedure alvast uit met het verzoek om die goed te bekijken. Mochten die bezwaren na

16 96 Hoofdstuk 5 een week er nog zijn dan kon daarover gesproken worden. Dat was niet het geval en de studenten leken de gang van zaken te accepteren. In de tweede werkgroep (HIST-2) waren weinig reacties op de introductie van peer assessment Uitvoering procedure In totaal leverden 12, respectievelijk 15 van de 20 studenten in beide werkgroepen op tijd een conceptversie in. Van de twaalf conceptversies kregen er in HIST-1 vier een duobeoordeling, zoals de procedure voorschreef en acht werden door één student beoordeeld. In HIST-2 kregen acht van de vijftien conceptversies een duobeoordeling en zeven een beoordeling van één student. De beoordelingsformulieren werden in verschillende mate van volledigheid ingevuld. Sommige duobeoordelaars vulden het formulier eerst individueel in, anderen vulden het in samen met hun partner. In HIST-1 werden de formulieren over het algemeen volledig ingevuld, althans voor zover een volledige beoordeling mogelijk was. Van sommige conceptversies ontbrak namelijk nog de inleiding of de conclusie, waardoor het commentaar niet op alle beoordelingsaspecten gegeven kon worden. In HIST-2 volstonden sommige studenten met het geven van plusjes en minnetjes, terwijl anderen er ook een toelichting bij gaven. De meeste studenten voorzagen elkaar tevens van een paar adviezen voor verbetering, zoals gevraagd was op het formulier. Daarnaast maakten ze vaak aantekeningen in het werkstuk. De uitvoering van de basisprocedure, inclusief de daarbij horende afspraken, verliep in dit ontwerp dus slechts gedeeltelijk volgens plan. Weliswaar kreeg iedereen die op tijd een conceptversie inleverde een beoordeling van minstens één student, maar vaak bleef het daarbij. In beide werkgroepen is de helft tot driekwart van de werkstukken door studenten individueel beoordeeld. De uitvoering van de procedure wordt samengevat in Tabel 5.4. Tabel 5.4 Uitvoering procedure peer assessment in HIST n Conceptversie gereed Conceptversie schriftelijk beoordeeld HIST (duo-feedback); 8 (1x feedback) HIST (duo-feedback); 7 (1xfeedback)

17 Beschrijving en evaluatie van de uitvoering Uitvoering ontwerpkenmerken groepssamenstelling Tijdens de eerste bijeenkomst van het blok waarin de biografie moest worden ingeleverd, werden de studenten door de docent eerst in viertallen en door die te splitsen in tweetallen ingedeeld; de indeling was willekeurig. Naar later bleek waren er in HIST-1 op dat moment ook studenten aanwezig uit de twee andere werkgroepen. Op het moment dat de conceptversies onderling uitgewisseld werden, zaten de studenten in een andere samenstelling bij elkaar, waardoor de uitwisseling bemoeilijkt werd. Sommige studenten waren inmiddels gestopt met de cursus. Ter plekke werden de groepjes opnieuw ingedeeld door de docent, wat inhield dat tweetallen die intact waren met andere samen werden gevoegd en studenten die hun partner kwijt waren aan een andere medestudent werden gekoppeld. In HIST-2 gaf de indeling minder problemen en was het niet nodig om te hergroeperen Uitvoering ontwerpkenmerken interactie De bijeenkomst waarin de mondelinge toelichting op de schriftelijke beoordeling gegeven werd is met een uur uitgebreid, omdat er anders te weinig tijd zou zijn. De docent gaf de groepjes hierbij de instructie om de belangrijkste punten uit hun bespreking op het bord te zetten. In HIST-1 bleek bij aanvang van de bespreking dat maar één viertal in de bedoelde samenstelling aanwezig was; de anderen groepeerden zich ter plekke in gelegenheidsviertallen. Voorafgaand aan de bespreking werd in de groepjes dan ook een leespauze ingelast, omdat men elkaars stukken niet had kunnen lezen. Die was uiteraard te kort en werd vaak onderbroken door opmerkingen van groepsleden, zodat er weinig of geen feedback op de werkstukken kon worden gegeven. Niettemin werd er in deze groepjes wel geanimeerd gesproken over onderwerpen die gerelateerd waren aan de werkstukken. Het viertal dat nog intact was, had de procedure volgens plan uitgevoerd, dus als duo gezamenlijk feedback gegeven op de twee werkstukken van het andere duo. In HIST-2 waren de vijf feedbackgroepjes wel in de oorspronkelijke samenstelling aanwezig bij de mondelinge toelichting, maar in vier van de vijf groepjes ontbrak iemand. Er zijn zowel duo-beoordelingen uitgevoerd als individuele beoordelingen. In HIST-1 vond maar de helft van de studenten zichzelf in staat om het werkstuk van een medestudent te beoordelen. In HIST-2 vond vrijwel iedereen zichzelf in staat tot het

18 98 Hoofdstuk 5 beoordelen van andermans werk. Ongeveer een kwart van de studenten vond dat de beoordeling beter anoniem kon plaatsvinden, zodat men kritischer kon zijn. In de plenaire bespreking die in het uur direct na de mondelinge toelichting werd gehouden, besprak de docent de discussiepunten die de feedbackgroepen aan het eind van hun bespreking op het bord hadden genoteerd. Deze hadden vaak betrekking op de structuur van een biografie en het vereiste taalgebruik. Zo werden er vragen besproken als: moet een biografie een vraagstelling en een conclusie hebben? Welke volgorde van de hoofdstukken is het meest aan te bevelen in een biografie? Welke termen moet je uitleggen, wat mag bekend worden verondersteld? Hoe consequent moet je zijn met werkwoordtijden? Samengevat, met name in HIST-1 was weinig motivatie om met peer assessment te werken, ook al leek de kritiek op de verplichte deelname door het bespreken van de bezwaren te zijn geluwd. De studenten hebben de ruimte voor mondelinge toelichting wel benut om inhoudelijk te discussiëren. Voor beide werkgroepen geldt dat er al met al minder beoordelingen werden uitgevoerd dan de bedoeling was. Bovendien waren de meeste individueel uitgevoerd en niet als duo. 5.5 Cursus Rapportagepracticum (RP) In dit ontwerp wordt beoordeeld in drietallen (kenmerk 12). Een bijzonderheid van dit ontwerp is dat niet alleen de conceptversie van het artikel een cijfer krijgt, dat meetelt voor het eindcijfer (kenmerk 5), maar dat de kwaliteit van de uitgebrachte beoordeling ook meetelt in het eindcijfer van de beoordelaar (kenmerk 17). Iedereen heeft dezelfde schrijfopdracht gekregen en daarvoor hetzelfde materiaal bestudeerd (kenmerk 11). Het ontwerp RP is uitgevoerd in één werkgroep met 13 studenten. Er was geen controlegroep. De ontwerpkenmerken worden samengevat in Figuur Introductie peer assessment Tijdens de eerste bijeenkomst werd de procedure mondeling toegelicht. De docent lichtte de beoordelingsformulieren toe en gaf voorbeelden. De technische details werden een week later op schrift gegeven en eveneens kort toegelicht. Er werden weinig vragen over de procedure gesteld.

19 Beschrijving en evaluatie van de uitvoering 99 RP (13 studenten) (4) Product Conceptkrantenartikel (5 pagina s) (5) Relatie docentbeoordeling Aanvullend; docent geeft schriftelijke feedback + cijfer voor conceptversie (7) Oordeelsrichting Wederzijds (2 beoordelingen) (8) Privacy Vertrouwelijk (binnen de groepen); de docent ontvangt een kopie en beoordeelt (9) Contact Op afstand (schrift.feedback) + face to face (mond.feedback); plenaire bespreking van discussiepunten (11) Bekwaamheid Groepssamenstelling at random; zelfde onderwerp (12) Constellatie beoordelaars Kleine groepen (3 studenten) en de docent (13) Constellatie beoordeelden Dezelfde kleine groepen (14) Plaats Schrift.feedback buiten/ mond. feedback in contacttijd (kleine groepen en plenaire bespreking) (17) Beloning Uitgebracht schrift.oordeel beloond met max. ¼ punt extra Figuur 5.5 Kenmerken van het onderwijsontwerp RP Uitvoering procedure Alle studenten leverden op tijd een conceptversie in. Negen conceptartikelen zijn door twee studenten schriftelijk beoordeeld, het aantal dat de procedure voorschreef. Vier zijn door één student beoordeeld; er waren namelijk twee duo s gevormd, omdat twee studenten met de cursus stopten. De studenten gebruikten het beoordelingsformulier zoals bedoeld. Ze vulden alle vragen in en in de meeste gevallen waren de antwoorden voorzien van een toelichting. Ook maakten zij veel aantekeningen in de tekst. De uitvoering van de basisprocedure, inclusief de daarbij horende afspraken, verliep in dit ontwerp dus volgens plan. De enige afwijking was dat er twee duo s inplaats van drietallen zijn gevormd, waardoor op vier conceptversies eenmaal in plaats van tweemaal feedback is gegeven. De uitvoering van de procedure wordt samengevat in Tabel 5.5. Tabel 5.5 Uitvoering procedure peer assessment in RP n Conceptversie gereed Conceptversie schriftelijk beoordeeld RP (2x feedback) 4 (1x feedback) Uitvoering ontwerpkenmerken groepssamenstelling De studenten werden op de eerste bijeenkomst in willekeurige drietallen ingedeeld door de docent. Op dat moment waren er 15 studenten, zodat er vijf drietallen gevormd werden. Op het moment dat de concept-

20 100 Hoofdstuk 5 versies werden uitgewisseld, waren er inmiddels twee studenten met de cursus gestopt. Dat betekende dat er uiteindelijk twee duo s en drie trio s waren. De docent gaf globaal commentaar op de conceptversie, door middel van trefwoorden op het beoordelingsformulier en korte opmerkingen in de tekst. In de plenaire bespreking gaf hij algemene feedback op de concept-artikelen en ging in op vragen van de studenten naar aanleiding van de bespreking in de groepjes. Tenslotte werd een ideale indeling van het artikel besproken, die de studenten aan het eind van de mondelinge toelichting in de groepjes hadden opgesteld. De studenten ontvingen het schriftelijke docentcommentaar op hun conceptversie aan het eind van deze bijeenkomst. Een student die de cursus al een keer had gevolgd en een conceptversie had geschreven die ver onder de maat was, werd door de docent uitgenodigd voor een individueel gesprek. Het cijfer voor de conceptversie ontvingen de studenten met het cijfer voor hun schriftelijke feedback op het moment dat ze de beoordeelde eindversie van de docent terugkregen Uitvoering ontwerpkenmerken interactie Alle studenten waren aanwezig tijdens de bijeenkomst waarop de schriftelijke beoordelingen mondeling zouden worden toegelicht. De docent lichtte kort toe wat de bedoeling was en gaf als extra instructie de opdracht om tot overeenstemming te komen over de ideale indeling van het artikel. De docent ging, overeenkomstig de opzet, niet in op het verzoek van enkele studenten aan het begin van de bijeenkomst om ook zijn commentaar alvast aan de groepjes mee te geven, zodat ze dat konden betrekken in hun bespreking. Over het algemeen werkten de groepjes taakgericht. Men had elkaars stukken gelezen en iedereen had een aantal opmerkingen bij het werk van de ander. In één groepje domineerde een student in de mondelinge feedback, waardoor de andere groepsleden met moeite aan het woord konden komen en hun feedback konden toelichten. In een ander groepje, een tweetal, stokte het gesprek na tien minuten, omdat één groepslid sterk aan haar mening vasthield over de juiste indeling van het werkstuk. Dit punt en andere problemen waar de studenten onderling niet uitkwamen, werden aan de orde gesteld in de plenaire bespreking. Na de peer assessment gaf 60% van de studenten te

21 Beschrijving en evaluatie van de uitvoering 101 kennen dat zij zich voldoende bekwaam voelden om het werk van medestudenten te beoordelen. Men had geen problemen met het feit dat de beoordeling niet anoniem was. Samengevat, zowel de studenten als de docent voerden de procedure uit zoals gepland. 5.6 Cursus Inleiding Cultuureducatie (ICE) In het ontwerp ICE is de peer assessment een extra beoordeling, in een fase waarin normaliter geen beoordeling plaatsvindt (kenmerk 5). De peer assessment wordt uitgevoerd in groepjes van vier studenten, die elk individueel elkaars schrijfproducten beoordelen (kenmerk 12). Het ontwerp ICE is uitgevoerd door een docent, in één van twee werkgroepen. Aan de werkgroep waarin met peer assessment werd gewerkt namen 22 studenten deel. De andere werkgroep met 15 studenten en dezelfde docent diende als controlegroep. De ontwerpkenmerken worden samengevat in Figuur 5.6. ICE (22 studenten) (4) Product Conceptanalyse van een tentoonstelling (3-5 pagina s) (5) Relatie docentbeoordeling Aanvullend; extra beoordeling (7) Oordeelsrichting Wederzijds (3 beoordelingen) (8) Privacy Vertrouwelijk (binnen de groepen); de docent ontvangt een kopie (9) Contact Op afstand (schrift.feedback) + face to face (mond.feedback) (11) Bekwaamheid Groepssamenstelling gebaseerd op tentoonstelling (door studenten) (12) Constellatie beoordelaars Kleine groepen (4 studenten) (13) Constellatie beoordeelden Dezelfde kleine groepen (14) Plaats Schrift.feedback buiten resp. mond. feedback in contacttijd (kleine groepen ) (17) Beloning Geen beloning van deelname aan peer assessment Figuur 5.6 Kenmerken van het onderwijsontwerp ICE Introductie peer assessment De procedure van peer assessment werd tijdens de eerste bijeenkomst kort toegelicht. De studenten stelden geen vragen naar aanleiding daarvan. De praktische details en de beoordelingsformulieren werden een paar weken later uitgereikt, een week voordat de studenten hun conceptverslagen uitwisselden. De beoordelingsformulieren werden kort toegelicht.

22 102 Hoofdstuk Uitvoering procedure Op het moment dat de conceptanalyses zouden worden uitgewisseld, legden 18 van de 22 studenten een stuk ter beoordeling voor. Van deze groep kregen er 15 feedback van drie studenten, het aantal dat de procedure voorschreef, en drie feedback van twee studenten. De studenten vulden de beoordelingsformulieren in zoals bedoeld was, met vaak een toelichting. Daarnaast maakte men aantekeningen in de te beoordelen verslagen. De docent kreeg een exemplaar van elke conceptversie die werd uitgewisseld en van de ingevulde beoordelingsformulieren. De uitvoering van de procedure wordt samengevat in Tabel 5.6. Tabel 5.6 Uitvoering procedure peer assessment in ICE n Conceptversie gereed Conceptversie schriftelijk beoordeeld ICE (3x feedback) 3 (2x feedback) Uitvoering ontwerpkenmerken groepssamenstelling Als feedbackgroepjes fungeerden de referaatgroepen ; vijf viertallen die tijdens de eerste onderwijsbijeenkomst via een intekenlijst waren gevormd. Deze groepjes waren ingesteld om samen de opdrachten in de cursus voor te bereiden, waaronder een referaat en de tentoonstellingsanalyse. Daarbij was het de bedoeling dat men al dan niet gezamenlijk eenzelfde tentoonstelling bezocht. De opdracht was om (individueel) de tentoonstelling te analyseren en daar schriftelijk verslag van te doen. Daar kwam nu de taak bij om de conceptversie van dit verslag van elkaar te beoordelen. Op het moment dat de verslagen werden uitgewisseld, bleek dat in drie van de vijf groepjes één student naar een andere tentoonstelling was geweest dan de rest van het groepje. Omdat het een paar studenten betrof, werd besloten om de groepsindeling niet te veranderen, om geen onduidelijkheid te creëren. De indeling in viertallen bleek over het algemeen goed te werken, gezien het feit dat de uitwisseling van producten probleemloos verliep en de feedback volgens plan werd gegeven. De leden van de feedbackgroepen hadden weliswaar niet altijd dezelfde tentoonstelling bezocht, maar dit bleek geen belemmering om elkaars verslag te beoordelen.

23 Beschrijving en evaluatie van de uitvoering Uitvoering ontwerpkenmerken interactie In drie van de vijf groepjes ontbrak iemand, waaronder één student die geen conceptverslag had ingeleverd maar wel twee beoordelingen had uitgevoerd en één student die wel een conceptverslag had ingeleverd maar niets had beoordeeld. In vier van de vijf groepjes werden de schriftelijke beoordelingen aan elkaar toegelicht. In het vijfde groepje werd veel tijd besteed aan andere zaken, in het bijzonder aan de voorbereiding van het referaat dat dit groepje direct na deze bespreking moest houden. Achteraf gezien was de beslissing om geen tijd te reserveren voor een plenaire bespreking met de docent na de mondelinge feedbackronde in de kleine groepjes een gemiste kans. Er bleven nu in sommige groepjes meningsverschillen en onbegrepen kwesties liggen die opgehelderd hadden kunnen worden door ze gezamenlijk met de docent te bespreken. Van de studenten vond 65% zichzelf voldoende bekwaam om andermans werk te beoordelen en 30% vond het bezwaarlijk dat de beoordeling niet anoniem was. Samengevat verliep de uitvoering van de procedure in dit ontwerp grotendeels volgens plan. 5.7 Cursus Cultuureducatie: Theorie, Geschiedenis en Media (TGM) Het ontwerp TGM onderscheidt zich omdat er alleen schriftelijke peer assessment plaatsvindt zonder mondelinge toelichting in contacttijd (kenmerk 9). TGM (8 studenten) (4) Product Concept-artikel (5 pagina s) (5) Relatie docentbeoordeling Aanvullend; extra beoordeling (7) Oordeelsrichting Eénrichting; 2 beoordelingen in de volgorde: beoordelen (1) schrijven beoordelen (2) (8) Privacy Vertrouwelijk (docent ontvangt kopie) (9) Contact Op afstand (schrift.feedback) (11) Bekwaamheid Groepssamenstelling at random (12) Constellatie beoordelaars Twee studenten (13) Constellatie beoordeelden Twee andere studenten (14) Plaats Schrift.feedback buiten contacttijd (17) Beloning Geen beloning van deelname aan peer assessment Figuur 5.7 Kenmerken van het onderwijsontwerp TGM.

24 104 Hoofdstuk 5 Een tweede onderscheidend kenmerk is dat de beoordeling niet wederzijds is, oftewel de beoordelaars worden door anderen beoordeeld dan die zijzelf beoordelen (kenmerk 7). Daarbij is de uitvoering zo gepland dat de student eerst een conceptartikel beoordeelt, vervolgens zijn eigen artikel schrijft en daarna een tweede conceptartikel beoordeelt. Het ontwerp TGM is uitgevoerd door één docent, in één van de twee werkgroepen. Aan de peer assessment-groep namen acht studenten deel (alleen degenen die voor de schrijfopdracht kozen). De tweede werkgroep, waaraan zeven studenten deelnamen, diende als controlegroep. De ontwerpkenmerken worden samengevat in Figuur Introductie peer assessment Tijdens de eerste bijeenkomst werd de procedure mondeling toegelicht en het inleverschema met technische details uitgedeeld. Er waren geen vragen. Sommigen studenten zeiden de procedure al te kennen van de vorige cursus, Inleiding Cultuureducatie. Gezien het grote aantal vragen en opmerkingen over een ander onderdeel van de cursus, het maken van een Powerpointpresentatie, ging hun aandacht niet uit naar het schrijven en het beoordelen van een artikel. Bovendien hadden de meeste studenten gekozen voor een referaat in plaats van een artikel. De docent herinnerde de betreffende studenten tijdens een van de bijeenkomsten nog een keer aan de procedure van peer assessment. Ook op dat moment stelden de studenten hier geen vragen over Uitvoering procedure In totaal leverden alle acht studenten een conceptversie in, zij het meestal niet op de afgesproken datum, waardoor de geplande sequentie van beoordelen-schrijven-beoordelen mislukte. De ingeleverde conceptversies zijn alle door medestudenten beoordeeld. Vier kregen een beoordeling van twee studenten, het aantal dat de procedure voorschreef. De andere vier artikelen waren elk door één student beoordeeld. Twee studenten lieten hun stuk wel door anderen beoordelen, maar voerden zelf geen beoordeling uit. Hoewel iedereen van minstens één medestudent feedback ontving, was het aantal uitgebrachte beoordelingen per schrijfproduct dus minder dan de bedoeling was. De vragen op het beoordelingsformulier werden over het algemeen ingevuld, sommige met toelichting en adviezen voor verbetering.

25 Beschrijving en evaluatie van de uitvoering 105 De uitvoering van de procedure wordt samengevat in Tabel 5.7 Tabel 5.7 Uitvoering procedure peer assessment in TGM n Conceptversie gereed Conceptversie schriftelijk beoordeeld TGM (2x feedback) 4 (1x feedback) Uitvoering ontwerpkenmerken groepssamenstelling In totaal waren er acht studenten, die elk twee stukken zouden beoordelen. Op een inleverschema kon iedereen zien van welke twee studenten hij wanneer het werk moest beoordelen en op welk moment en aan wie hij zijn eigen conceptversie moest voorleggen. Deze combinaties waren door de docent willekeurig bepaald. Van vier studenten zijn de producten door twee studenten beoordeeld. De andere vier conceptversies zijn elk door één student beoordeeld Uitvoering ontwerpkenmerken interactie Er was geen gelegenheid tijdens contacttijd voorzien om toelichting te geven op de schriftelijke beoordeling. De studenten werden wel aangemoedigd om zelf hierover te spreken met degenen die hun stuk hadden beoordeeld. Er zijn geen gegevens verzameld waaruit kan worden afgeleid hoe die toelichting verliep, als die plaatsvond. Het inleverschema werd niet gevolgd, gezien het feit dat er op de gestelde data geen kopieën van artikelen, noch van beoordelingen bij de docent binnenkwamen. Toen de docent de studenten in de werkgroep hierop aansprak werden er een paar conceptartikelen en beoordelingen ingeleverd. Men voelde zich over het algemeen wel in staat om het werk van medestudenten te beoordelen; het feit dat de beoordeling niet anoniem was, speelde had volgens de studenten geen invloed op hun beoordeling. Samengevat, men leek weinig belang te stellen in de gang van zaken rond peer assessment. Wellicht kwam dat, omdat het schrijven van het artikel geen belangrijke plaats had in de cursus en de uitvoering geheel buiten de onderwijsbijeenkomsten moest plaatsvinden. De uitvoering van de procedure verliep in dit ontwerp gedeeltelijk volgens plan. Men hield zich niet aan de inleverdata, waardoor de geplande sequentie van eerst beoordelen, dan schrijven en weer beoordelen, niet werd gereali-