Handboek Implementatie Peer Review Werkpakket 4 Implementatie PROOF Project
Colofon Titel Handboek Implementatie Peer Review Auteurs B.A.M. van den Berg (UU) P. van Boxel (VU) M.E. van der Hulst (VU) Datum Augustus 2008 Dit rapport is geschreven in het kader van het SURF-project PROOF (Peer Review Online Opschalen en Faciliteren). Penvoerende instelling Vrije Universiteit Amsterdam, Onderwijscentrum VU De Boelelaan 1105, 1081 HV Amsterdam Overige participerende instellingen Universiteit Utrecht, IVLOS Technische Universiteit Delft, Faculteit Techniek, Bstuur & Management, Faculteit Luchtvaart- en Ruimtevaarttechniek Dit project is tot stand gekomen met steun van Stichting SURF, de ICTsamenwerkingsorganisatie van het hoger onderwijs en onderzoek. Meer informatie over SURF is te vinden op de website (www.surf.nl).
Inhoudsopgave Inleiding 4 Hoofdstuk 1 Ontwerpkeuzes ten aanzien van doel, object en functie van peer review 5 1.1 Doel van peer review 5 1.2 Object van peer review 6 1.3 Functie van peer review 6 Hoofdstuk 2 Ontwerpkeuzes ten aanzien van samenstelling van beoordelingsgroepen, beoordelingsprocedure en output 8 2.1 Samenstelling van de beoordelingsgroepen 8 2.2 Organisatie van de interactie 8 2.2.1 Eenzijdige of wederzijdse interactie 8 2.2.2 Privacy (anoniem of niet-anoniem beoordelen) 9 2.3 Feedback 9 2.3.1 Wanneer en hoe vaak? 9 2.3.2 Output 10 2.3.3 Beoordelingscriteria 10 2.3.4 Communicatie over de feedback 10 2.4 Procedure van peer review 11 2.4.1 Training en begeleiding van studenten 11 2.4.2 Verplichting en beloning 12 Hoofdstuk 3 Ontwerpkeuzes met betrekking tot online ondersteuning 14 3.2.1 Een online peer review systeem kiezen 14 Hoofdstuk 4 Ontwerpkeuzes met betrekking tot de begeleiding, monitoring en kwaliteitsbewaking van het peer review proces. 16 3
Inleiding Het PROOF project richt zich op de implementatie van online vormen van peer review in verschillende onderwijskundige settings. De ervaringen die in de verschillende PROOF pilots zijn opgedaan bij de Vrije Universiteit Amsterdam, de Universiteit Utrecht en de Technische Universiteit Delft hebben geresulteerd in een reeks voorbeelden, checklists, good practices en ideeën voor andere docenten en onderwijsontwikkelaars die met peer review aan de slag willen binnen een vak of cursus. Deze documenten en voorbeelden zijn samengebracht in dit implementatiehandboek waarin een aantal kwesties worden besproken die zich voor kunnen doen bij het ontwerpen en invoeren van (online) peer review/ peer evaluatie en peer evaluatie. Doel is om door middel van een stappenschema, voorbeelden, tips en checklists bij te dragen aan de succesvolle implementatie van peer assessment in een cursus. In dit handboek maken we onderscheid tussen de begrippen peer review en peer evaluatie. Met peer review doelen we op werkvormen waarbij studenten elkaars werk, meestal schrijfproducten of vaardigheidsdemonstraties, beoordelen en verbeteringen voorstellen. De term peer evaluatie reserveren we in deze handleiding voor werkvormen waarbij studenten elkaars bijdrage aan teamwork beoordelen. 4
Hoofdstuk 1 Ontwerpkeuzes ten aanzien van doel, object en functie van peer review Peer review/ peer evaluatie kan om verschillende redenen en ten behoeve van verschillende leerdoelen worden ingezet. In deze paragraaf wordt stil gestaan bij de redenen waarom een docent met peer review wil gaan werken, wat studenten precies van elkaar moeten gaan beoordelen en wat de functie van de peer review opdracht is (formatief dan wel summatief). Na een toelichting op de ontwerpstappen doel, object en functie kunnen deze aspecten in ontwerp opdracht (1) op p. 7 voor de eigen opdracht verder uitgewerkt worden. 1 1.1 Doel van peer review Docenten noemen vooral volgende redenen om met peer review te willen werken: Leerdoelen Ontwikkeling van academische vaardigheden. Bij veel opleiding staat de ontwikkeling van academische vaardigheden doorheen het curriculum centraal. Peer review/ peer evaluatie is een werkvorm die goed kan aansluiten bij het oefenen van bepaalde vaardigheden rond oordeelsvorming en het ontwikkelen van een kritisch beoordelingsvermogen. Leren feedback geven. Studenten leren een noodzakelijke beroepsvaardigheid: beoordelen van de concepten van collega's en het geven van feedback daarop. Procesdoelen Meer tussentijdse leermomenten. Door peer review/ peer evaluatie wordt het mogelijk om studenten meer te laten samenwerken, schrijven, presenteren etc, en in meerdere stadia feedback te geven. Daardoor ontstaan mogelijkheden om de feedback intensiever te laten verwerken, en er meer van te leren in het proces van feedback geven en krijgen. Zich eigen maken van de criteria. Door het geven van peer review/ peer evaluatie verdiepen studenten zich in de criteria voor de beoordeling, krijgen zij meer inzicht in de eisen waaraan zij moeten voldoen, en denken zij ook beter na over de mate waarin zij zelf aan die eisen voldoet. Kortom: ze zijn daarna beter in staat hun eigen prestaties en gedrag kritisch te bekijken. Pragmatisch redenen Toename volume feedback. Door peer review/ peer evaluatie kan de hoeveelheid feedback die studenten ontvangen, aanmerkelijk toenemen. Cruciaal hierbij is dat studenten in de mogelijkheid gesteld worden de feedback te kunnen lezen, bespreken en verwerken. Besparing op docenttijd. De taakbelasting van docenten kan door peer review/ peer evaluatie in principe verminderen. Tijdswinst kan vooral worden gerealiseerd doordat het geven van (een deel van) de feedback door studenten gebeurt. Voorwaarde is dat de docent zorgt voor heldere beoordelingscriteria, een duidelijke beoordelingsprocedure en voldoende procesmonitoring op mogelijke praktische en/of inhoudelijke problemen. Activerende werkvorm voor grote groepen. Voor docenten die lesgeven aan grote groepen studenten, bieden online vormen van peer review/ peer evaluatie de mogelijkheid tot activerende werkvormen, die zonder online ondersteuning niet realiseerbaar zouden zijn. IK WIL MET PEER REVIEW WERKEN OMDAT (Vul aan in ontwerpopdracht 1 op p. 7) 1 Deze opdracht vorm en het schematisch overzicht is ook gehanteerd in deel 1 van de PROOF peer review workshop voor docenten bij de VU en de UU. 5
1.2 Object van peer review Peer review/peer evaluatie kan betrekking hebben op allerlei objecten, zolang er maar sprake is van een concreet product of van waarneembaar gedrag dat open staat voor beoordeling door medestudenten. De meest voorkomende objecten van peer review/ peer evaluatie in het wetenschappelijk onderwijs zijn: Schrijfproducten: bijvoorbeeld een paper, essay, scriptie of onderzoeksverslag Vaardigheidsdemonstraties: bijvoorbeeld een presentatie, een miniles, een specifieke laboratoriumvaardigheid Samenwerkingsgedrag: bijvoorbeeld bij ontwerpopdrachten waarbij studenten als team aan een project moeten werken 1.3 Functie van peer review WAT MOETEN MIJN STUDENT BEOORDELEN VAN ELKAAR? (Vul aan in ontwerpopdracht 1 op p. 7) De functie van peer review kan formatief dan wel summatief van aard zijn. Bij formatieve peer review geven studenten elkaar tussentijds feedback over de kwaliteit van hun prestaties, zodat ze op basis daarvan hun leerproces (nog) kunnen bijsturen. Om dit expliciet plaats te laten vinden, kan een docent ervoor kiezen om een opdracht zó vorm te geven dat studenten de ontvagen peer feedback duidelijk aantoonbaar moeten verwerken in een tweede versie van een opdracht. Bij summatieve peer review geven peers een eindoordeel uitgesproken over de prestaties van hun medestudenten. Vaak wordt hierbij gekozen voor een cijfermatige beoordeling, al dan niet met toelichting. Dit cijfer kan (mee)bepalend zijn voor het eindcijfer van de student. Met name als het gaat om activiteiten en processen die voor de docent moeilijk volledig inzichtelijk te maken zijn, zoals het samenwerken van studenten in een projectgroep, kan het zinvol zijn om studenten hun beoordeling in de vorm van een cijfer te laten geven. Dit cijfer kan voor de docent als alarmbel fungeren, als uitnodiging voor een goed gesprek. Het kan ook meegewogen worden in het eindcijfer, omdat de docent dat beoordelingsaspect uit handen wil geven of om de studenten te laten weten dat hun beoordeling ertoe doet. Onderstaande tabel zet de belangrijkste verschillen van formatieve en summatieve peer review/ peer evaluatie naast elkaar. Peer review/ peer evaluatie Tijdstip Vormen/varianten Feedback Cijfer Formatief Vindt plaats tijdens het leerproces, eventueel op meerdere momenten, met de bedoeling dat studenten leren van de ontvangen feedback, zodat ze hun prestatie kunnen verbeteren en/of hun leerproces beter kunnen aansturen. Gericht op verbetering: student die feedback ontvangt krijgt gelegenheid deze te verwerken. Leerdoelen zoals leren hanteren van beoordelingscriteria of leren reflecteren op kwaliteit van prestaties. Feedback meestal kwalitatief. Toelichting op beoordeling is van belang Mogelijk interactie over inhoud van de feedback tussen peers Beoordelingen van medestudenten wegen niet mee in de eindbeoordeling. Summatief Vindt plaats na afloop van het leerproces, met de bedoeling om te beoordelen. Gericht op het vaststellen van een eindoordeel/ eindcijfers Meestal voorgestructureerde antwoordschalen of kwantitatieve beoordelingen De oordelen van de studenten wegen mee in het eindcijfer (waarbij al dan niet ook de docent een beoordeling geeft, zijnde co-assessment). 6
Tabel 1 Formatieve en summatieve peer review/ peer evaluatie Het kan de motivatie van studenten voor peer review/ peer evaluatie verhogen als er een mengvorm gekozen wordt, waarbij de peer beoordeling toch meeweegt in het eindcijfer. Enkele voorbeelden: - de beoordeling door peers kan met een lichte weegfactor meetellen in het door de docent vast te stellen cijfer (co-assessment) - beoordelingen van meerdere studenten kunnen gemiddeld worden om het risico op oneigenlijke vertekening (bias) te verminderen - slechts een deel van de formatieve beoordelingen laten meetellen bij het vaststellen van het cijfer - studenten de kans geven alleen de door medestudenten best beoordeelde werkstukken op te nemen in hun portfolio - de kwaliteit van gegeven beoordelingen mee te laten wegen in het cijfer. DE FUNCTIE VAN MIJN PEER REVIEW OPDRACHT IS FORMATIEF/SUMMATIEF (Vul aan in ontwerpopdracht 1 op p. 7) Ontwerp opdracht (1): Object, doel en functie van peer review/ peer evaluatie Werk onderstaande tabel uit voor uw eigen cursus. Richt daarbij de aandacht op: 1) het doel (wat moet peer review/ peer evaluatie opleveren?) 2) het object van de beoordeling (wat beoordelen studenten van elkaar?) 3) de functie (formatief of summatief?) Ontwerpvariabele Variatiebreedte Ontwerpkeuze GEBRUIK Doel Procesdoel Leerdoel Pragmatisch Object Schrijfproduct Vaardigheid Samenwerking Functie Formatief Summatief 7
Hoofdstuk 2 Ontwerpkeuzes ten aanzien van samenstelling van beoordelingsgroepen, beoordelingsprocedure en output In deze paragraaf wordt stil gestaan bij de meer praktische en procedurele ontwerpstappen bij het maken van een peer review opdracht. Deze zijn gericht op de samenstelling van beoordelingsgroepen (wie beoordeelt wie?), de beoordelingsprocedure (hoe en op basis waarvan beoordeelt men elkaar?) en wat levert de beoordeling concreet op? Na een toelichting op de verschillende ontwerpstappen volgt weer een schematisch overzicht waarin de opzet van de eigen opdracht verder uitgewerkt kan worden (tevens gebruikt in deel 1 van de PROOF-workshop voor docenten). 2.1 Samenstelling van de beoordelingsgroepen Mogelijkheden om feedbackgroepen te maken zijn er natuurlijk legio: at random indelen, laten intekenen op een onderwerp, door studenten zelf laten bepalen. De keuze van een verstandig indelingsprincipe hangt erg af van de situatie en van de studiefase waarin de studenten zich bevinden. Maak het niet te ingewikkeld en volg zoveel mogelijk de logica van de opdracht waar ze mee bezig zijn. Bij peer evaluatie van de onderlinge samenwerking in een team is uiteraard het team de eenheid waarbinnen men elkaars samenwerkingscompetenties beoordeelt. Bij vaardigheidsdemonstraties of schrijfproducten is het handig om de groep in subgroepen (feedbackgroepen) te verdelen waarbinnen men elkaars (individuele) prestatie beoordeelt, vooropgezet dat er geen reden is om dit anoniem te doen. Wanneer er sprake is van (collaboratieve) groepsproducten is peer review/ peer evaluatie binnen de groep geen optie, een mogelijkheid is dan om de ene subgroep het werk van de andere subgroep te laten beoordelen. Om ervoor te zorgen dat alle leden hun beoordelingstaak serieus nemen en als een logische taak ervaren is het handig om ze te vragen om commentaar vanuit een rol als dat past in de context van de opdracht die ze moeten uitvoeren. Maak de feedbackgroep niet te groot. Houd de groepsgrootte bij voorkeur op drie of vier studenten, zodat deze de verschillende commentaren kunnen vergelijken en afwegen. Een grotere groep heeft al snel als nadeel dat er zoveel moet worden beoordeeld, dat de reviewers zich er met een oppervlakkig commentaar van af maken. Tweetallen hebben als risico dat, bij niet goed functioneren van een of beide partners, de feedback uitblijft of te mager is. Zorg ervoor dat de studenten het geven en ontvangen van feedback regelmatig kunnen afwisselen. SAMENSTELLING VAN DE BEOORDELINGSGROEPEN BIJ MIJN OPDRACHT (Vul aan in ontwerpopdracht 2 op p. 13) 2.2 Organisatie van de interactie 2.2.1 Eenzijdige of wederzijdse interactie Feedback met één richting (eenzijdig) betekent: student A beoordeelt B, B beoordeelt C, enz. Met bepaalde peer review/ peer evaluatie applicaties is dit met een druk op de knop te organiseren. Als het de bedoeling is dat studenten hun beoordeling mondeling aan elkaar toelichten is eenzijdig beoordelen af te raden (zie bij wederzijds ). De kans op goede feedback is bij wederzijdse beoordeling groter, omdat het een kwestie is van 'gelijk oversteken' (jij hebt mij goede feedback gegeven, dus doe ik ook mijn best voor 8
jou). De mondelinge toelichting kost weinig contacttijd, omdat de feedbackgroepen parallel hun feedback kunnen bespreken. 2.2.2 Privacy (anoniem of niet-anoniem beoordelen) Wel of niet kiezen voor anonimiteit is afhankelijk van factoren zoals de keuze voor formatieve of summatieve assessment, de ervaring die de studenten hebben met peer review/ peer evaluatie en inschattingen van de docent t.a.v. de kans dat zich problemen gaan voordoen in de sfeer van friendship marking en/of decibel marking. Argumenten die kunnen pleiten voor anonieme peer beoordeling zijn met name dat studenten het gevoel hebben zich objectiever (kritischer) uit te kunnen laten over hun peers in een veilige context. Ik denk dat het een groot voordeel is dat het anoniem is. Dit maakt het mogelijk wat kritischer te kijken. Daarbij verwacht ik ook van een ander dat hij of zij kritisch naar mijn stuk kijkt (VU Master Student Sportfilosofie, 65 studenten) Bij grote groepen studenten (enkele honderden) zullen docenten ook eerder besluiten om anoniem te laten beoordelen als dat via de computer veel sneller te organiseren is dan feedbackgroepen aanmaken. Onderwijskundige argumenten tegen anoniem reviewen: als je niet weet wie je heeft beoordeeld, kun je geen toelichting op de review vragen en daarmee verdwijnt een van de leerzaamste aspecten van peer review/ peer evaluatie, te weten het discussiëren tussen beoordeelde en beoordelaar. Anonimiteit maakt van peer beoordeling een volledig eenrichtingsproces. 2.3 Feedback Niet anoniem, zodat mensen zich meer verbonden voelen en ook aangesproken kunnen worden op wat ze terug geven (eerstejaarsstudent VU,FSW, Qualitative Research Methods, 65 studenten) 2.3.1 Wanneer en hoe vaak? ORGANISATIE VAN DE INTERACTIE BIJ MIJN OPDRACHT (Vul aan in ontwerpopdracht 2 op p. 13) In de planfase kunnen studenten elkaar helpen door de helderheid van een probleemstelling of een plan van aanpak te beoordelen. Enige tijd later kunnen ze de uitwerking of onderdelen daarvan beoordelen. Belangrijk is wel dat er bij herhaalde peer review/ peer evaluatie een duidelijke variatie is in de taak en dat er iets ligt dat afgerond genoeg is om beoordeeld te kunnen worden. Het voordeel van herhaalde peer beoordeling is, mits de groep waarin de feedback wordt gegeven hetzelfde blijft, dat de studenten kunnen ervaren wat er met hun feedback gebeurt. Als ze merken dat hun feedback door de ontvanger serieus genomen wordt ontstaat er ook meer betrokkenheid bij elkaars leerproces en worden gezamenlijke besprekingen met de docent van werkstukken e.d. niet alleen voor de schrijver, maar ook voor de feedbackgevers interessant. Na (formatieve) peer review/ peer evaluatie moeten de studenten altijd de mogelijkheid krijgen om de feedback te verwerken om de kans op een beter eindresultaat te vergroten. Anders dan bij de summatieve vorm dient formatieve peer beoordeling dus nooit tijdens de eindtoets of tegen het einde van de cursus plaats te vinden. Wat beter zou zijn voor het eindresultaat is als er tussenconcepten worden beoordeeld die daadwerkelijk verbeterd dienen/kunnen worden. Nu was het meer feedback die je kon gebruiken voor een volgende keer omdat ze je nieuwe inzichten gaven of andere leerpunten. Met de feedback heb ik niet veel/vrijwel niets gedaan 9
Niet alle software tools bieden de mogelijkheid om peer review/ peer evaluatie van groepjes over langere tijd en/of verschillende versies van werkstukken bij elkaar te houden. In dat geval is een combinatie van online en face-to-face werkvormen aangewezen. 2.3.2 Output Als peer review/ peer evaluatie formatief ingezet wordt hebben de studenten het meeste aan kwalitatieve, criteriageleide feedback. Bij summatieve feedback is een combinatie van criteriageleide, kwantitatieve en kwalitatieve feedback het meest informatief, voor zowel studenten als docenten. 2.3.3 Beoordelingscriteria Gebruik altijd geoperationaliseerde beoordelingscriteria (zie voorbeeld bijlage 2a). Vage criteria lokken vage feedback uit (zie voorbeeld bijlage 2b). Maak de lijst niet te uitgebreid, maar zorg wel dat de criteria voldoende dekkend zijn voor zowel inhoud, structuur als stijl. Stimuleer de studenten om toelichting op de beoordeling te geven. Gebruik nooit lijstjes die alleen maar af te vinken zijn, en laat het oordeel aan het eind samenvatten in de vorm van een paar adviezen voor verbetering. Indien mogelijk stel de criteria dan samen met de studenten vast. Kennis en eigenaarschap verhogen de kwaliteit van de uitgevoerde beoordelingen en het vertrouwen van studenten in de methode van peer review/ peer evaluatie. Zorg voor heldere beoordelingscriteria. Leg criteria uit, geef voorbeelden en splits indien nodig op in deelaspecten (zie voorbeeld bijlage 2c). Overweeg het ontwerp van een scoringsrubriek bij de summatieve inzet van peer beoordeling (zie voorbeeld bijlage 2d). Op die manier wordt het geven van een cijfer gekoppeld aan duidelijk gedefinieerde kwaliteitscriteria. Dit heeft verschillende voordelen: studenten gebruik een uniform kader voor hun beoordelingen, wat leidt tot grotere overeenkomsten tussen verschillende beoordelaars van eenzelfde stuk (en een betrouwbaarder cijfer). Daarnaast wordt het voor studenten inzichtelijk op basis van welke criteria een docent een bepaald cijfer geeft. Dit zorgt ervoor dat de student 1) zelf meer als professional gaat beoordelen en 2) dat hij beter kan inschatten welke criteria belangrijk zijn om zelf een goed cijfer te behalen (zie voorbeeld van een scoringsrubriek). Computerprogramma s bieden doorgaans mogelijkheden voor het invoeren van verschillende soorten beoordelingscriteria in de vorm van open vragen, schaalvragen (gerelateerd aan een score). 2.3.4 Communicatie over de feedback Toelichting en verheldering van de feedback, en het zoeken naar verbetering zijn onmisbare elementen om van het feedback geven en krijgen te leren. Als de online applicatie hier onvoldoende mogelijkheid voor geeft blijft face-to-face contact het aangewezen middel. Zorg dat de peer review/ peer evaluatie eerst schriftelijk of digitaal wordt gedaan en geef vervolgens gelegenheid om die online of face-to-face met elkaar te bespreken. Organiseer face-to-face meetings bij voorkeur in contacttijd, in de vorm van parallelsessies. Het is best nuttig om elkaar feedback te geven, maar enkel feedback geven per mail of via Blackboard is niet voldoende. Niet dat ik mondelinge toelichting wil hebben, maar de controle is groter als er ook een uur wordt ingepland om de feedback met elkaar door te moeten spreken in het bijzijn van de begeleider. Daarbij is het duidelijker of jouw feedback op een ander is overgekomen en als er iets mis gaat, wordt dat duidelijk en kan het makkelijker opgelost worden. HOE FEEDBACK GEVEN BIJ MIJN OPDRACHT (Vul aan in ontwerpopdracht 2 op p. 13) 10
2.4 Procedure van peer review formatie 4. evt. herhaling van peer review/ peer evaluatie op verbeterd (concept)product, vaardigheid of 0. evt. leren beoordelen 1. maken van (concept) product, uitvoeren vaardigheid of samenwerken in groep 2. uitvoeren van peer review/ peer evaluatie adhv criteria 3. evt. verbeteren van product, verbeteren van vaardigheid of vervolg samenwerking 5. beoordelen van eindproduct, vaardigheid of samenwerkingsgedrag door docent/evt. co-assessment 3a. evt. reactie op beoordeling, verzoek om toelichting Fig. 1 Algemeen basisschema voor peer review/ peer evaluatie In bovenstaande figuur wordt de basisprocedure voor peer review/ peer evaluatie weergegeven. Bij formatief gebruik worden alle stappen gezet, bij summatief gebruik wordt stap 3 overgeslagen. Zeker als de beoordeling van medestudenten een substantieel deel van het eindcijfer bepaalt (maar ook bij formatieve peer review/ peer evaluatie omdat het succes hiervan staat of valt met de kwaliteit van de peer feedback), is het zinvol om een extra stap in te bouwen die vooraf gaat aan de eigenlijke peer review/ peer evaluatie: het leren beoordelen van de schrijfproducenten, vaardigheden of samenwerking. 2.4.1 Training en begeleiding van studenten Om de kwaliteit van de peer feedback te bevorderen is het belangrijk om de studenten voor ze met peer review/evaluatie aan de slag gaan, vertrouwd te maken met de beoordelingscriteria. Dat kan bijvoorbeeld door hun uitwerkingen voor te leggen van studenten die de cursus eerder hebben gevolgd en die tijdens de werkgroep laten beoordelen. In een nabespreking kunnen de oordelen naast elkaar worden gelegd en op de verschillen worden besproken. Voor studenten is het niet altijd duidelijk wat het doel is van peerbeoordeling. Wanneer studenten als eerstejaars binnenkomen is er meestal niets aan de hand, zij accepteren dat peer review/ peer evaluatie een onderdeel is van de cursus. Het is zeer nuttig om elkaar (lees: studenten onderling) feedback te geven. Op die wijze krijg je namelijk te lezen wat iemand anders, die in dezelfde schoenen staat als jij, van jouw paper denkt - en van jouw manier van schrijven dan wel onderzoeken. Nogmaals, een zeer krachtige methode. (1 e jaarsstudent Rechten VU, groep van 250 studenten) Ga de werkvorm niet op voorhand verdedigen als studenten er geen vragen over stellen, dat wekt alleen maar argwaan. Bij ouderejaarsstudenten kan het tot vragen en soms verzet leiden: moeten zij ineens de taak van de docent gaan overnemen en elkaar beoordelen? Is dit een verkapte bezuinigingsmaatregel? Alsof je het al niet druk genoeg hebt met het halen van je deadlines, allemaal leuk en aardig, maar het gaat wel van je eigen schrijftijd af! 11
Een paar adviezen die bij een peer review opdracht zorgen voor de juiste omkadering naar studenten toe: Informeer studenten tijdig en zorgvuldig. Omdat studenten soms heel andere verwachtingen kunnen hebben dan de docent, is het belangrijk om de studenten vroegtijdig te informeren over de doelen en de werkwijze van peer review/ peer evaluatie. Doe dat bij voorkeur mondeling en bespreek dan in ieder geval de bedoeling. Geef gelegenheid vragen te stellen en beantwoord ze. Details over de beoordelingsprocedure kunnen beter schriftelijk worden gegeven. Benadruk van meet af aan het kwalitatieve, constructieve element van peer review/ peer evaluatie. Het gaat er niet om, elkaar af te straffen of om plakplaatjes uit te delen. Het doel is om de feedback van medestudenten te gebruiken om je eigen werk te verbeteren. Omgekeerd leer je door het beoordelen van het werk van je medestudenten hoe het met de kwaliteit van je eigen werk gesteld is en waar de beoordelingscriteria voor staan. Als men niet overtuigd is van het nut van peer review/ peer evaluatie in de cursus, probeer dan tot een gezamenlijke conclusie te komen, nl dat je met zijn allen het experiment aan wilt gaan, dat je aan het eind van de cursus ook grondig met ze wilt evalueren. Meestal valt die evaluatie in het voordeel van peer beoordeling uit. Als ze eenmaal met een redelijk doordachte vorm van peer review/ peer evaluatie hebben gewerkt zijn de meeste studenten van mening dat het een leerzame werkvorm is. Vaak komen er ook nog nuttige suggesties voor verbetering van de opzet uit de evaluatie. Presenteer peer review/ peer evaluatie zoveel mogelijk als een essentieel onderdeel van de beroepspraktijk. Maak peer review/ peer evaluatie aantrekkelijk voor de studenten door hen de kans te geven hun werk te verbeteren op basis van de peer feedback, voordat ze het als eindproduct ter beoordeling aan de docent voorleggen. Neem peer review/ peer evaluatie op in de cursusdoelen bv. -De studenten kunnen elkaar op professionele wijze feedback geven. Als gekozen wordt om de peer review/ peer evaluatie opdracht geheel of gedeeltelijk online te laten verlopen, moeten studenten daar natuurlijk ook op voorbereid worden. Geef ze de tijd om met de software te leren werken, en beschrijf hoe het proces online wordt georganiseerd. Met name bij tools waar met strikte deadlines wordt gewerkt voor het inleveren van opdrachten en peer review/ peer evaluaties hebben studenten nogal eens moeite. Bespreek de consequenties van het missen van deadlines. Als gekozen wordt voor anonieme peer review/ peer evaluatie, bespreek de reden hiervoor met studenten, en de consequenties hiervan voor de stijl van feedback geven. Maak tenslotte ook duidelijk dat de docent ten allen tijde het peer review/ peer evaluatie proces kan monitoren en (een selectie van) feedback naleest. 2.4.2 Verplichting en beloning Maak peer review/ peer evaluatie voor de studenten aantrekkelijk door het te presenteren als mogelijkheid om het eigen werk zoveel mogelijk te verbeteren door gebruik te maken van de inbreng van hun medestudenten, zodat ze een extra verbeteringsslag kunnen maken en dus de kans op een goed eindresultaat vergroten. Maak tegelijk duidelijk dat plagiaat ten allen tijde wordt afgestraft (conform het opleidingsbeleid). Laat studenten altijd hun versie waarop ze peer feedback hebben gekregen plus de ontvangen peer feedback mee inleveren met hun eindversie. PROCEDURELE/TRAININGS ASPECTEN BIJ MIJN OPDRACHT (Vul aan in ontwerpopdracht 2 op p. 13) 12
Ontwerp opdracht (2): Samenstelling beoordelingsgroepen, beoordelingsprocedure, en output SAMENSTELLING BEOORDELINGSGROEPEN Matching Samenstelling beoordelaars Basis (jaar, bekwaamheid, vriendschap)? Wie doet matching? (docent, computerprogramma, studenten zelf). Individueel, duo, groep? Samenstelling beoordeelden Individueel, duo, groep? INTERACTIE Oordeelsrichting Eenzijdig of wederzijds Privacy Anoniem, niet anoniem FEEDBACK Wanneer en hoe vaak Output Communicatie Bv. Gedurende 4 weken elke week papers van 2 andere studenten beoordelen Bv. 1x opzet en 1x conceptversie van een en dezelfde medestudent Kwantitatief of kwalitatief? Welke beoordelingscriteria? Communicatie over de feedback tussen feedbackgever en ontvanger (ja/neen). Online of face-toface PROCEDURE Training/begeleiding Ja/Neen Bv. eerst oefenen met beoordelingscriteria, werken met voorbeelden etc. Verplichting en beloning Verplicht of facultatief Intrinsieke of extrinsieke beloning 13
Hoofdstuk 3 Ontwerpkeuzes met betrekking tot online ondersteuning Zowel formatieve als summatieve vormen van peer beoordeling zijn goed te ondersteunen met peer review/peer evaluatie software. De belangrijkste voordelen van online peer review/ peer evaluatie is dat het uitwisselen van te beoordelen producten en feedback, alsook het bediscussiëren van de feedback er een stuk eenvoudiger door wordt. Daarnaast is er het grote voordeel dat het voor de docent gemakkelijker wordt om het proces te monitoren. Als peer review/ peer evaluatie summatief wordt ingezet, kan voor software gekozen worden die mogelijkheden heeft voor het beheer van cijfers die studenten aan elkaar geven of exportmogelijheden biedt van cijfers naar Excel of SPSS. Verder bieden online tools vaak de mogelijkheid om schrijfproducten willekeurig en anoniem toe te wijzen aan een of meerdere beoordelaars. In sommige gevallen kan anoniem beoordelen een uitkomst bieden voor vertroebelende factoren als friendship marking in het peer review/ peer evaluatie proces. 3.2.1 Een online peer review systeem kiezen Nu de meeste ontwerpstappen gezet zijn, zou het moeten lukken om een overwogen besluit te nemen over de meest geschikte peer review/ peer evaluatie tool. In het PROOF- rapport is een overzicht opgenomen van technische, functionele en onderwijskundige criteria die relevant zijn bij de keuze voor een peer review applicatie. Er is geen tool beschikbaar momenteel die aan alle genoemde criteria voldoet. Ook dient men dient zich eerst af te vragen wat men wil met peer review review of peer evaluatie om op basis daarvan de meest geschikte applicatie kiezen. Welk systeem beantwoordt het beste aan mijn eisen, of hoe kan ik reeds gebruikte software bij de instelling (bijvoorbeeld MsWord of Blackboard) inzetten om peer review/ peer evaluatie te faciliteren? In onderstaande tabel worden de twee systemen waarmee pilots zijn uitgevoerd bij de VU en bij de UU op de belangrijkste onderwijskundige criteria met elkaar vergeleken. Geef in de tweede kolom aan welke functionaliteit voor u van belang is bij uw peer review opdracht. Ontwerp opdracht (3): kiezen van online ondersteuning Functie Feedback Type Wat moet peer review/ peer evaluatie software kunnen om mijn opdrachten te ondersteunen Turnitin Annotatiesysteem Kwantitatief (vijfpuntsschaal) Kwalitatief Directe link tussen commentaar en tekstonderdeel Specificiteit Inline feedback Inline feedback Interactie Invoegen beoordelings criteria Toewijzing Geen feedback op feedback. geen rating van de feedback. Docent maakt en beheert beoordelingscriteria Turnitin heeft set van ingebouwde criteria (Engels) metrics, topics, rubrics, aanvulling eigen criteria is mogelijk Feedback op feedback en rating van de feedback Student voert zelf criteria in Geen set van criteria beschikbaar in systeem 14
beoordelaars Feedbackgroepen Anonimiteit Efficiency Schrijfproducten kunnen geheel random of handmatig worden verdeeld, waarbij de student ook de mogelijkheid kan hebben om zelf de reviewer(s) te kiezen. Zowel de schrijver als de reviewers kunnen worden geanonimiseerd. Beperkte mogelijkheid om geaggregeerde overzichten te geven van de antwoorden op schaalvragen per student en per opdracht. Deze kunnen echter niet gedownload worden. Er kunnen deadlines worden ingesteld voor het inleveren van het schrijfproduct, het reviewen van het schrijfproduct en het vrijgeven van de reviewresultaten.. Handmatig subgroepen aanmaken Beperkte privacy. Anoniem beoordelen (onder een schuilnaam) is mogelijk. Geen mogelijkheid om kwantitatieve overzichten te maken van ratings. Geen mogelijkheid om geaggregeerde overzichten te geven van de feedback. Het is niet mogelijk om deadlines in te stellen. Opdrachten kunnen niet at random verdeeld worden. Alleen pdf-bestanden kunnen geplaatst worden. 15
Hoofdstuk 4 Ontwerpkeuzes met betrekking tot de begeleiding, monitoring en kwaliteitsbewaking van het peer review proces. De peer review/ peer evaluatie werkte goed, alleen soms klopte de feedback niet of kreeg je twee verschillende reviews op hetzelfde essay. Ik vind dat de docent ook naar het essay en de reviews moet kijken en als het nodig is ook feedback geven als de peer review/ peer evaluaties niet kloppen of het essay te laag beoordeeld wordt door medestudenten.[vu ref?] Een belangrijke voorwaarde voor het slagen van peer review/ peer evaluatie is de balans die de docent weet te vinden tussen een zekere terughoudendheid en op tijd feedback geven aan degenen die dat nodig hebben. Docenten moeten doorgaans terughoudend zijn tijdens peer review/ peer evaluatie-activiteiten, want zodra zij ertussen komen houden de studenten op met elkaar feedback geven (want de docent weet immers alles veel beter). Maar dit betekent niet dat de docent geen belangrijke rol of inbreng zou hebben. De studenten verwachten dat de docent op regelmatige tijdstippen tijdens het peer review/ peer evaluatie te bereiken is en hun niet al te lang door laat modderen als dat niets meer oplevert. Een natuurlijke manier om van zich te laten horen is door aansluitend op elke peer review/ peer evaluatieronde een plenaire bespreking te organiseren, waarin verschillen in inzicht tussen de studenten onderling zo expliciet mogelijk naar voren worden gebracht en zo mogelijk opgelost. Uiteraard geeft de docent op enig moment feedback op basis van dezelfde criteria als de studenten. Maar dan vanuit een expertrol, want het is van groot belang dat de studenten ook gefocussed worden op specifieke vakinhoudelijke of procesmatige elementen waar ze zelf op dat moment nog onvoldoende zicht hebben. Als je een online tool gebruikt, kun je als docent het proces van feedback geven goed monitoren. Op welke manier je dat precies doet, zal afhangen van je tijd en de groepsgrootte, het aantal reviews en beoordelaars, de omvang en soort feedback die gegeven moet worden enz. Als je geen tijd hebt om alles na te lezen, probeer dan wel minstens een steekproef te nemen en een aantal reviews door te nemen. Misschien vallen bepaalde zaken meteen op, zoals een verkeerde feedbackstijl, maar ook foute feedback. Ga na of dit een individueel probleem is of vaker in de groep voorkomt, en reserveer tijd om dit bespreekbaar te maken met studenten. Laat voorbeelden zien van verkeerde stijl, of bespreken bepaalde delen uit de leerstof terug. Voorbeelden van goede en slechte feedback kunnen ook in latere jaren weer aan studenten voorgelegd worden. Studenten vinden et lastig omgaan met tegenstrijdige commentaar die ze krijgen van verschillende reviewers (zie voorbeeld bijlage 4a). Soms ondermijnt het ook hun enthousiasme over peer review/ peer evaluatie in zijn geheel. Benadruk dat de studenten in eerste instantie zelf een afweging zal moeten maken over de kwaliteit en bruikbaarheid van de ontvangen feedback. Laten reageren op ontvangen feedback is een manier om misverstanden uit de weg te ruimten. Blijft feedback toch onduidelijk of leidt het tot verwarring, dan is het uiteraard belangrijk dat de docent beschikbaar is om zijn oordeel daar aan toe te voegen. Op zich is het een fijne manier van werken, ook omdat je op deze manier meer leert dan door alleen het schrijven zelf. Ik vraag me wel af in hoeverre docenten op de peerfeedback moeten afgaan, want volgens mij zit er soms een behoorlijk niveauverschil in de reviews. De een geeft een 4, de ander een 1. Wordt er dan vooral naar de reviews gekeken die je krijgt, die je schrijft of allebei? [VU ref?] HOE BEGELEID IK STUDENTEN BIJ EEN PEER REVIEW OPDRACHT? (Vul aan in ontwerpopdracht 2 op p. 18) 16
Ontwerp opdracht (4): Rol van de docent in het feedbackproces Geef aan op welke manier u studenten wil begeleiden tijdens het feedback geven aan elkaar Studenten geven elkaar feedback en ik meng me daar niet in. Ik plan tijdens een bijeenkomst tijd in waarbij studenten in groepjes hun online feedback mondeling toelichten aan elkaar. Ik ga tijdens een bijeenkomst in op algemene vragen van studenten over de uitgevoerde peer review/ peer evaluaties. Ik kijk de feedback van enkele studenten na, om na te gaan of er zich problemen voordoen. Ik kijk alle gegeven feedback na, maar geef geen cijfer of beoordeling hiervan. Ik kijk alle gegeven feedback na, en geef het een cijfer of beoordeling. Ik geef zelf ook feedback op alle opdrachten. Ik kijk alleen werkstukken na als een student de ontvangen beoordeling onterecht vindt 17
18