bruikbare ontwerpen. Peer

Transcriptie

1 Peer assessment inuniversitair Ontwerp van peer assessment onderwijs. Eenonderzoeknaar In dit hoofdstuk wordt uiteengezet op welke 3 bruikba re assessment Hoofdstuk 3 ontwerpen. Peer manieren peer assessment in het onderhavige onderzoek is gearrangeerd. In totaal zijn zeven cursusontwerpen gemaakt waarin met peer assessment wordt gewerkt. Paragraaf 3.1 belicht de wijze waarop de ontwerpvariabelen in de verschillende ontwerpen zijn geoperationaliseerd. In paragraaf 3.2 worden de gemeenschappelijke kenmerken beschreven, met name de procedure en de wijze van implementatie. In de paragrafen 3.3 tot en met in universitai r 3.9 wordt per ontwerp een overzicht gegeven van de geplande uitvoering. De verschillen en de overeenkomsten tussen de ontwerpen worden samengevat in paragraaf onderwijs. Eenonderzoekn aar bruikbare ontwerpen. Peer assessment in universitair onderwijs. Eenonderzoeknaar bruikbare ontwerpen. Peer assessment in universitair

2

3 Ontwerp van peer assessment Operationalisatie van de ontwerpvariabelen In het vorige hoofdstuk zijn argumenten gegeven om studenten samen te laten werken in de vorm van co-responding. Omdat deze term weinig verbreid is wordt in het vervolg peer assessment gebruikt. Hierbij gaat het met name om de procedurele kant van de begeleiding door medestudenten. Daarnaast gebruiken we de term peer feedback als de aandacht gericht is op de feedback die de studenten elkaar in het kader van peer assessment geven. In het onderhavige onderzoek staat de formatieve functie van het beoordelen door medestudenten en het geven van kwalitatieve feedback voorop. Wat we willen bereiken is dat de studenten elkaars schrijfproducten beoordelen op een manier die hen laat ervaren aan welke criteria schrijfproducten moeten voldoen, die inzicht geeft in de sterke en zwakke kanten van hun tekst en hen helpt bij het reviseren. Aldus zou peer assessment de student op den duur in staat moeten stellen het eigen schrijfproces beter te leren reguleren. Het onderzoek is niet alleen bedoeld om te achterhalen of studenten goede feedbackgevers zijn en wat die feedback oplevert, maar ook om te laten zien hoe onderwijsarrangementen van peer assessment optimaal kunnen worden vorm gegeven. Uiteindelijk gaat het erom tot uitspraken te komen over hoe de leeromgeving zo georganiseerd kan worden dat de kwaliteit van de feedback en het effect op het leren schrijven optimaal is. Om hier zicht op te krijgen is gevarieerd op tien van de zeventien elementen uit de typologie van Topping (1998). Er zijn zeven ontwerpen voor peer assessment gemaakt en geïmplementeerd, toegesneden op zeven cursussen. De selectie van cursussen geschiedde op grond van de volgende argumenten. Het leek ons wenselijk om in alle vier opleidingsjaren ervaringen met peer assessment op te doen, zodat duidelijk kon worden of studenten van alle opleidingsjaren in staat zouden zijn om met peer assessment te werken. Daarbij wilden we in elk geval de cursussen met een zwaar accent op leren schrijven betrekken. Om die reden zijn ontwerpen gemaakt voor de eerstejaarscursus Scriptie Schrijven (SS), de tweedejaarscursussen Historisch Ambacht (HA) en Doctoraalseminar (DS) en de in het derde/vierde opleidingsjaar geprogrammeerde specialisatiecursus Rapportagepracticum (RP). Ook het feit dat sommige cursussen door dezelfde docent in parallelgroepen werden gegeven, was een reden voor selectie. Dit gaf de mogelijkheid om

4 42 Hoofdstuk 3 met controlegroepen te werken waarin niet met peer assessment werd gewerkt. Dit was het geval bij de derdejaarscursus Historiografie (HIST) en de specialisatiecursussen Inleiding Cultuureducatie (ICE) en Cultuureducatie: Theorie, Geschiedenis en Media (TGM). In deze cursussen werd wel aan schrijfproducten gewerkt, maar leren schrijven was geen centrale doelstelling. De ontwerpen verschillen van elkaar op grond van de operationalisatie van een aantal variabelen uit de in hoofdstuk 2 genoemde typologie van Topping. Deze wordt gepresenteerd in Figuur 3.1. Variabele Variatiebreedte 1 Vakgebied/onderwerp Range van opleidingen, thema s 2 Gebruiksdoel Docenttijdsbesparing of leermiddel 3 Focus Kwantitatief/summatief, kwalitatief/formatief 4 Product Schriftelijk werk, vaardigheidsdemonstratie 5 Relatie docentbeoordeling Vervangend of aanvullend 6 Gewicht van het oordeel Bijdrage aan het eindcijfer 7 Oordeelsrichting Eenzijdig of wederzijds 8 Privacy Anoniem, vertrouwelijk of openbaar 9 Contact In directe aanwezigheid of op afstand 10 Jaar Zelfde of verschillend opleidingsjaar 11 Bekwaamheid Vergelijkbare of verschillende bekwaamheden 12 Constellatie beoordelaars Individueel, tweetal, groep 13 Constellatie beoordeelden Individueel, tweetal, groep 14 Plaats In of buiten contacttijd 15 Tijd Lestijd/vrije tijd 16 Deelnameverplichting Verplicht of facultatief 17 Beloning Cijfer, studiepunt of andere extrinsieke beloning Figuur 3.1 Typologie peer assessment (Topping, 1998). Topping destilleert uit de literatuur behalve deze variabelen nog een aantal aanwijzingen die betrekking hebben op de implementatie van peer assessment. Deze betreffen met name de procesbewaking en de manier waarop de studenten voorbereid worden op hun taken als beoordelaar; deze komen aan de orde in paragraaf 3.2. De variabelen en aanwijzingen geven een houvast voor een systematische manier van ontwerpen, implementeren en evalueren van peer assessment, zodat ervaringen en uitkomsten vergeleken kunnen worden. Op een aantal variabelen is niet gevarieerd. De redenen hiervoor, die veelal te maken hadden met randvoorwaarden en uitvoerbaarheid, worden hieronder toegelicht. Zo was de variabele Vakgebied/onderwerp voor

5 Ontwerp van peer assessment 43 ons niet relevant, omdat de arrangementen ingepast moesten worden in het lopende programma van een en dezelfde opleiding. Aangezien we peer assessment wilden inzetten als een leermiddel om de schrijfvaardigheid te verbeteren en we alleen met didactische argumenten de interesse van docenten hadden gewekt, lag het evenmin in de rede om te variëren op de elementen Gebruiksdoel en Focus. Eventueel zou als neveneffect tijd van de docent bespaard kunnen worden. De keuze om studenten elkaar feedback te laten geven tijdens de onderwijsperiode is mede bepaald door onze opvatting dat een dergelijke inzet didactische meerwaarde kan hebben in vergelijking met een vergelijkbare inzet aan het einde van de onderwijsperiode van een vak en/of het geven van uitsluitend een waardering door studenten. Er was geen variatie mogelijk op de variabele Gewicht van het oordeel. Geen van de docenten was in dit experimentele stadium bereid om de door medestudenten uitgebrachte beoordelingen mee te laten wegen in het eindcijfer van de beoordeelde student. Zolang hun nog niet gebleken was dat studenten in staat waren om een adequaat oordeel uit te brengen over het werk van medestudenten, wilden zijzelf als enige de cijfers vast blijven stellen. Wel is in één ontwerp de kwaliteit van de uitgebrachte beoordeling meegewogen in het eindcijfer van de beoordelaar, bij wijze van Beloning. Het variëren op Jaar was lastig in de gegeven situatie, omdat dit zou betekenen dat studenten uit andere opleidingsjaren ingeschakeld werden als beoordelaars. Dat wilden we niet, omdat uit de literatuur (Falchikov, 2001) was gebleken dat de kans dan groot is dat de samenwerkingsrelatie een kopie wordt van de klassieke leerling-docentrelatie. Voor het oplossen van de meestal complexe taken waar studenten in het hoger onderwijs voor worden gesteld, achten wij vrije uitwisseling van gedachten van groot belang; studenten die zich qua status en kennis ongeveer gelijkwaardig weten, zullen zich daarin minder geremd voelen. Om zoveel mogelijk medewerking van de studenten te garanderen werd deelname verplicht gesteld, waarbij de studenten werd gezegd dat hun activiteiten in het kader van peer assessment de nominale studiebelasting niet zouden overschrijden. Er zou dus geen beroep worden gedaan op inzet van hun vrije tijd. Daarmee lag ook de waarde van de variabelen Tijd en Deelnameverplichting vast. Hieronder wordt beschreven hoe de andere variabelen uit de typolo-

6 44 Hoofdstuk 3 gie van Topping zijn uitgewerkt. De operationalisaties worden samengevat in Figuur 3.2 aan het einde van dit hoofdstuk Variabelen met betrekking tot de functie als beoordelingsinstrument De ontworpen varianten van peer assessment zijn alle bedoeld om de cognitieve en metacognitieve leeropbrengst te vergroten met betrekking tot de schrijfvaardigheid en het vermogen om het schrijfproces zelfstandig te reguleren (Gebruiksdoel). De peer assessment is bedoeld om de studenten tussentijds te informeren over de kwaliteit van hun schrijfproducten en hulp te bieden bij het reviseren. Het gaat dus niet alleen om het uitbrengen van waardeoordelen, maar ook om toelichting en adviezen voor verbetering. De oriëntatie is dus formatief en kwalitatief (Focus). In alle cursussen had de peer assessment betrekking op schrijfproducten. De aard, omvang en het stadium van de te beoordelen producten (Product) was per cursus verschillend: een drie bladzijden omvattend verslag van een tentoonstelling in de cursus ICE, een krantenartikel van vijf bladzijden in de cursus RP, een biografie van tien tot vijftien bladzijden van een historicus in de cursus HIST, een literatuurstudie van vijf bladzijden op het gebied van cultuureducatie in de cursus ICE, van tien bladzijden met betrekking tot onderwerpen uit de moderne geschiedenis in de cursus SS, van vijftien bladzijden over een onderwerp uit de Romeinse geschiedenis in de cursus DS, een opzet en een hoofdstuk van enkele bladzijden over een onderwerp uit de zestiende eeuw in de cursus HA. De peer assessment was in vier cursussen (RP, SS, DS en HA) een aanvulling op de docentbeoordeling, doordat de studenten een tweede bron van feedback erbij kregen, te weten hun medestudenten. De docenten beoordeelden en becommentarieerden in deze cursussen ook de conceptversies. De studenten kregen dit oordeel en het commentaar in de vorm van een ingevuld beoordelingsformulier terug, nadat zij onderling hun conceptversies hadden beoordeeld. In twee cursussen (DS en RP) kregen de studenten een cijfer voor hun conceptversie. In de cursussen ICE, TGM en HIST werd alleen de eindversie door de docent beoordeeld. Daar werd dus een formatief moment van feedback gecreëerd in de vorm van peer assessment. In deze cursussen werd de conceptversie alleen door de studenten beoordeeld en becommentarieerd (Relatie

7 Ontwerp van peer assessment 45 docentbeoordeling). In geen van de cursussen wogen de door de medestudenten uitgebrachte beoordelingen mee in het eindcijfer van de beoordeelde (Gewicht van het oordeel) Variabelen met betrekking tot de interactie tussen deelnemers In vijf van de zeven cursussen werd de beoordeling wederzijds uitgevoerd, hetgeen inhoudt dat de studenten die eerst zelf als beoordelaar waren opgetreden op hun beurt werden beoordeeld door degenen wiens werk ze hadden beoordeeld. In de cursussen TGM en SS was de beoordeling niet wederzijds, maar werden de beoordelaars op hun beurt weer door anderen beoordeeld (Oordeelsrichting). Alleen in de cursus SS was de peer assessment openbaar, daar de studenten hun mondelinge toelichting in de vorm van een presentatie hielden tijdens een plenaire bijeenkomst. In de andere cursussen bleef de beoordeling een kwestie tussen beoordelaars en beoordeelden van één feedbackgroep. Daarbuiten was alleen de docent van de beoordelingen op de hoogte, omdat hij in alle gevallen kopieën ontving van de schriftelijke feedback (Privacy). In alle cursussen, uitgezonderd TGM, was er sprake van bijeenkomsten van studenten en een schriftelijke beoordeling (Contact). De formulieren voor de schriftelijke beoordeling werden op afstand ingevuld (buiten contacttijd, maar wel in studietijd), waarna de feedback mondeling in de feedbackgroepjes en binnen de contacttijd voor het vak werd toegelicht. In de cursus TGM werd alleen schriftelijke feedback gegeven Variabelen met betrekking tot de groepssamenstelling De beoordeelden en beoordelaars zaten in dezelfde fase van de studie (Jaar). De groepen zijn, behalve in de cursussen DS en ICE, at random ingedeeld. Hierbij hebben we dus geen rekening gehouden met eventuele verschillen in bekwaamheden tussen studenten. In DS konden de studenten anders dan in de andere ontwerpen zelf een partner kiezen, waarbij hen werd geadviseerd iemand te zoeken met ongeveer hetzelfde onderwerp. In ICE vormden de studenten zelf groepjes die samen een tentoonstelling zouden bezoeken. In de cursus HA werden studenten die een nauw verwant onderwerp hadden door de docent in dezelfde feedbackgroep geplaatst. In ICE en RP hadden de studenten hetzelfde materiaal bestudeerd en had ieder dezelfde schrijfopdracht. We verwachtten

8 46 Hoofdstuk 3 dat verwantschap in onderwerp de studenten zou motiveren om elkaar feedback te geven, omdat de kans groot was dat ze gemeenschappelijke problemen zouden hebben met betrekking tot de inhoud en dus benieuwd waren naar elkaars oplossingen. Binnen deze context werden de studenten vervolgens willekeurig bij elkaar gezet (Bekwaamheid). De studenten voerden de peer assessment in de cursus DS uit in tweetallen, in de cursussen in RP en HA in drietallen, respectievelijk drie- of viertallen en in de cursussen HIST en ICE in viertallen. In de cursussen SS en TGM kreeg elke student het werk van twee studenten te beoordelen en werden aan elke student twee beoordelaars toegewezen. In zes cursussen werd de beoordeling individueel uitgevoerd, dat wil zeggen dat iedere student een eigen schriftelijk oordeel uitbracht en dat (behoudens in de cursus TGM waar alleen schriftelijk beoordeeld werd) mondeling toelichtte. In één cursus (HIST) was het de bedoeling dat de beoordelaars van eenzelfde schrijfproduct tot één gezamenlijk oordeel kwamen; dat gezamenlijk oordeel zetten zij op papier en bespraken ze in de groepjes (Constellatie beoordelaars respectievelijk Constellatie beoordeelden) Variabelen met betrekking tot verplichting en beloning De peer assessment werd, uitgezonderd in TGM, deels binnen en deels buiten contacttijd uitgevoerd. De studenten vulden de schriftelijke feedbackformulieren in buiten contacttijd. De bespreking ervan vond plaats in contacttijd, hetzij in kleine groepen, in een plenaire bijeenkomst of in een tutorial met de docent. In TGM werd alleen een schriftelijke beoordeling uitgevoerd. Hier vond de peer assessment volledig buiten contacttijd plaats. De procedure was in alle cursussen zo gepland dat de uitvoering in principe binnen de nominale studiebelasting van de cursus bleef (Plaats en Tijd). De studenten die deelnamen aan een van de zeven cursussen of daarbinnen aan werkgroepen waarin met peer assessment gewerkt werd waren verplicht om daaraan mee te doen (Verplichting). Gezien de beperkte keuzevrijheid in het opleidingsprogramma was het in de meeste gevallen voor de studenten geen optie om alsnog van deelname aan de cursus af te zien. In die gevallen waarin studenten per se van werkgroep wilden wisselen (en er een keuze voor controlegroepen was), was het aan de docent om daarover te beslissen.

9 Ontwerp van peer assessment 47 Er werden geen externe vormen van beloning gebruikt (Beloning). Slechts in één cursus (RP) werd een kleine beloning gegeven, in de vorm van een verhoging van het eindcijfer voor de opdracht met een kwart punt (bij een tienpuntsschaal), als de docent de onderbouwing van het schriftelijke studentoordeel goed vond. Bij een matige onderbouwing werd het cijfer niet verhoogd; bij een slechte onderbouwing ging er een kwart punt van het eindcijfer af. 3.2 Werkwijze in alle ontwerpen Alvorens in te gaan op de specifieke opzet per ontwerp, wordt eerst de algemene werkwijze en de wijze van implementatie beschreven. Gezocht is naar een transparante en gemakkelijk uitvoerbare basisprocedure voor peer assessment, die aansloot bij de bestaande cursusopzet. Deze procedure ligt ten grondslag aan alle ontwerpen en is ontleend aan Bean (1998). De studenten werken aan hun essay, onderzoeksverslag of ander schrijfproduct. Op een bepaald moment onderbreken ze hun schrijfproces en beoordelen elkaars tussenproducten. Dit gebeurt door middel van een (op het stadium van het product toegesneden) beoordelingsformulier dat in principe dezelfde beoordelingscriteria bevat als die de docent hanteert bij de beoordeling van de eindversie. De studenten vullen het formulier in, ze lichten per beoordelingsaspect hun oordeel toe en vatten de belangrijkste punten samen in de vorm van enkele adviezen voor verbetering. Dit verslag geven ze aan degene wiens werk ze hebben beoordeeld, al of niet met een mondelinge toelichting. Tenslotte krijgt ieder de gelegenheid om de feedback te verwerken en het schrijfproduct te reviseren. De beoordelingsformulieren zijn als volgt ontwikkeld. Als uitgangspunt is genomen het overzicht van criteria voor de beoordeling van schriftelijke verslagen van Geerligs (1991), aangevuld met Oost en De Jong (1997). Daarnaast is gebruik gemaakt van De Buck (1996), aangezien dit boek, dat speciaal op het schrijven van historici is gericht, binnen de opleiding als ondersteuning wordt gebruikt bij al het schrijfonderwijs. Vervolgens zijn hier de eisen en verwachtingen ten aanzien van het schrijfproduct naast gelegd, voor zover geëxpliciteerd in de cursusbeschrijving of studiehandleiding. Op basis van deze drie ingangen is een

10 48 Hoofdstuk 3 lijst gemaakt met criteria voor de beoordeling van de eindversie en een, van die lijst afgeleid, formulier voor de beoordeling van het tussenproduct. Beide zijn aan de docent voorgelegd en na eventueel commentaar bijgesteld. In alle cursussen zijn vergelijkbare beoordelingsformulieren gebuikt. Als voorbeeld is het beoordelingsformulier opgenomen dat de studenten gebruikten bij het beoordelen van de werkstukken in de cursus Scriptie Schrijven (bijlage 1). Het is de bedoeling dat de studenten per beoordelingsaspect hun oordeel toelichten. Aan het eind vatten ze hun beoordeling samen in de vorm van enkele adviezen voor verbetering. De docent heeft hierbij voornamelijk de rol van procesbewaker. Hij ziet erop toe dat deze stappen worden uitgevoerd. Om zicht te kunnen houden op de voortgang van het proces ontvangt de docent tegelijk met de studenten kopieën van de ter beoordeling voorgelegde schrijfproducten en van de ingevulde beoordelingsformulieren. Hij onthoudt zich in deze fase zoveel mogelijk van commentaar. Hij laat het geven van feedback op de schrijfproducten zoveel mogelijk over aan de studenten. Bij de implementatie van de ontwerpen is zoveel mogelijk rekening gehouden met de aanwijzingen in Topping (1998). Deze zijn vooral gericht op de voorbereiding van de studenten op het werken met peer assessment. Omdat studenten soms heel andere verwachtingen kunnen hebben van peer assessment dan docenten, is de eerste aanbeveling van Topping om doelen en verwachtingen te expliciteren. De studenten in ons onderzoek hadden geen ervaring met peer assessment, althans niet in de hiervoor beschreven gestructureerde vorm. Op het moment waarop de studiegids werd uitgebracht waren de plannen om met peer assessment te gaan werken nog in de ontwikkelingsfase. De studenten die een van de zeven voor peer assessment geselecteerde cursussen volgden waren vooraf dus niet geïnformeerd over de nieuwe werkwijze. Dit leek ons, noch de docenten, een groot probleem omdat er geen consequenties aan verbonden waren met betrekking tot de toetsing. Wij kozen ervoor om de studenten tijdens de eerste onderwijsbijeenkomst te informeren over de doelen van peer assessment en de werkwijze, waarbij ze ruimschoots de gelegenheid zouden krijgen om er vragen over te stellen. Deze informatie werd daarna gedetailleerd op schrift gegeven, vlak voordat de studenten daadwerkelijk met de procedure startten. Een voorbeeld is opgenomen als bijlage 2.

11 Ontwerp van peer assessment 49 Een tweede aanbeveling is het verhelderen van de beoordelingscriteria. Studenten blijken liever met gespecificeerde criteria te werken dan met vage beoordelingsmethoden. Het zou goed zijn om de criteria als het enigszins kan samen met de studenten te ontwikkelen, aldus Topping (1998). De beoordelingscriteria zijn in het onderhavige onderzoek in samenspraak met de docenten ontwikkeld aan de hand van een basislijst, die voor elke cursus werd aangepast. Ze werden door de docent aan de studenten toegelicht, soms met voorbeelden en met de gelegenheid om er vragen over te stellen. Het boek van De Buck (1996), dat in meerdere cursussen gebruikt werd, vormde hierbij een goede ondersteuning. Het idee om de studenten te betrekken bij het opstellen van de beoordelingscriteria is niet opgevolgd, omdat er in feite geen ruimte was voor de studenten om met andere criteria te komen dan de met de docent overeengekomen lijst. Het was de bedoeling om de studenten te doordringen van de criteria waaraan hun werk zou moeten voldoen. In de loop van hun studie hebben ze ervaren dat docenten vaak impliciete criteria hanteren bij de beoordeling. Het leek ons beter om de door de docent gebruikte criteria te expliciteren, dan om de studenten het idee te geven dat zij die criteria zouden kunnen beïnvloeden. Als derde aanbeveling wordt het oefenen op onderdelen van de peer assessment genoemd. Men kan er volgens Topping niet zonder meer van uitgaan dat de studenten de beoordelingscriteria correct toepassen. Dat geldt ook voor hun vaardigheden om op een constructieve manier feedback te geven en te ontvangen. De bestaande cursusprogramma s boden evenwel nauwelijks ruimte om de studenten te trainen in het beoordelen. We claimden daar geen ruimte voor, omdat we wilden weten waartoe studenten in staat zijn zonder training. Indien zou blijken dat de studenten uit zichzelf al over voldoende vaardigheden beschikken om peer assessment uit te voeren, zou dit de kans vergroten om peer assessment op te nemen in toekomstig onderwijs, omdat training ten koste gaat van het onderwijsprogramma. Daar kwam bij dat een training moeilijk te rechtvaardigen zou zijn, zolang nog niet gebleken was dat studenten van deze opleiding de peer assessment op onderdelen niet konden uitvoeren. Mochten zich op dit punt problemen voordoen bij de uitvoering van het eerste cursusontwerp, dan kon de mogelijkheid van een training alsnog in overweging worden genomen.

12 50 Hoofdstuk 3 Een vierde aanbeveling van Topping betreft de procesbewaking tijdens de peer assessment. De docent doet er goed aan om de studenten te blijven volgen tijdens hun peer assessment activiteiten, zeker als de studenten nog weinig ervaring hebben met peer assessment. Het kan nodig zijn om sommige studenten extra begeleiding te geven. Om het proces in het oog te houden en op tijd in te kunnen grijpen, is het wenselijk dat er gezamenlijke bijeenkomsten zijn, aldus Topping. De rol van procesbewaker vulden we in als volgt. De docent krijgt op de voor de peer assessment gestelde inleverdata kopieën van alle tussenproducten die de studenten onderling uitwisselen en van de door de studenten ingevulde beoordelingsformulieren. Eventueel kan hij hen aanspreken op het niet nakomen van verplichtingen, of individuele begeleiding voorstellen als hij tussenproducten en beoordelingsformulieren ziet die duidelijk onder de maat zijn. Tijdens de mondelinge toelichting op de schriftelijke beoordeling is hij aanwezig en de eventuele plenaire nabespreking vindt plaats onder zijn leiding. 3.3 Cursus Scriptie Schrijven (SS) De cursus Scriptie Schrijven, afgekort als SS, is verplicht voor alle studenten Geschiedenis. De cursus levert vier studiepunten op, omvat acht weken halftime en wordt gegeven in het eerste opleidingsjaar. De cursus is bedoeld om studenten te leren hoe ze een wetenschappelijk onderbouwd verhaal moeten schrijven, conform de eisen van de discipline. Het thema en de literatuur liggen vast, daarbinnen kan de student een deelonderwerp naar keuze uitwerken. De stof is voor het merendeel al aan de orde geweest in eerdere cursussen, zodat de nadruk in de onderwijsbijeenkomsten op de schrijfinstructie kan worden gelegd. De cursus heeft de vorm van een tutorial, eens per week, met vijf tot zeven studenten per groep. In drie tutorgroepen wordt met peer assessment gewerkt. Hierbij zijn in totaal 17 studenten betrokken. Het te schrijven werkstuk omvat 10 bladzijden en het eindcijfer wordt voor 100% hierdoor bepaald. De peer assessment wordt uitgevoerd in de drie laatste cursusweken. Eerst krijgt elke student door de docent, willekeurig, twee medestudenten als discussiant toegewezen. Op zijn beurt wordt de student in kwestie als discussiant aangewezen voor twee andere medestudenten. Ieder legt

13 Ontwerp van peer assessment 51 in de voorlaatste onderwijsweek een conceptwerkstuk aan zijn discussianten voor. Zij beoordelen het werkstuk in die week, buiten de bijeenkomst, schriftelijk, met behulp van het beoordelingsformulier. In de plenaire slotbijeenkomst presenteert ieder zijn werkstuk aan de groep, waarna de discussianten hun beoordeling voor de groep mondeling presenteren en toelichten; per werkstuk is er in de plenaire bespreking een kwartier voor dit alles beschikbaar. De docent kan de feedback van de studenten aanvullen nadat de studenten aan het woord zijn geweest. Ieder werkstuk wordt dus door twee studenten gelezen en beoordeeld. Dit zal hun per werkstuk ongeveer anderhalf uur kosten; de normen die we hanteren voor de inschatting van de tijdsinvestering voor de schriftelijke peer assessment zijn opgenomen als bijlage 3. Ook de docent ontvangt ieders conceptversie. Hij beoordeelt deze aan de hand van het beoordelingsformulier, in de vorm van een paar trefwoorden per beoordelingsaspect. De docent geeft geen cijfer voor de conceptversie. De afspraak is dat de docent de schrijfproducten met zijn commentaar pas teruggeeft, nadat de studenten hun beoordeling mondeling aan elkaar hebben toegelicht. Studenten voor wie dit naar het oordeel van de docent wenselijk is, nodigt hij uit voor een individueel gesprek. De docent geeft alleen een cijfer voor de eindversie; daarbij vult hij voor de tweede keer het beoordelingsformulier in, zodat de eigen voortgang voor de student beter zichtbaar wordt. Als hulp bij het reviseren beschikt de student dus over de twee schriftelijke beoordelingen van medestudenten, eventueel hun aantekeningen in de werkstukken en hun mondelinge toelichting. Daarnaast heeft hij de globale schriftelijke beoordeling van de docent, diens aanvullende feedback in de plenaire bespreking en mogelijk nog aanwijzingen uit een individueel gesprek met de docent. 3.4 Cursus Historisch Ambacht (HA) De cursus Historisch Ambacht (HA; verplicht, 8 studiepunten, 16 weken halftime) wordt gegeven in de eerste helft van het tweede opleidingsjaar. Aan het eind van de cursus moeten de studenten in staat zijn om zelfstandig bronnen en literatuur te vinden, een historische probleemstelling te formuleren en deze te verwerken in een schriftelijk werkstuk. Het werkstuk omvat 10 tot 15 bladzijden en is voor 90% bepalend voor het

14 52 Hoofdstuk 3 eindcijfer. De overige 10% wordt vastgesteld op basis van een paar kleinere bibliotheekopdrachten. In de cursus wordt opnieuw geoefend met zaken die in de cursus Scriptie Schrijven zijn geleerd, zoals het formuleren van een vraagstelling en het maken van een notenapparaat en een bibliografie. Het verschil met de cursus Scriptie Schrijven is dat de studenten voor dit werkstuk zelf literatuur moeten opsporen, op de manier die hen in het eerste deel van de cursus HA is aangeleerd. In totaal zijn er zeven werkgroepen van ongeveer 10 tot 15 studenten gevormd. Elke werkgroep heeft een eigen thema, waarbinnen de studenten hun eigen subthema s kunnen kiezen. De werkgroepen komen eenmaal per week bijeen; tijdens de periode waarin de studenten bezig zijn met hun werkstuk zijn er weinig of geen bijeenkomsten met de hele werkgroep. In die fase bepalen de docenten zelf of ze hun studenten in subgroepen of individueel begeleiden en met welke frequentie ze dat doen. In twee werkgroepen zal worden gewerkt met peer assessment, waarbij in totaal 20 studenten zijn betrokken. In deze werkgroepen worden groepjes van drie of vier studenten gevormd, die in de schrijffase eens per twee weken samen komen met de docent. De groepjes zijn samengesteld op basis van verwante subthema s. De leden beoordelen eerst elkaars opzet voor het werkstuk (ongeveer één tot twee bladzijden) en vervolgens een (kern-)hoofdstuk daaruit (drie tot vijf bladzijden). Eerst vullen studenten het beoordelingsformulier schriftelijk in, waarna een mondelinge toelichting op de beoordeling volgt in de eerstvolgende bijeenkomst met de docent. Twee weken daarna beoordelen ze elkaars hoofdstuk, op dezelfde manier. Voor het beoordelen van één opzet en één hoofdstuk tezamen wordt gerekend op een tijdsinvestering van drie kwartier tot één uur. Elke student legt in de schrijffase dus twee maal een tussenproduct voor, te weten een opzet en een hoofdstuk. Ook de docent ontvangt ieders opzet en (kern-)hoofdstuk. Tevens krijgt hij een kopie van de schriftelijke beoordelingen. Hij bekijkt deze en nadat de studenten hun schriftelijke beoordelingen in de feedbackgroepen mondeling aan elkaar hebben toegelicht, geeft hij aanvullend commentaar in de feedbackgroep, voorzover hij dat nodig acht. Eventueel kan hij studenten apart uitnodigen voor een begeleidingsgesprek. Als hulp bij het uitwerken van het werkstuk beschikt de student dus

15 Ontwerp van peer assessment 53 over het schriftelijke commentaar van twee of drie medestudenten op de opzet en het (kern-)hoofdstuk, hun eventuele bijgeschreven opmerkingen in de producten zelf en hun mondelinge toelichting. Daarnaast kan hij mondelinge commentaar hebben gekregen van de docent in de feedbackgroep en eventueel nog aanwijzingen van de docent in een extra begeleidingsgesprek. 3.5 Cursus Doctoraalseminar (DS) Het doctoraalseminar (DS; verplicht, 12 studiepunten, 24 weken halftime) is geprogrammeerd in de tweede helft van het tweede opleidingsjaar. De cursus is bedoeld om de studenten voor te bereiden op het grotere eigen onderzoek dat van hen verwacht wordt in de doctoraalwerkcolleges. De studenten oriënteren zich op een onderwerp, presenteren hun bevindingen in de vorm van een referaat en schrijven tenslotte een verslag van hun onderzoek. Dit verslag omvat circa 15 bladzijden en telt voor 40% mee in het eindcijfer. Het referaat bepaalt 30% van het eindcijfer. Daarnaast is er een mondeling tentamen over de stof. De cursusgroep bestaat uit 14 studenten. De peer assessment wordt uitgevoerd in de op één na laatste cursusweek van het derde blok en heeft alleen betrekking op het schrijfproduct. De studenten vormen tweetallen, waarbij wordt aanbevolen om vooral een partner te kiezen die qua onderwerp goed aansluit. Tijdens de voorlaatste onderwijsbijeenkomst wisselen de partners hun conceptverslagen uit. Ieder beoordeelt in de dagen daarna de ontvangen conceptversie en vult het beoordelingsformulier in. Dit zal de studenten ongeveer twee uur per werkstuk kosten. De docent beoordeelt eveneens ieders conceptverslag. Hij doet dit globaal, in de vorm van een paar trefwoorden per beoordelingsaspect. Vervolgens geeft hij een cijfer voor het concept. Dit cijfer bepaalt de helft van het eindcijfer van het onderzoeksverslag. De gedachte hierachter is dat de wetenschap dat ze een cijfer krijgen de studenten wellicht aanmoedigt om een goede eerste versie te schrijven. De afspraak is dat de docent de door hem beoordeelde conceptversies met het cijfer teruggeeft, nadat de studenten hun beoordeling mondeling aan elkaar hebben toegelicht. Tijdens de slotbijeenkomst lichten de studenten hun schriftelijke beoordelingen mondeling aan hun duo-partner toe. Tijdens deze gesprekken noteert elk duo de punten waar ze onder-

16 54 Hoofdstuk 3 ling niet uitkomen, voor de aansluitende plenaire bespreking. Aan het eind van deze bijeenkomst beschikken alle studenten dus over een schriftelijke beoordeling van hun conceptverslag van één medestudent, diens eventuele aantekeningen in het stuk en een mondelinge toelichting. Daarnaast hebben ze het commentaar van de docent op hun conceptverslag en een cijfer. Ook aan de plenaire bespreking kunnen zij ideeën voor verbetering ontlenen. 3.6 Cursus Historiografie (HIST) De cursus Historiografie (HIST; verplicht, 12 studiepunten, 24 weken halftime) wordt gegeven in het derde opleidingsjaar. In deze cursus worden de studenten ingeleid in de geschiedenis van de westerse geschiedschrijving en in relevante wetenschapsfilosofische discussies. Een van de opdrachten is het schrijven van een biografie van ongeveer 10 bladzijden over een voor de ontwikkeling van het vak belangrijke historicus. Het cijfer ervoor bepaalt 20% van het eindcijfer. De andere onderdelen van de toetsing zijn een referaat (30% van het eindcijfer) en een mondeling tentamen (50%). Er zijn drie werkgroepen van 20 tot 25 studenten en de begeleiding daarvan is in handen van één docent. De studenten komen gedurende de hele looptijd twee maal per week bijeen, eenmaal als werkgroep en eenmaal voor een gezamenlijk hoorcollege. In de eerste twee werkgroepen zal met peer assessment worden gewerkt. In deze werkgroepen verdeelt de docent de groep in tweetallen die hij vervolgens aan elkaar koppelt tot viertallen; dit gebeurt at random. Elk duo beoordeelt gezamenlijk de twee conceptbiografieën van het andere duo. Dat houdt in dat ze samen het beoordelingsformulier invullen en gezamenlijk één advies opstellen voor verbetering. In de voorlaatste onderwijsbijeenkomst van het blok waarin de schrijfopdracht aan de orde is, worden de conceptbiografieën uitgewisseld. Iedere student krijgt er twee van het andere duo waarmee hij een viertal vormt en die hij in de loop van de week met zijn duo-partner zal beoordelen. De tijdsinvestering bedraagt ongeveer anderhalf uur per werkstuk, waarbij de tijd die nodig is voor het gezamenlijk opstellen van de beoordeling ongeveer een half uur zal omvatten. De docent beoordeelt alleen de eindversie. Een week later worden de schriftelijke beoordelingen mondeling door de duo s toegelicht aan de beoordeelde medestudenten met wie zij een vier-

17 Ontwerp van peer assessment 55 tal vormen. Na afloop zet elk viertal de punten die ze het belangrijkst vond in hun bespreking op het bord. Deze punten dienen als vertrekpunt voor de aansluitende plenaire bespreking. Aan het eind van deze bijeenkomst beschikken alle studenten dus over een schriftelijke beoordeling van hun conceptbiografie van twee medestudenten, eventueel met hun in de tekst genoteerde opmerkingen en hun mondelinge toelichting. Ook aan de plenaire nabespreking kunnen zij ideeën voor verbetering ontlenen. 3.7 Cursus Rapportagepracticum (RP) De cursus Rapportagepracticum (RP; specialisatie, 4 studiepunten, 8 weken halftime) is een schrijfcursus uit de specialisatie Internationale Betrekkingen, die in het derde of vierde opleidingsjaar gevolgd kan worden. In deze cursus leren studenten korte artikelen (van 4 tot 5 bladzijden) te schrijven voor verschillende doelgroepen, gebaseerd op een studie van door de docent verzameld bronnenmateriaal. Alle deelnemers krijgen dezelfde schrijfopdrachten en bestuderen hetzelfde materiaal. Zoals bij een krant of tijdschrift moet elk stuk worden geschreven binnen een strikt gehanteerde deadline, die afhankelijk van de moeilijkheidsgraad van de opdracht is gesteld op 24 uur of 48 uur. Het materiaal moet in de dagen daarvóór zijn bestudeerd. Het onderwijs wordt gegeven in de vorm van werkgroepbijeenkomsten, eenmaal per week. Het eindcijfer voor de cursus bestaat uit het gemiddelde van de - normaliter - in totaal vijf schrijfopdrachten die worden gegeven. Daarbij tellen de laatste twee opdrachten twee maal zo zwaar mee. Er wordt bij de tweede opdracht met peer assessment gewerkt. Om de studenten daar genoeg tijd voor te geven is één opdracht uit het oorspronkelijke programma vervallen. Het conceptartikel dient binnen de voor deze opdracht geldende termijn van 48 uur te worden geschreven. Na de peer assessment krijgen ze nog 24 uur (de tijd die normaliter staat voor de volgende opdracht) om een gereviseerde versie in te leveren. De studenten worden tijdens de eerste onderwijsbijeenkomst in drietallen verdeeld, at random, om de week daarna elkaars conceptversies te beoordelen. Dit kost hun naar schatting ongeveer drie kwartier per conceptartikel. De docent kijkt de conceptversie na, geeft globale feedback in de vorm van een paar trefwoorden per beoordelingsaspect en kent er

18 56 Hoofdstuk 3 een cijfer aan toe. Dit cijfer telt even zwaar als het cijfer van de eindversie, maar de studenten krijgen het pas te horen na de beoordeling van de eindversie, om te voorkomen dat ze niets meer aan hun stuk doen zodra ze horen dat ze een voldoende hebben. Ook de door de studenten uitgebrachte schriftelijke beoordelingen worden door de docent beoordeeld. Afhankelijk van hun kwaliteit rondt hij het eindcijfer voor de betreffende opdracht met maximaal een kwart punt naar boven of naar beneden af. Een week later lichten de studenten hun schriftelijke beoordeling tijdens de werkgroep mondeling aan elkaar toe in de drietallen. Daarbij maken de studenten een inventarisatie van de belangrijkste onderlinge verschillen die de vergelijking van hun stukken heeft opgeleverd. De vragen die daaruit voortkomen zijn onderwerp voor de aansluitende plenaire nabespreking. Na afloop van deze bijeenkomst krijgen de studenten naast de schriftelijke beoordeling van hun medestudenten en hun eventuele notities in het schrijfproduct, ook de schriftelijke feedback van de docent terug. Tenslotte stellen ze hun eerste versie bij op basis van alle gekregen commentaar en leveren de eindversie binnen de afgesproken termijn van 24 uur in. 3.8 Cursus Inleiding Cultuureducatie (ICE) De cursus Inleiding Cultuureducatie (ICE; specialisatie, 4 studiepunten, 8 weken halftime) is onderdeel van de specialisatie Cultuureducatie en kan worden gevolgd in het derde of vierde opleidingsjaar. Centraal in de cursus staat het bestuderen van de begrippen cultuur en educatie door middel van theorie (in de hoorcolleges) en de discussie daarover naar aanleiding van literatuurstudie (in de werkcolleges). In de werkcolleges komen tevens vaardigheden aan bod als analyseren en mondeling en schriftelijk presenteren. Het tentamen bestaat uit een schriftelijk tentamen over de collegestof en de te bestuderen literatuur, een referaat en een schriftelijke analyse van een tentoonstelling (omvang 3 bladzijden). Het cijfer voor het referaat en de tentoonstellingsanalyse tellen elk voor 25% mee in het eindcijfer; het schriftelijk tentamen bepaalt 50% van het eindcijfer. Er zijn twee werkgroepen en de begeleiding daarvan is in handen van één docent. In één werkgroep is gewerkt met peer assessment, hierbij waren in totaal 22 studenten betrokken. De peer assessment heeft betrekking op de

19 Ontwerp van peer assessment 57 tentoonstellingsanalyse. De studenten worden ingedeeld in groepjes van vier. In elk groepje zitten alleen studenten die naar dezelfde tentoonstelling zijn geweest. Het is de bedoeling dat elke student een conceptversie van zijn analyse voorlegt aan de drie leden van zijn groepje. Elke student ontvangt dus drie analyses. Deze worden eerst schriftelijk beoordeeld; dit kost naar schatting per verslag ongeveer een half uur tot drie kwartier. Een week later worden de beoordelingen mondeling toegelicht in de feedbackgroepjes. De docent beoordeelt alleen de eindversie, door middel van een cijfer en bijgeschreven feedback. Als hulp bij het reviseren beschikt de student dus over de drie schriftelijke beoordelingen van hun medestudenten, hun eventuele bijgeschreven opmerkingen in het verslag en hun mondelinge toelichting. 3.9 Cursus Cultuureducatie: Theorie, Geschiedenis en Media (TGM) De cursus Cultuureducatie: Theorie, Geschiedenis, Media (TGM; specialisatie, 4 studiepunten, 8 weken halftime) sluit aan op de cursus Inleiding Cultuureducatie. De cursus is gericht op het verwerven van theoretische inzichten en praktische vaardigheden op het gebied van cultuureducatie. Bij de praktische vaardigheden gaat het om het kunnen werken met visuele media en om spreek- en schrijfvaardigheid. Om die laatste te ontwikkelen werken de studenten aan een referaat van 10 minuten met discussie van 10 minuten óf een artikel van drie tot vijf bladzijden, waarin zij verslag doen van een literatuurstudie. Het cijfer voor het referaat of artikel bepaalt 25% van het eindcijfer. Daarnaast moet er een (Powerpoint)- presentatie gemaakt worden, die eveneens 25% van het eindcijfer bepaalt. Ten slotte is er een schriftelijk tentamen over de stof. Er zijn twee werkgroepen en de begeleiding daarvan is in handen van één docent. In een daarvan zal worden gewerkt met peer assessment. De peer assessment heeft betrekking op de studenten die ervoor kiezen om een artikel te schrijven. Omdat deze cursus een vervolg is op Inleiding Cultuureducatie en in de tijd aansluitend gegeven wordt is het mogelijk dat sommige deelnemers al eerder met peer assessment hebben gewerkt. Informatie hierover wordt gegeven in paragraaf Aan elke student die een artikel schrijft, worden in de eerste bijeenkomst willekeurig twee beoordelaars toegewezen. De manier van toewij-

20 58 Hoofdstuk 3 zen is zo gepland dat ieder eerst een stuk van een medestudent beoordeelt, dan zelf het artikel schrijft en vervolgens het stuk van een tweede medestudent beoordeelt. De beoordeling is niet wederzijds. De artikelen worden ook niet door iedereen op hetzelfde moment geschreven, zoals in de andere cursussen. Evenals bij de referaten zijn er elke week een paar studenten aan de beurt om hun artikel in te leveren. De peer assessment wordt dus niet door alle studenten tegelijkertijd uitgevoerd. Het beoordelen kost per artikel naar schatting ongeveer drie kwartier. Er worden alleen schriftelijke beoordelingen uitgebracht. Als een student mondelinge toelichting wil, moet hij samen met de beoordelaars een geschikt moment daarvoor zien te vinden, bijvoorbeeld in de pauze van het hoorcollege. De docent beoordeelt alleen de eindversie, door middel van een cijfer en bijgeschreven feedback. Als hulp bij het reviseren beschikt de student dus over twee schriftelijke beoordelingen van medestudenten, hun eventuele bijgeschreven opmerkingen in het artikel en eventueel hun mondelinge toelichting Overzicht van cursusontwerpen en variabelen In de voorgaande paragraaf is per cursusontwerp beschreven op welke wijze peer assessment vorm gegeven is. In Figuur 3.2 worden deze benaderingen samengevat door per variabele uit de typologie van Topping de verschillen en de overeenkomsten tussen de ontwerpen te presenteren. De categorieën van Topping zijn hierin overgenomen. Variabelen waarop niet is gevarieerd zijn uit het overzicht weggelaten. Wat betreft de variabelen die te maken hebben met de functie van peer assessment als beoordelingsinstrument (variabelen 1 t/m 6), zijn er weinig markante verschillen tussen de ontwerpen. Uiteraard zijn de te behandelen thema s in de cursussen verschillend, maar op de punten vakgebied, gebruiksdoel, focus en gewicht van het oordeel is er geen verschil. De producten variëren in omvang, maar hebben allemaal het karakter van een onderzoeksverslag. Alleen bij de cursus HA is er een wezenlijk verschil, omdat de studenten hier niet één nagenoeg compleet product, maar twee producten moeten beoordelen die elk een andere fase van het schrijfproces representeren. Een ander verschil is de relatie met de docentbeoordeling. Bij vier cursusontwerpen vormt de peer assessment een aanvulling op de (voor dit doel globaal gehouden) docentbe-

21 Ontwerp van peer assessment 59 oordeling van de conceptversie; in twee daarvan wordt naast feedback ook een cijfer gegeven voor de conceptversie. In de andere drie cursusontwerpen zouden de studenten zonder peer assessment geen feedback op hun conceptversie hebben ontvangen. Met betrekking tot de variabelen interactie tussen de deelnemers (variabelen 7 t/m 9) wijken de ontwerpen van de cursus SS en TGM af, in die zin dat de beoordeling in tegenstelling tot de andere ontwerpen niet wederzijds is. In SS wordt de beoordeling bovendien mondeling gepresenteerd in aanwezigheid van de hele groep en de docent. Een opvallend verschil dat TGM onderscheidt van de andere ontwerpen is dat de peer assessment zonder mondelinge toelichting plaatsvindt. Voor wat betreft het variabelencluster groepssamenstelling (variabelen 10 t/m 13) is er met betrekking tot het opleidingsjaar van de studenten geen verschil gemaakt tussen de ontwerpen. Dat wil zeggen dat per cursusontwerp alle studenten van hetzelfde opleidingsjaar zijn. Ook op het aspect bekwaamheid is niet gevarieerd; de groepjes zijn willekeurig of op grond van verwantschap in onderwerp samengesteld. De meest opvallende verschillen tussen de ontwerpen hebben betrekking op de omvang van de feedbackgroepjes, die uit twee, drie of vier studenten bestaan. In de cursussen SS, HA en DS komt de docent daar nog bij als medebeoordelaar. Een verschil dat de cursus HIST onderscheidt is nog, dat de beoordeling door twee beoordelaars gezamenlijk plaatsvindt, die eerst onderling tot consensus over hun individuele oordeel moeten komen voordat zij dit aan de betrokkenen overbrengen. Inzake het cluster verplichting en beloning (variabelen 14 t/m 17) verschilt het cursusontwerp RP van de andere ontwerpen. In RP weegt de kwaliteit van de uitgebrachte beoordeling mee in het eindcijfer van de beoordelaar.

22 (1) Vakgebied/ onderwerp Cursus 1 (SS) Jaar 1 n = 17 Geschiedenis/ Schrijftraining (2) Gebruiksdoel Cogn. leerwinst van studenten (3) Focus Kwalitatief/formatief; gebruik formulieren met standaardcriteria (4) Product Conceptwerkstuk (10 pp.) (5) Relatie docent - beoordeling Aanvullend; docent geeft schriftelijke feedback op conceptversie (6) Gewicht van het oordeel (7) Oordeelsrichting Geen bijdrage aan eindcijfer Eénrichting (2 beoordelingen) (8) Privacy Openbaar (voor de docent en alle studenten) (9) Contact SF en MF; plenaire nabespr. met aanvullende fb van docent Cursus 2 (HA) Jaar 2 n = 20 Geschiedenis/ Schrijftraining Cursus 3 (DS) Jaar 2 n = 11 Geschiedenis/ Doctoraal seminar Cogn. leerwinst van studenten Cogn. leerwinst van studenten Kwalitatief/formatief; gebruik van formulieren met standaardcriteria Conceptopzet voor werkstuk (1-2 pp.) en kernhoofdstuk (3-5 pp.) Kwalitatief/formatief; gebruik van formulieren met standaardcriteria Conceptwerkstuk (15 pp.) Aanvullend Aanvullend; docent geeft schriftelijke feedback+ cijfer voor conceptversie Geen bijdrage aan eindcijfer Geen bijdrage aan eindcijfer Wederzijds ( 2 of 3 beoordelingen van beide producten) Wederzijds (1 beoordeling) Vertrouwelijk (binnen de groepen); docent ontvangt kopie Vertrouwelijk (binnen de groepen); docent ontvangt kopie SF en MF SF en MF; plenaire bespreking van discussiepunten Cursus 4 (HIST) Jaar 3 n = 40 Geschiedenis/ Inl. in de westerse geschiedschrijving Cogn. leerwinst van studenten Kwalitatief/formatief; gebruik van formulieren met standaardcriteria Conceptbiografie (10 pp.) Aanvullend; extra beoordeling Geen bijdrage aan eindcijfer Wederzijds (2 gezamenlijke beoordelingen) Vertrouwelijk (binnen de groepen); docent ontvangt kopie SF en MF; plenaire bespreking van discussiepunten Cursus 5 (RP) Jaar 3/4 n = 13 Geschiedenis/ Schrijftraining Cogn. leerwinst van studenten Kwalitatief/formatief; gebruik van formulieren met standaardcriteria Conceptkrantenartikel (5 pp.) Aanvullend; docent geeft schriftelijke feedback + cijfer voor conceptversie Geen bijdrage aan eindcijfer Wederzijds (2 beoordelingen) Vertrouwelijk (binnen de groepen); docent ontvangt kopie en beoordeelt SF en MF; plenaire bespreking van discussiepunten Cursus 6 (ICE) Jaar 3/4 n = 22 Geschiedenis/ Inl. cultuureducatie Cursus 7 (TGM) Jaar 3/4 n = 8 Geschiedenis/ Cultuur educatie: Theorie, Gesch., Media Cogn. leerwinst van studenten Cogn. leerwinst van studenten Kwalitatief/formatief; gebruik van formulieren met standaardcriteria Kwalitatief/formatief; gebruik van formulieren met standaardcriteria Conceptanalyse van een tentoonstelling (3-5 pp.) Conceptartikel (5 pp.) Aanvullend; extra beoordeling Aanvullend; extra beoordeling Geen bijdrage aan eindcijfer Geen bijdrage aan eindcijfer Wederzijds (3 beoordelingen) Vertrouwelijk (binnen de groepen); docent ontvangt kopie Eénrichting (2 beoordelingen): beoordelen (1) -> schrijven -> beoordelen (2) Vertrouwelijk; docent ontvangt kopie SF en MF SF

23 Cursus 1 (SS) Jaar 1 Cursus 2 (HA) Jaar 2 Cursus 3 (DS) Jaar 2 Cursus 4 (HIST) Jaar 3 Cursus 5 (RP) Jaar 3/4 Cursus 6 (ICE) Jaar 3/4 Cursus 7 (TGM) Jaar 3/4 n = 17 n = 20 n = 11 n = 40 n = 13 n = 22 n = 8 (10) Jaar Zelfde opl. jaar Zelfde opl. jaar Zelfde opl. jaar Zelfde opl. jaar Zelfde opl. jaar Zelfde opl. jaar Zelfde opl. jaar (11) Bekwaam heid Groepssamenstelling at random Groepssamenstelling o.g.v. verwant onderwerp (door docent) Groepssamenstelling o.g.v. verwant onderwerp (door studenten) Groepssamenstelling at random Groepssamenstelling at random; zelfde onderwerp Groepssamenstelling gebaseerd op tentoonstelling (door studenten) Groepssamenstelling at random (12) Constell. beoordelaars Twee studenten en de docent Kleine groepen (3-4 studenten) met docent als participant Twee studenten en de docent Kleine groepen bestaande uit 2 duo s (studenten) Kleine groepen (3 studenten) en de docent Kleine groepen (4 studenten) Twee studenten (13) Constell. beoordeelden Twee andere studenten Dezelfde kleine groepen Dezelfde twee studenten Dezelfde kleine groepen Dezelfde kleine groepen Dezelfde kleine groepen Twee andere studenten (14) Plaats SF buiten /MF in contacttijd (plenaire bespreking en tutorial met docent) SF buiten /MF in contacttijd (kleine groepen met docent) SF buiten /MF in contacttijd (kleine groepen en plenaire bespreking) SF buiten /MF in contacttijd (kleine groepen en plenaire bespreking) SF buiten /MF in contacttijd (kleine groepen en plenaire bespreking) SF buiten /MF in contacttijd (kleine groepen) SF buiten contacttijd (15) Tijd In studietijd In studietijd In studietijd In studietijd In studietijd In studietijd In studietijd (16) Deelnameverpl. Verplicht Verplicht Verplicht Verplicht Verplicht Verplicht Verplicht (17) Beloning Geen beloning van PA deelname Figuur 3.2 Zeven cursusontwerpen op basis van Topping (1998). Geen beloning van PA deelname Geen beloning van PA deelname Geen beloning van PA deelname Uitgebracht schrift.oordeel beloond met max. ¼ punt extra Geen beloning van PA deelname Geen beloning van PA deelname Noot. SF = schriftelijke feedback; MF = mondelinge feedback; PA = peer assessment.