Peer assessment inuniversitair

Transcriptie

1 Hoofdstuk 1 Peer assessment inuniversitair Achtergrond van het onderzoek ond erwijs. Dit Eenonderzoeknaar 1 onderzoek uiteengezet. Eerst worden de bruikba re redenen ontwerpen. besproken om het onderzoek Peer te concentreren op peer assessment (paragraaf assessment in universitai r proefschrift gaat over peer assessment en de vraag hoe daarvoor een effectief onderwijsontwerp kan worden geformuleerd. In dit hoofdstuk is de aanleiding van het 1.1), gevolgd door een eerste probleemformulering op basis van ervaringen in de universitaire onderwijspraktijk (paragraaf 1.2). Het hoofdstuk wordt afgesloten met een overzicht van het proefschrift (paragraaf 1.3). onderwijs. Eenonderzoeknaar bruikbare ontwerpen. Peer assessment in universitair onderwijs. Eenonderzoeknaar bruikbare ontwerpen. Peer assessment in universitair

2

3 Achtergrond van het onderzoek en overzicht van het proefschrift Aanleiding van het onderzoek Academische opleidingen zijn erop gericht hun studenten naast de vakinhoudelijke opleiding ook academische vorming te geven. Daarbij wordt gedoeld op de ontwikkeling van bijvoorbeeld zelfstandig en kritisch denken, een wetenschappelijke attitude, een competentie om over de grenzen van het eigen vak heen te kunnen kijken, vaardigheden om te kunnen communiceren over het vak, ethisch bewustzijn en een maatschappelijk engagement. Wat academische vorming zou moeten inhouden en of academische vorming wel aan te leren valt, is onderwerp van een langlopende discussie, die op grond van de inmiddels opgedane ervaring met vierjarige curricula in Nederland weer actueel is geworden (voor de geschiedenis hiervan, zie Baggen, 1998). De aandacht voor academische vorming kwam sinds de jaren negentig opnieuw op vanuit verschillende hoeken van het hoger onderwijs. Beleidsvormende instanties namen het op in hun voorstellen (zie bijv. het rapport van de Commissie Inrichting Wetenschappelijk Onderwijs (1995) en de Wetenschappelijke Raad voor het Regeringsbeleid (1995). Het onderwerp stond centraal in redes bij de opening van het academisch jaar, of bij vieringen van dies natalis (zie bijvoorbeeld De Klerk, 1992; Cohen, 1996; Van Vught, 1997) en kreeg een centrale plaats in universitaire ontwikkelingsplannen (zie bijvoorbeeld het Ontwikkelingsplan van de Universiteit Utrecht en het strategisch plan van de Rijksuniversiteit Leiden Koersen op kwaliteit, 1994). Ook onderwijskundigen en didactici richtten zich expliciet op de onderwerpen academische vorming en academische vaardigheden. Zo verdiepte Ten Brinke (1994) zich in de didactiek van de academische vorming, opgevat als samen kennis maken'. Schellekens (1995), Terlouw (1995), en Nedermeijer en Pilot (2000) gaven aanwijzingen voor de verwerving van academische vaardigheden in curricula. Moerkerke (1998) deed voorstellen voor de toetsing van academische vaardigheden. Pilot en Terlouw (1998) beschreven een agenda voor onderzoek naar onderwijs in academische vaardigheden. De termen academische vorming en academische vaardigheden werden aanvankelijk door elkaar gebruikt. Onderwijsontwerpers spraken meer dan beleidsmakers over academische vaardigheden en minder over academische vorming. Hier speelde ongetwijfeld mee dat vormingsdoe-

4 4 Hoofdstuk 1 len lastiger te toetsen zijn dan vaardigheidsdoelen, waardoor het moeilijker is om academische vorming een plaats te geven in een opleidingsprogramma. Bovendien is het gemakkelijker om in een opleiding consensus te bereiken over de vaardigheden die aangeleerd moeten worden dan over de vormingsaspecten (Van den Berg, Van Eijl, Pilot, & Pollmann, 1998). De laatste jaren spreekt men liever van academische competenties (Pouw & Boshuizen, 1997; Holleman, Oost, Milius, Van den Berg, & Admiraal, 1999; Nedermeijer & Pilot, 2000). Met de invoering van de bachelor-master-structuur wordt de vraag wat een academicus minimaal aan academische vorming mee zou moeten krijgen nog dwingender. De driejarige bachelor-opleiding geldt immers als volwaardige academische opleiding, die niet noodzakelijk in een masters-programma vervolgd hoeft te worden. De Adviescommissie Kwaliteit Onderwijs van de Universiteit Utrecht startte in 1998 het project Academische Vorming om de faculteiten te ondersteunen bij de vraag wat het bachelor-programma aan academische vorming zou moeten bieden. De bekostiging kwam uit de zogeheten Educatieve Middelen Pool, een door het College van Bestuur ingesteld fonds van onderwijsvernieuwingsgelden. Het project werd uitgevoerd door het Interfacultair Instituut voor Lerarenopleiding, Onderwijsontwikkeling en Studievaardigheden van de Universiteit Utrecht (IVLOS). De eerste opdracht van de commissie was om tot een werkbare definitie te komen van het concept academische vorming. Dit leverde een omschrijving op van academische vorming als een beroepsgerichte universitaire basisvorming, een vorming die iedere aanstaande academicus binnen zijn of haar universitaire opleiding zou moeten doormaken, ongeacht de loopbaanrichting die binnen die opleiding wordt gekozen. Deze basisvorming omvat de verwerving van wetenschapsgebonden bekwaamheden, die direct te maken hebben met kennis op een bepaald wetenschappelijk vakgebied en de bijbehorende onderzoeks- en toepassingsvaardigheden. Daarnaast gaat het om de verwerving van algemene bekwaamheden die voor iedere academicus van belang zijn, zoals schriftelijk rapporteren, mondeling presenteren, argumenteren en talenkennis (Holleman e.a. 1999). In tweede instantie werd onderzocht hoe deze competenties effectief kunnen worden aangeleerd. Daarvoor werden voorbeelden van good prac-

5 Achtergrond van het onderzoek en overzicht van het proefschrift 5 tice binnen de Universiteit Utrecht verzameld en geanalyseerd (Milius, Oost & Holleman, 2001). Belangrijk voor het effectief aanleren van beide soorten bekwaamheden bleek een didactiek van actief leren, waarbij niet alleen een beroep gedaan wordt op actieve denkprocessen van de student, maar studenten ook zelf hun leren sturen en intrinsiek gemotiveerd zijn om te leren van hun ervaringen. Daarnaast werd de vraag gesteld of de verwerving van algemene beroepsbekwaamheden beter apart, in de vorm van trainingen, of geïntegreerd in vakinhoudelijke cursussen plaats kon vinden (Holleman, Oost, Milius, & Van den Berg, 2001). De opleiding Geschiedenis bood mogelijkheden om deze kwestie aan te pakken in de vorm van een ontwikkelingsonderzoek. De opleiding Geschiedenis wilde in dit ontwikkelingsonderzoek het curriculum versterken op het gebied van een aantal academische vaardigheden, waaronder de schrijfvaardigheid. Binnen de opleiding Geschiedenis geldt schrijfvaardigheid als een kritische beroepsvaardigheid. Een student Geschiedenis moet goed leren schrijven omdat dit een voornaam medium is voor de historicus. Bovendien zijn de schrijfproducten van studenten voor de docent een belangrijk aangrijpingspunt om hun leren binnen het domein van de geschiedenis te beïnvloeden. Via commentaar op die schrijfproducten geeft de docent ook feedback op hun onderzoeks- en argumenteervaardigheden. In het huidige programma van de opleiding Geschiedenis wordt veel aandacht besteed aan schrijfvaardigheid en er is al veel gedaan om een leerlijn hiervoor te creëren. De studieonderdelen zijn met het oog op de schrijfontwikkeling achter elkaar geplaatst. De schrijfopdrachten in het eerste jaar zijn duidelijk afgebakend, de studenten krijgen het materiaal waarop ze hun werkstuk moeten baseren aangereikt en er wordt een schrijftraining gegeven. In het tweede jaar moeten de studenten zelf een deel van hun materiaal verzamelen, binnen een gegeven koepelthema, en een probleemstelling ontwikkelen. Voortbouwend op de schrijftraining in het eerste jaar wordt daartoe opnieuw een training gegeven die nu meer gericht is op vakspecifieke onderzoeksvaardigheden. De opklimmende lijn naar toenemende complexiteit en zelfstandigheid wordt doorgezet in het derde jaar, waarin de student in de doctoraalwerkcolleges aan de slag gaat met een eigen onderzoek (binnen een koepelthema) waar schriftelijk verslag van moet worden gedaan, als voorbereiding op de doctoraal-

6 6 Hoofdstuk 1 scriptie. Daarnaast worden in het derde en/of vierde jaar in sommige specialisaties intensieve schrijftrainingen gegeven. Deze opbouw, tezamen met de intensieve en individuele begeleiding die de studenten met name in de schrijftrainingen krijgen, wordt binnen de opleiding als een duidelijke verbetering ervaren ten opzichte van eerdere programma s. Niettemin waren docenten in 1998 van mening dat het niveau van de schrijfproducten te vaak onder de maat bleef. Ook deden studenten nog steeds te lang over hun scriptie, en vroeg die veel begeleidingstijd van de docent. Docenten willen niet meer tijd aan begeleiding en feedback besteden, omdat dit in strijd is met het idee van de toenemende zelfstandigheid en verantwoordelijkheid voor het eigen leerproces van studenten. Bovendien beschikken zij ook niet over meer tijd. Uit gesprekken met vijf afgestudeerden, gevoerd in de eerste twee maanden van 1999, bleek dat zij het nuttig vonden dat ze gedurende de opleiding Geschiedenis veel hebben moeten schrijven, maar dat zij in periodes waarin grotere schrijftaken uitgevoerd moeten worden vaak het contact met docenten en medestudenten misten, omdat er zo weinig contacturen waren. Gevraagd naar voorbeelden van cursussen die om een of andere reden stimulerend waren, bleken dat vooral cursussen te zijn geweest die een grote betrokkenheid tussen de studenten onderling hadden weten te genereren. Vaak ook werd er in deze cursussen een beroep gedaan op nog niet eerder aangesproken vaardigheden zoals samenwerken met medestudenten, het overdragen van vakkennis aan nietingewijden, het organiseren van een tentoonstelling en dergelijke. De bevindingen van deze afgestudeerden komen voor een belangrijk deel overeen met uitlatingen van studenten in onderzoek dat een jaar eerder plaatsvond elders in de Letterenfaculteit (Van den Berg, Van Eijl, Pilot, & Pollman, 1998). Hieruit kwam naar voren dat men zich door het onderwijs onvoldoende gestimuleerd voelde om actief aan de slag te gaan en weinig gelegenheid tot eigen meningsvorming vond. Voor vaardigheden op het gebied van samenwerken, mondeling presenteren en schrijven was nauwelijks aandacht. Bovendien hebben de studenten weinig samenhang en opbouw in de studie ervaren, met name op het gebied van academische vaardigheden. Terugkijkend op de eigen ontwikkeling tijdens de studie kon iedereen echter wel een paar voorbeelden van enthousiasmerend onderwijs noemen, waarbij men wel het gevoel had iets

7 Achtergrond van het onderzoek en overzicht van het proefschrift 7 nieuws te leren en een essentiële stap vooruit te zetten, maar over het algemeen waren dat spaarzame momenten. De genoemde voorbeelden van goed onderwijs hadden gemeen dat de studenten zich door het onderwijs in de betreffende cursussen intellectueel uitgedaagd voelden, stevig moesten werken en veel met hun medestudenten uitwisselden. Naar aanleiding van de problematiek bij Geschiedenis werd er door het bestuur van het Instituut Geschiedenis een commissie ingesteld met als opdracht tot aanbevelingen te komen om de onderwijskwaliteit te verbeteren. De commissie, die zich liet informeren door de docenten, stelde ten aanzien van het schrijfonderwijs het volgende voor. Allereerst achtte zij het van belang dat docenten hun studenten in de periode, dat zij met hun werkstuk bezig zijn, een stimulerende leeromgeving blijven bieden door regelmatig momenten voor gezamenlijke feedback en discussie te organiseren. Daarbij zouden studenten meer vertrouwd gemaakt moeten worden met het idee dat het belangrijk is om het schrijven niet tot het laatste moment uit te stellen, omdat een goed werkstuk altijd een of meer revisieslagen nodig heeft. Ook pleitte de commissie ervoor om uniforme beoordelingscriteria te gebruiken in alle cursussen waarin geschreven moet worden en om deze criteria vooraf aan de studenten inzichtelijk te maken (Commissie Verbetering Onderwijskwaliteit, 1999). In deze situatie deden wij aan de commissie het voorstel om te gaan werken met peer assessment, als een werkwijze die het schrijfonderwijs in voornoemde richting zou kunnen verbeteren. De basisgedachte erachter is dat studenten elkaars werk beoordelen en daarvan leren. Studenten zullen als gevolg van deze werkwijze hun schrijfproducten kunnen verbeteren, mits ze de kans krijgen om het commentaar van hun medestudenten te verwerken. Een effect op langere termijn kan zijn dat het toepassen van de beoordelingscriteria op andermans werk een proces van internalisering op gang brengt, waardoor studenten op den duur hun eigen producten beter leren beoordelen. Voor de docenten zou het gevolg kunnen zijn dat zij een deel van het diagnosticeren en bijsturen aan de studenten kunnen overlaten, waardoor zij meer tijd kunnen besteden aan expertbegeleiding.

8 8 Hoofdstuk 1 Het idee om met peer assessment te gaan werken vond gehoor en is vervolgens uitgewerkt met een aantal docenten die het in hun cursus wilden toepassen. Deze initiatieven vormen de basis van dit proefschrift. 1.2 Eerste probleemformulering Het bestaande onderzoek naar peer assessment gaf weinig aanwijzingen voor het ontwerpen ervan, bijvoorbeeld omdat het effectonderzoek is of omdat de onderwijscontext anders is. Uit de overzichten van onderzoek met betrekking tot peer assessment in Topping, 1998, en in Dochy, Segers en Sluijsmans, 1999, komt naar voren dat de manier waarop de peer assessment georganiseerd is vaak niet duidelijk wordt beschreven. Hoe kan de leersituatie op een manier worden ingericht die de studenten ertoe aanzet om serieus commentaar geven op het werk van hun medestudenten en er ook van leren? Om hier meer zicht op te krijgen is het plan om peer assessment te gaan toepassen uitgewerkt tot een praktijkstudie, waarin verschillende ontwerpen voor peer assessment zijn ontwikkeld, geïmplementeerd en geëvalueerd. De uitvoering vond plaats in zeven cursussen van de opleiding Geschiedenis van de Utrechtse Letterenfaculteit, gespreid over alle opleidingsjaren. Deze praktijkstudie heeft het karakter van een ontwerponderzoek. In dit onderzoek wordt gezocht naar een effectief ontwerp voor peer assessment. In feite is het een ontwikkelingsonderzoek zoals omschreven door Van den Akker (1999), gericht op het genereren, expliciteren en evalueren van ontwerpprincipes. In dit geval betreft de studie een ontwerp van didactische interventie. Dit alles heeft als doel principes van een optimaal ontwerp van peer assessment in universitair onderwijs te kunnen formuleren. Hiertoe zijn zeven ontwerpen geconcretiseerd, in nauw overleg met de docenten. Doordat het onderzoek in samenspraak met de betreffende docenten is opgezet, zijn er soms concessies gedaan aan de onderzoeksmethodologie. 1.3 Overzicht van het proefschrift Het proefschrift richt zich op een inperking van academische vorming en concentreert zich op principes voor het ontwerp van peer assessment. In dit inleidende hoofdstuk is de aanleiding van het onderzoek uiteengezet, uitlopend op een eerste formulering van de probleemstelling vanuit de

9 Achtergrond van het onderzoek en overzicht van het proefschrift 9 universitaire onderwijspraktijk. In hoofdstuk 2 wordt een theoretisch kader voor peer assessment gegeven, wat leidt tot een aanscherping en specificatie van de oorspronkelijke probleemstelling. Hierin komt literatuur aan de orde over het inzetten van medestudenten in het leerproces, in het bijzonder bij het leren schrijven. Hoofdstuk 3 gaat over de ontwerpen van peer assessment: hoe zien ze eruit en waarin verschillen ze van elkaar? Hierbij wordt onder meer ingegaan op de ontwerpvariabelen en de implementatie van de ontwerpen. De methoden die gebruikt zijn voor de evaluatie van de ontwerpen worden beschreven in hoofdstuk 4. Aan bod komen de beschrijving van de groep van respondenten in deze studie, de wijze van gegevensverzameling, de operationalisaties van relevante variabelen en de methode van analyse. De evaluatie van de ontwerpen is gericht op vier aspecten. Ten eerste wordt ingegaan op de uitvoering van de peer assessment-procedure in de verschillende ontwerpen (hoofdstuk 5). Het tweede aspect dat wordt onderzocht, is de samenstelling van de feedback die de studenten elkaar in de verschillende ontwerpen gaven (hoofdstuk 6). Het derde aspect is de manier waarop de peer feedback werd overgebracht (hoofdstuk 7). In het vierde deel van de resultaten wordt de leeropbrengst en de waardering van de peer assessment beschreven (hoofdstuk 8). De antwoorden op de onderzoeksvragen worden samengevat in hoofdstuk 9 en gevolgd door een discussie. Hierin wordt ingegaan op de beperkingen van het onderzoek, vragen die gesteld kunnen worden naar aanleiding van de resultaten en mogelijke richtingen voor vervolgonderzoek. Tot slot is een samenvatting in het Engels opgenomen.