Peer assessment inuniversitair

Transcriptie

1 Peer assessment inuniversitair Methoden ond erwijs. Eenonderzoeknaar 4 bruikbare ass essment Hoofdstuk 4 ontwerpen. Peer In dit hoofdstuk wordt de opzet van het onderzoek beschreven. Er is gebruik gemaakt van verschillende methoden van dataverzameling, zoals schriftelijke vragenlijsten, interviews, groepsgesprekken, observaties en schrijfproducten. Deze worden tezamen met de onderzochte groepen beschreven in paragraaf 4.1. De operationalisatie van de variabelen in instrumenten komt aan de orde in paragraaf 4.2, de kwaliteitscontrole van de instrumenten in paragraaf 4.3. De manier waarop de data zijn geanalyseerd zal worden in universitai r toegelicht in paragraaf 4.4. Een samenvatting van het hoofdstuk wordt gegeven in paragraaf 4.5. onderwijs. Eenonderzoeknaar bruikbare ontwerpen. Peer assessment in universitair onderwijs. Eenonderzoeknaar bruikbare ontwerpen. Peer assessment in universitair

2

3 Methoden Respondenten en dataverzameling De opleiding Geschiedenis van de Universiteit Utrecht De opleiding Geschiedenis maakt deel uit van de Faculteit der Letteren van de Universiteit Utrecht. In het academisch jaar telde de opleiding 604 studenten, waarvan 144 eerstejaarsstudenten. Daarmee is Geschiedenis na Algemene Letteren de grootste opleiding van de faculteit (Jaarverslag Faculteit Letteren, 1999). Het opleidingsprogramma omvat vier jaar studie. De eerste twee jaar daarvan bestaat grotendeels uit voor iedere geschiedenisstudent verplichte onderdelen. Daarna kiest men een specialisatie. De specialisatiecursussen staan ook open voor studenten van andere opleidingen binnen de letterenfaculteit. In het kader van dit onderzoek zijn cursussen bestudeerd gedurende de gehele vierjarige studieperiode. Ten tijde van het onderzoek was het studiejaar verdeeld in vijf blokken van elk acht weken. In elke blokperiode werden in principe twee cursussen naast elkaar gegeven, met aansluitend een onderwijsvrije periode van twee weken om de studenten in staat te stellen de tentamens voor te bereiden aan het eind van elk blok Respondenten De onderzoeksgroep omvatte 168 studenten en 9 docenten. Zeven studenten zijn tweemaal bevraagd, omdat ze participeerden in twee cursussen waarin met peer assessment werd gewerkt. Dit betrof voornamelijk studenten uit de cursussen ICE en TGM. Van deze 168 studenten namen 131 studenten deel aan werkgroepen met peer assessment. De overige 37 waren afkomstig uit de controlegroepen, waarin niet met peer assessment werd gewerkt. De controlegroepen werden gevormd door parallelwerkgroepen waarin het onderwijs en de toetsing door dezelfde docent werd verzorgd als in de peer assessment-groepen. De studenten in de controlegroepen waren qua studentkenmerken vergelijkbaar met de studenten in de peer assessment-groepen. Op het moment dat zij zich inschreven wisten de studenten niet in welke groepen er met peer assessment zou worden gewerkt. Alleen bij de cursussen HIST, ICE en TGM kon met een controlegroep worden gewerkt. Behalve de zeven respondenten die tweemaal bevraagd werden, had niemand van de studenten eerder met peer assessment gewerkt, althans niet in deze of een soortge-

4 66 Hoofdstuk 4 lijke gestructureerde vorm. Alle respondenten namen deel aan de voltijdopleiding. De eerstejaarsstudenten kwamen over het algemeen rechtstreeks van het VWO en hun leeftijd was tussen de 17 en 19 jaar. Van de respondenten volgde 58% het zogeheten vaste programma van Geschiedenis en de rest het specialisatieprogramma. Tot die laatste groep behoorden ook studenten die de specialisatie volgden vanuit een andere opleiding dan Geschiedenis. Ten tijde van het onderzoek vormden de studenten Geschiedenis bij de cursussen ICE en TGM een minderheid. De meeste deelnemers aan deze cursussen kwamen uit de opleidingen Theaterwetenschap, Algemene Letteren en Muziekwetenschap. Een overzicht van de respondentgegevens per cursus wordt gegeven in Tabel 4.1. Tabel 4.1 Gegevens over de respondenten per cursus Cursus Jr/Studie % Vrouw % Man N PA-groep N Contr.groep SS 1/GES HA 2/GES DS 2/GES HIST 3/GES RP 3/4 SPEC ICE 3/4 SPEC TGM 3/4 SPEC Totaal De groep docenten bestond uit alle docenten die een of meer peer assessment-groepen van de voor het onderzoek geselecteerde cursussen begeleidden. Van deze groep docenten is één docent tweemaal bevraagd, omdat hij twee cursussen uitvoerde waarin met peer assessment werd gewerkt (ICE en TGM). In de cursus HA hadden twee docenten elk een peer assessment-groep, in de cursus SS werkten drie docenten met elk een peer assessment-groep, de overige cursussen (RP, DS en HIST) werden elk door één docent gegeven. De cursussen ICE en TGM werden gegeven door een en dezelfde docent. Met uitzondering van laatstgenoemde docent, die de vaste docent voor ICE en TGM verving, ging het om ervaren docenten. Evenals de studenten hadden zij geen ervaring met deze gestructureerde vorm van peer assessment.

5 Methoden Methode van dataverzameling Dit ontwerponderzoek kan worden opgevat als een multiple case study (zie Creswell, 1998). Er zijn zeven cases (cursussen), die worden bestudeerd op de elementen die van belang zijn voor peer assessment. Centraal staan de wijze waarop de peer assessment is uitgevoerd, de samenstelling van de peer feedback, de interactie tussen de feedbackgevers en de feedbacknemers, de leeropbrengst, de waardering van studenten en docenten van het werken met peer assessment, en de relatie tussen de resultaten en de ontwerpvariabelen. De cases worden eerst elk afzonderlijk beschreven en geëvalueerd, waarna cross-case analyse plaatsvindt teneinde een optimaal onderwijsontwerp voor peer assessment te destilleren. De gegevens over de uitvoering van de ontwerpen voor peer assessment zijn hoofdzakelijk verkregen met behulp van observatie, een schriftelijke vragenlijst die is afgenomen bij de studenten na de peer assessment en een interview met de docent na afloop van de cursus. Dit interview werd op band geregistreerd en naderhand uitgetypt. Daarnaast zijn alle schrijfproducten verzameld die in het kader van de peer assessment werden geproduceerd. De benodigde gegevens met betrekking tot de aard en de kwaliteit van de schriftelijke feedback werden verkregen op grond van de ingevulde beoordelingsformulieren. De mondelinge feedback is met een bandrecorder geregistreerd en daarna uitgetypt. Gegevens over de leeropbrengst van peer assessment zijn hoofdzakelijk verkregen uit de verzamelde schrijfproducten, de cijferwaardering en de antwoorden van studenten en docenten op vragen over hun perceptie van de leeropbrengst. Over de waardering zijn gegevens verzameld via de al genoemde vragenlijst over peer assessment en het interview met de docent na afloop. In Tabel 4.2 is de relatie tussen de onderzoeksvragen en de dataverzamelingsmethoden samengevat. De studenten werden tegelijk met de introductie van peer assessment tijdens de eerste bijeenkomst geïnformeerd over het onderzoek. In deze bijeenkomst is hun gevraagd of zij bezwaar hadden tegen de aanwezigheid van een onderzoeker tijdens sommige onderwijsbijeenkomsten. Ook is hun toestemming gevraagd voor het verzamelen van gegevens en het voor onderzoek gebruiken van hun schrijfproducten. De gegevensverzameling, die ten aanzien van elk cursusontwerp op dezelfde wijze plaatsvond, verliep aldus. Observatie vond plaats tijdens de

6 68 Hoofdstuk 4 cursus, met name op de momenten die van belang waren om reacties en gedrag waar te nemen met betrekking tot peer assessment. In de peer assessment-groepen werden minimaal drie onderwijsbijeenkomsten geobserveerd, in de controlegroepen minimaal twee. Tabel 4.2 Gebruikte dataverzamelingsmethoden voor de beantwoording van de onderzoeksvragen Uitvoering Samenstelling PF Interactie Leeropbrengst Waardering Observatie x Vragenlijst over PA x x x Cursusvragenlijst x x x Interview met docent x x x Formulier SF studenten x x Formulier SF docent x x Bandopn. MF studenten x x x Schrijfproducten x x Cijferwaardering van docent x Noot. SF = schriftelijke feedb; MF = mondelinge feedb.; PA = peer assessment; PF = peer feedb. Beide groepen zijn zoveel mogelijk in dezelfde onderwijsweek geobserveerd, zodat de studenten in beide groepen ongeveer even ver in de cursus waren gevorderd op het moment van observatie. In de cursus TGM is slechts tweemaal geobserveerd, een keer minder dan in de andere peer assessment-groepen, aangezien er in dit cursusontwerp geen mondelinge toelichting was ingeroosterd. De observaties werden gedaan door één onderzoeker, steeds dezelfde. De eerste observatie in de peer assessment-groep vond plaats tijdens de eerste bijeenkomst, toen de studenten geïnformeerd werden over peer assessment. De tweede observatie werd uitgevoerd op het moment dat de studenten schriftelijk gedetailleerde informatie kregen over de procedure en er vragen over konden stellen. De derde observatie was tijdens de onderwijsbijeenkomst waarin de studenten hun schriftelijke beoordelingen mondeling toelichtten. In de derde geobserveerde bijeenkomst werd de mondelinge feedback geregistreerd met behulp van per groepje een bandrecorder en daarna uitgetypt; daarnaast werden de schrijfproducten (de door de studenten beoordeelde conceptversies) en de schriftelijke feedback (de ingevulde feedbackformulieren) verzameld. De vragenlijst over peer assessment werd bij de studenten afgenomen direct nadat zij hun schriftelijke beoordelingen mondeling aan elkaar hadden toegelicht, of in de daarop volgende on-

7 Methoden 69 derwijsbijeenkomst. Deze vragenlijsten zijn direct na het invullen door de onderzoeker ingenomen. In de cursussen waarin met controlegroepen is gewerkt werd geen schriftelijke vragenlijst afgenomen tijdens de cursus. Hier is gebruik gemaakt van de mogelijkheid om enkele vragen toe te voegen aan de schriftelijke evaluatie die door de docent werd gehouden na afloop van de cursus. Deze cursusvragenlijst is bij alle studenten, zowel in de peer assessment-groepen als in de controlegroep afgenomen. De lijst werd uitgereikt op het tentamen. Nadat de studenten klaar waren met het tentamen vulden zij de vragenlijst in, die direct daarna door de docent werd ingenomen. Na afloop van de cursus werden ook de definitieve schrijfproducten (de door de docent beoordeelde eindversies) verzameld, inclusief de schriftelijke feedback van de docent en de cijferwaardering. De dataverzameling werd afgesloten door middel van een interview met de docent, zo snel mogelijk nadat deze de eindversies van de schrijfproducten had beoordeeld. 4.2 Operationalisaties en instrumenten Observatie van het onderwijs met peer assessment Voor de observatie van het onderwijs is een lijst met aandachtspunten gebruikt. Waarnemingen die op deze aandachtspunten betrekking hadden, zijn schriftelijk vastgelegd. Er is met name gelet op de manier waarop het doel van peer assessment en de te volgen werkwijze bij peer assessment door de docent aan de studenten werd gepresenteerd. De docent was door de onderzoeker gevraagd om hierbij de schriftelijke informatie te volgen die de studenten ontvingen (bijlage 2). Alle vragen die over peer assessment gesteld werden en alle andere reacties of uitlatingen van studenten daarmee te maken hadden, werden genoteerd. Hoe wordt peer assessment door de docent geïntroduceerd? Hoe reageren studenten op de introductie van peer assessment (opmerkingen, vragen)? Hoe verloopt de indeling van de feedbackgroepen? Hoe verloopt de uitwisseling van schrijfproducten en beoordelingsformulieren? Hoeveel studenten doen mee tijdens de mondelinge toelichting? Hoe verloopt de plenaire nabespreking (indien van toepassing)? Alg:Hoe vaak richt een student zich tot de docent? Wat is het onderwerp van gesprek? Alg:Hoe vaak gaan studenten met elkaar in gesprek? Waarover spreken ze? Figuur 4.1 Aandachtspunten bij de observatie van het onderwijs.

8 70 Hoofdstuk 4 Daarnaast is gelet op de interactie tussen de studenten en de docent, zowel in de peer assessment-groep als in de controlegroep, voorzover die er was. De frequentie van de interactie tussen de studenten onderling en van de studenten met de docent is in kaart gebracht door gedurende een half uur het aantal keren te turven dat studenten het woord namen gedurende de onderwijsbijeenkomst en daarbij de spreker, de aangesprokene en het onderwerp van de interactie aan te geven. De lijst met aandachtspunten voor de observatie wordt gepresenteerd in Figuur Evaluatie van peer assessment door de studenten De vragenlijst over peer assessment bestond uit een basislijst van 16 open vragen, die ten aanzien van elk cursusontwerp zijn gesteld. Deze lijst is per cursus aangevuld met een of enkele vragen over specifieke elementen in het ontwerp. Van de vragen uit de basislijst waren enkele erop gericht om inzicht te krijgen in de tijd die de studenten hadden besteed aan het beoordelen. Hiermee wordt een indicatie verkregen van de studiebelasting als gevolg van peer assessment als ook van de diepgang waarmee de beoordeling is uitgevoerd. De andere items zijn gericht op de waardering van de studenten met betrekking tot de ontvangen peer feedback, de inschatting van de eigen beoordelingsbekwaamheid, de bruikbaarheid van het beoordelingsformulier, de verwachte kwaliteit van de revisie en de inzet voor de cursus. Ook is er een vraag over het onderwerp anonimiteit opgenomen. Uit de literatuur (zie bijvoorbeeld de studie van Falchikov, 1995, besproken in Topping, 1998) blijkt dat gebrek aan anonimiteit een factor is die peer assessment kan bemoeilijken. Daarnaast zijn items opgenomen waarin de studenten worden aangesproken als gebruikers en ervaringsdeskundigen, die suggesties kunnen doen over verbetering van de opzet van peer assessment. De cursusvragenlijst bestond uit aanvullende vragen bij de ongeveer 20 vragen die de docent zelf wilde stellen om de cursus als geheel te evalueren. Door de onderzoeker waren aan die lijst nog zes of zeven vragen toegevoegd, die de studenten nog niet hadden kunnen beantwoorden op het moment dat de vragenlijst over peer assessment hun werd voorgelegd. De toegevoegde vragen waren gericht op de tijdsinvestering voor het te schrijven werkstuk tot en met de laatste versie, de tevredenheid over de interactie tijdens de werkgroepbijeenkomsten en de ervaren leeropbrengst van de cursus. De antwoorden werden gegeven op een

9 Methoden 71 vijfpuntsschaal. De in de cursus Historiografie gebruikte vragenlijst over peer assessment en de door de onderzoeker aan de cursusvragenlijst toegevoegde vragen zijn opgenomen als bijlage 4 en Evaluatie van peer assessment door docenten De docent werd bevraagd in de vorm van een half gestructureerd interview. De gespreksonderwerpen kwamen voor een groot deel overeen met de items in de hiervoor besproken vragenlijst over peer assessment en de cursusvragenlijst. Evenals aan de studenten is ook aan de docent gevraagd of peer assessment gevolgen had voor zijn tijdsinvestering ten behoeve van de cursus. Ook in het interview zijn vragen gesteld die betrekking hadden op een eventueel effect van peer assessment op het schrijfproduct en op de interactie, alsook over de voor- en nadelen van peer assessment in deze opzet. Hierbij wordt de docent deels als waarnemer van peer assessment-activiteiten aangesproken en deels als gebruiker. Daarnaast is specifiek aan de docent gevraagd om zijn ervaringen in de peer assessment-groep te vergelijken met zijn ervaringen in de controlegroep of in een soortgelijke groep. Het interviewprotocol is opgenomen in bijlage Mondelinge en schriftelijke feedback van de studenten op de schrijfproducten Om de samenstelling van de mondelinge en schriftelijke feedback in detail te kunnen analyseren is een codeersysteem ontwikkeld. Aan elke uitspraak worden drie soorten codes toegekend die verwijzen naar de functie van de feedback, het onderwerp van de feedback en of de uitspraak van de feedbackgever of feedbacknemer is (beurtcodes). Als uitspraak gelden alle al dan niet grammaticaal correcte samenstellingen van woorden of losse woorden (bijv. goed! ) waardoor de spreker iets wil meedelen, mondeling of schriftelijk. Een mondelinge uitspraak eindigt wanneer de beurt wordt overgenomen door een andere student of de docent, voor zover van toepassing. Een schriftelijke uitspraak eindigt wanneer een nieuw onderwerp wordt aangesneden. De functiecodes worden gebruikt om de uitspraken te benoemen in termen van de feedbackfunctie die ze vervullen. De codes zijn ontleend aan het in hoofdstuk 2 beschreven feedbackmodel van Roossink (1990), dat

10 72 Hoofdstuk 4 is aangevuld met de vier revisiestappen (Analyseren-Beoordelen-Verklaren-Verbeteren) van Flower en anderen (1986). De gebruikte functiecodes zijn geen rechtstreekse toepassing van het feedbackmodel van Roossink, omdat het onderwijs aan de hand waarvan dit model is ontwikkeld in een aantal opzichten verschilt van het onderwijs in het onderzoek. Zo werkte Roossink met docenten en gaat het in ons onderzoek om feedback van medestudenten. In het onderzoek van Roossink was de feedback gericht op de uitwerking van een vraagstuk, de studenten in het onderhavige onderzoek werken aan een communicatief product. Er worden zeven functiecodes gebruikt, te weten Oriënteren, Verhelderen, Beoordelen, Toelichten, Reviseren, Werkwijze en Feedback-niet van toepassing. Uitspraken die bedoeld zijn om de feedbackronde te starten, bijvoorbeeld door een vraag uit het beoordelingsformulier voor te lezen en/of de gesprekspartners voor te bereiden op de komende feedback, krijgen de code Oriënteren. De code Verhelderen is bestemd voor alle uitspraken waarin het schrijfproduct wordt beschreven of verduidelijkt. Beoordelen geldt voor alle uitspraken waarin het schrijfproduct wordt getoetst aan een norm. Argumenten voor een bepaald oordeel over het schrijfproduct worden gecodeerd als Toelichten. Suggesties voor verbeteringen van het schrijfproduct krijgen de code Reviseren. De code Werkwijze geldt voor uitspraken over het schrijfproces, waarbij de aandacht verschuift van het schrijfproduct naar de gevolgde en de te volgen aanpak van de schrijftaak. De code Feedback-niet van toepassing wordt toegekend aan uitspraken waarop geen van de andere codes passen. Al met al zijn er dus vier codes die toegekend worden aan uitspraken die rechtstreeks betrekking hebben op het schrijfproduct, te weten Verhelderen, Beoordelen, Toelichten en Reviseren. Het codeerinstrument voor het coderen van uitspraken naar hun feedbackfunctie wordt in Figuur 4.2 samengevat. De feedbackaspectcodes worden gebruikt om de uitspraken te benoemen in termen van datgene waar ze over gaan (een aspect van het schrijfproduct of een onderwerp daarbuiten). Er worden drie productcodes onderscheiden, te weten Inhoud, Structuur en Stijl. Deze hebben betrekking op uitspraken die gaan over het schrijfproduct, ze zijn ontleend aan Steehouder, Jansen, Maat, Van der Staak & Woudstra (1992). De code Inhoud wordt gegeven aan uitspraken waarin de inhoudelijke kant van het schrijfproduct ter sprake komt, zoals het gebruik van bepaalde begrip-

11 Methoden 73 pen, de gevolgde redenering en de hoeveelheid informatie. De code Structuur geldt voor uitspraken die de innerlijke samenhang van het schrijfproduct betreffen, zoals de relatie tussen probleemstelling, betoog en conclusie. Als Stijl worden uitspraken gecodeerd die over de vormtechnische kant van het werkstuk gaan, zoals de toegankelijkheid en aantrekkelijkheid voor de lezer, en het taalgebruik. Omdat de feedback niet altijd eenduidig te categoriseren is, hebben we nog een vierde code Combi ontwikkeld waarin tekstgerichte uitspraken worden ondergebracht die meerdere van de hiervoor genoemde tekstuele aspecten betreffen. Feedbackfunctie Omschrijving Voorbeeld Oriënteren Uitspraken die bedoeld zijn om de feedbackronde te starten en/of de gesprekspartners voor te bereiden op de komende feedback. Ik heb het ingeleverd, dat heeft Jan Willem gelezen, maar hij had nog niets dus ik heb niets gelezen. Dan nu punt 3: deelvragen, er waren geen deelvragen. Verhelderen Vergelijken met een norm Toelichting op beoordeling Kiezen van een maatregel ter verbetering Ingrijpen in het proces Geen feedback Uitspraken waarin het werkstuk wordt beschreven, opdat de beoordeling adequaat kan worden uitgevoerd. Uitspraken waarin het werkstuk of delen daarvan aan een ideaal worden getoetst. Daar was een zin die ik niet helemaal snapte en dat was een beetje zo van..ik vroeg me af of dat echt een verband is. Ik geloof dat wij geen seconde de lijn van het betoog echt kwijt zijn geraakt.. Uitspraken die betrekking hebben Maar ik..vooral omdat ik vond op het opsporen van oorzaken van dat die kritiek zo..dat dat gek is geconstateerde gebreken in het om die niet te behandelen. werkstuk en/of het aangeven en achterhalen van redenen waarom iets als goed of fout wordt beoordeeld. Uitspraken over concrete verbeteringen aan het werkstuk. Dus ik dacht als je dat gewoon laat doorlopen..dan maak je gewoon hoofdstukjes van eh..weet je..van eh..tot zijn twintigste, van 20-40, dan en dan is zijn opleiding en toen schreef hij zijn grote werk Uitspraken waarin de feedback in Maar dan moet ik straks al die het bredere perspectief geplaatst boeken weer gaan nalezen, zo wordt van bijsturing van het van op welke bladzijde stond het schrijfproces en van de manier van ook alweer? studeren. Uitspraken die buiten voornoemde feedbackfuncties vallen. Figuur 4.2 Instrument voor het coderen van de mondelinge feedback naar feedbackfunctie. Het had eerder gezegd moeten worden, dat het ineens eerder ingeleverd moest worden.

12 74 Hoofdstuk 4 Ten slotte is de code Procedure toegevoegd. Deze wordt toegekend aan uitspraken waarin de voorgeschreven opzet van peer assessment tot gespreksonderwerp wordt gemaakt. Uitspraken die niet onder de hiervoor genoemde categorieën vallen worden gecodeerd als Onderwerp-niet van toepassing. Het codeerinstrument voor het coderen van uitspraken naar feedbackaspect wordt in Figuur 4.3 samengevat. Aspect Omschrijving Voorbeeld Inhoud Uitspraken waarin de inhoud van het werkstuk ter sprake komt Je somt feiten op, maar je legt niet uit waarom, waardoor de relatie tussen zijn leven en zijn werk niet uitgedrukt wordt. Structuur Stijl Combi Procedure Onderwerp-nvt Uitspraken die de relatie tussen de formele delen (inleiding, vraagstelling, deelvragen, betoog, conclusie) betreffen Uitspraken m.b.t. taal, schrijfstijl, indeling en lay-out Uitspraken over meerdere tekstuele aspecten tegelijk: bijv. inhoud en stijl; structuur en stijl; inhoud, structuur en stijl Uitspraken die betrekking hebben op de voorgeschreven procedure en het design van peer assessment Uitspraken die buiten bovenstaande categorieën vallen, bijv. omdat ze alleen een gesprekstechnisch doel hebben Figuur 4.3 Instrument voor het coderen van de mondelinge feedback naar feedbackaspect. Ik wil het anders gaan doen, want ik vind het niet logisch..eh..ik wil sommige dingen meer ophangen aan de chronologie van zijn leven. De zinsconstructies zijn af en toe een beetje gekunsteld. Soms te lang, soms te kort. De introductie van de persoon daar geven wij een plusje voor, goede introductie. Wat ik ook vind is dat je afhankelijk bent van andere mensen en als die iets niet doen dan zit je gewoon vast, punt. Moeten we jouw stuk nu doen? Of doe je nu een van ons? In de mondelinge feedback is ook aangegeven van wie de uitspraak afkomstig is, van de feedbackgever of de feedbacknemer. Dit zijn de beurtcodes. Het aantal uitspraken dat in een beurt gedaan wordt omvat maximaal 60 woorden, bij uitzondering meer, tot een maximum van ongeveer 140 woorden. Alle uitspraken in de mondelinge feedback hebben dus drie codes, alle uitspraken in de schriftelijke feedback hebben twee codes. Sommige combinaties van functie en onderwerp zijn niet mogelijk. De zogenaamde productgerichte functiecodes (Verhelderen, Normeren, Toelichten en Reviseren) kunnen in combinatie voorkomen met alle productgerichte aspectcodes (Inhoud, Structuur en Stijl). Daarentegen kunnen de functiecodes niet in combinatie voorkomen met de code Procedure, omdat

13 Methoden 75 deze laatstgenoemde code bedoeld is voor uitspraken die niet het schrijfproduct betreffen. De functiecode Werkwijze gaat met geen enkele onderwerpcode samen, omdat zij niet productgericht is. De mogelijke en onmogelijke combinaties worden samengevat in Tabel 4.3. Tabel 4.3 Overzicht van mogelijke codecombinaties Nvt Proc. Inhoud Struct. Stijl Combi Oriënteren x x x x x Verhelderen x x x x Vergelijken met een norm x x x x Toelichting op de beoordeling x x x x x Kiezen van een maatregel x x x x Ingrijpen in het proces x Geen feedback x x Noot. x betekent dat deze combinatie in principe mogelijk is, vet = productgericht, dus direct betrekking hebbend op het schrijfproduct Kwaliteit van de revisie van het schrijfproduct Van alle studenten die deelnamen aan peer assessment-groepen zijn twee versies verzameld van het schrijfproduct, te weten de versie die ter beoordeling aan medestudenten werd voorgelegd en de versie die daarna als eindversie bij de docent werd ingeleverd. De beide versies worden vergeleken om na te gaan welke revisies de studenten hebben ondernomen. Daartoe zijn de revisies gecategoriseerd in Inhoud, Structuur en Stijl, op dezelfde manier als bij de gelijknamige feedbackaspecten uit het hierboven beschreven codeersysteem. Van de studenten die onderwijs volgden in controlegroepen zijn alleen de eindversies van het schrijfproduct verzameld. 4.3 Kwaliteit van de gebruikte methoden In navolging van Creswell (1998) en Miles en Huberman (1994) zijn enkele procedures toegepast om de kwaliteit van het onderzoek te controleren. Zo is de kwaliteit van de methode van dataverzameling gecontroleerd door middel van member check en is van de gebruikte instrumenten de interbeoordelaarsbetrouwbaarheid berekend. Controle van de kwaliteit van de onderzoeksopzet en van deelresultaten vond plaats door peer debriefing, in de vorm van tussentijdse presentaties voor collegaonderwijskundigen en onderwijskundig onderzoekers (zie onder meer,

14 76 Hoofdstuk 4 Van den Berg, Admiraal & Pilot, 2000; Admiraal, Van den Berg & Pilot, 2003). De specifieke maatregelen van kwaliteitscontrole worden hieronder per instrument toegelicht Vragenlijst en interview De items voor de vragenlijst over peer assessment, de toegevoegde vragen aan de cursusvragenlijst en het interview zijn op relevantie en formulering gecontroleerd door het onderzoeksteam. De afname van de vragenlijst over peer assessment vond plaats direct nadat de studenten de peer assessment hadden uitgevoerd zodat zij zich nog voldoende konden herinneren om terug te kunnen blikken op het beoordelingsproces. Zowel de vragenlijst over peer assessment als de cursusvragenlijst werden afgenomen vóórdat de studenten het eindoordeel van de docent hadden ontvangen, om de beantwoording niet te laten vertekenen door het resultaat. De antwoorden van de studenten op enkele vragen uit de peer assessment-vragenlijst (te weten vraag 2, 3a, b en c, 9, 11, 12, 13 en 16 uit de peer assessment-vragenlijst Historiografie, zie Bijlage 4) zijn omgezet in een waardering op een driepuntsschaal, met 1 = negatief; 2 = negatief noch positief en 3 positief. Hiertoe is de interbeoordelaarsbetrouwbaarheid berekend tussen twee observatoren. In Tabel 4.4 zijn gegevens met betrekking tot de betrouwbaarheid weergegeven. De betrouwbaarheid wordt weergegeven in een lineair gewogen Cohens κ. Tabel 4.4 De interbeoordelaarsbetrouwbaarheid voor de omzetting van de antwoorden van de studenten op de peer assessmentvragenlijst, uitgedrukt in Cohens κ met bijbehorend 95% betrouwbaarheidsinterval κ 95% interval n V κ 1 27 V3a/b.64 0 κ 1 19 V3c κ 1 22 V9 1 1 κ 1 28 V κ 1 28 V κ 1 30 V κ 1 29 Over het algemeen achten wij de interbeoordelaarsbetrouwbaarheid voldoende. In het ene geval dat de Cohens κ lager is dan 0.70, wordt dit vooral veroorzaakt door een slechte spreiding van de codes: er is slechts één van de 19 codes verschillend tussen twee observatoren.

15 Methoden 77 De interviews met de docenten zijn afgenomen door een niet zelf bij het onderzoek betrokken medewerker van het IVLOS. De gesprekken zijn woordelijk geregistreerd met behulp van een bandrecorder. De interviewer had de instructie gekregen om de volgorde van de vragen uit het interviewprotocol aan te houden, bij de beantwoording zo min mogelijk te sturen en zo nodig door te vragen. Het beginsel van member check is toegepast door de interviewer tussentijds en op het eind samenvattingen te laten geven en deze ter plekke te laten controleren door de geïnterviewde. Dat leidde soms tot aanvullingen van de respondenten. Na elk interview is door de onderzoeker gecontroleerd of de instructie door de interviewer was opgevolgd, door de bandopname van het interview te beluisteren. Daarbij is nagegaan of het interviewschema voldoende was aangehouden, inclusief het voorleggen van tussentijdse samenvattingen van het gesprek aan de geïnterviewde. Tevens is gelet op de mate van sturing. Dit alles bleek in orde. Gezien de mate van gestructureerdheid van het interview werden geen problemen voorzien ten aanzien van de interpretatie van de antwoorden. Om die reden is de interpretatie niet direct, maar in een later stadium van het onderzoek in de vorm van een tussenrapportage over de resultaten van het onderzoek (Van den Berg, 2001) aan de respondenten teruggekoppeld. Daarbij is aan de betreffende docenten gevraagd om de delen van het verslag die specifiek over hun cursus gingen en de manier waarop hun antwoorden op de interviewvragen daarbij zijn weergegeven op juistheid te controleren. Dit leidde niet tot aanvullingen of correcties Mondelinge en schriftelijke feedback van de studenten op de schrijfproducten De mondelinge en schriftelijke feedback is ten behoeve van de analyse gecodeerd. De betrouwbaarheid van het codeerinstrument is op de volgende wijze vastgesteld. Een tweede codeur is door de onderzoeker bekend gemaakt met de betekenis van de verschillende categorieën van het codeersysteem. Na deze instructie zijn drie rondes gehouden, waarin de twee codeurs in elkaars aanwezigheid gezamenlijk eenzelfde fragment van een feedbacksessie codeerden (ongeveer een vijfde deel van de feedbacksessie). Hierbij ging het om het opsporen en het verhelderen van eventuele interpretatieverschillen met betrekking tot de feedback-

16 78 Hoofdstuk 4 functiecodes en de feedbackaspectcodes. Ten aanzien van de beurtcodes kon er geen interpretatieverschil zijn, omdat in de uitgetypte protocollen bij elke uitspraak steeds was aangegeven wie er aan het woord was. Het instrument is bijgesteld op grond van de interpretatieverschillen die er waren. Daarna zijn er opnieuw drie rondes gehouden waarin beide codeurs opnieuw een vijfde deel van een feedbackgesprek codeerden, nu niet in elkaars aanwezigheid. Beiden codeerden een zelfde fragment, maar uit een andere feedbacksessie. Tussentijds is de betrouwbaarheid vastgesteld en zijn verschillen besproken. Na de eerste en tweede ronde voldeed de betrouwbaarheid niet aan onze norm. Naar aanleiding daarvan zijn de detailregels voor de codering aangevuld. Na drie codeersessies werd ruimschoots aan de norm voldaan van De mate van interbeoordelaarsovereenstemming en het 95% betrouwbaarheidsinterval wordt gepresenteerd in Tabel 4.5. Tabel 4.5 Interbeoordelaarsbetrouwbaarheid m.b.t. feedbackfunctie en feedbackaspect, uitgedrukt in Cohens κ met bijbehorend 95% betrouwbaarheidsinterval Type codes Cohens κ n Feedbackfunctie.85 (.77 κ.93) 88 Feedbackaspect.93 (.86 κ 1) Gereviseerde schrijfproducten Om de aard van de aangebrachte revisies te kunnen benoemen is gebruik gemaakt van de categorieën Inhoud, Structuur en Stijl, zoals die omschreven zijn in het codeersysteem dat gebruikt is voor de mondelinge en schriftelijke feedback. Om de betrouwbaarheid van deze categorisering te bepalen is gebruik gemaakt van een tweede codeur. Daarbij werd een interbeoordelaarsbetrouwbaarheid bereikt van 0.89, uitgedrukt in Cohens κ, met een 95% betrouwbaarheidsinterval van 0.77 κ 1. Deze is gebaseerd op 48 revisieaanwijzingen in 12 schrijfproducten. 4.4 Methode van analyse Om de onderzoeksvragen te kunnen beantwoorden worden de data als volgt geanalyseerd. Ter beantwoording van de eerste onderzoeksvraag, die de uitvoering van de peer assessment betreft, wordt gewerkt met inhoudsanalyse en beschrijvende statistiek. Voor de beantwoording van de tweede onderzoeksvraag, die gericht is op de samenstelling van de peer

17 Methoden 79 feedback, wordt gebruik gemaakt van matrices, op de wijze zoals omschreven in Miles en Huberman (1994). Daarin worden per ontwerp de frequenties gepresenteerd van de functiegerichte respectievelijk aspectgerichte uitspraken in de schriftelijke en mondelinge feedback. Daarnaast zijn matrices opgenomen waarin de relatie tussen de functiegerichte en de aspectgerichte uitspraken is uitgedrukt. Met behulp van (non-) parametrische toetsen worden de verschillen in frequenties van voorkomen tussen de ontwerpen, verschillen tussen peer assessment-groepen en controlegroepen, als ook de relaties tussen de beide variabelen onderzocht. Voor de beantwoording van de derde onderzoeksvraag, waarin de interactie tussen de studenten is onderzocht, is een typologie toegepast en is gewerkt met beschrijvende statistiek. Ook de gegevens met betrekking tot de vierde en vijfde onderzoeksvraag, over de leeropbrengst en waardering, worden geanalyseerd door middel van inhoudsanalyse en beschrijvende statistiek. De verschillen tussen de ontwerpen worden onderzocht met behulp van (non-) parametrische variantie-analyses. Voor de beantwoording van de zesde onderzoeksvraag, waarin de verschillende ontwerpen met elkaar vergeleken worden, worden in elk resultaathoofdstuk de data gepresenteerd in de vorm van matrices, waarbij de zeven ontwerpen één ingang zijn en de variabelen de andere ingang. Deze worden afzonderlijk opgesteld voor de uitvoering van de peer assessment, de samenstelling van de peer feedback en de interactie tussen de studenten, de leeropbrengst en de waardering. De resultaten worden in een overzichtsmatrix samengevat in hoofdstuk Samenvatting In dit hoofdstuk is de opzet van het onderzoek beschreven, dat gericht is op het genereren, expliciteren en evalueren van ontwerpprincipes. In het onderhavige onderzoek gaat het erom een optimaal ontwerp van peer assessment in universitair onderwijs te kunnen formuleren. Hiertoe zijn zeven ontwerpen geconcretiseerd. Het onderzoek is uitgevoerd bij de opleiding Geschiedenis van de Universiteit Utrecht. De onderzoeksgroep omvat 168 studenten, waarvan er 131 deelnamen aan peer assessment, 37 aan controlegroepen, en 9 docenten. De ontwerpen van peer assessment zijn uitgevoerd in verschillende cursussen gedurende de gehele vierjarige studieperiode.

18 80 Hoofdstuk 4 Centraal in de evaluatie staan de wijze waarop de peer assessment is uitgevoerd, de samenstelling van de peer feedback, de interactie tussen de studenten, de leeropbrengst en waardering en, tenslotte, de relatie tussen de resultaten en de ontwerpvariabelen. Er is gebruik gemaakt van verschillende methoden van dataverzameling zoals schriftelijke vragenlijsten, interviews, groepsgesprekken, observaties en schrijfproducten. De kwaliteit van de instrumenten is gecontroleerd aan de hand van interbeoordelaarsbetrouwbaarheid, member check en peer debriefing.