Gebruiksaanwijzing Peer- Assessment ScoringsInstrument (PASI)

Transcriptie

1 Gebruiksaanwijzing Peer- Assessment ScoringsInstrument (PASI) Het Peer- Assessment ScoringsInstrument voor de verwerking van assessmentscores is ontwikkeld door Prof. Filip Dochy van de Universiteit Maastricht en de Katholieke Universiteit Leuven en door Louise Beijer van de Universiteit van Amsterdam. Het instrument werd in maart 2003 bewerkt door Sarah Gielen en Katrien Struyven van de Katholieke Universiteit Leuven, binnen het project 'Percepties van studenten in de lerarenopleiding ten aanzien van nieuwe didactische werken evaluatievormen'. Het instrument bestaat uit een spreadsheetmodel met 18 werkbladen die zijn beveiligd om beschadiging te voorkomen. Instructies voor het gebruik van dit instrument treft u aan in deze gebruiksaanwijzing. Er is tevens een voorbeeld beschikbaar van een scoring via het Peer-Assessment ScoringsInstrument. De ingevoerde gegevens in het voorbeeld zijn fictief en onvolledig (slechts 1 student) en dienen louter om aan studenten de scoringsprocedure te verduidelijken. In deze gebruiksaanwijzing vindt u meer uitleg over de manier waarop dit kan. Gebruik van het instrument is vrij, suggesties of opmerkingen in verband met het gebruik van dit instrument zijn zeer welkom op onderstaande adressen. Op die wijze kan u een belangrijke bijdrage leveren aan de kwaliteit van dit instrument! Sarah Gielen, Katrien Struyven en Prof. Filip Dochy Centrum voor OpleidingsDidactiek, Katholieke Universiteit Leuven Dekenstraat 2 B-3000 Leuven BELGIE Sarah.Gielen@ped.kuleuven.be Katrien.Struyven@ped.kuleuven.be Filip.Dochy@ped.kuleuven.be Gebruiksaanwijzing PASI Gielen, Struyven, Dochy & Beijer,

2 Stap 1 (uitvoeren vóór aanvang van de peer-assessment) Gebruiksaanwijzing doornemen Het doornemen van de gebruiksaanwijzing en het op voorhand even oefenen met het rekenblad, zal u veel geknoei en gevloek achteraf besparen Stap 2 (uitvoeren aan het begin van het groepswerk waarbij peer-assessment gebruikt zal worden) Afdrukken van de voorbeeldformulieren op transparant (tenzij een laptop en beamer beschikbaar is). Open het bestand PASI voorbeeld.xls en druk de formulieren Groepsoverzicht criteria, Scoreformulier en Student (1) af op transparant. Leg aan de studenten het systeem van Peer- Assessment uit aan de hand van de voorbeeldformulieren. TRANSPARANT 1: SCOREFORMULIER, ingevuld door Ruben. Leg uit dat ze elkaar zullen beoordelen over hun gedrag in het groepsproces. Indien de studenten nog niet te kans kregen de beoordelingscriteria te bespreken, gebeurt dit best nu. Eventuele aanpassingen aan de criteria kunnen handmatig in overleg met de docent op de uitgeprinte scoreformulieren aangebracht worden. De docent zal deze aanpassingen naderhand in het elektronische scorebestand doorvoeren. Op het formulier moet elke student per criterium voor elk groepslid (ook voor zichzelf) een score geven. Deze score kan gaan van 1 tot 3, en de scores hebben volgende betekenis: 3: beter dan de rest van de groep 2: gemiddelde van de groep 1: net niet als het gemiddelde van de groep 0: geen hulp voor de groep -1: hinder voor de groep Dit formulier wordt individueel ingevuld, de medestudenten krijgen dit NIET te zien. Het invullen gebeurt niet anoniem omdat de docent moet weten welk formulier van wie komt, maar hij/zij behandelt deze gegevens wel anoniem ten aanzien van de medestudenten. Het is belangrijk dat studenten elkaar in eer en geweten beoordelen op de criteria. Scores die uitschieten (de hoogste en de laagste score) vallen automatisch af bij de berekening. Dit wordt gedaan om te corrigeren voor mogelijk oneerlijke scores van bijvoorbeeld hun vriend(in) of van iemand waarmee ze ruzie hebben. Pogingen om het peer-assessment-systeem te sabboteren (door bijvoorbeeld iedereen een 3 te geven), worden door de lector/docent tegengehouden. Indien de peer-scores 2 of meer punten afwijken van de scores die de lector/docent redelijk acht, dan wordt dit met de groep studenten besproken, en worden indien nodig de peer-scores vervangen door docent-scores. Het is heel belangrijk dat studenten iedereen voor elk criterium beoordelen. Zo gauw er ergens een score ontbreekt, kloppen de berekeningen niet meer. Toon aan de hand van de voorbeeldformulieren de wijze waarop de scores verwerkt zullen worden. Op het Scoreformulier zien we hoe Ruben zichzelf (8 e rij) en zijn medestudenten voor elk criterium een score tussen 1 en 3 geeft (bv. Eveline scoort laag volgens hem). TRANSPARANT 2: INDIVIDUEEL SCOREFORMULIER voor Amber. De scores die Ruben aan Amber geeft, worden door de docent overgetypt op het individueel scoreformulier van Amber Student (1), zie rij 8 (Ruben). Op dat individueel scoreformulier worden ook alle scores die de andere studenten aan Amber gaven, overgetypt. Rij 1 zijn de scores die ze aan zichzelf gaf, rij 2-9 zijn de scores van de medestudenten. Vervolgens gebeuren er zowel horizontaal als verticaal een aantal bewerkingen. Gebruiksaanwijzing PASI Gielen, Struyven, Dochy & Beijer,

3 Horizontaal wordt per beoordelaar het totaal berekend van de scores die hij of zij aan Amber gaf. Voor Ruben is dat bijvoorbeeld 20. Vervolgens wordt het hoogste en het laagste totaal geschrapt, en worden de overige totalen opgeteld (zie: PA-totaalscore over criteria heen). In dit voorbeeld worden het totaal van Wart (die een oogje heeft op Amber) en dat van Eveline (waarmee ze tijdens het groepswerk woorden heeft gehad) geschrapt. Wanneer er duidelijke uitschieters in de totalen zijn (zoals hier), dan heeft deze correctie een matigende invloed, wanneer in feite iedereen ongeveer dezelfde scores gaf, heeft deze correctie amper invloed. Ambers PA-totaalscore is 150. Van deze totaalscore wordt nu een gemiddelde gemaakt door ze te delen door het aantal beoordelaars die meegeteld werden (hier 9-2=7). Op deze manier bekomt Amber een PA-factorscore over de criteria heen van 21,43. Deze PA-factorscore wordt dan nog eens gedeeld door het aantal criteria en door de score voor een gemiddelde prestatie (in onze waarderingsschaal is dat 2). Uit deze berekening ontstaat de peer-assessment-factor. Voor Amber is dat Deze PA-factor bepaalt de individuele weging voor Amber van het groepscijfer. In het voorbeeld is het groepscijfer een 7, maar omdat Ambers PA-factor hoger dan 1 is, stijgt haar individueel cijfer. Amber zal voor dit groepswerk een 7,5 in plaats van een 7 krijgen. Verticaal wordt er per criterium een som gemaakt van alle scores die Amber kreeg voor dat criterium, maar van deze som wordt 1 maal de hoogste en 1 maal de laagste score afgetrokken. Vervolgens wordt deze som gedeeld door het aantal overblijvende scores (=aantal beoordelaars 2). Op deze manier krijg je een gecorrigeerd gemiddelde per criterium, dat de peer-assessmentfactorscore per criterium genoemd wordt. TRANSPARANT 3: CRITERIUMOVERZICHT Deze PA-factorscores per criterium worden gekopieerd naar het Groepsoverzicht criteria (zie 1 e rij). Op dit formulier krijgt de docent een overzicht van de scores van alle studenten, voor alle criteria. Dit wordt gebruikt om de volgende les de resultaten van de peer-assessment in de taakgroepen te bespreken, zodat studenten weten waar ze tijdens de volgende probleemtaken op moet letten. Voor Amber krijgen we hier opnieuw een overzicht van haar sterke en zwakke kanten in het groepsproces. Stap 3 (uitvoeren vóór aanvang van de peer-assessment) Opslaan van een scorebestand (per afnamemoment) voor elke taakgroep afzonderlijk Open het bestand PASI.xls. Klik bovenaan het scherm op de menu-optie Bestand en kies vervolgens voor Opslaan als. Selecteer een map in uw eigen schijfgebied bij de optie Opslaan in: Vul achter Bestandsnaam een nieuwe naam in, bijvoorbeeld de groepsnaam/code van de groep waarop het bestand betrekking heeft, en de datum van de peer-assessment-afname. Klik tenslotte op de knop Opslaan. Herhaal stap 3 voor elke taakgroep/onderwijsgroep die u begeleidt en doe dit voor elke peerassessment-afname opnieuw. Stap 4 (uitvoeren vóór aanvang van de peer-assessment) Gegevens in het groepsoverzicht groepsoverzicht totaal invullen Open het scorebestand voor een taakgroep. Klik met de muis onderaan het scherm op de tab van het werkblad Groepsoverzicht totaal. Vul in cel E2 de naam/code in van de groep waarvoor u dit bestand wilt gebruiken. Gebruik de TAB-toets om naar de volgende in te vullen cellen te gaan. Wilt u gegevens die in een cel zijn ingevuld wijzigen, dubbelklik erop of druk op de functietoets F2. Daarna kunt u de pijl-toetsen gebruiken om naar de gewenste plek te gaan. Het groepscijfer (de score voor het groepsproduct) kan uiteraard pas na afloop van het groepswerk worden ingevuld. Het maximumcijfer dat behaald kan worden voor het groepsproduct (bv. punten op 10 of punten op 20) kan wel al ingevuld worden in cel H3. Het rekenblad zal er voor zorgen dat een individueel cijfer later nooit hoger zal zijn dan dit maximumcijfer. De beoordelingscriteria kunnen naar wens worden aangepast en/of aangevuld. Dit moet enkel gebeuren op het blad groepsoverzicht totaal, de criteria worden automatisch gekopieerd naar het groepsoverzicht voor criteria, het scoreformulier en de individuele scoreformulieren per student. Gebruiksaanwijzing PASI Gielen, Struyven, Dochy & Beijer,

4 Bij voorkeur werden de criteria reeds bij de start van het groepswerk met de studenten besproken of werden ze samen met hen vastgelegd. Indien het de eerste keer is dat studenten met het systeem werken, worden de criteria bij de start van het groepswerk door de docent gegeven. Nadat de studenten enige tijd in groep hebben gewerkt, krijgen ze de kans om deze criteria te bespreken en bij te stellen. Dit betekent dat de criteria die op dit moment op in het scorebestand worden ingevuld, slechts voorlopig zijn. Ze kunnen in samenspraak met de studenten nog aangepast worden (eventueel handmatig op de scoreformulieren). De studentnamen worden ingevuld in het groepsoverzicht totaal, ze worden automatisch gekopieerd naar het groepsoverzicht voor criteria, het scoreformulier en de individuele scoreformulieren per student. Er kunnen maximaal 12 beoordelingscriteria en 15 studentnamen worden ingevuld. Afdrukken van de scoreformulieren Klik met de muis onderaan het scherm op de tab van het Scoreformulier. Hier hoeft u niets in te vullen, alles wordt automatisch overgenomen uit het groepsoverzicht. Dit blad is uitsluitend bedoeld om af te drukken en uit te delen aan alle groepsleden van een taakgroep. Klik bovenaan het scherm op de menu-optie Bestand en kies vervolgens voor Afdrukken. Vul in het afrukvenster het gewenste aantal afdrukken in (aantal groepsleden PER TAAKGROEP/ ONDERWIJSGROEP). Herhaal stap 4 voor elke taakgroep die u begeleidt!!! Stap 5 (eigenlijke uitvoering van de peer-assessment) Studenten beoordelen elkaars taak- en groepsgerichte samenwerkingsvaardigheden op basis van de afgesproken criteria Studenten krijgen elk een scoreformulier, vullen bovenaan hun eigen naam in, en beoordelen zichzelf en elkaar cfr. uitleg in stap 2. Stap 6 (uitvoeren vóór de feedbacksessie naar aanleiding van de peer-assessment) Scores per student invoeren Verzamel alle ingevulde scoreformulieren en leg ze op volgorde per taakgroep, d.w.z. volgens de namen zoals die in het groepsoverzicht zijn opgenomen. Bekijk de formulieren en let op of de scores realistisch zijn (bv. bij een groep van zes studenten kan er op één criterium niet zes maal een 3 worden gegeven, want dan zou iedereen beter dan de rest van de groep presteren, hetgeen onmogelijk is). Open het scorebestand van de groep waarvoor u de scores wilt invoeren. Voer de scores voor de individuele studenten in op de werkbladen student (1), student (2), enz. Gebruik de toetscombinaties Ctrl-PageDown en Ctrl-PageUp om een volgend/vorig werkblad op te roepen en de Tab-toets om naar de volgende in te vullen cel te gaan. Op het werkblad student (1) vult u op de eerste regel de scores is die student 1 heeft gegeven aan student 1; aan zichzelf dus. Op het werkblad student (2) vult u op de eerste regel de scores in die student 1 heeft gegeven aan student 2, enzovoort. Op de tweede regel van elk werkblad vult u de scores in die student 2 aan de betreffende studenten heeft gegeven. De individuele cijfers worden automatisch berekend. Sla na het invoeren van alle scores het bestand op onder dezelfde naam. Afdrukken van het groepsoverzicht criteria Klik met de muis onderaan het scherm op de tab van het werkblad Groepsoverzicht criteria. Om criteriumgerichte feedback aan de studenten te kunnen geven over hun functioneren in de taakgroep, biedt het Groepsoverzicht criteria een overzicht van de gecorrigeerde gemiddeldes van elke student voor elk criterium afzonderlijk. Maak een afdruk van dit formulier via de menu-opties Bestand, Afdrukken. Gebruiksaanwijzing PASI Gielen, Struyven, Dochy & Beijer,

5 Stap 7 (uitvoeren tijdens de (tussentijdse) feedbacksessie bij het groepswerk) Bespreking van de peer-assessment-factorscores per criterium Bespreek de resultaten van het Groepsoverzicht criteria met de voltallige taakgroep. De scores per criterium zijn te interpreteren volgens de schaal van 1 tot 3, die ook op het scoreformulier gebruikt werd. Een score 2 betekent een gemiddelde score op dat criterium. De peer-assessment-factor (laatste kolom) geeft de studenten een idee welke invloed deze peer-scores zullen hebben op hun individueel cijfer. Indien de peer-assessment-factor lager dan 1 is, zal het individuele cijfer dalen ten opzichte van het groepscijfer (door vermenigvuldiging). Indien de peerassessment-factor hoger dan 1 is, zal het individuele cijfer stijgen. Studenten vernemen in de bespreking ook de peer-assessment-scores van de medestudenten, maar krijgen die niet op papier. Ze krijgen wel de kans om hun persoonlijke scores over te schrijven, om erop te reflecteren en om te kunnen vergelijken met scores van eerdere en/of toekomstige peer-assessments. De docent bewaart de anonimiteit van de beoordelingen en geeft enkel het gecorrigeerde gemiddelde. Medestudenten beslissen zelf of ze aan elkaar vertellen welke scores zij gaven. Ze worden wel aangemoedigd om elkaar constructieve feedback te geven, met name door concrete gebeurtenissen en gedragingen te beschrijven die aan de basis liggen van de toegekende scores en door suggesties te geven ter verbetering. Indien er bij het invoeren van de scoreformulieren onrealistische scores werden opgemerkt, wordt dit met de taakgroep besproken. Indien nodig worden de peer-scores vervangen door docent-scores. Stap 8 (uitvoeren aan het eind van het groepswerk) Groepscijfer invoeren Open het scorebestand van de groep waarvoor u de scores wilt invoeren. Klik met de muis onderaan het scherm op de tab van het werkblad Groepsoverzicht totaal. Vul in cel H2 het groepscijfer in. Dit is de score die u als docent toekent voor de kwaliteit van het geleverde groepsproduct. Het maximumcijfer dat behaald kan worden heeft u normaal gezien al eerder ingevuld in cel H3. Indien alle peer-assessment-scores reeds ingevoerd zijn (zie stap 6) *, zal het individuele cijfer van elke student automatisch berekend worden. Dit individuele cijfer vindt u terug op het Groepsoverzicht totaal, en ook op de individuele scoreformulieren student (1) t/m student (15). *Indien gewenst: aanpassing van de peer-assessment-scores per student Indien u ervoor kiest om een eerste (tussentijdse) peer-assessment-beurt louter formatief te gebruiken, met de bedoeling studenten feedback te geven over hun groepsfunctioneren en hen de kans te bieden hieruit te leren, kan u op het eind van het groepswerk een tweede peer-assessment-beurt inbouwen met summatieve doeleinden. In dat geval beïnvloeden enkel de resultaten van deze tweede peer-assessment het uiteindelijke individuele cijfer. Terwijl u voor de eerste peer-assessment-beurt stopt bij stap 7, doorloopt u voor de tweede peerassessment-beurt dan opnieuw alle nodige stappen, inclusief deze achtste stap. Afdrukken van het groepsoverzicht Klik met de muis onderaan het scherm op de tab van het werkblad Groepsoverzicht totaal. Maak een afdruk van het geselecteerde werkblad via de menu-opties Bestand, Afdrukken. Indien u dit wenst, kan u ook de individuele scoreformulieren per student afdrukken. Het is echter niet de bedoeling dat deze aan de studenten worden doorgegeven, omdat hiermee de anonimiteit van de beoordeling in het gedrang komt. Bespreek de resultaten met de studenten. Laat de medestudenten eventuele adviezen voor verbetering formuleren voor studenten die minder goed werden beoordeeld. Gebruiksaanwijzing PASI Gielen, Struyven, Dochy & Beijer,

6 Referenties Birenbaum, M.& Dochy, F. (1996). Alternatives in assessment of achievements, learning processes and prior knowledge. Boston: Kluwer Academic Dochy, F. (1999). Instructietechnologie en innovatie van probleemoplossen: over constructiegericht academisch onderwijs. Utrecht: Lemma. Dochy, F. & de Rijke, T.R. (Red.). (1995). Assessment centers: Nieuwe toepassingen in opleiding, onderwijs en HRM. Utrecht: Lemma. Dochy, F., Heylen, L., & Van de Mosselaer, H. (2000). Coöperatief leren in een krachtige leeromgeving: Handboek probleemgestuurd leren in de praktijk. Leuven: Acco. Dochy, F., Heylen, L., & Van de Mosselaer, H. (Eds.). (2002). Assessment in onderwijs. Nieuwe toetsvormen en examinering in studentgericht onderwijs en competentiegericht onderwijs. Utrecht: Lemma. Dochy, F. & Mc Dowell, L. (1997). Assessment as a tool for learning. Studies in Educational Evaluation, 23, Dochy, F., & Moerkerke, G. (1997). The present, the past and the future of achievement testing and performance assessment. International Journal of Educational Research, 27, Dochy, F., Segers, M. & Sluijsmans, D. (1999). The use of self-, peer- and co-assessment in higher education: A review. Studies in Higher Education, 24, Hall, K. (1995). Co-assessment: participation of students with staff in the assessment process. A report of Work in Progress. Invited Paper at the Second European Electronic Conference on Assessment and Evaluation, February 6-10, EARLI-AE list European Academic & Research Network (EARN) (EARLI-AE list on Listserv@nic.surfnet.nl). Sambell, K., McDowell, L. & Brown, S. (1997). "But is it fair?": An exploratory study of student perceptions of the consequential validity of assessment. Studies in Educational Evaluation, 23, Segers, M., Dochy, F., & Cascallar, E. (Eds.). (2003). Optimising new modes of assessment: In search for qualities and standards. Dordrecht: Kluwer Academic. Topping, K. (1998). Peer-assessment between students in colleges and universities. Review of Educational Research, 86, Zie ook verder de publicaties van David Boud, Dominique Sluijsmans, Mien Segers, Sabine Dierick. Gebruiksaanwijzing PASI Gielen, Struyven, Dochy & Beijer,