Renske de Kleijn Module RUBRICS EMP OWK/PED 11-12 1. Theorie Vorm: Wat is een rubric? Een rubric bestaat altijd uit twee elementen: 1. Criteria waarop een prestatie beoordeeld wordt (figuur 1 eerste kolom) 2. Verschillende levels/niveaus waarop deze criteria zijn beschreven (figuur 1 tweede t/m zesde kolom). Een rubric kan varieren in specificiteit. Zo kan een rubric enerzijds geformuleerd zijn voor één specifieke opdracht of cursus, maar ook op een algemener niveau zodat die gebruikt kan worden over verschillende cursussen of bijvoorbeeld een hele opleiding. Daarnaast kan een rubric holistisch of analytisch gebruikt worden. Bij een holistische aanpak geeft de beoordelaar een overall beoordeling op basis van de rubric. Bij een analytische aanpak wordt ieder criterium gescoord en wordt op basis daarvan een eindbeoordeling gegeven. Doel: Waarom zou je een rubric gebruiken? - De meest genoemde reden om een rubric in te zetten is om consistentie aan te creëren tussen beoordelingen, wanneer prestaties door verschillende beoordelaars worden beoordeeld. - Daarnaast maakt een rubric ook voor studenten duidelijk wat er van hen verwacht wordt en wat einddoel is waar ze naar toe moeten (de meest rechtse kolom). Hiermee vervuld het een feed up functie (zie ook filmpje feedback). - Ook zou het gebruik van een rubric tijd kunnen besparen bij het geven van feed back aan studenten, omdat het handvatten biedt om specifiek aan studenten aan te geven waar zij staan en wordt het op basis daarvan makkelijker om feed forward te geven. - Wanneer een rubric cursus- of vakoverstijgend is, kan daarmee voor zowel docenten als studenten inzichtelijk worden gemaakt hoe hun ontwikkeling door het hele curriculum is, naast hun ontwikkeling binnen cursussen of vakken. - Daarnaast kan het gebruiken van een vakoverstijgende rubric indicaties geven aan welke onderdelen van het curriculum meer aandacht besteed zou moeten/kunnen worden, wanneer studenten op bepaalde onderdelen systematisch laag scoren. - Tenslotte kan een rubric een hulpmiddel zijn om op een onderbouwde en transparante manier tot een oordeel te komen over de prestatie van studenten. Betrouwbaarheid: Hoe borg je de betrouwbaarheid van een rubric? Verschillende onderzoeksresultaten laten zien dat het gebruiken van een rubric kan helpen bij het vergroten van de betrouwbaarheid van beoordelingen (zie ook filmpje betrouwbaarheid), maar dat dit niet automatisch het geval is. Een aantal richtlijnen om de betrouwbaarheid van beoordelingen te vergroten door een rubric in te zetten zijn: - Zorg dat het aantal niveaus dat per criterium wordt gebruikt, daadwerkelijk onderscheidbare niveaus zijn. Hoe meer niveaus er opgenomen worden, hoe meer discutabel het onderscheid tussen de niveaus wordt (Stellmack et al., 2009). - Verzorg een training voor hen die met de rubric gaan werken (docenten of studenten), zodat ze de criteria en bijbehorende levels leren gebruiken en daarover met elkaar in gesprek gaan (o.a. Jonsson, 2007). - Voeg aan de rubric ook een aantal voorbeelden toe van toepassingen van de rubric in de vorm van uitgewerkte voorbeelden. Dit geeft de mensen die met de rubric gaan werken een startkader voor hoe de rubric toegepast wordt (Jonsson, 2007). - Kies voor een analytische benadering, waarbij studenten gescoord worden op ieder criterium (Jonsson, 2007). - Zorg dat de rubric domeinspecifiek is. Probeer dus niet te streven naar een rubric die in verschillende domeinen toepasbaar is (Jonsson, 2007). D/1
Validiteit: Hoe borg je de validiteit van een rubric? Het vaststellen van de validiteit van een rubric is complexer dan het vaststellen van de betrouwbaarheid. Bovendien zijn er verschillende vormen van validiteit die bekeken kunnen worden (zie filmpje validiteit). Onderzoeksbevindingen laten zien dat de meest voor de hand liggende manier om de validiteit van een rubric te bepalen is: te kijken naar het taalgebruik en uiteraard de inhoud van de rubric. - Om de inhoudsvaliditeit van een rubric te waarborgen, is het van belang om de cellen van een rubric (zowel de criteria als de niveaubeschrijvingen) op een onderbouwde manier te vullen. In het ideale geval wordt deze inhoud gebaseerd op wat we weten (praktijkkennis of bevindingen uit wetenschappelijk onderzoek) over hoe studenten een bepaalde vaardigheid of competentie ontwikkelen. Daarmee kan dan onderbouwd worden waarom bepaalde niveaus onderscheiden worden. - Om vervolgens de face validity (gezichtsvaliditeit) van een rubric te waarborgen, kan deze voorgelegd worden aan experts, docenten, studenten of andere stakeholders die niet bij de ontwikkeling betrokken zijn geweest, met de vraag of de rubric volgens hen de beoogde vaardigheid of competentie voldoende dekt. Docent: Wat zijn ervaringen van docenten? Uit wetenschappelijk onderzoek weten we dat docenten het gebruik van een rubric op verschillende manieren kunnen ervaren. Positieve ervaringen zijn dat het gebruiken van een rubric docenten meer het gevoel geeft dat ze objectieve beoordelingen geven en dat daardoor beoordelingen van verschillende docenten beter vergelijkbaar zijn. Toch kan het inzetten van een rubric ook weerstand oproepen. Meestal hangt die weerstand samen met de overtuiging dat het gebruiken van een rubric meer tijd kost dan het beoordelen op de reeds bestaande manier en/of dat docenten het niet eens zijn met wat er in de rubric staat en het gevoel hebben dat ze daarmee geen valide oordeel kunnen geven over de prestatie van een student (zie ook validiteit). Student: Wat zijn ervaringen van studenten? Studenten geven aan dat zij het gebruik van een rubric zien als een belangrijke meerwaarde. Zij geven aan dat het hen helpt bij het monitoren en plannen van hun werk, het reflecteren op hun eigen prestatie en het geven en ontvangen van feedback. Daarnaast hebben zij het gevoel beter te presteren wanneer een rubric wordt ingezet. Sommige onderzoeksresultaten suggereren dat het inzetten van een rubric bijdraagt aan betere prestaties van studenten en dieper leren. Wel is daarbij van belang dat de rubric tijdig beschikbaar is, dat wil zeggen vóórdat studenten iets moeten inleveren of laten zien. Op die manier kan de rubric een stukje extra sturing geven in wat er van studenten verwacht wordt en waar ze dus nog aan moeten werken. Bij voorkeur krijgen studenten tijdens een cursus de mogelijkheid om de rubric mee zelf te ontwikkelen of om deze al een keer toe te passen op bijv. een eigen prestatie of een peer prestatie zodat ze echt in de vingers krijgen hoe de criteria en de verschillende levels er in de dagelijkse praktijk uit zien. Referenties Crotwell Timmerman, B.E, Strickland, D.C., Johnson, R.L., & Payne, J.R. (2011). Development of a universal rubric for assessing undergraduates' scientific reasoning skills using scientific writing. Assessment & Evaluation in Higher Education, 36(5), 509-547. Jonsson, A., & Svingby, G. (2007). The use of scoring rubrics: reliability, validity and educational consequences. Educational Research Review, 2, 130 144. Reddy, Y.M., & Andrade, H. (2010). A review of rubric use in higher education. Assessment & Evaluation in Higher Education, 35(4), 435-448. Stellmack, M.A., Konheim-Kalkstein, Y.L., Manor, J.E., Massey, A.R., & Schmitz, J.A.P. (2009). An assessment of reliability and validity of a rubric for grading APA-style introductions. Teaching of Psychology, 36, 102-107. D/2
Tractenberg, R.E., Umans, J.G., & McCarter, R.J. (2010). A Mastery Rubric: guiding curriculum design, admissions and development of course objectives. Assessment & Evaluation in Higher Education, 35(1), 15-32. D/3
FIGUUR 1 D/4
2. Checklist 1) Baken af voor welke vaardigheid/competentie de rubric ontwikkeld gaat worden 2) Bepaal of de rubric cursusspecifiek of vakoverstijgend gaat worden 3) Mogelijke bronnen om een rubric te maken: - Literatuur: wat weten we al uit onderzoek over hoe studenten zich bepaalde vaardigheden en/of competenties eigen maken en in welke stadia dat leerproces verloopt? Eventueel kan ook een rubric die door anderen is ontwikkeld, als uitgangspunt dienen om aan te passen aan de eigen situatie. Deze manier is vooral top-down wanneer je deze bekijkt vanuit de docenten. - Bestaande criteria: vaak zijn er al beoordelingsformulieren die binnen cursussen gebruikt worden. Deze kunnen ook als uitgangspunt genomen worden om een rubric te formuleren. - Praktijkkennis: hoe zien ervaren docenten de ontwikkeling van studenten door een opleiding heen of binnen een cursus op het gebied van een specifieke vaardigheid of competentie. Door hier met een groep docenten over te praten, wordt de praktijkkennis wat explicieter en kan geprobeerd worden deze in een rubric te beschrijven. Deze manier kan als bottom-up worden gezien. 4) Pilot: voorleggen aan verschillende betrokkenen Leg de een conceptversie van de rubric voor aan verschillende betrokkenen die niet betrokken waren bij het ontwikkelen van de rubric: - Studenten die een betreffende cursus of opleiding al hebben afgerond: herkennen zij de criteria en de opbouw in niveaus? - Studenten die een betreffende cursus of opleiding nog (gaan) volgen: maakt de rubric hen duidelijk wat er van ze verwacht wordt? Begrijpen ze wat er bedoeld wordt in de verschillende cellen? - Docenten die niet mee hebben ontwikkeld: zijn ze het eens met de criteria? Missen ze nog iets? Kan er iets uit? Verwachten ze dat de rubric hen zal helpen bij het geven van feedback? - Professionals uit het werkveld: Beschrijft de meest rechtse kolom inderdaad het gewenste niveau voor studenten? Herkennen zij de criteria? 5) Training aan docenten Zorg dat de docenten (en evt. studenten) die met de rubric gaan beoordelen geoefend hebben met het werken met de rubric en nog belangrijker: de kans hebben om hier met elkaar over te praten. 6) Proefdraaien - Bepaal (in het geval van summatieve toetsing) hoe men van een score op de rubric kan komen tot een cijfer (zie ook de module cesuur bepalen). - Zet de rubric in een cursus in om deze uit te testen. Zorg daarbij dat de rubric ook tijdig beschikbaar is voor studenten en dat ze hier al een keer mee kunnen oefenen tijdens de cursus. - Gebruik de rubric bij voorkeur voor zowel peer feedback als docent feedback en als formatief en summatief instrument. - Evalueer na afloop hoe de verschillende betrokkenen het gebruik van de rubric hebben ervaren. - Daarnaast kan de interbeoordelaarsbetrouwbaarheid (zie filmpje betrouwbaarheid) berekend worden om te zien of het gebruik van de rubric consistente beoordelingen bevorderd. - Ook kan in kaart worden gebracht of met behulp van de rubric voldoende gedifferentieerd kan worden tussen verschillende studenten, door te kijken naar de spreiding en de verdeling van de cijfers van studenten. 7.Bijstellen op basis van de eerste proef en evt. docenttraining aanpassen D/5
Hierbij is het van belang de rubric niet te veel als een vastgesteld document te zien, maar als een groeidocument wat in ontwikkeling is en waarbij steeds ruimte is om de rubric verder aan te scherpen en aan te vullen. Op die manier blijft het gesprek over beoordelingen op gang bij zowel docenten als studenten. D/6
3. Doen 1) Studentprestatie beoordelen (a.d.h.v. bestaande rubric) Hieronder staat een onderzoeksplan voor een bachelorthesis van een student onderwijskunde. Deze is aan de hand van onderstaande rubric beoordeeld door een expert docent. - Beoordeel eerst zelf het onderzoeksplan aan de hand van de rubric. - Vergelijk daarna de scores die je gegeven hebt, met die van de expert docent en bekijk in hoeverre jullie dezelfde scores hebben toegekend. Zoek uit welke criteria jullie mogelijk anders geïnterpreteerd hebben. (LINK) Onderzoeksplan (LINK) Lege rubric (LINK) Ingevulde rubric 2) Samen met collega beoordelen (a.d.h.v. bestaande rubrics) - Beoordeel samen met een collega een studentprestatie aan de hand van een rubric. Je kunt daarbij gebruik maken van een van de onderstaande (bestaande) rubrics, voor verschillende studentprestaties. Door samen te beoordelen zul je merken dat het nodig is om af te stemmen wat ieder verstaat onder de verschillende criteria en niveaus van de rubric. - Nadat jullie samen beoordeeld hebben, is het interessant om individueel eenzelfde studentprestatie te beoordelen en na afloop te bekijken in hoeverre jullie dezelfde scores hebben toegekend. Verschillen tussen jullie beoordelingen kunnen weer besproken worden. - Na deze twee beoordelingen kan de afweging gemaakt worden of de gekozen rubric geschikt is om binnen jullie opleiding te gebruiken en wat er evt. aan veranderd zou moeten worden. (LINK) Rubric voor een betoog (Goodrich & Andrade, 2000) (LINK) Rubric voor een reflectieve professional (Leiden,????) (LINK) Rubric voor een geannoteerde literatuurlijst (Reddy & Andrade, 2010) (LINK) Rubric voor klinisch onderzoek (Tractenberg en collega s, 2010) (LINK) Rubric voor verschillende onderdelen van onderzoeksvaardighed (o.a. communicatievaardigheid, samenwerkingsvaardigheid, data-interpretatie, probleem oplossend vermogen; Halonen en collega s, 2003) 3) Zelf een rubric ontwikkelen (met collega s) Aan de hand van de checklist kun je, bij voorkeur samen met een of meerdere collega s, een rubric ontwikkelen voor een onderdeel wat in jullie opleiding qua toetsing extra aandacht behoeft. 4. Good Practice Stukje van 200 woorden - de aanleiding om een rubric te gaan ontwikkelen - hoe de rubric vervolgens is ontwikkeld en waarom op deze manier - eerste gebruikers reacties over de rubric - de stappen die nog gezet moeten gaan worden 1) Bernadette van de Rijt 2) Frans Prins 3) Terzi van Steenbergen (reeds gevraagd) (LINK) Pakket van voorlopige rubrics pedagogiek (LINK) Voorlopige rubric OWK D/7
(LINK) Rubric Terzi D/8