Beoordelen (van open evaluatieactiviteiten)

Transcriptie

1 Beoordelen (van open evaluatieactiviteiten) Beoordelen is de fase waarbij de evaluator effectief een oordeel (waarde of score) toekent. Open evaluatievormen zijn alle evaluatieactiviteiten waarbij een student zelf een antwoord formuleert (mondeling of schriftelijk), een opdracht uitvoert, iets doet, Open evaluatieactiviteiten moeten altijd geïnterpreteerd worden door een menselijke beoordelaar. Hierdoor kunnen persoonlijke kenmerken van de beoordelaar een rol spelen. Ben je eerder streng of eerder mild? Ben je eerder een compromisfiguur? Neem je ook wel eens extremere standpunten in? Ben je nauwkeurig of eerder synthetisch? Heb je bepaalde stokpaardjes? Wees je bewust van de mogelijke impact hiervan op het eindcijfer van de student. In functie van een valide, betrouwbare en transparante beoordeling, moet je bepaalde keuzes maken. Daarnaast kunnen beoordelingsinstrumenten of richtlijnen het beoordelingsproces ondersteunen. In deze fiche over beoordelen gaan we dieper in op: - Analytisch of globaal beoordelen - Opstellen van een beoordelingsmodel - Formuleren van beoordelingscriteria - Richtlijnen voor het beoordelingsproces - Effectief het oordeel vellen in scores/waardes Kader Toetsfase Kwaliteitscriterium Toetsvormen Beoordelen Validiteit / betrouwbaarheid/ transparantie Alle toetsvormen Analytisch/ globaal beoordelen Een eerste keuze is deze voor analytisch en/of globaal beoordelen. Bij analytisch beoordelen worden verschillende deelscores op verschillende deelaspecten gegeven. Bij globaal beoordelen geeft de evaluator één algemeen oordeel over de kwaliteit van de evaluatieactiviteit. OOF-project Toetskoffer: startbagage voor toetscommissies

2 Globale beoordeling Pro - het geheel is meer dan de delen of een optelsom van verschillende deelaspecten. - globale beoordeling maakt het mogelijk om ook leerdoelen/ competenties/ leerresultaten te waarderen die niet meteen verwacht werden, maar die de student op een hoger niveau tillen vb. innovatie, creativiteit, ondernemerschap, - geringe tijdsinvestering Contra - grote invloed van de persoon van de beoordelaar (subjectief) - duur omdat je om de betrouwbaarheid te verhogen best meerdere beoordelaars inschakelt. Anders ben je te sterk afhankelijk van het perspectief van één beoordelaar. - kans op weinig concrete feedback voor studenten - kans op minder houvast om zijn verder leerproces te sturen Analytisch beoordelen Pro - past bij het beoordelen van complexe leerdoelen/ competenties/ leerresultaten - transparanter voor betrokkenen en concrete feedback voor studenten - meer betrouwbare beoordeling - geeft studenten gedetailleerde feedback - past bij een onderwijsaanpak waarin complexe leerdoelen stapsgewijs worden aangeleerd. Contra - arbeidsintensief - het geheel is meer dan de delen Neem naast deze pro en contra bij de keuze voor globaal of analytisch beoordelen ook enkele algemene vuistregels mee. In de ideale wereld streef je naar het beste van zowel analytisch als globaal beoordelen. Of streef je naar een mengvorm. Een voorbeeld van een mengvorm is de beoordeling van algemenere aspecten geïllustreerd met concrete beoordelingscriteria die het gewenste niveau omschrijven. De evaluator beoordeelt enkel de algemenere aspecten aan de hand van de concrete beoordelingscriteria. Als je de kwaliteit op één dimensie kan uitdrukken, volstaat globaal beoordelen. Houd rekening met het doel van je toets. Wil je studenten vertrouwd maken met de kwaliteitseisen, hun gerichte feedback geven over sterke en minder sterke punten, dan is analytische beoordelen meer aangewezen. Analytisch of globaal beoordelen is geen zwart-wit verhaal. In de praktijk wordt dan ook meestal een mengvorm tussen globaal en analytisch beoordelen gebruikt. Soms is een prestatie van een student zo duidelijk goed of minder goed, dat een verdere analytische beoordeling niet nodig is. OOF-project Toetskoffer: startbagage voor toetscommissies

3 Opstellen van een beoordelingsmodel De keuze voor analytisch of globaal beoordelen heeft gevolgen voor het beoordelingsmodel (zie verder stap 1). In een beoordelingsmodel, ook wel antwoordsleutel, correctievoorschrift genoemd, bepaal je hoe de beoordeling gebeurt. Een beoordelingsmodel moet valide zijn, transparant en praktisch bruikbaar voor de student of externen en bijdragen aan de betrouwbaarheid van de evaluatie. Een goed beoordelingsmodel is een hulpmiddel bij de beoordeling. Houd daarom de volgende tips in het achterhoofd bij het maken van een beoordelingsmodel. Test je beoordelingsmodel uit bij collega s in het licht van eenduidig gebruik ervan. Gebruik echte voorbeelden van studenten bij het opstellen van een beoordelingsmodel (vb. minder sterke, grensstudenten en sterke studenten) of vorm je een zo goed mogelijk beeld van de sterke, de grensstudent en de sterke student. Bij het maken van een beoordelingsmodel zijn 2 stappen essentieel: het bepalen van welke de aspecten zijn die je beoordeelt en de niveaus (schaal) waarop je beoordeelt. 1. Structureer je beoordelingsmodel in beoordelingsaspecten Structureer je beoordelingsmodel op basis van je beoogde leerresultaten/ competenties/ leerdoelen in gepaste beoordelingsaspecten of categorieën. Een categorie staat voor die inhoudelijke beoordelingsaspecten waar je de student op wil beoordelen vb. taalvaardigheid, zelfreflectie, beheersing van kennis(inhouden) of vaardigheden, analyse, correcte berekening, Neem enkel de relevante categorieën op. Cluster de categorieën die elkaar overlappen. Het is mogelijk dat bepaalde categorieën belangrijker zijn dan andere. Je kan dan bepaalde categorieën meer gewicht geven dan andere. Maak dit duidelijk op het beoordelingsmodel. 2. Structureer je beoordelingsmodel in niveaus (schaalpunten). Voor elke categorie bepaal je vervolgens: Hoe goed is voldoende? Dit niveau (het cesuurniveau) is een essentieel niveau: het verschil tussen onvolodoende en voldoende per beoordelingsaspect of rubriek. Neem bij de keuze van het aantal niveaus de volgende tips in overweging. Laat het aantal beoordelingsniveaus afhangen van de complexiteit van de te beoordelen leerresultaten/ competenties/ leerdoelen en het doel van de evaluatie. Hoe meer schaalpunten, hoe meer gedetailleerde feedback je kan geven. Hoe minder schaalpunten, hoe meer tijd het vergt. Een algemene richtlijn is minimaal vier en maximaal zeven schaalpunten. Zorg dat je bij elk niveau/ schaalpunt echt een relevant aspect van de te beoordelen moeilijkheidsgraad toetst: elk niveau staat voor een relevant ankerpunt. Het even of oneven aantal schaalpunten bij toetsen is een eeuwig dilemma. Bij schalen met een oneven aantal punten neigen beoordelaars naar het middenpunt. Bij even schaalpunten kan de verleiding groot worden om milder te beoordelen. Kies het aantal schaalpunten in functie van de relevantie ervan en de variatie in studentprestaties. Probeer de tendens naar het midden bij even schaalpunten te vermijden door schaalpunten te kiezen die voldoende gespreid zijn. Je kan je beoordelingsmodel structureren in rubrieken. Een rubriek bestaat uit een reeks van categorieën die de opeenvolgende beheersingsgraad of het niveau van de student OOF-project Toetskoffer: startbagage voor toetscommissies

4 beschrijven in beoordelingscriteria. Onderstaande rubriek is een voorbeeld van een rubriek voor de competentie: samenwerken. Voorbeeldrubriek Criteria (Deel)competentie (leerdoel): samenwerken Luisteren naar de inbreng van anderen Omgaan met kritiek Participeren in groepswerk (notulant, voorzitter, organisator, ) Afspraken nakomen Moet beter luistert niet naar de inbreng van medestudenten. is met andere dingen bezig of laat anderen niet uitspreken. past zelden zijn gedrag of werk aan als kritiek hierop terecht is. Hij wordt boos of onverschillig. voert één taak of rol uit die bij groepswerk past. Dat lukt soms wel en soms niet. komt afspraken niet na. (net) onvoldoende hoort wat de anderen zeggen maar toont in zijn reactie niet dat hij ook echt geluisterd heeft. past schoorvoetend zijn gedrag of werk aan als kritiek hierop terecht is. Hij voelt zich persoonlijk aangevallen. kan een beperkt aantal rollen bij groepswerk uitvoeren. Dat lukt soms wel, soms niet. moet aan afspraken herinnerd worden. (net) voldoende luistert naar medestudenten en reageert op wat andere studenten zeggen. past zijn gedrag of werk aan als kritiek hierop terecht is. Hij voelt zich wel soms nog persoonlijk aangevallen. kan die rollen die hem het best liggen uitvoeren. komt bijna alle afspraken na, op één of twee uitzonderingen na. verantwoordt waarom niet. Goed- heel goed luistert aandachtig naar medestudenten en speelt hierop in. past gedrag of werk aan als kritiek terecht is. Hij voelt zich niet als persoon aangevallen. kan alle taken en rollen die bij groepswerk horen uitvoeren. komt de gemaakte afspraken na. B E O O R D E L I N G Je kan zoals in onderstaand voorbeeld je beoordelingsmodel ook structureren per categorie door enkel het minimaal te behalen beheersingsniveau te beschrijven. Dit is een voorbeeld van een combinatie van globaal en analytisch beoordelen. De evaluator beoordeelt enkel het hoogste niveau (samenwerken) op basis van een aandachtslijstje van beoordelingscriteria. Bijvoorbeeld. OOF-project Toetskoffer: startbagage voor toetscommissies

5 Samenwerken - luistert naar medestudenten en reageert op wat andere studenten zeggen. - past zijn gedrag of werk aan als kritiek hierop terecht is. Hij voelt zich wel soms nog persoonlijk aangevallen. - kan die rollen die hem het best liggen uitvoeren. - komt bijna alle afspraken na, op één of twee uitzonderingen na. kan op vraag een relevante verantwoording geven waarom niet. Formuleren van beoordelingscriteria Omschrijf de niveaus of schaalpunten van je beoordelingsmodel. Dit zijn concrete beoordelingscriteria op basis van je beoogde leerresultaten/ competenties/ leerdoelen op het gewenste niveau. Als deze criteria waarneembaar zijn in concreet gedrag, spreekt men van gedragsindicatoren. Neem de volgende aandachtspunten mee bij het formuleren van beoordelingscriteria/ gedragsindicatoren. Maak gebruik van effectieve prestaties van studenten (sterke, de grens (net (on)voldoende student), minder sterke studenten) bij de omschrijving van je beoordelingscriteria. Streef naar duidelijke en heldere beoordelingscriteria die de beoordelaar houvast geven. Denk na wat je tegen een collega, de student, externen zou zeggen als je de beoordeling van een minder sterke, net (on)voldoende, sterke student zou moeten verantwoorden. Concretiseer je verwachtingen in heldere beoordelingscriteria. Wat verwacht je net wel van de student? In je beoordelingscriteria concretiseer je (minimaal) dit cesuur niveau. Concretiseer in je beoordelingscriteria wat je van de student verwacht aan de hand van alle relevante niveaudescriptoren: - de beoogde kennis, vaardigheden, attitudes of competenties; - professionele identiteit en talenten; - context (vertrouwde of onverwachte situaties, complexiteit van de situatie naar aantal interactiepartners, tijd, locatie, impact, ); - autonomie (afhankelijk van de docent/ mentor versus zelfsturend); - verantwoordelijkheid (weinig of alle eindverantwoordelijkheid); Op de website vind je terug welk niveau aan het einde van een opleiding verwacht wordt. Vermijd globale termen als bijna altijd, meestal, zelden, soms. Deze termen zijn voor interpretatie vatbaar en geven de studenten weinig feedback. Als je het gevoel hebt dat je vakjes aan het invullen bent, zijn je gekozen categorieën of schaalpunten misschien toch niet zo relevant? Herbekijk deze indien nodig. Laat je beoordelingscriteria feedbacken door studenten, collega s, werkveld, in een vroeg stadium. Ze zullen je snel helpen identificeren welke criteria nog moeten verhelderd of verduidelijkt worden. Timmer je beoordelingscriteria niet dicht! Laat ruimte voor talenten van studenten of contexten die je niet kan voorzien. Zijn je beoordelingscriteria flexibel genoeg is om die studenten te waarderen die niet meteen aan jouw idee van verwachtingen voldoen? Studenten die goed zijn vanuit een perspectief dat je niet had voorzien? Dit moet kunnen gewaardeerd worden. Kortom, is je model flexibel genoeg in functie van de complexe en onvoorspelbare context in het werkveld? De omschrijving van de beoordelingscriteria kan meer of minder gedetailleerd zijn. Hoe gedetailleerder, hoe meer steun de beoordelaar heeft en hoe minder de beoordelingen door OOF-project Toetskoffer: startbagage voor toetscommissies

6 verschillende docenten zullen verschillen. Te veel detail maakt de beoordeling echter nodeloos complex en niet transparant. Zoek daarom een evenwicht tussen voldoende houvast enerzijds en transparantie en eenvoud anderzijds. Stem de mate van detaillering ook af op wat studenten aankunnen. Een goede schaal is meer dan een middel om te beoordelen maar schept duidelijke verwachtingen en een gemeenschappelijk kader voor beoordeling en kwaliteitsborging. Overweeg om de beoordelingscriteria te illustreren met concrete voorbeelden van studenten. Richtlijnen voor het beoordelingsproces Zorg dat het voor jouzelf als beoordelaar of voor andere beoordelaars duidelijk is wat er verwacht wordt. Wat bij echte twijfelgevallen? Hoe worden de beoordelingn gegeven bij meerdere beoordelaars? Bv. eerst afzonderlijk beoordelen, daarna in gezamenlijk overleg tot overeenstemming? Effectief beoordelen: vel het oordeel Beoordelingsinstrumenten of richtlijnen zijn slechts een middel in functie van het effectief beoordelen zelf. Beoordelen treft het hart van evalueren. Op dit moment wordt immers effectief een oordeel ( score of waarde) toegekend. Neem bij het beoordelen volgende suggesties in overweging. Neem voldoende tijd voor de beoordeling. Het beoordelen van beoordelingscriteria op basis van de opgegeven categorieën is niet voldoende. Geef per evaluatiecriterium ook een verantwoording ( Hoe heb je dat concreet vastgesteld? ): wat de student schrijft, zegt, doet, zich gedraagt, is, De link tussen de beoordelingscriteria, de verantwoording en de uiteindelijke beoordeling moet duidelijk zijn. Streef naar een verantwoording die direct inspeelt op de categorie. Geef een oordeel dat een gevolg is van de verantwoording. Beoordeel schriftelijke evaluaties bij voorkeur per vraag of per opdracht en niet per student. Beoordeel indien mogelijk anoniem of laat je niet beïnvloeden door voorgaande prestaties. Schakel indien mogelijk een tweede beoordelaar in. Het is niet realistisch om altijd twee beoordelaars in te schakelen, maar overweeg om dit in te bouwen bij globale beoordeling, voor evaluatieactiviteiten die erg belangrijk zijn, voor de grijze zone van twijfelgevallen, Ga vooral af op je eigen beoordeling en op de feiten en wees voorzichtig met wat je van anderen in de wandelgangen over de student gehoord hebt. Wees je bewust van je eigen humeur en vooroordelen bij het beoordelen. Deze mogen de beoordeling niet beïnvloeden. Wees je bewust van beoordelaarseffecten bij mondelinge of performance (doe-) evaluatieactiviteiten. Eerste indrukseffect Na de eerste seconden wordt al een beslissing genomen op basis van een eerste indruk. De rest van de evaluatie dient enkel om deze beslissing te motiveren. Halo- effect OOF-project Toetskoffer: startbagage voor toetscommissies

7 Een bepaalde kenmerk van een student of van een toets of evaluatie worden overbelicht (halo = stralenkrans). Eén kenmerk straalt af op het presteren van de student bv. op basis van een ordelijk en mooi gepresenteerd portfolio of het handschrift van de student, beoordeelt de beoordelaar alle beoordelingscriteria positief. Beoordelingsfouten door sympathie, gelijkenis of associatie Bij gelijkenis of sympathie wordt positiever beoordeeld dan bij verschil of antipathie. Contrasteffect Voorafgaande beoordelingen beïnvloeden navolgende. Na een reeks slechte werkstukken ervaar je een redelijk product als een verademing. Maar na een reeks goede is hetzelfde product teleurstellend. In het ene geval is de beoordeling te laag, in het andere te hoog. De analytische beoordelingen die een evaluator toekent, krijgt pas betekenis als die wordt afgezet tegen een kritische eindscore, de cesuur genoemd. De cesuur is de beslisregel die bepaalt hoe de verschillende scores in relatie tot het eindcijfer. Voor meer info, zie fiche cesuur. Tips en tricks Leer uit je eigen fouten. Geen enkel beoordelingsmodel is meteen perfect. Beoordelingscriteria evolueren met de toepassing en het gebruik ervan. Eens het beoordelingsmodel ontwikkeld is, moet je het nog uittesten en op basis van de bevindingen bijstellen. Je kan ontdekken dat de beoordelingscriteria te breed zijn of juist te eng. Je kan ontdekken dat je bepaalde omschrijvingen toch maar beter kan verwijderen of dat je toch nog een belangrijk beoordelingscriterium over het hoofd hebt gezien. Of dat het beoordelingsmodel eigenlijk niet datgene vastgrijpt wat je eigenlijk wil waarderen. Een goed beoordelingsmodel kan niet alleen een handig hulpmiddel zijn bij het beoordelen maar ook een krachtig leermiddel: een duidelijk kader waar de student zijn leerproces aan kan vasthangen. Wanneer beoordelingscriteria in overleg en samenspraak met de studenten bepaald worden, weten ze meteen goed wat er van hen verwacht wordt. Om als docent goed inzicht te krijgen in de kwaliteit van je toets en het beoordelingsmodel kan je de evaluatieactiviteit blind laten beoordelen door collega s en studenten. Bezorg hen in eerste instantie niet de correcte antwoorden/ het beoordelingsmodel. Pas je toets en beoordelingsmodel aan in functie van de feedback van de blinde beoordelaars. Gebruik digitale tools om het beoordelingsproces te optimaliseren. Via Toledo Rubrics kan je bij voorbeeld rubrieken opstellen en beschrijven, deelscores t en gewichten toekennen. De beoordeling van competenties, attitudes, de professionele identiteit, is complex en moeilijk in waterdichte cijfers te vatten. Het gaat erom een zo correct mogelijk beeld te OOF-project Toetskoffer: startbagage voor toetscommissies

8 vormen over de student op basis van de uitgewisselde informatie. Daar bestaat helaas geen 100% objectiviteit. Streef daarom naar zo veel mogelijk intersubjectiviteit. Meer weten en doen? Berkel, H. v. (2013). Het nakijken van open vragen. Examens, 37. Erkens, T. Toetsen met open vragen. In:' Berkel, H. van & Bax, A. Toetsen in het hoger onderwijs' Houten: Bohn Stafleu Van Loghum, 2006 (ISBN ). OOF-project Toetskoffer: startbagage voor toetscommissies