Kwaliteit garanderen in toetsen en beoordelen: een casus Harm Tillema

Transcriptie

1 Kwaliteit garanderen in toetsen en beoordelen: een casus Harm Tillema Een docent Techniek in het Middelbaar Beroeps Onderwijs wil in zijn vak Metaal/Elektro samen met zijn groep studenten een gemaakte werkopdracht evalueren. Hij werkt meestal met groepsopdrachten waarin studenten een soms ingewikkeld ontwerp moeten maken om iets te laten werken. In dit geval ging het om het bouwen van een robothondje dat op batterijen kon lopen en voortbewegen. Hoe beoordeel je nu een opdracht die met meerdere studenten is gemaakt en waarin allerlei vaardigheden om de hoek komen kijken? De docent heeft gekozen voor peer assessment ; d.w.z. leerlingen beoordelen elkaar op een set van checkpunten die hij als docent van te voren heeft gemaakt. Elke leerling beoordeelt afzonderlijk ieder ander lid van de groep waarin is samengewerkt. Op basis van de beoordelingresultaten middels peer assessment beoogt de docent zijn studenten feedback te geven over hun vordering op een aantal vaardigheden. Laten we aan de hand van onderstaand raamwerk (Zie einde tekst) voor het bepalen van de kwaliteit van het beoordelingsproces bezien hoe de docent de toetsing kan beoordelen op kwaliteit. Het raamwerk legt het beoordelingsproces uiteen in een aantal stappen of fasen. Fase 1: De doelen en functie van de beoordeling bepalen De docent in het beroepsonderwijs was zich er goed van bewust dat zijn leerlingen later vaak zullen samen werken met collega s, op de werkvloer en dus niet enkel alleen klussen klaren. In de beoordeling wil hij tot uitdrukking laten komen dat bij het maken van een elektrotechnische installatie er in samenspraak met verschillende technieken wordt gewerkt. De keuze om een werkende robot te maken bood de mogelijkheid om beheersing van verschillende technieken te beoordelingen (verbindingen maken, elektrisch circuit maken, bouwonderdelen selecteren en fabriceren); en daarbij te bezien hoe studenten in groepsverband werken om problemen oplossen.

2 M.a.w. in deze stap is de docent nagegaan welke vaardigheden of competenties onderdeel uit gaan maken van de beoordeling en waarvoor de beoordeling als een praktijktest moet dienen. Fase 2: Afbakenen van de inhoud van de beoordeling In een vervolgstap valt na te gaan wat precies de inhoud en taakopdracht moet zijn die het beste de lading dekt van wat de docent bedoelt. Dit zal vaak nauw samenhangen met het leerprogramma van de groep/klas (zoals neergelegd in het onderwijsprogramma van de school; het curriculum). In dit geval ging het de docent om vaardigheden in Techniek en Metaalbewerking rond Bouwen van Elektrische circuits en Schakelingen. Het maken van een robothondje was een ingeving van de docent (op basis van zijn eigen professionaliteit) omdat met deze opdracht op zo natuurlijke wijze de verschillende vaardigheden konden worden getoetst, en op een geïntegreerde manier. M.a.w. in deze fase bepaalt de docent of toetsontwikkelaar de soort vragen en opdrachten die studenten zullen moeten uitvoeren. Fase 3: De beoordelingseisen en -normen bepalen Wanneer duidelijk is wat de taak en toetsopdracht precies is kan worden nagegaan welke criteria of eisen gesteld kunnen worden aan het eindproduct. Tevoren dient te worden vastgesteld aan welke normen moet worden voldaan wil er sprake zijn van een goed gemaakte opdrachtuitvoering. Omdat er bij deze robot opdracht sprake is van zowel technische als sociale vaardigheden zal de docent verschillende criteria aanleggen; niet alleen de goede werking van het apparaat maar ook de goede werking van de groep M.a.w. de centrale vraag in deze fase van het beoordelingsproces is: Welke criteria spelen een rol bij de beoordeling van de (deel)competenties? Fase 4: Keuze van geschikte beoordelingvormen en -instrument Na de vaststelling van waaraan studenten moeten voldoen, de WAT vraag, is het moment gekomen te kiezen op welke manier studenten de taak of opdracht moeten uitvoeren/maken. Het gaat hier om de keuze voor een geschikte beoordelingvorm. De docent heeft gekozen voor peer assessment waarmee hij grote waarde wil hechten aan de zelfbeoordeling door studenten, als eerst verantwoordelijken voor hun eindproduct. De keuze werd ingegeven door de vorderingen die al waren gemaakt in de lessen. Was het meer bij beginnende studenten geweest dan had hij wellicht gekozen voor docentbeoordeling van individuele opdrachten M.a.w. de essentiële vraag in deze stap van het beoordelingsproces is: wat is een geschikte beoordelingvorm die het meest recht doet aan wat er is geleerd. Fase 5: De scoringsregels opstellen Het moet voor de docent (en in dit geval ook de leerlingen) duidelijk zijn hoe nu precies de opdracht beoordeeld, d.w.z. gescoord, moet worden. Daarbij kan worden teruggegrepen op de eerdere stappen uit het beoordelingsproces, m.n. stap 2: het WAT, de inhoud en stap 3: gestelde eisen bij de opdracht. Het gebruik van een checklist of criteria lijstje of scoringsformulier een belangrijk hulpmiddel, om aan te geven waarop gelet moet worden in de scoring. De vaardigheden (competenties, zoals solderen, samenwerken, werking van de robot, etcetera) worden nader benoemd om met name in deze stap een waarde(rings)schaal aan de vaardigheden te verbinden (bijvoorbeeld, in cijfers of met woorden) die oplopen in de mate van waardering.

3 M.a.w. in deze stap wordt bepaald: Hoe worden de prestaties gewaardeerd? Zijn de scoringsregels en -procedures voor iedereen duidelijk? Fase 6: Beslissen over het behaalde (prestatie) niveau (cijfer) Vaak moet het resultaat uit het scoringsformulier (zie vorige stap) worden samengenomen in een geïntegreerd eindcijfer als de combinatie van velerlei afwegingen. De docent zal moeten beargumenteren wat zwaar weegt en hoe de totaalbeoordeling tot stand komt (wat heeft welk gewicht gekregen). De docent betrekt daarbij vaak een overweging hoever de groep zou moeten zijn gevorderd, gelet op het onderwijsprogramma en wat de leerlingen reeds eerder hebben gehad M.a.w. in deze fase van het beoordelen is er aandacht voor de beoordeling van de bereikte resultaten in relatie tot de doelstellingen. En ook: Wat zegt een score uiteindelijk over het competentieniveau van een student? Fase 7: Feedback, ondersteuning en richtlijnen geven aan studenten In de laatste stap geeft de docent feedback aan de leerlingen over de beoordeling. Hierbij bespreekt de docent het gemaakte werk en de behaalde prestaties van de student. Er zal aandacht zijn voor wat de sterke en zwakke punten zijn en suggesties om toekomstige prestaties te verbeteren. M.a.w. in deze fase is het van belang om op basis van de gegeven antwoorden en reacties van de leerling te komen tot een afgewogen en hulpbiedend commentaar bij verdere stappen in het leerproces? Verbinden van kwaliteitscriteria met de stappen in het beoordelingsproces: een raamwerk De centrale vraag bij het beoordelen van de kwaliteit van een beoordeling is nu: hoe kunnen we verzekeren dat we een getrouw en authentiek beeld geven van wat de leerling kan? Voor dit doel worden kwaliteitscriteria of overwegingen gekoppeld aan elk van de fasen in het beoordelingsproces In het bijgeleverde raamwerk (figuur 1) zijn de relevante kwaliteitscriteria benoemd die passen bij verschillende stappen in het beoordelingproces. Het raamwerk kan dienst doen om de kwaliteit van het beoordelingsproces te bewaken, als hulpmiddel voor docenten bij het opstelen en afnemen van toetsen en beoordelen. De kwaliteitscriteria hebben we gegroepeerd onder drie clusters Criteria met betrekkin tot het WAT, de inhoud van de beoordeling Criteria met betrekking tot de HOE; de afname van de beoordeling Criteria met betrekking tot de GEVOLG; de consequenties die de beoordeling heeft. 1. Criteria m.b.t. WAT Eigenlijk is het meest bepalend voor de kwaliteit van een beoordeling de mate waarin deze op een authentieke manier de verrichtingen van een leerling meet. Dit brede begrip komen we onder veel gedaanten tegen, nl als: Betekenisvol (meaningfulness): dit kwaliteitscriterium verwijst naar het belang of de relevantie van de beoordelingopdracht. Sluit de beoordeling aan bij de leerstof waaraan de leerlingen hebben gewerkt; is het een zinvolle opdracht waaraan gewerkt kan worden?

4 Kwaliteitscriteria I WAT DOEL- BEPALING TAAKAFBA -KENING Dekkend NORM- STELLING BEOORDELIN GVORM Dekkend SCORING BESLIS- SEN FEED- BACK Betekenisvol Betekenisvol Betekenisvol Betekenisvol Betekenisvol Betekenisvol Uitdagend Uitdagend II Helder Helder Helder Helder Helder Helder Helder HOE Eerlijk Eerlijk Eerlijk Eerlijk Eerlijk III Vergelijkbaarheid Herhaalbaarheid GEVO LG Invloedrijk Invloedrijk Invloedrijk Invloedrijk Figuur 1. Framework van kwaliteitscriteria behorend bij de verschillende fasen in het beoordelingsproces. Dekkend (representiveness): dit kwaliteitscriterium wil verzekeren dat de beoordeling een goede afspiegeling is van alle onderdelen die aan de orde zijn geweest in het leerprogramma dat de leerlingen hebben gevolgd. Uitdagend (cognitive complexity): dit kwaliteitscriterium wil verzekeren dat de beoordeling de leerlingen aanspoort en stimuleert om hun best te doen, m.a.w. het moet niet (te) makkelijk zijn of routineus om de opdracht of beoordelingtaak te maken. 2. Criteria m.b.t. het HOE Van groot belang in de afname van een toets is dat deze voor de leerlingen doenlijk is. Deze vage aanduiding wordt vertaald in twee specifieke kwaliteitscriteria: Transparantie: Hiermee wordt gedoeld op de helderheid en duidelijkheid voor de leerlingen over wat de beoordeling behelst, d.i. wat er precies gedaan moet worden; wat er precies geëist wordt. Eerlijkheid (fairness): met dit kwaliteitscriterium wordt bedoeld dat de beoordeling niet discriminerend naar achtergrond, leerervaring, posities van de leerling. mag zijn. M.a.w. er mogen geen andere motieven meespelen in de beoordeling dan het leergedrag van de leerling. 3. Criteria m.b.t. de GEVOLGEN Natuurlijk heeft een beoordeling voor de student gevolgen: mag je verder, moet het over, krijg je een voldoende, krijg je nog een aanvullende opdracht? Invloedrijk (educational consequences): Dit kwaliteitscriterium verwijst direct naar het belang dat de beoordeling heeft voor de leerling. Wat betekent het als de beoordeling met goed gevolg is afgelegd.?

5 Vergelijkbaarheid (comparability): Dit kwaliteitscriterium vraagt aandacht voor de geschiktheid van de beoordeling om een goed beeld te geven van wat de leerling kan. Herhaalbaarheid (reproducability): Een beoordeling is een momentopname, maar het moet wel een goede d.w.z. correcte weergave geven en dus bij een eventuele herhaalde afname sterk genoeg zijn om een betrouwbaar beeld te geven wat de leerling kan. In de boven beschreven casus van de docent Beroepsonderwijs kunnen we het raamwerk als volgt toepassen: WAT criteria Betekenisvol: Dit criterium heeft zwaar gewogen voor de docent door te kiezen voor een beoordelingopdracht die ingaat op veel van de behandelde stof; die de leerlingen aanspreekt en aan het denken zet ; die leerlingen betrekt in de beoordeling. Dekkend: De opdracht integreerde veel van de behandelde stof uit verschillende leerstofgebieden (solderen, ontwerpen, installeren, samenwerken). Uitdagend: de opdracht zette leerlingen aan het denken; was niet een droge oefening en de geslaagde uitkomst was concreet en direct: een werkende robot. HOE criteria Helder: door de concreetheid van de opdracht/beoordeling werd direct duidelijk wat er gedaan en waaraan gewerkt moet worden. Eerlijk: Iedere leerling kan met eigen kennis en vaardigheid optimaal bijdragen aan het eindresultaat. GEVOLG criteria Invloedrijk: De uitkomst van de opdracht, de robot laten werken, geeft voor de leerling(en) direct een zichtbare uitkomst van geslaagd zijn of niet en kan zo direct laten zien of de stof en de vaardigheden zijn beheerst (of niet).