De formatieve functie van toetsen

Transcriptie

1 Voorbeelden van effectieve en minder effectieve vormen van feedback De formatieve functie van toetsen Caroline Timmers en Fabienne van der Kleij Wanneer een toets gericht is op het ondersteunen van een leerproces, wordt deze formatief genoemd. Op het toetsresultaat gebaseerde feedback speelt hierbij een cruciale rol. Uit onderzoek blijkt dat het niet vanzelfsprekend is dat feedback het leerproces ondersteunt. Effectiviteit van feedback hangt onder meer af van de inhoud en de vorm. Dit artikel gaat in op verschillende vormen van feedback en de effectiviteit ervan. Ook worden aanbevelingen gepresenteerd voor het ontwerp en gebruik van formatieve toetsing. Toetsen met een formatieve functie In het onderwijs worden toetsen gebruikt voor verschillende doeleinden. Vaak worden toetsen gebruikt om een oordeel te formuleren over de bekwaamheid van leerlingen en studenten. Dit oordeel leidt bijvoorbeeld tot selectie, classificatie of certificering. Toetsen die voor deze doeleinden worden ingezet hebben een summatieve functie. Een toets vervult een summatieve functie wanneer het toetsresultaat invloed heeft op een zak-/slaagbeslissing. Toetsen kunnen ook ingezet worden ter ondersteuning van leerprocessen. In dat geval vervult de toets een formatieve functie. Feedback is hierbij een essentieel onderdeel, omdat feedback de leerling zicht geeft op ontbrekende kennis of inzichten. Vervolgens kunnen toekomstige leer- of instructieprocessen vorm worden gegeven op basis van feedback. Bij formatief gebruik van een toets wordt informatie over de bekwaamheid van leerlingen vertaald naar feedback. Deze feedback kan zowel naar de leerling als naar de docent worden teruggekoppeld. Toetsen kunnen overigens tegelijkertijd een summatieve en een formatieve functie vervullen. Dit is bijvoorbeeld het geval wanneer de leerling na afloop van een toets (die bijdraagt aan de zak-/slaagbeslissing) feedback krijgt over het toetsresultaat. Feedback in formatieve toetsen Wat is feedback? Feedback is een breed begrip dat alle informatie kan omvatten die wordt gegeven door een persoon of een computer aan een (andere) persoon over diens uitvoering van een taak (Hattie & Timperley, 2007). De feedback kan zich richten op verschillende niveaus, te weten het niveau van 1) de persoon, 2) de taak, 3) het proces en 4) het zelfregulerend vermogen. Feedback op persoonsniveau zegt iets over de leerling en niet over de wijze waarop de taak of het proces is uitgevoerd. Een voorbeeld van feedback op persoonsniveau is: je bent een goede leerling. Op het niveau van de taak gaat het erom of antwoorden of oplossingen juist/onjuist dan wel volledig/ onvolledig waren. Een voorbeeld van feedback op taakniveau is: de helft van de antwoorden is juist. Op het niveau van het proces gaat het erom hoe je tot een antwoord of oplossing komt. Een voorbeeld van feedback op procesniveau is: je hebt de juiste formule gebruikt om de som op te lossen. Feedback op het niveau van het zelfregulerend vermogen van de leerling zet leerlingen bijvoorbeeld aan om hun eigen werk beter te plannen of te controleren. Een voorbeeld van feedback op het zelfregulerend vermogen van de leerling is: ga na of je alle relevante theorieën uit de vorige les hebt gebruikt om het probleem op te lossen. Naast niveaus worden verschillende typen feedback onderscheiden, te weten: kennis van het resultaat (KR), kennis van de correcte respons (KCR) en uitgebreide feedback. Uitgebreide feedback kent tal van verschij- EXAMENS - augustus NR 3 5

2 Feedback geeft de leerling zicht op ontbrekende kennis of inzichten ningsvormen, zoals een hint, een toelichting op juiste en/of onjuiste antwoorden en leerstofverwijzingen (Shute, 2008). Tabellen 1, 2 en 3 laten voorbeelden zien van deze drie typen feedback. Wanneer de feedback na de toets volgt, is het aan te bevelen om het item toe te voegen aan de feedback, omdat niet verwacht kan worden dat de student de inhoud van het item dan nog paraat heeft. Tot slot presenteert Figuur 1 een aanvullend voorbeeld van uitgebreide feedback. Het is een voorbeeld van een uitgewerkte opdracht of demonstratie. De uitgewerkte opdracht kan een uitwerking zijn van de eigenlijke opdracht of van een vergelijkbare opdracht. Tabel 1. Voorbeelden van KR-feedback Voorbeelden van kennis van het resultaat (KR) KR over de totale toets: KR per item na de toets: KR direct na een item: Je hebt 13 van de 20 opgaven juist Item 1: onjuist / X Het antwoord is onjuist. beantwoord. Item 2: juist / V Item 3: juist / V Tabel 2. Voorbeelden van KCR-feedback Voorbeelden van kennis van de correcte respons (KCR) KCR met item: KCR per item na de toets: KCR direct na een item: 2 x 15 = 30 2 x 15 = 30 2 x 12 = 24 3 x 13 = 39 Het juiste antwoord is 30. Tabel 3. Voorbeelden van uitgebreide feedback op de vraag om het werkwoord te vervoegen Voorbeelden van uitgebreide feedback op de vraag om het werkwoord te vervoegen voor: Ik ben vorig jaar (verhuizen), op deze vraag is geantwoord met verhuist. Vorm van uitgebreide feedback: Voorbeeld: Feedback gericht op het specifieke antwoord of resultaat van de leerling. Het beschrijft waarom het antwoord juist of onjuist is. Feedback gericht op kenmerken en eigenschappen van het begrip of de vaardigheid uit de vraag of opdracht. Feedback gericht op het centrale onderwerp dat ten grondslag ligt aan de vraag of de opdracht, eventueel in de vorm van (een verwijzing naar of selectie uit) studiemateriaal. Als je de -en van verhuizen haalt, krijg je de stam: verhuiz. De laatste letter van de stam komt niet voor in t kofschip. Daarom eindigt het voltooid deelwoord van verhuizen op een d. Verhuizen is een zwak werkwoord. Een ezelsbruggetje om te bepalen of het voltooid deelwoord van een zwak werkwoord eindigt op een d of t is: t kofschip. Je kunt als volgt bepalen of de voltooid deelwoorden van de zwakke werkwoorden hakken en zagen eindigen op d of t: Stap 1: Haal van het hele werkwoord de uitgang -en af. Je houdt dan alleen de stam over: hakk-, zag-. 6 EXAMENS - augustus NR 3

3 Bij computergestuurde toetsen kan de leerling directe feedback krijgen Stap 2: Komt de laatste letter van de stam als medeklinker voor in t kofschip? hakk- (ja); zag- (nee). Stap 3: Zo ja: het voltooid deelwoord wordt gevormd met de uitgang t: gehakt. Zo nee: het voltooid deelwoord wordt gevormd met de uitgang d: gezaagd. Feedback die tips en aanwijzingen bevat om de leerling in de juiste richting te sturen. Bijvoorbeeld, hints over wat te doen, een uitgewerkte opdracht of een demonstratie. Deze feedback vermijdt de presentatie van het juiste antwoord. Feedback die op basis van het antwoord van de leerling ingaat op specifieke fouten of misvattingen: Wat is er mis en waarom? Feedback voor meerdere antwoordpogingen. In dat geval krijgt de leerling verschillende kansen (bijvoorbeeld 3) om een toetsvraag juist te beantwoorden. Ga na of de laatste letter van de stam voorkomt als medeklinker in t kofschip. Bij het bepalen of de laatste letter van de stam in 't kofschip voorkomt, moet je altijd kijken naar het hele werkwoord. De stam van verhuizen is verhuiz. De letter z komt niet voor in t kofschip. Het voltooid deelwoord van verhuizen is verhuisd. Feedback na poging 1: Het antwoord is onjuist, probeer het nog een keer. Feedback na poging 2: Ga na of de laatste letter van de stam voorkomt in t kofschip. Feedback na poging 3: Het juiste antwoord is verhuisd. Feedback in computergestuurde toetsen In de praktijk heeft een docent slechts een beperkte hoeveelheid tijd beschikbaar om (schriftelijke) toetsen te ontwikkelen, na te kijken en studenten te voorzien van feedback. Feedback is het meest effectief als het ontvangen wordt op het moment dat het relevant is. Indien feedback vrijwel direct volgt op het maken van een fout kunnen misconcepties meteen verhelderd worden of ontbrekende kennis aangevuld. Directe feedback bij een juiste oplossing kan de aanwezige bekwaamheid juist bevestigen en versterken. Directe feedback bij een formatieve toets is onhaalbaar als de toets eerst nog moet worden nagekeken door de docent. Bij toetsen die via de computer worden afgenomen en door de computer worden gescoord is het mogelijk om leerlingen te voorzien van directe feedback. Een bijkomend voordeel is de mogelijkheid tot hergebruik van de geautomatiseerde feedback. Dit kan op termijn tijdswinst opleveren voor de docent. Effectiviteit van feedback Feedback heeft tot doel om het leerproces van leerlingen te stimuleren en te sturen. Het gaat hierbij om het verkleinen van het verschil tussen de huidige bekwaamheid van de leerling en de te bereiken bekwaamheid. De leerling kan dit verschil verkleinen door extra moeite te steken in het leerproces. De docent kan bijdragen aan het verkleinen van dit verschil door op basis van de toetsresultaten geschikte opdrachten aan te bieden en de leerling te ondersteunen bij het uitvoeren van deze opdrachten. Volgens Hattie & Timperley (2007) geeft effectieve feedback antwoord op de volgende drie vragen: Wat is de te bereiken bekwaamheid? Wat is je huidige bekwaamheid? Hoe nu verder? Door de geobserveerde bekwaamheid te vergelijken met de te bereiken bekwaamheid wordt duidelijk hoe groot de kloof is tussen de huidige bekwaamheid en de te bereiken bekwaamheid. De aard en omvang van EXAMENS - augustus NR 3 7

4 Het effect van feedback hangt af van de bereidheid van de leerling om tijd en energie te steken in een leerproces Figuur 1. Uitgebreide feedback in de vorm van een uitgewerkte opdracht de te overbruggen kloof geeft zicht op het leerproces dat nog in het verschiet ligt voor de leerling en de vraag hoe nu verder?. Het antwoord op de vraag hoe nu verder? kent vele verschijningsvormen, zoals leerstofverwijzingen, hints, en/of informatie over een oplossingsstrategie. De uiteenlopende verschijningsvormen van feedback blijken niet allemaal even effectief. Terugkijkend naar de feedbackniveaus die worden onderscheiden, valt op dat feedback gericht op de persoon geen antwoord geeft op de hierboven genoemde vragen. Feedback op dit niveau wordt door Hattie & Timperley (2007) dan ook beschouwd als ineffectieve feedback. Verder laat onderzoek naar effecten van feedback in computergestuurde formatieve toetsen zien dat leereffecten afhankelijk zijn van het type feedback dat wordt gebruikt (Van der Kleij, Timmers & Eggen, 2011). Uit dit onderzoek blijkt dat KCR-feedback en/of uitgebreide feedback het meest effectief zijn. KCR-feedback laat positieve leereffecten zien in relatie tot kennis en begrip. Uitgebreide feedback laat positieve leereffecten zien ten aanzien van kennis, begrip en de toepassing van kennis. Een logische verklaring hiervoor lijkt dat uitgebreide feedback informatie biedt op basis waarvan de leerling kennis en inzichten kan versterken of aanvullen en misconcepties kan verhelderen. Het is belangrijk om te weten dat de resultaten uit onderzoek niet eenduidig zijn. KCR-feedback en uitgebreide feedback kunnen leiden tot een leereffect, maar het is niet vanzelfsprekend dat feedback leerlingen aanzet tot leren. Leerlingen kunnen in reactie op feedback ook besluiten tevreden te zijn met hun huidige bekwaamheid en de feedback verwerpen of hun aandacht verleggen naar een ander onderwerp. Kortom, het effect van feedback hangt af van de bereidheid van de leerling om tijd en energie te steken in een leerproces. Deze bereidheid wordt beïnvloed door uiteenlopende factoren, zoals de lengte en de moeilijkheid van een taak, het door leerlingen ervaren nut van de taak en hun succesverwachtingen. Voor meer informatie over de effectiviteit van feedback kan worden verwezen naar Van der Kleij (2011). Aanbevelingen voor formatieve toetsing en feedback De relatie tussen feedback en leerprocessen is veelbelovend, maar ook complex. De relatie wordt beïnvloed door kenmerken van feedback interventies (o.a. type feedback), formatieve toetsen (o.a. moeilijkheid) en de bereidheid van leerlingen om te leren. Nader onderzoek is nodig om te komen tot heldere richtlijnen voor effectief ontwerp en gebruik van formatieve toetsen en feedback. Op basis van eerder onderzoek zijn wel aanbevelingen te geven voor het gebruik van formatieve toetsing en feedback. Aanbevelingen voor formatieve toetsen 1. Bepaal het doel van de formatieve toets. Een formatieve toets kan verschillende doelen dienen. De formatieve toets kan tot doel hebben om leerlingen te activeren tot het bestuderen van feedback en/of lesstof. Een ander doel is een leerling en/of docent zicht geven op de mate waarin de leerling al dan niet beschikt over een bepaalde bekwaamheid. Dit laatste doel heeft consequenties voor de lengte van de toets. De resultaten van een lange toets geven doorgaans een betrouwbaarder beeld dan die van een korte toets. Let wel, de lengte van een formatieve toets is van invloed op de mate waarin studenten 8 EXAMENS - augustus NR 3

5 De relatie tussen feedback en leerprocessen is veelbelovend aandacht besteden aan feedback. 2. Maak de formatieve toets niet te lang. Indien de formatieve toets dient aan te zetten tot het bestuderen van feedback is het aan te raden om (een aantal) korte formatieve toetsen te gebruiken in plaats van een lange. Bij een lange formatieve toets zal een leerling doorgaans minder tijd besteden aan de feedback dan bij een kortere toets. 3. Laat de moeilijkheid van de toets aansluiten bij de zone van naaste ontwikkeling van de leerling. Als de toets te makkelijk is zal de toets niet aanzetten tot leren. Wanneer de toets als te moeilijk wordt ervaren neemt de kans op demotivatie toe. Met andere woorden, de formatieve toets moet niet te makkelijk, maar ook niet te moeilijk zijn. Vooralsnog lijkt een moeilijkheid van rond de 50% kans op een juist antwoord hierbij aan te sluiten. 4. Houd toezicht, direct dan wel indirect. Meer leerlingen maken gebruik van een formatieve toets als er toezicht is. Toezicht op het maken van een formatieve toets toont leerlingen het belang dat vanuit de opleiding wordt gehecht aan het gebruik van dit leermiddel. Als een formatieve toets afgenomen wordt in aanwezigheid van de docent is het toezicht direct. Toezicht is ook direct als via een digitale leeromgeving of een toetssysteem bijgehouden wordt of de leerling de toets heeft gemaakt. Een voorbeeld van indirect toezicht is leerlingen vragen om een uitdraai van hun score op de toets mee te nemen naar de les. 5. Licht het nut van een formatieve toets toe. Het nut dat leerlingen hechten aan een formatieve toets is van invloed op de moeite die ze steken in het maken van de toets en het verwerken van feedback. Het is zodoende aan te bevelen om voorafgaand aan de toets het nut van de formatieve toets te bespreken. 6. Houd rekening met de mogelijkheden van een toetssysteem. Bij de vormgeving van een computergestuurde formatieve toets, inclusief de feedbackinterventie, ben je afhankelijk van de mogelijkheden van de beschikbare toetssystemen. Aanbevelingen voor feedback 1. Kies voor KCR-feedback en/of uitgebreide feedback. Uit onderzoek blijkt dat KCR-feedback een positief effect kan hebben op kennis en begrip. De verschillende vormen van uitgebreide feedback kunnen een positief effect hebben op zowel kennis-, begrip- als toepassingsniveau. 2. Kies voor directe feedback. Leerlingen kunnen feedback direct na iedere vraag of feedback direct na afronding van een toets meteen gebruiken om kennis en inzichten te versterken of aan te vullen en misconcepties te verhelderen. Leerlingen geven dan ook doorgaans de voorkeur aan directe feedback. Bij computergestuurde of mondelinge toetsing is het geven van directe feedback goed mogelijk. Dit in tegenstelling tot schriftelijke toetsen die eerst moeten worden nagekeken. Let wel, voor het bewerkstelligen van een leereffect is het van belang dat de feedback niet beschikbaar is voordat de leerling een (serieuze) poging heeft gewaagd om de gevraagde taak uit te voeren. Literatuur Hattie, J. & Timperley, H. (2007). The power of feedback. Review of Educational Research, 77(1), doi: / Shute, V.J. (2008). Focus on formative feedback. Review of Educational Research, 78(1), doi: / Van der Kleij, F.M. (2011). Leeropbrengst van feedback in computergestuurde toetsen, toetswijzer: Van der Kleij, F.M., Timmers, C.F. & Eggen, T.J.H.M. (2011). The effectiveness of methods for providing written feedback through a computer-based assessment for learning: A systematic review. CADMO, 19(1), doi: /CAD Mw. drs. C. Timmers is onderwijskundig adviseur bij Saxion en externe promovendus bij de Universiteit Twente en het RCEC. c.f.timmers@utwente.nl. Mw. F. van der Kleij, MSc. is toetsdeskundige en promovendus bij Cito en het RCEC. fabienne.vanderkleij@cito.nl. EXAMENS - augustus NR 3 9