Kaartspel De formatieve toetscyclus. NRO-PPO overzichtsstudie dossiernummer Judith Gulikers & Liesbeth Baartman

Transcriptie

1 Kaartspel De formatieve toetscyclus NRO-PPO overzichtsstudie dossiernummer Doelgericht professionaliseren. Formatief toetsen met effect! Wat DOET de docent in de klas? Judith Gulikers & Liesbeth Baartman

2 Hoe doe ik dat?? Wat kan ik leren??

3 Fase 1: Verwachtingen verhelderen Bij het verhelderen van leerdoelen en succescriteria is het belangrijk om studenten actief te betrekken (Gulikers & Baartman, 2017). Geef een concreet voorbeeld van een actieve werkvorm die jij gebruikt om met studenten leerdoelen en succescriteria te benoemen of te bespreken. Vraag je groepsgenoten ook om een voorbeeld. Noteer een voorbeeld van een actieve werkvorm die jij wilt uitproberen.

4 Fase 1: Verwachtingen verhelderen Leerdoelen sturen wat en hoe studenten leren. Hoe zijn jouw leerdoelen geformuleerd? Betrek bij het beantwoorden van deze vraag de volgende twee onderdelen: 1. Gaan de leerdoelen over de KERN van het beroep (en niet over irrelevante zaken)? 2. Zijn de leerdoelen op het juiste NIVEAU geformuleerd? (denk aan: de student weet, herkent, benoemt zijn van een lager niveau dan de student analyseert, evalueert, bekritiseert etc.)

5 Fase 1: Verwachtingen verhelderen Het is belangrijk om leerdoelen en succescriteria op meerdere manieren en op meerdere momenten te communiceren met studenten (ze komen dus steeds terug). Op welke momenten communiceer jij leerdoelen met studenten? Op welke (verschillende) manieren doe je dat? Vraag advies aan de groep: hoe zou je dit nog kunnen verbeteren?

6 Fase 5: Vervolgacties nemen, onderwijs en leren aanpassen De laatste fase van de formatieve toetscyclus is vervolgacties ondernemen. Dat betekent bijvoorbeeld dat je iets in je onderwijs aanpast naar aanleiding van antwoorden / producten van studenten. De bedoeling is dat je dan beter aansluit bij wat de studenten op dit moment weten en kunnen. Noem een concreet voorbeeld van een aanpassing in jouw onderwijs naar aanleiding van studentreacties. Had jouw aanpassing het gewenste effect op studenten?

7 Alle fasen In de formatieve toetscyclus kun je ook rubrics inzetten. In hoeverre gebruik jij rubrics? Zo ja: Vertel eens hoe je dat doet en hoe dit voor jou werkt? Vraag je groepsgenoten te reflecteren op jouw voorbeeld. Denken zij dat jij de rubric hier optimaal gebruikt? Of zou je het nog beter kunnen doen? Zo nee: Hoe en waarvoor zou jij rubrics willen gebruiken? Vraag advies aan je groepsgenoten die hier wel ervaring mee hebben.

8 Alle fasen Bekijk de 5 fasen van de formatieve toetscyclus. Welke fase Welke fase denk jij zelf dat je het minst goed onder de knie hebt? Waarom? Benoem één concreet verbeterpunt in de formatieve toetscyclus. Vraag je groepsleden om een tip om te verbeterpunt concreet aan te pakken.

9 Fase 3: Studentreacties analyseren en interpreteren Fase 5: Vervolgacties nemen: onderwijs en leren aanpassen Bij fase 3 van de formatieve toetscyclus kun je denken aan het analyseren en interpreteren van antwoorden in de klas, toetsresultaten, uitwerkingen van oefenopdrachten, etc. Docenten weten vaak niet goed hoe dit aan te pakken en besteden hier weinig tijd aan (Gulikers & Baartman, 2017). Beantwoord de volgende twee vragen: Besteed jij aandacht aan fase 3? Geef eens een concreet voorbeeld? En gebruik je de uitkomsten van je analyse ook om je onderwijs aan te passen, indien nodig?

10 Fase 4: Communiceren met studenten over resultaten Goede feedback is duidelijk ter herleiden naar de leerdoelen en succescriteria. Hoe geef jij feedback aan studenten? Noem drie voorbeelden van feedback die jij geeft en benoem daarbij hoe in jouw feedback de leerdoelen / succescriteria terugkomen. Laat de anderen reageren: hoe kun je dit nog verbeteren?

11 Fase 4: Communiceren met studenten over resultaten Goede feedback geeft concrete ideeën voor vervolgacties Hoe geef jij feedback aan studenten? Noem drie voorbeelden van feedback die jij geeft waarin een concrete vervolgstap voor een student wordt benoemd. Laat de anderen reageren: hoe kun je dit nog verbeteren?

12 Hoe doen wij dat??

13 Alle fasen Een learning progression (Gulikers & Baartman, 2017) beschrijft hoe studenten zich ontwikkelen in een bepaald vak, en wat veel voorkomende misconcepties of moeilijkheden zijn. Zo n learning progression kan de basis vormen voor de FT-cyclus. Bedenk samen hoe een learning progression er volgens jullie uit kan zien. Zoek samen 5 minuten op Internet naar meer info over learning progressions en bedenk waarom een learning progression handig kan zijn voor formatief toetsen.

14 Alle fasen Formatief toetsen heeft een positief effect op het leren van studenten als zij een actieve rol krijgen in de formatieve toetscyclus (Gulikers & Baartman, 2017). Laat iedereen in de groep een werkwijze bedenken om studenten een actievere rol te geven. In welke fase(n) van de formatieve toetscyclus zitten jullie werkwijzen? Kunnen jullie samen werkwijzen bedenken voor de andere fasen van de formatieve toetscyclus (als die nog niet aan de orde waren)?

15 Fase 3: studentreacties analyseren en interpreteren Bij het analyseren van studentreacties kun je studenten ook een actieve rol geven. Denk bijvoorbeeld aan het vergelijken van elkaar werk, voorbeelden, of het geven van peer feedback. Benoem allemaal een voorbeeld van hoe je studenten betrekt bij fase 3 van de formatieve toetscyclus. Wat zijn de effecten hiervan op studenten? Waar heb je positieve en/of negatieve ervaringen mee?

16 Alle fasen Digitale middelen (bv. Kahoot of Socrative) kun je goed inzetten in de formatieve toetscyclus om bijvoorbeeld studentreacties te ontlokken en te analyseren. Benoem samen welke digitale middelen jullie kennen en/of zelf gebruiken. Wat zijn jullie ervaringen met deze digitale middelen? Wat werkt goed en minder goed?

17 Alle fasen Om de formatieve toetscyclus goed te kunnen inzetten, is het handig om te weten wat belangrijke misconcepties / drempels voor studenten zijn in jouw opleiding (en het beroep waartoe je opleidt). Laat iedereen in de groep een belangrijke misconceptie uit zijn/haar eigen opleiding benoemen. Waar lopen studenten vaak tegenaan? Bespreek jullie voorbeelden. Gebruiken jullie die misconcepties ook in de formatieve toetscyclus?

18 Fase 2: studentreacties ontlokken en verzamelen Klasdiscussies zijn een handige manier om studentreacties te ontlokken in de formatieve toetscyclus. Vraag 2 groepsgenoten om te vertellen over hun ervaringen met klasdiscussies. Identificeer met elkaar wanneer een klasdiscussie wel/niet goed werkt (de succescriteria dus).

19 Alle fasen Rubrics kunnen je helpen om de fasen van de formatieve toetscyclus beter vorm te geven. Benoem met elkaar minimaal 5 voorbeelden hoe je rubrics kunt inzetten in de formatieve toetscyclus. Bespreek met elkaar bij welke fasen van de formatieve toetscyclus jullie voorbeelden passen.

20 Fase 2: studentreacties ontlokken en verzamelen Doe een kort rollenspel met 3 personen. De andere personen zijn de observatoren. Jij bent de docent Kies 2 groepsgenoten die je studenten spelen Opdracht 1: Voer 3 minuten een groepsdiscussie waarbij jij als docent boven tafel probeert te krijgen wat je studenten begrijpen van de formatieve toetscylus. Opdracht 2: De observatoren benoemen minimaal 1 sterk en 1 verbeterpunt uit jouw manier van vragen stellen in de discussie.

21 Alle fasen Je kunt verschillende doelen hebben met de formatieve toetscyclus. Eén van de doelen kan zijn dat je wilt dat studenten leren om verantwoordelijkheid voor hun eigen leren te nemen. Vraag alle groepsleden naar een geslaagde of minder geslaagde ervaring om studenten meer verantwoordelijkheid te laten nemen. Bespreek jullie voorbeelden. Waarom werkten jullie ervaringen wel of niet (dus wat voor succescriteria kun je daaruit halen)?

22 Alle fasen In de formatieve toetscyclus gaat het niet alleen om het identificeren van studenten die extra ondersteuning nodig hebben, maar ook om talenten van sterkere studenten. Noem allemaal een voorbeeld hoe je de formatieve toetscyclus kunt gebruiken om sterke studenten te identificeren. Noem allemaal een voorbeeld hoe je sterke studenten vervolgens kunt stimuleren het beste uit zichzelf te halen.

23 Fase 1: Verwachtingen verhelderen Leerdoelen en succescriteria zijn het belangrijke startpunt van formatief toetsen. Het is best lastig om heldere leerdoelen en succescriteria te formuleren. Vraag wie van de groepsleden een (goed) voorbeeld heeft van succescriteria (bijvoorbeeld bij een product dat studenten moet maken / laten zien). Laat deze persoon dit zo concreet mogelijk vertellen. Bespreek samen het voorbeeld. Laat iedereen benoemen wat hij/zij meeneemt uit dit voorbeeld voor het eigen onderwijs.

24 Fase 1: Verwachtingen verhelderen Formatief toetsen wordt vaak ingezet om zelfregulerende vaardigheden te ontwikkelen, studenten meer verantwoordelijk te maken voor hun eigen leerproces, of autonomie van de student te vergroten. Als je dit wilt bereiken, is het belangrijk om hier ook leerdoelen over op te stellen (Gulikers & Baartman, 2017). Pijl de meningen van de groepsleden: Zouden jullie leerdoelen opstellen over zelfregulerende vaardigheden, verantwoordelijkheid van studenten en/of autonomie? Waarom wel of niet?

25 Fase 2: studentreacties ontlokken en verzamelen Bekijk onderstaande tabel waarin een onderscheid wordt gemaakt tussen formeel en informeel formatief toetsen. Bespreek samen of jullie vooral of formele of informele manieren informatie verzamelen over studenten.

26 Voorbeelden en ideeën van anderen

27 Fase 1: Verwachtingen verhelderen Een concreet voorbeeld van hoe docenten op verschillende manieren leerdoelen communiceren, is beschreven door Kang en collega s (2016). In deze studie gebruiken docenten woordenlijstjes met belangrijke begrippen, rubrics met kwalitatieve beschrijvingen van hoe een goed antwoord eruit ziet, en startzinnen die aangeven wat er wordt verwacht bij een antwoord (bijvoorbeeld een model of een analyse). Wat vinden jullie van deze manieren om verwachtingen te verhelderen? Waarom zijn deze manieren wel/niet geschikt voor jullie eigen onderwijs?

28 Fase 1: Verwachtingen verhelderen Lorente en Kirk (2013) beschrijven hoe ze de verwachtingen van studenten over toetsing bespreken. Lees het vertaalde citaat uit hun artikel hieronder en bespreek wat jullie doen om de opvattingen van studenten over toetsing naar boven te halen en hier rekening mee te houden. Aan het begin van de lessenserie bediscussieer ik met studenten de verschillende opvatting over toetsing, gericht op hun ervaringen in hun schoolcarrière en de problemen met toetsing. Met specifieke focus op hun ervaringen bij lichamelijke opvoeding. Daarna voeren de studenten een discussie over de manier van toetsen in mijn lessenserie aan de hand van de volgend vraag: hoe kunnen we eerder ervaren problemen met toetsing voorkomen?. In groepjes van 3 of 4 doen studenten een voorstel en dit bespreken we met de hele klas. Ze mogen allerlei voorstellen doen, met als enige voorwaarde dat de leerdoelen van de lessenserie terugkomen.

29 Fase 3: Studentreacties analyseren en interpreteren Fase 4: Communiceren met studenten over resultaten Peer-assessment kan een belangrijk onderdeel zijn van de formatieve toetscyclus. Je zou dit kunnen doen door studenten na afloop van een toets bij elkaar te zetten en te zeggen: ga de toets met elkaar nabespreken Wat vinden jullie van deze opdracht? Doe een stemming. Wie vind dit een goede / geen goede opdracht? Geef je eigen mening. Vraag aan minimaal 2 mensen uit je groep wat hun mening is.

30 Fase 2: Studentreacties ontlokken en verzamelen Stelling: een summatieve toets kun je heel goed formatief gebruiken! Opdracht: Identificeer de voor- en tegenstanders in de groep. Bespreek jullie argumenten.

31 Alle fasen Verschillende studies laten zien dat docenten veel kennis nodig hebben van hun vak en het beroep waartoe ze opleiden om de formatieve toetscyclus goed in te zetten (Forbes et al., 2015; Furtak & Heredia, 2014; Herman et al., 2015). Ben je het hier hiermee eens? Bekijk de formatieve toetscyclus. Benoem per fase waarom kennis van het beroep in deze fase cruciaal is en maak zo concreet mogelijk voor welke activiteiten dit dan belangrijk is.

32 Alle fasen Conway (2011) bespreekt in zijn studie de stoplichtmethode. Lees het vertaalde citaat hieronder en bespreek met elkaar: Welke fasen uit de formatieve toetscyclus komen hier naar voren? Wie zou deze stoplichtmethode in het eigen onderwijs willen inzetten? Waarom wel of niet? Elke les besteden we tenminste 10 minuten aan evaluatie, waarbij we vier vragen stellen. De eerste is wat hebben we geleerd. Aan de muur van mijn klas hangt een grote geprinte lijst met de leerdoelen van het hele blok, gegroepeerd per les. Elke student heeft hier ook een kopie van. Aan het einde van de les gebruiken de studenten hun eigen kopie om te stoplichten. Studenten die een vraag groen hebben gemarkeerd leggen hun ideeën uit aan de studenten die een vraag oranje of rood hebben gemarkeerd. Aan het einde van de les bespreken we met zijn allen welke leerdoelen we hebben behaald, en dat geven we aan op onze lijst op de muur

33 Alle fasen Fluckiger et al (2010) beschrijven de drie-kleuren quiz. Positieve effecten zijn dat studenten actief op zoek gaan naar informatie, de diepgang van klasdiscussies toeneemt en eindproducten van hogere kwaliteit zijn. Lees de (vertaalde) werkwijze van de drie-kleuren quiz hieronder en bespreek samen welke fasen van de FT-cyclus hier worden aangesproken. De drie-kleuren quiz (Flucker et al., 2010) Studenten krijgen vragen voorgelegd en doorlopen vervolgens de volgende stappen: 1. Individueel beantwoorden: iedere student schrijft zelf op wat hij/zij weet (zwarte pen). 2. Groepsantwoord: studenten bespreken in groepen van 4 de vragen en hun antwoorden en vullen hun eigen antwoorden aan met kennis van de groepsleden (groene pen). 3. Opzoeken: studenten zoeken informatie op (boeken/internet) over de vragen die ze nog niet goed hebben kunnen beantwoorden (blauwe pen).

34 Fase 1: Verwachtingen verhelderen Hawe en Dixon (2014) beschrijven in hun studie hoe ze samen met studenten succescriteria ontwikkelen. Lees het onderstaande vertaalde citaat en bespreek met elkaar hoe je zoiets in jouw onderwijs / vakgebied zou kunnen doen. Voor we begonnen aan deze lessenserie over schrijven, hadden de studenten al een range aan verschillende cartoon en komische strips voorbij zien komen. Eerst gingen de studenten brainstormen over de verschillende kenmerken van de cartoons en strips, en hoe de makers hun boodschap daarmee overbrachten. Deze kenmerken werden steeds preciezer en de docent schreef ze op het whiteboard waar ze steeds bleven staan tijdens de lessenserie. Als een soort zichtbaar overzicht ( living record ). De docent gaf de studenten ook een rubric, die grotendeels overeenkwam met de kenmerken die studenten zelf hadden ontwikkeld. Hawe & Dixon, 2014, P.73

35 Alle fasen Er zijn verschillende redenen om formatief toetsen in te zetten in het onderwijs. Een paar voorbeelden zijn: A. Het aantal summatieve toetsen verminderen B. De motivatie van studenten verhogen C. Hogere toetsresultaten bereiken Opdracht Laat iedereen kiezen voor 1 van de drie antwoordopties. Bespreek met elkaar welke activiteiten je inzet in de formatieve toetscyclus om dit doel te bereiken. Bespreek met elkaar welke verschillen jullie (eventueel) constateren.

36 Alle fasen Ook uit een summatieve toets kun je informatie halen om je onderwijs te verbeteren. Hiervoor kun je gebruik maken van de toetsresultaten en analyseren wat studenten goed en minder goed beheersen. Hieronder zie je een voorbeeld hiervan. Brainstorm (max 5 min) met elkaar hoe zo n analyse van toetsresultaten formatief kunt gebruiken.

37