Hoe gebruik je het schoolexamen in het leerproces? Formatief evalueren 22 maart 2018 Judith Gulikers, education and learning sciences, Wageningen universiteit
Take home messages In een (SE-)toets zit een rijkheid aan informatie om het onderwijs / leerproces te verbeteren Een summatieve toets (SE toets) kun je formatief gebruiken Formatief gebruiken van (toets)resultaten en feedback geven zijn meest krachtige factor voor het optimaliseren van leren (Hattie, 2012) Goede feedback bestaat in ieder geval uit 3 onderdelen 2
Summatief - formatief Summatief: Ik kan het! VINK! Formatief: Wat kan ik al? Leren! 3
De formatieve toetscyclus (Gulikers & Baartman, 2017) Eindtermen examenprogramma / leerdoelen Fase 1: Verwachtingen verhelderen Bv. een SE toets Fase 5: Vervolgacties ondernemen: onderwijs & leren aanpassen Fase 2: Studentreacties ontlokken en verzamelen Fase 4: Communiceren met studenten over resultaten Fase 3: Reacties analyseren en interpreteren cijfer 4
Fase 3: Analyseren en interpreteren Wat kan de prestatie van jouw klas op een bepaalde toets jou allemaal vertellen? Ontdek de rijkheid van een (summatieve) toets 5
Gesloten / Open Vragen Leerlingen Maximum Piet Klaas Fatima Marga Heidi Dylano aantal punten gesloten 1: Breuken optellen 2 2 0 0 2 2 2 gesloten 2: Breuken aftrekken 2 2 0 1 2 2 2 gesloten 3: Breuken vermenigvuldigen 2 2 2 2 2 2 2 gesloten 4: percentages omrekenen 2 0 0 0 0 0 0 open 5: percentages toepassen in verhaaltjesvraag 5 3 3 0 5 0 0 open 6:complexe verhaaltjesvraag 5 5 0 0 5 5 0 open 7:complexe verhaaltjes vraag 6 6 0 0 6 6 6 open 8: breuken optellen 4 3 3 4 3 4 0 open 9: breuken vermenigvuldigen 4 3 3 4 4 4 0 open 10: percentages omzetten naar breuken 3 3 3 3 3 3 3 35 29 17 18 32 28 15
Na analyse mogelijke conclusies Welke conclusies zou je nu kunnen trekken? Over de toets / toetsitems? Over individuele leerlingen? Over de klas / groepjes in de klas? Over het voorafgaande onderwijs Over jouw rol als docent? Concluderen: Onderzoek je mogelijke interpretaties. Kloppen ze? 7
Proeve van bekwaamheid (wat zegt de overzichtsscore?) Naam PvB + uitgevoerde doelgroep (bv. 10 KB leerlingen, eind jaar 3) + beoordelaarsduo Beoordelaarsduo (Marij en Kees) Leerlingen Fase Onderdeel voor beoordeling Punten Wat wil ik hiervoor max. zien? 1 2 3 4 5 6 7 8 9 10 Voorbereiding Uitvoering werkplanning 10 De leerling kan zijn werk plannen en organiseren Reflectie proces 40 vakdeskundigheid 10 invulling... samenwerken 10 invulling... klantgerichtheid 10 invulling... presenteren 10 invulling... Product 20 resultaat beschrijving... 30 Eindcijfer 100 De leerling heeft zicht op eigen handelen en denken
Analyse formulier (wat zegt de overzichtsscore? 3b.) Naam PvB + uitgevoerde doelgroep (bv. 10 KB leerlingen, eind jaar 3) + beoordelaarsduo beoordelaarsduo (Marij en Kees) Leerlingen Fase Onderdeel voor beoordeling Punten Wat wil ik hiervoor max. zien? 1 2 3 4 5 6 7 8 9 10 Voorbereiding werkplanning 10 De leerling kan zijn werk plannen en organiseren 4 5 8 10 6 6 4 5 10 7 Uitvoering Reflectie proces 40 vakdeskundigheid 10 invulling... 5 5 5 5 6 7 6 8 5 6 samenwerken 10 invulling... 9 9 10 10 10 10 9 10 10 10 klantgerichtheid 10 invulling... 3 3 2 8 1 1 1 4 4 4 presenteren 10 invulling... 8 8 9 10 9 9 10 9 6 6 Product 20 resultaat beschrijving... 16 16 18 20 16 20 10 18 18 15 30 De leerling heeft zicht op eigen handelen en denken 5 25 30 30 30 25 5 20 28 28 Eindcijfer 100 50 71 82 93 78 78 45 74 81 76
Na analyse mogelijke conclusies Welke conclusies zou je nu kunnen trekken? Over de toets / toetsonderdelen? Over individuele leerlingen? Over de klas / groepjes in de klas? Over het voorafgaande onderwijs Over jouw rol als docent? Concluderen: Onderzoek je mogelijke interpretaties. Kloppen ze? 10
Fase 4 en 5 11
De drie kernvragen van formatief gebruik van toetsen (Professor Wiliam) 1 Waar moet ik naartoe? 2 Waar sta ik nu? 3 Hoe gaan we nu verder? feed up De (summatieve) toets met toetsresultaten feed back Feedforward
Wat is goede feedback? Goed zo jongen! Volgende keer wel een beetje beter leren hoor! Goede feedback? 13
Kenmerken van goede feedback 1. Positief kritisch en op taak gericht (!) 2. Koppeling aan leerdoelen waar moet ik naartoe? = feedup 3. Onderbouwing van oordeel (verklaring) waar sta ik nu? = feedback 4. Concrete suggesties voor verbetering (gericht op verder leren) hoe gaan WE concreet verder? = feedforward 14
Een Ipod voor oma Filmpjes van leerling die een praktijktoets aflegt Opdracht leerling: Voeren van een verkoopgesprek (tot 3 min) Leerdoelen: 1. Je hanteert de gesprekstechniek van luisteren, samenvatten en doorvragen (LSD) 2. Je laat zien dat je klantgericht handelt, waarbij je goed ingaat en inspeelt op de wensen van de klant 3. Je laat zien dat je een product aan de man kunt brengen 15
Rollenspel Maak trio s en voer feedback gesprek nav filmje 1 speelt leerling uit filmpje en ontvangt feedback 2 speelt docent en geeft feedback aan leerling 3 observator, observeert feedback gedrag van docent Met behulp van format effectieve feedback docent geeft feedback aan leerling over het uitvoeren van toets observator geeft docent feedback op de wijze van feedback geven leerling vertelt hoe hij de feedback ervaren heeft 16
Hoe zit het met jouw feedbackcompetenties? 17
Conclusies: gebruik je SE s niet alleen om af te vinken! Hattie (2012) Visible learning website Jij, als docent, maakt het verschil! Gulikers & Baarman (2017) Eindrapport: Wat DOET de docent in de klas Judith.gulikers@wur.nl 18
Tussenof eindslide Tekst 19
Beoordelingsformulier GP-PvB
Scoreformulier (wat zegt de overzichtsscore? 2a-b) Naam PvB + uitgevoerde doelgroep (bv. 10 KB leerlingen, eind jaar 3) + beoordelaarsduo Beoordelaarsduo (Marij en Kees) Leerlingen Fase Onderdeel voor beoordeling Punten Wat wil ik hiervoor max. zien? 1 2 3 4 5 6 7 8 9 10 Voorbereiding Uitvoering werkplanning 10 De leerling kan zijn werk plannen en organiseren Reflectie proces 40 vakdeskundigheid 10 invulling... samenwerken 10 invulling... klantgerichtheid 10 invulling... presenteren 10 invulling... Product 20 resultaat beschrijving... 30 Eindcijfer 100 De leerling heeft zicht op eigen handelen en denken
Analyse formulier (wat zegt de overzichtsscore? 3b.) Naam PvB + uitgevoerde doelgroep (bv. 10 KB leerlingen, eind jaar 3) + beoordelaarsduo beoordelaarsduo (Marij en Kees) Leerlingen Fase Onderdeel voor beoordeling Punten Wat wil ik hiervoor max. zien? 1 2 3 4 5 6 7 8 9 10 Voorbereiding werkplanning 10 De leerling kan zijn werk plannen en organiseren 4 5 8 10 6 6 4 5 10 7 Uitvoering Reflectie proces 40 vakdeskundigheid 10 invulling... 5 5 5 5 6 7 6 8 5 6 samenwerken 10 invulling... 9 9 10 10 10 10 9 10 10 10 klantgerichtheid 10 invulling... 3 3 2 8 1 1 1 4 4 4 presenteren 10 invulling... 8 8 9 10 9 9 10 9 6 6 Product 20 resultaat beschrijving... 16 16 18 20 16 20 10 18 18 15 30 De leerling heeft zicht op eigen handelen en denken 5 25 30 30 30 25 5 20 28 28 Eindcijfer 100 50 71 82 93 78 78 45 74 81 76