FORMATIEF TOETSEN IN DE KLAS: BEVORDERENDE EN BELEMMERENDE FACTOREN ONDERWIJS RESEARCH DAGEN, ROTTERDAM, 26 MEI 2016 CHRISTEL H.D. WOLTERINCK WILMA B. KIPPERS KIM SCHILDKAMP CINDY L. POORTMAN
FORMATIEF TOETSEN ALS EEN PARAPLUBEGRIP Behalen van doelen en resultaten Opbrengstgericht werken OGW Assessment for Learning AfL Focus op de kwaliteit van het leerproces Diagnostisch Toetsen DT Gedetailleerd inzicht in het leerproces en leerresultaten Figuur 1: Drie benaderingen formatief toetsen 6 Onderwijs Research Dagen 2016 2
DATAGEBRUIK IN HET ONDERWIJS (OGW) Datagebruik Verantwoording School ontwikkeling Instructie Figuur 2: Typen data gebruik 3 Onderwijs Research Dagen 2016 3
ASSESSMENT FOR LEARNING VIJF STRATEGIEËN Waar werkt de leerling naar toe? Waar is de leerling nu? Hoe komt de leerling daar? Docent Vragen stellen, klassikale discussie Feedback Medeleerling Leerdoelen en succescriteria Peer assessment Leerling Self assessment Figuur 3: Assessment for learning strategieën 2 Onderwijs Research Dagen 2016 4
FACTOREN FORMATIEF TOETSEN Toetsen Docent Formatief toetsen in de klas OGW AfL School Leerling Figuur 4: Beïnvloedende factoren formatief toetsen in de klas Onderwijs Research Dagen 2016 5
ONDERZOEKSVRAGEN Onderzoeksvragen: 1. In welke mate en hoe wordt formatief toetsen (OGW en AfL) gebruikt in de huidige lespraktijk? I. volgens docenten? II. volgens leerlingen? 2. In welke mate beïnvloeden attitude en kennis/vaardigheden van docenten het gebruik van formatief toetsen (OGW en AfL) in de klas? 3. Welke voorwaarden worden het vaakst aangeduid door docenten als zijnde belangrijk om formatief te toetsen? Onderwijs Research Dagen 2016 6
METHODE (1) Onderzoeksvraag 1 Onderzoeksvraag 2 Kwantitatief onderzoek Vragenlijst 15 scholen 434 docenten 515 leerlingen Vragenlijst 15 scholen 434 docenten Kwalitatief onderzoek Interviews, checklists 4 scholen 12 docenten Onderzoeksvraag 3 Interviews, checklists 4 scholen 12 docenten Tabel 1. Overzicht van de onderzoeksmethodologie Onderwijs Research Dagen 2016 7
METHODE (2) VRAGENLIJST FORMATIEF TOETSEN IN DE KLAS Schalen Aantal items Cronbach alpha OGW Datagebruik voor instructie 11.89 AfL Leerdoelen en succescriteria 4.76 Vragen stellen en klassikale discussie 6.83 Feedback 5.81 Peer- en self assessment 6.82 Docent Kennis en vaardigheden 7.81 Attitude 4.83 Tabel 2. Betrouwbaarheid van de schalen in de vragenlijst Onderwijs Research Dagen 2016 8
METHODE (3) Docent vragenlijst (bijna) altijd >90% zeer vaak 75% regel matig 50% soms 25% (bijna) nooit <10% weet ik niet Leerlingen worden betrokken bij het bepalen van succescriteria (d.w.z. vaststellen wanneer het leerdoel gehaald is). Leerling vragenlijst (bijna) altijd >90% zeer vaak 75% regel matig 50% soms 25% (bijna) nooit <10% weet ik niet Ik word betrokken bij het bepalen van succescriteria (d.w.z. vaststellen wanneer het leerdoel gehaald is). Onderwijs Research Dagen 2016 9
RESULTATEN ONDERZOEKSVRAAG 1: GEBRUIKTE STRATEGIEËN Toepassing in de lessen (bijna) nooit <10% soms 25% regelmatig 50% zeer vaak 75% (bijna) altijd >90% Peer/Self assessment Feedback Datagebruik Vragen en discussie Leerdoelen en succescriteria Ja, die selfassessment is heel lastig en dat doe ik eigenlijk in de onderbouw niet. docent leerling Figuur 5: Gebruikte strategieën voor formatief toetsen volgens docenten en leerlingen 10
RESULTATEN ONDERZOEKSVRAAG 2: DOCENTKENMERKEN Kennis/Vaardigheden β (p) Attitude β (p) Data gebruik.41 (.00).08 (.20).19 R 2 Leerdoelen en succescriteria Vragen en klassikale discussie.33 (.00).05 (.42).12.33 (.00).05 (.44).12 Feedback.45 (.00).18 (.00).28 Peer en Self assessment.46 (.00) -.05 (.44).20 Onderwijs Research Dagen 2016 11 Tabel 3. Resultaten van de lineaire regressie analyse, invloed factoren op gebruik formatief toetsen in de klas
RESULTATEN ONDERZOEKSVRAAG 3: VOORWAARDEN Vijf belangrijkste voorwaarden: 1. Positieve houding van docenten 2. Specifieke feedback uit assessments 3. Aansluiting assessments en het curriculum 4. De rol van schoolleiders 5. Kennis en vaardigheden van docenten Leerlingen moeten op de hoogte zijn van de lesdoelen. Die lesdoelen komen terug als toetsdoel. De veertig, vijftig minuten moet eigenlijk naar een zeventig of tachtig minuten rooster. Onderwijs Research Dagen 2016 1210
CONCLUSIE EN DISCUSSIE ONDERZOEKSVRAAG 1: GEBRUIKTE STRATEGIEËN VOLGENS DOCENTEN EN LEERLINGEN Meeste strategieën soms tot regelmatig gebruikt in de lessen Leerlingen ervaren minder gebruik van de strategieën in de lessen Strategie peer- en self assessment het minst gebruikt; (bijna) nooit tot soms Formatief toetsen is nog niet geïntegreerd in de dagelijkse lespraktijk Onderwijs Research Dagen 2016 13
CONCLUSIE EN DISCUSSIE ONDERZOEKSVRAAG 2 EN 3: DOCENTKENMERKEN EN VOORWAARDEN Kennis/vaardigheden beïnvloedt gebruik van formatief toetsen in de klas Aandacht besteden aan voorwaarden om formatief te toetsen Professionele ontwikkeling voor docenten in het gebruiken van formatief toetsen is dringend nodig Onderwijs Research Dagen 2016 14
BEDANKT VOOR UW AANDACHT Assessment helpt ons onderscheid te maken tussen onderwijzen en leren Vragen? Christel Wolterinck (c.h.d.wolterinck@utwente.nl) Wilma Kippers (w.b.kippers@utwente.nl) Onderwijs Research Dagen 2016 15
LITERATUUR 1: Bennett, R. E. (2011). Formative assessment: A critical review. Assessment in Education: Principles, Policy & Practice, 18, 5-25. doi: 10.1080/0969594X.2010.513678 2: Black, P. & Wiliam, D. (2009). Developing the theory of formative assessment. Educational Assessment, Evaluation and Accountability, 21(1), 5-31. doi: 10.1007/s11092-008-9068-5 3: Ebbeler, J., Poortman, C.L., Schildkamp, K., & Pieters, J.M. (2016). Effects of data use intervention on educators use of knowledge and skills. Studies in Educational Education, 48, 19-31. doi:10.1016/j.stueduc.2015.11.002 4: Heritage, M. (2007). Formative assessment: What do teachers need to know and do? Phi Delta Kappan, 89(2), 140-145. doi: 10.1177/003172170708900210 5: Lysaght, Z., O Leary, M. (2013). An instrument to audit teachers use of assessment for learning, Irish Educational Studies, 32(2), 217-323. doi: 10.1080/03323315.2013.784636 6: Van der Kleij, F. M., Vermeulen, J. A., Schildkamp, K., Eggen, T. J. H. M. (2013, November). Data-based decision making, assessment for learning, and diagnostic testing in formative assessment. Keynote presentation at the conference of the European Association for Educational Assessment, Paris, France. 7: Van der Kleij, F. M., Vermeulen, J. A., Schildkamp, K., & Eggen, T. J. H. M. (2015). Integrating data-based decision making, Assessment for Learning, and diagnostic testing in formative assessment. Assessment in Education: Principles, Policy & Practice. doi: 10.1080/0969594X.2014.999024 Onderwijs Research Dagen 2016 16