Effectieve formatieve toetspraktijken in de klas: wat DOET de docent? Welkom op onze kennisdeeldag Judith Gulikers & Liesbeth Baartman NRO-PPO, dossiernummer 405-15-722
Take home message Onze studie laat veel zien over hoe je de formatieve toetscyclus kunt doorlopen binnen de les, met jouw studenten in jouw vak DUS: Geen enkele reden om niet morgen ermee te beginnen!
Doelen van vandaag Beelden gekregen bij onze resultaten De FT-cyclus Wat DOET de effectieve docent in de klas Wat moet de docent kennen en kunnen Focuspunten voor professionalisering Plaatje van jezelf gemaakt: Kritische reflectie op je eigen FT praktijken Elkaar geïnspireerd via kaartspel Meegedacht over wat en hoe te professionaliseren. We gebruiken jullie input om dit NRO project zo goed mogelijk af te ronden en goede voorbeelden te verzamelen en te delen
13.10-13.40 Onze resultaten: Wat DOET de docent in de klas? Pauze Programma 14.00-15.00 Kaartspel (in VIP ruimte + C103/104): Grip krijgen op je eigen FT praktijken Leren en inspireren van elkaar 15.00-15.15 Plaatje van jezelf: Wat doe je al? Wat wil je nog leren? Welke inspirerende voorbeelden kunnen we met elkaar verzamelen? Graag inleveren, zodat wij alles kunnen bundelen Pauze 15.30-15.45 Kennen, kunnen en professionaliseren: onze bevindingen 15.45-16.15 Actieve werkvorm: Wat en Hoe professionaliseren? 16.15 Borrel met exitkaart
Aanleiding Positieve effecten formatief toetsen? Grootse verwachtingen, weinig evidentie Eerdere review studies Probleem: implementatie in de klas
Onderzoeksvragen Wat DOEN docenten in de klas als ze een formatieve toetspraktijk realiseren? Wat maakt hun toetspraktijk meer / minder effectief? - student uitkomsten - theoretisch model
Theoretisch en analysekader Fase 1: Verwachtingen verhelderen Fase 5: Vervolgacties ondernemen: onderwijs & leren aanpassen Fase 2: Studentreacties ontlokken en verzamelen Fase 4: Communiceren met studenten over resultaten Fase 3: Reacties analyseren en interpreteren Antoniou & James, 2014; Ruiz- Primo & Furtak, 2006
Literatuursearch (Petticrew & Roberts, 2009) Stap 1: twee voorgaande reviews NRO 34 van de 106 artikelen geselecteerd Stap 2: database search Inclusiecriteria 1. Peer-reviewed 2. Formatief toetsen in een fysieke, schoolse context 3. Empirisch 4. Klasniveau 5. Concrete info over wat docent DOET 6. Presenteert resultaten over de relatie tussen FA en leerprocessen / leeruitkomsten van studenten
Literatuursearch - stap 2 Databases: ERIC, PsychInfo, Web of Science, Scopus Totaal search 304 Delete stap 1 68 Na scannen artikel: niet Engels, dubbelingen Delete stap 2 106 Na lezen abstract: niet empirisch, percepties Delete stap 3 21 Niet te verkrijgen: boeken Delete stap 4 37 Na scannen artikel Geselecteerd 72 Totaal : 72 + 34 = 106 artikelen
Codeerschema Atlas-ti 1. Algemeen: onderwijsniveau, land, 2. Fasen FT-cyclus 3. Wat DOEN studenten en docenten per fase
Opvallende trends Veel recente artikelen (vanaf 2008), maar vooral 2012-2015 59% van de studies uit VS 71% science / math / language 80% in basis- en middelbaar onderwijs 47% van de studies omvat een professionaliseringstraject Student uitkomsten en processen In 38% van de studies wordt iets van effecten op studenten gemeten
Bevindingen per fase Fase 1 Fase 2 Fase 3 Fase 4 Fase 5 Totaal 163 376 254 104 255 aantal % * 14% 32,6% 22% 9% 22% NOT fase 1 NOT fase 2 NOT fase 3 NOT fase 4 NOT fase 5 Totaal 49 77 61 41 79 aantal % * 16% 25% 20% 13% 26% Fase 1 Fase 2 Fase 3 Fase 4 Fase 5 Fase 1-20% 14% 36% 16% Fase 2 - - 31% 26% 38% Fase 3 - - - 11% 55% Fase 4 - - - - 19%
Trends in FT-fasen Fase 1: vaak apart onderzocht Met opvallend thema learning progressions Criteria voor sociale norm/participatie Fase 2: vaak, uitgebreid Met opvallende nadruk op informeel (noticing, questioning) Doelgericht, passend bij doelen Fase 3: vaak, gedetailleerd Vaak op klasniveau en zwakten Soms op individueel niveau / sterktes / misconcepties Ondersteuning van technologie
Trends in FT-fasen Fase 4: weinig beschreven Opvallend punt: bieden van structuur aan peer/zelf-assessments Fase 5: benoemd als problematisch: weinig handelingsrepertoire Meeste NOT Veel herhalen (reteach) en vertragen (pacing) Enkele mooie voorbeelden van doelgerichte aanpassingen passend bij analyses uit fase 3 Hardnekkig bij professionaliseren Maar wel meeste effect op student leren!
Resultaten mbt FT-cyclus Vrijwel nooit alle 5 de fasen! Vaak kleincyclisch 2-3-2-3-2-3 5 Fase 5: Herhalen (reteach) Tempo aanpassen (pacing) Differentiation / adaptation Fase 2 Student posters Quizzes Modellen Questioning Wat maakt het verschil? - Focus on begrip en misconcepties - Student sturing Fase 3 Antwoorden vergelijken Hele klas discussies Expliciteren en uitdiepen in kleine groepen
De effectieve FA docent... (NB een selectie!) Doorloopt fasen 2/3/5 Werkt vanuit een learning progression: Hoe ontwikkelt een student kennis in mijn vakgebied? Wat zijn veel voorkomende misconcepties? Expliciteert leerdoelen meerdere malen, op meerdere manieren Ontwikkelt met studenten succescriteria Gebruikt formele, maar vooral ook veel informele manieren om student reacties te ontlokken en uit te diepen Goede vragen stellen, doorvragen en klas/groepsdiscussie opzetten Zet gestructureerde activiteiten in om studenten actief te betrekken
De effectieve FA docent... (NB een selectie!) Doorloopt fasen 2/3/5 Werkt vanuit een learning progression: Hoe ontwikkelt een student kennis zich in mijn vakgebied? Wat zijn veel voorkomende misconcepties? Expliciteert leerdoelen meerdere malen, op meerdere manieren Ontwikkelt met studenten succescriteria Gebruikt formele, maar vooral ook veel informele manieren om student reacties te ontlokken en uit te diepen Goede vragen stellen, doorvragen en klas/groepsdiscussie opzetten Is gericht op actieve studentbetrokkenheid in alle fasen
Enkele kanttekeningen Focus op concreet handelen in de klas Veel studies over informeel FT Veel studies in PO/VO met een concrete vak context (wiskunde, taal, science) Effectief = effect op studenten, echter meestal meer voldaan aan theoretische FT model Maar: voor ons in ieder geval een nieuwe invalshoek om te kijken naar formatief toetsen gericht op wat jij als docent in het klein kunt doen in jouw klas met jouw studenten.
Kaartspel (na pauze) Groepen maken (doen we zo!) 3 soorten kaarten: 1. Hoe doe ik dat? Wat kan er beter? 2. Hoe doen wij dat? 3. Wat vinden wij van voorbeelden en ideeën van anderen? Om de beurt kies je een kaart, leest voor en voert opdracht uit als groep Doel = reflectie op je eigen FT-praktijk en elkaar inspireren. Valkuil = half uur blijven hangen bij 1 kaart. Er zijn er meer dan 30, dus ACTIE IN DE TAXI 15.00 15.15 Plaatje van jezelf + inleveren
Pauze en daarna kaartspel Workshops: In deze ruimte In C103 (verdieping 1) Om 15.15 weer hier verzamelen (verse koffie!) judith.gulikers@wur.nl liesbeth.baartman@hu.nl
Kennen, kunnen en professionaliseren: onze bevindingen
Werkwijze 1. Artikelen gecodeerd op teacher competencies for formative assessment 2. Kennen en kunnen gedestilleerd uit docenthandelingen in FT-fasen (zie posters) 48 % van de studies: professionalisering Op welke FT-fasen hadden deze betrekking? Hoe zag traject eruit? Wat waren de effecten?
Kennen en kunnen Met stip op 1: vakkennis kunnen inzetten tbv FT Zicht op learning progressions, misconcepties, doelen en succescriteria (fase 1) Meer inhoudelijk analyseren (fase 3) Doelgerichtere feedback kunnen geven (fase 4) Met stip op 2: vakdidactiek kunnen inzetten tbv FT Vooral cruciaal voor stap 2 en 5: Doelgericht inzetten van breed repertoire methodieken (fase 2) Doelgericht aanpassen van instructiestrategie (fase 5)
Cyclisch werken en aansluiting (alignment) tussen de verschillende fasen creëren Fase 1: Verwachtingen verhelderen Methodieken die informatie mbt de doelen ontlokken Fase 5: Vervolgacties ondernemen: onderwijs & leren aanpassen 1. Feedback geven gekoppeld aan doelen 2. Verbetersugges ties die helpen dichter bij doelen te komen Fase 4: Communiceren met studenten over resultaten Keuze voor vervolgstrategie baseren op analyse (fase 3) Fase 2: Studentreacties ontlokken en verzamelen Fase 3: Reacties analyseren en interpreteren 1. Reacties op doelinformatie analyseren 2. Weet je niet genoeg: gericht aanvullende info ontlokken
Student-docent relatie Expliciet ter discussie stellen Student actief betrekken in de fasen van de FT-cyclus - Geen testing maar helping vragen - Leren goede vragen te stellen - Fysieke ruimte gebruiken - Feedback formulieren
En verder... Doel met FT => leerdoelen Zelfsturend leren / autonomie Technologie inzetten Doorleefd begrip van formatief toetsen en rol van de student (= belief aspect)
Professionalisering: waar zit de winst? 1. Cyclische gedachte en alignment: nu vaak fase 1 los geprofessionaliseerd of 2-3-5 professionalisering 2. Doelgericht werken / learning progressions (en doorwerking naar alle fasen) 3. Vakinhoudelijke en vakdidactische professionalisering verbinden (fase 5) 4. Informeel FT: goede vragen stellen, klasdiscussies opzetten 5. Gericht zijn op misconcepties, sterktes én zwaktes 6. Activiteiten om student-docent relatie expliciet aan de orde te stellen
Opdracht 1. Kies uit 1 van de 6 plekken in de ruimte: de 5 FT-fasen + de gehele cyclus 2. Kiezen omdat: Je op deze fase echt graag iets wilt leren Je voor deze fase een goed idee/ervaring hebt mbt professionalisering 3. Maak groepen van max 4 personen 4. Vul format in: Wat vinden jullie dat hier geprofessionaliseerd moet worden? Beschrijf een creatieve manier op dit zo effectief mogelijk te doen (nu verzonnen of uit eigen ervaring) 5. Om 16.10: iedere groep geeft een 30 sec. PITCH van hun idee
Bedankt bedankt en tot ziens! Jullie ontvangen later via de mail: De verzamelde good practices De praktische output Het goedgekeurde eindrapport Voor meer info, mail ons! judith.gulikers@wur.nl liesbeth.baartman@hu.nl Nu borrel en exit kaart (geef ons jouw tip, top en/of eyeopener)