Datateams voor schoolverbetering: Verhalen uit de praktijk Kim Schildkamp: k.schildkamp@utwente.nl
Opbrengstgericht werken Gebruik maken van data, zoals toetsen, om het onderwijs te verbeteren (zie Schildkamp & Kuiper, 2010) Systematisch Analyseren van aanwezige data binnen de school De informatie gebruiken om het onderwijs te verbeteren
Data Verschillende soorten data, zoals: zelfevaluatie resultaten inspectierapporten toetsresultaten vragenlijsten instroom, doorstroom, uitstroom observaties in de klas interviews met leerlingen
Waarom? Controleren of doelen bereikt worden Geen intuïtie en gevoel, maar verantwoorde beslissingen Kan leiden tot onderwijsverbetering (e.g. Carlson, Borman & Robinson, 2011) Echter, (nog) te weinig gebruik
Oplossing: datateams!
Wat is een datateam? Team van 6-8 personen Docenten en schoolleiding (evt. kwazo-medewerker) Aan de slag met een bepaald onderwerp: doorstroom, rendement, examenresultaten Doorlopen het acht stappenplan: Hypotheses toetsen met data Data-analyse en conclusies Oplossingen implementeren en evaluatie Uiteindelijk: onderwijs verbeteren
Datateams in Nederland Bonhoeffer College Twents Carmelcollege Het Erasmus Carmelcollege Salland Reggesteyn Oudehoven Herbert Vissers College Ubbo Emmius Pallas Athene Groenhorst Het Nieuw Lyceum Het Noordik Trias Dingstede Almere College Sg. St.-Canisius EHL Het Vlier Maartenscollege EHL Het Slatink Het Hooghuis Pius X College Bataafs Lyceum Melanchthon
Stap 1: Probleem definiëren Meetbare doelstelling Huidige en gewenste situatie Vele onderwerpen mogelijk: Schoolbrede problemen: Doorstroom, afstroom, rendement Bepaalde (beleids)ontwikkeling, bijv. rekenen- en taalbeleid Vakspecifieke problemen: (Examen)resultaten bijv. Engels, wiskunde, biologie Doorgaans te laag CE of te groot verschil CE en SE
Stap 1: Voorbeelden probleemstelling Wij zijn ontevreden over de CE resultaten voor het vak biologie van de havo-afdeling. De afgelopen 5 jaar was het CE-cijfer structureel 0,5 punten lager dan het landelijk gemiddelde (6,3). We streven ernaar om binnen drie jaar minimaal op het landelijk gemiddelde uit te komen. We zijn ontevreden over het doorstroomrendement in de bovenbouw van de vwo, want het doorstroompercentage is gedaald van 75% (2007-2008) naar 48% (2010-2011). We streven ernaar om dat percentage binnen drie jaar terug te brengen naar 70%.
Stap 2: Hypotheses opstellen Meetbaar en concreet! Vaak eerst extern (buiten zichzelf): probleem komt door basisscholen, door beleid van de school etc. Dit is onderdeel van het proces, want het is belangrijk voor professionele ontwikkeling: Vertrouwen creëren Oefenen met het stappenplan Je leert het meest van fouten! Toont het belang van data aan
Stap 2: voorbeelden hypotheses Het doorstroompercentage van het profiel EM is structureel lager dan het doorstroompercentage van de totale havo. Er zijn significant meer jongens dan meisjes die afstromen van 5 vwo naar 5 havo De leerlingen die afstromen van 5vwo naar 5havo komen significant vaker uit de maatschappijprofielen. De afnemende trend bij de doorstroompercentages bovenbouw havo wordt veroorzaakt doordat het percentage doublanten in 4 havo structureel hoger is dan 20%. Leerlingen afkomstig uit locatie x en leerlingen die opstromen vanuit het vmbo, hebben een negatieve invloed op het CE-cijfer en het verschil SE-CE. In de afgelopen cohorten is de afstroom van 3V naar 4H toegenomen, omdat meer dan de helft van deze leerlingen tegen het advies van 2D naar 3VWO zijn gegaan en daarna alsnog zijn afgestroomd naar 4HAVO. De basisschool adviseert te hoog waardoor leerlingen afstromen in klas 2 of 3. Leerlingen die blijven zitten spijbelen significant vaker Als breuken en percentages niet regelmatig herhaald worden vergeten leerlingen bijna alles wat ze geleerd hebben Problemen met de doorlopende leerlijn zijn van invloed op het zittenblijven in 4 Havo Docenten geven meer feedback op het resultaat dan op het proces
Stap 3: Data verzamelen Veel verschillende data al beschikbaar binnen de school (bijv. Vensters voor Verantwoording, rapporten Inspectie) Maak gebruik van bestaande instrumenten Naast kwantitatieve data (vragenlijsten, toetsen, doorstroom) kunnen kwalitatieve data ook waardevol zijn (observaties, interviews)
Stap 3: Voorbeelden data Doorstroom gegevens (en geslacht, profiel, thuistaal) Toetsgegevens CE en SE CITO en advies basisscholen Vragenlijsten: motivatie, feedback, studievaardigheden, doorlopende leerlijn Observaties in de klas: feedback Interviews: studiehouding
Stap 4: Controleren kwaliteit verzamelde data Belangrijk om foute beslissingen te voorkomen! Helaas ook niet valide en niet betrouwbare data aanwezig
Stap 4: Voorbeelden kwaliteit Toetsdata: te weinig sommen over breuken en percentages voor een oordeel Motivatievragenlijst: problemen met validiteit (e.g. Ik voel mij uitgedaagd op school) Problemen met adviesdata Gelukkig ook wel veel goede data
Stap 5: Data analyse Lastig! Kwalitatieve data analyse Kwantitatieve data analyse Ondersteuning: cursus data analyse
Stap 5: Voorbeelden data analyse Vak Aantal onvoldoendes 4 Havo (N=83) Wiskunde 28 Engels 19 Economie 19 Geschiedenis 16 Duits 7 Scheikunde 6 Natuurkunde 3 Nederlands 3 Biologie 2 Uit de T-toets blijkt dat leerlingen over een periode van 3 maanden significant achteruit gaan: van gemiddeld een 7.4 naar een 4.8.
Stap 6: Interpretatie en conclusie Kloppen de hypotheses? Zo niet: terug naar stap 2 (komt vaak voor!) Zo ja, verder met stap 7
Stap 6: Voorbeelden conclusies Het doorstroompercentage van het profiel EM is structureel lager dan het doorstroompercentage van de totale havo. Als breuken en percentages niet regelmatig herhaald worden vergeten leerlingen bijna alles wat ze geleerd hebben Leerlingen die met 4 onvoldoendes over gaan van 3 naar 4 Havo blijven in 4 Havo alsnog zitten Leerlingen met lage prestaties wiskunde in de onderbouw komen van basisscholen A, B en C Er zijn significant meer jongens dan meisjes die afstromen van 5 vwo naar 5 havo Problemen met de doorlopende leerlijn zijn van invloed op het zittenblijven in 4 Havo De leerlingen die afstromen van 5vwo naar 5havo komen significant vaker uit de maatschappijprofielen. Leerlingen afkomstig uit locatie x en leerlingen die opstromen vanuit het vmbo, hebben een negatieve invloed op het CE-cijfer en het verschil SE-CE. De basisschool adviseert te hoog waardoor leerlingen afstromen in klas 2 of 3. Leerlingen die blijven zitten spijbelen significant vaker Docenten geven meer feedback op het resultaat dan op het proces
Stap 7: Maatregelen nemen op basis van data Doel van de actie (meetbaar en zie ook probleemstelling) en wanneer tevreden? Teamleider en teamleden? Welke concrete maatregelen en deadlines? Alleen data vaak niet genoeg Taakverdeling? Middelen? Hoe vooruitgang monitoren? Welke data zijn hiervoor nodig?
Stap 7: Voorbeelden maatregelen Actieplan feedback in de klas Strenger beleid zittenblijven Secties aan de slag met doorlopende leerlijn Breuken en percentages vaker herhalen in de klas Internet oefenprogramma s Meer huiswerk controleren
Stap 8: Maatregelen evalueren Procesevaluatie: Worden de maatregelen zo uitgevoerd als bedacht? Worden de maatregelen door iedereen uitgevoerd? Effectevaluatie: Is het probleem opgelost: m.a.w. is het doel zoals geformuleerd in stap 1 behaald?
Stap 8: Voorbeelden evaluatie Wiskunde: Proces: Docenten herhalen elke les via een quiz op het bord breuken en percentages. Uit de evaluatie met leerlingen blijkt dat dit te veel is en dit wordt terug gebracht naar eens per week Effect: Wiskundeprestaties zijn significant omhoog gegaan Doorstroom: Proces: Spijbelaars worden onmiddellijk aangesproken en ervaren de consequenties van hun gedrag Effect: Het aantal zittenblijvers is significant verminderd
Pilot onderzoek: functioneren datateams Van ervaring en intuïtie naar data Verschillende rondes hypotheses: eerste hypotheses kloppen vaak niet! In het begin vooral externe oorzaken, maar oorzaken op klasniveau kloppen vaker Na een aantal rondes hypotheses meestal iemand die zegt we hebben gekeken naar oorzaken buiten de school, oorzaken op schoolniveau en naar onze leerlingen, misschien moeten we meer kijken naar wat er in de klas gebeurt.
Pilot onderzoek: bevorderende en belemmerende factoren Schoolleider Tijd Samenwerking en communicatie binnen en buiten het datateam Vrijwillig Gezamenlijk probleem en doel Structuur/stappenplan Ondersteuning
Pilot onderzoek: eerste effecten Professionele ontwikkeling: Opbrengstgericht werken Leren van elkaar Schoolverbetering: Betere wiskundeprestaties Minder zittenblijvers
Meer onderzoek nodig! Hoe verder? Komende jaren 37 datateams Twee jaar begeleiding van de UT Werkboek en materialen Cursus data analyse Ontmoetingsdagen en conferenties
Vervolgonderzoek Funtioneren datateams Rol schoolleider en kwaliteitszorgmedewerker Effecten: attitude, kennis en vaardigheden, gedrag, leerprestaties Beleid opbrengstgericht werken Kennisdeling Sociale netwerken Duurzaamheid
Hartelijk dank voor uw aandacht Vragen voor de sprekers kunt u tijdens de follow up sessies stellen (en/of tijdens de pauze) Vergeet niet uw vragen voor de keynotes te noteren in het Engels op de bijgevoegde kaarten! (indien deelname W1) Onze projectmedewerkers achterin de zaal nemen deze graag in ontvangst
Lunchtime!