Wat zien wij en wat vinden wij er van? Colofon datum 28 oktober 2013 auteur Jan Vermeulen status Definitief
pagina 2 van 8 Inhoudsopgave pagina 1 Inleiding en vraagstelling 3 2 RTL en de rangordelijstjes 4 2.1 Hoe kijkt Cito aan tegen het gebruik van de gemiddelde schoolscores op de Eindtoets? 4 2.2 Verdere overwegingen 5 2.3 Vensters PO 7 3 Vergelijking van de scores 8 3.1 Vergelijking RTL-lijst en -gegevens 8 3.2 Vergelijking binnen RTL-lijst van -scholen en andere scholen in de kernen 8 Bijlage I Overzicht scores Eindtoets Basisonderwijs 2010-2011-2012 vergelijking gemiddelde met RTL-scores Bijlage II Overzicht scores Eindtoets Basisonderwijs 2010-2011-2012 vergelijking met andere scholen in kern Waar deze notitie in de openbaarheid ligt, zijn de genoemde bijlagen niet toegevoegd.
pagina 3 van 8 Inleiding & vraagstelling 1.1. Inleiding Aanleiding voor deze notitie is dat RTL-nieuws op 14 september met rapportcijfers voor de basisscholen kwam. Die rapportcijfers zijn gebaseerd op de eindtoetsscores in 2010, 2011 en 2012. Op de publicatie van deze cijfers is binnen het primair onderwijs niet positief gereageerd. Al in maart 2013 plaatste het Cito een artikel op haar website waarin deze organisatie zich zeer negatief uitliet over de ophanden zijnde publicatie. In deze notitie wordt toegelicht waarom er kritisch moet worden gekeken naar de gepubliceerde lijsten en vergelijkingen. Uitgelegd wordt hoe het Cito tegen deze zgn. lijstjesjournalistiek aankijkt. Ook hoe RTL de vergelijking heeft gemaakt. Vervolgens zal worden aangegeven hoe op een betere manier vergelijkbare cijfers gepresenteerd kunnen worden. Omdat de Inspectie van het Onderwijs er in een brief (van 12 september 2013) op gewezen had dat RTL haar lijsten gebaseerd heeft op de ruwe schoolscores en niet op gecorrigeerde schoolscores en omdat scores leken af te wijken van het beeld dat binnen bestaat over de scores, is er een vergelijking gemaakt tussen de scores in de RTLpublicatie en de gemiddelde (gecorrigeerde) schoolscores die bij bekend zijn. Tevens was er nieuwsgierigheid naar hoe de -scholen scoren in vergelijking met andere scholen binnen dezelfde woonplaats. En er lag de vraag of er uit de scores wellicht nog andere conclusies te halen zijn. Om die redenen is er een vergelijking gemaakt met de andere scholen in de woonplaatsen waar scholen heeft.
pagina 4 van 8 1 RTL en de rangordelijstjes 2.1 Hoe kijkt Cito aan tegen het gebruik van de gemiddelde schoolscores op de Eindtoets? In een artikel dat Cito op 11 maart op haar website plaatste is gereageerd op het besluit dat de staatssecretaris om de eindresultaten van groep 8 in het basisonderwijs openbaar te maken. Cito acht de gemiddelde schoolscore op de Citotoets niet geschikt als maat voor de kwaliteit van het onderwijs. De toets is immers bedoeld als hulpmiddel voor de scholen, als tweede onafhankelijke gegeven naast het advies van de basisschool. Cito geeft aan dat terecht door critici wordt gesteld dat de Citotoets niet meet wat de kwaliteit van een school is, maar meet wat leerlingen van groep 8 kennen en kunnen op het gebied van de Nederlandse taal, rekenen-wiskunde en studievaardigheden. De inspectie van het onderwijs kijkt daarom ook naar méér dan alleen de scores op een eindtoets om de kwaliteit van het onderwijs te beoordelen. In het artikel staat ook het volgende: Kwaliteit onderwijs bepaalt slechts ten dele de Cito-score De kwaliteit van het onderwijs bepaalt slechts ten dele de hoogte van de Cito-score van leerlingen. Zo weten we dat leerlingen gemiddeld genomen beter presteren als hun ouders hoger zijn opgeleid en dat bij vergelijkbare opleiding van ouders, de autochtone leerlingen in het algemeen iets beter presteren dan allochtone leerlingen1. De leerlingenpopulatie in het basisonderwijs is heel heterogeen, en de samenstelling verschilt ook sterk tussen scholen. Zo zijn er scholen die vrijwel alleen leerlingen hebben van hoogopgeleide ouders die al met veel bagage op school komen en thuis ook veel stimulansen krijgen. Andere scholen hebben vooral leerlingen van laagopgeleide ouders, die met een achterstand in groep 1 instromen. Het laatste type scholen zal veel meer moeten doen om een bovengemiddelde Cito-score te krijgen dan het eerste type scholen. Niet voor niets dat bij de beoordeling van de gemiddelde score rekening wordt gehouden met de samenstelling van de leerlingenpopulatie van een school. Andere zaken die de vergelijkbaarheid van de scores bemoeilijken, zijn: - Een deel van de scholen gebruikt andere toetsen dan de Citotoets om te rapporteren over de eindresultaten van hun leerlingen, te weten het Schooleindonderzoek, het Drempelonderzoek of toetsen uit leerlingvolgsystemen. Het tijdstip waarop deze toetsen worden afgenomen, loopt uiteen van september groep 8 tot en met maart groep 8. - Scholen kiezen er soms voor om een deel van hun leerlingen niet deel te laten nemen aan een eindtoets. Dit omdat de inspectie de resultaten van deze leerlingen niet meeneemt in de beoordeling van de eindresultaten. Dit betreft bijvoorbeeld leerlingen die toelaatbaar zijn voor het praktijkonderwijs of het voortgezet speciaal onderwijs. - Tot slot kiezen scholen er soms voor om bij een deel van de leerlingen bijvoorbeeld de Citotoets af te nemen en bij een ander deel het Drempelonderzoek.
pagina 5 van 8 Dit alles maakt dat de gemiddelde scores op de Citotoets niet altijd gebaseerd zijn op álle leerlingen uit groep 8 van een school. Als we dit voegen bij de eerdere constatering dat de samenstelling van de leerlingenpopulatie zeer verschillend is tussen scholen, dan kunnen we stellen dat de score sec maar een beperkte indicatie is van de kwaliteit van het gegeven onderwijs. Waarde van rangordelijst Maar stel nu dat er toch een rangordelijst gemaakt wordt op basis van een eindtoets: wat is dan de waarde van die rangorde? Op basis van de resultaten van de Citotoets 2012 hebben we onderzocht hoe stabiel de rangordepositie van een school is. Het onderzoek, dat we hieronder toelichten, laat zien dat de waarde van een rangorde om een aantal redenen beperkt is: 1. De gemiddelde schoolscores op de Citotoets liggen dermate dicht bij elkaar, dat een kleine verandering in de score leidt tot een grote verandering in de rangordepositie van een school. Zo hebben de nummers 1.954 tot en met 2.687 dezelfde gemiddelde schoolscore afgerond op één cijfer achter de komma. 2. De score van een individuele leerling kan een groot effect hebben op de schoolscore en daarmee op de rangordepositie van een school. Dit is mede het gevolg van de beperkte grootte van de groepen 8 in de scholen. Als in het ene schooljaar net een heel sterke of een heel zwakke leerling zit, kan dit grote gevolgen hebben voor de rangordepositie van de school. 3. Hoe kleiner de school, des te groter het effect. In de voorbeelden hieronder zou een kleine school (5-10 leerlingen) van plek 4.251 naar plek 1.021 gaan als de zwakste leerling niet mee zou hebben gedaan. Tot slot: bij de berekening van deze schoolscores wordt geen rekening gehouden met de verschillen in leerlingenpopulatie. Tevens is niet van elke school bekend of alle leerlingen de toets hebben gemaakt en dus in de berekening zijn meegenomen. 2.2 Verdere overwegingen Onder het publiceren van rangordelijsten op basis van de Cito-scores ligt de veronderstelling dat aan de scores af te lezen is of scholen kwalitatief goed zijn. Scholen kunnen met elkaar vergeleken worden door ouders, zodat zij hun schoolkeuze daarop kunnen baseren. Slecht scorende scholen zullen minder aanmeldingen krijgen; voor scholen moet dit een extra stimulans worden om te streven naar hogere scores. Kwaliteit van een school is echter aan meer af te lezen dan aan de Cito-scores, dan aan een paar cijfers op de website van RTL-Nieuws. Ouders worden door RTL-Nieuws nu op het verkeerde been gezet. Op basis van de nu gepubliceerde informatie kan een verkeerd beeld ontstaan van de kwaliteit van het onderwijs en van de scholen. Dat komt omdat van school tot school verschilt welke leerlingen aan de toets deelnemen waardoor de scores van scholen onderling niet zonder meer vergelijkbaar zijn. Bovendien is de kwaliteit van een school meer dan alleen de score op een eindtoets. Op basis van deze gegevens kunnen dus niet zomaar conclusies worden getrokken.
pagina 6 van 8 Vanuit wetenschappelijke hoek is er zeer kritisch gereageerd op de lijstjes van RTL en op de door prof. Dronkers toegepaste methodologie. Op de website Stuk Rood Vlees werd o.a. door Thijs Bol (18-09-2013) korte metten gemaakt met zijn wijze van verwerken van de ruwe cijfers. Tenslotte concludeerde hij: Ik ben geen tegenstander van het openbaar maken van schoolprestaties. Mijn grootste bezwaar is de manier waarop RTL de cijfers publiek heeft gemaakt, in de vorm van rapportcijfers. Naast dat er onzorgvuldig is omgesprongen met de gegevens, wekt de methode van RTL en Dronkers de illusie dat er gecontroleerd is voor alle relevante factoren. Dat de rapportcijfers die RTL geeft puur toe te wijzen zijn aan de prestaties van scholen, en dat scholen daar dus op afgerekend mogen worden. Dit is onterecht, het model van Dronkers is onvolledig en mist goede data over de sociaal-economische samenstelling van scholen. De lijst van Dronkers zal gedeeltelijk ouders keuze voor een basisschool voor hun kinderen gaan bepalen. Dronkers liet in een verweer en ook in latere reacties op Stuk Rood Vlees zien dat hij zich bewust was van de beperktheid van zijn cijfers. Hij erkende dat hij creatieve oplossingen had moeten bedenken voor een suboptimaal resultaat. Uit de gedetailleerdheid van zijn weerwoord en ook die van de kritiek blijkt dat met enkele eenvoudige keuzes er eigenlijk geen deugdelijk en te vergelijken materiaal ligt. Ten onrechte wordt het gewicht van de gemiddelde schoolscores op de Cito-Eindtoets steeds groter gemaakt. Dit veroorzaakt in de praktijk ongetwijfeld teaching to the test en kan afleiden van minder meetbare maar zeer waardevolle onderdelen van ons onderwijs. Wat makkelijker gemeten kan worden lijkt vooral van waarde te zijn. De Cito-Eindtoets is niet ontworpen is als selectie-instrument en kwaliteitsinstrument, maar als meet-instrument. Helaas maken ook VO-scholen vaak alleen maar gebruik van de scores bij de selectie bij het aannemen van nieuwe leerlingen. En helaas menen ook velen dat met de scores op met name taal, lezen en rekenen de kwaliteit van een school gemeten kan worden. Een citaat uit een uitgebreide reactie op Stuk Rood Vlees van Dick van der Wateren (22-09-2013) wil ik graag niet onvermeld laten: Het lijkt erop dat onze overheid de zelfde rampzalige weg gaat volgen waar, als de tekenen niet bedriegen, de VS langzaam op terugkeert. Scholen en docenten vergelijken en afrekenen op basis van aanvechtbare rekenmodellen heeft daar inmiddels grote schade aangericht. Die weg moeten we niet inslaan. Wetenschappers hebben hierbij de opdracht de modellen, waarop het onderwijsbeleid is gebaseerd, kritisch tegen het licht te houden. De onderwijsinspectie is in het leven geroepen om toe te zien op de kwaliteit van het onderwijs. Ook die gegevens zijn openbaar. Ze zijn weliswaar niet zaligmakend maar geven bredere informatie.
pagina 7 van 8 2.3 Vensters PO Wij werken samen met de PO-Raad aan het ontwikkelen van Vensters PO. Via de website van Vensters PO (www.scholenopdekaart.nl) worden de gemiddelde eindscores van alle basisscholen op een vergelijkbare wijze en samen met andere informatie gepresenteerd en toegelicht. In Vensters PO komt bijvoorbeeld ook informatie te staan over ouder- en leerlingtevredenheid, schoolklimaat en veiligheid en de uitstroom van leerlingen naar het voortgezet onderwijs. Op deze wijze kunnen onze scholen makkelijker en breder vergeleken worden andere scholen. Daardoor zullen wij professioneler kunnen sturen op onderwijskwaliteit. En ouders kunnen op basis van de informatie een beter afgewogen schoolkeuze maken voor hun kinderen. De eerste gegevens in Vensters PO komen in november 2013 beschikbaar. Daarna worden tot het voorjaar 2015 periodiek nieuwe gegevens toegevoegd.
pagina 8 van 8 3 Vergelijking van de scores 3.1 Vergelijking RTL-lijst en -gegevens Omdat de Inspectie van het Onderwijs er in een brief (van 12 september 2013) op gewezen had dat RTL haar lijsten gebaseerd heeft op de ruwe schoolscores en niet op gecorrigeerde schoolscores en omdat scores leken af te wijken van het beeld dat binnen bestaat over de scores, is er een vergelijking gemaakt tussen de scores in de RTLpublicatie en de gemiddelde (gecorrigeerde) schoolscores die bij bekend zijn. Dat overzicht is hierachter te vinden. Uit het overzicht blijkt dat de helft van de scholen een hogere score heeft bij RTL en de helft een lagere score. 3.2 Vergelijking binnen RTL-lijst van -scholen en andere scholen in de kernen Omdat de Inspectie van het Onderwijs er in een brief (van 12 september 2013) op Tevens was er nieuwsgierigheid naar hoe de -scholen scoren in vergelijking met andere scholen binnen dezelfde woonplaats. En er lag de vraag of er uit de scores wellicht nog andere conclusies te halen zijn. Om die redenen is er een vergelijking gemaakt met de andere scholen in de woonplaatsen waar scholen heeft. Dat overzicht is tevens hierachter te vinden. Er zijn geen grote conclusies te trekken uit deze cijfers.