Primair en speciaal onderwijs Cito Volgsysteem Aanvullende analyse Terugblik en resultaten 2013 Oktober 2013 Eindtoets Basisonderwijs Groep 8
Lagere gemiddelde eindtoetsscore in 2013: onderzoek naar mogelijke oorzaken Cito, oktober 2013 In 2013 is de gemiddelde standaardscore van de deelnemende leerlingen op de Eindtoets Basisonderwijs (EB) 535,0. In 2012 was deze nog 535,5. Dit gaf aanleiding om nader te onderzoeken waar dit verschil mogelijkerwijze door veroorzaakt kan zijn. In onderstaande tabel 1 staat een overzicht van het aantal deelnemers en de landelijk gemiddelde standaardscores in de jaren 2006 t/m 2013. Tabel 1: Gemiddelde standaardscore Eindtoets Basisonderwijs 2006 2013 Gem. standaardscore Aantal leerlingen n EB2006 534,8 149.920 EB2007 535,1 143.507 EB2008 535,0 145.154 EB2009 535,1 146.826 EB2010 535,4 147.100 EB2011 535,5 151.103 EB2012 535,5 156.947 EB2013 535,0 160.304 Uit de tabel wordt duidelijk dat de gemiddelde standaardscore veelal rond de 535 fluctueert. In 2010, 2011 en 2012 lag het gemiddelde duidelijk boven de 535, in 2013 is de gemiddelde standaardscore exact 535,0. Cito heeft onderzocht waardoor deze relatief kleine terugval verklaard zou kunnen worden door de gegevens van de EB2012 en EB2013 nader te analyseren. Naast de lichte daling in de gemiddelde standaardscore is de stijging in de deelnemersaantallen opvallend. De introductie van de papieren versie van de Niveautoets in 2013 kan aan deze stijging hebben bijgedragen. Tabel 2 geeft een overzicht van de EB2012 en 2013, nu uitgesplitst naar de verschillende toetsversies in de betreffende jaren. Naast de papieren en digitale versie van de Eindtoets Niveau en Basis is er nog een ankerversie van de EB. Deze versie hebben we in tabel 2 buiten beschouwing gelaten. 1
Tabel 2: Beschrijvende statistieken EB 2012 en 2013 uitgesplitst naar toetsversie 2012 Gem. standaardscore sd n EB Basis papier 535,94 8,923 147.099 EB Niveau digitaal 1 521,10 6,940 4.576 EB Basis digitaal 2 530,74 9,014 2.253 2013 Gem. standaardscore sd n EB Basis papier 537,22 8,381 129.862 EB Niveau papier 521,72 8,265 22.280 EB Basis digitaal 534,60 8,547 2.939 EB Niveau digitaal 524,34 7,189 1.369 De papieren versie van EB Niveau is in 2013 door ruim 20.000 leerlingen afgenomen. Deze toets is speciaal ontwikkeld voor de relatief zwakkere leerlingen van groep 8. De vragen in deze toets zijn over het algemeen wat makkelijker dan die van EB Basis en daardoor beter op maat gesneden voor de minder vaardige leerlingen. De standaardscores behaald op de verschillende toetsen zijn echter wel direct met elkaar vergelijkbaar. Dit is gerealiseerd doordat een deel van de vragen in beide toetsen voorkomt en de toetsen mede daardoor via een IRT-model geëquivaleerd zijn. EB Niveau bevat gemiddeld genomen makkelijkere vragen dan EB Basis. Dat betekent dat leerlingen die EB Niveau maken, meer vragen goed moeten hebben dan leerlingen die EB Basis hebben gemaakt om een zelfde standaardscore te halen. Scholen is geadviseerd om leerlingen met ten hoogste een vmbo kb-advies in te schrijven voor EB Niveau. Logischerwijs is de gemiddelde standaardscore van de leerlingen die deze toets hebben gemaakt een stuk lager dan de gemiddelde standaardscore van de leerlingen die EB Basis hebben gemaakt. De papieren versie EB Basis is door de introductie van de papieren versie EB Niveau in 2013 door minder leerlingen gemaakt. Doordat de minder vaardige leerlingen in 2013 veelal de papieren versie van EB Niveau hebben gemaakt, ligt de gemiddelde standaardscore van de papieren versie van EB basis in 2013 iets hoger dan in EB 2012. Leraren wordt gevraagd een inschatting mee te geven van het niveau van de leerlingen op het antwoordformulier van de EB. Dit wordt doorgaans voor 70% van de leerlingen ook aangegeven. Deze gegevens zijn voor 2012 en 2013 te vinden in tabel 3. 1 Naam van deze toets tot en met 2012: Niveautoets 2 Naam van deze toets tot en met 2012: Digitale Eindtoets Basisonderwijs 2
Tabel 3: Leerkrachtadvies, ingevuld op het antwoordformulier 2012 2013 N % n % vmbo bb 6.815 4,3 7.370 4,6 vmbo bb/kb 5.317 3,4 5.769 3,6 vmbo kb 10.998 7,0 11.527 7,2 vmbo gt 22.985 14,6 23.509 14,7 vmbo gt/havo 14.702 9,4 14.296 8,9 vmbo gt/havo/vwo 1.453 0,9 1.252 0,8 havo 17.307 11,0 18.015 11,2 havo/vwo 15.670 10,0 14.780 9,2 vwo 16.686 10,6 17.099 10,7 onbekend 45.014 28,7 46.687 29,1 Totaal 111.933 71,3 113.617 70,9 Wat opvalt bij de vergelijking van de deelnemers in 2013 met die van 2012, is dat zowel absoluut als relatief meer leerlingen waarvan de leerkracht inschat dat ze doorstromen naar brugklastype basisberoepsgerichte leerweg en/of kaderberoepsgerichte leerweg, de toets hebben gemaakt. Om een betere vergelijking te kunnen maken tussen de gemiddelde standaardscores van 2012 en 2013 zijn de gegevens van 2013 gewogen op de verdeling van adviezen van 2012. Na deze weging zijn de gegevens van 2013 dus representatief met betrekking tot de gegeven adviezen ten opzichte van 2012. Het gewogen gemiddelde van 2013 is te vinden in tabel 4. Tabel 4: Gewogen gemiddelde standaardscore EB2013 op basis van advies leerkracht Gewogen gemiddelde standaardscore 2013 Weging op leerkrachtadviezen 535.1 Tabel 4 laat zien dat, gebruikmakend van de achtergrondinformatie van 2012, het gewogen gemiddelde voor EB 2013 iets hoger ligt dan het ongewogen gemiddelde. Dit geeft aan dat in ieder geval een gedeelte van de daling in de gemiddelde standaardscore in 2013 ten opzichte van 2012 verklaard kan worden door een verschil in de deelnemende populatie wat betreft leerkrachtadvies. De deelnemers aan beide eindtoetsen kunnen ook op andere variabelen van elkaar verschillen, waardoor de gemiddelde standaardscore verschilt. Daarom hebben we, naast bovenstaande weging op leerkrachtadviezen, een uitgebreidere weging uitgevoerd met behulp van enkele andere achtergrondvariabelen: leeftijd, geslacht, stedelijkheid van de schoollocatie en eveneens het leerkrachtadvies. We hebben daarbij gebruik gemaakt van de propensity score weging 3. De gewogen gemiddelden van 2012 en 2013 op basis van deze propensity score weging zijn te vinden in tabel 5. Tabel 5 Gewogen gemiddelden standaardscore EB2012 en EB2013 op basis van propensity scores Gewogen gemiddelde standaardscore 2012 535.4 2013 535.1 3 Austin PC: An introduction to propensity score methods for reducing the effects of confounding in observational studies. Multivariate Behavior Research, 46:399-424, 2011. 3
Tabel 5 laat zien dat met het meenemen van meerdere achtergrondvariabelen het verschil in de gemiddelde EB score tussen 2012 en 2013 verder afneemt tot 0,3. Dit geeft een verdere aanwijzing dat er een wat andere groep leerlingen heeft deelgenomen aan de EB 2013 en dat dit heeft bijgedragen aan een wat lagere gemiddelde in 2013. Conclusie Deze korte studie is uitgevoerd om nader te onderzoeken wat een mogelijke oorzaak is voor de lichte daling in de gemiddelde standaardscore in 2013 ten opzichte van 2012. Het eerste wat opvalt, is dat de gemiddelde standaardscores de afgelopen jaren altijd enigszins fluctueren rond de 535. De standaardscores zijn weliswaar over de jaren heen vergelijkbaar, maar bij de equivalering is altijd sprake van een bepaalde mate van onnauwkeurigheid. Dit kan tot kleine toevallige verschillen leiden. In 2013 hebben meer leerlingen met een relatief laag advies van de leerkracht deelgenomen aan de EB. Dit kan het gevolg zijn van de introductie van de papieren versie van EB Niveau. Wanneer we via weging op de variabelen leerkrachtadvies, en later ook met geslacht, leeftijd en stedelijkheid van de schoollocatie rekening houden met het verschil in samenstelling tussen de deelnemers aan de Eindtoets 2012 en 2013, dan blijkt dat de verschillen in de gemiddelde scores kleiner worden, te weten respectievelijk 0.4 en 0.3. Ook na weging blijft er dus een klein verschil bestaan tussen de gemiddelde standaardscore van 2012 en 2013. Dit resterende verschil kan verschillende oorzaken hebben. Het zou veroorzaakt worden door bovengenoemde toevallige marge in de equivalering. Ten tweede kunnen de deelnemers in 2012 en 2013 verschillen van elkaar op andere kenmerken dan waarvoor wij hebben gecorrigeerd. Cito beschikt namelijk slechts over een beperkt aantal achtergrondkenmerken voor leerlingen, die we opvragen bij de scholen. Tenslotte zou de populatie in 2013 daadwerkelijk wat minder vaardig kunnen zijn dan die van 2012. Het kleinere verschil na weging in gemiddelde standaardscores 2012 en 2013 geeft aan dat in ieder geval een gedeelte van de daling van de gemiddelde standaardscore toegeschreven kan worden aan een verandering in de deelnemende populatie. Daarbij moet wel worden opgemerkt dat we niet voor alle leerlingen beschikken over achtergrondinformatie. Dit kan natuurlijk enige invloed hebben op deze resultaten. 4