Aanvullende analyse Terugblik en resultaten 2013

Transcriptie

1 Primair en speciaal onderwijs Cito Volgsysteem Aanvullende analyse Terugblik en resultaten 2013 Oktober 2013 Eindtoets Basisonderwijs Groep 8

2 Lagere gemiddelde eindtoetsscore in 2013: onderzoek naar mogelijke oorzaken Cito, oktober 2013 In 2013 is de gemiddelde standaardscore van de deelnemende leerlingen op de Eindtoets Basisonderwijs (EB) 535,0. In 2012 was deze nog 535,5. Dit gaf aanleiding om nader te onderzoeken waar dit verschil mogelijkerwijze door veroorzaakt kan zijn. In onderstaande tabel 1 staat een overzicht van het aantal deelnemers en de landelijk gemiddelde standaardscores in de jaren 2006 t/m Tabel 1: Gemiddelde standaardscore Eindtoets Basisonderwijs Gem. standaardscore Aantal leerlingen n EB , EB , EB , EB , EB , EB , EB , EB , Uit de tabel wordt duidelijk dat de gemiddelde standaardscore veelal rond de 535 fluctueert. In 2010, 2011 en 2012 lag het gemiddelde duidelijk boven de 535, in 2013 is de gemiddelde standaardscore exact 535,0. Cito heeft onderzocht waardoor deze relatief kleine terugval verklaard zou kunnen worden door de gegevens van de EB2012 en EB2013 nader te analyseren. Naast de lichte daling in de gemiddelde standaardscore is de stijging in de deelnemersaantallen opvallend. De introductie van de papieren versie van de Niveautoets in 2013 kan aan deze stijging hebben bijgedragen. Tabel 2 geeft een overzicht van de EB2012 en 2013, nu uitgesplitst naar de verschillende toetsversies in de betreffende jaren. Naast de papieren en digitale versie van de Eindtoets Niveau en Basis is er nog een ankerversie van de EB. Deze versie hebben we in tabel 2 buiten beschouwing gelaten. 1

3 Tabel 2: Beschrijvende statistieken EB 2012 en 2013 uitgesplitst naar toetsversie 2012 Gem. standaardscore sd n EB Basis papier 535,94 8, EB Niveau digitaal 1 521,10 6, EB Basis digitaal 2 530,74 9, Gem. standaardscore sd n EB Basis papier 537,22 8, EB Niveau papier 521,72 8, EB Basis digitaal 534,60 8, EB Niveau digitaal 524,34 7, De papieren versie van EB Niveau is in 2013 door ruim leerlingen afgenomen. Deze toets is speciaal ontwikkeld voor de relatief zwakkere leerlingen van groep 8. De vragen in deze toets zijn over het algemeen wat makkelijker dan die van EB Basis en daardoor beter op maat gesneden voor de minder vaardige leerlingen. De standaardscores behaald op de verschillende toetsen zijn echter wel direct met elkaar vergelijkbaar. Dit is gerealiseerd doordat een deel van de vragen in beide toetsen voorkomt en de toetsen mede daardoor via een IRT-model geëquivaleerd zijn. EB Niveau bevat gemiddeld genomen makkelijkere vragen dan EB Basis. Dat betekent dat leerlingen die EB Niveau maken, meer vragen goed moeten hebben dan leerlingen die EB Basis hebben gemaakt om een zelfde standaardscore te halen. Scholen is geadviseerd om leerlingen met ten hoogste een vmbo kb-advies in te schrijven voor EB Niveau. Logischerwijs is de gemiddelde standaardscore van de leerlingen die deze toets hebben gemaakt een stuk lager dan de gemiddelde standaardscore van de leerlingen die EB Basis hebben gemaakt. De papieren versie EB Basis is door de introductie van de papieren versie EB Niveau in 2013 door minder leerlingen gemaakt. Doordat de minder vaardige leerlingen in 2013 veelal de papieren versie van EB Niveau hebben gemaakt, ligt de gemiddelde standaardscore van de papieren versie van EB basis in 2013 iets hoger dan in EB Leraren wordt gevraagd een inschatting mee te geven van het niveau van de leerlingen op het antwoordformulier van de EB. Dit wordt doorgaans voor 70% van de leerlingen ook aangegeven. Deze gegevens zijn voor 2012 en 2013 te vinden in tabel 3. 1 Naam van deze toets tot en met 2012: Niveautoets 2 Naam van deze toets tot en met 2012: Digitale Eindtoets Basisonderwijs 2

4 Tabel 3: Leerkrachtadvies, ingevuld op het antwoordformulier N % n % vmbo bb , ,6 vmbo bb/kb , ,6 vmbo kb , ,2 vmbo gt , ,7 vmbo gt/havo , ,9 vmbo gt/havo/vwo , ,8 havo , ,2 havo/vwo , ,2 vwo , ,7 onbekend , ,1 Totaal , ,9 Wat opvalt bij de vergelijking van de deelnemers in 2013 met die van 2012, is dat zowel absoluut als relatief meer leerlingen waarvan de leerkracht inschat dat ze doorstromen naar brugklastype basisberoepsgerichte leerweg en/of kaderberoepsgerichte leerweg, de toets hebben gemaakt. Om een betere vergelijking te kunnen maken tussen de gemiddelde standaardscores van 2012 en 2013 zijn de gegevens van 2013 gewogen op de verdeling van adviezen van Na deze weging zijn de gegevens van 2013 dus representatief met betrekking tot de gegeven adviezen ten opzichte van Het gewogen gemiddelde van 2013 is te vinden in tabel 4. Tabel 4: Gewogen gemiddelde standaardscore EB2013 op basis van advies leerkracht Gewogen gemiddelde standaardscore 2013 Weging op leerkrachtadviezen Tabel 4 laat zien dat, gebruikmakend van de achtergrondinformatie van 2012, het gewogen gemiddelde voor EB 2013 iets hoger ligt dan het ongewogen gemiddelde. Dit geeft aan dat in ieder geval een gedeelte van de daling in de gemiddelde standaardscore in 2013 ten opzichte van 2012 verklaard kan worden door een verschil in de deelnemende populatie wat betreft leerkrachtadvies. De deelnemers aan beide eindtoetsen kunnen ook op andere variabelen van elkaar verschillen, waardoor de gemiddelde standaardscore verschilt. Daarom hebben we, naast bovenstaande weging op leerkrachtadviezen, een uitgebreidere weging uitgevoerd met behulp van enkele andere achtergrondvariabelen: leeftijd, geslacht, stedelijkheid van de schoollocatie en eveneens het leerkrachtadvies. We hebben daarbij gebruik gemaakt van de propensity score weging 3. De gewogen gemiddelden van 2012 en 2013 op basis van deze propensity score weging zijn te vinden in tabel 5. Tabel 5 Gewogen gemiddelden standaardscore EB2012 en EB2013 op basis van propensity scores Gewogen gemiddelde standaardscore Austin PC: An introduction to propensity score methods for reducing the effects of confounding in observational studies. Multivariate Behavior Research, 46: ,

5 Tabel 5 laat zien dat met het meenemen van meerdere achtergrondvariabelen het verschil in de gemiddelde EB score tussen 2012 en 2013 verder afneemt tot 0,3. Dit geeft een verdere aanwijzing dat er een wat andere groep leerlingen heeft deelgenomen aan de EB 2013 en dat dit heeft bijgedragen aan een wat lagere gemiddelde in Conclusie Deze korte studie is uitgevoerd om nader te onderzoeken wat een mogelijke oorzaak is voor de lichte daling in de gemiddelde standaardscore in 2013 ten opzichte van Het eerste wat opvalt, is dat de gemiddelde standaardscores de afgelopen jaren altijd enigszins fluctueren rond de 535. De standaardscores zijn weliswaar over de jaren heen vergelijkbaar, maar bij de equivalering is altijd sprake van een bepaalde mate van onnauwkeurigheid. Dit kan tot kleine toevallige verschillen leiden. In 2013 hebben meer leerlingen met een relatief laag advies van de leerkracht deelgenomen aan de EB. Dit kan het gevolg zijn van de introductie van de papieren versie van EB Niveau. Wanneer we via weging op de variabelen leerkrachtadvies, en later ook met geslacht, leeftijd en stedelijkheid van de schoollocatie rekening houden met het verschil in samenstelling tussen de deelnemers aan de Eindtoets 2012 en 2013, dan blijkt dat de verschillen in de gemiddelde scores kleiner worden, te weten respectievelijk 0.4 en 0.3. Ook na weging blijft er dus een klein verschil bestaan tussen de gemiddelde standaardscore van 2012 en Dit resterende verschil kan verschillende oorzaken hebben. Het zou veroorzaakt worden door bovengenoemde toevallige marge in de equivalering. Ten tweede kunnen de deelnemers in 2012 en 2013 verschillen van elkaar op andere kenmerken dan waarvoor wij hebben gecorrigeerd. Cito beschikt namelijk slechts over een beperkt aantal achtergrondkenmerken voor leerlingen, die we opvragen bij de scholen. Tenslotte zou de populatie in 2013 daadwerkelijk wat minder vaardig kunnen zijn dan die van Het kleinere verschil na weging in gemiddelde standaardscores 2012 en 2013 geeft aan dat in ieder geval een gedeelte van de daling van de gemiddelde standaardscore toegeschreven kan worden aan een verandering in de deelnemende populatie. Daarbij moet wel worden opgemerkt dat we niet voor alle leerlingen beschikken over achtergrondinformatie. Dit kan natuurlijk enige invloed hebben op deze resultaten. 4