IEP Eindtoets. Verantwoording 2017 Publieksversie. Bureau ICE De nieuwe generatie toetsen en examens

Transcriptie

1 IEP Eindtoets Verantwoording 2017 Publieksversie Bureau ICE De nieuwe generatie toetsen en examens

2 Inleiding Volgens de Wet op het Primair Onderwijs leggen alle leerlingen in groep 8 van het reguliere basisonderwijs sinds het schooljaar verplicht een eindtoets af. Elke basisschool kan zelf kiezen welke door het Ministerie van OCW goedgekeurde eindtoets zij wil gebruiken. De IEP Eindtoets is sinds het schooljaar één van de goedgekeurde eindtoetsen. Sinds in dat schooljaar leerlingen de IEP Eindtoets maakten, is dat aantal elk jaar aanzienlijk toegenomen tot leerlingen in 2016 en leerlingen in het huidige jaar, De IEP Eindtoets De IEP Eindtoets is een belangrijk onderdeel van het programma voor evaluatie in het primair onderwijs van Bureau ICE, genaamd IEP: ICE Eindevaluatie Primair onderwijs. De IEP Eindtoets meet op welk referentieniveau de leerlingen de onderdelen lezen, taalverzorging en rekenen beheersen. Daarnaast krijgt de leerling op basis van de resultaten op de IEP Eindtoets een advies voor voortgezet onderwijs, het toetsadvies. Het toetsadvies geldt als aanvulling op het schooladvies zoals dat gegeven wordt door de leerkracht. Het toetsadvies geldt hierbij als second opinion en kan alleen invloed uitoefenen op het uiteindelijke schooladvies als het toetsadvies op basis van de eindtoets hoger is dan het schooladvies zoals dat gegeven is voor de leerkracht. Eisen aan de eindtoetsen Het Toetsbesluit PO (2014) schrijft voor aan welke voorwaarden alle eindtoetsen moeten voldoen. De inhoudelijke eisen aan eindtoetsen staan beschreven in het Algemeen deel toetswijzer voor eindtoets po (CvTE, 2014). Hoe we deze eisen binnen onze visie op toetsing hebben vormgegeven in de IEP Eindtoets, staat beschreven in een apart document, de IEP Toetswijzer. De IEP Toetswijzer beschrijft en verantwoordt de inhoud, de toetsvorm en het niveau waarop getoetst wordt. Daarnaast is er een IEP Afnamehandleiding en een IEP Toetsreglement beschikbaar, waarin wordt beschreven hoe de afname in zijn werk gaat. Leeswijzer Het ontwikkelen van een eindtoets is een complex proces dat twee jaar beslaat. Om dit proces inzichtelijk te maken, zijn op de volgende pagina visueel de verschillende fasen in het proces chronologisch weergegeven. Deze weergave dient tevens als inhoudsopgave voor dit document: elke fase uit dit proces is uitgewerkt in een eigen hoofdstuk, te bereiken via de directe links in de grijze blokken. IEP Verantwoording 2017 Publieksversie 2

3 IEP Verantwoording 2017 Publieksversie 3

4 1 Inhoud van de IEP Eindtoets 1.1 Ontwikkelen van de items Uitgangspunten van de IEP Aan de IEP Eindtoets liggen een aantal uitgangspunten ten grondslag die bepalend zijn voor vorm en inhoud van de toets. Een belangrijk uitgangspunt dat de toets een positief effect moet hebben op de motivatie van de leerlingen om de toets zo goed mogelijk te maken. Een positieve attitude ten aanzien van de toets draagt in onze optiek bij aan een positief resultaat. Dit effect op motivatie wordt op verschillende manieren nagestreefd. Zo hanteren we, zowel voor taal als rekenen, zoveel mogelijk authentieke, functionele contexten: situaties die voor alle groep-achtleerlingen herkenbaar of voorstelbaar zijn. De vormgeving is daaraan ondersteunend: een krantenartikel lijkt op een krantenartikel, een op een , enzovoort. Naast ondersteunend is de vormgeving eigentijds, uitnodigend en overzichtelijk door bijvoorbeeld teksten en bijbehorende opgaven op dezelfde pagina te plaatsen. Ook de opbouw in niveau in de toets - de IEP Eindtoets begint met eenvoudiger opgaven en bouwt geleidelijk op in moeilijkheidsgraad - is ontworpen om de motivatie van de leerling te vergroten. Een ander belangrijk uitgangspunt is dat we ernaar streven de leerling zo valide mogelijk te toetsen: zo zuiver mogelijk de vaardigheden te meten die we beogen te meten. Daaruit vloeit de keuze voort om naast gesloten vragen tevens open vragen op te nemen in de IEP Eindtoets. Om de leerling niet onnodig te belasten met administratieve taken die geen relatie hebben met de te toetsen vaardigheden, mag hij 1 zijn antwoorden op meerkeuze- en open vragen in het toetsboekje schrijven. Daarnaast houden we het taalniveau van instructies en opgaven zo toegankelijk mogelijk om ervoor te zorgen dat dat niet in de weg kan staan van het begrip van de vragen. Voor leerlingen met extra ondersteuningsbehoeften worden speciale versies van de IEP Eindtoetsboekjes ontwikkeld. Zo kunnen leerlingen de IEP Eindtoets maken in een vergrote of een zwart-wit versie van het toetsboekje, of een combinatie van beide. Daarnaast is er audioondersteuning beschikbaar in de vorm van een gesproken versie of middels spraaksynthesesoftware. Proces van itemconstructie De opgaven (items) van de IEP Eindtoets worden ontwikkeld door een team van toetsconstructeurs van Bureau ICE. De items worden na de initiële constructie voorgelegd aan verschillende toetsexperts: elk item doorloopt minimaal vier screeningsrondes, waarin het item wordt beoordeeld en zo nodig bijgesteld. Naast deze interne screeningsrondes worden de items tevens voorgelegd aan de IEP Adviescommissie, die gevormd wordt door vier experts op het gebied van taal en rekenen. Met dit intensieve proces borgen we dat de items voldoen aan gestelde kwaliteitseisen, zoals eisen aan de inhoud, het niveau en de aansluiting op de doelgroep. Nadat de items door alle betrokkenen zijn beoordeeld en goedgekeurd, kan de realisatie starten: tekenaars gaan aan de slag met illustraties, vormgevers verzorgen de opmaak van toetsboekjes, een drukkerij drukt alle versies van de toetsboekjes. Op dat moment zijn de items gereed om onderworpen te worden aan onderzoek bij de doelgroep. 1 Daar waar hij staat kan uiteraard ook zij gelezen worden. IEP Verantwoording 2017 Publieksversie 4

5 2 Onderzoek voorafgaand aan de afname 2.1 Het normeringsonderzoek Alle items die uiteindelijk de IEP Eindtoets vormen worden vooraf uitvoerig getest en geanalyseerd in het zogeheten normeringsonderzoek, waarbij leerlingen deze items maken. Het verzamelen van data voor het normeringsonderzoek op nieuwe items vindt op twee momenten in het jaar plaats: tijdens de pretest in maart en tijdens de daadwerkelijke afname van de IEP Eindtoets in april. De antwoorden van de leerlingen leveren data op om analyses te kunnen doen over de kwaliteit van deze nieuwe items en daarmee een toekomstige IEP Eindtoets. Een beschrijving en de resultaten van deze analyses leggen we elk jaar vast in een rapportage die beoordeeld wordt door de Expertgroep Toetsen PO (zie ook paragraaf 2.2). Het normeringsonderzoek van de items voor de IEP Eindtoets 2017 heeft vorig jaar plaatsgevonden: in 2016 hebben ruim tweeduizend leerlingen van 70 scholen deelgenomen aan de pretest om data te verzamelen. Pretest We ontwikkelen elk jaar ongeveer twee keer zoveel items als dat we daadwerkelijk in de IEP Eindtoets beogen op te nemen. Al deze items worden afgenomen in de pretest, verdeeld over verschillende toetsboekjes. De afname van de pretest lijkt zoveel mogelijk op afname van de eindtoets: leerlingen maken, verdeeld over twee afnamedagen, opgaven voor taal en rekenen in twee toetsboekjes. Deze toetsboekjes zijn qua vormgeving en inhoud tevens vergelijkbaar met de IEP Eindtoetsboekjes. Door de afnamecondities tussen pretest en eindtoets zo vergelijkbaar mogelijk te houden, is de kans groter dat de gegevens van beide afnames ook vergelijkbaar zijn. IEP Eindtoets Ondanks dat we streven naar zo vergelijkbaar mogelijke afnamecondities tussen de pretest en de eindtoets, zijn er vanzelfsprekend ook verschillen. Een belangrijk verschil is het karakter van de afname: de afname van de IEP Eindtoets heeft voor de meeste leerlingen meer gewicht en status dan deelname aan een onderzoek of het maken van een willekeurige toets. Leerlingen zijn waarschijnlijk meer gemotiveerd voor de eindtoets dan voor een andere toetsafname, hetgeen kan leiden tot andere toetsresultaten. Dit observeren we inderdaad in de data van de afgelopen jaren: over het algemeen worden items in de eindtoets iets beter gemaakt dan diezelfde items in de pretest. Om de pretestdata op een verantwoorde manier te kunnen gebruiken, moeten de verschillen in gedrag van de items op beide afnamemomenten onderzocht worden. Daarom komt een deel van de items uit de pretest ook terug in de IEP Eindtoets-afname van datzelfde jaar (zie ook Design van de IEP Eindtoets in paragraaf 2.2). 2.2 Analyse van het normeringsonderzoek Na afname van het normeringsonderzoek wordt de kwaliteit van de toekomstige IEP Eindtoets op item- en toetsniveau onderzocht op basis van methoden uit de klassieke testtheorie (KTT) en de itemresponstheorie (IRT). Met behulp van deze analyses kan bepaald worden wat de kwaliteit is van de afzonderlijke items en van deze items gezamenlijk in een toets, en welke normering het meest passend is. Itemkwaliteit De items uit het normeringsonderzoek worden geanalyseerd op verschillende kenmerken. In de eerste plaats wordt de moeilijkheid van het item onderzocht. De moeilijkheid wordt uitgedrukt in proportie correct: het percentage leerlingen dat de vraag juist heeft beantwoord. Een tweede IEP Verantwoording 2017 Publieksversie 5

6 belangrijk kenmerk is de discriminatiewaarde, die aangeeft hoe goed dat item onderscheid kan maken tussen vaardige en minder vaardige leerlingen. Daarnaast wordt onderzocht of een item onderscheid maakt op andere gebieden, bijvoorbeeld tussen jongens en meisjes. Dat zou onwenselijk zijn, aangezien dat onderscheid gemaakt moet worden op basis van de vaardigheid van de leerling en niet op basis van perifere kenmerken. Samenstellen Zoals hierboven beschreven, is het belangrijk dat de afzonderlijke items voldoen aan bepaalde kwaliteitscriteria voordat ze opgenomen kunnen worden in de eindtoets. Maar daarnaast is ook de kwaliteit van de wijze waarop de items worden samengesteld tot een betrouwbare eindtoets van belang. De uitslag voor de leerling wordt immers bepaald op basis van de items in samenhang. Aan de samenstelling van de IEP Eindtoets zijn daarom verschillende eisen verbonden, zowel aan de inhoud als aan de psychometrische kwaliteit. Op inhoudelijk gebied is het belangrijk dat we de validiteit borgen: meet de toets datgene wat we beogen te meten? Voor taal (lezen en taalverzorging) en rekenen vormen de referentieniveaus het inhoudelijk kader. Om te borgen dat de items in de eindtoets een representatieve afspiegeling zijn van het referentiekader, ligt aan elk toetsonderdeel een toetsmatrijs ten grondslag. In die toetsmatrijs is aangegeven: bij welk domein of aspect elk item hoort, zoals de tekstsoorten bij lezen (informatieve, instructieve, betogende of fictionele, narratieve en literaire teksten) of de domeinen bij rekenen (getallen, verhoudingen, meten & meetkunde en verbanden); welk kenmerk, onderdeel of type elk item meet, zoals de kenmerken van de taakuitvoering bij lezen (techniek en woordenschat, begrijpen, interpreteren, evalueren, samenvatten of opzoeken) of contextrijkheid bij rekenen (opgaven met of zonder context); welk referentieniveau elk item meet: 1F of 2F bij taal en 1F, 1S of 2F bij rekenen; hoe het geheel van items verdeeld is over de (sub)onderdelen die hierboven genoemd zijn. De toetsmatrijzen zijn een hulpmiddel om een goede inhoudelijke dekking en spreiding van de items in de IEP Eindtoets te borgen. De toetsmatrijzen van de IEP Eindtoets 2017 zijn ter illustratie opgenomen als bijlage. Behalve inhoudelijke eisen aan dekking en spreiding van de items over de onderdelen en niveaus, gelden er ook psychometrische eisen aan de IEP Eindtoets als geheel. Aan de hand van psychometrische analyses worden voorspellingen gedaan hoe items zich in samenhang of als eindtoetsonderdeel (lezen, taalverzorging of rekenen) zullen gedragen. Een voorwaarde hiervoor is unidimensionaliteit: het geheel aan items moet hetzelfde onderliggende construct meten. Een andere belangrijke eis is de betrouwbaarheid waarmee de vaardigheid van de leerlingen is vastgesteld: hoe nauwkeurig de uitspraak is die de toets kan doen. Met behulp van psychometrische analyses kan een gefundeerde voorspelling worden gedaan over de betrouwbaarheid van de toetsuitslag van de leerling. Alleen in het geval dat deze betrouwbaarheidsindices van voldoende niveau zijn, is de toets geschikt als betrouwbaar meetinstrument. Design van de IEP Eindtoets De IEP Eindtoets 2017 is afgenomen in tien toetsversies. Alle tien versies bevatten voor het grootste deel dezelfde items. Op basis van deze overlappende set van 145 items in elke toetsversie is het referentieniveau en het toetsadvies berekend voor de leerlingen die de IEP Eindtoets 2017 gemaakt hebben. Elke toetsversie bevat daarnaast gemiddeld vijftien extra items, verdeeld over de onderdelen lezen, taalverzorging en rekenen. Deze extra items tellen niet mee voor de uitslag, de functie van deze extra items is het verzamelen van data om de kwaliteit van de IEP Eindtoets op verschillende manieren te (blijven) borgen. IEP Verantwoording 2017 Publieksversie 6

7 Van de tien toetsversies van de IEP Eindtoets 2017 bevatten vijf versies zogeheten ankeritems: items die ook in de IEP Eindtoets van 2015 of 2016 waren opgenomen. Hierdoor hebben we data kunnen verzamelen over de vergelijkbaarheid van de IEP Eindtoetsen over de jaren heen. De vijf andere toetsversies bevatten zaai-items: items uit de pretest van 2017 die ook in de IEP Eindtoets 2017 zijn opgenomen. Door data te verzamelen op dezelfde items in zowel de pretest- als de eindtoetsafname kunnen we beide afnamemomenten met elkaar vergelijken. Tabel 2.1 geeft het design van de IEP Eindtoets 2017 weer: de wijze waarop de vaste items, ankeritems en zaai-items zijn verdeeld over de tien versies van de IEP Eindtoets. Tabel 2.1 Design IEP Eindtoets 2017 Versie IEP Eindtoets 2017 Vaste inhoud Variabele inhoud Totaal versie ankeritems (5 per onderdeel) uit IEP 2015/2016 versie ankeritems (5 per onderdeel) uit IEP 2015/2016 versie ankeritems (5 per onderdeel) uit IEP 2015/ items, waarvan: versie ankeritems (5 per onderdeel) uit IEP 2015/2016 versie ankeritems (5 per onderdeel) uit IEP 2015/ items lezen versie zaai-items (5 per onderdeel) uit pretest items taalverzorging versie zaai-items (5 per onderdeel) uit pretest items rekenen versie zaai-items (5 per onderdeel) uit pretest 2017 versie zaai-items (5 per onderdeel) uit pretest 2017 versie zaai-items (5 per onderdeel) uit pretest 2017 Totaal (75 ankeritems + 75 zaai-items) 295 Normering De resultaten op de pretestitems leveren input voor de normering van de IEP Eindtoets over de minimale score die een leerling moet behalen om een bepaald referentieniveau of toetsadvies toegewezen te krijgen, oftewel: welke cesuren moeten worden gehanteerd? In de IEP Eindtoets zijn verschillende cesuren opgenomen om verschillende uitspraken te kunnen doen. 2 Ten eerste wordt er een cesuur gesteld voor elk te behalen referentieniveau per onderdeel, met andere woorden twee cesuren voor lezen (1F en 2F), twee voor taalverzorging (1F en 2F) en drie voor rekenen (1F, 1S en 2F). Daarnaast worden cesuren vastgesteld voor de te verstrekken toetsadviezen. Deze cesuren worden berekend over de gehele set aan items in de IEP Eindtoets, in tegenstelling tot de cesuren van de referentieniveaus die per onderdeel berekend worden. In totaal betreft het acht cesuren voor de negen toetsadviescategorieën van de IEP Eindtoets: vmbo-bb 3, vmbo-bb/kb, vmbo-kb, vmbokb/gt, vmbo-gt, vmbo-gt/havo, havo, havo/vwo en vwo. Normering referentieniveaus De gegevens over de items in de pretest worden geanalyseerd ten behoeve van de samenstelling van de IEP Eindtoets. Voor elk scorepunt van ieder toetsonderdeel wordt een vaardigheidswaarde, oftewel theta (θ) berekend. De theta bij een score geeft aan hoe hoog de vaardigheid van een leerling moet zijn om die score te halen. De berekening van de vaardigheid bij de verschillende scorepunten is gebaseerd op de itemparameters van de items die geselecteerd zijn. Zo kunnen we voor de beoogde samenstelling van de IEP Eindtoets een voorspelling doen over welke vaardigheid, en daarmee welke score, nodig zal zijn om een niveau aan te tonen. De normering van de referentieniveaus van de IEP Eindtoets is gebaseerd op de normering van de zogeheten referentiesets: een set items voor lezen, taalverzorging en rekenen waarop extern een cesuur is gesteld. Deze referentiesets zijn tot stand gekomen onder regie van het Ministerie van OCW. 2 De cesuren, die worden vastgesteld op basis van het normeringsonderzoek, zijn een voorspelling en daarmee zijn het voorlopige cesuren, die definitief worden vastgesteld na afname van de IEP Eindtoets. 3 Voor dit toetsadvies is geen minimale grens en dus geen cesuurpunt gedefinieerd. IEP Verantwoording 2017 Publieksversie 7

8 Normering toetsadviezen Er bestaan in Nederland geen absolute normen voor de overgang van het basisonderwijs naar een bepaald schooltype van het voortgezet onderwijs (vo). In feite ligt de norm in de huidige praktijk: de plaatsing van de leerlingen over de schooltypen van het vo. Bij de eerste editie van IEP Eindtoets in 2015 is de normering voor het schooltype dan ook bepaald door een vaardigheidsmeting met de IEP Eindtoets in de eerste klassen van het vo. De verdeling van de vaardigheid over schooltypen is leidend geweest bij de normering in 2015 en uitgangspunt geweest bij de normering in 2016 en Daarnaast is bij de normering van de toetsadviezen een tweede criterium betrokken, te weten de schooladviezen zoals die door de leerkracht zijn gegeven. Het schooladvies komt tot stand op basis van observatie door de leerkracht over langere tijd en met inachtneming van meerdere factoren dan alleen de vaardigheid in taal en rekenen. Dat schooladvies wordt vergeleken met de resultaten op de items uit de IEP Eindtoets waarop het toetsadvies gebaseerd wordt. De normering van de toetsadviescategorieën komt tot stand door gegevens over de populatie te combineren met de gegeven schooladviezen. Resultaten normeringsonderzoek De resultaten van het normeringsonderzoek van de IEP Eindtoets rapporteren we jaarlijks in onze Verantwoording IEP Eindtoets Normeringsonderzoek, die we indienen bij de Expertgroep Toetsen PO. Deze Expertgroep Toetsen PO is een onafhankelijke commissie die alle eindtoetsen jaarlijks beoordeelt op onderwijsinhoudelijke en psychometrische kwaliteit. Indien deze jaarlijkse beoordelingen positief zijn, adviseert de Expertgroep Toetsen PO, bijgestaan door externe experts en de COTAN, eens in de vier jaar de minister van Onderwijs, Cultuur en Wetenschap (OCW) om de IEP Eindtoets toe te laten als officiële eindtoets voor het primair onderwijs. De IEP Eindtoets is in 2014 toegelaten, wat betekent dat de vierjaarlijkse goedkeuring volgend jaar, in 2018, weer zal plaatsvinden. IEP Verantwoording 2017 Publieksversie 8

9 3 Afname van de IEP Eindtoets 3.1 Afnamecondities De afname van de IEP Eindtoets vindt plaats op twee van te voren vastgestelde dagen in april. In 2017 vond die afname plaats op twee ochtenden op dinsdag 18 en woensdag 19 april. Per afnamedag maken de leerlingen één toetsboekje met daarin lezen, taalverzorging en rekenen. Deze afname duurt maximaal twee uur per keer. De afspraken rondom de afname van de IEP Eindtoets worden vastgelegd in het IEP Toetsreglement. Elke school die deelneemt aan de IEP Eindtoets ontvangt dit reglement en wordt geacht zich daaraan te houden. In het toetsreglement is onder andere beschreven wat de verantwoordelijkheden van de directeur van de school zijn, zoals het aanmelden van de leerlingen, het zorgvuldig controleren en bewaren van de toetsboekjes, de plicht tot geheimhouding van de inhoud van de toetsboekjes, communicatie over de IEP Eindtoets naar leerlingen en ouders en het aanwijzen van toetsleiders die de afname van de IEP Eindtoets in goede banen moeten leiden. Ook voor deze toetsleiders is beschreven welke verantwoordelijkheden zij hebben voorafgaand aan, tijdens en na de afname van de IEP Eindtoets. Daarnaast bevat het toetsreglement informatie over de procedures rondom de afname van de IEP Eindtoets, zoals de aanmeldingsprocedure, aangepaste versies van de IEP Eindtoets en toegestane hulpmiddelen tijdens de afname. Ook is de manier waarop wij omgaan met privacygevoelige informatie van leerlingen en scholen een belangrijk aandachtspunt van het IEP Toetsreglement. IEP Verantwoording 2017 Publieksversie 9

10 4 Uitslagen van de IEP Eindtoets 4.1 Verwerking van de resultaten Na de afname van de IEP Eindtoets worden alle toetsboekjes door koeriersdiensten bij de scholen opgehaald en geretourneerd. Om de resultaten te kunnen berekenen worden alle antwoorden van de leerlingen digitaal verwerkt. De antwoorden op meerkeuzevragen worden automatisch ingelezen door speciale software. De antwoorden op open vragen worden gescand en vervolgens geverifieerd door een team van beoordelaars, die speciaal voor dit werk getraind worden. Ten slotte worden alle antwoorden automatisch gescoord. Na invoer en verificatie van de antwoorden zijn alle gegevens beschikbaar om de resultaten te kunnen genereren. We onderzoeken de data die we verzameld hebben op de afname van de IEP Eindtoets en stellen, op basis van gegevens over de daadwerkelijke populatie en de afname, de voorlopige cesuren uit het normeringsonderzoek definitief vast. 4.2 Rapportages Nadat de cesuren voor de referentieniveaus en de toetsadviezen zijn vastgesteld, worden resultaten voor alle leerlingen berekend. Deze resultaten worden vervolgens geüpload in de IEP-portal en gebruikt om rapportages mee te genereren. Voorbeelden van deze rapportages, voorzien van een uitgebreide leeswijzer, staan op de website van Bureau ICE: Leerlingrapportage Elke leerling die de IEP Eindtoets heeft gemaakt ontvangt een individuele rapportage met de resultaten. Op die rapportage is weergegeven welke scores en referentieniveaus de leerling per onderdeel behaald heeft, inclusief een uitsplitsing naar detailscores, bijvoorbeeld naar de domeinen bij rekenen: getallen, verhoudingen, meten en meetkunde en verbanden. Deze detailscores helpen leerlingen, leerkrachten en ouders om meer betekenis toe te kennen aan het behaalde referentieniveau: op welke subonderdelen scoort de leerling hoog en aan welke onderdelen moet hij nog werken? Daarnaast krijgen alle leerlingen een toetsadvies gebaseerd op de items van alle eindtoetsonderdelen. Groeps- en schoolrapportage Behalve individuele rapportages verstrekken we ook rapportages op groeps- en schoolniveau, waarin de resultaten van de gehele groep of school worden samengevat. Daarnaast geven deze rapportages inzicht in de scores ten opzichte van het landelijk gemiddelde. Ook in de groeps- en schoolrapportages worden de uitslagen opgesplitst naar detailscores, waardoor eventuele patronen op schoolniveau zichtbaar kunnen worden. Managementrapportage In het verlengde van de groeps- en schoolrapportages kan voor schoolbesturen een managementrapportage opgesteld worden. Deze managementrapportage is wat betreft inhoud vergelijkbaar met de resultaten op groeps- en schoolniveau, maar is overkoepelend voor meerdere scholen binnen een bestuur. IEP Verantwoording 2017 Publieksversie 10

11 5 Onderzoek na afname Nadat de IEP Eindtoets is afgenomen en de resultaten zijn bekendgemaakt aan de scholen, stellen we een rapportage op waarin de afname van de IEP Eindtoets wordt verantwoord. Deze verantwoording wordt, net zoals de verantwoording over het normeringsonderzoek, jaarlijks beoordeeld door de Expertgroep Toetsen PO. In onderstaande paragrafen is een korte samenvatting opgenomen van de verantwoording over de afname van de IEP Eindtoets Resultaten De behaalde referentieniveaus en de verstrekte toetsadviezen van alle deelnemende leerlingen aan de IEP Eindtoets in 2016 en 2017 zijn samengevat in Tabel 5.1. Tabel 5.1 Percentages referentieniveaus en toetsadviezen IEP Eindtoets Cesuur % IEP Eindtoets 2016 % IEP Eindtoets 2017 Lezen <1F 1,0 1,1 1F 23,9 22,6 2F 75,1 76,3 Taalverzorging <1F 4,4 1,0 1F 31,2 42,2 2F 64,4 56,8 Rekenen <1F 9,8 8,1 1F 45,4 45,8 1S 4,6 4,0 2F 40,2 42,0 Cesuur % IEP Eindtoets 2016 % IEP Eindtoets 2017 Toetsadvies vmbo-bb nvt 10,4 vmbo-bb/kb 13,6 3,6 vmbo-kb nvt 8,1 vmbo-kb/gt 10,3 3,6 vmbo-gt 13,1 14,1 vmbo-gt/havo 10,9 10,7 havo 20,1 19,3 havo/vwo 10,8 10,1 vwo 21,2 20,0 Voor wat betreft de behaalde referentieniveaus is het percentage leerlingen dat in 2017 voor lezen niveau 1F nog niet behaalt (<1F) nagenoeg gelijk gebleven, vergeleken met Het aandeel leerlingen dat niveau 1F behaalt, is licht gedaald, terwijl het aandeel leerlingen dat niveau 2F behaalt licht gestegen is. Voor taalverzorging geldt dat in 2017 relatief gezien minder leerlingen onder niveau 1F scoren, net zoals het aandeel leerlingen dat niveau 2F behaalt, wat betekent dat het percentage leerlingen op 1F gestegen is ten opzichte van Bij rekenen zien we dat de percentages voor de niveaus 1F en 1S nagenoeg gelijk zijn gebleven, terwijl het aandeel leerlingen op niveau 2F licht gestegen is en het aandeel leerlingen dat niveau 1F niet behaalt licht gedaald. Als we naar de toetsadviezen kijken, zien we dat de percentages in 2017 voor de vier hoogste toetsadviescategorieën (vmbo-gt/havo tot en met vwo) sterk overeenkomen met de percentages in Voor al deze categorieën geldt echter een lichte daling, die per categorie maximaal 1,2 procentpunt bedraagt (bij het toetsadvies vwo), wat betekent dat het aandeel toetsadviezen voor de lagere categorieën licht gestegen is. IEP Verantwoording 2017 Publieksversie 11

12 5.2 Populatiegegevens In 2017 hebben in totaal leerlingen de IEP Eindtoets gemaakt: 99,2% van die leerlingen is afkomstig uit het regulier basisonderwijs ( leerlingen), de overige 7,8% van de leerlingen van andere typen onderwijs, zoals het speciaal basisonderwijs (321 leerlingen en particuliere onderwijsinstellingen (25 leerlingen). In Tabel 5.2 is weergegeven hoe de populatie van de IEP Eindtoets in 2017 zich verhoudt tot de landelijke populatie, verdeeld over verschillende achtergrondgegevens. Tabel 5.2 Populatiegegevens IEP Eindtoets 2017 en landelijke percentages Deelname IEP Eindtoets 2017 Landelijke percentages N % % Geslacht Jongen ,1 50,5 Meisje ,9 49,5 Regio Noord ,8 9,8 Oost ,4 22,1 Zuid ,6 19,5 West ,1 48,5 Denominatie Openbaar ,3 31,6 Bijzonder ,7 68,4 Schoolgrootte < ,4 6, ,8 22, ,8 28,2 > ,0 42,2 Gewichtenleerlingen < 1% ,9 22,9 1-10% ,0 59,2 >10% ,1 18,0 Urbanisatiegraad G ,9 13,4 G5-G ,2 25,6 >G ,8 61,0 Vergeleken met voorgaande jaren is populatie van de IEP Eindtoets nog meer representatief geworden voor de totale populatie van eindtoetsleerlingen in Nederland. Zeker als we kijken naar de variabele urbanisatiegraad is het aandeel leerlingen dat de IEP Eindtoets maakt op scholen uit de vier grootste gemeenten (G4-scholen) gestegen en daarmee dichter in de buurt gekomen van het landelijk gemiddelde. Het patroon van verdeling van de populatie van de IEP Eindtoets komt bij alle variabelen overeen met het de verdeling van de landelijke percentages. 5.3 Normering Normering referentieniveaus De cesuren voor de referentieniveaus worden per onderdeel en per niveau vastgesteld. We houden rekening met de definitieve populatie- en afnamegegevens en passen hierbij een correctie toe op de voorgestelde cesuren, die zijn berekend op basis van de gegevens uit het normeringsonderzoek (zie paragraaf 2.2). Normering toetsadviezen Zoals eerder beschreven worden de categorieën voor de toetsadviezen gebaseerd op twee typen gegevens: de populatiegegevens en de verstrekte schooladviezen door de leerkracht. IEP Verantwoording 2017 Publieksversie 12

13 Bij de verdeling op basis van populatiegegevens gaan we uit van een gewogen vaardigheid, berekend over het geheel aan items van alle onderdelen in de IEP Eindtoets. De gewogen vaardigheid komt tot stand door een weging toe te passen op de getoonde vaardigheid op de onderdelen lezen, taalverzorging en rekenen in de verhouding 2:2:3. Deze gewogen vaardigheid is normaal verdeeld over de populatie van de IEP Eindtoets 2017, zie Figuur 5.1. Figuur 5.1 Frequentieverdeling gewogen vaardigheid IEP Eindtoets De tweede informatiebron voor het vaststellen van de toetsadviezen is het schooladvies, gegeven door de leerkracht. Van leerlingen van de IEP Eindtoets was dit schooladvies bij ons bekend. Uit analyses is gebleken dat deze schooladviesgroep representatief is voor de gehele populatie van de IEP Eindtoets, wat het gebruik van deze gegevens voor het vaststellen van de grenswaarden van de toetsadviescategorieën legitimeert. Een combinatie van schooladviezen en populatiegegevens gehanteerd in de verhouding van 1:3 levert de beste vaardigheidsverdeling over de adviescategorieën op. De resultaten van een simulatie, waarin we de resultaten van fictieve leerlingen op de IEP Eindtoets hebben voorspeld, ondersteunen de gekozen combinatie van methoden, als ook de verhouding van 1:3. De gewogen vaardigheid wordt afgebeeld met een schooladviesscore op een schaal die loopt van 50 tot en met 100, waarbij 50 de laagst haalbare score betekent en 100 de hoogst haalbare. Deze standaard scoreschaal met de bijbehorende adviezen is weergegeven in Figuur 5.2. Figuur 5.2 Standaard scoreschaal IEP Eindtoets De scores op deze schaal zijn standaardscores op ordinaal niveau en op zichzelf van weinig betekenis. Dat betekent dat een hogere waarde een hoger niveau representeert en vice versa, maar het betekent niet per definitie dat een verschil tussen twee waarden altijd een even groot vaardigheidsverschil representeert 4. 4 Een score van 90 betekent altijd een hogere vaardigheid dan een score van 85, maar het verschil van 5 scorepunten tussen de standaardscores 85 en 90 is niet per definitie even groot als het verschil tussen 90 en 95. IEP Verantwoording 2017 Publieksversie 13

14 In Nederland worden de individuele standaardscores van alle leerlingen van een school omgerekend naar een schoolgemiddelde. Dit schoolgemiddelde wordt door de Inspectie van het Onderwijs gebruikt om de onderwijsresultaten van alle scholen in het basisonderwijs te beoordelen. De Onderwijsinspectie gebruikt hiervoor een normtabel die is vastgesteld in Deze normtabel sluit in 2017 onvoldoende aan op de schoolgemiddelden die de IEP Eindtoets 2017 oplevert. Om de normtabel toch te kunnen blijven gebruiken (deze is wettelijk vastgesteld) is in afstemming met het Ministerie van OCW, Onderwijsinspectie en Expertgroep PO een correctiefactor voor het schoolgemiddelde vastgesteld. Met behulp van deze correctiefactor zal de Onderwijsinspectie de normtabel toepassen. Het schoolgemiddelde en/of de correctie ervan heeft zoals in vorige alinea beschreven geen effect of consequenties voor het toetsadvies, de bijbehorende individuele standaardscore en de scores die de leerling gekregen heeft voor de referentieniveaus. 5.4 Validiteit Inhoudsvaliditeit Doordat de referentieniveaus nog geen gemeengoed zijn in het basisonderwijs, bestaat de kans dat in plaats van alleen het meten van de vaardigheid van de leerlingen ook de onbekendheid van bepaalde inhoudelijke kennis (de niet behandelde stof) gemeten wordt. Om dit risico zoveel mogelijk te minimaliseren wordt bij de constructie van de IEP Eindtoets inhoudelijk ook rekening gehouden met het generieke curriculum van het basisonderwijs, zoals de Tussendoelen & Leerlijnen (TULE) van het SLO. De inhoudelijke dekking van het Referentiekader taal en rekenen is weergegeven in de toetsmatrijzen van de IEP Eindtoets (zie Bijlage). Daarnaast wordt de inhoudelijke validiteit geborgd door te werken volgens strakke toetsconstructieprocedures die zijn beschreven in de IEP Toetswijzer. Begripsvaliditeit Zoals al eerder beschreven gaat de IEP Eindtoets per vaardigheid uit van unidimensionaliteit: de aanname dat alle items in de toets één onderliggende vaardigheid meten. Vanuit de kalibratie van de items wordt de unidimensionaliteit van de IEP Eindtoets gewaarborgd en verantwoord. De kwaliteit van de items is verder beoordeeld en verantwoord op discriminerend vermogen en moeilijkheid. Criteriumvaliditeit Een van de doelen van de IEP Eindtoets is het geven van een passend advies voor het voortgezet onderwijs. In paragraaf 5.3 is reeds omschreven op welke wijze het schooladvies van de leerkracht betrokken wordt bij het bepalen van het toetsadvies. Hiermee wordt de criteriumvaliditeit van deze toetsadviezen voor een deel geborgd, maar om de criteriumvaliditeit volledig, over langere tijd, te kunnen beoordelen is longitudinaal doorstroomonderzoek noodzakelijk. De mate van juistheid van dit advies zal echter voornamelijk over tijd aangetoond kunnen worden. Daarvoor zal de schoolloopbaan van de leerlingen die de IEP Eindtoets gemaakt hebben over langere tijd gevolgd worden. Na enkele jaren zal vervolgens vastgesteld worden in welke mate de IEP Eindtoets voorspellend is voor het daadwerkelijk presteren van de leerlingen in het voortgezet onderwijs. De criteriumvaliditeit van de IEP Eindtoets is daarmee in haar eerste levensjaren alleen te bepalen door onderzoek te doen naar het gegeven schooladvies van de leerkracht, het mogelijk gewijzigde schooladvies op basis van het toetsadvies en de plaatsing van de leerling in de brugklas van het voortgezet onderwijs en daarna. Pas in een later stadium zal blijken wat de correlatie is tussen het advies en de schoolloopbaan c.q. het schoolsucces van de leerling. 5.5 Betrouwbaarheid Voor het bepalen van de betrouwbaarheid maken we onderscheid tussen globale en lokale betrouwbaarheid. De globale betrouwbaarheid betreft de betrouwbaarheid van de toets als geheel, de lokale betrouwbaarheid betreft de betrouwbaarheid rondom de cesuren. IEP Verantwoording 2017 Publieksversie 14

15 Lokale betrouwbaarheid De lokale betrouwbaarheid van de IEP Eindtoets is voor elke cesuur van de referentieniveaus en de toetsadviezen weergegeven in Tabel 5.3. De leerling kan de beheersing van een referentieniveau op twee manieren aantonen: het referentieniveau wordt berekend op alle items van één bepaald niveau (discrete itemset), of het resultaat wordt berekend op alle items over meerdere niveaus (gecombineerde itemset). Zo kan een leerling niveau 1F voor Lezen aantonen door een bepaalde score te halen op de discrete itemset van alle 1F-items, of door een bepaalde score te halen op de gecombineerde itemset van 1F- en 2F-items. Omdat de gecombineerde itemsets uit meer items bestaan dan de discrete itemsets, is de lokale betrouwbaarheid van de cesuren van de gecombineerde itemsets groter. Ondanks dit verschil kiezen we er om twee redenen voor om beide type cesuren te hanteren. Ten eerste vanwege het gebruik van de referentiesetitems: die sets zijn destijds voorzien van cesuren op één niveau. Ten tweede worden met dit gebruik van twee cesuren leerlingen met verschillende vaardigheidsprofielen niet benadeeld: leerlingen met een lagere vaardigheid worden niet afgerekend op hun score op items boven hun niveau, en leerlingen met een hogere vaardigheid vice versa: zij worden niet afgerekend op hun score op items onder hun niveau. Om negen toetsadviezen te onderscheiden zijn acht cesuren gesteld waarvoor de betrouwbaarheid berekend is. Op het laagste toetsadvies, vmbo-bb, is vanzelfsprekend geen cesuur van toepassing. Tabel 5.3 Cesuren IEP Eindtoets 2017 Onderdeel Cesuur Itemset Lokale betrouwbaarheid Lezen 1F 1F 0,854 1F 1F+2F 0,945 2F 2F 0,816 2F 1F+2F 0,930 Taalverzorging 1F 1F 0,834 1F 1F+2F 0,875 2F 2F 0,827 2F 1F+2F 0,867 Rekenen 1F 1F 0,862 1F 1F+1S+2F 0,944 1S 1S 0,758 1S 1F+1S 0,803 2F 2F 0,850 2F 1F+2F 0,866 Eindtoets vmbo-bb n.v.t. vmbo-bb/kb 0,967 vmbo-kb 0,967 vmbo-kb/gt 0,966 vmbo-gt 0,965 vmbo-gt/havo 0,961 havo 0,957 havo/vwo 0,945 vwo 0,936 De lokale betrouwbaarheid is voor alle 22 cesuren van de IEP Eindtoets 2017 goed ( 0,800), behalve de 1S-cesuur op de itemset 1S bij rekenen: die is met 0,758 voldoende. Deze gegevens sluiten aan bij de geschatte betrouwbaarheden op basis van het normeringsonderzoek in Daar waar de betrouwbaarheid afwijkt van die voorspelling, is de geobserveerde betrouwbaarheid in de regel hoger dan voorspeld. IEP Verantwoording 2017 Publieksversie 15

16 Globale betrouwbaarheid Voor een indicatie van de globale betrouwbaarheid van de IEP Eindtoets is een test-hertest uitgevoerd door in een simulatie leerlingen de onderdelen lezen, taalverzorging en rekenen tweemaal te laten maken. Op deze manier wordt de betrouwbaarheid van de drie onderdelen van de eindtoets en de betrouwbaarheid van het advies dat daaruit volgt voorspeld. De test-hertest biedt daarnaast de mogelijkheid om de correlaties te berekenen, die gezien kunnen worden als maat van betrouwbaarheid voor de IEP Eindtoets, zie Tabel 5.4. Tabel 5.4 Correlaties test-hertest IEP Eindtoets 2017 Object/onderdeel van onderzoek Correlaties Lezen 0,797 Taalverzorging 0,820 Rekenen 0,916 Scorepatroon drie onderdelen 0,899 Gewogen theta op drie onderdelen 0, score 0,932 Toetsadvies (naar schoolcategorie) 0,919 Test-hertest 0,939 De correlaties voor de onderdelen lezen en taalverzorging zijn respectievelijk redelijk en acceptabel te noemen, de correlaties op de andere onderdelen en objecten van onderzoek zijn goed. In Tabel 5.4 is de belangrijkste correlatie als maat voor betrouwbaarheid die van het toetsadvies: die is met 0,919 hoog. Vergelijkbaarheid van de IEP Eindtoets met eerdere eindtoetsen Om ervoor te kunnen zorgen dat de IEP Eindtoets over de jaren heen op hetzelfde niveau en van dezelfde kwaliteit blijft, analyseren we de gegevens altijd in relatie tot gegevens van eerdere jaren. Daaruit concluderen we dat, naast een stabiele lokale betrouwbaarheid over de IEP Eindtoets 2016 en 2017, de vaardigheid bij de cesuur in bijna alle gevallen slechts een minimale verschuiving vertoont. Uit de vergelijking van de cesuren van de toetsadviezen komt in beide jaren een zeer hoge lokale betrouwbaarheid naar voren. Ook als we kijken naar de globale betrouwbaarheid zien we in 2017 hetzelfde patroon als in 2016: de correlaties binnen en tussen de verschillende onderdelen en objecten van onderzoek zijn over het algemeen hoog.de IEP Eindtoets uit 2017 is dus in hoge mate vergelijkbaar met de IEP Eindtoets van vorig jaar. Vergelijkbaarheid van de IEP Eindtoets met de pretest Alle eindtoetsitems zijn op twee momenten afgenomen onder condities die zo vergelijkbaar mogelijk zijn: tijdens de pretest en de afname van de IEP Eindtoets. Na analyse van de items in beide condities kunnen we concluderen dat er nauwelijks significante verschillen op itemniveau optreden. Bij alle drie de onderdelen hebben items, op enkele uitzonderingen na, een iets hogere p-waarde bij de afname dan bij de pretest. Dit verschil, het zogeheten pretest-effect, wordt deels verklaard door het verschil in vaardigheid van beide groepen: de eindtoetsgroep wordt iets vaardiger geschat dan de pretestgroep. Een verklaring liggen in het verschil in afnamecondities: de afname van de IEP Eindtoets wordt zeer waarschijnlijk meer serieus genomen dan de pretest. Daarnaast verschilt het afnamemoment: de pretest vindt plaats in maart en de eindtoetsafname in april. Het pretest-effect is één van de redenen waarom we de cesuren pas na afname van de IEP Eindtoets definitief vaststellen: hoeveel invloed het verschil in afnamecondities zal uitoefenen, is op itemniveau vooraf niet nauwkeurig genoeg te voorspellen. IEP Verantwoording 2017 Publieksversie 16

17 5.6 Tot besluit In april van dit jaar bogen de leerlingen uit groep 8 van de Nederlandse basisscholen zich over een eindtoets, die een uitspraak doet over hun referentieniveau op taal en rekenen én een toetsadvies geeft voor het type vervolgonderwijs ter ondersteuning van het schooladvies van de leerkracht. Voor van deze leerlingen gold dat hun eindtoets de IEP Eindtoets was. Gedurende het hele jaar volgen we nauwgezet procedures en voeren we doorlopend kwaliteitscontroles en onderzoek uit om een zo goed mogelijke IEP Eindtoets te kunnen leveren. Voorop staat dat we elke leerling met de IEP Eindtoets een betrouwbare niveaubepaling en een gedegen toetsadvies geven. Ook in 2017 heeft de IEP Eindtoets met grote nauwkeurigheid een uitspraak gedaan over de referentieniveaus van leerlingen in groep 8. Daarnaast heeft de IEP Eindtoets deze leerlingen een betrouwbaar toetsadvies verstrekt voor het passende type vervolgonderwijs. Niet minder belangrijk is echter dat we de toetservaring zo aangenaam mogelijk willen maken voor de leerlingen, een eindtoets is immers al spannend genoeg. We houden de IEP Eindtoets laagdrempelig door onder andere het gebruik van zo authentiek mogelijk bronnenmateriaal, een toegankelijk taalniveau en een uitnodigende lay-out. Met effect, zo blijkt uit reacties van leerlingen na de afname, zoals Ik vond het prettig dat we in de boekjes konden schrijven en het duurde niet zo lang., De boekjes zijn mooi en duidelijk en dat maakt het werken leuker. en Ik was steeds nieuwsgierig naar de volgende opgave.. IEP Verantwoording 2017 Publieksversie 17

18 Bijlage 1 Toetsmatrijzen IEP Eindtoets 2017 IEP Verantwoording 2017 Publieksversie 18

19 IEP Verantwoording 2017 Publieksversie 19