WETENSCHAPPELIJKE VERANTWOORDING. Bureau ICE

Transcriptie

1 WETENSCHAPPELIJKE VERANTWOORDING Bureau ICE

2 SAMENVATTING Bureau ICE heeft op 17 oktober 2014 de ICE Eindtoets primair onderwijs (IEP) ter goedkeuring aan de Expertgroep Toetsen PO aangeboden. De Expertgroep heeft vervolgens een positief advies aan de staatsecretaris van OCW uitgebracht over de kwaliteit van de IEP Eindtoets. Op 12 november 2014 heeft de staatsecretaris van OCW het advies van de Expertgroep overgenomen en de IEP Eindtoets toegelaten als officiële eindtoets po. De IEP Eindtoets meet op welk referentieniveau de leerling in groep 8 de onderdelen taalvaardigheid (domein lezen en subdomein taalverzorging) en rekenvaardigheid (4 domeinen, getallen, verhoudingen, meten en meetkunde en verbanden) beheerst. De IEP Eindtoets geeft een genormeerde score voor het referentieniveau per onderdeel. De toetsresultaten dienen als second opinion voor het advies dat op een eerder moment door de school is opgesteld. Deze wetenschappelijke verantwoording en alle bijgaande documenten geven inzage in de huidige ontwikkeling van de IEP Eindtoets. De Kerndoelen (OCW, 2006) en het referentiekader taal en rekenen vormen het wettelijk kader van de toetsinhoud van de IEP Eindtoets. De taalvaardigheid van de leerling wordt in de IEP Eindtoets (basistoets) gemeten via het domein lezen en het subdomein taalverzorging op de niveaus 1F en 2F. Voor rekenen worden alle domeinen gemeten, te weten getallen, verhoudingen, meten en meetkunde en verbanden op de niveaus 1F, 1S en 2F. Bureau ICE gebruikt een vast stappenplan bij de constructie en samenstelling van de IEP Eindtoets en maakt gebruik van speciaal voor de IEP Eindtoets opgestelde richtlijnen en checklists. De itemconstructie is gebaseerd op de omschrijvingen uit het referentiekader taal en rekenen en het Algemeen deel toetswijzer voor eindtoets po. De kenmerken van de taakuitvoering zijn steeds als uitgangspunt genomen. Voor ieder toetsonderdeel (vaardigheid per niveau) is een toetsmatrijs gemaakt die borgt dat de toets inhoudelijk dekkend is. Door middel van kwalitatief en psychometrisch onderzoek (eenmalig pilotonderzoek en jaarlijks pretest- en afnameonderzoek) wordt de normering van de IEP Eindtoets bepaald en borgt Bureau ICE de kwaliteit van de IEP Eindtoets. De IEP Eindtoets bestaat uit een basistoets met twee taaltaken (95 items) en twee rekentaken (65 items). De basistoets wordt afgenomen op twee dagen van respectievelijk twee maal 50 minuten per taak en is een papieren afname. Op basis van de ruwe score per vaardigheid per niveau wordt vastgesteld wat het vaardigheidsniveau van een leerling is voor lezen, taalverzorging en rekenen. De grensscoreberekening is tijdens het pretestonderzoek vastgesteld op basis van de schaling met de referentieset-items uit het headstartonderzoek. Naast een niveau uitspraak per vaardigheid wordt op basis van de IEP Eindtoets een schooladvies geformuleerd. Tijdens het pretestonderzoek is de transformatie van de ruwe scores op de verschillende toetsonderdelen naar een standaardscore bepaald. Hiertoe zijn tijdens het pretestonderzoek normgroepen van brugklastypen samengesteld. Voor de zeven verschillende normgroepen is een standaardscoreschaal van 50 tot en met 100 punten samengesteld voor de basistoets. Het pilotonderzoek was een eerste aanzet om de validiteit, betrouwbaarheid en bruikbaarheid van de IEP Eindtoets items te bepalen. Dit pilotonderzoek heeft plaatsgevonden in groep 8 van het primair onderwijs. Het pretestonderzoek was een vervolg hierop en werd aan het begin van het schooljaar afgenomen in het voortgezet onderwijs. Hierdoor kon onder andere bepaald worden welke scores op de verschillende onderdelen typerend zijn voor welke normgroepen. Verschillend statistisch psychometrisch onderzoek (TIA, OPCAT, OPLM) werd gebruikt om volgens de normen van de COTAN (Evers et al., 2010) de kwaliteit door samenstelling en normering van de IEP Eindtoets te bepalen en te borgen. Jaarlijks zal dit pretest- en een afnameonderzoek uitgevoerd worden om de IEP Eindtoets over de jaren heen te equivaleren. IEP Eindtoets 2015 Wetenschappelijke verantwoording 1/59

3 INHOUDSOPGAVE SAMENVATTING 3 1. INLEIDING De IEP Eindtoets Eisen en documenten ter verantwoording van de IEP Eindtoets Leeswijzer 8 2. UITGANGSPUNTEN VOOR TOETSCONSTRUCTIE Doelstelling van de IEP Eindtoets Inhoud van de IEP Eindtoets Functie van de IEP Eindtoets Doelgroep van de IEP Eindtoets Verschillende niveaus voor verschillend vaardige leerlingen Speciale toetsversies Toetsmatrijzen en constructierichtlijnen Operationalisering referentiekader taal voor het domein lezen Operationalisering referentiekader taal voor het domein taalverzorging Operationalisering referentiekader rekenen voor de vier rekendomeinen Psychometrisch onderzoek IEP Eindtoets Normeringsonderzoek IEP Eindtoets Pilot- en pretestonderzoek IEP Eindtoets Rapportage normeringsonderzoek Headstartonderzoek referentieset-items Normen van de IEP Eindtoets Longitudinaal doorstroomonderzoek BESCHRIJVING VAN DE IEP EINDTOETS Opbouw van de toets Inhoud van de toets Verantwoording taal Verantwoording rekenen Kenmerken van de toets Afnamekenmerken van de IEP Eindtoets Keuze voor korte-open-antwoordvragen Scoringskenmerken van de IEP Eindtoets Criteria toets- en itemkenmerken 25 IEP Eindtoets 2015 Wetenschappelijke verantwoording 2/59

4 4. NORMERINGSONDERZOEK Pilotonderzoek van de IEP Eindtoets in het basisonderwijs Pretestonderzoek van de IEP Eindtoets in het voortgezet onderwijs Doelgroep van het pretestonderzoek Opzet van het pretestonderzoek Normgroepen pretest Doelen pretestonderzoek Analyse en resultaten pretestonderzoek Normering referentieniveaus taal en rekenen Normering schooladvies vo Rapportage resultaten pretestonderzoek Afname pretest Kenmerken van de pretestpopulatie Analyse en samenstelling van de IEP Eindtoets Toets- en Itemanalyse (TIA) Samenstelling IEP Eindtoets (en analyses OPLM) Normering referentieniveaus taal en rekenen Betrouwbaarheid Normering schooladvies BETROUWBAARHEID EN VALIDITEIT VAN DE IEP EINDTOETS Betrouwbaarheid Begripsvaliditeit Inhoudsvaliditeit Criteriumvaliditeit Onderzoek naar subgroepen - Bias 61 REFERENTIES 66 IEP Eindtoets 2015 Wetenschappelijke verantwoording 3/59

5 1 INLEIDING Met de invoering van de Wijzigingswet op het primair onderwijs (d.d. 11 december 2013) is vanaf schooljaar elke basisschool verplicht om een eindtoets af te nemen bij alle leerlingen in groep 8. De eindtoets is bedoeld als landelijke objectieve toets die meet welk referentieniveau de leerlingen beheersen voor taal en rekenen. Elke basisschool kan zelf kiezen welke eindtoets zij wil gebruiken, mits deze is goedgekeurd door het ministerie van OCW. 1.1 De IEP Eindtoets De IEP Eindtoets is ontwikkeld door Bureau ICE en in november 2014 voor een periode van 4 jaar toegelaten als eindtoets voor het basisonderwijs. Bureau ICE is expert in het ontwikkelen van toetsen en examens en maakt al 25 jaar (methode-)onafhankelijke toetsen voor en in opdracht van het ministerie van OCW, het College voor Toetsen en Examens (CvTE), het ministerie van SZW en voor het mbo, voortgezet onderwijs en het hoger onderwijs. IEP staat voor ICE Eindevaluatie Primair onderwijs, een programma van instrumenten 1 voor de overgang naar het voortgezet onderwijs, waarvan de IEP Eindtoets een belangrijk onderdeel is. De IEP Eindtoets meet op welk referentieniveau de leerling in groep 8 de onderdelen taalvaardigheid (domein lezen en subdomein taalverzorging) en rekenvaardigheid (4 domeinen; getallen, verhoudingen, meten/meetkunde en verbanden) beheerst. De IEP Eindtoets geeft een genormeerde score voor het referentieniveau per onderdeel. Op basis van de resultaten op alle onderdelen van de IEP eindtoets krijgt de leerling een schooladvies voor het voortgezet onderwijs. 1.2 Eisen en documenten ter verantwoording van de IEP Eindtoets Het Toetsbesluit PO (2014) schrijft voor aan welke voorwaarden (inhoud en kwaliteit) alle eindtoetsen die worden toegelaten moeten voldoen. In het Algemeen deel toetswijzer voor eindtoets po (CvTE, 2014) is uitgebreid beschreven aan welke inhoudelijke eisen elke eindtoets moet voldoen voor de wettelijk verplichte domeinen uit het Referentiekader taal en rekenen (Expertgroep Doorlopende Leerlijnen Taal en Rekenen, 2009). De IEP Eindtoets is volledig ontwikkeld binnen het kader van dit Algemeen deel toetswijzer voor eindtoets po en voldoet aan alle eisen. Elke eindtoetsaanbieder moet daarnaast een inhoudelijke toetswijzer maken voor de specifieke opzet van de eigen eindtoets. Voor de IEP Eindtoets is er daarom de IEP Eindtoets Toetswijzer waarin wij de onderwijscontext verantwoorden: dit betreft de kwaliteitseisen ten aanzien van inhoud, het leerlingrapport, de doelgroep, de afname en de organisatie. In de toetswijzer van de IEP Eindtoets zijn de volgende aspecten opgenomen: een beschrijving van de in de eindtoets opgenomen domeinen; een beschrijving per domein van de in de eindtoets opgenomen verschillende inhoudsonderdelen waarbij de relatie is aangegeven tussen de inhouden van het referentiekader en de inhouden van de toets; een beschrijving die inzicht geeft in de wijze waarop de niveaubepaling ten aanzien van de referentieniveaus is gebaseerd; een beschrijving die inzicht geeft in de gemaakte keuzes ten aanzien van domeinen en inhoudsonderdelen; een beschrijving van de manier van toetsen: de vorm waarin opgaven worden aangeboden. De informatie uit de toetswijzer van de IEP Eindtoets zult u voor een deel ook terugvinden in dit document. 1 Binnen het evaluatieprogramma IEP is er naast de IEP Eindtoets ook een IEP Advieswijzer beschikbaar. De IEP Advieswijzer bevat instrumenten om het schooladvies van de leerkracht te onderbouwen en geeft een hoofd, hart, handen profiel van de leerling in groep 8 IEP Eindtoets 2015 Wetenschappelijke verantwoording 4/59

6 Deze wetenschappelijke verantwoording van de IEP Eindtoets beschrijft de inhoud van de IEP Eindtoets gerelateerd aan het onderzoek dat Bureau ICE heeft gedaan om deze inhoudelijke keuzes te onderbouwen. Voor elk onderdeel van de toetsconstructie en de borging van de toetskwaliteit is aangegeven welke stappen wij in het proces hebben gezet, zowel wat inhoudelijke als psychometrische onderbouwing van het instrument betreft. Het gaat hierbij om het verzamelen van afnamedata, het doen van verder onderzoek, het uitvoeren van analyses, het uitwerken van begeleidende materialen, et cetera. In deze wetenschappelijke verantwoording staan de volgende aspecten beschreven: de uitgangspunten van de toetsconstructie voor de IEP Eindtoets, de kwaliteit van het toetsmateriaal, de normering, de betrouwbaarheid, validiteit en bruikbaarheid van de IEP Eindtoets Deze wetenschappelijke verantwoording en alle bijgaande documenten geven inzage in de huidige ontwikkeling van de IEP Eindtoets. Deze wetenschappelijke verantwoording is opgebouwd als groeidocument en geeft inzage in de ontwikkeling van de IEP Eindtoets en de keuzes die wij in dit proces maken. Steeds als er nieuwe resultaten zijn, zullen de onderzoeksgegevens toegevoegd en gepubliceerd worden. Na de afname en het onderzoek naar de resultaten van de IEP Eindtoets zal deze versie (publicatie maart 2015) aangevuld worden met de analyses van de resultaten van de afname, naar verwachting publicatie september/oktober Leeswijzer In hoofdstuk 2 zijn de uitgangspunten voor de toetsconstructie van de IEP Eindtoets beschreven. In dit hoofdstuk worden achtereenvolgens toegelicht waarvoor de IEP Eindtoets dient (2.1), welke kennisdomeinen de IEP Eindtoets bestrijkt en volgens welk normenkader de inhoud is vormgegeven (2.2), hoe de IEP Eindtoets gebruikt moet/kan worden (2.3), voor wie de IEP Eindtoets bedoeld is (2.4), op basis van welke inhoud Bureau ICE de IEP Eindtoets vormgeeft (2.5) en op welke wijze het psychometrisch onderzoek uitgevoerd wordt in de IEP Eindtoets (2.6). Hoofdstuk 3 beschrijft de IEP Eindtoets, te weten de opbouw (3.1) en de inhoud (3.2) en de toetskenmerken van de IEP Eindtoets (3.3). In hoofdstuk 4 beschrijven we uitgebreid hoe wij het normeringsonderzoek hebben vormgegeven en wat de resultaten zijn van het onderzoek. In hoofdstuk 5 beschrijven we op welke wijze de betrouwbaarheid (5.1) en validiteit (5.2) van de IEP Eindtoets door ons onderzocht, verantwoord en geborgd is. IEP Eindtoets 2015 Wetenschappelijke verantwoording 5/59

7 2. UITGANGSPUNTEN VOOR TOETSCONSTRUCTIE In dit hoofdstuk beschrijven we de uitgangspunten voor de toetsconstructie van de IEP Eindtoets. Alle aspecten die van belang zijn voor de ontwikkelkeuzes worden in grote lijnen beschreven. De doelstelling van de IEP Eindtoets, de inhoud waarop de IEP Eindtoets gebaseerd is, de functie die de IEP Eindtoets gaat vervullen in het basisonderwijs, de doelgroep van de IEP Eindtoets en de onderzoeksopzet voor normering van de IEP Eindtoets. In de hoofdstukken die na dit hoofdstuk volgen en in de overige documentatie van de IEP Eindtoets worden alle verschillende aspecten verder uitgediept en onderbouwd. In dit hoofdstuk besteden we naast deze punten ook aandacht aan de historische achtergrond die ten grondslag ligt aan de keuze om als Bureau ICE een alternatieve eindtoets voor taal en rekenen aan te willen bieden aan het basisonderwijs. 2.1 Doelstelling van de IEP Eindtoets De IEP Eindtoets stelt vast op welk referentieniveau de leerling taal en rekenen beheerst aan het einde van de basisschool. De IEP Eindtoets doet per onderdeel (lezen, taalverzorging en rekenen) een uitspraak op referentieniveau en geeft op basis van alle onderdelen een schooladvies voor het voortgezet onderwijs. De toetsresultaten dienen als second opinion voor het schooladvies dat op een eerder moment door de school is opgesteld. De IEP Eindtoets heeft daarmee twee doelen voor de leerling: voorspellend en niveaubepalend. De IEP Eindtoets is voorspellend in die zin dat het resultaat van de leerling op de toets aangeeft hoe een leerling het naar verwachting zal doen in het voortgezet onderwijs. De IEP Eindtoets is niveaubepalend in die zin dat het resultaat van de leerling op de eindtoets aangeeft welk beheersingsniveau een leerling heeft aan het einde van het basisonderwijs ten aanzien van de referentieniveaus taal (domein lezen en subdomein taalverzorging) en rekenen (alle domeinen). Om aan de doelstelling van een goede eindtoets basisonderwijs te kunnen voldoen, zal de IEP Eindtoets aan de volgende voorwaarden voldoen: 1) de resultaten van de IEP Eindtoets zijn een goede weerspiegeling van de reële capaciteiten van de leerling, 2) de IEP Eindtoets kan verschillen in vaardigheidsniveaus accuraat onderscheiden, en 3) de IEP Eindtoets heeft een voldoende voorspellende waarde om als een instrument voor het geven van schooladvies te dienen. 2.2 Inhoud van de IEP Eindtoets De Kerndoelen (OCW, 2006) en het Referentiekader taal en rekenen (2009) vormen het wettelijk kader van de toetsinhoud van de IEP Eindtoets. De referentieniveaus beschrijven wat leerlingen moeten kennen, kunnen en begrijpen voor verschillende onderwijsovergangsmomenten, waaronder het einde van de basisschool. De beheersingsdoelen van de referentieniveaus die gelden voor het basisonderwijs omvatten de kerndoelen, ze bevatten geen nieuwe leerstof. Om die reden zullen wij alleen nog spreken van de referentieniveaus. Voor het einde van de basisschool zijn twee referentieniveaus van belang, te weten het basisniveau 1F en het streefniveau 2F (voor taal) of 1S (voor rekenen). De focus van de IEP Eindtoets ligt daarom op het vaststellen van de beheersing van deze referentieniveaus. Als extra aandachtsgebieden bevat de IEP Eindtoets zowel voor taal als voor rekenen ook opgaven onder het 1F niveau en voor rekenen naast 1F en 1S ook niveau 2F. Bureau ICE heeft ervoor gekozen om niet meer inhoudelijke domeinen te toetsen in de eindtoets dan wettelijk verplicht is 2. De taalvaardigheid van de leerling wordt in de 2 Deze keuze heeft Bureau ICE gemaakt omdat in het totale evaluatieprogramma van de IEP (ICE Eindevaluatie Primair onderwijs) ook nog een IEP Advieswijzer is opgenomen waarin een leerling breder dan alleen op taal en rekenen in beeld wordt gebracht voor het geven van een schooladvies. De eindtoets ziet Bureau ICE als een second opinion voor waar een leerling helemaal aan het einde van groep 8 staat. Zie ook paragraaf 2.3. IEP Eindtoets 2015 Wetenschappelijke verantwoording 6/59

8 IEP Eindtoets alleen gemeten via het domein lezen en het subdomein taalverzorging. Voor rekenen worden alle domeinen gemeten, te weten getallen, verhoudingen, meten/meetkunde en verbanden. In hoofdstuk 3 wordt de IEP Eindtoets meer specifiek beschreven wat betreft structuur en inhoud en worden de gemaakte keuzes verantwoord. 2.3 Functie van de IEP Eindtoets Bureau ICE is een groot voorstander van de invoering van de doorlopende leerlijn voor taal en rekenen om de taal- en rekenvaardigheid van de leerlingen in het Nederlandse onderwijs te borgen. Taal en rekenen zijn zeer belangrijke basisvaardigheden voor leerlingen om goed te kunnen leren en behoren tot de belangrijkste voorspellers voor schoolsucces (Van Aarsen & Luyten, 2013). De (leer)capaciteit van een leerling is echter niet alleen af te meten aan de taalvaardigheid en rekenvaardigheid van een leerling. Bureau ICE ontwikkelt binnen het programma IEP naast de IEP Eindtoets ook nog een IEP Advieswijzer, bestaande uit een set van instrumenten voor basisschool en leerkracht om het schooladvies voor de leerling nog beter vorm te geven. In de IEP Advieswijzer zullen onder meer andere domeinen van taalvaardigheid, zoals schrijven, een belangrijke rol gaan spelen. Ook is er binnen de IEP Advieswijzer ruimte om het niveau 3F van taal en rekenvaardigheid voor kinderen die dit aankunnen in beeld te brengen. Daarnaast zullen de instrumenten gaan over gebieden die het kind breder in beeld brengen dan taal- en rekenvaardigheid, zodat een completer schooladvies kan worden opgesteld door de leerkracht. We kijken daarbij naar het hoofd, hart en handen profiel van een leerling. De IEP Eindtoets heeft de functie van een onafhankelijke, objectieve meting die als een second opinion gebruikt kan worden voor het gegeven schooladvies voor het voortgezet onderwijs door de leerkracht. De IEP Eindtoets dient daarmee als informatiebron om een gefundeerd advies te geven over het te volgen schooltype in het vervolgonderwijs. De resultaten behaald op de IEP Eindtoets bieden daarmee de basis voor een alternatieve inschatting van de mogelijkheden van leerlingen ten opzichte van de inschatting van de leerkracht. 2.4 Doelgroep van de IEP Eindtoets De IEP Eindtoets is in principe bedoeld voor alle leerlingen van groep 8 in het primair onderwijs. Elke leerling krijgt dezelfde toetsopgaven van de IEP Eindtoets voorgelegd waarin de focus ligt op het vaststellen van referentieniveau 1F, 1S en 2F voor rekenen en referentieniveau 1F en 2F voor taal (lezen en taalverzorging). De IEP Eindtoets wordt door de leerling op papier gemaakt, waarbij de leerling in het toetsboekje mag werken Verschillende niveaus voor verschillend vaardige leerlingen Elke leerling krijgt dezelfde toetsversie van de IEP Eindtoets voorgelegd. De IEP Eindtoets is zo opgebouwd dat zowel minder vaardige leerlingen als meer vaardige leerlingen de kans krijgen om te laten zien wat zij kunnen. Voor leerlingen die taal en/of rekenen erg moeilijk vinden en mogelijk het fundamentele niveau 1F niet beheersen bevat de IEP Eindtoets een kleine hoeveelheid opgaven die voor hen passend zijn. Een toets maken die alleen (te) moeilijke opgaven bevat, werkt niet motiverend. Om de leerlingen die niveau 1F niet behalen een kans te geven om te laten zien wat zij kunnen bevat de basistoets daarom taken lager dan 1F. Deze items 3 worden aangegeven als niveau <1F en vertegenwoordigen de basisschoolleerstof van groep 4-6. Het <1F niveau is geen officieel referentieniveau omdat het referentiekader dit onderscheid niet maakt. De toetsinhoud voor dit <1F niveau hebben wij gebaseerd op de beschrijving van de kerndoelen basisonderwijs tot en met groep 6. 3 In deze wetenschappelijk verantwoording spreken we soms naast opgave ook van item, dit is gelijk aan het woord (toets)opgave zoals dat in de andere verantwoordingsdocumenten wordt gebruikt. IEP Eindtoets 2015 Wetenschappelijke verantwoording 7/59

9 De vastgestelde referentieniveaus voor het basisonderwijs zijn 1F en 1S (voor taal staat niveau 2F gelijk aan het eerste streefniveau (1S)). Leerlingen die vaardiger zijn dan deze niveaus willen we ook ruimte geven dit te laten zien. Om die reden bevat de IEP Eindtoets voor rekenen ook taken op referentieniveau 2F en bevat de IEP Advieswijzer voor zowel taal als rekenen een toets op referentieniveau 3F. Met deze aanvullende toets, die volledig onafhankelijk van de IEP Eindtoets kan worden afgenomen, kan de leerling de beheersing aantonen van niveau 3F Speciale toetsversies Voor leerlingen met een speciale ondersteuningsbehoefte wordt de IEP Eindtoets in een aangepaste vorm aangeboden. Het gaat hierbij om leerlingen met dyscalculie, dyslexie, leerlingen met een visuele beperking (slechtzienden), leerlingen met een auditieve beperking en cognitief zwakke leerlingen. Bij het ontwikkelen van de IEP Eindtoets is daar waar mogelijk al rekening gehouden met het kunnen toetsen van leerlingen met een speciale ondersteuningsbehoefte. Het gekozen lettertype in de toetsboekjes bijvoorbeeld zorgt voor een rustig beeld zodat alle leerlingen, dus ook de leerlingen die meer moeite hebben met lezen, de teksten en opgaven kunnen lezen en maken. Bij de opmaak van de toetsboekjes wordt een goede verdeling van de opgaven over de pagina s in het oog gehouden, zodat de leerlingen niet met te veel informatie op één pagina geconfronteerd worden. Bij het ontwikkelen van de opgaven is steeds als uitgangspunt meegenomen dat de opgaven en bijbehorende teksten aangepast moeten kunnen worden naar een gesproken toetsversie of een toetsversie met vergrote letters of in zwart-wit. De IEP Eindtoets wordt voor leerlingen met een speciale ondersteuningsbehoefte aangeboden in de volgende aangepaste versies: gesproken versie op cd of Daisy-cd vergrote versie van de toetsboekjes, met grote letter versie in zwart-wit Bureau ICE heeft ervaring op het gebied van het aanbieden van toetsen in een brailleversie. Indien gewenst, is het ook mogelijk de IEP Eindtoets in brailleversie aan te bieden. In de IEP Toetswijzer wordt beschreven op welke manier de school leerlingen met een speciale ondersteuningsbehoefte bij het afnemen van de IEP Eindtoets extra kan ondersteunen. 2.5 Toetsmatrijzen en constructierichtlijnen Om een betrouwbare en valide eindtoets voor het basisonderwijs te ontwikkelen is het proces van toetsconstructie en samenstelling volgens een vast stappenplan vormgegeven en gebruiken we specifiek voor de ontwikkeling van de IEP Eindtoets opgestelde richtlijnen en checklists 4. Naast deze toetsconstructierichtlijnen is er voor elk toetsonderdeel (rekenen, lezen en taalverzorging) een toetsmatrijs opgesteld. De stappen van toetsconstructie zijn weergegeven in tabel Zowel de checklist constructie & screening IEP Eindtoets rekenen als de checklist constructie & screening IEP Eindtoets taal zijn ter inzage op te vragen bij Bureau ICE. IEP Eindtoets 2015 Wetenschappelijke verantwoording 8/59

10 Tabel 2.1 Stappen van toetsconstructie Stap toetsconstructieproces 1. Bepalen toetsdoelen 2. Ontwerpen toetsvorm 3. Constructie items Aandachtspunten Waarom willen we meten, wat moet de toets meten, op welk niveau Welke type items zijn geschikt, welke toetsomvang is nodig, opstellen toetsmatrijs (Concept)items ontwikkelen op basis van toetsmatrijs en checklists itemkwaliteit 4. Onderzoeken kwaliteit items Proefafname van de items in een pilot 5. Selectie items Kwaliteit van de items, moeilijkheidsgraad, onderscheidend vermogen 6. Samenstellen toets Op basis van toetsmatrijs 7. Normeringsonderzoek Pretestonderzoek van de toets, vaststellen normering 8. Toetsafname Afname van de toets bij de beoogde doelgroep Uitgangspunt voor de constructie van de IEP Eindtoets is steeds het referentiekader, het algemeen deel toetswijzer voor eindtoets po en de daarvan afgeleide toetsmatrijzen voor lezen, taalverzorging en rekenen. Voor elk item worden vragen gesteld zoals: sluit het item aan bij het beoogde referentieniveau, domein, domeinonderwerp? Komt het vraagtype overeen met de toetsmatrijs? Sluit het item aan bij de doelgroep? Is het item cultureel, religie en sekse neutraal? Is de tekst (de taal) functioneel voor het beantwoorden van het item? De toetsmatrijzen zijn ontwikkeld op basis van de doelen horende bij de verschillende referentieniveaus en waar nodig de kerndoelen (<1F bijvoorbeeld) Operationalisering referentiekader taal voor het domein lezen De toetstaken voor het onderdeel lezen zijn gebaseerd op het domein lezen uit het referentiekader taal. Zowel de algemene beschrijvingen en tekstkenmerken per niveau, als de specifieke beschrijvingen voor elke tekstsoort zijn leidend geweest. Alle genoemde tekstsoorten uit het referentiekader komen in de IEP Eindtoets aan bod. Bij de constructie van de leesteksten hebben we rekening gehouden met de leefwereld van leerlingen aan het eind van het basisonderwijs. Ook hebben we bij de keuze voor de verschillende onderwerpen van leesteksten rekening gehouden met de heterogeniteit van de doelgroep. De tekstonderwerpen moeten zoveel mogelijk toegankelijk zijn voor alle leerlingen ondanks verschillen in culturele achtergrond, de schooldenominatie, sekse, etc. Ook de itemconstructie is gebaseerd op de omschrijvingen van het domein lezen uit het referentiekader taal en het algemeen deel toetswijzer voor eindtoets taal en rekenen po van het CvTE. Hiervoor zijn de kenmerken van de taakuitvoering steeds als uitgangspunt genomen. De items meten alle verschillende onderdelen, te weten: techniek en woordenschat, begrijpen, interpreteren, evalueren, samenvatten en opzoeken. Het zwaartepunt ligt voor alle referentieniveaus op de onderdelen begrijpen en interpreteren. Voor het definiëren van het niveau lezen <1F is gekeken naar welke basale vaardigheden de leerling dient te beheersen op weg naar het behalen van het referentieniveau 1F. De uitwerking hiervan is gebaseerd op de beschrijvingen uit de kerndoelen waaraan de leerling moet voldoen tot en met groep 6. IEP Eindtoets 2015 Wetenschappelijke verantwoording 9/59

11 2.5.2 Operationalisering referentiekader taal voor het domein taalverzorging De items taalverzorging zijn gebaseerd op de omschrijvingen voor het subdomein taalverzorging uit het referentiekader taal. De items dekken de verschillende onderdelen zoals beschreven in het referentiekader, te weten verschillende categorieën van spellingsproblemen en -regels, regels voor lettergreepgrenzen, regels voor woordgrenzen, morfologische spelling, regels voor werkwoordspelling, overige regels (verschillende spellingscategorieën zoals de schrijfwijze van tussenklank s of e(n) en het gebruik van een trema of koppelteken) en leestekens. Om precies te kunnen bepalen welke spellingscategorieën onder welk referentieniveau vallen zijn de beschrijvingen aangehouden zoals beschreven in de Leerstoflijnen Begrippenlijst en Taalverzorging (SLO, 2011). Om invulling te geven aan het niveau <1F is gekeken naar welke onderdelen uit het referentieniveau 1F al vanaf groep 4 beheerst dienen te worden, opnieuw gebaseerd op de beschrijvingen uit de Leerstoflijnen Begrippenlijst en taalverzorging. Taalverzorging is in het referentiekader taal een subdomein van het domein begrippenlijst en taalverzorging. De minimaal inhoudelijke eis is dat een eindtoets het subdomein taalverzorging meet en voor dit onderdeel een aparte uitslag geeft voor het beheersen van het referentieniveau. Bureau ICE kan zich goed vinden in deze keuze. De kennis van begrippen die een leerling nodig heeft om te kunnen spreken over taal en taalverschijnselen worden in de IEP Eindtoets niet als aparte kennis getoetst. Onze visie is dat leerlingen deze begrippen moeten kunnen gebruiken in verschillende taalsituaties Operationalisering referentiekader rekenen voor de vier rekendomeinen De itemconstructie rekenen is gebaseerd op het referentiekader rekenen. In de toetsmatrijs zijn de vier rekendomeinen uitgewerkt in elf specifieke domeinonderwerpen. De doelen uit het referentiekader zijn per domeinonderwerp uitgewerkt in specifieke toetsdoelen. Een voorbeeld van een uitgewerkt toetsdoel op referentieniveau 1F domein verbanden (10 Tabellen Taxonomie I Begrip C Interpreteren van bronnen) is Informatie aflezen uit eenvoudige veelvoorkomende tabellen (dienstregeling bus/trein, lesrooster) en kwantitatieve informatie uit eenvoudige tabellen gebruiken om conclusies te trekken in toepassingssituaties. Deze toetsdoelen zijn vergeleken met de kerndoelen voor het basisonderwijs, het algemeen deel toetswijzer voor eindtoets taal en rekenen po en de Tule kerndoelen (Buijs, Klep & Noteboom, 2008; Tomesen, Van Koeven & Taalgroep Nederlandse taal PO, 2008) en zo nodig aangevuld of nader gespecificeerd om de toetsmatrijs geheel dekkend te maken voor de rekeninhouden in het primair onderwijs. Op basis van de inhouden van de toetsdoelen is er vervolgens een taxonomie opgesteld, bestaande uit twee categorieën die ieder weer bestaan uit drie rekenvaardigheden: I Begrip (A Getalsbegrip, B Maat- en begripskennis, C Interpreteren van bronnen) en II Bewerkingen (D Optellen & aftrekken, E Vermenigvuldigen & delen, F Bewerkingen combineren), die weer gekoppeld zijn aan de leerdoelen van de verschillende domeinonderwerpen. IEP Eindtoets 2015 Wetenschappelijke verantwoording 10/59

12 In Tabel 2.2 is opgenomen onder welk(e) domein(en) de domeinonderwerpen vallen en welke rekenvaardigheden van toepassing zijn per domeinonderwerp. Dit kader is leidend bij de itemconstructie rekenen. Uitgangspunt is om alle domeinonderwerpen en rekenvaardigheden in een evenwichtige verhouding op te nemen in de IEP Eindtoets, waarbij als richtlijn wordt gehanteerd dat van de opgaven op begripsniveau en van de opgaven op het niveau van bewerkingen is. Tabel 2.2 Indeling toetskader rekenen IEP Eindtoets Domein Taxonomie I Begrip II Bewerkingen Domeinonderwerp Getallen Verhoudingen Meten & Meetkunde Verbanden A Getalsbegrip B Maat- en begripskennis C Interpreteren van bronnen D Optellen & aftrekken E Vermenigvuldigen & delen F Bewerkingen combineren 1 Gehele getallen x x x x x x 2 Decimalen x x x x x x 3 Breuken x x x x x x 4 Percentages x x x x x 5 Schaal & vergroting/verkleining x x x 6 Maten & meetinstrumenten x x x x x x 7 Omtrek, oppervlakte & inhoud x x x x x 8 Meetkundige kaarten, tekeningen, figuren & begrippen x x x x 9 Patronen x x x x x x 10 Tabellen x x x x x 11 Diagrammen/grafieken x x x x IEP Eindtoets 2015 Wetenschappelijke verantwoording 11/59

13 2.6 Psychometrisch onderzoek IEP Eindtoets In bovenstaande paragrafen is beschreven wat de inhoudelijke uitgangspunten voor de toetsconstructie van de IEP Eindtoets zijn. In deze paragraaf staan de uitgangspunten voor het psychometrische onderzoek beschreven. De IEP Eindtoets zal vanaf afnamejaar 2015 elk jaar opnieuw bestaan uit 100 nieuwe items zolang het een papieren toetsafname betreft. Omdat de functie van de IEP Eindtoets een onafhankelijke niveaumeting en het geven van een objectief schooladvies betreft, zorgt Bureau ICE ervoor dat het construct dat gemeten wordt elk afnamejaar (bij gelijkblijvende eisen) gelijk is door latere toetsversies te equivaleren met toetsversies van eerdere jaren middels een ankertoetsdesign via een pretestonderzoek. Door middel van onderzoek zorgt Bureau ICE ook dat bij de eerste toetsafname in de IEP Eindtoets het juiste referentieniveau meet 5 en daarbij een passend schooladvies geeft. In de komende paragrafen beschrijven we globaal welke aanpak, instrumenten, rekenmodellen en analysemethoden hiervoor zijn en worden ingezet. In de verschillende hoofdstukken van deze verantwoording zullen de verschillende onderdelen specifieker beschreven worden Normeringsonderzoek IEP Eindtoets Het normeringsonderzoek van de IEP Eindtoets is in het eerste ontwikkeljaar in drie fasen verlopen, te weten: een pilotonderzoek van items in het primair onderwijs, een pretestonderzoek van de IEP Eindtoets in het voortgezet onderwijs en de echte afname van de IEP Eindtoets in het primair onderwijs. Na afnamejaar zal het structurele ontwikkeltraject van de IEP Eindtoets steeds bestaan uit een pretestfase en een afnamefase Pilot- en pretestonderzoek IEP Eindtoets Het pilotonderzoek was bedoeld om de constructie verder te kunnen verfijnen. Minder goed functionerende items zijn na de pilot vervangen worden door nieuwe items die op hun beurt zijn getest in het pretestonderzoek. Op basis van de ervaringen van de pilot heeft Bureau ICE de constructierichtlijnen verder verfijnd. Het pretestonderzoek is vervolgens het belangrijkste instrument dat Bureau ICE hanteert om de continuïteit van de IEP Eindtoets te borgen. Door de items verder te testen in de pretest is ervoor gezorgd dat er voldoende observaties zijn voor de items die in de afnameversie van de IEP Eindtoets zijn opgenomen. Op deze wijze wordt elk jaar de kwaliteit van de items en de samenstelling van de IEP Eindtoets geborgd Rapportage normeringsonderzoek Om een eindtoets aan te kunnen bieden in het basisonderwijs geldt een strenge toelatingsprocedure. Het ministerie van OCW laat alleen toetsen toe die zowel kwalitatief als inhoudelijk zijn beoordeeld en goedgekeurd door de Expertgroep PO. Het normeringsonderzoek van de IEP Eindtoets is uitgebreid en in verschillende fasen aan de Expertgroep PO voorgelegd en heeft in november 2014 geleid tot een toelating van de eindtoets voor een periode van vier jaar. Binnen deze periode zal elk jaar de afnameversie van de IEP Eindtoets voor het volgende jaar door de Expertgroep PO worden beoordeeld. 5 Voor lezen en rekenen geldt dat we het referentieniveau kunnen ijken aan de referentiesets. Voor taalverzorging is geen referentieset beschikbaar en is beschreven hoe we het niveau vaststellen. IEP Eindtoets 2015 Wetenschappelijke verantwoording 12/59

14 2.6.4 Headstartonderzoek referentieset-items Onder regie van het CvTE is een instrumentarium ontwikkeld dat aanbieders van eindtoetsen kunnen gebruiken om ervoor te zorgen dat hun eindtoets betrouwbaar de beheersing van de referentieniveaus meet. Het instrumentarium bestaat uit referentiesets en ankersets van op de referentieniveaus afgestemde toetsopgaven en een normering voor het vaststellen van de referentiecesuur. Bureau ICE doet ten behoeve van de IEP Eindtoets mee aan dit zogenoemde headstartonderzoek en maakt zowel in de pilot als in de pretest gebruik van de referentiesets voor lezen en rekenen. Voor taalverzorging is nog geen referentieset beschikbaar. De ankersets taalverzorging worden naar verwachting beschikbaar gesteld per 1 juni Zodra deze beschikbaar worden gesteld zullen deze worden meegenomen Normen van de IEP Eindtoets Voor het bepalen van het behaalde referentieniveau op de IEP Eindtoets gebruiken we een extern criterium, te weten het referentiekader. Dat betekent dat de testresultaten met een absolute norm worden vergeleken. Voor een uitslag van de beheersing van de referentieniveaus spreken we bij de IEP Eindtoets dus van een domeingerichte interpretatie van de ruwe score. De standaard of grensscore is vastgesteld volgens de richtlijnen van het headstartonderzoek. Het schooladvies van de IEP Eindtoets bestaat waar mogelijk uit een advies voor het specifieke schooltype waarvoor de leerling op basis van de beheersing van de referentieniveaus het meest geschikt is (bijvoorbeeld vmbo-t of vwo). De IEP Eindtoets geeft als dat niet mogelijk is de uitslag weer in maximaal twee naastgelegen onderwijstypen in het voortgezet onderwijs (bijvoorbeeld vmbo-t/havo of havo/ vwo). Voor het bepalen van het schooladvies maakt de IEP Eindtoets gebruik van een normgerichte interpretatie. De score die behaald is op de verschillende onderdelen van de IEP Eindtoets zal worden vergeleken met meerdere referentiegroepen. Op basis van deze referentiegroepen stellen we vast hoe een leerling scoort op de IEP Eindtoets ten opzichte van vergelijkbare leerlingen in eenzelfde groep als deze leerling Longitudinaal doorstroomonderzoek Het resultaat dat de leerling behaalt op de IEP Eindtoets wordt vertaald naar een eenduidig schooladvies voor het voortgezet onderwijs. Dit schooladvies dat hoort bij de uitslag van de IEP Eindtoets fungeert als tweede onafhankelijk gegeven dat kan leiden tot bijstelling van het schooladvies voor het vervolgonderwijs. Het heeft de voorkeur dat dit schooladvies gebaseerd is op longitudinaal doorstroomonderzoek. Omdat de IEP Eindtoets een nieuw ontwikkelde eindtoets is zal de dataverzameling hiervoor starten vanaf In deze verantwoording beschrijven we in hoofdstuk 5 de werkwijze om de voorspellende waarde van de IEP Eindtoets systematisch te volgen. IEP Eindtoets 2015 Wetenschappelijke verantwoording 13/59

15 3. BESCHRIJVING VAN DE IEP EINDTOETS In dit hoofdstuk beschrijven we de belangrijkste kenmerken van de IEP Eindtoets op hoofdlijnen. De overige documentatie van de IEP Eindtoets, zoals de IEP Eindtoets Toetswijzer, de IEP Eindtoets Afnamehandleiding en het IEP Eindtoets Toetsreglement vult deze beschrijving aan. 3.1 Opbouw van de toets De IEP Eindtoets bestaat uit twee taaltaken en twee rekentaken. De IEP Eindtoets wordt afgenomen op papier verspreid over twee dagdelen (tweemaal op een ochtend). Op elk dagdeel krijgt de leerling zowel taal als rekenen aangeboden. Daarom kent elk dagdeel een eigen toetsboekje dat bestaat uit een taaltaak en een rekentaak. Eén taak omvat een set toetsitems en kan worden afgenomen in 50 minuten. In tabel 3.1 is weergegeven hoe de taal- en rekentaken van de IEP Eindtoets zijn opgebouwd. Tabel 3.1 Richtlijnen voor het aantal items per taal- of rekentaak in de IEP Eindtoets IEP Eindtoets Taal <1F 1F - 2F Totaal Taaltaak 1 Taaltaak 2 Taal totaal Lezen Taalverzorging Lezen Taalverzorging Lezen Taalverzorging IEP Eindtoets rekenen <1F 1F 1S 2F Totaal Rekentaak Rekentaak Rekenen totaal Bij het verdelen van het aantal items in een taak is gekozen voor een optimale spreiding en variatie. Het aantal items in de bovenstaande tabellen is een richtlijn. De daadwerkelijke aantallen in een afnameversie van de IEP eindtoets kunnen maximaal 5 naar boven of naar beneden afwijken (deze staan ook altijd beschreven in de afnamehandleiding per jaar). Daardoor is de inhoud van de IEP eindtoets elk jaar vergelijkbaar met elkaar. Het afnameschema van de IEP Eindtoets is weergegeven in tabel 3.2 en ziet er per dag als volgt uit: Tabel 3.2 Afnameschema van de IEP Eindtoets IEP Eindtoets # items tijdsduur totaal # items totale tijdsduur IEP Eindtoets dag 1 IEP Eindtoets dag 2 Taaltaak min Rekentaak min Taaltaak min Rekentaak min 80 items 100 min 80 items 100 min IEP Eindtoets 2015 Wetenschappelijke verantwoording 14/59

16 3.2 Inhoud van de toets Verantwoording taal De toetsmatrijs voor de basistoets taal is opgebouwd uit een matrijs voor het domein lezen op tekstniveau, een matrijs op het domein lezen op itemniveau ten opzichte van de kenmerken van de taakuitvoering en een matrijs op het subdomein taalverzorging op itemniveau ten opzichte van de kenmerken van de taakuitvoering. In tabel 3.3, tabel 3.4 en tabel 3.5 zijn deze toetsmatrijzen weergegeven. De IEP Eindtoets bestaat voor het domein lezen uit minimaal 10 teksten en maximaal 14 teksten. Het aantal items voor het domein lezen bedraagt 45 items. Voor het domein taalverzorging bestaat de IEP Eindtoets uit 50 items. Tabel 3.3 Toetsmatrijs aantal teksten en gemiddeld bijbehorend aantal items per soort tekst in de IEP Eindtoets taal- domein lezen Zakelijke teksten IEP taal - domein lezen Informatieve teksten Instructieve teksten Betogende teksten Fictionele, narratieve en literaire teksten Daarnaast vrij in te delen binnen bovenstaande tekstsoorten Totaal <1F 1F 2F # teksten # items # teksten # items # teksten # items ten minste 2 teksten van 2 verschillende tekstsoorten gemiddeld 2 items per tekst ten minste 1 tekst ten minste 1 tekst ten minste 1 tekst ten minste 1 tekst gemiddeld 3 per tekst gemiddeld 3 per tekst gemiddeld 3 per tekst gemiddeld 3 per tekst ten minste 1 tekst ten minste 1 tekst ten minste 1 tekst ten minste 1 tekst (1) (1) (2) 2 tot 3 teksten 5 items 4 tot 5 teksten 15 items 4 tot 6 teksten gemiddeld 4 per tekst gemiddeld 4 per tekst gemiddeld 4 per tekst gemiddeld 4 per tekst 25 items Tabel 3.4 Toetsmatrijs aantal items per kenmerk in de taakuitvoering in de IEP Eindtoets taal- domein lezen IEP taal - domein lezen <1F 1F 2F Totaal # items # items # teksten # items Techniek en woordenschat Begrijpen Interpreteren Evalueren Samenvatten n.v.t. n.v.t. 3 3 Opzoeken Totaal Dit kenmerk wordt zowel in de zakelijke teksten als in de fictionele, narratieve en literaire teksten getoetst. IEP Eindtoets 2015 Wetenschappelijke verantwoording 15/59

17 Tabel 3.5 Toetsmatrijs aantal items per kenmerk in de taakuitvoering in de IEP taal- domein taalverzorging IEP taal - domein taalverzorging <1F 1F 2F Totaal # items # items # items # items Categorieën van spellingsregels 2 6 n.v.t. 8 Lettergreepgrenzen 1 2 n.v.t. 3 Woordgrenzen n.v.t. n.v.t. n.v.t. - Morfologische spelling Werkwoordspelling n.v.t Overige regels n.v.t. n.v.t. 3 3 Leestekens Totaal Verantwoording rekenen De toetsmatrijs rekenen is opgebouwd uit een matrijs voor de vier domeinen van rekenen met daarbij aangegeven de verhouding contextopgaven/contextloze opgaven. In tabel 3.6, tabel 3.7 en tabel 3.8 zijn deze toetsmatrijzen weergegeven. Het onderdeel rekenen van de IEP Eindtoets bestaat uit 65 items. Tabel 3.6 Toetsmatrijs referentieniveaus per domein in de IEP Eindtoets rekenen - alle domeinen IEP Rekenen alle domeinen <1F 1F 1S 2F Totaal # items # items # items # items # items Getallen Verhoudingen Meten & Meetkunde Verbanden Totaal De verdeling van 80 contextopgaven en 20 contextloze opgaven (verdeeld over de domeinen getallen en verhoudingen) is gekozen om recht te doen aan zowel het hoofdrekenen met contextloze bewerkingen als het rekenen in betekenisvolle situaties/ toepassingssituaties zoals beschreven in het referentiekader taal en rekenen en vereist in de algemene toetswijzer. Omdat het hoofdrekenen met hoofdbewerkingen (optellen, aftrekken, vermenigvuldigen en delen) een grote rol speelt in de referentieniveaus 1F en 1S, worden de contextloze opgaven voornamelijk op deze niveaus opgenomen. Er worden tevens enkele contextloze opgaven opgenomen op niveau <1F en referentieniveau 2F aansluitend bij de doelen uit het referentiekader rekenen. IEP Eindtoets 2015 Wetenschappelijke verantwoording 16/59

18 Tabel 3.7 Vertegenwoordiging contextopgaven en contextloze opgaven in de IEP Eindtoets rekenen - alle domeinen <1F 1F 1S 2F Totaal IEP Rekenen alle domeinen Context Context Context Context Context Contextloos Contextloos Contextloos Contextloos Contextloos # items # items # items # items # items # items # items # items # items # items Getallen /20 7/20 Verhoudingen /19 6/19 Meten & Meetkunde /13 - Verbanden /13 - Totaal /65 13/65 Voor het samenstellen van de IEP Eindtoets wordt aangesloten bij de verhouding waarin de vier domeinen (getallen, verhoudingen, meten & meetkunde, verbanden), drie onderdelen (A Notatie, taal en betekenis, B Met elkaar in verband brengen, C Gebruiken) en twee type opgaven (contextopgaven, contextloze opgaven) terugkomen. In tabel 3.8 (volgende pagina) is opgenomen in welke categorieën items kunnen voorkomen. Het doel is om ten minste 75 van de categorieën uit de toetsmatrijs te dekken met de definitief samengestelde IEP Eindtoets. IEP Eindtoets 2015 Wetenschappelijke verantwoording 17/59

19 Tabel 3.8 Toetsmatrijs IEP Eindtoets rekenen - alle domeinen TOETSMATRIJS IEP Eindtoets Rekenen A Notatie, taal en betekenis B Met elkaar in verband brengen C Gebruiken Totaal Rekendomein RN Contextopgaven Contextloze opagaven Contextopgaven Contextloze opagaven Contextopgaven Contextloze opagaven Contextopgaven Contextloze opagaven Totaal Getallen Verhoudingen Meten & Meetkunde Verbanden <1F * * * * F * * * * S * * * * F * * * * <1F * * * * * F * * * * * S * * * * * F * * * * * <1F * * * F * * * S * * * F * * * <1F * * * F * * * S * * * F * * * (30) 19 (30) 13 (20) 13 (20) Totaal 3-9 (5-15) (20-30) (55-70) 52 (80) 13 (20) 5-0F 20-1F 20-1S 20-2F 65 (100) *Mogelijkheid tot plaatsing items (ten minste 75 dekking). IEP Eindtoets 2015 Wetenschappelijke verantwoording 18/59

20 3.3 Kenmerken van de toets Afnamekenmerken van de IEP Eindtoets De IEP Eindtoets is een papieren toets en bevat twee soorten opgaven: meerkeuzeopgaven en korte-open-antwoordopgaven met een gesloten antwoordmodel. De toets wordt geautomatiseerd nagekeken waarbij voor de open vragen ook een getrainde beoordelaar wordt ingezet (zie 3.3.3). Leerlingen mogen de antwoorden direct bij de opgave invullen. De IEP Eindtoets heeft daarmee geen aparte antwoordbladen waarop het antwoord moet worden aangestreept of ingevuld. Hiervoor hebben we gekozen om te voorkomen dat leerlingen fouten maken bij het koppelen van de vragen in het toetsboekje en de nummering op een antwoordblad. Voor leerlingen die al moeite hebben met lezen of concentreren vinden de leerkrachten en de leerlingen het een voordeel dat leerlingen direct in het toetsboekje kunnen werken. Deze lijn passen wij ook toe door de leesteksten (en/of bronnen) direct bij de items te plaatsen in plaats van in een apart bronnenboekje Keuze voor korte-open-antwoordvragen De keuze om ook korte-open-antwoordvragen te gebruiken komt voort uit een aantal kwaliteitsverbeteringsaspecten. Ten eerste vindt het onderwijs (lees de leerkrachten basisonderwijs) het waardevol als leerlingen zelf antwoorden moeten formuleren en opschrijven (dit bleek ook uit de evaluatie van het pilotonderzoek). Ten tweede vinden leerlingen het prettig om niet alleen maar meerkeuzevragen te moeten beantwoorden, maar ook zelf antwoorden te mogen formuleren (ook dit werd bevestigd in het pilotonderzoek). Ten derde draagt het gebruik van korte-open-antwoordvragen bij aan de betrouwbaarheid van de toets. Met name items met een lage p-waarde (de moeilijkste items) discrimineren beter als het korte-open-antwoordvragen zijn dan als het meerkeuze items zijn. Dit is verklaarbaar daar op de laatste soort door iedereen (ook goed) gegokt kan worden, maar op de eerste niet Scoringskenmerken van de IEP Eindtoets Om te voorkomen dat er scorings-/beoordelingsfouten gemaakt kunnen worden, worden de opgaven geautomatiseerd verwerkt. Dit gebeurt op eenzelfde manier als bij een antwoordblad: door middel van scansoftware. De ingevulde antwoorden van de leerlingen worden omgezet in een codering als het gaat om meerkeuzevragen en het ingevulde getal of de letters worden ingelezen door herkenningssoftware als het gaat om korte-openantwoordopgaven. De korte-open-antwoordvragen worden ook nog door een getrainde beoordelaar gecontroleerd. Alle numerieke waarden, tekst en twijfelgevallen worden door ervaren data-analisten geverifieerd. Op basis van deze bestanden wordt met behulp van de sleutel en het antwoordmodel een scorebestand gemaakt. Steekproefsgewijs worden de gescande databestanden als extra controle nog eens gecontroleerd met de originele ingevulde antwoorden in het toetsboekje. Ieder item dat correct beantwoord is krijgt de score 1. Een niet correct antwoord krijgt de score 0. Dit geldt voor zowel meerkeuzeopgaven als de korte-open-antwoordopgaven. De korte-open-antwoordopgaven zijn zo geconstrueerd dat het antwoord steeds in één woord of één getal gegeven kan worden. Deze worden dan beoordeeld als goed of fout (1 of 0). De ruwe score voor de afzonderlijke vaardigheden is gelijk aan het aantal goede antwoorden voor die vaardigheid Criteria toets- en itemkenmerken De criteria voor de toets- en itemkenmerken van de IEP Eindtoets zijn de minimale of maximale waarden die zijn gehanteerd bij het samenstellen van de IEP Eindtoets na het pretestonderzoek. Deze criteria zorgen er mede voor dat de IEP Eindtoets wat betreft moeilijkheidsgraad vergelijkbaar is over jaren heen. Bij het selecteren van items voor de IEP Eindtoets zijn, zoals beschreven, de inhoudelijke criteria van groot belang. In samenhang IEP Eindtoets 2015 Wetenschappelijke verantwoording 19/59

21 met deze inhoudelijke criteria beoordelen we ook of de toets en itemkenmerken van voldoende kwaliteit zijn. Daarbij letten we op de volgende aspecten: de proportie correct van een item (p-waarde) bedraagt bij voorkeur tussen.10 en.90 de items van de IEP Eindtoets hebben gemiddeld een p-waarde van rond de.70 wanneer de proportie correct van een item (p-waarde) groter is dan.90 onderzoeken we in hoeverre het itemkenmerk samenhangt met de passendheid van het referentieniveau bij de normgroep. de rit-waarde van een item bedraagt minimaal.20 (voor lezen en taalverzorging) en.25 voor rekenen. Gestreefd wordt naar rit-waarden die boven de.30 liggen. De gemiddelde rit-waarde van de IEP Eindtoets is bij voorkeur rond de.35 Gestreefd wordt naar een maximum van 5 van de items in de IEP Eindtoets met een significante S-toets. De IEP Eindtoets is via equivalering zo ontwikkeld dat het voor de behaalde standaardscore geen verschil maakt in welk jaar de leerling de IEP Eindtoets maakt. De omzetting van de ruwe score naar de standaardscore houdt rekening met de moeilijkheidsgraad van de toets. De standaardscore op de IEP Eindtoets is een score op een schaal van 50 tot en met 100 en wordt schooladviesscore genoemd. Er wordt een lineaire omzetting gemaakt van de vaardigheidscores (theta s) van de leerlingen op de onderdelen taal en rekenen naar deze standaardschaal. IEP Eindtoets 2015 Wetenschappelijke verantwoording 20/59