Cito Volgsysteem primair en speciaal onderwijs

Transcriptie

1 Cito Volgsysteem primair en speciaal onderwijs Wetenschappelijke verantwoording toetsen Rekenen-Wiskunde voor speciale leerlingen Functioneringsniveaus groep 3 tot en met 5 Floor Scheltens, Ronald Engelen, Iris Verbruggen

2

3 Wetenschappelijke verantwoording toetsen Rekenen-Wiskunde voor speciale leerlingen Functioneringsniveaus groep 3 tot en met 5 Floor Scheltens Ronald Engelen Iris Verbruggen Cito Arnhem, april

4 Cito B.V. Arnhem (2012) Niets uit dit werk mag zonder voorafgaande schriftelijke toestemming van Cito B.V. worden openbaar gemaakt en/of verveelvoudigd door middel van druk, fotografie, scanning, computersoftware of andere elektronische verveelvoudiging of openbaarmaking, microfilm, geluidskopie, film- of videokopie of op welke wijze dan ook. 2

5 Inhoud 1 Inleiding 5 2 Uitgangspunten van de toetsconstructie Meetpretentie Doelgroep Gebruiksdoel en functie Theoretische inkadering Inhoudelijk Psychometrisch 8 3 Beschrijving van de toets Opbouw, structuur, afname van de toetsen en rapportage Inhoudsverantwoording 21 4 Kalibratie en normering Kalibratie Proefonderzoeken Kalibratiegegevens De stappen in de kalibratie Toetsing van het IRT-model Conclusie Normering Normeringsgegevens en representativiteit Normeringsmomenten Functioneringsniveaus DIF-onderzoek 42 5 Betrouwbaarheid en meetnauwkeurigheid Betrouwbaarheid Nauwkeurigheid 46 6 Validiteit Inhoudsvaliditeit Begripsvaliditeit 56 7 Samenvatting 59 8 Literatuur 61 Bijlagen 65 1 Profielanalyse met IRT, Norman Verhelst 67 2 Betrouwbaarheidstabellen 87 3

6 4

7 1 Inleiding De toetsen Rekenen-Wiskunde voor speciale leerlingen voor de functioneringsniveaus groep 3 tot en met 5 (Cito, 2010) vormen een aanvulling op de toetspakketten Rekenen-Wiskunde voor groep 3 tot en met 8 die zijn verschenen in de periode 2004 tot en met 2009 (Cito, 2005, 2005a, 2006, 2007, 2008a, 2009). De toetsen Rekenen-Wiskunde voor speciale leerlingen zijn bestemd voor leerlingen met een vertraagde ontwikkeling, een beperkte aandachtspanne of een grote behoefte aan structuur. Deze leerlingen zijn te vinden in het speciaal basisonderwijs (SBO), speciaal onderwijs (SO) cluster 2, 3 en 4, maar ook in het reguliere basisonderwijs. De toetsen Rekenen-Wiskunde voor speciale leerlingen zijn zodanig aangepast dat ze beter aansluiten bij de behoeftes van speciale leerlingen dan de reguliere toetsen. De toetsen zijn zelfstandig te gebruiken. Aanleiding voor de ontwikkeling van toetsen voor speciale leerlingen is de ontwikkeling van passend onderwijs. Passend onderwijs vereist dat: de school zicht heeft op de (on)mogelijkheden van elke leerling, op zijn/haar ontwikkelingsperspectief, om zo het onderwijs aan te passen aan de behoeften van de leerling; de vorderingen van elke leerling worden gevolgd om gaande de rit waar nodig het onderwijs aan te passen. Om passend onderwijs te kunnen realiseren, is het een voorwaarde dat de vorderingen van de leerlingen nauwkeurig in beeld worden gebracht en over de leerjaren heen worden gevolgd in de tijd. Daarvoor zijn dagelijkse voortgangscontroles en methodegebonden toetsen nodig, aangevuld met een methodeonafhankelijk leerling- en onderwijsvolgsysteem dat externe referenties biedt en daarmee de kans minimaliseert dat leerlingen onopgemerkt achterblijven. Uitgangspunt bij de ontwikkeling van Rekenen-Wiskunde voor speciale leerlingen is telkens geweest dat eventuele aanpassingen niet ten koste mochten gaan van de vergelijkbaarheid met de resultaten van de reguliere toetsen en de onderliggende vaardigheden. De doelgroep van de toetsen Rekenen-Wiskunde voor speciale leerlingen moet immers, net als de doelgroep van de reguliere toetsen, aan de kerndoelen voldoen. Bovendien was het een wens van scholen en ouders dat de toetsen een antwoord geven op de vraag Hoe goed doet mijn kind het vergeleken met een kind in het reguliere basisonderwijs?. De aanpassingen die zijn gedaan, zijn zo gekozen dat gewaarborgd is dat het concept Rekenen-Wiskunde niet veranderd is. Inhoudelijk zijn er zo min mogelijk veranderingen ten opzichte van de reguliere uitgave Rekenen-Wiskunde. De aanpassingen die gedaan zijn, zijn meer van technische aard. Rekenen-Wiskunde voor speciale leerlingen bestaat uit een reeks toetsen voor leerlingen met het niveau medio groep 3 tot en met eind groep 5. Om tegemoet te komen aan leerlingen met een vertraagde ontwikkeling zijn er naast de reguliere niveaus medio en eind ook tussentoetsen ontwikkeld. De moeilijkheidsgraad van deze toetsen ligt precies tussen die van de onder- en bovengelegen toets in. Het toetspakket bestaat uit een papieren en een digitale variant. Voor elke papieren toets is er een digitale variant. De papieren variant en de digitale variant van een afnamemoment bevatten een groot aantal dezelfde opgaven. De opgaven uit de papieren en de digitale toetsen liggen op één vaardigheidsschaal, waardoor de toetsen onderling uitwisselbaar zijn. Deze verantwoording levert tezamen met de inhoud van het toetspakket Rekenen-Wiskunde voor speciale leerlingen voor functioneringsniveau groep 3 tot en met 5 alle informatie die nodig is voor een snelle en efficiënte beoordeling van de kwaliteit van de toetsen die deel uitmaken van dit pakket. In deze verantwoording wordt informatie verstrekt die nodig is om aan de hand van de beoordelingscriteria van de Cotan (Evers, Lucassen, Meijer & Sijtsma, 2010) de kwaliteit van de toetsen te beoordelen. In hoofdstuk 2 van deze verantwoording bespreken we de uitgangspunten die bij de opgaven- en toetsconstructie een rol hebben gespeeld. In hoofdstuk 3 beschrijven we de toets en de inhoudelijke 5

8 aspecten die bij het maken van de toetsen richtinggevend waren. In dit hoofdstuk komen eveneens de aanpassingen ten opzichte van de reguliere uitgave aan de orde. In hoofdstuk 4 komt het normeringsonderzoek en het DIF-onderzoek in SBO en SO ter sprake. We gaan dan onder andere in op de papieren onderzoeken en papieren-digitale onderzoeken. Verder komt in dit hoofdstuk de samenstelling van de steekproef ter sprake. Hoofdstuk 5 geeft informatie over de betrouwbaarheid en meetnauwkeurigheid van de toetsen en hoofdstuk 6 over de inhouds- en begripsvaliditeit. Omdat de toetsen van het Cito Volgsysteem primair en speciaal onderwijs niet bedoeld zijn voor 'voorspellend gebruik' is criteriumvaliditeit niet van toepassing. 6

9 2 Uitgangspunten van de toetsconstructie 2.1 Meetpretentie Het onderwijs in rekenen-wiskunde in het basisonderwijs richt zich in de eerste plaats op het verwerven van fundamentele vaardigheden op de terreinen van het rekenen en het meten. Deze fundamentele vaardigheden hebben betrekking op: het gebruiken van reken-wiskundetaal; het uitvoeren van rekenoperaties; het gebruiken van strategieën om rekenproblemen op te lossen. De fundamentele vaardigheden vormen geen doel op zichzelf maar moeten door leerlingen gebruikt kunnen worden in praktische toepassingssituaties. Dit betekent dat er verbindingen gelegd worden tussen het onderwijs in rekenen-wiskunde en de alledaagse leefwereld. Verder moeten leerlingen eenvoudige verbanden, regels, patronen en structuren kunnen opsporen. Ten slotte moeten leerlingen redeneerstrategieën en onderzoeksstrategieën kunnen gebruiken. Dit houdt onder andere in dat leerlingen uitkomsten op juistheid kunnen controleren door bijvoorbeeld de geschatte uitkomst van een vermenigvuldiging te vergelijken met de berekende uitkomst. 2.2 Doelgroep Om leerkrachten in het primair onderwijs in staat te stellen de vorderingen van hun leerlingen op het gebied van rekenen-wiskunde te volgen zijn in de jaren negentig drie pakketten ontwikkeld, getiteld Rekenen- Wiskunde 1, Rekenen-Wiskunde 2 en Rekenen-Wiskunde 3 (Janssen & Engelen, 2001). In verband met de invoering van de euro op 1 januari 2002 zijn de materialen van deze pakketten aangepast en ondergebracht in de uitgave Rekenen-Wiskunde 2002 (Cito, 2002a). In de periode zijn geheel nieuwe pakketten met toetsen Rekenen-Wiskunde voor groep 3 tot en met groep 8 verschenen. Om tegemoet te komen aan leerlingen met een vertraagde ontwikkeling, een beperkte aandachtsspanne of een grote behoefte aan structuur is het pakket Rekenen-Wiskunde voor speciale leerlingen ontwikkeld. Deze leerlingen zijn te vinden in het speciaal basisonderwijs, speciaal onderwijs, maar ook in het reguliere basisonderwijs. Het speciaal onderwijs is opgesplitst in vier verschillende clusters, namelijk de clusters 1, 2, 3 en 4. De toetsen voor speciale leerlingen zijn bestemd voor leerlingen in cluster 2 (dove en slechthorende leerlingen en leerlingen met ernstige spraak- en taalmoeilijkheden), voor een deel van de leerlingen in cluster 3 (langdurig zieke kinderen) en voor leerlingen in cluster 4 (leerlingen met ernstige gedragsproblemen en/of psychiatrische problemen). De toetsen voor speciale leerlingen zijn dus niet bedoeld voor de blinde en slechtziende leerlingen in cluster 1. Voor deze doelgroep ontwikkelt Cito andere toetsen. Voor de zeer moeilijk lerende leerlingen in cluster 3 worden door Cito toetsactiviteiten ontwikkeld. De toetsen voor speciale leerlingen zijn zodanig aangepast dat ze beter aansluiten bij de behoeftes van speciale leerlingen dan de reguliere toetsen van het Cito Volgsysteem primair onderwijs (LOVS). Voor leerlingen met het niveau medio groep 3 tot en met groep 5 zijn voor twee afnamemomenten, halverwege en aan het einde van het schooljaar, toetsen op verschillende niveaus beschikbaar. Leraren kunnen per afnamemoment kiezen uit een papieren of digitale variant. 2.3 Gebruiksdoel en functie Met de toetsen Rekenen-Wiskunde voor speciale leerlingen kan men het rekenniveau van de leerlingen vaststellen en vergelijken met het niveau van een landelijke groep in het regulier onderwijs. Men krijgt per afname een duidelijk beeld van de vaardigheid van individuele leerlingen en van de groep als geheel. 7

10 De toetsen zijn zo samengesteld dat rekenprestaties die op verschillende momenten worden vastgelegd met elkaar te vergelijken zijn. Daardoor kan men een indruk krijgen van de ontwikkeling van individuele leerlingen en kan men ook de ontwikkeling van de groep als geheel volgen. De opgaven van de toetsen vertegenwoordigen een scala aan kennis, inzichten en vaardigheden die in de loop van de leerjaren op school aan de orde worden gesteld. De scores op de toetsen geven aan hoe goed de leerlingen datgene wat ze geleerd hebben beheersen en kunnen toepassen in voor hen soms nieuwe situaties. In die zin zijn de toetsen methodeonafhankelijk en dus bij iedere rekenmethode te gebruiken. In hoofdstuk 6 over de validiteit van de toetsen wordt aangegeven dat de opgaven van de rekentoetsen voorzien in een brede dekking van de kerndoelen. Met behulp van de toetsen kunnen we het algemene rekenvaardigheidsniveau van leerlingen vaststellen. Daarnaast is het mogelijk om met behulp van het Computerprogramma LOVS een categorieënanalyse uit te voeren. Daarmee kan nagegaan worden of leerlingen op een bepaald onderdeel meer (of minder) fouten maken dan op grond van hun algemene vaardigheidsniveau verwacht mag worden. 2.4 Theoretische inkadering Inhoudelijk De toetsen Rekenen-Wiskunde voor speciale leerlingen voorzien in een brede dekking van de kerndoelen en tussendoelen. De basis voor de ontwikkeling van de toetsen waarmee we de vaardigheden van leerlingen meten bij de toetsen Rekenen-Wiskunde voor speciale leerlingen is een domeinbeschrijving. Die domeinbeschrijving bestaat uit een beschrijving van het leerstofgebied rekenen-wiskunde in de vorm van een lijst van leerdoelen. De domeinbeschrijving is gebaseerd op gebruikte methoden in het basisonderwijs, handboeken, kerndoelen van het ministerie van Onderwijs, Cultuur en Wetenschap, TALpublicaties (Tussendoelen Annex Leerlijnen), aanwezige expertise en discussies met vakinhoudelijke deskundigen en onderwijspractici. De verschillende onderdelen van het domein rekenen-wiskunde vormen een samenhangend geheel dat belangrijke aspecten van gecijferdheid van leerlingen omvat. Gecijferdheid verwijst naar verschillende aspecten van getalbegrip en rekenvaardigheid. Hierin staan inzicht in getallen, maatinzicht, ruimtelijk inzicht en het kunnen uitvoeren van operaties met getallen en het kunnen toepassen van die kennis en inzichten in uiteenlopende situaties centraal. We onderscheiden voor het basisonderwijs de volgende drie subdomeinen: Getallen en bewerkingen; Verhoudingen, breuken en procenten; Meten, meetkunde, tijd en geld. De publicaties van de Expertgroep Doorlopende Leerlijnen Taal en Rekenen van 2008 waren ten tijde van de ontwikkeling van de domeinbeschrijving nog niet beschikbaar. De Expertgroep baseert zich bij de inhoudelijke indeling en beschrijving van de doelen voor een belangrijk deel op de domeinbeschrijvingen bij het LOVS en PPON (Periodieke Peiling van het Onderwijsniveau in Nederland). In hoofdstuk 3 worden de verschillende inhoudelijke domeinen en onderdelen waarvoor toetsopgaven ontwikkeld zijn nader beschreven Psychometrisch Opgavenbanken primair onderwijs Voor het samenstellen van toetsen voor het primair onderwijs beschikt Cito over opgavenbanken. Die liggen ten grondslag aan onder meer de toetsen in het Leerling- en onderwijsvolgsysteem (LOVStoetsen, de Entreetoetsen, Eindtoets basisonderwijs). Voor de constructie van de toetsen Rekenen- 8

11 Wiskunde voor speciale leerlingen hebben we gebruikgemaakt van de opgavenbank Rekenen-Wiskunde. Een opgavenbank is nadrukkelijk niet eenvoudigweg een verzameling opgaven of items waaruit een toetsconstructeur min of meer naar willekeur een aantal items selecteert om een nieuwe toets te construeren. We geven hier kort aan wat de vereisten zijn om van een deugdelijke en psychometrisch goed gefundeerde opgavenbank te kunnen spreken. Unidimensionaal continuüm Het algemene uitgangspunt is dat de vaardigheid rekenen-wiskunde kan worden opgevat als een unidimensionaal continuüm, en dat de vaardigheid van elke leerling voorgesteld kan worden met een getal als een punt op die lijn. Het getal drukt de mate van rekenvaardigheid uit, waarbij een groter getal wijst op een grotere rekenvaardigheid. Het doel van de meetprocedure het afnemen van een toets is de plaats van de leerling op dit continuüm zo nauwkeurig mogelijk te bepalen. De uitkomst van de meetprocedure bestaat strikt genomen uit twee grootheden: de eerste is de schatting van de plaats van de leerling op het vaardigheidscontinuüm. De tweede grootheid geeft aan hoe nauwkeurig die schatting is, en heeft dus de status van een standaardfout, te vergelijken met de standaardmeetfout uit de klassieke testtheorie. Latente vaardigheid De antwoorden van een leerling op de items worden beschouwd als indicatoren van de vaardigheid, hetgeen ruwweg betekent dat men verwacht dat alle items in de bank rekenvaardigheid meten. De vaardigheid zelf wordt als niet-observeerbaar beschouwd, en daarom gewoonlijk omschreven als een latente vaardigheid. Moeilijkheid in de Item Respons Theorie Hoewel items dezelfde vaardigheid meten, kunnen ze toch systematisch van elkaar verschillen. Het belangrijkste verschil tussen de items is hun moeilijkheidsgraad. In de klassieke testtheorie wordt moeilijkheidsgraad uitgedrukt met een zogenaamde p-waarde, de proportie correcte antwoorden op het item in een welbepaalde populatie van leerlingen. In de Item Respons Theorie (IRT) die voor het construeren van de opgavenbanken werd gebruikt, hanteert men echter een andere definitie van moeilijkheid: ruwweg gesproken is het de mate van vaardigheid die nodig is om het item goed te kunnen beantwoorden. Dit verschil in definitie van de moeilijkheidsgraad tussen klassieke theorie en IRT is uitermate belangrijk: men kan verwachten dat de p-waarde van een item in groep 8 groter zal zijn dan in groep 6, waardoor duidelijk wordt dat de p-waarde een relatief begrip is: ze geeft de moeilijkheid aan van een item in een bepaalde populatie. Binnen de IRT is de moeilijkheid van een item gedefinieerd in termen van de onderliggende vaardigheid, zonder enige referentie naar een bepaalde populatie van leerlingen. Zo kan men ook de uitspraak begrijpen dat in de IRT vaardigheid en moeilijkheid op eenzelfde schaal liggen. Kansmodel De ruwe omschrijving van de moeilijkheidsgraad die in de vorige alinea werd gehanteerd (de mate van vaardigheid die nodig is om het item goed te kunnen beantwoorden) behoeft enige verdere uitwerking. Men zou deze omschrijving kunnen opvatten als een drempel: heeft een leerling die mate van vaardigheid niet, dan kan hij het item niet juist beantwoorden; heeft hij die drempel wel gehaald, dan geeft hij (gegarandeerd) het juiste antwoord. Deze interpretatie weerspiegelt een deterministische kijk op het antwoordgedrag van de leerling, die echter in de praktijk geen stand houdt, omdat eruit volgt dat een leerling die een moeilijk item correct beantwoordt geen fout kan maken op een gemakkelijker item. Daarom wordt in de IRT een kansmodel gebruikt: hoe groter de vaardigheid, des te groter de kans dat een item juist wordt beantwoord. De moeilijkheidsgraad van een item wordt dan gedefinieerd als de mate van vaardigheid die nodig is om met een kans van precies een half een juist antwoord te kunnen produceren. Kalibratie In het voorgaande zijn nogal wat veronderstellingen ingevoerd (unidimensionaliteit; alle items zijn indicatoren voor dezelfde vaardigheid; kansmodel) die niet zonder meer voor waar kunnen worden aangenomen. Met behulp van statistisch gereedschap, waarop in het vervolg dieper ingegaan wordt, moet aangetoond worden dat deze veronderstellingen deugdelijk zijn. Maar vóór de items in een toets gebruikt 9

12 kunnen worden, moet geprobeerd worden de waarden van de moeilijkheidsgraden te achterhalen. Dit gebeurt met een statistische schattingsmethode die wordt toegepast op de itemantwoorden die bij een steekproef van leerlingen zijn verzameld. Het hele proces van moeilijkheidsgraden schatten en verifiëren of de modelveronderstellingen houdbaar zijn, wordt kalibratie of ijking genoemd; de steekproef van leerlingen die hiervoor wordt gebruikt noemen we kalibratiesteekproef. Afnamedesigns Een opgavenbank bevat meer items dan een doorsnee toets. Meestal is het praktisch niet doenbaar om alle items aan alle leerlingen voor te leggen. Elke leerling in de kalibratiesteekproef krijgt derhalve slechts een (klein) gedeelte van de items uit de opgavenbank voorgelegd. Dit gedeeltelijk voorleggen moet met de nodige omzichtigheid gebeuren. In hoofdstuk 4 wordt ingegaan op het afnamedesign dat voor de kalibratie van de rekenen-wiskundeopgaven is gebruikt. Belangrijke implicaties gekalibreerde opgavenverzameling Als we erin slagen de kalibratie met succes uit te voeren, houden we een zogenaamde gekalibreerde itembank over. In dat proces worden de items die niet passen bij de verzameling uit de collectie verwijderd. De opgavenbank bevat voor elk item niet alleen zijn feitelijke inhoud, maar ook zijn psychometrische eigenschappen, en de statistische zekerheid dat alle items dezelfde vaardigheid aanspreken. Dit houdt onder meer het volgende in: 1 In principe kunnen we met een willekeurige selectie items uit de bank de vaardigheid meten bij een willekeurige leerling. In principe, want een willekeurige toets die uit de itembank wordt getrokken zal in de praktijk meestal niet voldoen omdat het meetresultaat (de schatting van de vaardigheid) onvoldoende nauwkeurig zal zijn. Willen we een nauwkeuriger meting (bij een gegeven aantal items in de toets) dan zullen we de moeilijkheidsgraden van de items in overeenstemming moeten brengen met het vaardigheidsniveau van de leerlingen. Het voorgaande geldt tevens voor de digitale items. Ook deze items komen uit de itembank Rekenen- Wiskunde. Dus ook met een selectie van digitale items kan de vaardigheid van een leerling bepaald worden. Alles wat geldt voor de papieren items uit de itembank, geldt daarom eveneens voor digitale items uit dezelfde itembank. 2 We kunnen een schatting maken van de verdeling van de vaardigheid in een welomschreven populatie, door selecties van items voor te leggen aan aselecte steekproeven van leerlingen uit populaties die van belang zijn voor de normering. In het geval van het LOVS zijn dat steekproeven van leerlingen op de verschillende normeringsmomenten vanaf medio groep 3 tot medio groep 8. Daarbij maakt het, behoudens wat bij 1 is vermeld over nauwkeurigheid, niet uit welke selectie van items aan een leerling binnen een normeringsgroep wordt afgenomen. Een van de eigenschappen van gekalibreerde itembanken is immers dat met elke selectie items de vaardigheid van leerlingen kan worden bepaald. In de praktijk komt dit meestal neer op het schatten van gemiddelde en standaardafwijking in de veronderstelling dat de vaardigheid normaal verdeeld is. Met deze schattingen kunnen vervolgens schattingen gemaakt worden van de percentielen in de populatie. 3 Aan leerlingen die niet tot de betreffende referentiepopulatie behoren, kan dezelfde toets worden voorgelegd. De toetsscore wordt omgezet in een schatting van de vaardigheid en deze schatting kan geplaatst worden in de vaardigheidsverdeling van de populatie. Een leerling met achterstand in groep 6 kan een toets maken die normaliter aan groep 4 wordt voorgelegd, en zijn vaardigheidsschatting kan behalve met de populatie van groep 6 ook vergeleken worden met de percentielen in de populatie van groep 4, resulterend in (bijvoorbeeld) de uitspraak: De vaardigheid van deze leerling komt overeen met de mediane vaardigheid in groep 6. 4 De vergelijking die bij punt 3 gemaakt is, kan evengoed plaatsvinden als de (achterstands)leerling een andere toets (i.e. een selectie uit de opgavenbank) maakt dan de toets die normaliter aan groep 4 wordt voorgelegd. Immers, het kalibratieonderzoek heeft ons overtuigd dat alle items dezelfde vaardigheid meten. Met een nieuwe toets meten we dus dezelfde vaardigheid, zodat schattingen die van verschillende toetsen afkomstig zijn zinvol met elkaar kunnen worden vergeleken. 10

13 Een IRT-modespecifieke functionelee vorm wordt toegekend. t Een eenvoudig en zeer populair voorbeeld is het is een speciale toepassing van (2.1) waarbij aan de functie f i (θ) een meer of minder zogenaamde Raschmodel (Rasch,, 1960) waarin f i (θ) gegeven is door Het gehanteerde meetmodel In het normeringsonderzoek is gebruikgemaaktt van een op de itemresponstheorie (IRT) gebaseerd meetmodel zoals dat bij Cito gebruikelijk is. Dergelijke modellen verschillen in een aantal opzichten nogal sterk van de klassiekee testtheorie (Verhelst,( 1993; Verhelst & Kleintjes, 1993; Verhelstt en Glas, 1995). Bij de klassieke testtheorie staan de toets en dee toetsscore centraal. Het theoretisch belangrijkste begrip in deze theorie is de zogenaamde ware score, de gemiddelde score die de persoon zou behalen indien de test een oneindig aantal keren onder dezelfde condities zou worden afgenomen. Dezee klassieke testtheorie zou in dit onderzoek niet gebruikt kunnen k worden, aangezien het normeringsonderzoek van de reken- voordelen bij het wegen van de verschillende groepen om te zorgen dat de d steekproeff geheel wiskundetoetsen een onvolledig design betrof: niet alle leerlingen hebbenn alle opgaven gemaakt. Het gebruik van het IRT-model heeft enkele belangrijke voordelen. Op dee eerste plaats kunnen de populatieschattingen onafhankelijkk van de schattingen van de itemparameters plaatsvinden. Dat heeft overeenkomstig de populatieverdeling is. Daarna kan met deze populatieverdeling en kennis over de itemparameters precies bepaald worden welke de item- en toetskarakteri stieken zijn voor de populatie. Voor een overzicht van meer voordelen van IRTT boven klassieke testtheorie wordt verwezen naar Hambleton, Swaminathan en Rogers (1991). In de IRT staat het te meten begrip of de te meten eigenschap centraal. De D IRT beschouwt het antwoord op een item als een indicator voor de mate waarin die eigenschap aanwezig is. Het verband tussen eigenschap en itemantwoord is van probabilistische aard en wordt weergegeven in dee zogenaamde itemitem i responsfunctie. Die geeft aan hoe groot de kanss is op een correct antwoord als functiee van de onderliggende eigenschap of vaardigheid. Formeler: zij X i de toevalsvariabele die het antwoord op voorstelt. X i neemt de waarde 1 aan in geval van een correct antwoord enn 0 in geval van een fout antwoord. Als symbool voor de vaardigheid kiezen k we θ (theta). We wijzen erop datt θ niet rechtstreeks observeerbaar is. Dat zijn alleen de antwoorden op de opgaven. Dat is de reden waaromm θ een 'latente' variabele wordt genoemd. De itemresponsfunctie f i (θ) is gedefinieerd als een conditionele kans: (2.1) (2.2)( waarin β i de moeilijkheidsparameter van item i is. Dat is een onbekende grootheid g die geschat wordt uit de observaties. De grafiek van (2.2) iss weergegeven in figuur 2.1 voor twee items, i en j, die in moeilijkheid verschillen. Deze figuur illustreert dat de itemresponsfunctie een stijgende functie is van θ: hoe groter de vaardigheid, des te groter de kans op een juist antwoord. Indien de latente vaardigheidd precies gelijk is aan de moeilijkheidsparameter β i, krijgen we (2.3)( Daaruit volgt onmiddellijk een interpretatie voor r de parameter β i : het is dee 'hoeveelheid' vaardigheidd die nodig is voor de kans van precies een half om het item i juist te beantwoorden. Uit de figuur blijkt duidelijk dat voor item j een grotere vaardigheid nodig is om diezelfdee kans te bereiken, maar dit is hetzelfdee als te zeggen dat item j moeilijker is dan item i. We kunnen de parameter β i duss terecht omschrijven als de moeilijkheidsparameter van item i. De implicatiee van het bovenstaande iss dat 'moeilijkheid' en 'vaardigheid' op dezelfde schaal liggen. 11

14 Figuur 2..1 Twee itemresponscurven in het Raschmodel Formule (2.2) is geen beschrijving van de werkelijkheid, het is een hypothese over de werkelijkheid die getoetst kan worden op haar houdbaarheid. Hoe zo n toetsing grofweg verloopt, is te verduidelijken aan de hand van figuur 2.1. Daaruit blijkt dat, voor welkk vaardigheidsniveau dan ook, de kanss om item j juist te beantwoorden steedss kleiner is dan de kans opp een juist antwoord op itemm i. Daaruit volgt de statistisch te toetsen voorspelling dat de verwachte proportiee juiste antwoorden op itemm j kleiner is dan op item i in een willekeurige steekproef van personen. Splitst men nu een grote steekproef in twee deelsteekproeven, een laaggroep, met de vijftig procent laagste scores, en een hooggroep, met de vijftig procent hoogste scores, dan kan men nagaan of de geobserveerde p-waarden van de opgaven inn beide deelsteekproeven op dezelfde wijze geordend zijn. Daarvan kan strikt genomen alleen sprake zijn als, in termen van de klassieke testtheorie uitgedrukt, alle opgaven eenzelfde discriminatie-index hebben. Dat echter blijkt lang niet altijd zo te zijn. Ook in het geval van de toetsen Rekenen-Wiskunde niet. Veel vann de items blijken dan ookk niet te kunnen worden beschreven met het Raschmodel. Daarom is bij dit instrument gekozen voor een ander IRTvan de model. Alvorens het hier gebruikte model te introduceren, is eerst een kanttekening nodig bij het schatten moeilijkheidsparameters in het Raschmodel. Een vaak toegepaste schattingsmethodee is de conditionele grootste aannemelijkheidsmethode (in het Engels: Conditional Maximumm Likelihood, verder aangeduid als CML). Die maakt gebruik van het feit f dat in het Raschmodel een afdoende steekproefgrootheid ( sufficient statistic ) bestaat voor de latente variabele θ, namelijk de ruwe score of het aantal correct beantwoorde items. Dat betekent grofweg dat, indien de itemparameters bekend zijn, alle a informatiee die het antwoordpatroon over de vaardigheid bevat, kan worden samengevat in de d ruwe score; het doet er dan verder niet meer toe welke opgaven goed en welke fout zijn gemaakt. Hieruit vloeit voort dat de conditionele kans op een juist antwoord op item i, gegeven de ruwe score, een functiee is die alleenn afhankelijk is van de itemparameters en onafhankelijk van v de waardee van θ. De CML-schatting gsmethode maakt van deze functie gebruik. Deze methode maakt geen enkele veronderstelling over de verdeling van de vaardigheid in de populatie, en is ook onafhankelijk van v de wijze waarop de steekproef is getrokken. De CML-schattingsmethodlogistisch model (One Parameter Logistic Model, afgekort: OPLM) is CMLL mogelijk. Dit model is, anders dan het Raschmodel, wel bestand tegen omwisseling van proporties juist in verschillende steekproeven (Glas & Verhelst, 1993; Eggen, 1993; Verhelst & Kleintjes, 1993). De itemresponsfunctie van het OPLM is is echter niet bij elkk meetmodel toepasbaar. In het zogenaamde éénparameter gegeven door (2.4)( waarin a i de zogenaamde discriminatie-index van het item is. 12

15 Door deze indices te beperken tot (positieve) gehele getallen, en door ze a priori als constanten in te voeren, is het mogelijk CML-schattingen van dee itemparameters β i te maken. In figuur r 2.2 is de itemresponscurve weergegeven van twee itemss i en j, die even moeilijk zijn z maar verschillend discrimineren. Figuur 2..2 Twee itemresponscurven in het OPLM: zelfde moeilijkheid, verschillendee discriminatie De schattingen worden berekend met het computerprogramma OPLM (Verhelst, Glass & Verstralen, 1994). Dit programma voert eveneens statistische toetsen uit op grond waarvan kan worden bepaald of het model de gegevens adequaat beschrijft. Omdat een aantal van deze toetsen bijzonder gevoelig is voor een verkeerde specificatiee van de discriminatie-indices, zijn de uitkomsten van deze toetsen bruikbaar als modificatie-indices: ze geven een aanwijzing in welke richting deze discriminatie-indices moeten worden aangepast om een betere overeenkomst tussenn model en gegevens te verkrijgen. Kalibratie van items volgens het OPLM is dan ook een iteratief proces waarin alternerend de modelfit van items wordt onderzocht door middel van statistische toetsingg en de waarden van de discriminatie-id indices worden aangepast op grond van de resultaten van dezee toetsen. Hoewel het OPLM aanzienlijk flexibeler is dan het Raschmodel, heeft hett met dit model toch een nadeel gemeen, waardoor het bij het kalibreren van meerkeuze-opgaven niet zonder meer bruikbaar is. Uit de formules (2.2) en (2.4) volgt dat, indien θ zeer klein is, de kans op een juist antwoord zeer dicht in de buurt van nul komt. Maar een aantal items in het normeringsonderzoek zijn meerkeuze-items, zodat blind gokken een zekere kans op een juist antwoord impliceert. Er bestaan modellen die rekening houden met de raadkans (Lord & Novick, 1968), maar die latenn geen CML-schattingsmethode toe. Dee ongeschiktheid van het Raschmodel of OPLM voor meerkeuzevragen is echter relatief: indienn de items in vergelijking met de vaardigheid van de leerling niet al te moeilijk zijn, blijkt dat het effect van het raden op de overeenkomst tussen model en gegevens klein is. Slechts eenn beperkt aantal opgaven in de Reken-Wiskundetoetsen zijn meerkeuzeopgaven. Alleen bij opgaven die anders scoringsproblemen geven en bij doelen die op andere wijze moeilijk te toetsen zijn, is gebruikgemaaktt van de meerkeuzevorm. Daarnaast zijn de pure gokkansen bij de meerkeuzeopgaven in de toetsen Rekenen-Wiskunde niet zeer groot: bij het willekeurig invullen meestal.25. Hierdoorr en door een verstandige dataverzamelingsprocedure toe te passen en met name niet te moeilijke opgaven te selecteren in de toets kan het OPLM toch toegepast worden op meerkeuzevragen, waarbij de overeenkomst tussen model en dataa de uiteindelijke doorslag over die geschiktheid moet geven. Indien het meetmodel op grond van de kalibratieresultaten aanvaard kan worden, dat wil zeggen dat er na serieus onderzoek geen praktische reden meerr is om aan het meetmodel te twijfelen, dan kan men het meetmodel gebruiken om echt te gaan meten. Bij deze meetprocedure worden w de itemparameters vastgezet op hun geschatte waarde uit de kalibratie. Het eigenlijke metenn kan op tweee manieren gebeuren en beide worden toegepast in het LOVS: 1 Bij de eerste procedure gaat men de verdeling van de vaardigheid in de populatiee schatten. Daarbij zijn de resultaten van individuele leerlingen niett van belang, maar de leerlingen als groep worden 13

16 beschouwd als een representatieve steekproef uit de populatie waarop men de test wil gaan toepassen. In het eenvoudigste geval veronderstelt men dat de vaardigheid in de populatie normaal verdeeld is, en men schat gemiddelde en variantie. Bij ingewikkelder steekproeftrekking, bijvoorbeeld met gestratificeerde steekproeven, schat men het gemiddelde en de variantie in elk stratum, en met een eenvoudige terugrekenprocedure kan men gemiddelde en variantie in de totale populatie schatten, ook indien niet proportioneel uit de strata is getrokken. Het resultaat van deze procedure is dat men over een consistente schatting van de verdeling in de populatie beschikt, en dat men ook vrij eenvoudig alle percentielen kan uitrekenen. De hele procedure wordt uitgevoerd met een op OPLM aansluitend programma, SAUL (Structural Analysis of a Unidimensional Latent variable). Merk tenslotte nog op dat uit de veronderstelling van een normale verdeling van de vaardigheid geenszins volgt dat de verdeling van de scores normaal is. De vorm van de scoreverdeling kan behoorlijk grillig zijn, en hangt af van de itemparameters. 2 De tweede procedure is het bepalen (schatten) van de latente vaardigheid van een individuele leerling. Dit is wat gebeurt bij toepassing van de toets: uit de gewogen score op een toets kan een schatting van de latente vaardigheid worden berekend, die echter een schattingsfout bevat, vergelijkbaar met de meetfout uit de klassieke testtheorie. Ligt deze schatting dicht in de buurt van percentiel 80 (die we kennen uit de eerste procedure), dan is de schatting van het percentiel van deze leerling p80. Men kan echter ook een betrouwbaarheidsinterval berekenen voor de latente vaardigheid en dit omzetten in een betrouwbaarheidsinterval voor de percentielen. Voorbeeld: in tabel 2.1 zijn voor een van de toetsen uit het LOVS de percentielen 27 tot en met 48 weergegeven. Stel dat een leerling deze toets maakt en een gewogen score van 104 behaalt. De schatting van de vaardigheid (de schaalscore) die bij deze gewogen score hoort, is (deze omzetting wordt door het programma OPLM opgeleverd) en heeft een standaardfout van Zoeken we de waarde op in de rechterkolom van de tabel, dan vinden als dichtstbijzijnde waarde , en dat is percentiel 37 in de populatie. Een betrouwbaarheidsinterval van ±1 standaardfout rond de schatting is ( ) en deze twee grenzen (die het 68%-betrouwbaarheidsinterval aangeven) komen (ongeveer) overeen met de percentielen 29 en 47. Men kan opmerken dat deze betrouwbaarheidsintervallen (zowel voor de schaalscores als voor de percentielen) behoorlijk breed zijn. De reden hiervoor is dezelfde als in de klassieke testtheorie: de hoeveelheid informatie die men over de vaardigheid van een leerling verzamelt is nu eenmaal relatief gering, en de enige manier om meer informatie te verzamelen (en dus een grotere nauwkeurigheid mogelijk te maken) is de toets langer te maken. 14

17 Tabel 2.1 Enkele percentielen van een schaal uit het LOVS Percentiel Schaalscore Vraagonzuiverheid Onzuiverheid van vragen, DIF ( differential itemm functioning ) ), treedt op wanneer er eenn samenhang is tussen groepslidmaatschap en de respons op een vraag. Met andere woorden, de kans op een goed antwoord hangt niet alleen af van de vaardigheid van de leerling, maar ook van bijvoorbeeld sekse. Om te bepalen of de items die gebruikt zijn bij het regulier leerlingvolgsysteem Rekenen-Wiskundee ook geschikt zijn voor het SBO en SO heeft onderzoek plaatsgevonden naar vraagonzuiverheid. Hierbij is nagegaan of de kans op een goed antwoord niet alleen afhangt van de vaardigheid van de leerlingen maar ook van het schooltype. In dit onderzoek naar onzuiverheid is de populatie in het regulier onderwijs, de normgroep, als referentiegroep genomen. De leerlingen die hebben deelgenomen aann de proefonderzoeken in het SBO en SO zijn samen als doelgroep gedefinieerd. Ook is gekeken of er DIF optreedt tussen SBO en SO, tussen regulier basisonderwijs en SBO en tussen regulier basisonderwijs en SO. Om DIF op te sporen wordt gebruikgemaakt van de itemresponscurves. Figuur 2..3 Responsfunctie van een uniform onzuiver dichotoom item 15

18 In figuur 2.3 is een voorbeeld weergegeven vann een uniform onzuiver item. De kans op een juist antwoord in de doelpopulatie is voor alle vaardigheidsniveaus lager dan in de referentiepopulatie, of omgekeerd. Figuur 2..4 Responsfunctie van een niet-uniform onzuiver dichotoom item In figuur 2.4 is een voorbeeld van een niet-uniform onzuiver dichotoom item. De ene groep doet het op een lager vaardigheidsniveau beter dan de andere, terwijl dit op een hoog vaardigheidsniveau precies omgekeerd is. 16

19 3 Beschrijving van de toets 3.1 Opbouw, structuur, afname van de toetsen en rapportage In dit hoofdstuk beschrijven we de opbouw en structuur van de toetsen Rekenen-Wiskunde voor speciale leerlingen. Tevens komen de afname van de toetsen en mogelijkheden tot rapportage aan de orde. Opbouw en structuur In tabel 3.1 staat een overzicht van de ontwikkelde toetsen Rekenen-Wiskunde voor speciale leerlingen. Van alle toetsen is er een papieren versie en een digitale versie beschikbaar. In de toetsmappen is een handleiding opgenomen behorend bij zowel de papieren als digitale toetsen. In de toetsmap is als bijlage de technische handleiding voor de digitale toetsen opgenomen. Een van de belangrijkste veranderingen ten opzichte van de reguliere toetsen Rekenen-Wiskunde is de beschikbaarheid van tussentoetsen. Opeenvolgende toetsen beslaan nu kleinere leerstappen. Er is een toets M3 en een toets E3 beschikbaar, maar daarnaast ook een tussentoets M3E3. Deze laatste toets is wat moeilijker dan de toets M3 en wat gemakkelijker dan de toets E3. Bij een leerling die zich minder snel ontwikkelt in rekenen-wiskunde, kan aan het eind van groep 3 dus de toets M3E3 voorgelegd worden. Deze leerling hoeft zo niet een te moeilijke toets (E3) te maken, maar ook niet twee keer dezelfde toets (M3). In de handleiding bij de toetsen geven we een aantal richtlijnen voor het kiezen van de juiste toets. De tussentoetsen zijn zodanig samengesteld uit opgaven van de ondergelegen en bovengelegen toets dat de moeilijkheid van de toets precies tussen die van de ondergelegen en bovengelegen toets in ligt. Tabel 3.1 Overzicht toetsen, afnamemomenten, delen en aantal opgaven Toets Delen Aantal opgaven papier Medio groep 3 M3 deel 1 M3 deel 2 M3 deel 3 MedioEind groep 3 M3E3 deel 1 M3E3 deel 2 M3E3 deel 3 Eind groep 3 E3 deel 1 E3 deel 2 E3 deel 3 Eind groep 3 Medio groep 4 E3M4 deel 1 E3M4 deel 2 E3M4 deel 3 Medio groep 4 M4 deel 1 M4 deel 2 M4 deel 3 MedioEind groep 4 M4E4 deel 1 M4E4 deel 2 M4E4 deel 3 Eind groep 4 E4 deel 1 E4 deel 2 E4 deel 3 Eind groep 4 Medio groep 5 E4M5 deel 1 E4M5 deel 2 E4M5 deel Aantal opgaven digitaal

20 Medio groep 5 M5 deel 1 M5 deel 2 M5 deel 3 MedioEind groep 5 M5E5 deel 1 M5E5 deel 2 M5E5 deel 3 Eind groep 5 E5 deel 1 E5 deel 2 E5 deel 3 E5 deel Waar de reguliere toetsen Rekenen-Wiskunde bestaan uit twee delen per toets, is er voor de toetsen Rekenen-Wiskunde voor speciale leerlingen voor gekozen de delen korter te maken. Per deel worden minder opgaven aan de leerlingen voorgelegd, om tegemoet te komen aan de kortere spanningsboog waarvan bij veel leerlingen met speciale leerbehoefte sprake is. Gevolg is dat voor de toetsen M3 tot en met M5E5 per toets drie delen zijn, en voor de toets E5 vier delen. Bij de toets E5 is sprake van vier delen omdat het aantal opgaven van die toets groter is dan bij de voorgaande toetsen. Op basis van inhoudelijke criteria (spreiding over inhoudelijk onderscheiden categorieën en het belang van het betreffende onderdeel in het onderwijs) en psychometrische criteria (met name moeilijkheidsgraad en discriminatieparameter) zijn opgaven geselecteerd voor de toetsen. De toetsen bestaan voornamelijk uit open opgaven waarbij van de leerling een kort antwoord in de vorm van een getal verwacht wordt. Bij de selectie van opgaven voor de toetsen Rekenen-Wiskunde voor speciale leerlingen is de vorm van een open opgave waarbij de leerling meerdere getallen als antwoord diende te geven, weggelaten. Argument hiervoor is dat het soort opgave voor de speciale leerlingen eenduidig moet zijn. Door voor één vorm van open opgaven te kiezen, waarbij het goede antwoord moet worden gegeven in de vorm van één getal, realiseren we dit. Meerkeuzeopgaven komen beperkt voor en worden voornamelijk ingezet bij het onderdeel meetkunde. In tegenstelling tot de reguliere toetsen zijn in de toetsen Rekenen-Wiskunde voor speciale leerlingen de open opgaven en de meerkeuze-opgaven geclusterd. De leerlingen hoeven dan per taak maximaal een keer van opgavesoort te wisselen. Argument hiervoor is dat leerlingen met een speciale leerbehoefte meer behoefte hebben aan structuur. Door het geclusterd aanbieden van de opgaventypen in de toetsen Rekenen-Wiskunde voor speciale leerlingen, bieden wij meer structuur. Het afnemen van de toetsen De papieren toetsen worden klassikaal en schriftelijk gemaakt. Bij de toetsen M3, M3E3, E3, E3M4, M4, M4E4 en het eerste deel van E4 wordt de instructie voorgelezen om te zorgen dat zwakke lezers evenveel kans hebben als goede lezers om de opdrachten te begrijpen en goed te maken. Vanaf het tweede deel van E4 maken de leerlingen de opgaven zelfstandig na enkele voorbeeldopgaven samen met de leerkracht te hebben gemaakt. Leerlingen schrijven hun antwoorden in het opgavenboekje. De digitale toetsen worden individueel gemaakt. Bij de digitale versies van de toetsen wordt bij M3, M3E3, E3, E3M4, M4, M4E4 en het eerste deel van E4 bij elke opgave automatisch de tekst van de opgave voorgelezen. De leerling kan desgewenst door te klikken op het oortje in het scherm het geluidsfragment nogmaals beluisteren. Bij de toetsen E4 (tweede deel) tot en met E5 kunnen de leerlingen desgewenst per opgave kiezen om de tekst voor te laten lezen. Voor de toetsen geldt geen voorgeschreven tijd. In de praktijk is gebleken dat de leerlingen voor het maken van de digitale versies minder tijd nodig hebben dan voor het maken van de papieren versies. We adviseren om, net als in het reguliere basisonderwijs, twee keer per jaar een toetsafname te plannen. In het reguliere basisonderwijs worden de toetsen Rekenen-Wiskunde halverwege het schooljaar (januari/februari) en aan het eind van het schooljaar (juni) afgenomen. Dit zijn namelijk de momenten waarop de normeringsonderzoeken hebben plaatsgevonden. Ook bij de toetsen voor speciale leerlingen heeft het de voorkeur op deze momenten te toetsen. Alleen op die manier is het mogelijk de leerling direct te vergelijken met de gemiddelde leerling in het reguliere onderwijs, door middel van de niveaus A tot en met E en I tot en met V. 18

21 Ook zijn deze toetsmomenten zodanig gekozen dat de vaardigheid van de leerlingen verdeeld over het jaar optimaal worden gemeten, namelijk in het midden en aan het einde van het jaar. Correctie van de toetsen De toetsen Rekenen-Wiskunde voor speciale leerlingen zijn zowel handmatig na te kijken en te analyseren als via de computer, met behulp van het Computerprogramma LOVS. Voor het handmatig nakijken van de toets kan gebruikgemaakt worden van een lijst met goede antwoorden die in de bijlage van de handleiding is opgenomen. Indien gewenst kan de leerkracht in het Computerprogramma LOVS de goede antwoorden aanklikken. Op basis van de totaalscore van de leerling op de toets wordt een inschatting gemaakt van de algemene rekenvaardigheid van de leerlingen. Bij de digitale versies van de toetsen worden de antwoorden van de leerlingen door de computer gescoord en hoeft de leerkracht de toetsen dus niet zelf na te kijken. Verwerking resultaten en verdere analyses en interpretatie Bij de papieren toetsversies kunnen de resultaten zowel handmatig als met behulp van de computer verwerkt worden. Bij de digitale toetsversies worden de resultaten met de computer verwerkt. De resultaten kunnen door de leerkracht verwerkt worden op speciaal ontwikkelde rapportageformulieren. In de handleiding bij het toetspakket Rekenen-Wiskunde voor speciale leerlingen (Cito, 2010a) (hoofdstuk 3: de toetsresultaten verwerken, en hoofdstuk 4: interpretatie en gebruik van de resultaten op leerling- en groepsniveau) worden de mogelijkheden besproken om verschillende overzichten te maken, zoals een alternatief leerlingrapport en een alternatief groepsprofiel. Tevens wordt ingegaan op de vraag wat de resultaten betekenen voor het onderwijsaanbod. In de handleiding bij het Computerprogramma LOVS (Cito, z.j.) wordt besproken hoe het programma gebruikt kan worden om deze overzichten te maken. In de reguliere uitgaven van de toetsen Rekenen-Wiskunde zijn de niveau-indelingen A tot en met E en I tot en met V opgenomen. Deze niveau-indelingen zijn minder geschikt voor gebruik bij speciale leerlingen. Het grootste gedeelte van de doelgroep van de toetsen scoort in vergelijking met de normgroep erg laag en zal dus altijd een E- of V-score krijgen. Dit is weinig informatief. Vandaar dat in de toetsen Rekenen-Wiskunde voor speciale leerlingen naast een vaardigheidsscore, met bijbehorend score-interval, ook een functioneringsniveau gerapporteerd wordt. Het functioneringsniveau is een interpretatie van de vaardigheidsscore die het communiceren over de vaardigheid van een leerling vereenvoudigt. Het functioneringsniveau geeft aan met welke gemiddelde leerling in het reguliere basisonderwijs de vaardigheidsscore van de getoetste leerling te vergelijken is. Heeft een leerling op een rekentoets M5 een vaardigheidsscore behaald van 48, dan komt deze score overeen met de vaardigheidsscore van een gemiddelde leerling op het toetsmoment M4. Het functioneringsniveau van de leerling is dan M4. De leerling is dus qua vaardigheid vergelijkbaar met een gemiddelde leerling in het reguliere basisonderwijs medio groep 4. In de uitgave Rekenen-Wiskunde voor speciale leerlingen wordt het functioneringsniveau gerapporteerd tot een jaar boven het niveau van de toets en tot een jaar onder het niveau van de toets. Wanneer leerlingen een vaardigheidsscore hebben behorend bij een functioneringsniveau meer dan een jaar hoger of lager wordt in de tabel vermeld dat deze functioneringsniveaus minder betrouwbaar zijn. De leerling krijgt dan bijvoorbeeld een functioneringsniveau van >M5, omdat het score-interval waarin de vaardigheidsscore valt in dit geval zo groot is, dat het geven van één functioneringsniveau minder betrouwbaar is. In het Computerprogramma LOVS wordt altijd een functioneringsniveau gegeven, ook als een leerling een functioneringsniveau heeft van meer dan een jaar boven of onder het niveau van de toets. Toetsen op maat De rekenvaardigheid van leerlingen in een groep loopt vaak sterk uiteen. Als gevolg daarvan zal eenzelfde rekentoets voor een deel van de leerlingen goed op niveau zijn, maar voor sommige andere leerlingen erg moeilijk of erg gemakkelijk. De bij de rekentoetsen van het Cito Volgsysteem (LOVS) gehanteerde meettechniek maakt het mogelijk de toetsen op het niveau van de leerlingen af te stemmen. Omdat de toetsscores op verschillende rekentoetsen telkens naar eenzelfde schaal worden omgezet is het mogelijk leerlingen die verschillende toetsen maken toch met elkaar te vergelijken. Leerlingen kunnen daardoor 19

22 bijvoorbeeld een toets maken die hoort bij een vorig afnamemoment (een M4-leerling maakt een toets E3) of een volgend afnamemoment (een M4-leerling maakt een toets E4). Bij gebruik bij leerlingen met een vertraagde ontwikkeling raden we leerkrachten aan een toets te selecteren die past bij het niveau van de leerling. Bijvoorbeeld: werkt een 10-jarige leerling in het SBO in de reken-wiskundemethode van medio groep 4, dan selecteert de leerkracht voor deze leerling de M4-toets, of de iets gemakkelijkere E3M4-toets. Categorieënanalyse Voor verdere analyses op leerlingniveau (van zowel de toetsresultaten van de papieren versies als de digitale versies) is een speciale analyse binnen het Computerprogramma LOVS ontwikkeld: categorieënanalyse. Bij elke toets kunnen de opgaven onderverdeeld worden in een relatief klein aantal didactisch zinvolle categorieën. Uit de vaardigheidsscore die de leerling behaalt en het bijbehorende functioneringsniveau weten we of we met een sterke of zwakke leerling van doen hebben. De categorieënanalyse is bedoeld om na te gaan of de leerling, gegeven zijn algemene niveau, evenwichtig presteert op de verschillende onderdelen of categorieën van de toets. Met een categorieënanalyse kan nagegaan worden of leerlingen op een bepaald onderdeel meer (of minder) fouten maken dan op grond van hun algemene vaardigheidsniveau verwacht mag worden. De categorieën die bij de toetsen Rekenen-Wiskunde voor speciale leerlingen worden gehanteerd, staan in tabel 3.3. De rechterkolom geeft aan bij welke toetsen de categorieën worden gebruikt. Tabel 3.3 Categorieën in de toetsen Rekenen-Wiskunde voor speciale leerlingen Verkorte Van toepassing voor naam Omschrijving GET Getallen en getalrelaties M3, M3E3, E3, E3M4, M4, M4E4, E4, E4M5, M5, M5E5, E5 O&A Optellen en aftrekken M3, M3E3, E3, E3M4, M4, M4E4, E4, E4M5, M5, M5E5, E5 V&D Vermenigvuldigen en delen M3, M3E3, E3, E3M4, M4, M4E4, E4, E4M5, M5, M5E5, E5 ME Meten, meetkunde M3, M3E3, E3, M5, M5E5, E5 MTG Meten, meetkunde, tijd en geld E3M4, M4, M4E4, E4, E4M5 TG Tijd en geld M5, M5E5, E5 Niet alle categorieën zijn op elk niveau van toepassing, gezien het aanbod van onderwerpen in het onderwijs op het betreffende niveau. Voor M3 bijvoorbeeld worden alleen de categorieën GET, O&A, V&D en ME gehanteerd. Bovendien is niet elke categorie met evenveel items vertegenwoordigd, want dat zou geen recht doen aan de relatieve belangrijkheid van de categorieën in het onderwijs. In tabel 3.4 en 3.5 is het aantal opgaven per toets per categorie gegeven, voor respectievelijk de papieren toetsen en de digitale toetsen. Tabel 3.4 Papieren toetsen: aantal opgaven per toets per categorie Categorie M3 M3E3 E3 E3M4 M4 M4E4 E4 E4M5 M5 M5E5 E5 GET O&A V&D ME MTG TG Totaal