Wetenschappelijke verantwoording van de toetsen LOVS Rekenen-Wiskunde voor groep 3 tot en met 8. J. Janssen, N. Verhelst, R. Engelen en F.

Transcriptie

1 Cito Primair onderwijs Cito maakt wereldwijd werk van goed en eerlijk toetsen en beoordelen. Met de meet- en volgmethoden van Cito krijgen mensen een objectief beeld van kennis, vaardigheden en competenties. Hierdoor zijn verantwoorde keuzes op het gebied van persoonlijke en professionele ontwikkeling mogelijk. Onze expertise zetten we niet alleen in voor ons eigen werk maar ook om advies, ondersteuning en onderzoek te bieden aan anderen. Cito Postbus MG Arnhem T (026) F (026) Klantenservice T (026) F (026) klantenservice@cito.nl Fotografie: Ron Steemers Wetenschappelijke verantwoording van de toetsen LOVS Rekenen-Wiskunde voor groep 3 tot en met 8 J. Janssen, N. Verhelst, R. Engelen en F. Scheltens

2

3 Wetenschappelijke verantwoording van de toetsen LOVS Rekenen-Wiskunde voor groep 3 tot en met 8 Jan Janssen Norman Verhelst Ronald Engelen Floor Scheltens Cito Arnhem, juni 2010

4 Cito B.V. Arnhem (2010) Niets uit dit werk mag zonder voorafgaande schriftelijke toestemming van Cito B.V. worden openbaar gemaakt en/of verveelvoudigd door middel van druk, fotografie, scanning, computersoftware of andere elektronische verveelvoudiging of openbaarmaking, microfilm, geluidskopie, film- of videokopie of op welke wijze dan ook. 2

5 Inhoud 1 Inleiding 5 2 Uitgangspunten van de toetsconstructie Meetpretentie Doelgroep Gebruiksdoel en functie Theoretische inkadering Inhoudelijk Psychometrisch 8 3 Beschrijving van de toets Opbouw, structuur, afname van de toetsen en rapportage Inhoudsverantwoording 22 4 Het normeringsonderzoek Opzet en verloop van het normeringsonderzoek Representativiteit Kalibratie 43 5 Betrouwbaarheid en meetnauwkeurigheid 45 6 Validiteit Inhoudsvaliditeit Begripsvaliditeit 60 7 Samenvatting 65 8 Literatuur 67 Bijlage 1 Profielanalyse met IRT, Norman Verhelst 71 3

6 4

7 1 Inleiding De toetspakketten Rekenen-Wiskunde voor groep 3 tot en met 8 zijn verschenen in de periode 2004 tot en met 2009 en zijn te beschouwen als de tweede generatie toetsen in het Leerling- en onderwijsvolgsysteem (LOVS) van Cito. De eerste generatie toetsen Rekenen-Wiskunde van het leerlingvolgsysteem van Cito verscheen in de jaren negentig van de vorige eeuw. Vanwege de invoering van de euro op 1 januari 2002 waren een aantal aanpassingen nodig die vorm hebben gekregen in de toetspakketten Rekenen-Wiskunde 2002 voor groep 3 tot en met 8. In die uitgave zijn guldens vervangen door euro s en een aantal specifieke geldopgaven met o.a. stuivers, dubbeltjes en kwartjes verwijderd. Dat leidde ertoe dat ook de score-tabellen aangepast moesten worden. In de periode 2004 tot en met 2009 zijn nieuwe toetspakketten verschenen, die in dit document verantwoord worden. Nieuw ten opzichte van de vorige versie is dat er nu naast een papieren versie ook een digitale versie voor de scholen beschikbaar is gekomen. De scholen kunnen kiezen of ze de papieren versie ofwel de digitale versie afnemen. Het maakt daarbij niet uit welke keuze de scholen maken. De resultaten van de leerlingen zijn telkens naar een en dezelfde schaal te herleiden. Om dat te realiseren zijn naast papieren normeringsafnames ook papieren-digitale onderzoeken gehouden op een groot aantal scholen. Ook is nieuw ten opzichte van de versie van 2002 dat nu in groep 8 het onderdeel Rekenen met een zakrekenmachine is opgenomen in de toetsen. Deze verantwoording levert tezamen met de inhoud van de toetspakketten van LOVS Rekenen-Wiskunde voor groep 3, 4, 5, 6, 7 en 8 alle informatie die nodig is voor een snelle en efficiënte beoordeling van de kwaliteit van de toetsen die deel uitmaken van deze pakketten. In deze verantwoording wordt informatie verstrekt die nodig is om aan de hand van de beoordelingscriteria van de Cotan (Evers, A. e.a., 2009) de kwaliteit van de toetsen te beoordelen. In hoofdstuk 2 van deze verantwoording bespreken we de uitgangspunten die bij de opgavenconstructie en toetsconstructie een rol hebben gespeeld. In hoofdstuk 3 beschrijven we de toets en de inhoudelijke aspecten die in de toetsen zijn opgenomen. In hoofdstuk 4 komt het normeringsonderzoek ter sprake. We gaan dan in op de afnamedesigns die aan de papieren onderzoeken en papieren-digitale onderzoeken ten grondslag hebben gelegen. Verder komt in dit hoofdstuk de samenstelling van de steekproef ter sprake. Hoofdstuk 5 geeft informatie over de betrouwbaarheid en meetnauwkeurigheid van de toetsen en hoofdstuk 6 over de inhoudsvaliditeit en begripsvaliditeit. 5

8 6

9 2 Uitgangspunten van de toetsconstructie 2.1 Meetpretentie Het onderwijs in rekenen-wiskunde in het basisonderwijs richt zich in de eerste plaats op het verwerven van fundamentele vaardigheden op de terreinen van het rekenen en het meten. Deze fundamentele vaardigheden hebben betrekking op: het gebruiken van reken-wiskundetaal; het uitvoeren van rekenoperaties; het gebruiken van strategieën om rekenproblemen op te lossen. De fundamentele vaardigheden vormen geen doel op zichzelf maar moeten door leerlingen gebruikt kunnen worden in praktische toepassingssituaties. Dit betekent dat er verbindingen gelegd worden tussen het onderwijs in rekenen-wiskunde en de alledaagse leefwereld. Verder moeten leerlingen eenvoudige verbanden, regels, patronen en structuren kunnen opsporen. En ten slotte moeten leerlingen redeneerstrategieën en onderzoeksstrategieën kunnen gebruiken. Dit houdt onder andere in dat leerlingen uitkomsten op juistheid kunnen controleren door bijvoorbeeld de geschatte uitkomst van een vermenigvuldiging te vergelijken met de berekende uitkomst. Bijna elke school in het primair onderwijs hanteert vanaf groep 3 een methode om die doelen te realiseren. 2.2 Doelgroep Om leerkrachten in het primair onderwijs in staat te stellen de vorderingen van hun leerlingen op het gebied van rekenen-wiskunde te volgen zijn in de jaren negentig drie pakketten ontwikkeld, getiteld Rekenen- Wiskunde 1, Rekenen-Wiskunde 2 en Rekenen-Wiskunde 3. In verband met de invoering van de euro op 1 januari 2002 zijn de materialen van deze pakketten aangepast en ondergebracht in de uitgave Rekenen- Wiskunde In de periode zijn geheel nieuwe pakketten met toetsen Rekenen-Wiskunde voor groep 3 tot en met groep 8 verschenen. Voor de groepen 3 tot en met 7 zijn er voor de twee afnamemomenten, halverwege het schooljaar en aan het einde van het schooljaar, verschillende toetsen beschikbaar. Leraren kunnen per afnamemoment kiezen uit een papieren en een digitale variant. Voor groep 8 is er één papieren toets en één digitale toets die ofwel in oktober/november of eind januari afgenomen wordt. De papieren variant en de digitale variant van een afnamemoment bevatten een groot aantal dezelfde opgaven. 2.3 Gebruiksdoel en functie Met de toetsen kan men het rekenniveau van de leerlingen vaststellen en vergelijken met het niveau van een landelijke groep. Men krijgt per afname een duidelijk beeld van de vaardigheid van individuele leerlingen en van de groep als geheel. De toetsen zijn zo samengesteld dat rekenprestaties die op verschillende momenten worden vastgelegd met elkaar te vergelijken zijn. Daardoor kan men een indruk krijgen van de ontwikkeling van individuele leerlingen en kan men ook de ontwikkeling van de groep als geheel volgen. De opgaven van de toetsen vertegenwoordigen een scala aan kennis, inzichten en vaardigheden die in de loop van de leerjaren op school aan de orde worden gesteld. De scores op de toetsen geven aan hoe goed de leerlingen datgene wat ze geleerd hebben beheersen en kunnen toepassen in voor hen soms nieuwe situaties. In die zin zijn de toetsen methode-onafhankelijk en dus bij iedere rekenmethode te gebruiken. In het hoofdstuk dat betrekking heeft op de validiteit van de toetsen wordt aangegeven dat de opgaven van de rekentoetsen voorzien in een brede dekking van de kerndoelen. 7

10 Met behulp van de toetsen kunnen we het algemene rekenvaardigheidsniveau van leerlingen vaststellen. Daarnaast is het mogelijk om met behulp van het Computerprogramma LOVS een categorieënanalyse uit te voeren. Daarmee kan nagegaan worden of leerlingen op een bepaald onderdeel meer (of minder) fouten maken dan op grond van hun algemene vaardigheidsniveau verwacht mag worden. 2.4 Theoretische inkadering Inhoudelijk De toetsen Rekenen-Wiskunde voorzien in een brede dekking van de kerndoelen en tussendoelen. De basis voor de ontwikkeling van de toetsen waarmee we de vaardigheden van leerlingen meten bij de toetsen LOVS Rekenen-Wiskunde is een domeinbeschrijving. Die domeinbeschrijving bestaat uit een beschrijving van het leerstofgebied rekenen-wiskunde in de vorm van een lijst van leerdoelen. De domeinbeschrijving is gebaseerd op gebruikte methoden in het basisonderwijs, handboeken, kerndoelen van het Ministerie van Onderwijs, Cultuur en Wetenschap, TAL-publicaties (Tussendoelen Annex Leerlijnen), aanwezige expertise en discussies met vakinhoudelijke deskundigen en onderwijspractici. De verschillende onderdelen van het domein rekenen-wiskunde vormen een samenhangend geheel dat belangrijke aspecten van gecijferdheid van leerlingen omvat. Gecijferdheid verwijst naar verschillende aspecten van getalbegrip en rekenvaardigheid. Hierin staan inzicht in getallen, maatinzicht, ruimtelijk inzicht en het kunnen uitvoeren van operaties met getallen en het kunnen toepassen van die kennis en inzichten in uiteenlopende situaties centraal. We onderscheiden voor het basisonderwijs de volgende drie subdomeinen: Getallen en bewerkingen; Verhoudingen, breuken en procenten; Meten, meetkunde, tijd en geld. De publicaties van de Expertgroep Doorlopende Leerlijnen Taal en Rekenen van 2008 waren ten tijde van de ontwikkeling van de domeinbeschrijving nog niet beschikbaar. De Expertgroep baseert zich bij de inhoudelijke indeling en beschrijving van de doelen voor een belangrijk deel op de domeinbeschrijvingen bij het LOVS en PPON (Periodieke Peiling van het Onderwijsniveau in Nederland). In hoofdstuk 3 worden de verschillende inhoudelijke domeinen en onderdelen waarvoor toetsopgaven ontwikkeld zijn nader beschreven Psychometrisch Opgavenbanken primair onderwijs Voor het samenstellen van toetsen voor het primair onderwijs beschikt Cito over opgavenbanken. Die liggen ten grondslag aan onder meer de toetsen in het Leerling- en onderwijsvolgsysteem (LVStoetsen, de Entreetoetsen, Eindtoets basisonderwijs). Voor de constructie van de toetsen LOVS Rekenen- Wiskunde hebben we gebruikgemaakt van de opgavenbank Rekenen-Wiskunde. Een opgavenbank is nadrukkelijk niet eenvoudigweg een verzameling opgaven of items waaruit een toetsconstructeur min of meer naar willekeur een aantal items selecteert om een nieuwe toets te construeren. We geven hier kort aan wat de vereisten zijn om van een deugdelijke en psychometrisch goed gefundeerde opgavenbank te kunnen spreken. Unidimensionaal continuüm Het algemene uitgangspunt is dat de vaardigheid rekenen-wiskunde kan worden opgevat als een unidimensionaal continuüm, en dat de vaardigheid van elke leerling voorgesteld kan worden met een getal als een punt op die lijn. Het getal drukt de mate van rekenvaardigheid uit, waarbij een groter getal wijst op 8

11 een grotere rekenvaardigheid. Het doel van de meetprocedure het afnemen van een toets is de plaats van de leerling op dit continuüm zo nauwkeurig mogelijk te bepalen. De uitkomst van de meetprocedure bestaat strikt genomen uit twee grootheden: de eerste is de schatting van de plaats van de leerling op het vaardigheidscontinuüm. De tweede grootheid geeft aan hoe nauwkeurig die schatting is, en heeft dus de status van een standaardfout, te vergelijken met de standaardmeetfout uit de klassieke testtheorie. Latente vaardigheid De antwoorden van een leerling op de items worden beschouwd als indicatoren van de vaardigheid, hetgeen ruwweg betekent dat men verwacht dat alle items in de bank rekenvaardigheid meten. De vaardigheid zelf wordt als niet-observeerbaar beschouwd, en daarom gewoonlijk omschreven als een latente vaardigheid. Moeilijkheid in de Item Respons Theorie Hoewel items dezelfde vaardigheid meten, kunnen ze toch systematisch van elkaar verschillen. Het belangrijkste verschil tussen de items is hun moeilijkheidsgraad. In de klassieke testtheorie wordt moeilijkheidsgraad uitgedrukt met een zogenaamde p-waarde, de proportie correcte antwoorden op het item in een welbepaalde populatie van leerlingen. In de Item Respons Theorie (IRT) die voor het construeren van de opgavenbanken werd gebruikt, hanteert men echter een andere definitie van moeilijkheid: ruwweg gesproken is het de mate van vaardigheid die nodig is om het item goed te kunnen beantwoorden. Dit verschil in definitie van de moeilijkheidsgraad tussen klassieke theorie en IRT is uitermate belangrijk: men kan verwachten dat de p-waarde van een item in groep 8 groter zal zijn dan in groep 6, waardoor duidelijk wordt dat de p-waarde een relatief begrip is: ze geeft de moeilijkheid aan van een item in een bepaalde populatie. Binnen de IRT is de moeilijkheid van een item gedefinieerd in termen van de onderliggende vaardigheid, zonder enige referentie naar een bepaalde populatie van leerlingen. Zo kan men ook de uitspraak begrijpen dat in de IRT vaardigheid en moeilijkheid op eenzelfde schaal liggen. Kansmodel De ruwe omschrijving van de moeilijkheidsgraad die in de vorige alinea werd gehanteerd (de mate van vaardigheid die nodig is om het item goed te kunnen beantwoorden) behoeft enige verdere uitwerking. Men zou deze omschrijving kunnen opvatten als een drempel: heeft een leerling die mate van vaardigheid niet, dan kan hij het item niet juist beantwoorden; heeft hij die drempel wel gehaald, dan geeft hij (gegarandeerd) het juiste antwoord. Deze interpretatie weerspiegelt een deterministische kijk op het antwoordgedrag van de leerling, die echter in de praktijk geen stand houdt, omdat eruit volgt dat een leerling die een moeilijk item correct beantwoordt geen fout kan maken op een gemakkelijk item. Daarom wordt in de IRT een kansmodel gebruikt: hoe groter de vaardigheid, des te groter de kans dat een item juist wordt beantwoord. De moeilijkheidsgraad van een item wordt dan gedefinieerd als de mate van vaardigheid die nodig is om met een kans van precies een half een juist antwoord te kunnen produceren. Kalibratie In het voorgaande zijn nogal wat veronderstellingen ingevoerd (unidimensionaliteit; alle items zijn indicatoren voor dezelfde vaardigheid; kansmodel) die niet zonder meer voor waar kunnen worden aangenomen. Met behulp van statistisch gereedschap, waarop in het vervolg dieper ingegaan wordt, moet aangetoond worden dat deze veronderstellingen deugdelijk zijn. Maar vóór de items in een toets gebruikt kunnen worden, moet geprobeerd worden de waarden van de moeilijkheidsgraden te achterhalen. Dit gebeurt met een statistische schattingsmethode die wordt toegepast op de itemantwoorden die bij een steekproef van leerlingen zijn verzameld. Het hele proces van moeilijkheidsgraden schatten en verifiëren of de modelveronderstellingen houdbaar zijn, wordt kalibratie of ijking genoemd; de steekproef van leerlingen die hiervoor wordt gebruikt noemen we kalibratiesteekproef.. Afnamedesigns Een opgavenbank bevat meer items dan een doorsnee toets. Meestal is het praktisch niet doenbaar om alle items aan alle leerlingen voor te leggen. Elke leerling in de kalibratiesteekproef krijgt derhalve slechts een (klein) gedeelte van de items uit de opgavenbank voorgelegd. Dit gedeeltelijk voorleggen moet met de 9

12 nodige omzichtigheid gebeuren. In hoofdstuk 4 wordt ingegaan op het afnamedesign dat voor de kalibratie van de rekenen-wiskundeopgaven is gebruikt. Belangrijke implicaties gekalibreerde opgavenverzameling Als we erin slagen de kalibratie met succes uit te voeren, houden we een zogenaamde gekalibreerde itembank over. In dat proces worden de items die niet passen bij de verzameling uit de collectie verwijderd. De opgavenbank bevat voor elk item niet alleen zijn feitelijke inhoud, maar ook zijn psychometrische eigenschappen, en de statistische zekerheid dat alle items dezelfde vaardigheid aanspreken. Dit houdt onder meer het volgende in: 1 In principe kunnen we met een willekeurige selectie items uit de bank de vaardigheid meten bij een willekeurige leerling. In principe, want een willekeurige toets die uit de itembank wordt getrokken zal in de praktijk meestal niet voldoen omdat het meetresultaat (de schatting van de vaardigheid) onvoldoende nauwkeurig zal zijn. Willen we een nauwkeuriger meting (bij een gegeven aantal items in de toets) dan zullen we de moeilijkheidsgraden van de items in overeenstemming moeten brengen met het vaardigheidsniveau van de leerlingen. Het voorgaande geldt tevens voor de digitale items. Ook deze items komen uit de itembank Rekenen- Wiskunde. Dus ook met een selectie van digitale items kan de vaardigheid van een leerling bepaald worden. Al hetgeen dat geldt voor de papieren items uit de itembank, geldt daarom eveneens voor digitale items uit dezelfde itembank. 2 We kunnen een schatting maken van de verdeling van de vaardigheid in een welomschreven populatie, door selecties van items voor te leggen aan aselecte steekproeven van leerlingen uit populaties die van belang zijn voor de normering. In het geval van het LOVS zijn dat steekproeven van leerlingen op de verschillende normeringsmomenten vanaf medio groep 3 tot medio groep 8. Daarbij maakt het, behoudens wat bij 1 is vermeld over nauwkeurigheid, niet uit welke selectie van items aan een leerling binnen een normeringsgroep wordt afgenomen. Een van de eigenschappen van gekalibreerde itembanken is immers dat met elke selectie items de vaardigheid van leerlingen kan worden bepaald. In de praktijk komt dit meestal neer op het schatten van gemiddelde en standaardafwijking in de veronderstelling dat de vaardigheid normaal verdeeld is. Met deze schattingen kunnen dan ook schattingen gemaakt worden van de percentielen in de populatie. 3 Aan leerlingen die niet tot de betreffende referentiepopulatie behoren, kan dezelfde toets worden voorgelegd. De toetsscore wordt omgezet in een schatting van de vaardigheid en deze schatting kan geplaatst worden in de vaardigheidsverdeling van de populatie. Een leerling met achterstand in groep 8 kan een toets maken die normaliter aan groep 6 wordt voorgelegd, en zijn vaardigheidsschatting kan behalve met de populatie van groep 8 ook vergeleken worden met de percentielen in de populatie van groep 6, met bijvoorbeeld de uitspraak: De vaardigheid van deze leerling komt overeen met de mediane vaardigheid in groep 6. 4 De vergelijking die bij punt 3 gemaakt is, kan evengoed plaatsvinden als de (achterstands)leerling een andere toets (i.e. een selectie uit de opgavenbank) maakt dan de toets die normaliter aan groep 6 wordt voorgelegd. Immers, het kalibratie-onderzoek heeft ons overtuigd dat alle items dezelfde vaardigheid meten. Met een nieuwe toets meten we dus dezelfde vaardigheid, zodat schattingen die van verschillende toetsen afkomstig zijn zinvol met elkaar kunnen worden vergeleken. Het gehanteerde meetmodel In het normeringsonderzoek is gebruikgemaakt van een op de itemresponstheorie (IRT) gebaseerd meetmodel zoals dat bij Cito gebruikelijk is. Dergelijke modellen verschillen in een aantal opzichten nogal sterk van de klassieke testtheorie (Verhelst, 1993; Verhelst & Kleintjes, 1993; Verhelst en Glas, 1995). Bij de klassieke testtheorie staan de toets en de toetsscore centraal. Het theoretisch belangrijkste begrip in deze theorie is de zogenaamde ware score, de gemiddelde score die de persoon zou behalen indien de test een oneindig aantal keren onder dezelfde condities zou worden afgenomen. Deze klassieke testtheorie zou in dit onderzoek niet gebruikt kunnen worden, aangezien het normeringsonderzoek van de rekenwiskundetoetsen een onvolledig design betrof: niet alle leerlingen hadden alle opgaven gemaakt. Het gebruik van het IRT-model heeft enkele belangrijke voordelen. Op de eerste plaats kunnen de populatieschattingen onafhankelijk van de schattingen van de itemparameters plaatsvinden. Dat heeft 10

13 voordelen bij het wegen van de verschillende groepen om te zorgen dat de steekproef geheel overeenkomstig de populatieverdeling is (zie ook paragraaf 4.2). Daarna kan met deze populatieverdeling en kennis over de itemparameters precies bepaald worden welke de item- en toetskarakteristieken zijn voor de populatie. Ook als er ontbrekende waarnemingen zijn aan het einde van een test hebben we bij dergelijke schattingen geen last van de intrinsieke samenhang tussen reeksen van ontbrekende waarnemingen. Voor een overzicht van meer voordelen van IRT boven klassieke testtheorie wordt verwezen naar Hambleton, Swaminathan en Rogers (1991). In de IRT staat het te meten begrip of de te meten eigenschap centraal. De IRT beschouwt het antwoord op een item als een indicator voor de mate waarin die eigenschap aanwezig is. Het verband tussen eigenschap en itemantwoord is van probabilistische aard en wordt weergegeven in de zogenaamde itemresponsfunctie. Die geeft aan hoe groot de kans is op een correct antwoord als functie van de onderliggende eigenschap of vaardigheid. Formeler: zij Xi de toevalsvariabele die het antwoord op item i voorstelt. Xi neemt de waarde 1 aan in geval van een correct antwoord en 0 in geval van een fout antwoord. Als symbool voor de vaardigheid kiezen we θ (theta). We wijzen erop dat θ niet rechtstreeks observeerbaar is. Dat zijn alleen de antwoorden op de opgaven. Dat is de reden waarom θ een 'latente' variabele wordt genoemd. De itemresponsfunctie fi(θ) is gedefinieerd als een conditionele kans: (2.1) Een IRT-model is een speciale toepassing van (2.1) waarbij aan de functie fi(θ) een meer of minder specifieke functionele vorm wordt toegekend. Een eenvoudig en zeer populair voorbeeld is het zogenaamde Raschmodel (Rasch, 1960) waarin fi(θ) gegeven is door (2.2) waarin βi de moeilijkheidsparameter van item i is. Dat is een onbekende grootheid die geschat wordt uit de observaties. De grafiek van (2.2) is weergegeven in figuur 2.1 voor twee items, i en j, die in moeilijkheid verschillen. Deze figuur illustreert dat de itemresponsfunctie een stijgende functie is van θ: hoe groter de vaardigheid, des te groter de kans op een juist antwoord. Indien de latente vaardigheid precies gelijk is aan de moeilijkheidsparameter βi, krijgen we (2.3) Daaruit volgt onmiddellijk een interpretatie voor de parameter βi: het is de 'hoeveelheid' vaardigheid die nodig is voor de kans van precies een half om het item i juist te beantwoorden. Uit de figuur blijkt duidelijk dat voor item j een grotere vaardigheid nodig is om diezelfde kans te bereiken, maar dit is hetzelfde als te zeggen dat item j moeilijker is dan item i. We kunnen de parameter βi dus terecht omschrijven als de moeilijkheidsparameter van item i. De implicatie van het bovenstaande is dat 'moeilijkheid' en 'vaardigheid' op dezelfde schaal liggen. 11

14 Figuur 2.1 Twee itemresponscurven in het Raschmodel Formule (2.2) is geen beschrijving van de werkelijkheid, het is een hypothese over de werkelijkheid die getoetst kan worden op haar houdbaarheid. Hoe zo n toetsing grofweg verloopt, is te verduidelijken aan de hand van figuur 2.1. Daaruit blijkt dat, voor welk vaardigheidsniveau dan ook, de kans om item j juist te beantwoorden steeds kleiner is dan de kans op een juist antwoord op item i. Daaruit volgt de statistisch te toetsen voorspelling dat de verwachte proportie juiste antwoorden op item j kleiner is dan op item i in een willekeurige steekproef van personen. Splitst men nu een grote steekproef in twee deelsteekproeven, een laaggroep, met de vijftig procent laagste scores, en een hooggroep, met de vijftig procent hoogste scores, dan kan men nagaan of de geobserveerde p-waarden van de opgaven in beide deelsteekproeven op dezelfde wijze geordend zijn. Daarvan kan strikt genomen alleen sprake zijn als, in termen van de klassieke testtheorie uitgedrukt, alle opgaven eenzelfde discriminatie-index hebben. Dat echter blijkt lang niet altijd zo te zijn. Ook in het geval van de reken-wiskundetoetsen niet. Veel van de items blijken dan ook niet te kunnen worden beschreven met het Raschmodel. Daarom is bij dit instrument gekozen voor een ander IRTmodel. Alvorens het hier gebruikte model te introduceren, is eerst een kanttekening nodig bij het schatten van de moeilijkheidsparameters in het Raschmodel. Een vaak toegepaste schattingsmethode is de conditionele grootste aannemelijkheidsmethode (in het Engels: Conditional Maximum Likelihood, verder aangeduid als CML). Die maakt gebruik van het feit dat in het Raschmodel een afdoende steekproefgrootheid (sufficient statistic) bestaat voor de latente variabele θ, namelijk de ruwe score of het aantal correct beantwoorde items. Dat betekent grofweg dat, indien de itemparameters bekend zijn, alle informatie die het antwoordpatroon over de vaardigheid bevat, kan worden samengevat in de ruwe score; het doet er dan verder niet meer toe welke opgaven goed en welke fout zijn gemaakt. Hieruit vloeit voort dat de conditionele kans op een juist antwoord op item i, gegeven de ruwe score, een functie is die alleen afhankelijk is van de itemparameters en onafhankelijk van de waarde van θ. De CML-schattingsmethode maakt van deze functie gebruik. Deze methode maakt geen enkele veronderstelling over de verdeling van de vaardigheid in de populatie, en is ook onafhankelijk van de wijze waarop de steekproef is getrokken. De CML-schattingsmethode is echter niet bij elk meetmodel toepasbaar. In het zogenaamde éénparameter logistisch model (One Parameter Logistic Model, afgekort: OPLM) is CML mogelijk. Dit model is, anders dan het Raschmodel, wel bestand tegen omwisseling van proporties juist in verschillende steekproeven (Glas & Verhelst, 1993; Eggen, 1993; Verhelst & Kleintjes, 1993). De itemresponsfunctie van het OPLM is gegeven door (2.4) 12

15 waarin ai de zogenaamde discriminatie-index van het item is. Door deze indices te beperken tot (positieve) gehele getallen, en door ze a-priori als constanten in te voeren, is het mogelijk CML-schattingen van de itemparameters βi te maken. In figuur 2.2 is de itemresponscurve weergegeven van twee items i en j, die even moeilijk zijn maar verschillend discrimineren. Figuur 2.2 Twee itemresponscurven in het OPLM: zelfde moeilijkheid, verschillende discriminatie De schattingen worden berekend met het computerprogramma OPLM (Verhelst, Glas en Verstralen, 1995). Dit programma voert eveneens statistische toetsen uit op grond waarvan kan worden bepaald of het model de gegevens adequaat beschrijft. Omdat een aantal van deze toetsen bijzonder gevoelig is voor een verkeerde specificatie van de discriminatie-indices, zijn de uitkomsten van deze toetsen bruikbaar als modificatie-indices: ze geven een aanwijzing in welke richting deze discriminatie-indices moeten worden aangepast om een betere overeenkomst tussen model en gegevens te verkrijgen. Kalibratie van items volgens het OPLM is dan ook een iteratief proces waarin alternerend de modelfit van items wordt onderzocht door middel van statistische toetsing en de waarden van de discriminatie-indices worden aangepast op grond van de resultaten van deze toetsen. Hoewel het OPLM aanzienlijk flexibeler is dan het Raschmodel, heeft het met dit model toch een nadeel gemeen, waardoor het bij het kalibreren van meerkeuze-opgaven niet zonder meer bruikbaar is. Uit de formules (2.2) en (2.4) volgt dat, indien θ zeer klein is, de kans op een juist antwoord zeer dicht in de buurt van nul komt. Maar een aantal items in het normeringsonderzoek zijn meerkeuze-items, zodat blind gokken een zekere kans op een juist antwoord impliceert. Er bestaan modellen die rekening houden met de raadkans (Lord & Novick, 1968), maar die laten geen CML-schattingsmethode toe. De ongeschiktheid van het Raschmodel of OPLM voor meerkeuzevragen is echter relatief: indien de items in vergelijking met de vaardigheid van de leerling niet al te moeilijk zijn, blijkt dat het effect van het raden op de overeenkomst tussen model en gegevens klein is. Slechts een beperkt aantal opgaven in de reken-wiskundetoetsen zijn meerkeuze-opgaven. Alleen bij opgaven die anders scoringsproblemen geven en bij doelen die op andere wijze moeilijk te toetsen zijn is gebruikgemaakt van de meerkeuzevorm. Daarnaast zijn de pure gokkansen bij de meerkeuze-opgaven in de reken-wiskundetoetsen niet zeer groot: bij het willekeurig invullen meestal.25. Hierdoor en door een verstandige dataverzamelingsprocedure toe te passen en met name niet te moeilijke opgaven te selecteren in de test kan het OPLM toch toegepast worden op meerkeuzevragen, waarbij de overeenkomst tussen model en data de uiteindelijke doorslag over die geschiktheid moet geven. 13

16 Indien het meetmodel op grond van de kalibratieresultaten aanvaard kan worden, dat wil zeggen dat er na serieus onderzoek geen praktische reden meer is om aan het meetmodel te twijfelen, dan kan men het meetmodel gebruiken om echt te gaan meten. Bij deze meetprocedure worden de itemparameters vastgezet op hun geschatte waarde uit de kalibratie. Het eigenlijke meten kan op twee manieren gebeuren en beide worden toegepast in het LOVS: 1 Bij de eerste procedure gaat men de verdeling van de vaardigheid in de populatie schatten. Daarbij zijn de resultaten van individuele leerlingen niet van belang, maar de leerlingen als groep worden beschouwd als een representatieve steekproef uit de populatie waarop men de test wil gaan toepassen. In het eenvoudigste geval veronderstelt men dat de vaardigheid in de populatie normaal verdeeld is, en men schat gemiddelde en variantie. Bij ingewikkelder steekproeftrekking, bijvoorbeeld met gestratificeerde steekproeven, schat men het gemiddelde en de variantie in elk stratum, en met een eenvoudige terugrekenprocedure kan men gemiddelde en variantie in de totale populatie schatten, ook indien niet proportioneel uit de strata is getrokken. Het resultaat van deze procedure is dat men over een consistente schatting van de verdeling in de populatie beschikt, en dat men ook vrij eenvoudig alle percentielen kan uitrekenen. De hele procedure wordt uitgevoerd met een op OPLM aansluitend programma, SAUL (Structural Analysis of a Unidimensional Latent variable). Merk tenslotte nog op dat uit de veronderstelling van een normale verdeling van de vaardigheid geenszins volgt dat de verdeling van de scores normaal is. De vorm van de scoreverdeling kan behoorlijk grillig zijn, en hangt af van de itemparameters. 2 De tweede procedure is het bepalen (schatten) van de latente vaardigheid van een individuele leerling. Dit is wat gebeurt bij toepassing van de toets: uit de gewogen score op een toets kan een schatting van de latente vaardigheid worden berekend, die echter een schattingsfout bevat, vergelijkbaar met de meetfout uit de klassieke testtheorie. Ligt deze schatting dicht in de buurt van percentiel 80 (die we kennen uit de eerste procedure), dan is de schatting van het percentiel van deze leerling p80. Men kan echter ook een betrouwbaarheidsinterval berekenen voor de latente vaardigheid en dit omzetten in een betrouwbaarheidsinterval voor de percentielen. Voorbeeld: in tabel 2.1 zijn voor een van de toetsen uit het LOVS de percentielen 27 tot en met 48 weergegeven. Stel dat een leerling deze toets maakt en een gewogen score van 104 behaalt. De schatting van de vaardigheid (de schaalscore) die bij deze gewogen score hoort, is (deze omzetting wordt door het programma OPLM opgeleverd) en heeft een standaardfout van Zoeken we de waarde op in de rechterkolom van de tabel, dan vinden als dichtstbijzijnde waarde , en dat is percentiel 37 in de populatie. Een betrouwbaarheidsinterval van ±1 standaardfout rond de schatting is ( ) en deze twee grenzen (die een ongeveer 70% betrouwbaarheidsinterval aangeven) komen (ongeveer) overeen met de percentielen 29 en 47. Men kan opmerken dat deze betrouwbaarheidsintervallen (zowel voor de schaalscores als voor de percentielen) behoorlijk breed zijn. De reden hiervoor is dezelfde als in de klassieke testtheorie: de hoeveelheid informatie die men over de vaardigheid van een leerling verzamelt is relatief gering, en de enige manier om meer informatie te verzamelen is de toets langer te maken. 14

17 Tabel 2.1 Enkele percentielen van een schaal uit het LOVS Procent Percentiel * * Percentiel is een schaalscore die overeenkomt met een bepaald percentage. 15

18 16

19 3 Beschrijving van de toets 3.1 Opbouw, structuur, afname van de toetsen en rapportage Op basis van inhoudelijke criteria (spreiding over inhoudelijk onderscheiden categorieën en het belang van het betreffende onderdeel in het onderwijs) en psychometrische criteria (m.n. moeilijkheidsgraad en discriminatieparameter) zijn opgaven geselecteerd voor de toets. De toetsen bestaan voornamelijk uit open opgaven waarbij van de leerling een kort antwoord in de vorm van een getal verwacht wordt. Meerkeuzeopgaven komen beperkt voor. De meerkeuzevorm is alleen gebruikt bij onderdelen als schattend rekenen en meetkunde. Het afnemen van de toetsen De papieren toetsen worden klassikaal en schriftelijk gemaakt. Bij de toetsen M3, E3, M4 en het eerste deel van E4 wordt de instructie voorgelezen om te zorgen dat zwakke lezers evenveel kans hebben als goede lezers om de opdrachten te begrijpen en goed te maken. Vanaf het tweede deel van E4 maken de leerlingen de opgaven zelfstandig na enkele voorbeeldopgaven samen met de leerkracht te hebben gemaakt. In groep 3 en 4 schrijven de leerlingen hun antwoorden in het opgavenboekje op. Vanaf groep 5 noteren de leerlingen hun antwoorden op antwoordbladen. De digitale versies worden individueel gemaakt. Bij de digitale versies van de toetsen wordt bij M3, E3, M4 en het eerste deel van E4 bij elke opgave automatisch de tekst van de opgave voorgelezen. De leerling kan desgewenst door te klikken op het oortje in het scherm het geluidsfragment nogmaals beluisteren. Bij de toetsen E4 (tweede deel) tot en met M8 kunnen de leerlingen desgewenst per opgave kiezen om de tekst voor te laten lezen. In tabel 3.1 staat een overzicht van de ontwikkelde toetsen. Van alle toetsen is er een papieren versie en een digitale versie beschikbaar. In de praktijk is gebleken dat de leerlingen voor het maken van de digitale versies minder tijd nodig hebben dan voor het maken van de papieren versies. In de toetsmappen is een handleiding opgenomen behorend bij de papieren toetsen en een aparte handleiding voor de digitale toetsen. Vanaf januari 2010 is er één digitale handleiding voor alle leerjaren beschikbaar gekomen, die scholen via internet kunnen downloaden. 17

20 Tabel 3.1 Overzicht toetsen, afnamemomenten, delen, aantal opgaven en afnametijd Toets Afnamemoment Delen Opgaven pp Opgaven digi Afnametijd Medio groep 3 2 e helft januari of 1 e week februari M3 deel 1 M3 deel minuten 40 minuten Eind groep 3 juni E3 deel 1 E3 deel minuten 40 minuten Medio groep 4 2 e helft januari of 1 e week februari M4 deel 1 M4 deel minuten 40 minuten Eind groep 4 juni E4 deel 1 E4 deel minuten 40 minuten Medio groep 5 2 e helft januari of 1 e week februari M5 deel 1 M5 deel minuten 40 minuten Eind groep 5 juni E5 deel 1 E5 deel 2 E5 deel minuten 40 minuten 40 minuten Medio groep 6 2 e helft januari of 1 e week februari M6 deel 1 M6 deel 2 M6 deel 3 Eind groep 6 juni E6 deel 1 E6 deel 2 E6 deel 3 Medio groep 7 2 e helft januari of 1 e week februari M7 deel 1 M7 deel 2 M7 deel 3 Eind groep 7 juni E7 deel 1 E7 deel 2 E7 deel 3 Begin groep 8 Medio groep 8 eind oktober of begin november 2 e helft januari of 1 e week februari B8/M8 deel 1 B8/M8 deel 2 B8/M8 deel 3 B8/M8 deel 4 B8/M8 deel 1 B8/M8 deel 2 B8/M8 deel 3 B8/M8 deel * 32* 32* 20* 32* 32* 32* 20* 40 minuten 40 minuten 40 minuten 40 minuten 40 minuten 40 minuten 40 minuten 40 minuten 40 minuten 40 minuten 40 minuten 40 minuten 45 minuten 45 minuten 45 minuten 35 minuten 45 minuten 45 minuten 45 minuten 35 minuten * De digitale toetsen voor de afnamemomenten B8 en M8 komen in de 2 e helft van 2010 voor de scholen beschikbaar. Toetsen op maat De rekenvaardigheid van leerlingen in een groep loopt vaak sterk uiteen. Als gevolg daarvan zal eenzelfde rekentoets voor een deel van de leerlingen goed op niveau zijn, maar voor sommige andere leerlingen erg moeilijk of erg gemakkelijk. Met name voor een aantal leerlingen van niveau D en voor de leerlingen van niveau E (of de leerlingen van niveau V) zijn de toetsen van het eigenlijke afnamemoment (bijvoorbeeld de E6-toets voor leerlingen eind groep 6) aan de moeilijke kant. Voor een aantal leerlingen van niveau A (of niveau I) zijn de toetsen echter aan de gemakkelijke kant. De bij de rekentoetsen van het Leerling- en onderwijsvolgsysteem gehanteerde meettechniek maakt het mogelijk de toetsen op het niveau van de leerlingen af te stemmen. Omdat de toetsscores op verschillende rekentoetsen telkens naar eenzelfde schaal worden omgezet is het mogelijk leerlingen die verschillende toetsen maken toch met elkaar te vergelijken. Leerlingen kunnen daardoor bijvoorbeeld een toets maken die hoort bij een vorig afnamemoment (een E6-leerling maakt een toets M6 of E5) of een volgend afnamemoment (een E6-leerling maakt de toets M7). Correctie van de toetsen De toetsen Rekenen-Wiskunde zijn zowel handmatig na te kijken en te analyseren als via de computer, met behulp van het Computerprogramma LOVS. Voor het handmatig nakijken van de toets kan gebruikgemaakt 18

21 worden van een lijst met goede antwoorden die in de bijlage van de handleiding is opgenomen. Indien gewenst kan de leerkracht in het Computerprogramma LOVS de goede antwoorden aanklikken. De antwoordbladen bij de toetsen vanaf medio groep 5 zijn zodanig samengesteld dat na correctie meteen een overzicht verkregen wordt van de scores op de onderdelen en de totaalscore. Op basis van de totaalscore van de leerling op de toets wordt een inschatting gemaakt van de algemene rekenvaardigheid van de leerlingen. Bij de digitale versies van de toetsen worden de antwoorden van de leerlingen door de computer gescoord en hoeft de leerkracht de toetsen dus niet zelf na te kijken. Verwerking resultaten en verdere analyses en interpretatie De resultaten kunnen door de leerkracht verwerkt worden op speciaal ontwikkelde rapportageformulieren, onder andere leerlingrapporten, groepsrapporten en groepsoverzichten. Bij de papieren toetsversies kunnen de resultaten zowel handmatig als met behulp van de computer verwerkt worden. Bij de digitale toetsversies worden de resultaten met de computer verwerkt. In de handleiding voor de leerkrachten (Cito, 2005; Cito, 2005a; Cito, 2006; Cito, 2007; Cito, 2008a; Cito, 2009: hoofdstuk 4: Interpretatie en gebruik op leerlingniveau en hoofdstuk 5: Interpretatie en gebruik op schoolniveau) en de handleiding bij het Computerprogramma LOVS (module schoolzelfevaluatie) wordt een aantal mogelijkheden besproken om handmatig en met behulp van het computerprogramma overzichten te maken (zoals bijvoorbeeld leerlingrapporten, groepsrapporten, dwarsdoorsnedes en trendanalyses) om op groepsniveau en schoolniveau de kwaliteit van het gegeven onderwijs te analyseren. In de toetsmaterialen zijn twee niveau-indelingen opgenomen, waarmee de leerkracht de scores van een leerling kan vergelijken met die van een grote groep leerlingen. De leerkracht kan een keuze maken uit een indeling in de niveaus: A tot en met E; I tot en met V. Bij de indeling in de niveaus A tot en met E is de verdeling over de groepen als volgt: Niveau % Interpretatie A 25% De 25% hoogst scorende leerlingen B 25% De 25% leerlingen die net boven tot ruim boven het landelijk gemiddelde scoren C 25% De 25% leerlingen die net onder tot ruim onder het landelijk gemiddelde scoren D 15% De 15% leerlingen die ruim onder het landelijk gemiddelde scoren E 10% De 10% laagst scorende leerlingen Bij de indeling in de niveaus I tot en met V wordt uitgegaan van vijf groepen van 20%: Niveau % Interpretatie I 20% Ver boven het gemiddelde II 20% Boven het gemiddelde III 20% De gemiddelde groep leerlingen IV 20% Onder het gemiddelde V 20% Ver onder het gemiddelde 19

22 Bij de indeling in I tot en met V worden op de overzichten de laagste groep en de hoogste groep nog onderverdeeld in twee groepen die ieder 10% leerlingen bevatten. Deze groepen worden van elkaar gescheiden door een stippellijn. In de eerste versie van de LVS-toetsen werd alleen de indeling A tot en met E gebruikt. In de praktijk bleek deze enkele nadelen te hebben. Ten eerste is deze indeling niet symmetrisch. Bovendien zien sommige leerkrachten C als de gemiddelde groep. Het belangrijkste nadeel is echter dat er geen gemiddelde groep is. Daarom is bij de tweede versie van de toetsen LOVS een indeling toegevoegd met de niveaus I tot en met V. De indeling in de niveaus I tot en met V is symmetrisch opgebouwd en heeft als voordeel dat er een gemiddelde groep is. Deze indeling sluit aan bij de niveau-indeling van andere Cito-toetsinstrumenten zoals de Entreetoets. Categorieënanalyse Voor verdere analyses op leerlingniveau (van zowel de toetsresultaten van de papieren versies als de digitale versies) is een speciaal programma ontwikkeld: categorieënanalyse. Bij elke toets (M3, E3, M4 tot en met M8) kunnen de opgaven onderverdeeld worden in een relatief klein aantal didactisch zinvolle categorieën. Uit de vaardigheidsscore die de leerling behaalt en het toegekende niveau (A t/m E of I t/m V) weten we of we met een sterke of zwakke leerling van doen hebben. De categorieënanalyse is bedoeld om na te gaan of de leerling, gegeven zijn algemeen niveau, evenwichtig presteert op de verschillende onderdelen of categorieën van de toets. Met een categorieënanalyse kan nagegaan worden of leerlingen op een bepaald onderdeel meer (of minder) fouten maken dan op grond van hun algemene vaardigheidsniveau verwacht mag worden. De categorieën die bij de toetsen Rekenen-Wiskunde worden gehanteerd staan in tabel 3.2. De rechterkolom geeft aan bij welke toetsen de categorieën worden gebruikt. Tabel 3.2 Categorieën voor Rekenen-Wiskunde Verkorte naam Omschrijving Van toepassing voor GET Getallen en getalrelaties M3, E3, M4, E4, M5, E5, M6, E6, M7, E7, B8/M8 O&A Optellen en aftrekken M3, E3, M4, E4, M5, E5 V&D Vermenigvuldigen en delen M3, E3, M4, E4, M5, E5 HR&SR Hoofdrekenen en schattend rekenen M6, E6, M7,E7, B8/M8 BE_mp Bewerkingen met gebruik uitrekenpapier M6, E6, M7,E7, B8/M8 MTG Meten, meetkunde, tijd en geld M4, E4 ME Meten, meetkunde M3, E3, M5, E5, M6, E6, M7, E7, B8/M8 TG Tijd en geld M5, E5, M6, E6, M7, E7, B8/M8 VBP Verhoudingen, breuken en procenten M6, E6, M7, E7, B8/M8 Niet alle categorieën zijn op elk niveau van toepassing. Voor M3 bijvoorbeeld worden alleen de categorieën GET, O&A, V&D en ME gehanteerd. Bovendien is niet elke categorie met evenveel items vertegenwoordigd, want dat zou geen recht doen aan de relatieve belangrijkheid van de categorieën in het onderwijs. 20

23 Tabel 3.3 Papieren toetsen: aantal opgaven per toets per categorie Categorie M3 pp E3 pp M4 pp E4 pp M5 pp E5 pp M6 pp E6 pp M7 pp E7 pp B8/M8 1-3 pp B8/M8 1-4 pp GET O&A V&D HR&SR BE_mp ZRM 20 MTG ME TG VBP Totaal Het aantal opgaven bij de digitale versies van de toetsen komt grotendeels overeen met het aantal opgaven bij de papieren toetsen. Tabel 3.4 Digitale toetsen: aantal opgaven per toets per categorie Categorie M3 digi E3 digi M4 digi E4 digi M5 digi E5 digi M6 digi E6 digi M7 digi E7 digi B8/M8 B8/M8 1-3 digi 1-4 digi GET O&A V&D HR&SR BE_mp ZRM 20 MTG ME TG VBP Totaal Voor de categorieënanalyse is een aparte verantwoording geschreven (zie bijlage 1). In de handleiding bij het Computerprogramma LOVS is voor de leerkrachten een uitvoerige beschrijving opgenomen van de categorieënanalyse en de interpretatie van de uitkomsten. 21

24 3.2 Inhoudsverantwoording In het ontwikkelproces van de toetsen zijn een aantal fasen te onderscheiden: domeinbeschrijving; itemconstructie; normeringsonderzoek; kalibratrie-analyses; samenstelling van de toets, rapportage-overzichten en handleiding. Op basis van de domeinbeschrijving (zie paragraaf 2.4.1) zijn bij de verschillende doelen van een afnamemoment opgaven geconstrueerd die een operationalisering vormen van die doelen. Dat is gebeurd door itemschrijfcommissies die bestaan uit leerkrachten basisonderwijs, schoolbegeleiders en pabodocenten. Geconstrueerde items zijn in commissievergaderingen onder leiding van een Citomedewerker besproken en zo nodig bijgesteld. De geconstrueerde en uitgewerkte opgaven zijn vervolgens op basis van een afnamedesign voorgelegd aan een steekproef van leerlingen en scholen (zie hoofdstuk 4) in de periode Bij die afnames zijn de meeste leerlingen drie afnamemomenten lang gevolgd. De leerlingen zijn gevolgd om de ontwikkeling van de rekenvaardigheid in kaart te brengen en referentiegegevens van een landelijke normgroep te verzamelen. Na de afnames zijn de antwoorden van de leerlingen op de toetsen geanalyseerd met behulp van het programmapakket One Parameter Logistic Model (OPLM; Verhelst, 1993; Verhelst en Glas, 1995). Voor een algemene technische beschrijving van dit model zie paragraaf Voor een beschrijving van de opzet en uitvoering van het normeringsonderzoek verwijzen we naar hoofdstuk 4 van deze verantwoording. Bij de analyses is de kwaliteit van de afzonderlijke items en de totale verzameling voor een afnamemoment in kaart gebracht. Itemparameters en discriminatieparameters zijn geschat en normeringstabellen zijn samengesteld. Bij de analyses van de antwoorden van de leerlingen op de opgaven is nagegaan of de verschillende onderdelen een beroep doen op hetzelfde complex aan vaardigheden. Dat bleek het geval te zijn. Daarom is voor groep 3 tot en met groep 8 een schaal geconstrueerd, die we de algemene rekenvaardigheidsschaal genoemd hebben. Op basis van inhoudelijke en psychometrische criteria zijn vervolgens toetsen samengesteld. Met behulp van de totaalscore op iedere toets (dat is het totaal aantal goed gemaakte opgaven in alle onderdelen van de toets) is de algemene rekenvaardigheid van een leerling op een bepaald afnamemoment te bepalen. Indien leerlingen elk half jaar een van de toetsen LOVS Rekenen-Wiskunde maken, dan maakt deze schaal het mogelijk de algemene rekenvaardigheid van de leerlingen te volgen vanaf groep 3 tot en met groep 8. Naast toetsen zijn rapportage-overzichten gemaakt en een handleiding en inhoudelijke verantwoording geschreven. De inhoud van de toetsen De verschillende leerstofonderdelen die in de toetsen Rekenen-Wiskunde in groep 3 tot en met 8 aan de orde komen, lichten we in deze paragraaf kort toe en vatten we samen in een tabel. Voor een uitvoerige beschrijving van de inhoud van de toetsen M3 tot en met M8 verwijzen we naar de Inhoudsverantwoording in de toetspakketten (Cito, 2005; Cito, 2005a; Cito, 2006; Cito, 2007; Cito, 2008a; Cito, 2009). Daar is per toets een uitgebreide inhoudsbeschrijving opgenomen die geïllustreerd wordt met voorbeeldopgaven uit de toetsen, alsmede een aanduiding van de moeilijkheidsgraad van die opgaven. In paragraaf is aangegeven dat de verschillende onderdelen van het domein rekenen-wiskunde een samenhangend geheel vormen en dat we de volgende drie subdomeinen onderscheiden: 1 Getallen en bewerkingen; 2 Verhoudingen, breuken en procenten; 3 Meten en meetkunde, tijd en geld. We bespreken hierna de onderwerpen die in deze subdomeinen aan de orde komen. 22

25 Getallen en bewerkingen 1. Getallen en getalrelaties Bij dit onderwerp staan centraal het doorzien van de structuur van de telrij, de structuur van getallen en de relaties tussen getallen. 2. Hoofdrekenen: optellen en aftrekken 3. Hoofdrekenen: vermenigvuldigen en delen 4. Complexere toepassingen (waarbij meestal meerdere bewerkingen moeten worden uitgevoerd). Bij de onderwerpen 2, 3 en 4 gaat het om optellingen, aftrekkingen, vermenigvuldigingen, delingen en toepassingen die de leerling vlot, handig en inzichtelijk moet kunnen uitvoeren. Daarbij kan de leerling gebruikmaken van basiskennis van getallen, van inzicht in relaties tussen getallen en eigenschappen van bewerkingen. In groep 3, 4 en 5 mogen de leerlingen bij dit onderdeel notities maken en tussenuitkomsten opschrijven. Vanaf groep 6 moeten ze de opgaven uit het hoofd uitrekenen en mogen ze geen notities maken of tussenuitkomsten opschrijven. De getallenkeuze bij de opgaven is dan zodanig dat bij het uitvoeren van de bewerking zo weinig mogelijk een beroep op het geheugen wordt gedaan. 5. Schattend rekenen Bij dit onderdeel wordt van de leerlingen verwacht dat zij bewerkingen met afgeronde getallen uitvoeren om de orde van grootte van de uitkomst aan te geven. Ook hierbij spelen eigenschappen van bewerkingen, het kunnen uitvoeren van basisoperaties en het inzicht in getallen onder andere in de orde van grootte, de ligging in de getallenrij en de structuur van getallen een belangrijke rol. 6. Bewerkingen: optellen en aftrekken 7. Bewerkingen: vermenigvuldigen en delen 8. Samengestelde bewerkingen (waarbij meerdere bewerkingen moeten worden uitgevoerd). Vanaf groep 6 maken we onderscheid tussen hoofdrekenen (de onderwerpen 2, 3 en 4, waarbij de leerlingen geen uitrekenpapier mogen gebruiken) en de bewerkingen van de onderwerpen 6, 7 en 8, waarbij de leerlingen wel uitrekenpapier mogen gebruiken. De getallenkeuze bij de opgaven van de onderwerpen 6, 7 en 8 is meestal zodanig dat het nodig is tussenuitkomsten van hoofdrekenprocedures te noteren of de standaard cijferprocedure of een aangepaste vorm daarvan uit te voeren. 9. Rekenen met een zakrekenmachine Dit onderwerp komt alleen in groep 8 voor. Bij de onderwerpen van het domein Getallen en bewerkingen komen vanaf de toets voor medio groep 7 naast gehele getallen ook kommagetallen voor. Verhoudingen, breuken en procenten 10. Verhoudingen Elementaire verhoudingsproblemen spelen in het reken-wiskundeonderwijs bij tal van onderwerpen vanaf groep 3 een belangrijke rol. Zo krijgen leerlingen al snel verhoudingsproblemen voorgelegd waarbij ze berekeningen moeten uitvoeren, bijvoorbeeld als bij een recept hoeveelheden aangepast moeten worden aan het aantal personen. In de hogere leerjaren leren de kinderen dat verhoudingen kunnen worden beschreven in verhoudingentaal (één op de tien kinderen), in breukentaal (een kwart van de bevolking) en met procenten (20% van de aanwezigen). Kinderen moeten leren de relatie te leggen tussen die verschillende beschrijvingen van verhoudingen. 11. Breuken Bij dit onderwerp gaat het om basiskennis en elementaire begrippen die nodig zijn om met breuken en gemengde getallen te kunnen werken. Concreet betekent dat onder andere breuken op een getallenlijn plaatsen, breuken omzetten in kommagetallen, breuken vereenvoudigen en breuken als gemengd getal schrijven. Daarnaast moeten leerlingen elementaire operaties (optellen, aftrekken, vermenigvuldigen en delen) met breuken kunnen uitvoeren en die vaardigheid in contexten kunnen toepassen. De breuken en gemengde getallen die daarbij voorkomen hebben een hoge gebruikswaarde. 23