Wetenschappelijke verantwoording van de digitale toetsen Rekenen voor kleuters

Transcriptie

1 Cito Volgsysteem primair onderwijs Cito maakt wereldwijd werk van goed en eerlijk toetsen en beoordelen. Met de meet- en volgmethoden van Cito krijgen mensen een objectief beeld van kennis, vaardigheden en competenties. Hierdoor zijn verantwoorde keuzes op het gebied van persoonlijke en professionele ontwikkeling mogelijk. Onze expertise zetten we niet alleen in voor ons eigen werk maar ook om advies, ondersteuning en onderzoek te bieden aan anderen. Cito Amsterdamseweg 13 Postbus MG Arnhem T (026) F (026) Klantenservice T (026) F (026) klantenservice@cito.nl Fotografie: Ron Steemers Wetenschappelijke verantwoording van de digitale toetsen Rekenen voor kleuters Marieke op den Kamp en Jos Keuning

2 Wetenschappelijke verantwoording van de digitale toetsen Rekenen voor kleuters Marieke op den Kamp Jos Keuning Cito, Arnhem, oktober

3 Cito B.V. Arnhem (2012) Niets uit dit werk mag zonder voorafgaande schriftelijke toestemming van Cito B.V. worden openbaar gemaakt en/of verveelvoudigd door middel van druk, fotografie, scanning, computersoftware of andere elektronische verveelvoudiging of openbaarmaking, microfilm, geluidskopie, film- of videokopie of op welke wijzen dan ook. 2

4 Inhoud 1 Inleiding 5 2 Uitgangspunten van de toetsconstructie Meetpretentie Doelgroep Gebruiksdoel en functie Theoretische inkadering Inhoudelijk Rekenontwikkeling Kerndoelen, tussendoelen en leerlijnen Het rekenonderwijs/rekenaanbod in de groepen 1 en Inhoud toetsen Rekenen voor kleuters Psychometrisch Opgavenbanken primair onderwijs Het gehanteerde meetmodel Adaptief toetsen Het algoritme: itemselectie 21 3 Beschrijving van de digitale toetsen en de itembank Opbouw, afname van de toetsen en rapportage Inhoudsverantwoording Het ontwikkelproces van de papieren en digitale toetsen Rekenen voor kleuters De inhoud van de toetsen Rekenen voor kleuters Selectie van opgaven voor de Standaardtoetsen Rekenen voor kleuters De Adaptieve toetsen en opgavenbank 34 4 Het normeringsonderzoek Het ontwikkelen van een itembank Het schatten van de vaardigheidsverdeling van de normpopulaties Het normeren van de uiteindelijke toetsen 43 5 Betrouwbaarheid en meetnauwkeurigheid Lineaire standaardtoetsen Adaptieve toetsen Instellen algoritme Resultaten simulatieonderzoek 50 6 Validiteit Inhoudsvaliditeit Begripsvaliditeit Passing van het meetmodel Equivalentie met eerdere toetsen Inter-item-correlaties Longitudinale vaardigheidstoename 57 7 Samenvatting 59 8 Literatuur 61 3

5 Bijagen 1 Profelanalyse met IRT, Norman Verhelst 65 2 Schaalscoretabellen digitale standaardtoetsen Rekenen voor kleuters 85 4

6 1 Inleiding Het toetspakket Rekenen voor kleuters van het Cito Volgsysteem primair onderwijs (voorheen LOVS) bestaat uit: Handleiding (bij de papieren toetsen) Toetsmateriaal van de papieren toetsen (opgavenboekjes groep 1 en 2; voorleesbladen groep 1 en 2) Registratieformulieren Inhoudsverantwoording Handleiding digitaal (bij de digitale toetsen) Digitale toetsen (Standaardtoetsen en Adaptieve toetsen groep 1 en 2) Deze wetenschappelijke verantwoording heeft alleen betrekking op de digitale toetsen Rekenen voor kleuters voor groep 1 en 2, die ook onderdeel uitmaken van het toetspakket Rekenen voor kleuters. Bij het toetspakket kan het Computerprogramma LOVS gebruikt worden om toetsresultaten geautomatiseerd te verwerken en op basis hiervan verschillende rapporten en overzichten te maken. In 2012 wordt hulpmateriaal uitgebracht dat aansluit bij de toetsen Rekenen voor kleuters. Dit hulpmateriaal biedt de mogelijkheid om ook op het niveau van handelingsvaardigheden te analyseren en te ondersteunen. Samen met de inhoud van het toetspakket Rekenen voor kleuters (Koerhuis, 2010) en de later verschenen handleiding bij de digitale toetsen (Op den Kamp & Evers, 2011) levert deze verantwoording alle informatie die nodig is voor een snelle en efficiënte beoordeling van de kwaliteit van de betreffende meetinstrumenten. Het genoemde materiaal maakt een beoordeling van de toetsen Rekenen voor kleuters mogelijk op de volgende aspecten: Uitgangspunten van de toetsconstructie De kwaliteit van het toetsmateriaal De kwaliteit van de handleiding Normen Betrouwbaarheid Validiteit Het laatstgenoemde aspect betreft alleen begripsvaliditeit en geen criteriumvaliditeit. Omdat de toetsen van het Cito Volgsysteem niet bedoeld zijn voor 'voorspellend gebruik' is criteriumvaliditeit niet van toepassing. Het voorliggende document heeft met name betrekking op de uitgangspunten van de constructie (hoofdstuk 2 en 3), de normen (hoofdstuk 4), de betrouwbaarheid en meetnauwkeurigheid (hoofdstuk 5) en de begripsvaliditeit (hoofdstuk 6) van de digitale toetsen Rekenen voor kleuters voor de jaargroepen 1 en 2. De kwaliteit van het toetsmateriaal en de handleiding is te bepalen door kennis te nemen van de inhoud van de toetspakketten. Het toetspakket Rekenen voor kleuters (Koerhuis, 2010) bevat zowel papieren als digitale toetsen. Met beide soorten toetsen (de papieren en de digitale) kan de rekenvaardigheid van een leerling worden geschat. Welke van de twee toetsvarianten gebruikt wordt, maakt voor de schatting van de vaardigheid niet uit. De digitale toetsen (inclusief handleiding) zijn sinds begin 2012 voor de scholen beschikbaar. In 2011 is de wetenschappelijke verantwoording van de papieren toetsen (Koerhuis & Keuning, 2011) opgesteld en samen met het toetspakket Rekenen voor kleuters aan de COTAN voorgelegd. Onderhavige wetenschappelijke verantwoording betreft daarom alleen nog de digitale toetsen. 5

7 6

8 2 Uitgangspunten van de toetsconstructie 2.1 Meetpretentie De toetsen Rekenen voor kleuters uit het Cito Volgsysteem primair onderwijs brengen de algemene rekenvaardigheid van jonge kinderen in beeld. Het rekenonderwijs in de groepen 1 en 2 van het basisonderwijs richt zich op het verwerven van belangrijke vaardigheden op de terreinen van de rekenontwikkeling. Kinderen tot 7 jaar verwerven al veel rekengerelateerde deelvaardigheden, zoals het ordenen van materialen op een bepaald kenmerk of het aanbrengen van allerlei rangordes. Deze deelvaardigheden zijn van belang voor het logisch leren denken. Daarnaast is tellen een belangrijke voorwaarde voor getalbegrip en rekenen. Door het verwerven van deze vaardigheden krijgen kinderen geleidelijk steeds meer besef van de gecijferde wereld. Dit wordt ook wel het proces van ontluikende (bij peuters) en beginnende (bij kleuters) gecijferdheid genoemd. Tijdens dit proces krijgen de kinderen steeds meer besef van de verschillende betekenissen, verschijningsvormen en gebruiksmogelijkheden van getallen. Hierin gaan ze steeds meer samenhang ontdekken. Naast getalbegrip is er binnen het domein rekenen aandacht voor de meer wiskundige aspecten meten en meetkunde. Het meten is volgens Van den Heuvel-Panhuizen & Buys (2004) gericht op het meetbaar maken (kwantificeren) van de fysieke omgeving. Bij kinderen in groep 1 en 2 gaat het hierbij om bijvoorbeeld om het vergelijken van concrete voorwerpen, bijvoorbeeld op grootte, inhoud of gewicht. Op latere leeftijd wordt gebruik gemaakt van meetgetallen, bijvoorbeeld om lengte aan te geven. Bij meetkunde gaat het om het begrijpen van de drie- en tweedimensionale wereld om ons heen en de bijbehorende figuren en vormen. Door SLO (2011) zijn ervarings- en beheersingsdoelen met betrekking tot de rekenontwikkeling van jonge kinderen in de voor- en vroegschoolse situatie ontwikkeld. Deze doelen zijn ingedeeld in drie domeinen: Getalbegrip Meten Meetkunde In de toets Rekenen voor kleuters worden de drie domeinen (Getalbegrip, Meten, Meetkunde) en de onderliggende doelen getoetst. Uitzondering hierbij zijn enkele deelvaardigheden die te omschrijven zijn in termen van handelingen. Deze zijn moeilijk in de gekozen toetsvorm meetbaar te maken. Deze handelingsvaardigheden hangen naar alle waarschijnlijkheid hoog samen met de vaardigheden die in de toetsen zijn geoperationaliseerd. Niettemin is het belangrijk dat de leerkracht de genoemde handelingsvaardigheden aanvullend evalueert door middel van authentieke observaties. Het doel van het het Cito Volgsysteem primair onderwijs is het volgen van een kind in zijn ontwikkeling. Dat kan optimaal met objectieve en gestandaardiseerde toetsen. De toetsen Rekenen voor kleuters leveren snel een goed beeld op van de rekenontwikkeling in deze leeftijdsgroep. Daarnaast kunnen leerkrachten voor individuele kinderen aanvullende informatie verzamelen door gebruik te maken van de categorieënanalyse in het Computerprogramma LOVS. Cito is voornemens om in 2012 hulpmateriaal uit te brengen dat aansluit bij de toetsen Rekenen voor kleuters. Dit hulpmateriaal biedt de mogelijkheid om ook op het niveau van handelingsvaardigheden te analyseren en te ondersteunen. In het onderwijs is rekenen niet alleen een vak op zich, maar speelt rekenen ook een cruciale rol bij het verwerven van kennis en vaardigheden in andere schoolvakken, zoals in het onderdeel kaartlezen in het vak wereldoriëntatie. Voldoende aandacht voor de ontwikkeling van getalbegrip, het herkennen van cijfersymbolen en de verschillende telvaardigheden is noodzakelijk voor een goede start van het rekenonderwijs. Dit is volgens Gelderblom (2008) te vergelijken met de zogenaamde voorschotbenadering in het leesonderwijs. Aan deze aspecten moet volgens hem in het onderwijs veel aandacht besteed worden. Daarom is het belangrijk de rekenontwikkeling van ieder individueel kind al jong te volgen. 7

9 Relatie met andere instrumenten Voor 3-jarige peuters is ook een instrument beschikbaar om de algemene rekenvaardigheid te meten. De items uit dit instrument, Rekenen voor peuters, liggen op dezelfde schaal als de items uit Rekenen voor kleuters. Er is dus sprake van één vaardigheidsschaal die de ontwikkeling van de algemene rekenvaardigheid representeert van peuters (3-jarigen) tot en met kinderen in groep 2. Hierdoor is het mogelijk om de ontwikkeling van de algemene rekenvaardigheid bij kinderen vanaf 3 jaar tot en met het einde van groep 2 te volgen in één doorgaande lijn. 2.2 Doelgroep De toetsen Rekenen voor kleuters zijn bestemd voor en genormeerd bij leerlingen in groep 1 en 2 in het Nederlandse basisonderwijs. Voor beide groepen is er een toets beschikbaar. De populatieparameters van de toetsen zijn zowel op midden leerjaar als op einde leerjaar bepaald. De toetsen kunnen desgewenst ook op andere momenten in het schooljaar worden afgenomen, maar dat maakt het moeilijker om uitspraken te doen over het niveau van de leerling ten opzichte van andere leerlingen in Nederland. Leerkrachten kunnen per afnamemoment kiezen uit een papieren of een digitale variant. Over de papieren variant kunt u meer lezen in de wetenschappelijke verantwoording van de papieren toetsen Rekenen voor kleuters (Koerhuis & Keuning, 2011). In het onderhavige document gaan we in op de digitale toetsen (de standaardtoetsen en de adaptieve toetsen). Beperkingen De toetsen Rekenen voor kleuters kunnen in principe afgenomen worden bij alle leerlingen in groep 1 en 2. Hierbij gelden de volgende uitzonderingen. Het is verstandig nog een afnamemoment te wachten wanneer de leerlingen: nog geen drie maanden op de basisschool zitten of ten tijde van de eerste afname nog twee jaar in de kleutergroep blijven. Daarnaast heeft het geen zin om de toetsen voor te leggen aan leerlingen die de Nederlandse taal helemaal niet begrijpen. Een leerling dient minstens voor een langere periode onderwijs in Nederland gevolgd te hebben, alvorens de leerkracht hem of haar een rekentoets laat maken. Voor de digitale variant van de toetsen geldt nog een extra beperking. We adviseren leerkrachten vóórdat ze een digitale toets voorleggen aan leerlingen éérst te bepalen of de leerlingen voldoende muisvaardig zijn. Hiervoor kunnen leerkrachten de muismodule gebruiken. Voor meer informatie over de muismodule en de handelwijze bij onvoldoende muisvaardigheid verwijzen we naar paragraaf 2.2 en meer specifiek paragraaf van de Handleiding digitale toetsen Rekenen voor kleuters (Op den Kamp & Evers, 2011). Andere doelgroepen De toetsen Rekenen voor kleuters zijn niet alleen bedoeld voor het reguliere basisonderwijs, maar ook voor leerlingen op speciale scholen voor basisonderwijs (bijvoorbeeld IOBK) en voor speciale leerlingen in het reguliere onderwijs. Voor deze leerlingen zijn geen aparte normen opgesteld. Ze worden vergeleken met een normgroep van reguliere leerlingen. De aanwijzingen in de handleiding bij de toetsen gelden dus wat de principes betreft ook voor gebruik bij speciale leerlingen. Er zijn echter enkele onderdelen waarvoor extra aanwijzingen gelden: de keuze van de af te nemen toets en het gebruik van de alternatieve leerlingrapporten. Voor meer informatie daarover verwijzen we naar de handleiding bij de papieren toetsen Rekenen voor kleuters (Koerhuis, 2010). 2.3 Gebruiksdoel en functie Rekenen voor kleuters heeft twee doelen: niveaubepaling en progressiebepaling. Daarnaast wordt als extra service voor de leerkrachten de mogelijkheid geboden de door de leerling gemaakte fouten te analyseren (m.b.v. de categorieënanalyse) met het oog op het aanbieden van gerichte remediëring. Het maken van 8

10 analyses met de categorieënanalyse kent geen wetenschappelijke onderbouwing, maar biedt een toegevoegde functie voor leerkrachten om opvallende patronen te signaleren. Naast de onderwerpen niveaubepaling, progressiebepaling en signalering via categorieënanalyse, gaan we aan het eind van deze paragraaf nog in op de onderwerpen vervolgtraject en leerlingenzorg. Niveaubepaling De toetsafnamen in het kader van Rekenen voor kleuters geven de leerkracht informatie over het niveau van de rekenvaardigheid van de leerlingen, individueel of als groep. Iedere behaalde vaardigheidsscore kan daartoe normgericht geïnterpreteerd worden op basis van de vaardigheidsverdeling in een adequate referentiegroep (zie paragraaf 4.2 voor de beschrijving van de referentiegroep). In de toetsmaterialen zijn twee niveau-indelingen opgenomen, waarmee de leerkracht de scores van een leerling kan vergelijken met die van een grote groep leerlingen. De leerkracht kan een keuze maken uit: de indeling in de niveaus A tot en met E; de indeling in de niveaus I tot en met V. Bij de indeling in de niveaus A tot en met E is de verdeling over de groepen als volgt: Niveau % Interpretatie A 25 De 25% hoogst scorende leerlingen B 25 De 25% leerlingen die net boven tot ruim boven het landelijk gemiddelde scoren C 25 De 25% leerlingen die net onder tot ruim onder het landelijk gemiddelde scoren D 15 De 15% leerlingen die ruim onder het landelijk gemiddelde scoren E 10 De 10% laagst scorende leerlingen Bij de indeling in A tot en met E wordt op de overzichten de hoogst scorende groep (niveau A) nog onderverdeeld in twee groepen: een groep die hoog scoort (15% van de leerlingen) en een groep die het allerhoogst scoort (10% van de leerlingen). Deze groepen worden van elkaar gescheiden door een stippellijn. Bij de indeling in de niveaus I tot en met V wordt uitgegaan van vijf groepen van 20%: Niveau % Interpretatie I 20 Ver boven het gemiddelde II 20 Boven het gemiddelde III 20 De gemiddelde groep leerlingen IV 20 Onder het gemiddelde V 20 Ver onder het gemiddelde Bij de indeling in I tot en met V worden op de overzichten de laagste groep en de hoogst scorende groep nog onderverdeeld in twee groepen die ieder 10% leerlingen bevatten. Deze groepen worden van elkaar gescheiden door een stippellijn. In de eerste generatie van de toetsen van het Cito Volgsysteem (LOVS) werd alleen de indeling A tot en met E gebruikt. In de praktijk bleek deze enkele nadelen te hebben. Zo is de indeling niet symmetrisch. Bovendien zien sommige leerkrachten C als de gemiddelde groep. In de indeling A tot en met E bestaat echter geen gemiddelde groep, alleen groepen boven (A, B) of onder (C, D, E) het gemiddelde. Daarom is bij de tweede generatie van het LOVS (nu Cito Volgsysteem primair onderwijs) een indeling toegevoegd met de niveaus I tot en met V. De indeling in de niveaus I tot en met V is symmetrisch 9

11 opgebouwd en heeft als voordeel dat er een gemiddelde 1 groep is. Deze indeling sluit aan bij de niveauindeling van andere Cito-toetsinstrumenten zoals de Entreetoetsen. Progressiebepaling De toetsen Rekenen voor kleuters geven de leerkracht informatie over de ontwikkeling van de rekenvaardigheid van de leerlingen, individueel of als groep, gedurende de groepen 1 en 2. Ze geven antwoord op vragen als: is er sprake van vooruitgang, achteruitgang of van stabilisering? Is de vooruitgang gelet op de gemiddelde vooruitgang in de populatie volgens verwachting? Het gehanteerde meetmodel (zie paragraaf 2.4.2) maakt het mogelijk om de scores van een leerling op verschillende toetsen, op verschillende momenten afgenomen, onderling te vergelijken. De ruwe scores op de toetsen het aantal opgaven goed zijn daartoe te transformeren in scores op één vaardigheidsschaal (het algemeen niveau van rekenvaardigheid ). Deze unidimensionele vaardigheidsschaal die aan de toetsen Rekenen voor kleuters ten grondslag ligt, is ontwikkeld met behulp van het One Parameter Logistic Model (Verhelst, 1993; Verhelst & Glas, 1995; Verhelst, Glas & Verstralen, 1995). 'Signalering' via categorieënanalyse Met behulp van de toetsen kunnen we het algemene niveau van rekenvaardigheid van leerlingen vaststellen. Daarnaast is het mogelijk om met behulp van het Computerprogramma LOVS een categorieënanalyse uit te voeren. Daarmee kan nagegaan worden of leerlingen op een bepaald onderdeel meer (of minder) fouten maken dan op grond van hun algemene vaardigheidsniveau verwacht mag worden. Bij de rapportage van het verschil (tussen waargenomen score en verwachte score) wordt aangegeven of dat een klein verschil is dat aan toeval kan worden toegeschreven of dat het een betekenisvol verschil is. In dat laatste geval kan de leerkracht gericht kijken hoe hij zijn aanbod nog beter kan laten aansluiten op de vaardigheid van de leerling. Individuele leerlingen die op één of meerdere categorieën opvallend laag scoren zullen wellicht baat hebben bij extra instructie en gerichte oefeningen (zie ook paragraaf 3.1). De hier beschreven categorieënanalyse is in feite een statistische procedure waarmee we kijken of we een bepaald patroon kunnen vinden in de resultaten van de leerling. Het gaat daarbij om de vraag hoe waarschijnlijk dat patroon is. Gegeven de totaalscore van de leerling signaleren we onwaarschijnlijke patronen. Een onwaarschijnlijk patroon zou bij de toets voor groep 2 bijvoorbeeld kunnen zijn dat de leerling op twee van de drie categorieën een hoge score haalt en op een categorie een lage score (of andersom). Vervolgtraject Naar aanleiding van de resultaten van de categorieënanalyse kan de leerkracht besluiten om de vaardigheid verder te analyseren. Omdat het aantal opgaven per categorie van de toetsen Rekenen voor kleuters beperkt is, kan niet worden uitgesloten dat de leerling bij toeval juist de opgaven uit deze categorie fout heeft beantwoord. Om meer zekerheid te verkrijgen over de beheersing van de categorie door deze leerling, kan de leerkracht gebruikmaken van het nog te verschijnen hulpmateriaal. Hierin wordt een analyse mogelijkheid per categorie opgenomen. Als de leerling hierop ook zwak scoort, lijkt zijn of haar beheersing van de nader onderzochte categorie(ën) inderdaad te wensen over te laten. De leerkracht kan deze leerling vervolgens aanvullende instructie en/of oefenmateriaal aanbieden, bijvoorbeeld aan de hand van hetzelfde nog te verschijnen hulpmateriaal waarin ook per categorie suggesties en praktische aanwijzingen staan om direct hulp te bieden aan de leerling. Leerlingenzorg De toetsen Rekenen voor kleuters maken deel uit van een systeem van leerlingenzorg. Dat systeem bestaat uit onderwijs en leerlingmaterialen die ingezet kunnen worden bij het cyclische proces van onderwijs op maat: signaleren, analyseren, handelen en terugkoppeling door middel van evaluatie. In paragraaf 4.3 van de handleiding bij de toetsen (Koerhuis, 2010) is een korte beschrijving opgenomen van de verschillende fasen. 1 Gemiddeld moet hier niet opgevat worden in statische zin. De werkelijke gemiddelde ruwe score kan in werkelijkheid behaald worden door leerlingen die niet in groep III zitten. 10

12 Figuur 2.1 Cito-materialen ten behoeve van de toetsing en leerlingenzorg 1 Signaleren Toetsen Rekenen voor kleuters voor groep 1 en 2 Leerlingrapporten en groepsrapport Inhoudsverantwoording 2 Analyseren Categorieënanalyse m.b.v. het Computer programma LOVS Resultaten op LOVS-toetsen van andere leergebieden voor groep 1 en 2 (M1, E1, M2 en E2) 3 Handelen 2.4 Theoretische inkadering Inhoudelijk De basis voor de inhoud van de toetsen Rekenen voor kleuters van het Cito Volgsysteem primair onderwijs wordt gevormd door: theorieën over de rekenontwikkeling bij jonge kinderen; het rekenonderwijs/rekenaanbod in de groepen 1 en 2 van het basisonderwijs; kerndoelen basisonderwijs van het Ministerie van Onderwijs, Cultuur en Wetenschap (2006); TAL-publicaties (Tussendoelen Annex Leerlijnen) ontwikkeld door het Freudenthal instituut en de Stichting leerplanontwikkeling (SLO) in samenwerking met het Centrum Educatieve Dienstverlening Rotterdam (CED) (1999; 2004); Tussendoelen en leerlijnen (TULE), ontwikkeld door SLO (2009); de vernieuwde doelen 2 met betrekking tot Ontwikkeling van jonge kinderen 2-7 jaar: Rekenontwikkeling (SLO, 2011). In deze paragraaf gaan we eerst in op de rekenontwikkeling van jonge kinderen (zie paragraaf ). Het is een taak van het onderwijs om de rekenontwikkeling van kinderen te stimuleren. Daarom gaan we vervolgens in paragraaf nader in op de doelen. De doelen geven immers op hoofdlijnen weer wat de inhoud van het onderwijs moet zijn en dus wat scholen na zouden moeten streven. We geven aan welke doelen met de toetsen Rekenen voor kleuters kunnen worden geëvalueerd. In paragraaf stippen we kort aan hoe het rekenonderwijs in de groepen 1 en 2 van de basisschool eruit ziet. Tot slot geven we in paragraaf op conceptueel niveau aan wat de inhoud van de toetsen Rekenen voor kleuters is. In paragraaf wordt uitgewerkt hoe dit er op operationeel niveau uitziet. 2 In de handleiding en inhoudsverantwoording Rekenen voor kleuters worden vernieuwde doelen en tussendoelen, ontwikkeld door SLO vermeld. In de betreffende definitieve uitgave van deze doelen (2011) wordt gesproken over beheersingsdoelen. 11

13 Rekenontwikkeling In de voorschoolse periode ontwikkelt de reken-wiskundige kennis van kinderen zich op een persoonlijke wijze die sterk is verbonden met de eigen leefomgeving (Treffers, Van den Heuvel-Panhuizen & Buys, 1999). Kinderen proberen grip te krijgen op hun eigen omgeving. Door te ordenen, vergelijken en meten wordt de wereld voor het kind overzichtelijker. Jonge kinderen doen dit van nature en hebben plezier in ontdekken, imiteren en probleemoplossen (Singer, 2009). Kinderen tot ongeveer 7 jaar verwerven al veel rekengerelateerde deelvaardigheden. Bijvoorbeeld de vier traditionele rekenvoorwaarden conserveren, correspondentie, classificatie en seriatie, gebaseerd op de voorwaarden vormgegeven door Piaget in de jaren 60. Conserveren is het doorzien dat dingen hetzelfde blijven, ook al verandert de verschijningsvorm. Bijvoorbeeld acht blokjes blijven acht blokjes ook al leg je ze verder uit elkaar of dichter bij elkaar. Een peuter zal zeggen dat er meer of minder blokjes liggen, terwijl er evenveel liggen. Correspondentie, ofwel paarsgewijze overeenstemming, is de vaardigheid om één-op-één relaties te leggen, bijvoorbeeld bij elk bord één mes en één servetje. Classificatie is het kunnen omgaan met de logische aspecten van de ordening in (deel)verzamelingen (zoals kleur, aantal, grootte) en het kunnen afzien van andere concrete eigenschappen van de voorwerpen die geordend worden. Bijvoorbeeld het aanleggen van een blauwe verzameling: grote blauwe blokken, kleine blauwe kralen, zachte blauwe watten enzovoort. Het gaat dan alleen om de eigenschap blauw. Hierbinnen kan weer een deelverzameling worden aangelegd: grote blauwe dingen en kleine (kleiner dan je hand) blauwe dingen. Seriëren is het aanbrengen van allerlei rangordes, bijvoorbeeld van klein naar groot of van zwaar naar licht. Deze vier traditionele voorwaarden zijn van belang voor het logisch leren denken. Daarnaast is tellen een belangrijke voorwaarde voor getalbegrip en rekenen. De ontwikkeling van het tellen verloopt in stappen: Het willekeurig opzeggen van de telrij. Asynchroon tellen: het aanwijzen en akoestisch tellen. Hierbij worden nog voorwerpen overgeslagen, dubbel geteld of het aanwijstempo en teltempo verschilt. Synchroon tellen: tellen volgens de gekozen volgorde. Het kind telt elk voorwerp als 1 erbij en slaat niets meer over. Resultatief tellen: het kind kan na het tellen zeggen hoeveel het geteld heeft. Kinderen die dat nog niet kunnen, beginnen opnieuw te tellen als je vraagt: hoeveel knikkers liggen daar? Abstractieprincipe: het kind kan iedere volgorde tellen, het kan ook verkort tellen en ziet deel-geheel relaties. Hierbij leert het kind de vijfstructuur kennen, het grootste aantal dat het kind aanvankelijk in één keer kan overzien. Ordinaalprincipe: het kind kan de volgorde aangeven (dat is de vierde stoel). Door het verwerven van de rekengerelateerde deelvaardigheden krijgen kinderen geleidelijk steeds meer besef van de gecijferde wereld. Dit wordt ook wel het proces van ontluikende (bij peuters) en beginnende (bij kleuters) gecijferdheid genoemd. Tijdens dit proces krijgen de kinderen steeds meer besef van de verschillende betekenissen, verschijningsvormen en gebruiksmogelijkheden van getallen. Hierin gaan ze steeds meer samenhang ontdekken (4 kan 4 jaar zijn of 4 knikkers, maar ook bus 4 en één, twee, drie, vier, hoedje van papier). Naast getalbegrip is er de laatste tijd meer aandacht voor de wiskundige aspecten meten en meetkunde. Bij getalbegrip gaat het om de telrij, hoeveelheden en getallen. Het meten is gericht op het meetbaar maken (kwantificeren) van de fysieke omgeving. Peuters en kleuters vergelijken eerst concrete voorwerpen (Welke is het grootst?). Later wordt gebruik gemaakt van meetgetallen, bijvoorbeeld om een gewicht (1 kilo) aan te geven. Bij meetkunde gaat het volgens Van den Heuvel-Panhuizen & Buys (2004) om het begrijpen van de drie- en tweedimensionale ruimte om ons heen en de bijbehorende figuren en vormen. De oriëntatie in de ruimte ontwikkelt zich vanuit het eigen lichaam. Het lichaam is het referentiepunt van waaruit relaties worden gelegd (Ik sta voor de kast). Langzamerhand neemt het kind meer afstand van zichzelf en leert dat 12

14 er ook andere referentiepunten bestaan (De kast staat naast de tafel). Kinderen maken zich voorstellingen van eigenschappen van vormen en construeren met vormen in de ruimte (bouwen met zand of blokken). Rekenvaardigheid ontwikkelt zich bij kinderen in een verschillend tempo. Dit komt omdat er verschillen zijn in cognitieve vaardigheden (intelligentie) en bijvoorbeeld niet elk kind even geïnteresseerd is in getallen. Ook verschilt de leefomgeving van het ene kind van die van het andere (Treffers et al, 1999). Daarnaast zijn er ook andere factoren in de ontwikkeling van het leren bij kinderen die getalbegrip en de ontwikkeling van tellen beïnvloeden. Zo hebben kinderen die moeite hebben met onthouden ook vaak meer moeite met het leren van de telrij (Van Luit, 2009). Om de ontwikkeling van de rekenvaardigheid zo goed mogelijk te kunnen stimuleren, kunnen leerkrachten de beschrijving van de doelen die door SLO zijn opgesteld gebruiken Kerndoelen, tussendoelen en leerlijnen De kerndoelen (2006) geven op hoofdlijnen weer wat de inhoud van het onderwijs moet zijn en dus wat scholen na zouden moeten streven aan het eind van het basisonderwijs. De kerndoelen voor het leergebied rekenen/wiskunde zijn in te delen in drie domeinen: Wiskundig inzicht en handelen, Getallen en bewerkingen, Meten en Meetkunde. Om scholen te helpen bij het vertalen van de kerndoelen naar het onderwijs zijn leerlijnen en tussendoelen ontwikkeld. Een leerlijn geeft voor een leergebied aan hoe een leerling van een beginniveau tot het kerndoel komt. Tussendoelen zijn momenten in de leerlijn. Het TALteam (1999; 2004) heeft tussendoelen en leerlijnen geformuleerd voor de onderbouw van het basisonderwijs, ingedeeld in de domeinen Getalbegrip, Meten en Meetkunde. Hierin staat beschreven hoe (op welk wijze) en wanneer (op welke momenten en in welke achtereenvolgende stappen) rekendoelen (kennis, strategieën en houdingen) bij kleuters bereikt kunnen worden (Greven & Letschert, 2006). In 2010 zijn op verzoek van het ministerie van OCW door SLO nieuwe (beheersings)doelen ontwikkeld met betrekking tot de rekenontwikkeling van jonge kinderen van twee tot zeven jaar in de voor- en vroegschoolse situatie (definitieve uitgave 2011). In de doelen is aangegeven wat kinderen eind groep 2 bereikt moeten hebben, dan wel waarin zij ervaring moeten hebben opgedaan, om uiteindelijk met vertrouwen te kunnen starten in groep 3. SLO (2011) geeft ook aan met welke doelen kinderen voor aanvang van groep 1 ervaring opgedaan moeten hebben. De functie van deze doelen, geformuleerd door SLO, is om de doorgaande lijn bij voorschoolse instellingen en scholen te versterken en op die manier een bijdrage te leveren aan het verlagen van onderwijsdrempels. De doelen van SLO zijn ingedeeld in de domeinen getalbegrip, meten en meetkunde, zie tabel 2.1. Tabel 2.1 Domeinen en doelen Rekenen voor kleuters Domein Getalbegrip Meten Onderdeel/doel Omgaan met de telrij Omgaan met hoeveelheden Omgaan met getallen Lengte & omtrek Inhoud Gewicht Tijd Meetkunde Oriënteren en lokaliseren Construeren Opereren met vormen en figuren 13

15 In de onderwijspraktijk zullen deze drie domeinen, zeker bij jonge kinderen, in samenhang aan bod komen in contextrijke en betekenisvolle activiteiten. Jonge kinderen ontwikkelen zo op een natuurlijke manier hun inzichten op dit gebied. Om te kunnen bepalen of, en in hoeverre, een kind de doelen heeft bereikt, is het van belang om het onderwijsleerproces regelmatig te evalueren. Dagelijkse observaties en de resultaten op gestandaardiseerde toetsen, zoals de toetsen Rekenen voor kleuters, laten zien wat een kind zich tot nu toe eigen heeft gemaakt en geven samen een goed beeld van de ontwikkeling van het kind. Dit geeft de leerkracht handreikingen voor het vervolg, met andere woorden een antwoord op de vraag: Hoe kan ik mijn onderwijs zo goed mogelijk laten aansluiten op het ontwikkelingsniveau van het kind? Wat kan ik het kind nu, in deze fase, het best aanbieden? Dekking van de doelen, kerndoelen Voor wat betreft de ontwikkeling van de rekenvaardigheid van kleuters dekken de toetsen Rekenen voor kleuters per domein de eerder aangeduide kerndoelen en de doelen geformuleerd door SLO (2011). Een voorbeeld van een doel dat geoperationaliseerd is in Rekenen voor kleuters is het omgaan met hoeveelheden, met passief gebruik van begrippen (meer, minder, evenveel, erbij, eraf, samen). Een aantal aspecten van de doelen kunnen niet via de toetsen Rekenen voor kleuters getoetst worden, maar wel via bijvoorbeeld observaties, bijvoorbeeld verdeelsituaties handelend oplossen (zoals een aantal knikkers verdelen tussen twee kinderen) Het rekenonderwijs/rekenaanbod in de groepen 1 en 2 In het onderwijs aan de groepen 1 en 2 van de basisschool wordt regelmatig aandacht besteed aan rekengerelateerde vaardigheden en beginnende gecijferdheid. Veelgebruikte VVE-programma s (bijvoorbeeld Piramide en KO-totaal) en (reken)methoden voor de groepen 1 en 2 (bijvoorbeeld Schatkist en Kleuterplein) hebben de rekendoelen (SLO, 2011) in hun aanbod verwerkt. Deze VVE-programma s en (reken)methoden verwijzen in hun publicaties en/of op hun website naar deze doelen en geven daarbij aan dat hun programma/methode deze doelen dekt. Scholen en leerkrachten krijgen de garantie dat alle tussendoelen aan bod komen als men met het betreffende programma of de betreffende methode werkt. De toetsen Rekenen voor kleuters zijn methode-onafhankelijk en zijn daarom goed te gebruiken voor een objectieve meting van de rekenvaardigheid Inhoud toetsen Rekenen voor kleuters In de toetsen Rekenen voor kleuters zijn aspecten van de rekenontwikkeling ingedeeld in drie domeinen: Getalbegrip Meten Meetkunde Het accent ligt iets meer op getalbegrip, omdat dit in de voorbereiding op groep 3 een belangrijke rol speelt. Deze domeinen zijn, zoals eerder beschreven, geoperationaliseerd vanuit de doelen opgesteld door SLO (2011) in opdracht van het ministerie van OCW. De functie van deze doelen is om het inhoudelijk repertoire van pedagogisch medewerkers, leidsters en leerkrachten te vergroten c.q. te versterken, zodat zij inhoudelijk verantwoorde keuzes kunnen maken en uitvoeren om een kwalitatief hoog aanbod aan jonge kinderen te bieden, zowel aan kinderen met een achterstand, kinderen met een min of meer gemiddeld niveau, als aan kinderen met een ontwikkelingsvoorsprong. Het onderwijsaanbod in de groepen 1 en 2 is gebaseerd op dezelfde achterliggende doelen. De toetsen sluiten hier goed op aan: middels de vaardigheidsscores op de toetsen is het mogelijk om zowel kinderen met een achterstand als met een voorsprong te definiëren. In deze paragraaf hebben we de inhoud van Rekenen voor kleuters op conceptueel niveau beschreven. In paragraaf wordt de inhoud van de toetsen op operationeel niveau verder uitgewerkt. 14

16 2.4.2 Psychometrisch Opgavenbanken primair onderwijs Voor het samenstellen van toetsen voor het primair onderwijs beschikt Cito over opgavenbanken. Die liggen ten grondslag aan onder meer de toetsen van het Cito Volgsysteem primair onderwijs: toetsen van het Leerlingvolgsysteem, de Entreetoetsen, Eindtoets basisonderwijs. Voor de constructie van de toetsen Rekenen voor kleuters hebben we gebruikgemaakt van de opgavenbank Rekenen voor peuters en kleuters. Ook voor andere vakgebieden in het Cito Volgsysteem als bijvoorbeeld Taal voor peuters en kleuters zijn opgavenbanken in gebruik. Een opgavenbank is nadrukkelijk niet zomaar een verzameling opgaven of items waaruit een toetsconstructeur min of meer naar willekeur een aantal items selecteert om een nieuwe toets te construeren. We geven hier kort aan wat de vereisten zijn om van een deugdelijke en psychometrisch goed gefundeerde opgavenbank te kunnen spreken. Unidimensionaal continuüm Het algemene uitgangspunt is dat de vaardigheid rekenen kan worden opgevat als een unidimensionaal continuüm (de reële lijn), en dat elke leerling voorgesteld kan worden als een punt op die lijn, met andere woorden: als een getal. Het getal drukt de mate van rekenvaardigheid uit, waarbij een groter getal wijst op een grotere rekenvaardigheid. Het doel van de meetprocedure het afnemen van een toets is de plaats van de leerling op dit continuüm zo nauwkeurig mogelijk te bepalen. De uitkomst van de meetprocedure bestaat strikt genomen uit twee grootheden. De eerste is de schatting van de plaats van de leerling op het vaardigheidscontinuüm. De tweede grootheid geeft aan hoe nauwkeurig die schatting is, en heeft dus de status van een standaardfout, te vergelijken met de standaardmeetfout uit de klassieke testtheorie. Latente vaardigheid De antwoorden die een leerling op de opgaven geeft, worden beschouwd als indicatoren van de vaardigheid, hetgeen ruwweg betekent dat men verwacht dat alle items in de bank rekenvaardigheid meten. De vaardigheid zelf wordt als niet-observeerbaar beschouwd, en daarom gewoonlijk omschreven als een latente vaardigheid. Moeilijkheid in de Item Respons Theorie Hoewel items dezelfde vaardigheid meten, kunnen ze toch systematisch van elkaar verschillen. Het belangrijkste verschil tussen de items is hun moeilijkheidsgraad. In de klassieke testtheorie wordt moeilijkheidsgraad uitgedrukt met een zogenaamde p-waarde, de proportie correcte antwoorden op het item in een welbepaalde populatie van leerlingen. In de Item Respons Theorie (IRT) die voor het construeren van de opgavenbanken werd gebruikt, hanteert men echter een andere definitie van moeilijkheid: ruwweg gesproken is het de mate van vaardigheid die nodig is om het item goed te kunnen beantwoorden. Dit verschil in definitie van de moeilijkheidsgraad tussen klassieke theorie en IRT is uitermate belangrijk: men kan verwachten dat de p-waarde van een item in groep 2 groter zal zijn dan in groep 1, waardoor duidelijk wordt dat de p-waarde een relatief begrip is: ze geeft de moeilijkheid aan van een item in een bepaalde populatie. Binnen de IRT is de moeilijkheid van een item gedefinieerd in termen van de onderliggende vaardigheid, zonder enige referentie naar een bepaalde populatie van leerlingen. Zo kan men ook de uitspraak begrijpen dat in de IRT vaardigheid en moeilijkheid op eenzelfde schaal liggen. Kansmodel De ruwe omschrijving van het begrip moeilijkheidsgraad die in de vorige alinea werd gehanteerd (de mate van vaardigheid die nodig is om het item goed te kunnen beantwoorden) behoeft enige verdere uitwerking. Men zou deze omschrijving kunnen opvatten als een drempel: heeft een leerling die mate van vaardigheid niet, dan kan hij het item niet juist beantwoorden; heeft hij die drempel wel gehaald, dan geeft hij (gegarandeerd) het juiste antwoord. Deze interpretatie weerspiegelt een deterministische kijk op het antwoordgedrag van de leerling die echter in de praktijk geen stand houdt, omdat eruit volgt dat een leerling die een moeilijk item correct beantwoordt geen fout kan maken op een gemakkelijk item. Daarom wordt in de IRT een kansmodel gebruikt: hoe groter de vaardigheid, des te groter de kans dat een item juist wordt 15

17 beantwoord. De moeilijkheidsgraad van een item wordt dan gedefinieerd als de mate van vaardigheid die nodig is om met een kans van precies een half een juist antwoord te kunnen produceren. Kalibratie In het voorgaande zijn nogal wat veronderstellingen ingevoerd (unidimensionaliteit; alle items zijn indicatoren voor dezelfde vaardigheid; kansmodel) die niet zonder meer voor waar kunnen worden aangenomen; we zullen methoden moeten bedenken om aan te tonen dat al die veronderstellingen deugdelijk zijn. Dit aantonen gebeurt met statistische gereedschappen waarop we in het vervolg dieper zullen ingaan. Maar voor we de items in een toets kunnen gebruiken, moeten we ook proberen de waarden van de moeilijkheidsgraden te achterhalen. Dit gebeurt met een statistische schattingsmethode die wordt toegepast op de itemantwoorden die bij een steekproef van leerlingen zijn verzameld. Het hele proces van moeilijkheidsgraden schatten en verifiëren of de modelveronderstellingen houdbaar zijn, wordt kalibratie of ijking genoemd; de steekproef van leerlingen die hiervoor wordt gebruikt noemen we kalibratiesteekproef. Afnamedesigns Een opgavenbank bevat meer items dan een doorsnee toets. Meestal is het praktisch niet doenbaar om alle items aan alle leerlingen voor te leggen. Elke leerling in de kalibratiesteekproef krijgt daarom slechts een (klein) gedeelte van de items uit de opgavenbank voorgelegd. Dit gedeeltelijk voorleggen moet met de nodige omzichtigheid gebeuren. In hoofdstuk 4 wordt ingegaan op het afnamedesign dat voor de kalibratie van de rekenopgaven is gebruikt. Belangrijke implicaties gekalibreerde opgavenverzameling Als we erin slagen de kalibratie met succes uit te voeren, houden we een zogenaamde gekalibreerde itembank over. In dat proces worden de items die niet passen bij de verzameling uit de collectie verwijderd. De opgavenbank bevat voor elk item niet alleen zijn feitelijke inhoud, maar ook zijn psychometrische eigenschappen, en de statistische zekerheid dat alle items dezelfde vaardigheid aanspreken. Dit houdt onder meer het volgende in: 1 In principe kunnen we met een willekeurige selectie items uit de bank de vaardigheid meten bij een willekeurige leerling. In principe, want een willekeurige toets die uit de itembank wordt getrokken zal in de praktijk meestal niet voldoen omdat het meetresultaat (de schatting van de vaardigheid) onvoldoende nauwkeurig zal zijn. Willen we een nauwkeuriger meting (bij een gegeven aantal items in de toets) dan zullen we de moeilijkheidsgraden van de items in overeenstemming moeten brengen met het vaardigheidsniveau van de leerlingen. 2 We kunnen een schatting maken van de verdeling van de vaardigheid in een welomschreven populatie, door selecties van items voor te leggen aan aselecte steekproeven van leerlingen uit populaties die van belang zijn voor de normering. In het geval van Rekenen voor kleuters zijn dat steekproeven van leerlingen op de verschillende normeringsmomenten vanaf medio groep 1 tot eind groep 2. Daarbij maakt het, behoudens wat bij 1 is vermeld over nauwkeurigheid, niet uit welke selectie van items aan een leerling binnen een normeringsgroep wordt afgenomen. Een van de eigenschappen van gekalibreerde itembanken is immers dat met elke selectie items de vaardigheid van leerlingen kan worden bepaald. In de praktijk komt dit meestal neer op het schatten van gemiddelde en standaardafwijking in de veronderstelling dat de vaardigheid normaal verdeeld is. Met deze schattingen kunnen dan ook schattingen gemaakt worden van de percentielen in de populatie. In het kalibratie- en normeringsonderzoek van de toetsen Rekenen voor kleuters hebben we ook de toets Rekenen voor peuters meegenomen. Dit houdt in dat we een set met items die voor 3-jarige peuters bedoeld zijn, niet alleen hebben afgenomen bij 3-jarige peuters, maar deels ook bij leerlingen uit groep 1. Tevens hebben we een deel van de items die bedoeld zijn voor groep 1 ook bij 3-jarige peuters afgenomen. Bij de analyse van de resultaten bleek dat we de peuteritems op dezelfde schaal konden plaatsen als de kleuteritems. De itembank bevat dus zowel peuter- als kleuteritems. 3 Aan leerlingen die niet tot de betreffende referentiepopulatie behoren, kan dezelfde toets worden voorgelegd. De toetsscore wordt omgezet in een schatting van de vaardigheid en deze schatting kan geplaatst worden in de vaardigheidsverdeling van de populatie. Een leerling met achterstand in groep 2 kan een toets maken die normaliter aan groep 1 wordt voorgelegd, en zijn vaardigheidsschatting kan behalve met de referentiepopulatie van groep 2 ook in de vorm van percentielen vergeleken 16

18 worden met het vaardigheidsniveau in de referentiepopulatie van groep 1, met bijvoorbeeld de uitspraak: De vaardigheid van deze leerling komt overeen met de mediane vaardigheid in groep 1. 4 De vergelijking die bij punt 3 gemaakt is, kan evengoed plaatsvinden als de (achterstands)leerling een andere toets (i.e. een selectie uit de opgavenbank) maakt dan de toets die normaliter aan groep 1 wordt voorgelegd, bijvoorbeeld de papieren toets Rekenen voor peuters. Immers, het kalibratieonderzoek heeft ons ervan overtuigd dat alle items dezelfde vaardigheid meten. Met een nieuwe toets meten we dus dezelfde vaardigheid, zodat schattingen die van verschillende toetsen afkomstig zijn zinvol met elkaar kunnen worden vergeleken Het gehanteerde meetmodel In het normeringsonderzoek is gebruikgemaakt van een op de itemresponstheorie (IRT) gebaseerd meetmodel zoals dat bij Cito gebruikelijk is. Dergelijke modellen verschillen in een aantal opzichten nogal sterk van de klassieke testtheorie (Verhelst, 1993; Verhelst & Kleintjes, 1993; Verhelst en Glas, 1995). Bij de klassieke testtheorie staan de toets en de toetsscore centraal. Het theoretisch belangrijkste begrip in deze theorie is de zogenaamde ware score, de gemiddelde score die de persoon zou behalen indien de test een oneindig aantal keren onder dezelfde condities zou worden afgenomen. Deze klassieke testtheorie zou in dit onderzoek niet gemakkelijk gebruikt kunnen worden, aangezien het normeringsonderzoek van de rekentoetsen een onvolledig design betrof: niet alle leerlingen hadden alle opgaven gemaakt. Het gebruik van het IRT-model heeft enkele belangrijke voordelen. Op de eerste plaats kunnen de populatieschattingen onafhankelijk van de schattingen van de itemparameters plaatsvinden. Dat heeft voordelen bij het wegen van de verschillende groepen om te zorgen dat de steekproef geheel overeenkomstig de populatieverdeling is (zie ook par. 4.1). Als in de IRT een schaal gevonden is, dat wil zeggen dat er een set opgaven gevonden is waarbij een model past, dan kan de populatie op deze schaal afgebeeld worden. Met de gecombineerde informatie over de populatieverdelingen en de itemparameters kunnen de item- en toetskarakteristieken voor de populatie precies bepaald worden. Voor een overzicht van meer voordelen van IRT boven klassieke testtheorie wordt verwezen naar Hambleton, Swaminathan en Rogers (1991). Eén van de voordelen van IRT benoemen we hier expliciet, omdat dit voordeel van belang is bij het samenstellen van en het onderzoek naar de digitale toetsen. Met behulp van IRT kan een schaal door verder onderzoek aangevuld worden met meer opgaven. Als we toetsen samenstellen door zowel opgaven op te nemen die al op de schaal passen als nieuwe opgaven, dan kunnen de nieuwe opgaven als het model past ook op de schaal opgenomen worden. Zolang de nieuwe opgaven dezelfde vaardigheid meten, kunnen deze nieuwe opgaven ongeacht een andere afnamevorm op dezelfde schaal geplaatst worden. In ons geval betekent dit dat de digitale opgaven op dezelfde schaal geplaatst kunnen worden als de opgaven op papier. Er wordt in deze handleiding dan ook aangetoond dat de digitale en de papieren opgaven dezelfde vaardigheid meten. Op deze manier kan een itembank uitgebreid worden. Eenzelfde verhaal geldt voor populaties waarvan de vaardigheidsverdeling nog niet bekend is. Nemen we bij dit soort populaties opgaven af die op de schaal passen, dan is het mogelijk de populatieverdelingen van deze populaties ook op de schaal te plaatsen. Op deze wijze kan de schaal ook uitgebreid worden met informatie over populaties, zolang het model maar bij die populaties past. In de IRT staat het te meten begrip of de te meten eigenschap centraal. De IRT beschouwt het antwoord op een item als een indicator voor de mate waarin die eigenschap aanwezig is. Het verband tussen eigenschap en itemantwoord is van probabilistische aard en wordt weergegeven in de zogenaamde itemresponsfunctie. Die geeft aan hoe groot de kans is op een correct antwoord als functie van de onderliggende eigenschap of vaardigheid. Formeler: zij X i de toevalsvariabele die het antwoord op item i voorstelt. X i neemt de waarde 1 aan in geval van een correct antwoord en 0 in geval van een fout antwoord. Als symbool voor de vaardigheid kiezen we θ (theta). We wijzen erop dat θ niet rechtstreeks observeerbaar is. Dat zijn alleen de antwoorden op de opgaven. Dat is de reden waarom θ een 'latente' variabele wordt genoemd. Modellen die onder de IRT vallen, worden daarom ook wel latente trek-modellen genoemd. 17

19 De itemresponsfunctie f i (θ) is gedefinieerd als een conditionele kans: (2.1) Een IRT-model is een speciale toepassing van (2.1) waarbij aan de functie f i (θ) een meer of minder specifieke functionele vorm wordt toegekend. Een eenvoudig en zeer populair voorbeeld is het zogenaamde Raschmodel (Rasch, 1960) waarin f i (θ) gegeven is door (2.2) waarin β i de moeilijkheidsparameter van item i is. Dat is een onbekende grootheid die geschat wordt uit de observaties. De grafiek van (2.2) is weergegeven in figuur 2.2 voor twee items, i en j, die in moeilijkheid verschillen. Deze figuur illustreert dat de itemresponsfunctie een stijgende functie is van θ: hoe groter de vaardigheid, des te groter de kans op een juist antwoord. Indien de latente vaardigheid precies gelijk is aan de moeilijkheidsparameter β i, krijgen we (2.3) Daaruit volgt onmiddellijk een interpretatie voor de parameter β i : het is de 'hoeveelheid' vaardigheid die nodig is voor de kans van precies een half om het item i juist te beantwoorden. Uit de figuur blijkt duidelijk dat voor item j een grotere vaardigheid nodig is om diezelfde kans te bereiken, maar dit is hetzelfde als te zeggen dat item j moeilijker is dan item i. We kunnen de parameter β i dus terecht omschrijven als de moeilijkheidsparameter van item i. De implicatie van het bovenstaande is dat 'moeilijkheid' en 'vaardigheid' op dezelfde schaal liggen. Figuur 2.2 Twee itemresponscurven in het Raschmodel Formule (2.2) is geen beschrijving van de werkelijkheid, het is een hypothese over de werkelijkheid die getoetst kan worden op haar houdbaarheid. Hoe een dergelijke toetsing grofweg verloopt, is te verduidelijken aan de hand van figuur 2.2. Daaruit blijkt dat, voor welk vaardigheidsniveau dan ook, de kans om item j juist te beantwoorden steeds kleiner is dan de kans op een juist antwoord op item i. Daaruit volgt de statistisch te toetsen voorspelling dat de verwachte proportie juiste antwoorden op item j kleiner is dan op item i in een willekeurige steekproef van personen. Splitst men nu een grote steekproef in twee deelsteekproeven, een laaggroep, met de vijftig procent laagste scores, en een hooggroep, met de vijftig procent hoogste scores, dan kan men nagaan of de geobserveerde p-waarden van de opgaven in beide 18

20 deelsteekproeven op dezelfde wijze geordend zijn. Daarvan kan strikt genomen alleen sprake zijn als, in termen van de klassieke testtheorie uitgedrukt, alle opgaven eenzelfde discriminatie-index hebben. Dat echter blijkt lang niet altijd zo te zijn. Ook in het geval van de rekentoetsen niet. Veel van de items blijken dan ook niet te kunnen worden beschreven met het Raschmodel. Daarom is bij dit instrument gekozen voor een ander IRT-model. Alvorens het hier gebruikte model te introduceren, is eerst een kanttekening nodig bij het schatten van de moeilijkheidsparameters in het Raschmodel. Een vaak toegepaste schattingsmethode is de conditionele grootste aannemelijkheidsmethode (in het Engels: Conditional Maximum Likelihood, verder aangeduid als CML). Die maakt gebruik van het feit dat in het Raschmodel een afdoende steekproefgrootheid (sufficient statistic) bestaat voor de latente variabele θ, namelijk de ruwe score of het aantal correct beantwoorde items. Dat betekent grofweg dat, indien de itemparameters bekend zijn, alle informatie die het antwoordpatroon over de vaardigheid bevat, kan worden samengevat in de ruwe score; het doet er dan verder niet meer toe welke opgaven goed en welke fout zijn gemaakt. Hieruit vloeit voort dat de conditionele kans op een juist antwoord op item i, gegeven de ruwe score, een functie is die alleen afhankelijk is van de itemparameters en onafhankelijk van de waarde van θ. Een gedetailleerde uiteenzetting hierover wordt gegeven door Verhelst (1992). De CML-schattingsmethode maakt van deze functie gebruik. Deze methode maakt geen enkele veronderstelling over de verdeling van de vaardigheid in de populatie, en is ook onafhankelijk van de wijze waarop de steekproef is getrokken. De CML-schattingsmethode is echter niet bij elk meetmodel toepasbaar. In het zogenaamde éénparameter logistisch model (One Parameter Logistic Model, afgekort: OPLM) is CML mogelijk. Dit model is, anders dan het Raschmodel, wel bestand tegen omwisseling van proporties juist in verschillende steekproeven (Glas & Verhelst, 1993; Eggen, 1993; Verhelst & Kleintjes, 1993). De itemresponsfunctie van het OPLM is gegeven door (2.4) waarin a i de zogenaamde discriminatie-index van het item is. Door deze indices te beperken tot (positieve) gehele getallen, en door ze a-priori als constanten in te voeren, is het mogelijk CML-schattingen van de itemparameters β i te maken. In figuur 2.3 is de itemresponscurve weergegeven van twee items i en j, die even moeilijk zijn maar verschillend discrimineren. Figuur 2.3 Twee itemresponscurven in het OPLM: zelfde moeilijkheid, verschillende discriminatie De schattingen worden berekend met het computerprogramma OPLM (Verhelst, Glas en Verstralen, 1995). Dit programma voert eveneens statistische toetsen uit op grond waarvan kan worden bepaald of het model de gegevens adequaat beschrijft. Omdat een aantal van deze toetsen bijzonder gevoelig is voor een 19