Aanvulling bij de wetenschappelijke verantwoording papieren toetsen Begrijpend lezen voor groep 7 en 8: Digitale toetsen

Transcriptie

1 Cito Primair onderwijs Aanvulling bij de wetenschappelijke verantwoording papieren toetsen Begrijpend lezen voor groep 7 en 8: Digitale toetsen Marieke Tomesen en Anke Weekers

2 Aanvulling bij de wetenschappelijke verantwoording papieren toetsen Begrijpend lezen voor groep 7 en 8: Digitale toetsen Marieke Tomesen Anke Weekers Cito Arnhem, 2012

3 Cito B.V. Arnhem (2012) Niets uit dit werk mag zonder voorafgaande schriftelijke toestemming van Cito B.V. worden openbaar gemaakt en/of verveelvoudigd door middel van druk, fotografie, scanning, computersoftware of andere elektronische verveelvoudiging of openbaarmaking, microfilm, geluidskopie, film- of videokopie of op welke wijze dan ook. 2

4 Inhoud 1 Inleiding 5 2 Uitgangspunten van de toetsconstructie 7 3 Beschrijving van de toets Opbouw, structuur, afname van de toets en rapportage Inhoudsverantwoording 10 4 Kalibratie en normering Inleiding Kalibratieonderzoek digitale items Opzet van het kalibratieonderzoek voor de digitale items De stappen in de kalibratie Toetsing van het IRT-model De normering Normeringsgegevens en representativiteit De eigenlijke normering: kenmerken van de vaardigheidsverdelingen 18 5 Betrouwbaarheid en meetnauwkeurigheid Betrouwbaarheid Nauwkeurigheid 22 6 Validiteit 27 7 Samenvatting 29 8 Literatuur 31 3

5 4

6 1 Inleiding Deze aanvulling bij de Wetenschappelijke verantwoording papieren toetsen Begrijpend lezen voor groep 7 en 8 heeft uitsluitend betrekking op de digitale toetsen Begrijpend lezen voor groep 7 en 8 die deel uitmaken van het Cito Volgsysteem primair onderwijs (LOVS). De inhoud van deze digitale toetsen komt overeen met de inhoud van de papieren toetsen voor groep 7 en 8: de papieren en de digitale variant bestaan uit exact dezelfde opgaven. Vandaar dat we voor de inhoudelijke aspecten grotendeels verwijzen naar de oorspronkelijke Wetenschappelijke verantwoording papieren toetsen Begrijpend lezen voor groep 7 en 8 (Weekers, Groenen, Kleintjes & Feenstra, 2011). Tezamen met de Wetenschappelijke verantwoording papieren toetsen Begrijpend lezen voor groep 7 en 8 (Weekers, Groenen, Kleintjes & Feenstra, 2011) en de inhoud van de (digitale) toetspakketten Begrijpend lezen groep 7 en 8 (Cito 2009, 2010, 2011) levert deze aanvulling alle informatie die nodig is voor een snelle en efficiënte beoordeling van de kwaliteit van de digitale toetsen Begrijpend lezen groep 7 en 8. Het genoemde materiaal maakt een beoordeling van de digitale toetsen Begrijpend lezen groep 7 en 8 mogelijk op de volgende aspecten: Uitgangspunten van de toetsconstructie De kwaliteit van het toetsmateriaal De kwaliteit van de handleiding Normen Betrouwbaarheid Validiteit Het laatstgenoemde aspect betreft alleen begripsvaliditeit en geen criteriumvaliditeit. Omdat de toetsen van het Cito Volgsysteem niet bedoeld zijn voor 'voorspellend gebruik' is criteriumvaliditeit niet van toepassing. Deze aanvulling heeft met name betrekking op de normen (hoofdstuk 4) en de betrouwbaarheid en meetnauwkeurigheid (hoofdstuk 5). Voor de uitgangspunten van de toetsconstructie (hoofdstuk 2 en 3) en de begripsvaliditeit (hoofdstuk 6) van de toetsen Begrijpend lezen verwijzen we naar de oorspronkelijke Wetenschappelijke verantwoording papieren toetsen Begrijpend lezen voor groep 7 en 8 (Weekers, Groenen, Kleintjes & Feenstra, 2011). De kwaliteit van het toetsmateriaal en van de handleiding is te bepalen door kennis te nemen van de inhoud van de (digitale) toetspakketten. 5

7 6

8 2 Uitgangspunten van de toetsconstructie Voor de uitgangspunten van de toetsconstructie verwijzen we naar de Wetenschappelijke verantwoording papieren toetsen Begrijpend lezen voor groep 7 en 8 (Weekers, Groenen, Kleintjes & Feenstra, 2011). Alles in hoofdstuk 2 van de Wetenschappelijke verantwoording van de papieren toetsen Begrijpend lezen voor groep 7 en 8 geldt ook voor de digitale toetsen. Meetpretentie, doelgroep, gebruiksdoel en functie zijn identiek voor de papieren en digitale toetsen. De digitale toetsen zijn namelijk identiek aan de papieren toetsen. Het enige verschil is dat ze digitaal worden afgenomen in plaats van op papier. Ook de theoretische inkadering is identiek voor de papieren en digitale toetsen. De papieren en digitale toetsen zijn immers op dezelfde manier opgebouwd en bestaan uit dezelfde opgaven. Ook de digitale items komen uit de itembank Begrijpend lezen. Dus ook met een selectie van digitale items kan de vaardigheid van een leerling bepaald worden. Al hetgeen dat geldt voor de papieren items uit de itembank, geldt daarom eveneens voor digitale items uit dezelfde itembank. 7

9 8

10 3 Beschrijving van de toets 3.1 Opbouw, structuur, afname van de toets en rapportage Opbouw en structuur De digitale toetsen Begrijpend lezen van het Cito Volgsysteem voor de jaargroepen 7 en 8 bevatten net als de papieren toetsen voor groep 7 en 8 twee toetsen: respectievelijk M7 en B8/M8. Voor de toets van groep 7 zijn de populatieparameters bepaald op midden leerjaar (M7). Voor de toets van groep 8 zijn zowel voor begin leerjaar (B8) als voor midden leerjaar (M8) populatieparameters bepaald (bij dezelfde toets). Dit betekent dat scholen kunnen kiezen of ze de toets B8/M8 voor groep 8 aan het begin of in het midden van het schooljaar afnemen. De digitale varianten van de toetsen M7 en B8/M8 bevatten precies dezelfde opgaven als de papieren varianten en zijn op dezelfde manier opgebouwd. We verwijzen daarom hier naar hoofdstuk 3 van de Wetenschappelijke verantwoording papieren toetsen Begrijpend lezen voor groep 7 en 8 (Weekers, Groenen, Kleintjes & Feenstra, 2011). Afname Net als bij de papieren toetsen maken de leerlingen bij de digitale toetsen eerst de toetsmodule Start. Afhankelijk van de score die zij op deze module behalen, krijgen ze vervolgens óf toetsmodule Vervolg 1 óf toetsmodule Vervolg 2 voorgelegd. De digitale versies worden individueel op de computer gemaakt. Afhankelijk van het aantal beschikbare computers kunnen meerdere leerlingen gelijktijdig aan dezelfde toets werken. De leerling krijgt voorafgaand aan de eerste toetsmodule een uitleg over het maken van de digitale opgaven en maakt enkele oefenopgaven. Leerlingen kunnen in eerste instantie opgaven overslaan in de digitale toetsen. Als ze dan de laatste vraag hebben gemaakt, krijgen ze de opmerking dat ze nog niet alle vragen hebben gemaakt. Ze krijgen dan uitleg hoe ze kunnen zien welke vragen ze nog niet hebben gemaakt. Dit blijft zo doorgaan totdat ze uiteindelijk alle vragen hebben gemaakt. In de toetsmappen Begrijpend lezen groep 7 en 8 van het Cito Volgsysteem primair onderwijs (Cito, 2009; 2010) is een inhoudelijke handleiding opgenomen behorend bij de papieren en digitale toetsen. Hierin staan de uitgebreide afname-instructies voor de leerkracht. Daarnaast is er een technische digitale handleiding voor alle leerjaren (Cito, 2011), die voor scholen via internet gedownload kan worden. Bij de digitale versies van de toetsen worden de antwoorden van de leerlingen door de computer gescoord en hoeft de leerkracht de toetsen dus niet zelf na te kijken. Het maakt voor de resultaten niet uit of leerlingen de papieren of digitale toetsen maken. De opgaven uit de papieren en de digitale toetsen liggen op één vaardigheidsschaal, waardoor de toetsresultaten onderling uitwisselbaar zijn. Bij de keuze voor de afname van ofwel de papieren ofwel de digitale toets kunnen verschillende overwegingen een rol spelen. Dit zijn overwegingen van zowel praktische aard (bijvoorbeeld de aanwezigheid van voldoende computers) als van meer inhoudelijke aard. Op de computer moeten leerlingen soms scrollen om een tekst helemaal te kunnen lezen. Voor sommige leerlingen blijkt het lastig te zijn om na het scrollen weer op te zoeken waar ze zijn gebleven in de tekst. Aan de andere kant blijkt het voor veel leerlingen prettig te zijn om steeds één opgave in beeld te hebben, zoals het geval is in de digitale toetsen. Ook blijken leerlingen het in het algemeen prettiger te vinden om een toets op de computer te maken en zijn ze dan ook beter geconcentreerd. Rapportage De resultaten van leerlingen op de toetsen Begrijpend lezen worden normgericht geïnterpreteerd aan de hand van de vaardigheidsverdeling in een referentiegroep. Ook dit is vergelijkbaar met de papieren toetsen. 9

11 3.2 Inhoudsverantwoording Aangezien de digitale toetsen precies dezelfde opgaven bevatten als de papieren versies, verwijzen we voor de inhoudsverantwoording naar paragraaf 3.2 van de Wetenschappelijke verantwoording papieren toetsen Begrijpend lezen voor groep 7 en 8 (Weekers, Groenen, Kleintjes & Feenstra, 2011). 10

12 4 Kalibratie en normering 4.1 Inleiding Met het oog op de ontwikkeling van de toetsen Begrijpend lezen M7 en B8/M8 zijn in 2006 tot en met 2008 voor de jaargroepen 7 en 8 opgaven geconstrueerd. Deze opgaven zijn allereerst in papieren versie onderzocht in kalibratieonderzoeken in het najaar van 2007 en 2008 en in normeringsonderzoeken in 2009 en Zie voor het kalibratieonderzoek van de papieren items voor groep 7 en 8 paragraaf 4.2 van de Wetenschappelijke verantwoording papieren toetsen Begrijpend lezen voor groep 7 en 8 (Weekers, Groenen, Kleintjes & Feenstra, 2011). In 2010 en 2011 hebben vervolgens kalibratieonderzoeken voor de digitale items plaatsgevonden. Dit gebeurde in de vorm van papier-digitaal vergelijkingsonderzoek. De hoofdvraag in deze kalibratieonderzoeken was: meten de papieren items en de digitale items dezelfde vaardigheid? Indien dit het geval is, passen de papieren en digitale items op dezelfde schaal. Hieronder in paragraaf 4.2 beschrijven we deze papier-digitaal vergelijkingsonderzoeken en rapporteren we de resultaten. De conclusie is dat de digitale items dezelfde vaardigheid meten als de papieren items. Dit betekent dat de papieren en de digitale items op één schaal passen en dezelfde normering gehanteerd kan worden. De normering lag al vast voor de papieren toetsen. We nemen hieronder in paragraaf 4.3 de normeringsgegevens in verkorte versie over van de verantwoording van de papieren toetsen, omdat er sprake is van één normering die zowel geldt voor de papieren toetsen als de digitale toetsen. 4.2 Kalibratieonderzoek digitale items Opzet van het kalibratieonderzoek voor de digitale items In aparte kalibratieonderzoeken is onderzocht of de digitale items op de schaal Begrijpend lezen passen. In januari 2010 vond papier-digitaal kalibratieonderzoek M7 plaats. Omdat het aantal deelnemers erg laag was, is dit onderzoek herhaald in januari In januari 2011 vond ook het papier-digitaal kalibratieonderzoek M8 plaats. In deze onderzoeken werden de items meegenomen die inmiddels al geselecteerd waren voor de papieren uitgaven. In een papier-digitaal onderzoek is het design onvolledig: in tegenstelling tot een volledig papieren onderzoek overlappen de boekjes slechts gedeeltelijk. De echte link om de boekjes op één schaal te krijgen, verloopt via de papieren uitgave. In de tabellen met afnamedesigns (tabel 4.1 en tabel 4.2) zijn de boekjes van de papieren uitgave ook opgenomen. Hier is te zien dat de overlap via de papieren uitgave ervoor zorgt dat de afnamedesigns wel verbonden zijn. Voor de digitale items zijn eigen moeilijkheids- en discriminatieparameters geschat. Het is immers niet noodzakelijkerwijs zo dat de papieren versie en digitale versie van een item precies even moeilijk zijn en/of evengoed discrimineren. Medio 7 In de papier-digitaal onderzoeken van januari 2010 en januari 2011 zijn 85 items voorgelegd aan 951 leerlingen van groep 7. Van elk item werd een papieren en een digitale variant meegenomen in de onderzoeken. Elke leerling maakte een taak op papier en een taak digitaal. Daarbij is er voor gezorgd dat geen enkele leerling beide versies (papier en digitaal) van eenzelfde item kreeg voorgelegd. De items waren verdeeld over vier verschillende opgavenboekjes in een onvolledig, maar via het normeringsonderzoek papier verbonden design. Het papier-digitaal onderzoek werd gekoppeld aan het normeringsonderzoek voor de papieren uitgave M7 uit De data die verzameld zijn in het papierdigitaal onderzoek werden toegevoegd aan de dataset die dient voor de schaling van de items in de itembank Begrijpend lezen, waartoe het normeringsonderzoek voor de papieren uitgave M7 behoort. 11

13 Tabel 4.1 Afnamedesign proefonderzoek papier-digitaal M7 Taak Aantal leerlingen Papier digitaal Totaal Booklet M7S M7V1 M7V2 M7S M7V1 M7V2 1 X X X X X X X X Normeringsonderzoek papier Aantal itemantwoorden X X 342 X 295 X 318 X X Medio 8 In het papier-digitaal onderzoek van januari 2011 zijn 85 items voorgelegd aan 705 leerlingen van groep 8. Van elk item werd weer een papieren en een digitale variant meegenomen in de onderzoeken. Elke leerling maakte een taak op papier en een taak digitaal. Daarbij is er weer voor gezorgd dat geen enkele leerling beide versies (papier en digitaal) van eenzelfde item kreeg voorgelegd. De items waren verdeeld over vier verschillende opgavenboekjes in een onvolledig, maar via het normeringsonderzoek papier verbonden design. Het papier-digitaal onderzoek werd gekoppeld aan het normeringsonderzoek voor de papieren uitgave M8 uit De data die verzameld zijn in dit papierdigitaal onderzoek werden toegevoegd aan de dataset die dient voor de schaling van de items in de itembank Begrijpend lezen, waartoe het normeringsonderzoek voor de papieren uitgave M8 behoort. Tabel 4.2 Afnamedesign proefonderzoek papier-digitaal M8 Taak Aantal leerlingen Papier digitaal Booklet M8S M8V1 M8V2 M8S M8V1 M8V2 1 X X X X X X X X 100 Normeringsonderzoek papier Aantal itemantwoorden X X 231 X 172 X 207 X X

14 4.2.2 De stappen in de kalibratie Met kalibratie wordt bedoeld dat we kengetallen zoeken bij de items die de antwoorden van de leerlingen goed representeren. Hoe de kengetallen gezocht worden, ligt deels vast door het gekozen model. Hoe succesvol deze operatie is, kan statistisch getoetst worden. Eenvoudig gezegd, schatten we in OPLM met de CML-methode de itemparameters en controleren we of deze de data goed voorspellen. Voor een exacte beschrijving van de statistische toetsen die in OPLM gebruikt worden, hun eigenschappen en feitelijke implementatie in OPLM verwijzen we naar Verhelst (1993). Hier beperken we ons tot een korte beschrijving van de principes van de statistische toetsen die gebruikt zijn in de kalibratieprocedure. De statistische toetsen in OPLM hebben goede statistische en asymptotische eigenschappen daar OPLM behoort tot de exponentiële familie, met de gewogen somscore: k s 1a x i i i, (4.1) als een afdoende statistiek voor de vaardigheid. Dit betekent dat alle informatie in de data met betrekking tot de vaardigheid in deze statistiek aanwezig is. Hiervan wordt gebruikgemaakt bij de statistische toetsen in OPLM. Het basisprincipe van de statistische toetsen in OPLM is dat op grond van de afdoende statistiek s de personen in de data kunnen worden gegroepeerd. En binnen deze groepen kan de verwachte proportie goede antwoorden op een item onder het model, p( s), vergeleken worden met de feitelijk geobserveerde proportie goede antwoorden, prop( s). In het polytome geval worden de items gedichotomiseerd, de proportie goede antwoorden verwijst dan naar de hoge itemscore (zie Verhelst, 1993, hoofdstuk 7). Via de basisvergelijking van OPLM kunnen we eenvoudig de conditionele kans op het goed beantwoorden van de items afleiden en daarmee kunnen we p( s) evalueren, prop( s) volgt uit de data. Discrepanties tussen p( s) en prop( s) duiden op schendingen van het model. Deze discrepanties vormen de basis voor de diverse statistische toetsen in OPLM. De toetsingsgrootheid voor de veronderstelde discriminatie-indices is gegeven door M f s H ( p( s) prop( s)) f ( prop( s) p( s)). s L (4.2) Deze zogenaamde M-toetsen verdelen de scoregroepen in een laag deel ( L ) en een hoog deel ( H ) en f is een monotone functie. M-toetsen hebben een duidelijke interpretatie: is M significant positief dan is de veronderstelde steilheid van de ICC (item karakteristieke curve) overschat in het model, is M daarentegen erg laag dan is de index te klein. Verhelst laat zien voor welke functie, f, M N(0,1). In OPLM zijn drie verschillende M-toetsen geïmplementeerd die verschillen in de definitie van de hoge en lage scoregroepen. Naast deze M-toetsen is er een algemene itemtoets die de volgende vorm heeft S f ( p( s) prop( s)). 2 Deze zogenaamde S-toets heeft een verdeling onder het model. Als globale modeltoets is de R1c-toets (Glas, 1988) geschikt. Ook de distributie van alle afzonderlijke S-toetsen komt hiervoor in aanmerking. Als we deze S-toetsen opvatten als onafhankelijk, wat ze strikt genomen niet zijn, dan zouden de overschrijdingskansen uniform verdeeld moeten zijn op het (0,1) interval. Kortom, als we afzien van de formeel-statistische achtergrond van de gehanteerde toetsen, kan de kalibratieprocedure als volgt worden samengevat: 1 Met behulp van het programma OPCAT stellen we de discriminatie-indices in OPLM in en hercoderen we indien noodzakelijk de antwoordcategorieën in de data. 2 Vervolgens schatten we de itemparameters met behulp van de CML-methode. 3 Met behulp van de M-toetsen controleren we of de discriminatie-indices goed zijn ingesteld. 4 Een volgende controle betreft de overschrijdingskansen van de S-toetsen en een grafische modelcontrole door middel van het programma OPDRAW (grafische inspectie van de ICC s). 5 Vervolgens vindt een globale modelcontrole plaats in de vorm van een R1c-toets en de verdeling van de overschrijdingskansen van de S-toetsen. 13

15 De stappen 1 tot en met 5 worden een aantal malen doorlopen tot het resultaat bevredigend is. Afhankelijk van de uitkomsten kunnen items worden verwijderd. Ook inhoudelijke overwegingen spelen een rol in dit beslissingsproces (zie hiervoor hoofdstuk 2 van de Wetenschappelijke verantwoording papieren toetsen Begrijpend lezen voor groep 7 en 8 over de achtergronden van de toetsinhoud). In het kalibratieonderzoek was voorzien in een koppeling met de opgaven in de itembank Begrijpend lezen en dus ook met de reeds bestaande schaal Begrijpend lezen (zie verantwoording TBL, Staphorsius, Krom, Kleintjes & Verhelst, 1998). De nieuwe opgaven en dus ook de nieuwe toetsen liggen op de al bestaande schaal en doen een beroep op hetzelfde complex aan vaardigheden of latente trek Toetsing van het IRT-model Het is niet eenvoudig om de kwaliteit van de kalibratie aan te tonen. De belangrijkste statistische instrumenten om de passing van een opgave in het IRT-model te bewerkstellingen en uiteindelijk te documenteren betreffen de S-toetsen. Het lastige daarvan is, dat de toetsing voor een groot deel visueel gebeurt. Dit kunnen we illustreren aan de hand van figuur 4.1 (zie Staphorsius, 1994, blz. 239). Figuur 4.1 beeldt voor een opgave de gegevens af waarop de betreffende S -toetsen gebaseerd zijn (zie handleiding OPLM: Verhelst; 1992). Ten behoeve van deze toetsing wordt de totale groep van leerlingen die een verzameling opgaven gemaakt heeft, ingedeeld in een aantal (meestal acht) scoregroepen. Elke groep bestaat uit leerlingen met een ongeveer even hoge score. De geobserveerde proporties juiste antwoorden van deze groepen (telkens gesymboliseerd door een x) zijn door de middelste stippellijn verbonden. De volle lijn daarentegen verbindt de proporties die op grond van de parameterschattingen voorspeld kunnen worden. De twee buitenste lijnen geven het 95%-betrouwbaarheidsinterval aan. De breedte van dit interval is in belangrijke mate afhankelijk van het aantal leerlingen dat de opgave heeft beantwoord. Uit de figuur blijkt heel duidelijk dat de geobserveerde proporties, zoals bedoeld, binnen het 95%- betrouwbaarheidsinterval van de (geschatte) voorspelde proporties liggen, en dit komt in grote lijnen overeen met een niet-significante S-toetsingsgrootheid (Verhelst, et al., 1995). Figuur 4.1 Grafische voorstelling van een Si toets Het is ondoenlijk om voor alle opgaven dergelijke grafische voorstellingen in deze verantwoording op te nemen. Daarom beperken we ons steeds per toetsversie tot het item met de slechtste en de beste S-passing, aangevuld met een qua S-toetsingsresultaat gemiddelde (dat wil zeggen, meest representatieve) passing. De voorbeelden in figuur 4.2 illustreren dat voor beide toetsversies zelfs bij de slechtst passende opgaven sprake is van een zeer aanvaardbaar beeld. Er wordt in deze gevallen voor een deel (van de onderscheiden scoregroepen) niet beantwoord aan de eis dat de geobserveerde proportie binnen het 95%- betrouwbaarheidsinterval van de geschatte proporties ligt. Dit beeld doet zich slechts bij enkele opgaven voor die dan ook een uitzondering vormen. De overige opgaven voldoen voor alle 14

16 scoregroepen wel aan die eis. De afbeeldingen voor de representatieve en best passende opgaven illustreren dit. Dit leidt tot de conclusie dat bij vrijwel alle opgaven in de digitale toetsen Begrijpend lezen een grafische voorstelling van de S toetsing hoort die in grote lijnen met figuur 4.1 overeenkomt. Dit is een zeer sterke aanwijzing dat het meetinstrument en het meetmodel dat ontwikkeld is, respectievelijk gebruikt is, adequaat zijn om het gedrag van de leerlingen te verklaren. Bovendien blijkt, en dat is vanuit theoretisch oogpunt nog belangrijker, dat gemeten verschillen in gedrag tussen de leerlingen te verklaren zijn door één unidimensionaal concept. Figuur 4.2 Voorbeelden van S-toetsen voor de digitale toetsen Begrijpend lezen M7 en M8 met per toets de best passende, de slechtst passende en een qua passing representatieve opgave M7 Rel. item #: 28 Abs. item #: 3025 Label: BL02451D [:1] Rel. item #: 80 Abs. item #: 3077 Label: BL02346D [:1] Rel. item #: 37 Abs. item #: 3034 Label: BL02523D [:1] Best passend Slechtst passend Representatieve passing M8 Rel. item #: 10 Abs. item #: 3092 Label: BL02447D [:1] Rel. item #: 27 Abs. item #: 3109 Label: BL02883D [:1] Rel. item #: 7 Abs. item #: 3089 Label: BL02444D [:1] Best passend Slechtst passend Representatieve passing In feite kan men bij de kalibratie beter varen op deze grafische weergaven dan op toetsingsresultaten in termen van exacte getallen en de significantie daarvan. Niettemin zijn er bij de kalibratie S-toetsen uitgevoerd die een indicatie geven van de kwaliteit van de kalibratie. Daarbij zijn we vooral geïnteresseerd in de distributie van de overschrijdingskansen van deze verzameling toetsingsresultaten. Als we de S-toetsen opvatten als onafhankelijk, wat ze strikt genomen niet zijn, dan zouden de overschrijdingskansen uniform verdeeld moeten zijn binnen het (0,1) interval, uiteraard met zo weinig mogelijk significante resultaten. Tabel 4.3 waarin het (0,1) interval is opgedeeld in tien gelijke stukken, geeft een beeld van de uitkomsten bij een kalibratie van alle opgaven van de digitale toetsen Begrijpend lezen groep 7 en groep 8 van het Cito Volgsysteem. Daarnaast is aangegeven in hoeveel gevallen de overschrijdingskans kleiner was dan.01, respectievelijk.05. Het is duidelijk dat voor beide toetsen de verdeling redelijk gelijkmatig is over het gehele interval van overschrijdingskansen. Deze resultaten geven een bevestiging van het eerder geschetste beeld, dat met uitzondering van enkele opgaven, sprake is van niet-significante S-toetsen. Zij vormen een kwantitatieve ondersteuning van de conclusie dat de opgaven een unidimensionaal construct representeren. 15

17 Tabel 4.3 Verdeling van overschrijdingskansen bij S-toetsen voor M7 en M8 digitaal 0.-/---/ M M In tabel 4.4 zijn de R1c-waarden weergegeven voor dezelfde afnames waarvoor in tabel 4.3 de resultaten van de S-toetsen zijn weergegeven. R1c is een statistiek die zicht geeft op de modelpassing van de toets als geheel. Voor een acceptabele modelfit geldt als vuistregel dat R1c bij voorkeur niet significant zou moeten zijn en niet groter dan ongeveer anderhalf maal het aantal vrijheidsgraden (df). Uit tabel 4.4 blijkt dat de modelpassing voor beide momenten uitstekend is. Tabel 4.4 R1c-waarden voor M7 en M8 digitaal Toetsversie R1c df p M7 409, ,9047 M8 300, ,9981 Ten slotte bespreken we nog een methode om de modelpassing te verantwoorden die wordt besproken in het COTAN Beoordelingssysteem (COTAN 2010, p. 40). Het betreft hier een poging om de nauwkeurigheid van de itemparameterschattingen te beoordelen op basis van een constante (in het COTAN-Beoordelingssysteem met c aangeduid) die weergeeft hoe de relatie is tussen de standaardfout van de moeilijkheidsparameter van een item en de standaarddeviatie van de vaardigheidsverdeling van de kalibratiepopulatie. Het beoordelingssysteem geeft ook richtlijnen voor het beoordelen van de grootte van deze c. Deze dient te worden beoordeeld als goed als de waarde lager is dan of gelijk aan 0,20. Waarden tussen 0,30 en 0,40 kunnen nog als voldoende worden beschouwd. De waarden voor deze constante zijn weergegeven in tabel 4.5. De gemiddelde waarden van de constante zijn voldoende tot goed te noemen. Voor geen enkele opgave is c groter dan 0,40. De conclusie mag luiden dat we ook op basis van deze analyse de kalibratie geslaagd kunnen noemen. Tabel 4.5 Nauwkeurigheid van de itemparameterschattingen (constante c ) Toetsmoment Constante c Range Gemiddelde M7 0,086 0,376 0,157 M8 0,102 0,358 0,183 Op basis van de hierboven beschreven resultaten kan de conclusie luiden dat ook voor de digitale toetsen Begrijpend lezen M7 en Begrijpend lezen M8 van het Cito Volgsysteem, de kalibratie geslaagd is. 4.3 De normering De normering die wordt gebruikt voor de digitale toetsen Begrijpend lezen is gelijk aan de normering van de papieren toetsen Begrijpend lezen. Dit is mogelijk gezien de koppeling van het papier-digitaal kalibratieonderzoek aan de normeringsonderzoeken voor de papieren uitgaven via het in voorgaande paragraaf besproken design en de geslaagde kalibratie. De (papieren) normering is gebaseerd op de onderliggende (latente) verdeling van de vaardigheid op de afnametijdstippen M7, B8 en M8. Bij de kalibratie is gebleken dat de digitale opgaven op dezelfde schaal geplaatst konden worden als de 16

18 papieren opgaven. Daardoor kunnen we de eerder gevonden verdelingen van de vaardigheid van de normgroepen (M7, B8 en M8) op deze schaal gebruiken. Voor het beschrijven van de normpopulatie kunnen daarom de eerder gerapporteerde resultaten gebruikt worden. De normeringen voor de papieren toetsen Begrijpend lezen werden door de COTAN als goed beoordeeld en worden in deze paragraaf in verkorte versie besproken. Voor een uitgebreide versie wordt verwezen naar paragraaf 4.3 van de Wetenschappelijke verantwoording van de papieren toetsen Begrijpend lezen voor groep 7 en 8 (Weekers, Groenen, Kleintjes & Feenstra, 2011) Normeringsgegevens en representativiteit De normering van de toetsen Begrijpend lezen van het Cito Volgsysteem primair onderwijs is gebaseerd op meerdere onderzoeken. Zowel in kalibratieonderzoeken als normeringsonderzoeken werden gegevens verzameld over de landelijke verdeling van de vaardigheid van de leerlingen op de afnamemomenten E3, M4, E4, M5 en M6. In tabel 4.6 staat het aantal leerlingen dat heeft deelgenomen aan de betreffende kalibratie- en normeringsonderzoeken voor E3 t/m M5. De leerlingen, die hebben deelgenomen aan deze onderzoeken zijn over meerdere leerjaren gevolgd en op zo veel mogelijk tijdstippen getoetst zodat in een landelijke normgroep referentiegegevens voor de verschillende afnamemomenten verzameld konden worden. De leerlingen uit het normeringsonderzoek M6 zijn niet gevolgd, maar alleen gebruikt voor de normering M6. Aan het normeringsonderzoek M6 hebben 662 leerlingen deelgenomen. De data voor de normering op de toetsmomenten M7 en M8 zijn verzameld via de zo genoemde dataretour. Dit zijn daadwerkelijke afnamegegevens van de toetsen die door de scholen naar Cito kunnen worden gestuurd. Het computerprogramma LOVS biedt deze mogelijkheid. De data kunnen onder meer worden gebruikt voor kwaliteitscontroles met betrekking tot de toetsen en om normeringssteekproeven te verbinden. De kalibratie- en normeringssteekproeven in tabel 4.6 zijn via gegevens uit dataretour groep 3 tot en met 8 verbonden. Met behulp van deze gegevens en het softwareprogramma MULTI (Kamphuis, 1992, 1993, Kamphuis en Engelen, 1992) konden de vaardigheidsverdelingen (normeringen) voor de toetsmomenten M7 en M8 worden bepaald. Tabel 4.6 Aantal leerlingen per afnamemoment E3 M4 E4 M5 M6 M7 M8 Kalibratie oktober Normering januari Normering juni Dataretour E3 14 Dataretour M Dataretour E Dataretour M Dataretour M Dataretour M7 988 Dataretour M8 719 N.B. De leerlingen die in het kalibratieonderzoek papier-digitaal zijn betrokken, maken geen deel uit van de normeringspopulatie. 17

19 Tabel 4.7 geeft een overzicht van de gevolgde leerlingen. De getallen in deze tabel behoeven enige verklaring. De leerlingen komen uit verschillende cohorten: de groep van 1696 leerlingen E3 is samengesteld uit een cohort van 1239 leerlingen uit het kalibratieonderzoek van oktober 2005, een cohort van 443 leerlingen uit het normeringsonderzoek van juni 2006 en 14 leerlingen via dataretour E leerlingen van de 1696 leerlingen hebben ook deelgenomen aan de normering van M4 en 447 aan de normering E4. De getallen in de andere kolommen hebben een soortgelijke interpretatie. Tabel 4.7 Aantal leerlingen per tijdstip en aantal leerlingen dat gevolgd is op een later tijdstip E3 M4 E4 M5 M6 M7 M8 E M E M M M M De representativiteit van de steekproeven gebruikt voor MULTI (dataretour 2008/2009 voor afnamemomenten M7 en M8) is geëvalueerd op basis van schoolkenmerken. Het gaat bij beide cohorten om dezelfde 59 basisscholen. Gelet werd op het percentage achterstandsleerlingen (sociaaleconomische status), schoolgrootte, de geografische spreiding en de mate van verstedelijking. Gegevens waren slechts bekend van 56 scholen en dus zijn de gegevens van deze scholen gebruikt om de representativiteit te onderzoeken. De steekproefscholen vormden een representatieve afspiegeling van de populatie wat betreft gemiddeld schoolgewicht en regio. Er werd dan ook geen evidentie gevonden dat de steekproef niet representatief is met betrekking tot achterstandsleerlingen en geografische spreiding. Op basis van schoolgrootte en percentage achterstandsleerlingen worden scholen ingedeeld in strata. Het aantal scholen was te laag om een toetsing naar strata met betrekking tot significantie zinvol te kunnen interpreteren. Wel bleken in de steekproef grote en kleine scholen aanwezig en ook scholen met verschillende proporties achterstandsleerlingen waren in de steekproef vertegenwoordigd. Het aantal scholen was eveneens te klein om te toetsen op mate van verstedelijking. Scholen uit zowel (sterk) verstedelijkte gebieden als niet of weinig verstedelijkte gebieden waren in de steekproef aanwezig, en dit vormde aanleiding om representativiteit op dit kenmerk aan te nemen. Representativiteit naar sekse en leeftijd werd niet onderzocht. Aangenomen werd dat er geen aparte jongens- en meisjesscholen zijn en alle leerlingen van de steekproefscholen deelnamen aan het onderzoek. Op basis van deze gegevens werd aangenomen dat de steekproef representatief is voor sekse en leeftijd De eigenlijke normering: kenmerken van de vaardigheidsverdelingen Voor de afnamemomenten M7 en M8 is via MULTI een schatting gemaakt van de vaardigheidsverdelingen. Het gemiddelde en de standaardafwijking worden geschat in de veronderstelling dat de vaardigheid normaal verdeeld is. Met deze schattingen kunnen vervolgens schattingen gemaakt worden van de percentielen in de populatie, die van belang zijn voor de indeling van leerlingen in de niveaucategorieën (A t/m E en I t/m V), die zijn beschreven in paragraaf 3.1 van de Wetenschappelijke verantwoording papieren toetsen Begrijpend lezen voor groep 7 en 8. De waarden van de geschatte vaardigheidsverdelingen uit MULTI staan weergegeven in tabel 4.8. De via MULTI bepaalde geschatte vaardigheidsverdelingen zijn gecontroleerd met de gegevens uit dataretour M7 in 2009/2010 op basis van alle beschikbare scores. De deelnemende scholen waren niet geheel representatief naar stratum (voor de indeling naar strata, vergelijk tabel 4.14 uit de papieren verantwoording). Door weging voor deze variabele toe te passen, werden de data representatief gemaakt 18

20 voor de landelijke verdeling. Het gevonden gemiddelde met bijbehorende standaarddeviatie staat eveneens weergegeven in tabel 4.8. Merk op dat de gevonden waarden uit dataretour goed overeenkomen met de waarden uit het normeringsonderzoek, hetgeen een extra validatie is van de juistheid van de gebruikte normen. In tabel 4.8 zijn ook de kenmerken van de geschatte vaardigheidsverdeling voor afnamemoment B8 gegeven. De waarden zijn berekend op een voor de populatie representatieve steekproef. De gevonden waarden passen uitstekend binnen de doorgaande leerlijn uit het volgsysteem. Tabel 4.8 Overzicht van de vaardigheidsverdelingen per normeringsmoment Moment Normering Evaluatie normering MULTI op basis van dataretour N Gem SD N Gem SD M ,54 14, ,05 14,41 B8 3803* 49,64 15,34 M ,80 15,21 *data uit normeringsonderzoek B8 19

21 20

22 5 Betrouwbaarheid en meetnauwkeurigheid 5.1 Betrouwbaarheid In hoofdstuk 4 is onder meer aangegeven dat elke leerling die deelgenomen heeft aan het normeringsonderzoek slechts een deel van de items gemaakt heeft die uiteindelijk in de toetsen Begrijpend lezen opgenomen zijn. De betrouwbaarheid van de toetsen in klassieke zin is dan ook niet rechtstreeks te bepalen. Het is echter wel mogelijk om de betrouwbaarheid van iedere toets te schatten door gebruik te maken van het feit dat alle items die zijn opgenomen in de toetsen OPLM-geschaald zijn. Ook andere beschrijvende gegevens, zoals de gemiddelde score en de standaardmeetfout, zijn te schatten op grond van het feit dat de toetsen volledig bestaan uit OPLM-gekalibreerde items. Om relevante beschrijvende gegevens bij de verschillende toetsen te genereren, is gebruikgemaakt van het programma OPTAL (Verstralen, 1997). In OPTAL wordt een door Verhelst, Glas en Verstralen (1995, pp ) ontwikkelde coëfficiënt berekend die qua interpretatie een grote overeenkomst vertoont met betrouwbaarheidscoëfficiënten uit de klassieke testtheorie. Het begrip ware score is wat meer geëxpliciteerd, namelijk als de verwachte score op een (vaste) toets, maar dan gezien als functie van de latente variabele θ. Deze verwachte waarde wordt aangeduid met τ(θ). Als bovendien bekend is hoe θ in de populatie verdeeld is, kunnen ook het gemiddelde en de variantie van de ware scores in de populatie bepaald worden. De variantie van de ware scores in de populatie worden aangegeven met het symbool Var(τ). Tussen θ en τ(θ) bestaat een een-op-een relatie, immers de een kan uit de andere berekend worden. Het is echter niet zo dat een persoon met vaardigheid θ per se de toetsscore τ(θ) moet behalen (dat is alleen zo als de toets oneindig lang wordt). De geobserveerde score bij een eenmalige afname zal dan ook een afwijking vertonen van de verwachte score, waardoor met een eenmalige toetsafname niet meer zonder fout de waarde van θ bepaald kan worden. De variantie van de geobserveerde toetsscore wordt aangegeven met Var(t τ(θ)), en door weer gebruik te maken van de distributie van θ in de populatie kan ook de gemiddelde variantie van de geobserveerde toetsscores berekend gaan worden. Var(t) = E[Var(t ( ))] (5.1) Deze variantie kan opgevat worden als de (gemiddelde) meetfoutvariantie in de metriek van de geobserveerde scores (t). In analogie met de theorie over de betrouwbaarheid volgt dan Var( ) MAcc= Var( )+Var(t) (5.2) waarin MAcc staat voor 'Accuracy of Measurement'. Deze schattingen van de meetbetrouwbaarheid zijn een schatting van de test-hertestcoëfficiënten. Tabel 5.1 bevat informatie over de meeteigenschappen van de vaardigheidsschaal Begrijpend lezen, voor de digitale toetsen voor groep 7 en 8. In de eerste kolom staan voor elk afnamemoment de twee mogelijke combinaties van modules: een leerling maakt ofwel eerst module Start en daarna module Vervolg 1 (S+V1) ofwel eerst module Start en daarna module Vervolg 2 (S+V2). De tweede kolom geeft het aantal items van de toets weer en in de derde kolom staat de maximumscore die gehaald kan worden op de toets. Bij de papieren toetsen is de maximumscore gelijk aan het aantal opgaven dat deel uitmaakt van de totale toets. Bij de digitale toetsen gebruiken we echter de gewogen scores. Bij een gewogen score wordt rekening gehouden met het discriminerend vermogen van het item. Hierdoor kan de vaardigheid van de leerling preciezer worden geschat wat resulteert in een hogere betrouwbaarheid. De vierde kolom geeft de geschatte gemiddelde scores van de leerlingen op de verschillende toetsen. De vijfde kolom bevat informatie over de geschatte standaardmeetfout op de ruwe score van iedere toets. De zesde kolom laat 21

23 zien wat de geschatte betrouwbaarheidscoëfficiënt (MAcc) van de verschillende toetsen (of toetsonderdelen) is. De betrouwbaarheidscoëfficiënten zijn zonder uitzondering hoog. Voor toetsen van het type waar geen zware consequenties voor leerlingen aan verbonden zijn (zoals de toetsen Begrijpend lezen van het Cito Volgsysteem primair onderwijs) geeft de COTAN (COmmissie TestAangelegenheden Nederland van het Nederlands Instituut van Psychologen) aan dat een betrouwbaarheidscoëfficiënt lager dan 0,70 onvoldoende is, een betrouwbaarheidscoëfficiënt tussen 0,70 en 0,80 voldoende, en een betrouwbaarheidscoëfficiënt hoger dan 0,80 goed (COTAN Beoordelingssysteem voor de kwaliteit van tests, 2010). Op grond van dit criterium is de meetnauwkeurigheid van alle toetsen goed te noemen. Tabel 5.1 Beschrijvende gegevens bij de digitale toetsen Begrijpend lezen Toets Aantal items Maximum score Gemiddelde Standaardmeetfout MAcc Test-hertest (simulatie) M7 Start + Vervolg ,8 16,20 0,91 0,90 M7 Start + Vervolg ,6 15,67 0,90 0,89 B8 Start + Vervolg ,0 14,72 0,90 0,89 B8 Start + Vervolg ,7 14,42 0,90 0,89 M8 Start + Vervolg ,6 14,22 0,90 0,88 M8 Start + Vervolg ,0 14,13 0,89 0,88 Er heeft geen test-hertest onderzoek plaatsgevonden. De afnamecontext van de toets Begrijpend lezen leent zich daar niet goed voor. Het feit dat alle items echter OPLM-gekalibreerd zijn, maakt het mogelijk een hertest te simuleren. We hebben een dubbele afname gesimuleerd van leerlingen. Daarbij hebben we enerzijds de vaardigheidsverdeling van alle leerlingen uit MULTI, anderzijds alle itemparameters als uitgangspunt genomen. Steeds is een bepaalde vaardigheid aselect uit de verdeling genomen en zijn twee bij deze vaardigheid horende afnames gesimuleerd. Uiteindelijk is de correlatie tussen deze dubbele (virtuele) afnames berekend. Men kan deze simulatie beschouwen als een test-hertestonderzoek onder ideale condities. De tweede toetsafname is immers volledig onafhankelijk van de eerste toetsafname en wordt niet beïnvloed door de kennis die de leerling mogelijk verworven heeft via de eerste toetsafname. Daarnaast is er sprake van invloed van een test-hertest-interval: beide afnames worden gesimuleerd alsof zij op hetzelfde moment plaats zouden vinden. De resultaten zijn weergegeven in de laatste kolom van tabel 5.1. De uitkomsten komen vrijwel exact overeen met eerder berekende coëfficiënten en leiden dan ook tot dezelfde conclusies met betrekking tot de betrouwbaarheid van de digitale toetsen Begrijpend lezen. 5.2 Nauwkeurigheid De hiervoor vermelde betrouwbaarheidscoëfficiënten hebben alleen betrekking op de globale meetnauwkeurigheid van de toetsen en geven geen beeld van de lokale meetnauwkeurigheid van de verschillende digitale toetsen Begrijpend lezen. De figuren 5.1 en 5.2 geven grafisch weer hoe het gesteld is met de lokale meetnauwkeurigheid bij de verschillende toetsen. In deze figuren staat voor iedere toets de grootte van de meetfout op de vaardigheidsschaal afgebeeld (met verdelingskenmerken zoals aangegeven in tabel 4.8). Hierbij is onderscheid gemaakt tussen de twee mogelijke samenstellingen van de toets op elk afnamemoment: ofwel Start plus Vervolg 1 (in de grafieken weergegeven als SV1) ofwel Start plus Vervolg 2 (in de grafieken SV2 genoemd). Ook zijn de kansdichtheidfuncties voor de normgroepen op de verschillende afnamemomenten opgenomen. Deze laten zien hoe de vaardigheid van de leerlingen verdeeld is over de vaardigheidsschaal in de populatie die de toets gemaakt heeft. De figuren maken duidelijk dat de meetfout kleiner is in de lagere en gemiddelde vaardigheidsregionen dan in de hogere vaardigheidsregionen. 22

24 Figuur 5.1 Grootte van de meetfouten voor de digitale toets M7 en de kansdichtheidsfuncties voor de M7-populatie 23

25 Figuur 5.2 Grootte van de meetfouten voor de digitale toets B/M8 en de kansdichtheidsfuncties voor de B8- en M8-populatie Toewijzing van leerlingen aan de toetsversies De lokale meetnauwkeurigheid speelt een belangrijke rol bij het toewijzen van de juiste vervolgmodule. In de hogere leerjaren wordt het steeds lastiger om twee verschillende modules te ontwikkelen die qua moeilijkheid ver uit elkaar liggen. Dit komt omdat de vaardigheidsgroei in de hogere groepen geringer is. In de grafieken met de lokale meetnauwkeurigheid (figuur 5.1 en 5.2) is zichtbaar dat de meetnauwkeurigheid van een toets eerst toeneemt en vervolgens afneemt met toenemende vaardigheid. In figuur 5.2 is bovendien goed te zien dat de meetnauwkeurigheid per toets verschilt (i.e. een combinatie van een start- en een vervolgmodule). Vanaf een zekere vaardigheid is de meetnauwkeurigheid van de combinatie Start en Vervolg 2 groter dan die van Start+Vervolg1. De score op de module Start die correspondeert met die zekere vaardigheid, is de grensscore voor de verwijzing. Op grond van de score op de module Start wordt een leerling nauwkeuriger gemeten met Start en Vervolg 1 als een leerling een score heeft die lager is dan de grensscore en beter met Start en Vervolg 2 als een leerling op Start een score heeft die hoger is. Voor B8/M8 Start plus Vervolg 1 en B8/M8 Start plus Vervolg 2 ligt die vaardigheid bij 53. De corresponderende toetsscore op B8/M8 Start is 16. Deze toetsscore wordt dan grensscore voor de verwijzing naar de best passende vervolgmodule. Voor M7 is er vrijwel geen verschil in meetnauwkeurigheid bij de meer vaardige leerlingen (zie figuur 5.1). Er waren onvoldoende moeilijke items voor dit afnamemoment. Voor de minder vaardige leerlingen is er wel degelijk verschil in meetnauwkeurigheid: M7 Start plus Vervolg 1 meet voor de minder vaardige leerlingen nauwkeuriger dan M7 Start plus Vervolg 2. 24

26 In tabel 5.2 staan de scores voor verwijzing naar de vervolgmodules. Tabel 5.2 Toewijzing vervolgmodules toetsen Vervolg 1 Vervolg 2 M B8/M Betrouwbaarheidstabellen De betekenis van de meetnauwkeurigheid voor de beslissingen die met de toetsen genomen worden is af te leiden uit onderstaande betrouwbaarheidstabellen. De betrouwbaarheidstabellen laten het effect van de lokale meetnauwkeurigheid zien. Zo laat tabel 5.3 bijvoorbeeld zien dat 78,6 procent van de leerlingen die bij de digitale M7-toets in scoregroep E vallen met hun geschatte vaardigheidsscore ook met hun werkelijke vaardigheidsscore in deze scoregroep vallen. Anders gezegd: de kans dat een E-leerling terecht als een E-leerling wordt bestempeld is ongeveer 79 procent. Verder laat de tabel zien dat 21,1 procent van de leerlingen in niveaugroep E een vaardigheidsscore heeft die in werkelijkheid in scoregroep D valt. Bij het berekenen van deze betrouwbaarheidstabellen is rekening gehouden met vertakt toetsen (multistage testing). Leerlingen die lager scoren dan de grensscore op de module Start maken Vervolg 1, leerlingen die hoger scoren maken Vervolg 2. In de betrouwbaarheidstabellen is de populatie dus geëvalueerd met betrekking tot die toets die ze volgens dit voorschrift moeten maken. Zie tabel 5.2 voor de grensscores op de modules Start. Tabel 5.3 Betrouwbaarheidstabellen bij de digitale versie van de toetsen Begrijpend lezen Toets M7 Scoregroepen E tot en met A Scoregroep waarin ware score valt E D C B A Toets M7 Scoregroep waarin ware score valt Scoregroepen V tot en met I V IV III II I E 78,6 9,7 0,1 0,0 0,0 V 82,7 11,8 0,2 0,0 0,0 D 21,1 64,6 11,4 0,1 0,0 IV 17,0 63,2 18,7 1,3 0,0 C 0,3 25,5 67,4 18,0 0,5 III 0,3 23,6 55,1 22,0 1,4 B 0,0 0,2 20,8 63,2 18,4 II 0,0 1,4 24,8 56,9 20,8 A 0,0 0,0 0,4 18,7 81,4 I 0,0 0,0 1,1 19,9 77,8 Toets B8 Scoregroepen E tot en met A Scoregroep waarin ware score valt E D C B A Toets B8 Scoregroep waarin ware score valt Scoregroepen V tot en met I V IV III II I E 76,7 11,1 0,1 0,0 0,0 V 81,5 13,5 0,4 0,0 0,0 D 22,7 61,8 12,7 0,2 0,0 IV 17,9 61,8 20,0 1,4 0,0 C 0,6 26,8 65,8 18,4 0,4 III 0,6 23,3 55,0 22,1 1,0 B 0,0 0,3 21,0 64,3 17,6 II 0,0 1,4 23,7 57,8 19,1 A 0,0 0,0 0,4 17,2 82,0 I 0,0 0,0 1,0 18,7 79,8 25

27 Toets M8 Scoregroepen E tot en met A Scoregroep waarin ware score valt E D C B A Toets M8 Scoregroep waarin ware score valt Scoregroepen V tot en met I V IV III II I E 75,5 10,5 0,2 0,0 0,0 V 81,5 13,0 0,4 0,0 0,0 D 23,8 60,9 12,6 0,2 0,0 IV 18,0 61,0 20,1 1,7 0,0 C 0,8 28,2 65,7 19,7 0,6 III 0,5 24,1 53,4 22,9 1,3 B 0,0 0,4 21,0 61,7 18,1 II 0,0 1,9 24,9 56,2 20,2 A 0,0 0,0 0,5 18,3 81,4 I 0,0 0,0 1,2 19,2 78,5 26

28 6 Validiteit Voor de verantwoording van de validiteit verwijzen we naar hoofdstuk 6 van de Wetenschappelijke verantwoording papieren toetsen Begrijpend lezen voor groep 7 en 8 (Weekers, Groenen, Kleintjes & Feenstra, 2011). Alles wat beschreven staat in dit hoofdstuk gaat ook op voor de digitale toetsen Begrijpend lezen groep 7 en 8. Daarbij geldt dat ook de modelfit voor de digitale opgaven uitstekend is (zie paragraaf 4.2.3) en dat daarmee net als bij de papieren versie voldaan wordt aan eisen van unidimensionaliteit als waarborg voor de constructvaliditeit van de toetsen. 27

29 28

30 7 Samenvatting In dit hoofdstuk wordt kort weergegeven wat in de voorafgaande hoofdstukken is besproken. In hoofdstuk 1 is aangegeven dat hier om een aanvulling gaat bij de Wetenschappelijke verantwoording papieren toetsen Begrijpend lezen voor groep 7 en 8 (Weekers, Groenen, Kleintjes & Feenstra, 2011). Deze aanvulling heeft uitsluitend betrekking op de digitale toetsen Begrijpend lezen voor groep 7 en 8 van het Cito Volgsysteem primair onderwijs. Aangezien de inhoud van deze digitale toetsen exact overeenkomt met de inhoud van de papieren toetsen voor groep 7 en 8, is voor de inhoudelijke aspecten verwezen naar de Wetenschappelijke verantwoording papieren toetsen Begrijpend lezen voor groep 7 en 8. Dit betekent dan ook dat voor de uitgangspunten bij de toetsconstructie (hoofdstuk 2) en de inhoud van de toetsen (hoofdstuk 3) hoofdzakelijk verwezen wordt naar de Wetenschappelijke verantwoording papieren toetsen Begrijpend lezen voor groep 7 en 8. In hoofdstuk 4 is verantwoord over de kalibratie- en normeringsonderzoeken. De kalibratie-onderzoeken gebeurden in de vorm van papier-digitaal vergelijkingsonderzoeken. Hieruit bleek dat de digitale items dezelfde vaardigheid meten als de papieren items en daardoor op dezelfde schaal pasten. De modelfit voor de digitale items is uitstekend en daarmee is voldaan aan de eisen van unidimensionaliteit. De normering lag al vast voor de papieren items. Deze hebben we aangehouden voor de digitale items. In hoofdstuk 5 werd over de betrouwbaarheidscoëfficiënten gerapporteerd. Net als bij de papieren toetsen, zijn de betrouwbaarheidscoëfficiënten (MAccs en test-hertest) voor de digitale versie van de toetsen voor groep 7 en 8 hoog tot zeer hoog. Ze variëren van 0,88 tot 0,91. In de grafieken met de lokale meetnauwkeurigheid (figuur 5.1 en 5.2) is zichtbaar dat de meetnauwkeurigheid van een toets afneemt met toenemende vaardigheid en dat deze per toets (i.e. een combinatie van een start- en een vervolgmodule) verschilt. Vanaf een zekere vaardigheid is de meetnauwkeurigheid van de combinatie Start en Vervolg 2 groter is dan die van Start+Vervolg1. Voor de verantwoording van de validiteit (hoofdstuk 6) is weer verwezen naar de Wetenschappelijke verantwoording papieren toetsen Begrijpend lezen voor groep 7 en 8. 29

31 30

32 8 Literatuur Cito (2009). LOVS Begrijpend lezen groep 7. Arnhem: Cito. Cito (2010). LOVS Begrijpend lezen groep 8. Arnhem: Cito. Cito (2011). Cito Volgsysteem primair onderwijs (LOVS) Begrijpend lezen. Handleiding digitale toetsen. Arnhem: Cito. COTAN (2010). Beoordelingssysteem voor de kwaliteit van tests. Amsterdam: NIP/Cotan. Glas, C.A.W. (1988). The derivation of some tests for the Rasch model from the multinomial distribution. Psychometrika, 53, Kamphuis, F.H. (1992). Multi. Arnhem: Cito. Kamphuis, F.H. (1993). Estimation and prediction of individual ability in longitudinal studies. In: J.H.L. Oud & R.A.W. van den Blokland-Vogelesang (Eds.), Advances in long and multivariate analysis in the behavioral sciences. Nijmegen: ITS. Kamphuis, F.H., & Engelen, R.J.H. (1992). Estimation and testing of structured latent ability covariance matrices in IRT models. Arnhem, The Netherlands: Cito. Staphorsius, G. (1994). Leesbaarheid en leesvaardigheid: de ontwikkeling van een domeingericht meetinstrument. Enschede: Universiteit Twente. Staphorsius, G., Krom, R.S.H., Kleintjes, F.G.M. & Verhelst, N.D. (1998). Toetsen Begrijpend Lezen, handleiding. Arnhem: Cito. Verhelst, N.D. (1992). Het één parameter model (OPLM). Een theoretische inleiding en een handleiding bij het computerprogramma. Arnhem: Cito. Verhelst, N.D. (1993). Itemresponstheorie. In: T.J.H.M. Eggen & P.F. Sanders (red.). Psychometrie in de praktijk. (pp ). Arnhem: Cito. Verhelst, N.D., Glas, C.A.W. & Verstralen, H.H.F.M. (1995). OPLM: One Parameter Logistic Model. Computer program and manual. Arnhem: Cito. Verstralen, H.H.F.M. (1997). OPTAL: Inverse OPLAT and item and test characteristics in populations. Arnhem: Cito. Weekers, A., Groenen, I., Kleintjes, F. & Feenstra, H. (2011). Cito Volgsysteem primair onderwijs (LOVS) Wetenschappelijke verantwoording papieren toetsen Begrijpend lezen voor groep 7 en 8. Arnhem: Cito. 31