Verantwoording Verslag van het kalibratie-, validerings- en normeringsonderzoek

Transcriptie

1 Toetsen Begrijpend Lezen Verantwoording Verslag van het kalibratie-, validerings- en normeringsonderzoek Gerrit Staphorsius Ronald Krom Frans Kleintjes Norman Verhelst Citogroep Arnhem,

2 Colofon Toetsen Begrijpend Lezen Toetsconstructie: Gerrit Staphorsius en Ronald Krom Opzet en uitvoering kalibratie- en normeringsonderzoek: Gerrit Staphorsius en Ronald Krom Kalibratie en methodologische adviezen: Norman Verhelst en Frans Kleintjes Wetenschappelijke verantwoording: Gerrit Staphorsius, Ronald Krom, Frans Kleintjes en Norman Verhelst Redactie handleiding: Gerrit Staphorsius en Ronald Krom Illustraties in de opgavenboekjes: Adri Smit Uitgave Toetsen Begrijpend Lezen: Eerste druk: 1995 Tweede druk: 1998 Arnhem Citogroep Alle rechten voorbehouden 2

3 Inhoudsopgave 1 Beknopt overzicht van de Toetsen Begrijpend Lezen (TBL) Doel Operationalisering van 'begrijpend lezen' Doelgroep en afnamemomenten Samenstelling Interpretatie van de scores 6 2 Kalibratie, normering en validering: een overzicht Kalibratie Validiteit Betrouwbaarheid Normering 8 3 Kalibratie: TT-opgaven op één schaal Het meetmodel Afnamedesign Toetsing en resultaten 13 4 Validiteit Begripsvaliditeit Geen deelvaardigheden Index Begrijpen van Teksten Recent onderzoek Inhoudsvaliditeit Samenvatting 16 5 Betrouwbaarheid 'Betrouwbaarheid' en de TBL Accuracy of Measurement (MAcc) 17 6 Normering Steekproef en populatie Groep 4 'einde leerjaar' Groep 5 en 6 'midden leerjaar' Groep 7 en 8 'midden leerjaar' Resultaten Recente referentiegegevens 23 7 Overzicht van de belangrijkste psychometrische kenmerken van de TBL Validiteit Betrouwbaarheid Normering 24 3

4 Literatuur 26 Bijlagen Bijlage 1 Voorbeelden van TBL-opgaven 27 Bijlage 2 Illustratie van Clib-niveau 4 tot en met 8 uit de Clib-tekstenschaal 29 Bijlage 3 Classificatie van de CLIB's in LVS-letterniveaus 34 4

5 1 Beknopt overzicht van de Toetsen Begrijpend Lezen (TBL) De TBL (Staphorsius en Krom, 1998) zijn een serie toetsen 'begrijpend lezen'. Ze indexeren de leesvaardigheid met de CLIB: Cito LeesIndex voor het Basis- en speciaal onderwijs. De CLIB is vaardigheidsscore. De CLIB's op verschillende toetsen kunnen - anders dan de ruwe scores - direct met elkaar vergeleken worden: een CLIB van 42 op toets 2 is hetzelfde als een CLIB van 42 op toets 1, ook al zijn toets 1 en toets 2 verschillende toetsen. De CLIB is behalve een leesvaardigheidsindex óók een leesbaarheidsindex. Zoals leesvaardigheid een eigenschap is van lezers, zo is leesbaarheid of vereiste leesvaardigheid een kenmerk van teksten (Staphorsius, 1994). De TBL-opgaven zijn afkomstig uit een opgavenbank waarvan alle opgaven op dezelfde vaardigheidsschaal (Clib-schaal) liggen. Daartoe behoren ook de opgaven in de Clib-toetsen. Het format van de TBL-opgaven (meerkeuzevragen bij teksten) is anders dan van de opgaven die in de Clib-toetsen zijn opgenomen (teksttoetsopgaven: meerkeuzeopgaven die vragen een tekst te reconstrueren; Staphorsius, 1992a, 1994; Staphorsius, Verhelst, Kleintjes, 2000). In dit hoofdstuk geven we verder een beknopt overzicht van de TBL. In hoofdstuk 2 presenteren we het constructie-ondersteunend onderzoek in een overzicht. In hoofdstuk 3, 4, 5 en 6 werken we hoofdstuk 2 uit in een hoofdstuk over de achtergronden en resultaten van de kalibratie (hoofdstuk 3), de validiteit (hoofdstuk 4), de betrouwbaarheid (hoofdstuk 5) en de normering (hoofdstuk 6). In hoofdstuk 7 tot slot vatten we de belangrijkste psychometrische kenmerken van de TBL samen. 1.1 Doel De TBL is een operationalisering van het begrip 'begrijpend lezen'. De belangrijkste doelen van de TBL zijn: - niveaubepaling De TBL geven een antwoord op de vraag: welke positie hebben individuele leerlingen in de verdeling van 'begrijpend lezen' in de populatie leerlingen in een bepaald leerjaar? - progressiebepaling De TBL maken het mogelijk de ontwikkeling van de vaardigheid 'begrijpend lezen' te volgen. Ze geven een antwoord op vragen als: is er sprake van vooruitgang, achteruitgang of van stabilisering? Is de vooruitgang - gelet op de gemiddelde vooruitgang in de populatie - volgens verwachting? - discrepantie-analyse De TBL kunnen naast andere toetsen in het LVS en naast andere gegevens die bekend zijn bij de leerkracht, een bijdrage leveren aan het vaststellen en analyseren van discrepanties tussen leervorderingen. Zo kan blijken dat een leerling relatief zwakke prestaties levert op de TBL, maar op de toetsen Luisteren (Krom, 1994, 1996) juist tamelijk goed presteert. Een analyse zou kunnen opleveren dat de betrokken leerling als het gaat om de leestechniek een relatief grote achterstand heeft. De TBL hebben een belangrijk didactisch nevendoel: het afstemmen van de leesstof op de leesvaardigheid. De toetsen zijn daar geschikt voor omdat de CLIB zowel een index voor de leesvaardigheid van leerlingen als een index voor de leesbaarheid van teksten is. Met de CLIB worden leesvaardigheid en leesbaarheid (= vereiste leesvaardigheid) op één schaal uitgedrukt. 1.2 Operationalisering van 'begrijpend lezen' De TBL bestaan uit vragen bij teksten. De vragen hebben betrekking op de hoofdlijnen van een tekst (bijvoorbeeld: hoofdonderwerp, doel van de schrijver, beoogd publiek, onderscheid hoofd- en bijzaken) en op relaties tussen feiten en gebeurtenissen. Voor voorbeelden van vragen verwijzen we naar bijlage 1. 5

6 De afnameduur van de TBL is niet gelimiteerd. De leerlingen kunnen aan een toets werken totdat ze alle opgaven gemaakt hebben. 1.3 Doelgroep en afnamemomenten De TBL zijn bestemd voor leerlingen in groep 3 tot en met 8 in het basis- en speciaal onderwijs. Voor de TBL voor groep 4 zijn de populatieparameters op 'einde leerjaar' bepaald, voor groep 5 tot en met 8 op 'midden leerjaar', maar ook als de TBL op andere momenten worden afgenomen, zijn er via de Clib-niveaus referentiegegevens beschikbaar. De TBL kunnen op niveau worden toegewezen (zie bladzijde 19, 23, 24, 26 en 28 in de handleiding bij de TBL). Het afnamemoment van de eerste toets van de TBL is afhankelijk van de leesvaardigheid van de leerlingen (tenminste het niveau 'einde aanvankelijk leesonderwijs': de afname kan plaatsvinden van april - juni in groep 3 en in groep 4 van augustus - januari). 1.4 Samenstelling De TBL bestaan uit 6 toetsboekjes: Toets A (voor groep 3/4), Toets B voor groep 4 en toets 1 tot en met 4 voor groep 5 tot en met 8. De toetsen 1 tot en met 4 bestaat uit 3 modules. Daarvan moet de combinatie 1 en 2 of 1 en 3 gemaakt worden. Module 1 is afgestemd op de gemiddelde leerling. In combinatie met module 2 is module 1 de TBL voor leerlingen met een niveau dat onder het gemiddelde ligt. De combinatie van module 1 en 3 is bestemd voor leerlingen op en boven de gemiddelde leesvaardigheid. De TBL bestaan behalve uit de 6 opgavenboekjes, uit een handleiding, een antwoordblad, een leerlingrapport, een groepsoverzicht in de vorm van een kopieerblad, een mal met de sleutel (het overzicht van goede antwoorden) en de Boekenwijzer. De Boekenwijzer is een programma dat aangeeft welke boeken met een grote mate van waarschijnlijkheid geschikt zijn voor een leerling met een gegeven CLIB en CILT 1. Om de score te kunnen bepalen is de sleutel op een mal afgedrukt die op het antwoordblad past. De scores op de TBL kunnen worden ingevoerd in het Computerprogramma LVS (Rosier, 2001). 1.5 Interpretatie van de scores De ruwe scores kunnen worden omgezet naar: - de CLIB (vaardigheidsscores Begrijpend lezen) Met behulp van de CLIB zijn de scores op verschillende toetsen direct vergelijkbaar. De omzettingstabel treft u aan in bijlage 6 van de handleiding. De CLIB heeft een domeingerichte interpretatie: de CLIB geeft aan wat de moeilijkste tekst (boeken, tijdschriften, internetpagina's met geschreven tekst enzovoort) is die een leerling met een grote kans op begrip nog kan lezen. Zo betekent een CLIB van 42: deze leerling kan vermoedelijk teksten lezen met een CLIB van ongeveer 42 en lager. Met het oog op de domeingerichte interpretatie is de Clib-tekstenschaal (Staphorsius, 1992b) geconstrueerd. Leerkrachten kunnen zich aan de hand daarvan een concrete indruk vormen van de leesvaardigheid van leerlingen (zie voor een illustratie van de Clibtekstenschaal bijlage 2). Voor achtergronden van de omzetting van de ruwe scores naar de CLIB verwijzen we naar Leesbaarheid en leesvaardigheid, hoofdstuk 8 (Staphorsius, 1994). - Cito-leerlingvolgsysteem letterniveaus De LVS-letterniveaus A-E zijn geclassificeerde scores. Ze geven de positie van de leerling in de populatieverdeling 'leesvaardigheid' aan. Door deze transformatie kan het niveau van de leerling bepaald worden in vergelijking met de gemiddelde vaardigheid (CLIB) in de populatie waartoe de leerling behoort. In de handleiding zijn in een tabel de niveau-indicaties gedefinieerd. Via die tabel kunnen de scores - via de CLIB -worden omgezet naar niveau-indicaties. U treft deze tabel ook in bijlage 3 in dit rapport. 1 CILT = Cilt Index voor de LeesTechniek (Staphorsius en Verhelst, 1998). De 'c' in CILT wordt uitgesproken als 'k'. 6

7 - leerjaarniveauscores (Clib-niveaus) Clib-niveaus geven net als de beletterde niveau-indicaties in het LVS (A tot en met E) aan hoe goed een leerling presteert ten opzichte van andere leerlingen, maar dan uitgedrukt in leerjaar-niveau's. Bijvoorbeeld Clib-niveau 6 zegt: de leesvaardigheid van van deze leerling ligt op het niveau van de gemiddelde leerling 'eind groep 6'. We onderscheiden 9 niveaus. Voor de omschrijving van de niveaus en de tabel waarmee via de CLIB de Clib-niveaus kunnen worden bepaald, verwijzen we naar tabel 1.1 hieronder (zie ook de handleiding bij de toetsen). Tabel 1.1 Van CLIB naar Clib-niveau CLIB Clib- Niveau-aanduiding niveau < ver onder de gemiddelde CLIB eind groep onder de gemiddelde CLIB eind groep direct om de gemiddelde CLIB eind groep direct om de gemiddelde CLIB eind groep direct om de gemiddelde CLIB eind groep direct om de gemiddelde CLIB eind groep direct om de gemiddelde CLIB eind groep boven de gemiddelde CLIB eind groep ver boven de gemiddelde CLIB eind groep 8 De omzetting naar Clib-niveaus is zeer bruikbaar voor speciale scholen voor basisonderwijs (SSBO). Leerkrachten kunnen door omzetting naar niveauscores eventuele leerachterstanden vaststellen. 7

8 2 Kalibratie, normering en validering: een overzicht 2.1 Kalibratie Een van de doelen van de TBL is het volgen van de ontwikkeling van de vaardigheid 'begrijpend lezen' bij de leerlingen in de tijd. Het is daarom van groot belang dat scores op verschillende toetsen direct met elkaar vergeleken kunnen worden. Daartoe moeten alle opgaven op één schaal gebracht kunnen worden. In de jaren hebben we daartoe een kalibratie-onderzoek uitgevoerd, waarvan een tweede doel was: equivaleren van de TBL-opgaven en de opgaven uit de Clib-toetsen (Staphorsius, 1992a; Staphorsius, 1994; Staphorsius, Verhelst en Kleintjes, 2000). In hoofdstuk 3 gaan we in op de achtergrond, de opzet en de resultaten van dit onderzoek. 2.2 Validering In hoofdstuk 4 stellen we naast de begripsvaliditeit ook de inhoudsvaliditeit van de TBL aan de orde. We rapporteen en analyseren daar correlaties tussen de TBL en andere taken, semantische en niet-semantische. We baseren ons daarbij behalve op steekproeven in het normeringsonderzoek in , ook op onderzoek in Betrouwbaarheid In hoofdstuk 5 rapporteren we ons onderzoek naar de betrouwbaarheid dat we op de gegevens uit het kalibratie- en normeringsonderzoek uitvoerden. 2.4 Normering Om de verdeling van de vaardigheid 'begrijpend lezen' in groep 4 'einde leerjaar' en in groep 5-8 'midden leerjaar' te kunnen schatten is in de jaren een normerings- of ijkingsonderzoek uitgevoerd. Over de opzet en de resultaten van dit onderzoek rapporteren we in hoofdstuk 6. 8

9 3 Kalibratie: TBL-opgaven op de Clib-schaal In de opgavenboekjes van de TBL voor groep 5 tot en met 8 zijn 75 opgaven - 3 modules van 25 - opgenomen. We adviseren de leerkrachten 2 modules - in totaal dus 50 opgaven - af te nemen. De opgavenboekjes A en B zijn bestemd voor groep 3 en 4. Boekje A heeft 43 en Boekje B 54 opgaven. De scores op de verschillende opgavenboekjes moesten, om aan het doel van de TBL te kunnen voldoen, vergeleken kunnen worden. Daarom is het essentieel dat we elke geselecteerde opgave qua moeilijkheid met alle andere TBL-opgaven kunnen vergelijken. Bovendien wilden we de TBL-opgaven op dezelfde schaal brengen als de opgaven uit de Clib-toetsen, een alternatieve operationalisering van 'begrijpend lezen'. Daarmee zouden ook scores op TBL-opgaven net als op de scores op de Clib-toetsen een CLIB als vaardigheidsscore opleveren (zie voor de functie van de CLIB de handleiding of, voor een beknopte uitleg, paragraaf 1.5). We gaan voor de kalibratie van de geconstrueerde TBL-opgaven uit van een op de itemresponsetheorie (verder: IRT) gebaseerd meetmodel het zogenaamde One Parameter Logistic Model (in het vervolg: OPLM; Verhelst, Glas & Verstralen, 1994). Naast het praktische voordeel van de automatische equivalering van items op een en dezelfde schaal, hebben IRT-modellen een belangrijk theoretisch voordeel. Het zijn theorieën die empirisch getoetst kunnen worden en die het mogelijk maken te onderzoeken of het zinvol is verschillende items op te vatten als indicatoren voor één onderliggende vaardigheid. Zo bezien maakt het toetsen van het gehanteerd IRT-model deel uit van het validiteitsonderzoek. Een positief resultaat wijst erop dat het inderdaad zinvol is te spreken van één onderliggende latente variabele. In paragraaf 3.1 gaan we in op de achtergronden van het meetmodel 1. In paragraaf 3.2 bespreken we de opzet van het kalibratie-onderzoek en in paragraaf 3.3 de resultaten. In die paragraaf komt ook aan de orde hoe de modelaannames statistisch worden getoetst. 3.1 Het meetmodel In het normeringsonderzoek is gebruik gemaakt van een op de itemresponstheorie (IRT) gebaseerd meetmodel. Dergelijke modellen verschillen in een aantal opzichten nogal sterk van de klassieke testtheorie (Verhelst, 1993; Glas & Verhelst, 1993). Bij de klassieke testtheorie staan de toets en de toetsscore centraal. Het theoretisch belangrijkste begrip in deze theorie is de zogenaamde ware score, de gemiddelde score die de persoon zou behalen indien de test een oneindig aantal keren onder dezelfde condities zou worden afgenomen. Die notie geeft een van de belangrijkste (praktische) obstakels van deze theorie voor ons onderzoek weer: het is problematisch om toetsscores te vergelijken die verkregen zijn in een onvolledig design 2. Hoewel er methoden bestaan binnen de klassieke testtheorie om toetsscores te equivaleren (Engelen & Eggen, 1993), schiet deze benadering te kort als het gaat om de centrale vraag: hoe weten we dat de equivalering zinvol is? Op die vraag heeft de IRT een antwoord. In de IRT staat het te meten begrip of de te meten eigenschap centraal. De IRT beschouwt het antwoord op een item als een indicator voor de mate waarin die eigenschap aanwezig is. Het verband tussen eigenschap en itemantwoord is van probabilistische aard en wordt weergegeven in de zogenaamde itemresponsfunctie. Die geeft aan hoe groot de kans is op een correct antwoord als functie van de onderliggende eigenschap of vaardigheid. Formeler: zij X i de toevalsvariabele die het antwoord op item i voorstelt. X i neemt de waarde 1 aan in geval van een correct antwoord en 0 in geval van een fout antwoord. Als symbool voor de vaardigheid kiezen we θ. We wijzen erop dat θ niet rechtstreeks observeerbaar is. Dat zijn alleen de antwoorden op de opgaven. Dat is de reden waarom θ een 'latente' variabele wordt genoemd 3. De itemresponsfunctie f i (θ) is gedefinieerd als een conditionele kans: 1 De tekst in dit hoofdstuk is voor een aanzienlijk deel ook te vinden in Staphorsius (1994). 2 Het normeringsonderzoek is uitgevoerd in een zeer heterogene groep. Het betrof leerlingen in groep 4 tot en met 8 van het basisonderwijs. Het was dus niet zinvol (en pedagogisch gezien ongewenst) om alle leerlingen alle opgaven te laten maken. 3 Dit maakt duidelijk waarom men de modellen die ressorteren onder de IRT, ook wel aanduidt met 'latente trek'-modellen. 9

10 f ( θ ) = P( X = 1 θ ) (3.1) i i Een IRT-model is een speciale toepassing van (3.1) waarbij aan de functie f i (θ) een meer of minder specifieke functionele vorm wordt toegekend. Een eenvoudig en zeer populair voorbeeld is het zogenaamde Raschmodel (Rasch, 1960) waarin f i (θ) gegeven is door i exp( θ βi ) ( θ ) = 1 + exp( θ β ) f (3.2) i waarin β i de moeilijkheidsparameter van item i is. Dat is een onbekende grootheid die geschat wordt uit de observaties. De grafiek van (3.2) is weergegeven in figuur 3.1 voor twee items, i en j, die in moeilijkheid verschillen. Deze figuur illustreert dat de itemresponsfunctie een stijgende functie is van θ: hoe groter de vaardigheid, des te groter de kans op een juist antwoord. Indien de latente vaardigheid precies gelijk is aan de moeilijkheidsparameter β i, krijgen we i exp( βi βi) 1 1 ( βi) = = = 1+ exp( β β ) f (3.3) i i Daaruit volgt onmiddellijk een interpretatie voor de parameter β i : het is de 'hoeveelheid' vaardigheid die nodig is voor de kans van precies een half om het item i juist te beantwoorden. Uit de figuur blijkt duidelijk dat voor item j een grotere vaardigheid nodig is om diezelfde kans te bereiken, maar dit is hetzelfde als te zeggen dat item j moeilijker is dan item i. We kunnen de parameter β i dus terecht omschrijven als de moeilijkheidsparameter van item i. De implicatie van het bovenstaande is dat 'moeilijkheid' en 'vaardigheid' op dezelfde schaal liggen. Figuur 3.1 Twee itemresponscurven in het Raschmodel Formule (3.2) is geen beschrijving van de werkelijkheid, het is een hypothese over de werkelijkheid die getoetst kan worden op haar houdbaarheid. Hoe zo'n toetsing grofweg verloopt, maken we duidelijk aan de hand van figuur 3.1. Daaruit blijkt dat, voor welk vaardigheidsniveau dan ook, de kans om item j juist te beantwoorden steeds kleiner is dan de kans op een juist antwoord op item i. Daaruit volgt de statistisch te toetsen voorspelling dat de verwachte proportie juiste antwoorden op item j kleiner is dan op item i in een willekeurige steekproef van personen. Splitst men nu een grote steekproef in twee deelsteekproeven, een 'laaggroep', met de vijftig procent laagste scores, en een 'hooggroep', met de vijftig procent hoogste scores, dan kan men nagaan of de geobserveerde p- waarden van de opgaven in beide deelsteekproeven op dezelfde wijze geordend zijn. Daarvan kan strikt genomen alleen sprake zijn als, in termen van de klassieke testtheorie uitgedrukt, alle opgaven eenzelfde discriminatie-index hebben. Dat echter blijkt lang niet altijd zo te zijn. Ook in ons geval niet. Vele van onze items blijken dan ook niet beschreven te kunnen worden met het Raschmodel. We zijn daarom op zoek gegaan naar een ander model. 10

11 Voordat we het door ons gebruikte model introduceren, moeten we eerst een opmerking maken over het schatten van de moeilijkheidsparameters in het Raschmodel. Hoewel de literatuur verschillende schattingsmethoden beschrijft, zijn er twee die tegenwoordig veel worden gebruikt. De eerste, die wordt aangeduid als de 'marginale grootste aannemelijkheidsmethode' (in het Engels: Marginal maximum likelihood, verder afgekort als MML), veronderstelt naast (3.2) ook nog dat de vaardigheid θ in de populatie een bepaalde verdeling heeft. De meeste computerprogramma's die IRT-analyses kunnen uitvoeren, veronderstellen een normale verdeling. Bovendien stelt deze methode de voorwaarde dat de steekproef die voor de schatting gebruikt wordt uit die verdeling een aselecte steekproef is. Is aan deze dubbele veronderstelling (normaliteit en aselecte steekproef) niet voldaan, dan is het model verkeerd gespecificeerd. Dit heeft tot gevolg dat er systematische fouten kunnen optreden in de schattingen van de itemparameters. In ons design (zie hoofdstuk 3) is aan de eis van aselectie zeker niet voldaan. Om die reden hebben we dan ook afgezien van de MML-schattingsmethode. De tweede vaak toegepaste schattingsmethode is de 'conditionele grootste aannemelijkheidsmethode' (in het Engels: Conditional maximum likelihood, verder aangeduid als CML). Die maakt gebruik van het feit dat in het Raschmodel een afdoende steekproefgrootheid ('sufficient statistic') bestaat voor de latente variabele θ, namelijk de ruwe score of het aantal correct beantwoorde items. Dat betekent grofweg dat, indien de itemparameters bekend zijn, alle informatie die het antwoordpatroon over de vaardigheid bevat, kan worden samengevat in de ruwe score; het doet er dan verder niet meer toe welke opgaven goed en welke fout zijn gemaakt. Hieruit vloeit voort dat de conditionele kans op een juist antwoord op item i, gegeven de ruwe score, een functie is die alleen afhankelijk is van de itemparameters en onafhankelijk van de waarde van θ 1. De CML-schattingsmethode maakt van deze functie gebruik. Het belangrijkste voordeel van deze methode is dat ze geen enkele veronderstelling maakt over de verdeling van de vaardigheid in de populatie, en dat het er niet toe doet hoe de steekproef is getrokken. Zelfs als dezelfde leerling verschillende keren aan het onderzoek deelneemt vormt dit geen enkel bezwaar (Verhelst & Kleintjes, 1993). De CML-schattingsmethode is echter niet bij elk meetmodel toepasbaar. Verhelst en Eggen (1993) stellen een meetmodel voor, het zogenaamde éénparameter logistisch model (One Parameter Logistic Model, afgekort: OPLM), waarin CML mogelijk is en dat, anders dan het Raschmodel, wel bestand is tegen 'omwisseling' van 'proporties juist' in verschillende steekproeven. De itemresponsfunctie van het OPLM is gegeven door exp[ ai( θ βi)] fi ( θ ) = 1 + exp[ a ( θ β )] i i, (3.4) waarin a i de zogenaamde discriminatie-index van het item is. Door deze indices te beperken tot (positieve) gehele getallen, en door ze a-priori als constanten in te voeren, is het mogelijk CMLschattingen van de itemparameters β i te maken (Verhelst & Eggen, 1989). In figuur 3.2 opde volgende pagina is de itemresponscurve weergegeven van twee items i en j, die even moeilijk zijn maar verschillend discrimineren. De schattingen worden berekend met het computerprogramma OPLM (Verhelst, Glas & Verstralen, 1994). Dit programma voert eveneens statistische toetsen uit op grond waarvan kan worden bepaald of het model de gegevens adequaat beschrijft. Omdat een aantal van deze toetsen bijzonder gevoelig is voor een verkeerde specificatie van de discriminatie-indices, zijn de uitkomsten van deze toetsen bruikbaar als modificatie-indices: ze geven een aanwijzing in welke richting deze discriminatie-indices moeten worden aangepast om een betere overeenkomst tussen model en gegevens te verkrijgen. Kalibratie van items volgens het OPLM is dan ook een iteratief proces waarin alternerend de modelfit van items wordt onderzocht middels statistische toetsing en de waarden van de discriminatie-indices worden aangepast op grond van de resultaten van deze toetsen. Deze aanpassingen geschieden in de praktijk op basis van een en hetzelfde gegevensbestand. Er kan dus kanskapitalisatie optreden. Indien een steekproef een voldoende grootte heeft, is het effect van deze kanskapitalisatie echter gering (Verhelst, Verstralen en Eggen, 1991). 1 Een gedetailleerde uiteenzetting hierover kan men vinden in Verhelst,

12 Figuur 3.2 discriminatie Twee itemresponscurven in het OPLM: zelfde moeilijkheid, verschillende Hoewel het OPLM aanzienlijk flexibeler is dan het Raschmodel, heeft het met dit model toch een nadeel gemeen, waardoor het bij het kalibreren van meerkeuze-opgaven niet zonder meer bruikbaar is. Uit de formules (3.2) en (3.4) volgt dat, indien θ zeer klein is, de kans op een juist antwoord zeer dicht in de buurt van nul komt. Maar een deel van de items in het normeringsonderzoek zijn meerkeuze-items, zodat blind gokken een zeker kans op een juist antwoord impliceert. Er bestaan modellen die rekening houden met de raadkans (Lord & Novick, 1968), maar die laten geen CML-schattingsmethode toe. De ongeschiktheid van het Raschmodel of OPLM voor meerkeuzevragen is echter relatief: indien de items in vergelijking met de vaardigheid van de leerling niet al te moeilijk zijn, blijkt dat het effect van het raden op de overeenkomst tussen model en gegevens klein is. Door een verstandige dataverzamelingsprocedure toe te passen kan het OPLM toch toegepast worden op meerkeuzevragen, waarbij de overeenkomst tussen model en data de uiteindelijke doorslag over die geschiktheid moet geven. Op de vraag hoe de modelaannames statistisch worden getoetst, zullen we in paragraaf 3.3 ingaan. Daar geven we de resultaten van de kalibratie van de TBL-opgaven. In de volgende paragraaf presenteren we het design van het kalibratie-onderzoek. 3.2 Afnamedesign In totaal zijn er 607 TBL-opgaven met OPLM geanalyseerd. De responsen zijn volgens een onvolledig, maar compleet verbonden design verzameld (zie tabel 3.1 voor een schematisch overzicht). Tabel 3.1 Globale weergave van het design van het TBL-kalibratie-onderzoek Moment 1 Aantal lln. Clibopgaven TBL-opg. E4 TBL-opg. M5 TBL-opg. M6 TBL-opg. M7 TBL-opg. M8 M M M M E4-E E M betekent: afname in Groep 5 'midden leerjaar' in het jaar

13 In de jaren zijn eerst de TBL-opgaven in groep 5 tot en met 8 afgenomen. In 1995 is in een afzonderlijk kalibratie-onderzoek in groep 4 tot en met 8 een verband gelegd tussen de Clibtoets- en de TBL-opgaven. In 1997 zijn vervolgens TBL-opgaven voor groep 3 en 4 aan de Clibschaal gekoppeld Toetsing en resultaten Van de 607 'bij' te kalibreren opgaven pasten er 567 op de Clib-schaal. In totaal 40 opgaven pasten niet of niet goed. Bij verreweg de meeste van deze 40 opgaven was de oorzaak van de slecht of matige passing 'raden': zwakke leerlingen presteerden op deze opgaven beduidend beter dan door het model werd voorspeld. De niet passende opgaven zijn buiten de uiteindelijke selectie gelaten. De passing van het model illustreren we met figuur 3.3 (zie Staphorsius, 1994, blz. 239). Daarin beelden we voor een opgave de gegevens af waarop de zogenaamde S i -toetsen gebaseerd zijn. Ten behoeve van deze toetsing wordt de totale groep van leerlingen die een verzameling opgaven gemaakt heeft, ingedeeld in 8 zogenaamde scoregroepen. Elke groep bestaat uit leerlingen met een ongeveer even hoge score. De geobserveerde proporties juiste antwoorden van deze groepen (telkens gesymboliseerd door een x) zijn door de middelste stippellijn verbonden. Figuur 3.3 Grafische voorstelling van een S i -toets De volle lijn daarentegen verbindt de proporties die we op grond van de parameterschattingen kunnen voorspellen. De twee buitenste lijnen geven het 95%-betrouwbaarheidsinterval aan. De breedte van dit interval is in belangrijke mate afhankelijk van het aantal leerlingen dat de opgave heeft beantwoord. In het voorbeeld van figuur 3.5 bedraagt dit aantal meer dan Uit de figuur blijkt heel duidelijk dat de geobserveerde proporties, zoals bedoeld, binnen het 95%- betrouwbaarheidsinterval van de (geschatte) voorspelde proporties liggen, en dit komt in grote lijnen overeen met een niet-significante S i -toetsingsgrootheid (Verhelst, 1994). Bij de meeste van de 567 opgaven krijgen we een grafische voorstelling van de S i -toetsing die in grote lijnen met figuur 3.5 overeenkomt. Dit is, zeker gezien de relatief grote aantallen observaties die in het geding zijn, een sterke aanduiding dat het meetinstrument en het meetmodel dat we hebben ontwikkeld, respectievelijk gebruikt, adequaat zijn om het gedrag van de leerlingen te verklaren. Bovendien blijkt, en dat is vanuit theoretisch oogpunt nog belangrijker, dat gemeten verschillen in gedrag tussen de leerlingen te verklaren zijn door één unidimensionaal concept. Dat is hetzelfde concept als van de opgaven 'begrijpend lezen' in de Clib-toetsen. Staphorsius, Verhelst en Kleintjes (2000) rapporteren valideringsonderzoek dat het aannemelijk maakt dat het gemeten concept 'begrijpend lezen' genoemd kan worden. In het volgende hoofdstuk komen we hier nog op terug. 1 De Clib-schaal was toen al de schaal waarop op basis van het kalibratie-onderzoek in 1995 zowel de Clib-toetsopgaven als de TBL-opgaven lagen. 13

14 4 Validiteit In paragraaf 4.1 rapporteren we onderzoek dat aanwijzingen oplevert voor de begripsvaliditeit van de TBL. In paragraaf 4.2 gaan we in op de inhoudsvaliditeit. 4.1 Begripsvaliditeit In hoeverre is de TBL een operationalisering van het begrip 'begrijpend lezen'? Of: in hoeverre doen de opgaven in de TBL een beroep op kennis- en vaardigheden waarop ook tijdens het lezen van teksten (boeken, artikelen in jeugdtijdschriften, brieven, folders enzovoort) een beroep gedaan wordt? Deze vraag hebben we eigenlijk al beantwoord in het verslag van kalibratie- en valideringsonderzoek dat in het kader van de ontwikkeling van de Clib-toetsen werd uitgevoerd (Staphorsius, 1994; Staphorsius, Verhelst en Kleintjes, 2000). In paragraaf 3.3 hebben we gerapporteerd dat de opgaven in de Clib-toetsen op dezelfde schaal - de Clib-schaal - liggen als de opgaven in de TBL. Voor de validiteit van de Clib-toetsen vinden Staphorsius et al. sterke aanwijzingen. Deze bevinding komt neer op de validering van alle opgaven die passen op de Clib-schaal. In paragraaf gaan we kort in op de Index voor het Begrijpen van Teksten (afgekort: IBT; Staphorsius en Krom, 1998). De IBT is een index waarnaar zowel de ruwe scores op de TBL als op de Toetsen Luisteren (Krom, 1994 en 1996) kunnen worden omgezet. In paragraaf bespreken we recent onderzoek in het kader van de Entreetoetsen (Staphorsius, 2000a en 2000b) dat aanwijzingen oplevert voor de begripsvaliditeit van de TBL. In paragraaf gaan we eerst kort in op de vraag of het zinvol is deelvaardigheden te onderscheiden Geen deelvaardigheden Uit ons kalibratie-onderzoek bleek dat met TBL-opgaven vastgestelde verschillen in gedrag tussen de leerlingen te verklaren zijn door één unidimensionaal concept. Dit, terwijl de TBL-opgaven onder te brengen in allerlei verschillende indelingen, al dan niet met de pretentie van psychologische relevantie. In de handleiding maken we een globaal onderscheid tussen 'vragen naar de inhoud' en 'vragen naar de situatie'. We hebben van dat onderscheid gebruik gemaakt om de toetsen op logischinhoudelijke overwegingen evenwichtig samen te stellen. Maar we hadden op basis van veronderstelde verschillen in het gedrag dat vragen uitlokken, ook kunnen onderscheiden tussen bijvoorbeeld reproductie-, conclusie- en samenvattingsvragen. De rubrieken zouden goed gevuld zijn geweest. Hetzelfde geldt voor een indeling van vragen naar de letterlijke en vragen naar de impliciete betekenis. Voor de psychologische relevantie van deze indelingen van de TBL-opgaven hebben we geen empirische evidentie gevonden: de opgaven liggen op één schaal en meten één en dezelfde latente trek. Deze bevinding is in overeenstemming met de literatuur (zie Wesdorp, 1981). In paragraaf 4.2 merken we op dat we allerlei verschillende soorten teksten in de TBL als uitgangspunt voor vragen en opdrachten gebruiken. Wat hierboven gezegd is over deelvaardigheden naar aanleiding van te onderscheiden soorten opgaven, geldt ook voor het begrijpen van verschillende soorten teksten. Ons kalibratie- en valideringsonderzoek leverde geen aanwijzingen op voor het bestaan van bijvoorbeeld de vaardigheid 'het begrijpen van fictie' naast 'het begrijpen van non-fictie' of van 'het begrijpen van informatieve teksten' naast 'het begrijpen van directieve teksten' en 'het begrijpen van argumentatieve teksten' enzovoort Index Begrijpen van Teksten (IBT) Luisteren en lezen doen voor een groot deel een beroep dezelfde kennis en vaardigheden. Dat was voor Staphorsius en Krom (1998) aanleiding om na te gaan of de opgaven begrijpend lezen (Clibtoetsen en TBL) en de opgaven in Luisteren 2 en 3 (Krom, 1994, 1996) op één schaal te brengen waren. Het resultaat was de uitgave van een Combitoets Begrijpen van Teksten. (zie de 14

15 handleiding bij de TBL; Staphorsius en Krom, 1998). Deze combitoets levert de Index Begrijpen van Teksten (IBT), een transformatie van de ruwe scores op de combitoets, op. Dat de opgaven 'begrijpend lezen' (Clib-toetsen en TBL) en de opgaven 'luisteren' samen kunnen worden beschreven met OPLM is een aanwijzing voor de begripsvaliditeit van de TBL. Opgaven die deze onderscheiden vaardigheden representeren kunnen alleen op een vaardigheidsschaal (we hebben de IBT-schaal genoemd) als ze een beroep doen op grotendeels dezelfde kennis en vaardigheden. Het door de combitoets gemeten concept noemen we 'begrijpen van teksten' Recent onderzoek In de Entreetoets Groep 6 (Staphorsius, 2000b) en in de Entreetoets Groep 7 (Staphorsius, 2000a) zijn in de taak Begrijpend Lezen TBL-opgaven opgenomen die behoren tot de Clib-opgavenbank (in elk van beide toetsen 50). In de tabel hieronder rapporteren we correlaties tussen de scores op TBL-opgaven en andere onderdelen van de Entreetoets Groep 7, op basis van de afname in het jaar 2000 (ruim leerlingen). De onderdelen zijn in de tabel als volgt afgekort: DTS = schrijven van teksten (schrijfvaardigheid); Wsch = woordenschat; Spel = spelling; PV = herkennen persoonsvorm; Rek = Rekenen en Wiskunde; Info = informatieverwerking (lezen van tabellen, grafieken, schema's en kaarten, hanteren van naslagwerken). In de analyse van de Entreetoetsdata 'groep 6' zijn de correlaties ongeveer even hoog. Tabel 4.1 Correlaties tussen 'Begrijpend Lezen' en scores op andere taal- leestaken en rekenen (Einde groep 7; ongeveer leerlingen) TBL DTS Wsch Spel Pv Rek Info TBL 1.00 DTS Wsch Spel PV Rek Info Uit tabel 4.1 blijkt dat de correlaties tussen de TBL-opgaven en de semantische taken (woordenschat en informatieverwerking) hoger zijn dan tussen de meer formele onderdelen als 'spelling' en 'herkennen van de persoonsvorm'. Ook tussen de scores op de TBL-opgaven en de scores op rekenen is de correlatie lager dan tussen de TBL en andere taken waarin semantische vaardigheden domineren. 4.2 Inhoudsvaliditeit Zijn de opgaven in de TBL voor leerkrachten in de basisschool herkenbaar als opgaven 'begrijpend lezen'? In de basisschool wordt in het kader van het leesonderwijs door de meeste scholen in een afzonderlijk curriculum aandacht besteed aan het 'Begrijpend Lezen'. Via methoden probeert men de ontwikkeling van de leesvaardigheid te stimuleren door leerlingen teksten te laten lezen. De leerlingen maken dan vervolgens opdrachten en vragen naar aanleiding van en over die teksten. De vragen en opdrachten draaien samenvattend uitgedrukt om de volgende vraag: wat zegt de tekst waarover met welk doel en voor wie is de tekst bestemd? De gedachte achter deze didactiek is dat kennis en vaardigheden waarop het leesproces berust zo toenemen. Daarnaast probeert men met hetzelfde doel leerlingen in het basisonderwijs te stimuleren tot het lezen van fictie en non-fictie voor de jeugd. De opgaven in de TBL sluiten nauw aan bij het doel en de inhoud onderwijs in begrijpend lezen in de basisschool. Van de leerlingen die de TBL maken, wordt gevraagd eerst aandachtig een tekst te 15

16 lezen en vervolgens daarover vragen te beantwoorden. De inhoud van de vragen komt overeen met de vragen in taal- en leesmethoden in het basisonderwijs. De TBL heeft een gevarieerd aanbod van teksten. Ze verschillen in soort (fictie, non-fictie), lengte en in moeilijkheid. Voor de logisch-inhoudelijke analyse van 'begrijpend lezen' verwijzen we naar paragraaf in de handleiding (bladzijde 9 tot en met 11). We hebben er voor gezorgd dat er in elke toets zowel vragen naar het onderwerp, de hoofdgedachte, het doel van de schrijver en naar zijn publiek zijn opgenomen. Verder zijn er opgaven opgenomen die vragen conclusies te trekken uit feiten of uit combinaties daarvan. In elke toets komen ook vragen naar anaforische relaties (wat of wie wordt of worden bedoeld met 'dat', 'die', 'zij, 'hij' enzovoort) of naar referentiële relaties (bijvoorbeeld: wie worden bedoeld met 'het dubbel' in regel...?). Daarbij is niet uitgegaan van een bepaalde verdeling over te onderscheiden opgaven. We komen hierop nog terug in de volgende paragraaf (zie ook paragraaf en paragraaf 1.2 in de handleiding bij de TBL). 4.3 Samenvatting De opgaven in de TBL komen inhoudelijk overeen met de problemen waarmee leerlingen in het kader van het onderwijs in begrijpend lezen geconfronteerd worden. De opgenomen TBL-opgaven kunnen beschreven worden met OPLM. Dat betekent dat er onder deze opgaven een unidimensionaal concept ligt. Mogen we de TBL-opgaven beschouwen als een operationalisering van de 'latente trek' die in deze verantwoording centraal staat, de leesvaardigheid? In paragraaf 3.3 konden we rapporteren dat de TBL-opgaven op een schaal paste - de Clib-schaal - als opgaven die een alternatieve operationalisering van 'begrijpend lezen'. In paragraaf vinden we dat de semantische taken steeds iets hoger correleren met de CLIB van leerlingen dan met de scores op taken die de formele en conventionele aspecten van de taalkennis en -kunde betreffen. Een andere belangrijke indicatie voor de validiteit is de Combitoets Begrijpen van Teksten (paragraaf 4.1.2). De opgaven 'begrijpend lezen' en 'begrijpend luisteren' in deze combinatie liggen op één schaal. Dat is op basis van conceptuele overeenkomsten tussen lezen en luisteren geheel volgens verwachting. 16

17 5 Betrouwbaarheid 5.1 'Betrouwbaarheid' en de TBL Het goed definiëren van het begrip betrouwbaarheid in het kader van de TBL is geen eenvoudige aangelegenheid, en dit om twee redenen die nauw met elkaar samenhangen. De belangrijkste reden is dat betrouwbaarheid steeds gaat over de betrouwbaarheid van een welbepaalde toets. Bij het verzamelen van de gegevens ten behoeve van de kalibratie bestond er nog geen definitie van de toetsboekjes zoals die nu aan de scholen beschikbaar worden gesteld, omdat het goed definiren van de toetsboekjes pas kon gebeuren na de kalibratie. Daardoor kon in principe de situatie ontstaan dat geen enkele leerling alle items heeft beantwoord die tot een subtoets van de TBL behoren. Het is dus niet mogelijk om uit de onderzoeksgegevens een rechttoe rechtaan schatting te maken van een betrouwbaarheidsindex zoals bijvoorbeeld Cronbach's alpha. 5.2 Accuracy of Measurement (MAcc) In Verhelst, Glas en Verstralen (1995, pp ) is een coëfficiënt ontwikkeld die qua interpretatie een sterke overeenkomst vertoont met de betrouwbaarheidscoëfficiënt uit de klassieke testtheorie. Alleen het begrip ware score is wat meer geëxpliciteerd, als de verwachte score op een (vaste) toets, maar gezien als functie van de latente variabele θ. Deze verwachte waarde duiden we aan met τ(θ). Als we bovendien weten hoe θ in de populatie verdeeld is, kunnen we ook het gemiddelde en de variantie van de ware scores in de populatie bepalen. (Deze bepaling is niet triviaal simpel, en vereist gespecialiseerde software.) De variantie van de ware scores in de populatie duiden we aan met het symbool Var(τ). Tussen θ en τ(θ) bestaat een één-één relatie (de een kan uit de andere berekend worden) maar het is natuurlijk niet zo dat een persoon met vaardigheid θ per se de toetsscore τ(θ) moet behalen (dat is alleen zo als de toets oneindig lang wordt) en de geobserveerde score bij een eenmalige afname zal een afwijking vertonen van de verwachte score, waardoor we door met eenmalige toetsafname niet meer zonder fout de waarde van θ kunnen bepalen. De variantie van de geobserveerde toetsscore duiden we aan met Var(t τ(θ)), en door weer gebruik te maken van de distributie van θ in de populatie kunnen we ook de gemiddelde variantie van de geobserveerde toetsscores gaan berekenen: Var( t) = E[ Var( t τ( θ ))] en deze variantie kunnen we opvatten als de (gemiddelde) meetfoutvariantie in de metriek van de geobserveerde scores t. In analogie met de theorie over de betrouwbaarheid definiëren we dan Var( τ ) MAcc = Var( τ ) + Var( t) waarin MAcc staat voor 'Accuracy of Measurement. Het enige dat we nodig hebben om de gespecialiseerde software te kunnen toepassen is een lijst met de itemparameters van de items die deel uitmaken van de toets en een specificatie van de verdeling van θ in de bedoelde populatie. Een schatting van de itemparameters krijgen we automatisch uit de kalibratie, maar voor de populatie moeten we een bijkomende veronderstelling maken. De veronderstelling die we gemaakt hebben voor de populaties Groep 4 (einde leerjaar) en groep vijf tot en met acht (medio leerjaar), is dat de verdeling van θ normaal is. Dan is het ook mogelijk om voor die verdelingen de twee parameters (gemiddelde en variantie) te schatten, en vervolgens de coëfficiënt MAcc uit te rekenen. In tabel 5.1 rapporteren we de MAcc's van de TBL. 17

18 Tabel 5.1 Betrouwbaarheidcoëfficiënten (MAcc) van de verschillende TBL Toets Aantal opgaven MAcc TBL A TBL B TBL 1 (1/2) TBL 1 (1/3) TBL 1 (1/2/3) TBL 2 (1/2) TBL 2 (1/3) TBL 2 (1/2/3) TBL 3 (1/2) TBL 3 (1/3) TBL 3 (1/2/3) TBL 4 (1/2) TBL 4 (2/3) TBL 4 (1/2/3) Tussenhaakjes staat de combinatie van modules waaruit de toets bestaat (zie paragraaf 1.4). 18

19 6 Normering De referentiegegevens voor groep 4 (einde leerjaar) zijn gebaseerd op een normeringsonderzoek in Van dit onderzoek doen we verslag in paragraaf De schattingen van het gemiddelde en variantie in groep 5 en 6 (midden leerjaar) zijn bepaald in onderzoek dat plaatsvond in 1991 en Over dat onderzoek rapporteren we paragraaf De populatiewaarden voor groep 7 en 8 (midden leerjaar) zijn bepaald op basis van een onderzoek dat plaatsvond in 1988/1989. Dit onderzoek komt in paragraaf aan de orde. In paragraaf 6.2 rapporteren we de uitkomsten van de normeringsonderzoeken. In paragraaf 6.5 vergelijken we de gegevens uit TBL-onderzoek met gegevens uit recent onderzoek in kader van de Entreetoetsen Basisonderwijs. 6.1 Steekproef en populatie Groep 4 'einde leerjaar' De CLIB's op de TBL kunnen worden omgezet in niveauscores (zowel in de LVS-AE-niveaus als in leerjaarniveaus (zie paragraaf 1.5 en bladzijde 31 en 32 in de handleiding). Deze scores zijn gebaseerd op een onderzoek naar de verdeling van de CLIB in Aan het slot van deze paragraaf vergelijken we de in 1987 verzamelde gegevens met recente gegevens. Bij de controle op de representativiteit van onze normeringssteekproef maken we gebruik van Eindtoets-gegevens. Aan de Eindtoets Basisonderwijs doen in scholen mee, ongeveer 40 procent van alle scholen. We gaan ervan uit dat deze scholen de populatie representeren 1. We vergelijken nu de standaardtotaalscore van de scholen in onze steekproef die ook eindtoetsdeelnemer zijn met die van alle 'Eindtoets-scholen'. De standaardtotaalscore (StScT) van scholen is een transformatie van de score op 60 taalopgaven, 40 opgaven 'begrijpend lezen', 40 rekenopgaven en 20 opgaven 'lezen en maken van kaarten, tabellen en grafieken'. Als de gemiddelden en standaarddeviaties van deze twee groepen niet significant van elkaar verschillen, kunnen we besluiten dat de Eindtoetsdeelnemers in onze steekproef de populatie representeren. Vervolgens gaan we na of ertussen het gemiddelde en de standaardafwijking van de CLIB van de 'Eindtoetsscholen' (EB-scholen) en de 'Niet-Eindtoets-scholen' (NET-scholen) in onze 1986/87-steekproef significante verschillen bestaan. Is ook dat niet het geval, dan kunnen we besluiten dat we de op onze steekproef verzamelde data in ieder geval kunnen generaliseren naar de populatie 'groep 8'. We vinden het echter aannemelijk dat dit ook voor de andere groepen geldt. Het kan weliswaar voorkomen dat de samenstelling van de bevolking van een school in de loop der jaren door bepaalde lokale omstandigheden verandert, maar er is geen enkele reden om aan te nemen dat dit in onze steekproef van scholen met het oog op een voor ons relevante populatie-karakteristiek systematisch het geval zal zijn. In de tabellen 6.1 en 6.2 rapporteren we de vergelijkingsgegevens. Het gemiddelde in onze ETdeelsteekproef van 1986/87 verschilt niet significant 2 van het populatiegemiddelde. De standaardafwijking is lager. In onze steekproef komen niet of nauwelijks scholen voor die zich bevinden in de staarten van de verdeling van de standaardscores 'Totaal' van alle aan de Eindtoets deelnemende scholen (ongeveer 5% van de ET-scholen heeft een standaardscore onder 525; ongeveer 2% heeft een score van boven 544). De verhouding tussen de varianties in onze steekproeven is niet significant kleiner dan in de populatie (via een χ²-toets waarbij we de variantie van alle EB-scholen als populatiewaarde beschouwen). We moeten er rekening mee houden dat we in onze steekproef een kleinere spreiding realiseren. Bij het opstellen van normen voor de populatie die overeenkomt met groep 4 zouden we de spreiding enigszins kunnen onderschatten. 1 Vergelijk Blok (1992). Deze onderzoeker rapporteert dat scholen die aan de Eindtoets Basisonderwijs deelnemen wat betreft hun achterstandsindex representatief zijn voor de totale populatie basisscholen. De achterstandsindex is gebaseerd op de zogenaamde leerlinggewichten. 2 Het gemiddelde van alle EB-scholen is beschouwd als populatie-waarde. 19

20 Tabel 6.1 Vergelijking standaardscores alle EB-scholen met EB-scholen in de P335- steekproeven Alle EB-scholen EB-scholen steekproef Aantal Gem. SD Aantal Gem. SD χ² p a a linker overschrijdingskans. De gemiddelde CLIB van leerlingen op de steekproefscholen (in groep 4 tot en met 8) die aan de Eindtoets deelnamen en de gemiddelde CLIB van de leerlingen op de Niet-EB-scholen (NEBscholen) in onze steekproef verschillen niet significant van elkaar. We wijzen erop dat in tabel 6.2. de gemiddelden berekend zijn op leerlingniveau, terwijl dat in tabel 6.1 op schoolniveau gebeurde, omdat we niet beschikten over Eindtoets-scores van individuele leerlingen. Tabel 6.2 Vergelijking CLIB van EB-scholen en NEB-scholen EB-scholen NEB-scholen Onze conclusie is dat we de gegevens die we verzamelden in onze steekproeven kunnen generaliseren naar de populatie 'Groep 4' voor wat het gemiddelde betreft. De spreiding hebben we wellicht iets onderschat. In 1997 voerden we met het oog op de uitbreiding van de TBL naar groep 4 een kalibratieonderzoek uit. Daaraan namen 44 scholen deel. Hoewel ons onderzoek van 1997 in de eerste plaats gericht was op de kalibratie van nieuwe opgaven, zijn de gegevens gebruikt om na te gaan de vaardigheid in de populatie nog ongeveer net zo verdeeld was als in De proefpersonen in het 1997 onderzoek zijn iets vaardiger, maar tabel 6.3 laat zien dat de steekproef in 1997 vermoedelijk ook iets vaardiger is dan de populatie in Tabel 6.3 Vergelijking standaardscores alle EB-scholen met EB-scholen in de P335- steekproeven Alle EB-scholen EB-scholen steekproef Aantal Gem. SD Aantal Gem. SD We gaan er op basis van deze gegevens van uit dat het onderzoek in 1987 ook in 1997 nog adequate schatters oplevert van de verdeling in de populatie Groep 5 en 6 'midden leerjaar' Voor het schatten van de populatieparameters van midden groep 5 en midden groep 6 zijn we uitgegaan van de steekproef voor het kalibratie-onderzoek (1991/ 1992). In die steekproef zaten de leerlingen van 54 scholen die vanaf 1988 al meededen aan het onderzoek dat de ontwikkeling van het Cito-Leerlingvolgsysteem ondersteunde. Tabel 6.4 geeft een indeling van de scholen in drie strata. De definitie van de strata is gebaseerd op de schoolscore, die op zijn beurt weer berekend wordt uit de formatiegewichten van de leerlingen 1. Tot stratum 1 behoren scholen waarvan de 1 De ratio van het gewogen aantal leerlingen en het nominale aantal leerlingen, na aftrek van een correctieterm van het 20

21 gemiddelde schoolscore <1.05 is, tot stratum 2 de scholen met een score tussen 1.06 en 1.15 en tot stratum 3 de scholen met een score > Tabel 6.4 Verdeling van scholen in de steekproef 'midden groep 5 (965 lln) een 6 (986 ll.)' over de strata gebaseerd op het formatiegewicht van de leerlingen Stratum 1 Stratum 2 Stratum 3 Aantal scholen in steekproef % scholen in steekproef 37,0 31,5 31,5 % scholen landelijk a 48,5 31,8 19,7 a In het Cito-LVS wordt 1988 als basisjaar gehanteerd; in 1988 was de start van het Cito-LVS-onderzoek. Janssen et al (1999) definiëren de strata in termen van culturele en sociaal-economische achtergrond van de leerlingen en wel als volgt: Stratum 1: overwegend kinderen van ouders met afgeronde voortgezette opleidingen, weinig allochtone kinderen; Stratum 2: relatief meer Nederlandse arbeiderskinderen, weinig allochtone kinderen; Stratum 3: vooral Nederlandse arbeiderskinderen en allochtone kinderen. Op basis van de landelijke percentages is de steekproef gewogen zodat de frequentieverdeling gebaseerd is op een steekproef die de landelijke verdeling van de scholen over de strata representeert Groep 7 en 8 'midden leerjaar' De verdeling van de CLIB in de populaties 'midden groep 7' en 'midden groep 8' is in 1989/ 1990 bepaald. Bij de controle op de representativiteit van onze normeringssteekproef 'groep 7 en 8' maken we gebruik van Eindtoets-gegevens. Aan de Eindtoets Basisonderwijs doen in scholen mee, ongeveer 50 procent van alle scholen. We gaan ervan uit dat deze scholen de populatie representeren (zie ook paragraaf 6.1.1). We vergelijken nu de standaardtotaalscore (zie ook paragraaf 6.1.1) van de scholen in onze steekproef die ook eindtoetsdeelnemer zijn met die van alle 'Eindtoets-scholen'. Als de gemiddelden en standaarddeviaties van deze twee groepen niet significant van elkaar verschillen, kunnen we besluiten dat de Eindtoetsdeelnemers in onze steekproef de populatie representeren. Vervolgens gaan we na of ertussen het gemiddelde en de standaardafwijking van de CLIB van de 'Eindtoets-scholen' (EB-scholen) en de 'Niet-Eindtoetsscholen' (NEB-scholen) in onze 1989/1990-steekproef significante verschillen bestaan (zie ook paragraaf 6.1.1). Vergelijking standaardscores alle EB-scholen met EB-scholen in de ijkings- Tabel 6.5 steekproeven Alle EB-scholen EB-scholen steekproef Aantal Gem. SD Aantal Gem. SD χ² p a 1989/ a linker overschrijdingskans. De verhouding tussen de varianties in onze steekproeven is niet significant kleiner is dan in de populatie (via een χ²-toets waarbij we de variantie van alle EB-scholen als populatiewaarde beschouwen). We moeten er rekening mee houden dat we in onze steekproef een kleinere spreiding realiseren. Bij het opstellen van normen voor de populaties die overeenkomen met de groepen 7 en 8 zouden we de spreiding enigszins kunnen onderschatten. gewogen aantal leerlingen (9% van het nominale aantal leerlingen; zie Janssen et al, 1999). 21