Wetenschappelijke verantwoording Begrijpend lezen voor speciale leerlingen Functioneringsniveaus groep 6 tot en met 8 Marieke Tomesen en Anke Weekers

Transcriptie

1 Cito Volgsysteem primair en speciaal onderwijs Wetenschappelijke verantwoording Begrijpend lezen voor speciale leerlingen Functioneringsniveaus groep 6 tot en met 8 Marieke Tomesen en Anke Weekers

2

3 Wetenschappelijke verantwoording Begrijpend lezen voor speciale leerlingen Functioneringsniveaus groep 6 tot en met 8 Marieke Tomesen Anke Weekers Cito, Arnhem,

4 Cito B.V. Arnhem (2012) Niets uit dit werk mag zonder voorafgaande schriftelijke toestemming van Cito B.V. worden openbaar gemaakt en/of verveelvoudigd door middel van druk, fotografie, scanning, computersoftware of andere elektronische verveelvoudiging of openbaarmaking, microfilm, geluidskopie, film- of videokopie of op welke wijze dan ook. 2

5 Inhoud 1 Inleiding 5 2 Uitgangspunten van de toetsconstructie Meetpretentie Doelgroep Gebruiksdoel Theoretische inkadering Inhoudelijk Leesvaardigheden Teksten Contexten Psychometrisch Opgavenbanken Het gehanteerde meetmodel Vraagonzuiverheid 18 3 Beschrijving van de toets Opbouw, structuur, afname van de toetsen en verwerking van de resultaten Opbouw Structuur Afname Verwerking van de resultaten Inhoudsverantwoording Teksttypen in de toetsen Begrijpend lezen voor speciale leerlingen Tekstgenres in de toetsen Begrijpend lezen voor speciale leerlingen Opgavenvormen in de toetsen Begrijpend lezen voor speciale leerlingen Opgaventypen in de toetsen Begrijpend lezen voor speciale leerlingen Tekstgebaseerde opgaven Tekst- en kennisgebaseerde opgaven Deelvaardigheden van begrijpend lezen? Selectie van opgaven voor de toetsen Begrijpend lezen voor speciale leerlingen 27 4 Kalibratie en normering Inleiding Proefonderzoek Kalibratie De stappen in de kalibratie Toetsing van het IRT-model Conclusie Normering Normeringsgegevens en representativiteit De normering: kenmerken van de vaardigheidsverdelingen Functioneringsniveaus 41 5 Betrouwbaarheid en meetnauwkeurigheid Betrouwbaarheid Nauwkeurigheid 44 3

6 6 Validiteit Inhoudsvaliditeit Begripsvaliditeit Passing van het meetmodel DIF-analyses Convergente en divergente validiteit Longitudinale vaardigheidstoename 49 7 Samenvatting 53 8 Literatuur 55 4

7 1 Inleiding De toetsen Begrijpend lezen voor speciale leerlingen voor de functioneringsniveaus groep 6 tot en met 8 (Cito, 2011) vormen een aanvulling op de reguliere toetsen Begrijpend lezen groep 6 tot en met 8 van het Cito Volgsysteem primair onderwijs (LOVS) die zijn verschenen in de periode 2008 tot en met De toetsen voor speciale leerlingen zijn bestemd voor leerlingen met een vertraagde ontwikkeling, een beperkte aandachtsspanne of een grote behoefte aan structuur. Deze leerlingen zijn te vinden in het speciaal basisonderwijs, speciaal onderwijs (cluster 2, 3 en 4), maar ook in het reguliere basisonderwijs. De inhoud van de toetsen voor speciale leerlingen komt gedeeltelijk overeen met de inhoud van de toetsen Begrijpend lezen van het Cito Volgsysteem primair onderwijs (LOVS). De toetsen voor speciale leerlingen zijn zodanig aangepast dat ze beter aansluiten bij de behoeftes van speciale leerlingen dan de reguliere toetsen en zijn zelfstandig te gebruiken. De toetsresultaten zijn altijd uitwisselbaar met die van de reguliere toetsen van het Cito Volgsysteem primair onderwijs. Aanleiding voor de ontwikkeling van toetsen voor speciale leerlingen is de ontwikkeling van passend onderwijs. Passend onderwijs vereist dat: de school zicht heeft op de (on)mogelijkheden van elke leerling, op zijn/haar ontwikkelingsperspectief, om zo het onderwijs aan te passen aan de behoeften van de leerling; de vorderingen van elke leerling worden gevolgd om gaande de rit waar nodig het onderwijs aan te passen. Om passend onderwijs te kunnen realiseren, is het een voorwaarde dat de vorderingen van de leerlingen nauwkeurig in beeld worden gebracht en over de leerjaren heen worden gevolgd in de tijd. Daarvoor zijn dagelijkse voortgangscontroles en methodegebonden toetsen nodig, aangevuld met een methodeonafhankelijk leerling- en onderwijsvolgsysteem dat externe referenties biedt en daarmee de kans minimaliseert dat leerlingen onopgemerkt achterblijven. Belangrijk uitgangspunt bij de ontwikkeling van de toetsen Begrijpend lezen voor speciale leerlingen was dat eventuele aanpassingen niet ten koste mochten gaan van de vergelijkbaarheid van de resultaten met de reguliere toetsen en de onderliggende vaardigheden. De uitdrukkelijke wens van scholen én ouders is immers dat de toetsen ook een antwoord geven op de vraag Hoe goed doet mijn kind het vergeleken met een gemiddeld kind in het reguliere basisonderwijs? Bij het aanpassen van de reguliere toetsen Begrijpend lezen is door experts steeds kritisch bekeken welke aanpassingen aan de toetsen nodig zijn voor speciale leerlingen. Centrale vraag was steeds of het concept begrijpend lezen dat we meten niet verandert door deze aanpassingen. De aanpassingen zijn steeds zo gekozen dat gewaarborgd is dat de toetsen dezelfde vaardigheid in begrijpend lezen van leerlingen meten als de reguliere toetsen Begrijpend lezen. Het toetspakket Begrijpend lezen voor speciale leerlingen functioneringsniveaus groep 6 tot en met 8 bestaat uit een reeks toetsen voor leerlingen met die functioneringsniveaus. Om tegemoet te komen aan leerlingen met een vertraagde ontwikkeling zijn er naast het reguliere niveau voor de medio-momenten ook tussentoetsen ontwikkeld. De moeilijkheid van deze toetsen ligt tussen de onder- en bovengelegen toets in. Het toetspakket bestaat vooralsnog alleen uit een papieren variant. Deze wetenschappelijke verantwoording heeft dan ook alleen betrekking op de uitgave van de papieren toetsen Begrijpend lezen voor speciale leerlingen functioneringsniveaus groep 6 tot en met 8. De papieren en digitale toetsen Begrijpend lezen voor speciale leerlingen functioneringsniveaus groep 3 tot en met 5 zijn al eerder verantwoord (Tomesen & Weekers, 2011) en beoordeeld door de COTAN. Deze verantwoording biedt tezamen met de inhoud van het papieren toetspakket Begrijpend lezen voor speciale leerlingen voor de functioneringsniveaus groep 6 tot en met 8 alle informatie die nodig is voor een snelle en efficiënte beoordeling van de kwaliteit van de toetsen die deel uitmaken van dit pakket. 5

8 Het genoemde materiaal maakt een beoordeling van de toetsen mogelijk op de volgende aspecten: Uitgangspunten van de toetsconstructie De kwaliteit van het toetsmateriaal De kwaliteit van de handleiding Normen Betrouwbaarheid Validiteit Het laatstgenoemde aspect betreft alleen inhouds- en begripsvaliditeit en geen criteriumvaliditeit. Omdat de toetsen van het Cito Volgsysteem primair onderwijs niet bedoeld zijn voor 'voorspellend gebruik' is criteriumvaliditeit niet van toepassing. In hoofdstuk 2 van deze verantwoording bespreken we de uitgangspunten die bij de opgaven- en toetsconstructie een rol hebben gespeeld. In hoofdstuk 3 beschrijven we de toetsen en de inhoudelijke aspecten die bij het maken van de toetsen richtinggevend waren. In dit hoofdstuk komen eveneens de aanpassingen ten opzichte van de reguliere toetsen Begrijpend lezen aan de orde. In hoofdstuk 4 bespreken we het proefonderzoek en gaan we in op de kalibratie en normering. Hoofdstuk 5 geeft informatie over de betrouwbaarheid en meetnauwkeurigheid van de toetsen en hoofdstuk 6 over de inhouds- en begripsvaliditeit. De kwaliteit van het toetsmateriaal en de handleiding is te bepalen door kennis te nemen van de inhoud van het toetspakket. 6

9 2 Uitgangspunten van de toetsconstructie 2.1 Meetpretentie Binnen het leesonderwijs op de basisschool wordt een onderscheid gemaakt tussen technisch lezen en begrijpend lezen. Het technisch lezen is geen doel op zich, maar wordt gezien als een voorwaardelijke activiteit voor het leren begrijpen van teksten. Het begrijpen van geschreven teksten oftewel het lezen met begrip is een vaardigheid die traditioneel wordt gemeten met leesbegriptoetsen. Ook de toetsen in het toetspakket Begrijpend lezen voor speciale leerlingen functioneringsniveaus groep 6 tot en met 8 beogen die vaardigheid te meten en de opgaven in deze toetsen zijn er dan ook operationaliseringen van. De toetsen Begrijpend lezen voor speciale leerlingen zijn bedoeld om vast te stellen hoe goed een leerling geschreven teksten kan begrijpen en hoe de vaardigheid in begrijpend lezen van de leerling zich in de loop van de jaren ontwikkelt. (Zie verder paragraaf 2.4.1) De toetsen Begrijpend lezen voor speciale leerlingen zijn gebaseerd op de toetsen Begrijpend lezen van het Cito Volgsysteem voor primair onderwijs (LOVS). Aan de bestaande toetsen Begrijpend lezen van het Cito Volgsysteem voor primair onderwijs (LOVS) zijn aanpassingen gedaan om de vaardigheden van speciale leerlingen op een betrouwbare manier te meten zonder hierbij concessies te doen aan de onderliggende vaardigheden en aan de vergelijkbaarheid met de reguliere toetsen. Belangrijke voorwaarde bij de aanpassing was namelijk dat de toetsen voor speciale leerlingen de relatie behouden met de toetsen voor het reguliere basisonderwijs. De inhoud van de aangepaste toetsen komt voor een groot deel dan ook overeen met de inhoud van de reguliere toetsen Begrijpend lezen. 2.2 Doelgroep De toetsen Begrijpend lezen voor speciale leerlingen functioneringsniveaus groep 6 tot en met 8 zijn bestemd voor leerlingen met een vertraagde ontwikkeling, een beperkte aandachtsspanne of een grote behoefte aan structuur, met de functioneringsniveaus groep 6 tot en met groep 8. Deze leerlingen zijn te vinden in het speciaal basisonderwijs, speciaal onderwijs, maar ook in het reguliere basisonderwijs. Het speciaal onderwijs is opgesplitst in vier verschillende clusters, namelijk de clusters 1, 2, 3 en 4. De toetsen voor speciale leerlingen zijn bestemd voor leerlingen in cluster 2 (dove en slechthorende leerlingen en leerlingen met ernstige spraak- en taalmoeilijkheden), voor een deel van de leerlingen in cluster 3 (namelijk de langdurig zieke leerlingen) en voor leerlingen in cluster 4 (leerlingen met ernstige gedragsproblemen en/of psychiatrische problemen). De toetsen voor speciale leerlingen zijn dus niet bedoeld voor de blinde en slechtziende leerlingen in cluster 1. Daar zijn andere toetsen voor ontwikkeld bij Cito. Voor de zeer moeilijk lerende leerlingen in cluster 3 zijn toetsactiviteiten beschikbaar. De toetsen Begrijpend lezen voor speciale leerlingen zijn zodanig aangepast dat ze beter aansluiten bij de behoeftes van speciale leerlingen dan de reguliere toetsen Begrijpend lezen van het Cito Volgsysteem voor primair onderwijs (LOVS). Er is bewust voor gekozen geen gesproken versie van de toetsen Begrijpend lezen uit te brengen. Het doel van een toets Begrijpend lezen is immers vaststellen hoe goed kinderen geschreven tekst kunnen begrijpen. Dyslectische leerlingen kunnen als alternatief eventueel de toetsen op het gebied van begrijpend luisteren maken. Tussen de toetsen Begrijpend lezen en Begrijpend luisteren zijn namelijk veel overeenkomsten, vooral als het gaat om vaardigheden zoals het afleiden en integreren van informatie uit een gesproken of geschreven tekst. In beide toetsen komen het kunnen benoemen van de hoofdgedachte of de bedoeling van de tekst aan de orde. Alleen gebeurt dit bij de toetsen Begrijpend luisteren aan de hand van gesproken, (veelal) authentieke teksten die specifiek toegesneden zijn op het in kaart brengen van de begripsvaardigheid van gesproken materiaal. Een andere mogelijkheid voor technisch zwakke lezers is om een toets van een lager niveau af te nemen. Zie verder paragraaf 1.4 van de Handleiding. 7

10 Voor leerlingen die nog maar pas in Nederland verblijven, zijn de toetsen ongeschikt: leerlingen dienen minstens voor een langere periode onderwijs in Nederland gevolgd te hebben alvorens de toetsen Begrijpend lezen bij hen kunnen worden afgenomen. 2.3 Gebruiksdoel Afname van de toetsen Begrijpend lezen voor speciale leerlingen heeft twee hoofddoelen en een nevendoel. De hoofddoelen zijn: niveaubepaling en progressiebepaling. Het nevendoel heeft betrekking op het selecteren van passend leesmateriaal. Niveaubepaling Met de toetsen Begrijpend lezen voor speciale leerlingen kunnen leerkrachten het leesvaardigheidsniveau van hun leerlingen vaststellen, individueel of als groep, en een vergelijking maken met het niveau van leerlingen in het reguliere basisonderwijs. Een belangrijke verandering ten opzichte van de reguliere toetsen is de manier van rapporteren. De normeringen A tot en met E respectievelijk I tot en met V staan niet centraal in de rapportage, aangezien veel leerlingen in het speciaal (basis)onderwijs toetsen maken die niet overeenkomen met hun leeftijd. De toetsen voor speciale leerlingen werken in plaats daarvan met functioneringsniveaus, die worden bepaald op basis van de vaardigheidsscores. Het functioneringsniveau is een interpretatie van de vaardigheidsscore die het communiceren over de vaardigheid van een leerling vereenvoudigt. Het functioneringsniveau geeft aan met welke gemiddelde leerling in het reguliere basisonderwijs de vaardigheidsscore van de getoetste leerling te vergelijken is. Wanneer een leerling bijvoorbeeld een functioneringsniveau M7 behaalt bij begrijpend lezen, is deze leerling qua leesvaardigheid vergelijkbaar met een gemiddelde leerling in het reguliere basisonderwijs midden groep 7. Het kan voorkomen dat scholen behoefte hebben aan de niveaus A tot en met E respectievelijk I tot en met V, bijvoorbeeld voor een herindicatie. Daarom zijn in één van de bijlages uit de handleiding omzettingstabellen opgenomen: Van vaardigheidsscore naar normeringsniveau. Progressiebepaling De toetsen Begrijpend lezen voor speciale leerlingen geven de leerkracht informatie over de ontwikkeling van de leesvaardigheid van zijn leerlingen, individueel of als groep, over de leerjaren heen. Ze geven antwoord op vragen als: is er sprake van vooruitgang, achteruitgang of van stabilisering? De vorderingen van de leerling kunnen ook vergeleken worden met de vorderingen van leerlingen in het reguliere basisonderwijs. Het gehanteerde meetmodel (zie paragraaf 2.4.2) maakt het mogelijk om de scores van een leerling op verschillende toetsen, op verschillende momenten afgenomen, onderling te vergelijken. De ruwe scores op de toetsen het aantal opgaven goed zijn daartoe te transformeren in scores op één vaardigheidsschaal. Deze unidimensionele vaardigheidsschaal die aan de reguliere en aangepaste toetsen Begrijpend lezen ten grondslag ligt, is ontwikkeld met behulp van het One Parameter Logistic Model (Verhelst, 1993; Verhelst & Glas, 1995; Verhelst, Glas & Verstralen, 1995). Selectie van leesstof Het nevendoel van de toetsen Begrijpend lezen voor speciale leerlingen is het afstemmen van de leesstof op de leesvaardigheid. Deze afstemming kan plaatsvinden omdat de scores die leerlingen op de toetsen Begrijpend lezen behalen, omgezet kunnen worden in een CLIB-waarde. CLIB staat voor Cito LeesIndex voor het Basisonderwijs, een index voor zowel de begrijpend-leesvaardigheid van lezers als de begripsmatige leesbaarheid of moeilijkheid van teksten (Staphorsius, 1994). Zoals de vaardigheidsscores van leerlingen op de toetsen Begrijpend lezen omgezet kunnen worden in een CLIB, kan ook de moeilijkheid die een tekst heeft, uitgedrukt worden in een CLIB. Met behulp van de CLIB worden leesvaardigheid en leesbaarheid (i.e. vereiste leesvaardigheid) op één schaal gebracht. Dit maakt het in het kader van een individueel leesadvies mogelijk om voor een leerling leesteksten te selecteren met een 8

11 moeilijkheid die afgestemd is op de leesvaardigheid waarover hij of zij kan beschikken. Een toenemend aantal jeugdboeken wordt van een CLIB-niveau voorzien en de uitgevers ervan plaatsen deze index, samen met het AVI-niveau voor de leestechnische moeilijkheid, in een beeldmerk dat in hun boeken wordt afgedrukt. 2.4 Theoretische inkadering Inhoudelijk Uitgaande van de brede opvatting over functioneel taalgebruik wordt leesvaardigheid in het algemeen omschreven als de vaardigheid om schriftelijke teksten te begrijpen en te gebruiken in overeenstemming met het leesdoel. Lezen is een complex proces dat interactie inhoudt tussen de lezer met zijn vaardigheden, de tekst en de context. Deze drie componenten worden in onderstaande paragrafen verder toegelicht Leesvaardigheden Lezen is een proces waarbij de lezer in interactie met de tekst betekenis toekent aan de tekst. Vroeger ging men ervan uit dat de betekenis vooral in de tekst besloten lag. Heden ten dage wordt benadrukt dat de betekenis vooral in het hoofd van de lezer wordt gevormd. De nadruk ligt op de interactieve aard van lezen en op het constructieve proces van begrijpen (zie bijvoorbeeld Bruner, 1985; 1986; Campbell et al., 2001). De lezer heeft een actieve en initiërende rol. Hij drijft op zijn eigen gedachten en ervaringen terwijl hij een tekst leest en hij reflecteert op de tekst en op zijn eigen gedachten en ervaringen. De lezer construeert betekenis op basis van de tekst én op basis van eigen kennis. In reactie op de tekst brengt iedere lezer zijn eigen kennis in, eerdere leeservaringen, motieven om te lezen, bewustzijn van genre en tekststructuur en vaardigheden en strategieën. Er is sprake van een continue wisselwerking tussen tekstgestuurde en kennisgestuurde verwerking van teksten, tussen bottom-up en top-down processen (zie bijvoorbeeld Aarnoutse, 1998; Kamil et al., 2000; Pressley et al., 1992; Reitsma & Walraven, 1991). Tekstgestuurde verwerking is gericht op de inhoud van de tekst, er wordt gebruikgemaakt van woorden, passages en hun onderlinge betekenisrelaties om tot begrip te komen. Kennisgestuurde verwerking duidt op de inzet van de eigen kennis van de wereld en kennis van teksten, van taal en van contexten. Beide typen verwerkingsprocessen staan in voortdurende wisselwerking met elkaar teneinde tot begrip van een tekst te komen. Bij gemakkelijke teksten kan de lezer vertrouwen op de automatische piloot, maar als de teksten moeilijker en complexer worden moet de lezer meer bewuste sturing geven aan het proces van betekenisconstructie (Baker & Brown, 1984; Garner, 1987). Succesvolle lezers schakelen dan over op een flexibel en contextgevoelig gebruik van leesstrategieën (Pressley & Afflerbach, 1995, Pressley, 2000). Naast cognitieve en metacognitieve aspecten zijn er ook sociaal-culturele factoren (Alexander & Jetton, 2000; Langer, 1990) en motivationele factoren in het geding (Elsäcker, 2002; Guthrie & Wigfield, 1997; Verhoeven & Snow, 2001). Goede lezers weten wanneer te lezen, hoe te lezen en hoe te reflecteren op datgene wat gelezen is. Een synthese van uitgevoerd onderzoek heeft duidelijk gemaakt in welke opzichten goede, zelfstandige, vaardige lezers zich onderscheiden van minder goede lezers (Paris, Wasik & Turner, 1991; Pearson, Roehler, Dole & Duffy, 1992). Karakteristieken van goede lezers zijn: Zij hebben positieve gewoontes en attitudes ten aanzien van lezen. Zij lezen met voldoende vlotheid, zodat zij zich kunnen concentreren op de betekenis van de tekst. Zij maken gebruik van wat zij al weten om de tekst te begrijpen. Zij vormen begrip van wat ze lezen en interpreteren de betekenis en beoordelen deze kritisch. Zij gebruiken een scala van effectieve strategieën om hun begrip te ondersteunen en om de voortgang van hun leesproces te plannen, uit te voeren en te controleren. Zij lezen een grote variëteit van teksten en lezen voor verschillende doeleinden. Deze karakteristieken representeren het arsenaal aan kennis en vaardigheden waarover goede lezers beschikken. Zij vormen de ankerpunten voor de specificatie van leesvaardigheid. Hieronder wordt leesvaardigheid verder verdeeld in de vaardigheden begrijpen, interpreteren en reflecteren. 9

12 Begrijpen De vaardigheid begrijpen heeft betrekking op de verwerking van de tekst als zodanig, van de informatie die expliciet in de tekst vermeld is. Het gaat, met andere woorden, om tekstgebaseerde verwerking. Tekstgebaseerde verwerking maakt gebruik van de inhoud (de betekenis van woorden en begrippen, woordgroepen, zinnen, alinea's en hun onderlinge betekenisrelaties), van expliciete relaties tussen tekstelementen (linguïstische kenmerken zoals woord- en zinsvolgorde en verwijzingen, en talige en grafische structuurmarkeerders) en van de expliciete tekststructuur. Uit het antwoord van de leerlingen op opgaven die de vaardigheid begrijpen toetsen, moet blijken dat zij de tekst begrepen hebben. Het simpele feit dat de gevraagde informatie gevonden is, is niet voldoende. De informatie moet ook begrepen worden. Dat wil op zijn minst zeggen dat de leerlingen de informatie moeten kunnen herhalen, maar dieper begrip tonen ze wanneer ze met de informatie iets kunnen doen, bijvoorbeeld deze kunnen parafraseren (omschrijven) of toepassen. Hieronder wordt de vaardigheid begrijpen gespecificeerd, onderscheiden in aspecten van de betekenis en inhoud en aspecten van de opbouw en structuur. Nadrukkelijk zij vermeld dat de specificatie niet uitputtend is. Betekenis en inhoud kennis van woorden, begrippen en woordgroepen specifieke, expliciete inhoudselementen in de tekst Opbouw en structuur eenvoudige, expliciete verbanden in een zin of tussen opeenvolgende zinnen complexe feitelijke relaties overkoepelende relaties: een expliciete algemene uitspraak die diverse andere uitspraken overkoepelt eenvoudige, tekstgebaseerde inferenties: het leggen van verbanden tussen stukjes informatie die expliciet in de tekst staan, terwijl de verbinding zelf niet geëxpliciteerd is, maar wel duidelijk is Interpreteren Van werkelijk en diepgaand tekstbegrip is pas sprake wanneer tekstgebaseerde en kennisgestuurde verwerking in samenhang en gelijktijdig ingezet worden. Een lezer benadert een tekst niet blanco, hij neemt al zijn eerdere leeservaringen mee tijdens het lezen van een nieuwe tekst en zet tevens al zijn achtergrondkennis in bij de verwerking van de tekst. Dit samenspel van tekstgebaseerde en kennisgestuurde verwerking is aan de orde bij de vaardigheid interpreteren. Impliciete informatie speelt een belangrijke rol bij het lezen van teksten. In een tekst wordt niet altijd alles expliciet vermeld. Dat kan ook niet, omdat teksten dan onnodig lang zouden worden. De schrijver kan en mag bepaalde kennis bij zijn lezers bekend veronderstellen. Die kennis hoeft dan niet steeds geëxpliciteerd te worden. Het is vervolgens wel aan de lezer om zich te realiseren welke kennis impliciet bekend wordt verondersteld en deze en andere kennis zo nodig te activeren. De lezer gaat als het ware de informatie in de tekst invullen en aanvullen met kennis uit andere bronnen. Het onderkennen en afleiden van impliciete informatie in een tekst, oftewel het maken van inferenties, is dus een belangrijk aspect van deze vaardigheid. Het resultaat van het interpretatieproces vormt een diepgaand begrip van de tekst. De lezer doorgrondt de tekst en verbindt de informatie in de tekst tot een geheel in relatie tot eigen kennis en ervaring. Uit de antwoorden van de leerlingen op opgaven die deze vaardigheid toetsen, moet deze diepgaande interpretatie blijken. Omdat inferenties impliciet zijn, laten ze enige interpretatie toe van de lezer vanuit zijn eigen perspectief. Er kunnen dus verschillende interpretaties juist zijn, er is meer variatie in begrip tussen lezers, er is een creatief element aanwezig in de antwoorden van de leerlingen. Maar tegelijk is er ook steeds sprake van een gemeenschappelijke basis, namelijk de informatie die in de tekst beschreven staat. Nog een opmerking in algemene zin. Het inzetten van eigen kennis en ervaring brengt het leesproces een eindje in de richting van het schoolvak wereldoriëntatie. De scheidslijn tussen taal/lezen en de andere vakken is soms een dunne en is niet altijd eenduidig te markeren. De extreme posities zijn duidelijk: bij lezen gaat het om tekstbegrip, bij wereldoriëntatie om kennis van de wereld. Maar ergens tussen deze extremen in raken beide domeinen elkaar. Aan dit dilemma valt niet te ontkomen. 10

13 In onderstaande specificatie is gepoogd dit continuüm van talige aspecten naar kennis van de wereld in de opeenvolging van aspecten weer te geven. Betekenis en inhoud afleiden van de betekenis van moeilijke woorden en begrippen uit de omringende tekst doorgronden van de globale inhoud van de tekst door expliciete en/of impliciete informatie verspreid over de gehele tekst met elkaar te verbinden activeren van voorkennis: talige kennis, kennis van teksten en kennis van de wereld; gebruiken van informatie en ideeën die geactiveerd worden tijdens het lezen en die niet expliciet in de tekst vermeld zijn uitbreiden van de betekenis van de tekst Opbouw en structuur doorzien van de structuur van teksten; bijvoorbeeld: logische lijn in de tekst ontdekken het resultaat van een te zetten stap in een instructieve tekst hoe ontwikkelt zich de plot in een verhaal volgorde van handelingen en gebeurtenissen in een verhaal, al dan niet chronologisch vertelperspectief Reflecteren Het kenmerkende van de vaardigheid reflecteren is de beschouwende, evaluerende en kritische kijk op teksten. De lezer neemt afstand van de tekst en beschouwt deze. Vanuit een persoonlijk perspectief of met een objectieve blik richt de lezer zich op het belang, de kwaliteit en de integriteit van de tekst. Hij beschouwt en evalueert betekenis en inhoud, taal, tekstuele en contextuele elementen. Het gaat hier niet meer om begrip als zodanig, maar om denken over, reflecteren en abstract redeneren. Het resultaat wordt gevormd door uitspraken over de tekst in evaluerende en waarderende zin. Evenals bij de voorgaande vaardigheid interpreteren is bij de vaardigheid reflecteren de scheidslijn met wereldoriëntatie soms moeilijk te markeren. Reflectie op de inhoud van een tekst heeft raakvlakken met reflectie op kennis van de wereld. Bovendien is bij de vaardigheid reflecteren de persoon van de lezer in het geding, waarschijnlijk nog in sterkere mate dan bij de vaardigheid interpreteren. Onderstaande specificatie poogt met deze punten enige rekening te houden door te starten met de meer talige aspecten, gevolgd door de zaken van meer persoonlijke aard en kennis van de wereld. Betekenis en inhoud inzetten van kennis over taal onderscheiden van feit en mening: in het bijzonder meningen die als feiten gepresenteerd (lijken te) worden Opbouw en structuur inzetten van kennis over teksten: over tekstsoort, tekststructuur, genre en register, doel en publiek Teksten De teksten in de toetsen Begrijpend lezen betreffen schriftelijk materiaal. Dit is de samenvattende noemer voor handgeschreven en gedrukte teksten, en voor teksten in elektronische weergave. Het onderscheid in teksten is van belang omdat verschillende teksten ten dele verschillende accenten in de leesprocessen uitlokken (Goldman & Rakestraw, 2000). Het gaat om allerlei soorten teksten in zowel lopende als discontinue vorm. Lopende teksten worden onderverdeeld in informatieve teksten en fictie. Deze hoofdcategorieën worden nader beschreven in genres. Genres zijn herkenbare vormen van communicatie die zich onderscheiden in doel, structuur en inhoud. Enkele voorbeelden zijn een nieuwsartikel in de krant, een leerboek, een protestbrief, een advertentie, spelinstructies, reparatievoorschriften, procedures in de klas of in de hobby- of sportclub, respectievelijk een verhaal, een gedicht en een liedje. 11

14 Een grote variatie in soorten teksten, inhouden en thema s, genres, en andere zaken zal de mogelijke bekendheid van teksten in toetsen zoveel mogelijk spreiden over de verschillende leerlingen. Verder zullen leerlingen in de evaluatiecontext doorgaans op een andere manier met teksten omgaan dan in het dagelijks leven, zodat een mogelijke bekendheid ook daarmee zijn grenzen heeft. Behalve op de hierboven genoemde wijze variëren teksten ook ten aanzien van het taalgebruik, de lengte van de tekst, het tijdsperspectief bij fictie, de dichtheid van informatie, mate van abstractie van ideeën, complexiteit van de argumentatie, de aanwezigheid van ongebruikelijke gezichtspunten en wordt er rekening gehouden met overwegingen aangaande geslacht, rol, ras, etniciteit, cultuur en religie en aanverwante zaken Contexten De manier waarop een lezer leest, hangt ten dele af van het doel waarmee hij leest en het type tekst. Het leesdoel en het daarmee samenhangende verwachtingspatroon kunnen het begripsproces beïnvloeden. Hiermee wordt ten minste voor een deel bepaald welke vaardigheden en strategieën geëigend zijn om de betekenis te achterhalen en tevens de mate waarin de tekstinhoud wordt geïntegreerd in de reeds aanwezige kennis. Het leesdoel dat door de verschillende teksttypen wordt opgeroepen en dat geassocieerd is met verschillende leeservaringen kan van invloed zijn op de inhoud en de manier van begrijpen. In de dimensie van de context worden in het bijzonder de leesdoelen geëxpliciteerd. De context betreft de situatie waarin de vaardigheid normaliter uitgeoefend wordt. De volgende contexten worden onderscheiden: persoonlijk gebruik; openbaar gebruik; onderwijs. Dit onderscheid is gerelateerd aan de doelen die de taalgebruiker nastreeft, doelen in de persoonlijke levenssfeer, en meer in het algemeen doelen om aan de samenleving deel te nemen en doelen om eigen kennis en mogelijkheden verder te ontwikkelen. Bij lezen is sprake van een zeer nauwe verwevenheid van tekst en context. De verschijningsvorm van de tekst geeft voor een groot gedeelte tegelijk de context weer. Toch is het ook bij de constructie van de toetsen voor begrijpend lezen zaak de dimensie van de context in ogenschouw te nemen, om de nodige variatie in het leesmateriaal te waarborgen Psychometrisch Opgavenbanken Voor het samenstellen van toetsen voor het primair onderwijs beschikt Cito over opgavenbanken. Die liggen ten grondslag aan onder meer de toetsen in het Cito Volgsysteem voor primair onderwijs (LOVS), de Entreetoetsen en de Eindtoets Basisonderwijs. Voor de constructie van de toetsen Begrijpend lezen van het Cito Volgssysteem voor primair onderwijs is gebruikgemaakt van de opgavenbank Begrijpend lezen. Voor andere vakgebieden in het Cito Volgsysteem voor primair onderwijs, als Spelling, Woordenschat, Rekenen-Wiskunde en Studievaardigheden zijn eveneens opgavenbanken in gebruik. Een opgavenbank is nadrukkelijk niet eenvoudigweg een verzameling opgaven of items waaruit een toetsconstructeur min of meer naar willekeur een aantal items selecteert om een nieuwe toets te construeren. In deze paragraaf wordt beschreven wat de vereisten zijn om van een deugdelijke en psychometrisch goed gefundeerde opgavenbank te kunnen spreken. Unidimensionaal continuüm Het algemene uitgangspunt is dat de vaardigheid begrijpend lezen kan worden opgevat als een unidimensionaal continuüm (de reële lijn), en dat elke leerling voorgesteld kan worden als een punt op die lijn, met andere woorden: als een getal. Het getal drukt de mate van leesvaardigheid uit, waarbij een groter getal wijst op een grotere leesvaardigheid. Het doel van de meetprocedure het afnemen van een toets is de plaats van de leerling op dit continuüm zo nauwkeurig mogelijk te bepalen. De uitkomst van de meetprocedure bestaat strikt genomen uit twee grootheden: de eerste is de schatting van de plaats van de leerling op het vaardigheidscontinuüm. De tweede grootheid geeft aan hoe nauwkeurig die schatting is, en 12

15 heeft dus de status van een standaardfout, te vergelijken met de standaardmeetfout uit de klassieke testtheorie. Latente vaardigheid De antwoorden van een leerling op de items worden beschouwd als indicatoren van de vaardigheid, hetgeen ruwweg betekent dat men verwacht dat alle items in de bank leesbegrip meten. De vaardigheid zelf wordt als niet-observeerbaar beschouwd, en daarom gewoonlijk omschreven als een latente vaardigheid. Moeilijkheid in de Item Respons Theorie Hoewel items dezelfde vaardigheid meten, kunnen ze toch systematisch van elkaar verschillen. Het belangrijkste verschil tussen de items is hun moeilijkheidsgraad. In de klassieke testtheorie wordt moeilijkheidsgraad uitgedrukt met een zogenaamde p-waarde, de proportie correcte antwoorden op het item in een welbepaalde populatie van leerlingen. In de Item Respons Theorie (IRT) die voor het construeren van de opgavenbanken werd gebruikt, hanteert men echter een andere definitie van moeilijkheid: ruwweg gesproken is het de mate van vaardigheid die nodig is om het item goed te kunnen beantwoorden. Dit verschil in definitie van de moeilijkheidsgraad tussen klassieke testtheorie en IRT is uitermate belangrijk: men kan verwachten dat de p-waarde van een item in groep 8 groter zal zijn dan in groep 6, waardoor duidelijk wordt dat de p-waarde een relatief begrip is: ze geeft de moeilijkheid aan van een item in een bepaalde populatie. Binnen de IRT is de moeilijkheid van een item gedefinieerd in termen van de onderliggende vaardigheid, zonder enige referentie naar een bepaalde populatie van leerlingen. Zo kan men ook de uitspraak begrijpen dat in de IRT vaardigheid en moeilijkheid op eenzelfde schaal liggen. Kansmodel De ruwe omschrijving van de moeilijkheidsgraad die in de vorige alinea werd gehanteerd (de mate van vaardigheid die nodig is om het item goed te kunnen beantwoorden) behoeft enige verdere uitwerking. Men zou deze omschrijving kunnen opvatten als een drempel: heeft een leerling die mate van vaardigheid niet, dan kan hij het item niet juist beantwoorden; heeft hij die drempel wel gehaald, dan geeft hij (gegarandeerd) het juiste antwoord. Deze interpretatie weerspiegelt een deterministische kijk op het antwoordgedrag van de leerling, die echter in de praktijk geen stand houdt, omdat eruit volgt dat een leerling die een moeilijk item correct beantwoordt geen fout kan maken op een gemakkelijk item. Daarom wordt in de IRT een kansmodel gebruikt: hoe groter de vaardigheid, des te groter de kans dat een item juist wordt beantwoord. De moeilijkheidsgraad van een item wordt dan gedefinieerd als de mate van vaardigheid die nodig is om met een kans van precies een half een juist antwoord te kunnen produceren. Kalibratie In het voorgaande zijn nogal wat veronderstellingen ingevoerd (unidimensionaliteit; alle items zijn indicatoren voor dezelfde vaardigheid; kansmodel) die niet zonder meer voor waar kunnen worden aangenomen; er moet aangetoond worden dat al die veronderstellingen deugdelijk zijn. Dit aantonen gebeurt met statistische gereedschappen waarop in de volgende paragraaf dieper wordt ingegaan. Maar voor de items in een toets gebruikt kunnen worden, moet ook geprobeerd worden de waarden van de moeilijkheidsgraden te achterhalen. Dit gebeurt met een statistische schattingsmethode die wordt toegepast op de itemantwoorden die bij een steekproef van leerlingen zijn verzameld. Het hele proces van moeilijkheidsgraden schatten en verifiëren of de modelveronderstellingen houdbaar zijn, wordt kalibratie of ijking genoemd; de steekproef van leerlingen die hiervoor wordt gebruikt heet kalibratiesteekproef. Afnamedesigns Meestal bevat een opgavenbank meer items dan een doorsnee toets, zodat het praktisch niet doenbaar is om alle items aan alle leerlingen voor te leggen. Elke leerling in de kalibratiesteekproef krijgt derhalve slechts een (klein) gedeelte van de items uit de opgavenbank voorgelegd. Dit gedeeltelijk voorleggen gebeurt aan de hand van een zogeheten onvolledig design en moet met de nodige omzichtigheid gebeuren. 13

16 Verderop wordt ingegaan op het afnamedesign dat voor de kalibratie is gebruikt, de geïnteresseerde lezer wordt verwezen naar Eggen (1993). Belangrijke implicaties gekalibreerde opgavenverzameling Als de kalibratie met succes uitgevoerd is, is het resultaat een zogenaamde gekalibreerde itembank. In dat proces worden de items die niet passen bij de verzameling uit de collectie verwijderd. De opgavenbank bevat voor elk item niet alleen zijn feitelijke inhoud, maar ook zijn psychometrische eigenschappen, en de statistische zekerheid dat alle items dezelfde vaardigheid aanspreken. Dit houdt onder meer het volgende in: 1 In principe kan met een willekeurige selectie items uit de bank de vaardigheid worden gemeten bij een willekeurige leerling. In principe, want een willekeurige toets die uit de itembank wordt getrokken zal in de praktijk meestal niet voldoen omdat de meetresultaten (de schatting van de vaardigheid) onvoldoende nauwkeurig zal zijn. Voor een nauwkeuriger meting (bij een gegeven aantal items in de toets) moeten de moeilijkheidsgraden van de items in overeenstemming gebracht worden met het vaardigheidsniveau van de leerlingen. 2 Om een schatting te kunnen maken van de verdeling van de vaardigheid in een welomschreven populatie, worden selecties van items voorgelegd aan aselecte steekproeven van leerlingen uit populaties die van belang zijn voor de normering. In het geval van het Cito Volgsysteem voor primair onderwijs zijn dat steekproeven van leerlingen op de verschillende normeringsmomenten vanaf eind groep 3 tot eind groep 8. Daarbij maakt het, behoudens wat bij 1 is vermeld over nauwkeurigheid, niet uit welke selectie van items bij een leerling binnen een normeringsgroep wordt afgenomen. Een van de eigenschappen van gekalibreerde itembanken is immers dat met elke selectie items de vaardigheid van leerlingen kan worden bepaald. Voor een voorbeeld hiervan, zie Staphorsius (1994). In de praktijk komt dit meestal neer op het schatten van gemiddelde en standaardafwijking in de veronderstelling dat de vaardigheid normaal verdeeld is. Met deze schattingen kunnen dan ook schattingen gemaakt worden van de percentielen in de populatie. 3 Aan leerlingen die niet tot de betreffende referentiepopulatie behoren, kan dezelfde toets worden voorgelegd. De toetsscore wordt omgezet in een schatting van de vaardigheid en deze schatting kan geplaatst worden in de vaardigheidsverdeling van de populatie. Een leerling met achterstand in groep 8 kan een toets maken die normaliter aan groep 6 wordt voorgelegd, en zijn vaardigheidsschatting kan behalve met de populatie van groep 8 ook vergeleken worden met de percentielen in de populatie van groep 6, met bijvoorbeeld de uitspraak: De vaardigheid van deze leerling komt overeen met de mediane vaardigheid in groep 6. 4 De vergelijking die in het voorgaande gemaakt is, kan evengoed plaatsvinden als de (achterstands)- leerling een andere toets (i.e. een selectie uit de opgavenbank) maakt dan de toets die normaliter aan groep 6 wordt voorgelegd. Immers, het kalibratieonderzoek heeft aangetoond dat alle items dezelfde vaardigheid meten. Een nieuwe toets meet dus dezelfde vaardigheid, zodat schattingen die van verschillende toetsen afkomstig zijn zinvol met elkaar kunnen worden vergeleken. Tot zover de nadere bepaling van het begrip opgavenbank. In de volgende hoofdstukken van dit deel van de verantwoording worden de begrippen die hierboven aan de orde zijn geweest nader uitgewerkt en toegelicht voor de opgavenbank Begrijpend lezen. De verantwoording van de inhoudelijke constructie van deze opgavenbank staat in hoofdstuk 3. In hoofdstuk 4 wordt (onder andere) de psychometrische constructie van de opgavenbanken besproken (kalibratie) Het gehanteerde meetmodel In het normeringsonderzoek is gebruikgemaakt van een op de itemresponstheorie (IRT) gebaseerd meetmodel zoals dat bij Cito gebruikelijk is. Dergelijke modellen verschillen in een aantal opzichten nogal sterk van de klassieke testtheorie (Verhelst, 1993; Verhelst & Kleintjes, 1993; Verhelst & Glas, 1995). Bij de klassieke testtheorie staan de toets en de toetsscore centraal. Het theoretisch belangrijkste begrip in deze theorie is de zogenaamde ware score, de gemiddelde score die de persoon zou behalen indien de test een oneindig aantal keren onder dezelfde condities zou worden afgenomen. Die notie geeft een van de belangrijkste (praktische) obstakels van deze theorie voor ons onderzoek weer: het is problematisch om toetsscores te vergelijken die 14

17 verkregen zijn in een onvolledig design. Hoewel er methoden bestaan binnen de klassieke testtheorie om toetsscores te equivaleren (Engelen & Eggen, 1993), schiet deze benadering tekort als het gaat om de centrale vraag: hoe wordt duidelijk dat de equivalering zinvol is? Op die vraag heeft IRT een antwoord. In de IRT staat het te meten begrip of de te meten eigenschap centraal. De IRT beschouwt het antwoord op een item als een indicator voor de mate waarin die eigenschap aanwezig is. Het verband tussen eigenschap en itemantwoord is van probabilistische aard en wordt weergegeven in de zogenaamde itemresponsfunctie. Die geeft aan hoe groot de kans is op een correct antwoord als functie van de onderliggende eigenschap of vaardigheid. Formeler: zij X i de toevalsvariabele die het antwoord op item i voorstelt. X i neemt de waarde 1 aan in geval van een correct antwoord en 0 in geval van een fout antwoord. Als symbool voor de vaardigheid wordt θ (theta) gekozen. De vaardigheid θ is niet rechtstreeks observeerbaar. Dat zijn alleen de antwoorden op de opgaven. Dat is de reden waarom θ een 'latente' variabele wordt genoemd 1. De itemresponsfunctie f i (θ) is gedefinieerd als een conditionele kans: f ( )= P( X i = 1 ) (2.1) i Een IRT-model is een speciale toepassing van (2.1) waarbij aan de functie f i (θ) een meer of minder specifieke functionele vorm wordt toegekend. Een eenvoudig en zeer populair voorbeeld is het zogenaamde Raschmodel (Rasch, 1960) waarin f i (θ) gegeven is door exp ( - i ) f ( )= i 1 + exp ( - ) i (2.2) waarin β i de moeilijkheidsparameter van item i is. Dat is een onbekende grootheid die geschat wordt uit de observaties. De grafiek van (2.2) is weergegeven in figuur 2.2 voor twee items, i en j, die in moeilijkheid verschillen. Deze figuur illustreert dat de itemresponsfunctie een stijgende functie is van θ: hoe groter de vaardigheid, des te groter de kans op een juist antwoord. Indien de latente vaardigheid precies gelijk is aan de moeilijkheidsparameter β i, volgt exp ( i - i ) 1 f ( )= = i i 1 + exp ( - ) 1 + i i 1 = 1 2 (2.3) Daaruit volgt onmiddellijk een interpretatie voor de parameter β i : het is de 'hoeveelheid' vaardigheid die nodig is voor de kans van precies een half om het item i juist te beantwoorden. Uit de figuur blijkt duidelijk dat voor item j een grotere vaardigheid nodig is om diezelfde kans te bereiken, maar dit is hetzelfde als te zeggen dat item j moeilijker is dan item i. De parameter β i kan dus terecht omschreven worden als de moeilijkheidsparameter van item i. De implicatie van het bovenstaande is dat 'moeilijkheid' en 'vaardigheid' op dezelfde schaal liggen. 1 Dit maakt duidelijk waarom men de modellen die ressorteren onder de IRT, ook wel aanduidt met 'latente trek'-modellen. 15

18 Figuur 2.1 Twee itemresponscurven in het Raschmodel Formule (2.2) is geen beschrijving van de werkelijkheid, het is een hypothese over de werkelijkheid die getoetst kan worden op haar houdbaarheid. Hoe zo n toetsing grofweg verloopt, is te verduidelijken aan de hand van figuur 2.1. Daaruit blijkt dat, voor welk vaardigheidsniveau dan ook, de kans om item j juist te beantwoorden steeds kleiner is dan de kans op een juist antwoord op item i. Hieruit volgt de statistisch te toetsen voorspelling dat de verwachte proportie juiste antwoorden op item j kleiner is dan op item i in een willekeurige steekproef van personen. Splitst men nu een grote steekproef in twee deelsteekproeven, een laaggroep, met de vijftig procent laagste scores, en een hooggroep, met de vijftig procent hoogste scores, dan kan men nagaan of de geobserveerde p-waarden van de opgaven in beide deelsteekproeven op dezelfde wijze geordend zijn. Daarvan kan strikt genomen alleen sprake zijn als, in termen van de klassieke testtheorie uitgedrukt, alle opgaven eenzelfde discriminatie-index hebben. Dat echter blijkt lang niet altijd zo te zijn. Ook in ons geval niet. Veel van de items blijken dan ook niet beschreven te kunnen worden met het Raschmodel. Daarom is bij dit instrument gekozen voor een ander IRT-model. Alvorens het hier gebruikte model te introduceren, is eerst een kanttekening nodig bij het schatten van de moeilijkheidsparameters in het Raschmodel. Een vaak toegepaste schattingsmethode is de conditionele grootste aannemelijkheidsmethode (in het Engels: Conditional Maximum Likelihood, verder aangeduid als CML). Die maakt gebruik van het feit dat in het Raschmodel een afdoende steekproefgrootheid ('sufficient statistic') bestaat voor de latente variabele θ, namelijk de ruwe score of het aantal correct beantwoorde items. Dat betekent grofweg dat, indien de itemparameters bekend zijn, alle informatie die het antwoordpatroon over de vaardigheid bevat, kan worden samengevat in de ruwe score; het doet er dan verder niet meer toe welke opgaven goed en welke fout zijn gemaakt. Hieruit vloeit voort dat de conditionele kans op een juist antwoord op item i, gegeven de ruwe score, een functie is die alleen afhankelijk is van de itemparameters en onafhankelijk van de waarde van θ 2. De CML-schattingsmethode maakt van deze functie gebruik. Deze methode doet geen enkele veronderstelling over de verdeling van de vaardigheid in de populatie, en is ook onafhankelijk van de wijze waarop de steekproef is getrokken. De CML-schattingsmethode is echter niet bij elk meetmodel toepasbaar. In het zogenaamde éénparameter logistisch model (One Parameter Logistic Model, afgekort: OPLM) is CML mogelijk. Dit model is, anders dan het Raschmodel, wel bestand tegen omwisseling van proporties juist in verschillende steekproeven (Glas & Verhelst, 1993; Eggen, 1993; Verhelst & Kleintjes, 1993). 2 Een gedetailleerde uiteenzetting hierover kan men vinden in Verhelst,

19 De itemresponsfunctie van het OPLM is gegeven door exp [ ai ( - i ) ] f ( )= i 1 + exp [ ai ( - )] i, (2.4) waarin a i de zogenaamde discriminatie-index van het item is. Door deze indices te beperken tot (positieve) gehele getallen, en door ze a priori als constanten in te voeren, is het mogelijk CML-schattingen van de itemparameters β i te maken. In figuur 2.2 is de itemresponscurve weergegeven van twee items i en j, die even moeilijk zijn maar verschillend discrimineren. Figuur 2.2 Twee itemresponscurven in het OPLM: zelfde moeilijkheid, verschillende discriminatie De schattingen worden berekend met het computerprogramma OPLM (Verhelst, Glas en Verstralen, 1995). Dit programma voert eveneens statistische toetsen uit op grond waarvan kan worden bepaald of het model de gegevens adequaat beschrijft. Omdat een aantal van deze toetsen bijzonder gevoelig is voor een verkeerde specificatie van de discriminatie-indices, zijn de uitkomsten van deze toetsen bruikbaar als modificatie-indices: ze geven een aanwijzing in welke richting deze discriminatie-indices moeten worden aangepast om een betere overeenkomst tussen model en gegevens te verkrijgen. Kalibratie van items volgens het OPLM is dan ook een iteratief proces waarin alternerend de modelfit van items wordt onderzocht door middel van statistische toetsing en de waarden van de discriminatie-indices worden aangepast op grond van de resultaten van deze toetsen. Deze aanpassingen geschieden in de praktijk op basis van een en hetzelfde gegevensbestand. Er kan dus kanskapitalisatie optreden. Indien een steekproef een voldoende grootte heeft, is het effect van deze kanskapitalisatie echter gering (Verhelst, Verstralen en Eggen, 1991). Hoewel het OPLM aanzienlijk flexibeler is dan het Raschmodel, heeft het met dit model toch een nadeel gemeen, waardoor het bij het kalibreren van meerkeuze-opgaven niet zonder meer bruikbaar is. Uit de formules (2.2) en (2.4) volgt dat, indien θ zeer klein is, de kans op een juist antwoord zeer dicht in de buurt van nul komt. Maar de items in het normeringsonderzoek zijn meerkeuze-items, zodat blind gokken een zekere kans op een juist antwoord impliceert. Er bestaan modellen die rekening houden met de raadkans (Lord & Novick, 1968), maar die laten geen CML-schattingsmethode toe. De ongeschiktheid van het Raschmodel of OPLM voor meerkeuzevragen is echter relatief: indien de items in vergelijking met de vaardigheid van de leerling niet al te moeilijk zijn, blijkt dat het effect van het raden op de overeenkomst tussen model en gegevens klein is. Door een verstandige dataverzamelingsprocedure toe te passen en met name niet te moeilijke opgaven te selecteren in de test kan het OPLM toch toegepast worden op meerkeuzevragen, waarbij de overeenkomst tussen model en data de uiteindelijke doorslag over die geschiktheid moet geven. Ook in de normering wordt hier hiermee rekening gehouden. 17

20 Voor de schatting van de populatieverdeling wordt gebruikgemaakt van de marginale grootste aannemelijkheidsmethode (in het Engels: Marginal Maximum Likelihood, verder afgekortt als MML). Deze schattingsmethode veronderstelt naast (2.2) ook nog dat de vaardigheid θ in de populatie een bepaalde verdeling heeft. De meeste computerprogramma s die IRT-analyses kunnenn uitvoeren, veronderstellenn een normale verdeling. Bovendien stelt deze methodee de voorwaarde dat de steekproef die voor de schatting gebruikt wordt uit die verdeling een aselecte steekproef is. Omdat leerlingenn bovendien gevolgd worden is het mogelijk gelijktijdig de verdelingen op de verschillende normeringsmomenten te schatten. Bij de analyse is gebruikgemaakt van multivariate latente analysetechnieken waarmee gemiddelden enn covariantiess voor alle variabelen worden geschat in een onvolledig design. Daarvoor hebben we w speciale software gebruikt (Multi) in combinatie met het OPLM als meetmodel (Kamphuis, 1992, 1993, Kamphuis en Engelen, 1992). Deze gemiddelden en covariantiess vormen ook k het basismodel voor de predicties p in het Computer- programma LOVS Vraagonzuiverheid Onzuiverheid van vragen, DIF (differential item functioning), treedt op wanneer er eenn samenhang is tussen groepslidmaatschap en de responss op een vraag. Met andere woorden, de d kans op een goed antwoord hangt niet alleen af van de vaardigheid van de leerling, maar ook van hett groepslidmaatschap, bijvoorbeeld het behoren bij de groep jongens.. Om te bepalen of de items die gebruikt zijn bij de reguliere toetsen Begrijpend lezen ook geschikt zijn z voor het SBO en SO heeft onderzoek plaatsgevonden naar vraagonzuiverheid. Hierbij is nagegaan of de kans op een goed antwoord niet alleen afhangt van de vaardigheid van de leerlingen, maarr ook van het school- referentiegroep genomen. De leerlingen die deel hebben genomen aan de d proefonderzoeken in het SBO en type. In dit onderzoek naar onzuiverheid is de populatie in het regulier onderwijs, de normgroep, als SO zijn samen als doelgroep gedefinieerd. Ookk is gekeken of er DIF optreedt tussen SBO en SO, tussen t regulier basisonderwijs en SBO en tussen regulier basisonderwijs en SO. Om DIF op te sporen wordt gebruik gemaakt van de itemresponscurves. In figuur 2.3 is een voorbeeld weergegeven van een uniform onzuiver item. De kans op een juist antwoord inn de doelpopulatie is voor alle vaardigheidsniveaus lager l dan in de referentiepopulatie, of omgekeerd. Figuur 2. 3 Responsfunctie van een uniform onzuiver dichotoom item In figuur 2.4 is een voorbeeld van een niet-uniform onzuiver dichotoom item. De ene groep doet het op een lager vaardigheidsniveau beter dan de andere, terwijl dit op een hoog vaardigheidsniveau precies omgekeerd is. 18