Wetenschappelijke Verantwoording van de toetsen Technisch lezen voor groep 3 tot en met 5 uit het LOVS

Transcriptie

1 Wetenschappelijke Verantwoording van de toetsen Technisch lezen voor groep 3 tot en met 5 uit het LOVS Ineke Jongen Ronald Krom Marieke van Onna Norman Verhelst Cito, Arnhem

2 Cito B.V. Arnhem (2011) Niets uit dit werk mag zonder voorafgaande schriftelijke toestemming van Cito B.V. worden openbaar gemaakt en/of verveelvoudigd door middel van druk, fotografie, scanning, computersoftware of andere elektronische verveelvoudiging of openbaarmaking, microfilm, geluidskopie, film- of videokopie of op welke wijze dan ook. 2

3 Inhoud 1 Inleiding 5 Deel 1 Wetenschappelijke verantwoording van de toetsen Leestechniek 7 2 Uitgangspunten van de toetsconstructie Meetpretentie Doelgroep Gebruiksdoel en functie Theoretische inkadering 11 3 Beschrijving van de toets Opbouw, structuur, afname van de toetsen en rapportage Inhoudsverantwoording 22 4 Het normeringsonderzoek Opzet en verloop van het normeringsonderzoek Representativiteit Kalibratie en normering 32 5 Betrouwbaarheid en meetnauwkeurigheid Betrouwbaarheid Nauwkeurigheid 36 6 Validiteit Inhoudsvaliditeit Begripsvaliditeit 40 Deel 2 Wetenschappelijke verantwoording van de toetsen Leestempo 45 7 Uitgangspunten van de toetsconstructie Meetpretentie Doelgroep Gebruiksdoel en functie Theoretische inkadering 48 8 Beschrijving van de toets Opbouw, structuur, afname van de toetsen en rapportage Inhoudsverantwoording 56 9 Het normeringsonderzoek Opzet en verloop van het normeringsonderzoek Representativiteit Kalibratie en normering Betrouwbaarheid en meetnauwkeurigheid Betrouwbaarheid Nauwkeurigheid Validiteit Inhoudsvaliditeit Begripsvaliditeit 76 3

4 12 Samenvatting Samenvatting toetsen Leestechniek Samenvatting toetsen Leestempo Literatuur 83 Bijlagen 87 4

5 1 Inleiding Deze wetenschappelijke verantwoording heeft betrekking op de toetsen Technisch lezen voor groep 3 tot en met 5. Samen met de inhoud van de toetspakketten LOVS Technisch lezen (Cito 2009a; 2009b; 2009c) levert deze verantwoording alle informatie die nodig is voor een snelle en efficiënte beoordeling van de kwaliteit van de betreffende meetinstrumenten. De toetsen Technisch lezen kennen twee opgavenvormen: opgaven Leestechniek (midden en eind groep 3) en opgaven Leestempo (eind groep 3 tot en met groep 5). De toetsen Technisch lezen opgavenvorm Leestechniek zullen gemakshalve verder (toetsen) Leestechniek genoemd worden; voor de toetsen Technisch lezen opgavenvorm Leestempo wordt de naam (toetsen) Leestempo gehanteerd. Een andere terminologische kwestie is het gebruik van de term leesvaardigheid: tenzij nadrukkelijk anders vermeld, wordt daarmee de technische leesvaardigheid van leerlingen bedoeld. Hoe verhouden de beide toetsen zich tot elkaar? De toets Leestechniek is te beschouwen als een voorloper op de toets Leestempo. Bij de toets Leestechniek, voor leerlingen in groep 3, gaat het om het lezen van woorden; bij de toets Leestempo, voor eind groep 3 tot en met groep 5, om het lezen van teksten. De scores die leerlingen op beide toetsvormen behalen liggen niet op een en dezelfde vaardigheidsschaal: er is een schaal Leestechniek en een schaal Leestempo. Beide toetsen worden hieronder afzonderlijk verantwoord: Leestechniek in deel 1 en Leestempo in deel 2. De wetenschappelijke verantwoording maakt, samen met de inhoud van de toetspakketten LOVS Technisch lezen voor groep 3 tot en met 5, een beoordeling van de toetsen LOVS Technisch lezen mogelijk op de volgende aspecten: Uitgangspunten van de toetsconstructie De kwaliteit van het toetsmateriaal De kwaliteit van de handleiding Normen Betrouwbaarheid Validiteit Het laatstgenoemde aspect betreft alleen begripsvaliditeit en geen criteriumvaliditeit. Omdat de toetsen van het LOVS niet bedoeld zijn voor 'voorspellend gebruik' is criteriumvaliditeit niet van toepassing. Het voorliggende document heeft met name betrekking op de uitgangspunten van de constructie (Leestechniek: hoofdstuk 2 en 3; Leestempo: hoofdstuk 7 en 8), de normen (Leestechniek: hoofdstuk 4; Leestempo: hoofdstuk 9), de betrouwbaarheid en meetnauwkeurigheid (Leestechniek: hoofdstuk 5; Leestempo: hoofdstuk 10) en de begripsvaliditeit (Leestechniek: hoofdstuk 6; Leestempo: hoofdstuk 11) van de toetsen in LOVS Technisch lezen voor de jaargroepen 3, 4 en 5. De kwaliteit van het toetsmateriaal en de handleiding is te bepalen door kennis te nemen van de inhoud van de toetspakketten. 5

6 6

7 Deel 1 Wetenschappelijke verantwoording van de toetsen Leestechniek 7

8 8

9 2 Uitgangspunten van de toetsconstructie 2.1 Meetpretentie Binnen het leesonderwijs op de basisschool wordt een onderscheid gemaakt tussen technisch lezen en begrijpend lezen. Het technisch lezen is geen doel op zich, maar wordt gezien als een voorwaardelijke activiteit voor het leren begrijpen van teksten. Het ontsleutelen van geschreven woorden is een vaardigheid die traditioneel wordt gemeten met hardop-leestoetsen, zoals uit onderstaande tabel 2.1 is af te lezen. De toetsen Leestechniek in LOVS Technisch lezen groep 3 daarentegen beogen de technische leesvaardigheid te meten door middel van zogenaamde stilleestoetsen. In paragraaf 3.2 wordt (aan het eind) verder ingegaan op het verschil tussen de hardop- en stilleessituatie. Tabel 2.1 Instrumenten voor het meten van de technische leesvaardigheid 1 Naam Gevraagde leesgedrag Te lezen materiaal Uitgever Jaar van uitgave AVI hardop lezen teksten Cito 2009 De Klepel hardop lezen pseudowoorden Pearson 1994 Differentiële zinnenleestest hardop lezen zinnen Berkhout 1982 Drie-Minuten-Toets hardop lezen woorden Cito 2009 Een-Minuut-Test hardop lezen woorden Pearson 1999 Schoolvaardigheidstoets hardop lezen teksten Boom 2007 Technisch lezen Technisch lezen , hardop lezen woorden A/B OnderwijsAdvisering Technisch lezen: stil lezen woorden Cito 2009 Leestechniek Technisch lezen: stil lezen teksten Cito 2009 Leestempo TPVO hardop lezen woorden A-vision 2008 Hieronder in tabel 2.2 staat specifieker hoe de vier instrumenten die Cito uitgeeft op het gebied van technisch lezen zich tot elkaar verhouden. Tabel 2.2 Cito-instrumenten voor technisch lezen Op woordniveau Op tekstniveau Hardop lezen DMT AVI Stillezen Leestechniek Leestempo 2.2 Doelgroep De toetsen Leestechniek in LOVS Technisch lezen zijn bestemd voor en genormeerd bij leerlingen in groep 3 in het basisonderwijs. Voor de toetsen in groep 3 zijn de populatieparameters zowel op midden leerjaar als op einde leerjaar bepaald. De toetsen kunnen desgewenst ook op andere momenten in het schooljaar worden afgenomen, maar dat maakt het moeilijker om uitspraken te doen over het niveau van de leerling ten opzichte van andere leerlingen in Nederland. 1 Bron: Toetsgids ( 9

10 2.3 Gebruiksdoel en functie LOVS Technisch lezen heeft twee hoofddoelen en twee nevendoelen. De hoofddoelen zijn: niveaubepaling en progressiebepaling. De nevendoelen hebben betrekking op het selecteren van passend leesmateriaal (voor alle leerlingen) en op het analyseren van de door de leerling gemaakte fouten met het oog op het aanbieden van gerichte remediëring (voor geselecteerde leerlingen). Deze laatstgenoemde signalering staat geheel los van de niveau- en progressiebepaling en is in de kalibratieen normeringsonderzoeken niet wetenschappelijk getoetst. Niveaubepaling De toetsafnamen in het kader van LOVS Technisch lezen geven de leerkracht informatie over het leesvaardigheidsniveau van zijn leerlingen, individueel of als groep. Iedere behaalde leesvaardigheidsscore kan daartoe normgericht geïnterpreteerd worden op basis van de vaardigheidsverdeling in een adequate referentiegroep (zie paragraaf 3.1 voor de verdeling van de niveaugroepen en 4.2 voor de beschrijving van de referentiegroep). Progressiebepaling De toetsen in LOVS Technisch lezen geven de leerkracht informatie over de ontwikkeling van de leesvaardigheid van zijn leerlingen, individueel of als groep, in groep 3. Ze geven antwoord op vragen als: is er sprake van vooruitgang, achteruitgang of van stabilisering? Is de vooruitgang gelet op de gemiddelde vooruitgang in de populatie volgens verwachting? Het gehanteerde meetmodel (zie paragraaf 2.4.2) maakt het mogelijk om de scores van een leerling op verschillende toetsen, op verschillende momenten afgenomen, onderling te vergelijken. De ruwe scores op de toetsen de aantallen opgaven goed zijn daartoe te transformeren in scores op één vaardigheidsschaal. Deze unidimensionele vaardigheidsschaal die aan de toetsen Leestechniek binnen de toetsen LOVS Technisch lezen ten grondslag ligt, is ontwikkeld met behulp van het One Parameter Logistic Model (Verhelst, 1993; Verhelst & Glas, 1995; Verhelst, Glas & Verstralen, 1994). Zoals in de inleiding reeds vermeld is, bestaat er voor de toetsen Leestempo een aparte vaardigheidsschaal. Selectie van leesstof Het nevendoel van LOVS Technisch lezen is het afstemmen van de leesstof op de leesvaardigheid. Deze afstemming kan plaatsvinden omdat de scores die leerlingen op de toetsen in LOVS Technisch lezen behalen omgezet kunnen worden in een AVI-niveau. Zoals de vaardigheidsscores van leerlingen op de toetsen in LOVS Technisch lezen omgezet kunnen worden in een AVI-niveau, kan ook de leesmoeilijkheid die een tekst heeft, uitgedrukt worden in een AVI-niveau. Met behulp van het AVI-niveau worden leesvaardigheid en leesbaarheid (i.e. vereiste leesvaardigheid) op één schaal gebracht. Dit maakt het in het kader van een individueel leesadvies mogelijk om voor een leerling leesteksten te selecteren met een moeilijkheid die afgestemd is op de leesvaardigheid waarover hij of zij kan beschikken. Een toenemend aantal jeugdboeken wordt van een AVI-niveau voorzien en de uitgevers ervan plaatsen deze index, samen met eventueel het CLIB-niveau voor de begripsmatige moeilijkheid van de tekst, in een beeldmerk dat in hun boeken wordt afgedrukt. Signalering via categorieënanalyse (woordcategorie en foutensoort) Met behulp van de analyseformulieren bij de toetsen Leestechniek in LOVS Technisch lezen groep 3 kan de leerkracht op eenvoudige wijze zien met welke woordcategorieën een of meerdere leerlingen problemen hebben. De gehanteerde indeling gaat uit van drie parameters: het aantal lettergrepen, de combinatie van aantal klinkers (k) en medeklinkers (m) en het voorkomen van gesloten of open lettergreep (zie ook paragraaf 3.2). Een dergelijke analyse is alleen relevant voor de E3-toets; de opgaven van de M3-toets behoren namelijk alle tot één categorie. Individuele leerlingen die blijk geven van onvoldoende beheersing van een of meerdere categorieën zullen wellicht baat hebben bij extra instructie en gerichte oefeningen. Door het invullen van een analyseformulier of het invoeren van de antwoorden van de leerling in het Computerprogramma LOVS kan de leerkracht nagaan met welke woordcategorie(ën) een leerling problemen had in de toets Technisch lezen. Het analyseformulier biedt ook de mogelijkheid om in kaart te brengen welke soort fóuten een leerling maakt. Daarbij is het uitgangspunt dat de keuze voor een bepaalde afleider correspondeert met een bepaald soort fout: als een leerling bijvoorbeeld kiest voor straat in plaats van het grondwoord staart spreekt men van een zogenaamde weglaat-, toevoeg- of dooreengooi-fout (WTD). Zoals al aan het begin van deze paragraaf werd gezegd, is er geen kwalitatief of kwantitatief onderzoek gedaan naar het adequaat functioneren van de categorieënanalyse. De signalering via categorieënanalyse heeft dan ook geen enkele wetenschappelijke status of pretentie. Haar enige functie is het doen van een handreiking naar 10

11 leerkrachten die gericht extra ondersteuning willen bieden aan leerlingen die moeite hebben met het correct lezen van bepaalde soorten woorden. 2.4 Theoretische inkadering Inhoudelijk 1 Inleiding Voorwaardelijk voor het lezen met begrip is het complex van processen dat in het onderwijs in ons land bekend staat als technisch lezen. Binnen het technisch lezen spelen twee processen een essentiële rol: decoderen en het proces van de woordherkenning. Decoderen, ook wel ontsleutelen of verklanken genoemd, is het omzetten van een visuele code in een klankcode: het leggen van relaties tussen 'spraakklanken' en geschreven woorden, waarbij de aanhalingstekens rond het woord spraakklanken in deze omschrijving bedoeld zijn om aan te geven dat het bij decoderen niet per definitie om het hardop uitspreken van ontsleutelde woorden hoeft te gaan; het verklanken van woorden kan hoorbaar of niet-hoorbaar gebeuren. Bij het decoderen gaat het om het leggen van relaties tussen woorden in hun orthografische vorm en de daarmee geassocieerde klankvorm. De sterkte van de cognitieve representatie van de klankvormen en de snelheid en accuratesse waarmee die representaties kunnen worden opgeroepen en verwerkt, bepalen iemands decodeervaardigheid. Anders gezegd, leerlingen zijn decodeervaardig in de mate dat deze deelprocessen bij hen accuraat en vlot verlopen. In met name het aanvankelijk (technisch-)leesonderwijs wordt dan ook gestreefd naar het bewerkstelligen van stabiele en vlot beschikbare orthografie-klankassociaties bij leerlingen. Woordherkenning betreft het activeren van de met een woord verbonden inhoudelijke informatie, met het oog op de toekenning van betekenis aan dat woord. Zelfs bij de start van het aanvankelijk leesonderwijs voor de meeste van hen in groep 3 van de basisschool hebben leerlingen al een behoorlijke (mondelinge) woordenschat. Het proces van de woordherkenning komt in dat licht neer op het relateren van bekende semantische informatie (woordbetekenissen) aan op dat moment nog tamelijk onbekende orthografische informatie (geschreven woorden), die zie onder al dan niet verklankt is. Uiteraard verloopt de woordherkenning efficiënter en sneller naarmate meer woorden, en meer woorden vollediger, gerepresenteerd zijn in het brein van de lezer. Het decodeerproces, het proces van de woordherkenning en de relatie tussen deze processen wordt beschreven in diverse theoretische modellen die zijn ontwikkeld om het leesproces te beschrijven. In het onderstaande worden de voornaamste van deze modellen besproken. Bestudering van deze modellen is van belang omdat zij de variatie in de ontwikkeling van de leesvaardigheid kunnen verklaren. Leesmodellen In principe is er bij het lezen van een woord rechtstreekse woordherkenning mogelijk op basis van de orthografie van dat woord; zeker bij een gevorderde lezer. Maar er is nog een ander optie: de orthografie kan eerst omgezet gedecodeerd worden in een fonologische representatie die vervolgens wordt gebruikt bij de woordherkenning. Deze opties worden traditioneel respectievelijk direct en indirect genoemd. De mate waarin de ene of de andere optie wordt toegepast is een klassiek thema in het leesonderzoek; met consequenties voor de wijze waarop het leren lezen vormgegeven zou moeten worden (Harm & Seidenberg, 2004, maar zie ook Bosman & Van Orden, 2003). Onderzoekers nemen wat dit betreft uiteenlopende standpunten in. Er zijn er die aan de fonologie geen enkele rol toeschrijven als het om woordherkenning gaat, terwijl anderen fonologie daarbij juist noodzakelijk achten. En er zijn er ook die er een 'verzoenende' visie op nahouden, welke inhoudt dat beide opties belangrijk zijn maar onder verschillende omstandigheden; bijvoorbeeld bij de herkenning van zogeheten regelmatige versus onregelmatige woorden: woorden die conform hun uitspraak gespeld worden, zoals 'jas', versus woorden waarvoor dat niet geldt, zoals 'jus'. Modellen die het leesproces beschrijven, moeten deze en eventueel nog andere opties kunnen verantwoorden. Het linguïstisch analysemodel, dat tot in de jaren zestig van de vorige eeuw de theorievorming met betrekking tot het lezen heeft gedomineerd, kan dat niet. Lezen wordt in dat model beschouwd als het omzetten van individuele grafemen in fonemen op basis van een systeem van regels: de zogeheten grafeem-foneemcorrespondentieregels. Een regelsysteem als dit kan het lezen van woorden die in dit opzicht onregelmatig zijn echter niet verklaren. Voor het correct verklanken van deze woorden is aanvullende informatie nodig. Deze informatie de aard en de rol ervan heeft een plaats gekregen in het dubbele-routemodel. 1 Paragraaf maakt onderdeel uit van zowel de Wetenschappelijke verantwoording van het toetspakket Technisch lezen (toetsen Leestechniek én Leestempo) als van de Wetenschappelijke verantwoordingen van de DMT en de AVI-toets (Krom e.a. 2010). 11

12 Dubbele-routemodel Het oorspronkelijke dubbele-routemodel (Coltheart, 1978) beschrijft het leesproces in termen van twee gescheiden, onafhankelijk van elkaar werkende, routes: een fonologische route en een lexicale route. Daarnaast is in het model een belangrijke rol weggelegd voor het zogeheten mentale lexicon; een intern representatiesysteem waarin informatie over woorden is opgeslagen: orthografische, fonologische, syntactische en semantische informatie. Dit model veronderstelt dat bij het (indirecte) lezen via de fonologische route een woord van links naar rechts, letter voor letter, verklankt wordt met behulp van een systeem van grafeemfoneemcorrespondentieregels om, na het auditief synthetiseren van de fonologische code tot één geheel, in het mentale lexicon als woord herkend en van betekenis voorzien te worden. Bij het lezen via de lexicale route zou de orthografische representatie van een woord direct als geheel in het mentale lexicon geactiveerd worden, waardoor vervolgens de betekenis van dat woord beschikbaar komt, zonder dat eerst een fonologische omzetting heeft plaatsgevonden. De termen direct en indirect verwijzen naar de aanname dat de indirecte of fonologische aanpak meer tijd kost en dus minder efficiënt is dan de directe of lexicale aanpak. De lexicale route zou alleen mogelijk zijn bij het lezen van woorden die een orthografische representatie hebben in het mentale lexicon; anders gezegd: woorden die een lezer relatief vaak heeft gelezen. Voor het lezen van woorden waarvoor weinig of geen informatie in het mentale lexicon beschikbaar is (respectievelijk onbekende, infrequente of pseudowoorden), zou de fonologische route gebruikt moeten worden. Experimenteel onderzoek heeft enkele resultaten opgeleverd die door het oorspronkelijke dubbele-routemodel goed verklaard kunnen worden: bestaande woorden worden sneller gelezen dan pseudowoorden; woorden met een regelmatige orthografieklankcorrespondentie worden sneller gelezen dan onregelmatige woorden en hoogfrequente woorden worden sneller gelezen dan laagfrequente woorden (Bosman, 2000). Bovendien worden lange hoogfrequente woorden even snel gelezen als korte hoogfrequente woorden, maar worden lange pseudowoorden langzamer gelezen dan korte pseudowoorden (Juphard et al. 2004). Daartegenover staan vele experimentele bevindingen die de houdbaarheid van het model in zijn oorspronkelijke vorm serieus hebben aangetast. Allereerst is duidelijk geworden dat er bij het lezen geen sprake kan zijn van volkomen gescheiden routes oftewel van een complete onderlinge onafhankelijkheid tussen de fonologische en lexicale route (Coltheart & Rastle, 1994; Paap & Noel, 1991; Rapcsak et al., 2007). Ten tweede blijkt het omzetten van een visuele code naar een klankcode het systeem van correspondentie-regels dat een belangrijke functie heeft bij het lezen via de indirecte weg niet alleen te spelen op het niveau van het grafeem maar ook op niveaus van eenheden groter dan het grafeem (Paap & Noel, 1991). Ten derde toont veel experimenteel onderzoek aan maar zie Pugh et al. (1994) en Taft (2006) dat lezen zonder gebruik te maken van de klánk van woorden niet mogelijk is of niet plaats vindt (Van Orden et al. 1988), en dat dit geldt voor lezers op alle vaardigheidsniveaus. Daaruit blijkt dat het indirecte lezen via de fonologische route geen tijdelijk stadium is. Het komt niet alleen voor bij beginnende lezers, maar ook bij ervaren lezers en bij hen niet alleen tijdens het lezen van onbekende woorden (Bosman, 2000; McLeod et al., 2001). Evidentie als hierboven beschreven, heeft geleid tot 1) bijstellingen van het dubbele-routemodel en 2) het ontstaan van alternatieve, connectionistische, ideeën. Zie voor een bespreking van twee relevante connectionistische modellen de paragraaf hieronder. Deze paragraaf vervolgt met de bespreking van de belangrijkste bijstelling van het dubbele-routemodel: het dubbele-route-cascademodel of DRC-model, (Coltheart et al., 1993); een digitale realisatie van het dubbele-routemodel. Digitaal in die zin dat het uitgevoerd is als computerprogramma waarmee taken die in experimenteel leesonderzoek gebruikelijk zijn, gesimuleerd kunnen worden. Het model wordt cascadisch genoemd vanwege de manier waarop de doorvoer van activatie in het model plaatsvindt: cascadische systemen werken niet met drempelwaarden. Dit betekent dat ook heel geringe activatieniveaus onbelemmerd kunnen 'doorstromen' van het ene modulaire niveau naar het andere. Sinds de introductie is het DRC-model in veel empirisch onderzoek op de proef gesteld en heeft het deze tests doorstaan (Ziegler et al. 2000). Onder andere in Rastle & Coltheart (1999), waarin twee experimenten worden beschreven die steun aandragen voor de aanwezigheid van twee routes, over het differentieel gebruik waarvan lezers ook een bepaalde mate van controle blijken te hebben. Ziegler et al. (2000) tonen aan dat het DRC-model ook van toepassing is op het Duits. En in een recentere beschrijving van het DRC-model claimen Coltheart et al. (2001) dat hun model zeer succesvol is in het simuleren van een baaierd aan verschijnselen op het gebied van (ondermeer) het hardop lezen. Zij eindigen hun artikel met een lange lijst van voorbeelden die deze claim moeten staven. Steun voor het model komt ook van Rapcsak, et al. (2007) die resultaten presenteren waaruit blijkt dat het DRC-model niet alleen de leesprestaties van normale lezers kan voorspellen maar ook die van patiënten met verworven alexie en agraphie. Besner & Roberts (2003) stellen desondanks een wijziging van het model voor. Deze wijziging grijpt aan op het cascadische karakter van het model en komt erop neer dat het de voorkeur verdient om, in plaats van een model dat volledig cascadisch van aard is, op lagere niveaus in het model toch 'drempels' in te bouwen. Dit zou het model in staat stellen om met z'n simulaties het menselijk leesgedrag nog weer beter te benaderen. Coltheart et al. (2001) slagen erin om met het DRC-model achttien effecten op alleen al het terrein van het hardop lezen te simuleren. Hoewel DRC aldus voldoende ondersteund lijkt te worden vanuit de empirie 12

13 hetgeen aansluit bij onze intuïtie dat een model dat erin slaagt een grote reeks van verschijnselen te verklaren een goed model is is het model niet onweersproken. Een model is slechts een middel; het doel is een theorie die leesgedrag en de neurale fundamenten daarvan verklaart. Modellen moeten niet alleen beoordeeld worden naar de mate waarin zij robuuste effecten op een bepaald terrein, zoals hardop lezen, kunnen verklaren, maar ook naar de mate waarin zij daarbuiten functioneren ; bijvoorbeeld bij het verklaren van de relatie tussen gedrag en bepaalde neurofysiologische substraten (Seidenberg, 2007). Deze pretentie heeft het DRC-model niet, in ieder geval niet expliciet, maar hebben connectionistische modellen wél. 1 Connectionistische modellen Sinds de late jaren tachtig van de vorige eeuw worden in het leesonderzoek connectionistische modellen toegepast. Het gaat daarbij om computermodellen die gebaseerd zijn op theorieën over hoe lezen in z'n werk gaat. En die onder andere pogen te verklaren hoe kinderen leren lezen, hoe het lezen van goede lezers verloopt en hoe leesproblemen, zoals dyslexie, verklaard kunnen worden. Het is een benadering die steunt op gedachten en aannamen over de manier waarop kennis in ons brein gerepresenteerd is, over de manier waarop die kennis verworven is en over de manier waarop deze gebruikt wordt. Connectionistische modellen ontwikkelen en toetsen hypothesen over hoe mensen lezen, en dat ten dienste van een algemene theorie: een theorie die omvangrijker is dan louter een leestheorie. Ontwikkelaars van connectionistische modellen hebben het idee van het mentale lexicon verlaten. In plaats daarvan wordt een uitgebreid netwerk van orthografische, fonologische en semantische eenheden verondersteld, waartussen bij het lezen van een woord verbindingen (connecties; vandaar de naamgeving van deze modellen) worden gelegd. Kern van het connectionisme is dat bij het lezen de verklanking van een woord of pseudowoord tot stand komt in één geïntegreerd proces, waarin op basis van kennis van statistische regelmatigheden op verschillende niveaus activatie wordt opgebouwd. Letterclusters, syllaben, morfemen en woorden die vaker zijn omgezet in klanken, worden volgens deze theorie sneller en preciezer herkend (Schijf, 2009). In de literatuur zijn twee belangrijke connectionistische modellen beschreven. Het parallelle gedistribueerde verwerkingsmodel en het fonologisch-coherentiemodel. Parallelle gedistribueerde verwerkingsmodel Het parallelle gedistribueerde verwerkings- of PDP-model, waarin PDP staat voor parallel distributed processing, is ontwikkeld door Seidenberg & McClelland (1989). In het dubbele-routemodel worden de lexicale en fonologische route als onafhankelijk opgevat. Het alternatief van het PDP-model is dat beide routes parallel werken. Vandaar de term parallel in de naam van het model; distributed slaat op de manier waarop informatie gerepresenteerd wordt geacht. Bij een gedistribueerde representatie wordt een bepaald kenmerk gerepresenteerd door een activatiepatroon. Hiertegenover staat een lokale representatie, waarin een bepaald kenmerk gerepresenteerd wordt door één enkele eigenschap, die functioneert als een detector welke geactiveerd wordt als het kenmerk aanwezig is. De ontwikkelaars van het PDP-model, die overigens niet zo zwaar lijken te tillen aan het verschil 'lokaal gedistribueerd' (Seidenberg, 2007), opteren met name voor een gedistribueerde representatie omdat zij in hun model gebruik wensen te maken van mechanismen die consistent zijn met de gevonden evidentie met betrekking tot het functioneren van het brein. Parallel gedistribueerde netwerken bieden onderzoekers aldus redelijk goede benaderingen van de manier waarop informatie zich over het brein verspreid (Plunkett (2001) en ze hebben daarmee dan ook een behoorlijke psychologische realiteit. Dit in tegenstelling tot het fonologisch coherentiemodel (zie onder). Daarin wil men een directe analogie met het zenuwstelsel juist vermijden. Het in dat model gepresenteerde netwerk is wel op de werking van het zenuwstelsel geïnspireerd, maar de bouwstenen ervan zijn geen psychologisch reële eenheden (Bosman & Van Orden, 2003). Het oorspronkelijke PDP-model bestaat uit verzamelingen van onderling verbonden orthografische en fonologische eenheden, en een tussenniveau van 'verborgen' eenheden. Laatstgenoemde eenheden zijn noodzakelijk omdat er grenzen zijn aan de verwerkingscapaciteit van netwerken met daarin alleen directe verbindingen; de verborgen eenheden voegen aan het systeem indirecte verbindingen toe. De verbindingen tussen de verschillende eenheden zijn voorzien van gewichten die bepalen hoeveel informatie doorgegeven wordt. Deze gewichten weerspiegelen een leereffect; de aggregatie van alle training die iemand in z'n leescarrière heeft ondergaan. Het model van Seidenberg & McClelland (1989) voldoet uitstekend in het geval van eenlettergrepige woorden, dat wil zeggen: het kan de verklanking van dit type woorden goed verklaren, maar het model heeft een beperkte waarde als het om de verklanking van pseudowoorden gaat. Volgende versies van het PDP-model (Harm & Seidenberg, 1999; Plaut et al., 1996) voldoen tamelijk goed in het geval van eenlettergrepige zowel als pseudowoorden. Harm & Seidenberg (1999) onderzoeken de rol van fonologische informatie bij het vroege lezen en in dyslexie. Hun model behelst een uitbreiding van de principes zoals geformuleerd in Seidenberg & 1 Levy et al. (2009) slagen er overigens in fmri-onderzoek in om functionele verbindingen in het brein op te sporen die betrokken zijn bij het lezen van woorden en pseudowoorden op een manier die consistent is met het DRC-model. 13

14 McClelland (1989) en Plaut et al. (1996); het simuleert de ontwikkeling van de leesvaardigheid en de stoornissen die tijdens die ontwikkeling kunnen optreden en draagt daardoor bij aan ons begrip van het leren lezen en het ontstaan van dyslexie. In Harm et al. (2003) wordt het model van Harm & Seidenberg (1999) gebruikt om na te gaan waarom, met het oog op het opheffen van leesproblemen, bepaalde interventies effectiever zijn dan andere. De simulaties met dit model leren ons waarom interventies die gericht zijn op de ontwikkeling van grafeem-foneemkoppelingen effectiever zijn dan interventies die zich uitsluitend richten op het bevorderen van het fonemisch bewustzijn. In een latere versie van het PDP-model is ook een semantische component ingebouwd (Harm & Seidenberg, 2004), met name om een bijdrage te leveren aan het langlopende debat over de rol van fonologische informatie bij het stil lezen. Dit model richt zich in essentie op de vraag hoe betekenis geactiveerd wordt in een systeem waarin zowel een visuele (van orthografie naar betekenis) als een fonologische route (van orthografie via fonologie naar betekenis) beschikbaar is. Een dergelijk systeem blijkt efficiënter te werken wanneer beide routes gebruikt worden dan wanneer een van de twee geïsoleerd gebruikt wordt. Aanvankelijk, bij de beginnende lezer, wordt de semantische activatie grotendeels aangedreven via de orthografie-fonologie-betekenisroute. Na verloop van tijd begint de orthografie-betekenisroute meer invloed te krijgen. Uiteindelijk is de situatie zo dat er bij het lezen van de meeste woorden input van beide routes komt. Fonologisch-coherentiemodel Een ander relevant connectionistisch model is het fonologisch-coherentiemodel. Dit model is voor het eerst gepresenteerd in Van Orden et al. (1990) waarin ook de assumpties van het dubbele-routemodel besproken en ondergraven worden en later verder uitgewerkt in onder andere Van Orden & Goldinger (1994) en Bosman & Van Orden (1997). Het model is gebaseerd op de principes van de dynamische systeemtheorie en geoperationaliseerd als een netwerk waarin drie zogeheten knoopfamilies worden verondersteld: letterknopen, foneemknopen en semantische-kenmerkknopen (Bosman, 2000). Deze knoopfamilies zijn onderling op een recurrente wijze verbonden, dat wil zeggen dat de activatie tussen de knoopfamilies in beide richtingen verloopt (zie voor empirische evidentie: Stone et al., 1997); een belangrijk onderscheid ten opzichte van het PDP-model, dat een zogeheten feedforward-model is waarin de activatie zich slechts in één richting verspreidt (Bosman & Van Orden, 2003). Ook de verbindingen tussen de knopen binnen een familie zijn recurrent maar deze verbindingen zijn inhibitoir, terwijl de verbindingen tússen verschillende families steeds excitatoir zijn. Deze laatste verbindingen zijn niet alle even sterk. Dit is een essentieel kenmerk van het systeem; het weerspiegelt de sterkte van de relaties tussen de drie knoopfamilies. De sterkste verbindingen zijn die tussen de letter- en de foneemknopen; dat ligt voor de hand: er bestaan immers zeer consistente relaties tussen letters en fonemen. En dit verklaart ook waarom de fonologie een fundamentele rol speelt bij het lezen. Daarentegen is het verband tussen spraakklanken en betekeniselementen, en tussen letters en betekenis-elementen veel geringer. Het verband tussen de foneem- en semantische-kenmerkknopen is overigens sterker dan tussen de letter- en semantische-kenmerkknopen; dit omdat we leren spreken voordat we leren lezen (Bosman, 2000; Bosman & Van Orden 2003). Als dit connectionistisch netwerk een geschreven woord krijgt voorgelegd, worden de letterknopen geactiveerd. Deze sturen hun activatie door (feedforward) naar de foneem- en semantischekenmerkknopen. Vervolgens sturen de foneemknopen hun activatie terug (feedback) naar de letterknopen en door (feedforward) naar de semantische-kenmerkknopen. Deze sturen hun activatie ook terug (feedback) naar de letterknopen en door (feedforward) naar de foneemknopen. De letterknopen zenden vervolgens hun activatie weer door (feedforward) naar de foneem- en semantische-kenmerkknopen, enzovoort (Bosman & Van Orden, 1997; Bosman & Van Orden, 2003). Er ontstaat een interactief patroon van voor- en terugwaartse activaties waarbij knopen van alle drie de knoopfamilies worden geactiveerd en inconsistenties tussen de activaties van de knopen goeddeels worden weggewerkt. In dit proces komt aldus woordherkenning tot stand door recurrente, onderlinge beïnvloeding van knopen van verschillende knoopfamilies: een dynamisch proces van coöperatie en competitie, waaruit als de voorwaartse en terugwaartse activaties overeenkomen (het principe van de zelfconsistentie; Van den Broeck & Ruijssenaars, 1995) coherente structuren ontstaan als relatief stabiele terugkoppelingslussen. Onder invloed van een covariant leerproces worden relaties tussen knopen uit verschillende knoopfamilies tijdelijk als functionele eenheden, de zg. subsymbolen (Van Orden et al., 1990), vastgelegd in het geheugen. Tijdens dat proces wordt de sterkte van de verbindingen tussen subsymbolen voortdurend aangepast op basis van de leeservaring. Woordherkenningsprocessen gaan hierdoor steeds efficiënter en sneller verlopen. Amalgaammodellen Het debat over de theorie van het leesproces wordt nog steeds gevoerd (zie bijvoorbeeld Coltheart, 2006; Harm & Seidenberg, 2004; Seidenberg, 2007) en kan in de context van deze verantwoording geen onderwerp zijn, maar in de nieuwste (computationele) modellen worden aspecten van het dubbele-routemodel steeds vaker gecombineerd met connectionistische opvattingen. Schijf (2009) noemt in dit verband het CDP-model (Connectionist Dual Process Model of Reading Aloud) van Perry c.s. uit Maar al in de jaren tachtig van de 14

15 vorige eeuw beschrijven Reggia et al. (1988) een model dat steun geeft aan een gewijzigd dubbele-routemodel waarin een rol voor interactieve routes is weggelegd. Hun Dual-route Connectionist Model of Print-to-sound Transformation hanteert bovendien een destijds nieuwe benadering van de dynamiek in connectionistische modellen: een zogeheten competitief activatiemechanisme in plaats van expliciete inhibitoire verbindingen tussen verschillende niveaus. Ook in Bjaalid et al. (2002) wordt een gecombineerd framework voorgesteld; een samensmelting van de dubbele-route- en connectionistische woordherkennings-modellen. Houghton & Zorzi (2003) doen hetzelfde, maar dan voor het spellen. Met het Mixtures of Experts Network Model probeert Asakawa (2008) het DRC-model en het PDP-model te integreren teneinde de ogenschijnlijke willekeur van beide modellen wat betreft het verklaren van de neuropsychologische evidentie en van gegevens uit experimenteel onderzoek het hoofd te kunnen bieden. Tot besluit Zoals gezegd is deze verantwoording niet de plaats om de validiteit van de onderscheiden modellen tot in alle details te bediscussiëren. Voor ons doel is het belangrijk dat de modellen een aantal eigenschappen gemeen hebben. Om te beginnen voorspellen ze alle, het ene beter dan het andere, dat bekendheid met en van het te lezen (woord- en tekst)materiaal het lezen de nauwkeurigheid en de vlotheid ervan ten goede komt. Aan de kant van de lezer is dit een leer- of trainingseffect: hoe vaker hij bepaalde letters, letterclusters, woorden en woordgroepen heeft gedecodeerd, des te preciezer en sneller verloopt het leesproces. Aan de andere kant, zal een lezer bepaalde woord(groep)en vaker tegenkomen dan andere woord(groep)en; de gebruiksfrequentie en in het kielzog daarvan de bekendheid van woorden verschilt, met als absolute ondergrens per definitie die van pseudowoorden. Daarnaast gaat het in alle bovenbeschreven modellen om sterkte van representaties en verbindingen, om doorvoer van activatie, om dynamiek in al dan niet interactieve patronen, om toegang tot systemen of modules; eigenschappen en processen die de verschillen tussen de zwakkere en de betere lezers verklaren en die in hun samenhang op individueel niveau resulteren in de leesvaardigheid van, in het geval van onze doelgroep, een leerling. Diens leesvaardigheidsniveau, d.i. de kwaliteit van zijn leesvaardigheid of het gebrek daaraan, wordt gekenmerkt door een bepaalde vlotheid en een bepaalde mate van nauwkeurigheid (het aantal leesfouten dat gemaakt wordt) tijdens het lezen. De toets Leestechniek richt zich primair op accuraatheid en secundair op snelheid bij het lezen. Hoe deze aspecten van de technische leesvaardigheid in het hier verantwoorde instrument geoperationaliseerd worden, wordt beschreven in paragraaf 3.2 Leren lezen De basis voor de ontwikkeling van de technische leesvaardigheid ligt in de voor- en vroegschoolse periode (Verhoeven & Aarnoutse, 2000). In een omgeving waarin kinderen op betekenisvolle wijze met geschreven taal in aanraking komen, kunnen zij de functie daarvan en enige schriftconventies leren kennen. Het lees- en schrijfgedrag van kleuters is echter nog slechts oriënterend; vaak bootst het kind lees- en schrijfgedrag na. Meestal leert het de eigen naam en andere bekende woorden. Ook worden vaak letters van het alfabet gekend en onderscheiden in woorden. Sommige kinderen komen zelfs zo ver dat zij min of meer spontaan zelfstandige woorden leren synthetiseren. De ervaring leert echter dat een groot aantal kinderen moeite heeft met het doorzien van de alfabetische structuur van ons schriftsysteem. Deze en de meeste andere kinderen wordt, doorgaans in jaargroep 3, in een gestructureerd curriculum stap-voor-stap het inzicht in het alfabetische principe bijgebracht. Daarin wordt in de regel uitgegaan van twee fasen. In de eerste fase leren kinderen dat woorden zijn opgebouwd uit klanken en dat grafemen die klanken representeren. In een tijdsbestek van gemiddeld vier maanden leren zij hoe de klanken van onze taal door middel van letters kunnen worden weergegeven. Zo ontwikkelen zij op systematische wijze een fonemisch bewustzijn, leren zij de relatie tussen letters en klanken, en leren zij van daaruit woorden te lezen (decoderen) en te spellen (coderen). Deze fase beperkt zicht tot de zogeheten klankzuivere woorden met een eenvoudige MKM-structuur (medeklinker-klinker-medeklinker, bijvoorbeeld: mes en pan). In de daaropvolgende fase leren kinderen de elementaire lees- (en spel) handeling die ze hebben verworven te versnellen en uit te breiden naar woorden met medeklinkercombinaties en meerlettergrepige woorden (vgl. Wentink, 1997). Doordat kinderen de eerder geleerde decodeer- en woordherkenningsvaardigheden in steeds hoger tempo leren toepassen, kunnen zij met toenemend gemak eenvoudige teksten lezen. Op het eind van jaargroep 5 kunnen zij ongeveer 3000 woorden vlot lezen en begrijpen. (Hun mondelinge woordenschat bedraagt dan zo'n 9000 woorden.) Onder invloed van het gegeven dat kinderen de relaties tussen grafemen, spraakklanken en woorden steeds sneller doorzien, gaan de (technisch-)leesprocessen steeds meer een automatisch verloop krijgen. Kinderen bouwen hun leesvaardigheid dan min of meer zelfstandig verder uit. Daarbij geldt dat het lezen van onbekende woorden ook van de geoefende lezer bewuste aandacht vraagt. Het aantal bekende woorden neemt in de loop van het basisonderwijs echter steeds verder toe en de leerlingen kunnen tegen het einde van de basisschool ongeveer evenveel woorden in geschreven vorm lezen en begrijpen als zij kennen in gesproken vorm. Voor de meeste leerlingen verloopt de ontwikkeling van de technische leesvaardigheid zonder 15

16 noemenswaardige problemen. Onderzoek laat echter zien dat er bij screening van deze vaardigheid sprake is van grote standaardafwijkingen in de scoreverdeling (Blomert, 2003; Struiksma, 2003). Er lijkt iets meer duidelijkheid te komen over het antwoord op de vraag in hoeverre het technisch lezen van allochtone leerlingen achterblijft bij dat van hun autochtone leeftijdsgenoten. Ouder onderzoek wees op een stagnerende ontwikkeling van allochtone leerlingen (Verhoeven, 1990), maar uit recentere studies blijkt dat allochtone leerlingen op dit terrein inmiddels geen noemenswaardige problemen meer ondervinden. Alleen bij het lezen van langere, gelede woorden zou nog sprake zijn van een beperkte achterstand (Verhoeven, 2000; Droop & Verhoeven, 2003) Psychometrisch Opgavenbanken Voor het samenstellen van toetsen voor het primair onderwijs beschikt Cito over opgavenbanken. Die liggen ten grondslag aan onder meer de toetsen in het Cito Leerling- en Onderwijsvolgsysteem, de Entreetoetsen en de Eindtoets Basisonderwijs. Voor de constructie van de LOVS-toetsen Technisch lezen is gebruik gemaakt van de opgavenbank Technisch lezen, opgavenvorm Leestechniek. Voor andere vakgebieden in het LOVS als Spelling, Woordenschat, Rekenen-Wiskunde en Studievaardigheden zijn eveneens opgavenbanken in gebruik. Ook bestaat er een opgavenbank Technisch lezen, opgavenvorm Leestempo (zie deel 2). Een opgavenbank is nadrukkelijk niet eenvoudigweg een verzameling opgaven of items waaruit een toetsconstructeur min of meer naar willekeur een aantal items selecteert om een nieuwe toets te construeren. In deze paragraaf wordt beschreven wat de vereisten zijn om van een deugdelijke en psychometrisch goed gefundeerde opgavenbank te kunnen spreken. Unidimensionaal continuüm Het algemene uitgangspunt is dat de vaardigheid technisch lezen kan worden opgevat als een unidimensionaal continuüm (de reële lijn), en dat elke leerling voorgesteld kan worden als een punt op die lijn, met andere woorden: als een getal. Het getal drukt de mate van leesvaardigheid uit, waarbij een groter getal wijst op een grotere leesvaardigheid. Het doel van de meetprocedure het afnemen van een toets is de plaats van de leerling op dit continuüm zo nauwkeurig mogelijk te bepalen. De uitkomst van de meetprocedure bestaat strikt genomen uit twee grootheden: de eerste is de schatting van de plaats van de leerling op het vaardigheidscontinuüm. De tweede grootheid geeft aan hoe nauwkeurig die schatting is, en heeft dus de status van een standaardfout, te vergelijken met de standaardmeetfout uit de klassieke testtheorie. Latente vaardigheid De antwoorden van een leerling op de items worden beschouwd als indicatoren van de vaardigheid, hetgeen ruwweg betekent dat men verwacht dat alle items in de bank technisch lezen meten. De vaardigheid zelf wordt als niet-observeerbaar beschouwd, en daarom gewoonlijk omschreven als een latente vaardigheid. Moeilijkheid in de Item Respons Theorie Hoewel items dezelfde vaardigheid meten, kunnen ze toch systematisch van elkaar verschillen. Het belangrijkste verschil tussen de items is hun moeilijkheidsgraad. In de klassieke testtheorie wordt moeilijkheidsgraad uitgedrukt met een zogenaamde p-waarde, de proportie correcte antwoorden op het item in een welbepaalde populatie van leerlingen. In de Item Respons Theorie (IRT) die voor het construeren van de opgavenbanken werd gebruikt, hanteert men echter een andere definitie van moeilijkheid: ruwweg gesproken is het de mate van vaardigheid die nodig is om het item goed te kunnen beantwoorden. Dit verschil in definitie van de moeilijkheidsgraad tussen klassieke theorie en IRT is uitermate belangrijk: men kan verwachten dat de p-waarde van een item in groep 8 groter zal zijn dan in groep 6, waardoor duidelijk wordt dat de p-waarde een relatief begrip is: ze geeft de moeilijkheid aan van een item in een bepaalde populatie. Binnen de IRT is de moeilijkheid van een item gedefinieerd in termen van de onderliggende vaardigheid, zonder enige referentie naar een bepaalde populatie van leerlingen. Zo kan men ook de uitspraak begrijpen dat in de IRT vaardigheid en moeilijkheid op eenzelfde schaal liggen. Kansmodel De ruwe omschrijving van de moeilijkheidsgraad die in de vorige alinea werd gehanteerd (de mate van vaardigheid die nodig is om het item goed te kunnen beantwoorden) behoeft enige verdere uitwerking. Men zou deze omschrijving kunnen opvatten als een drempel: heeft een leerling die mate van vaardigheid niet, dan kan hij het item niet juist beantwoorden; heeft hij die drempel wel gehaald, dan geeft hij (gegarandeerd) het juiste antwoord. Deze interpretatie weerspiegelt een deterministische kijk op het antwoordgedrag van de leerling, die echter in de praktijk geen stand houdt, omdat eruit volgt dat een leerling die een moeilijk item correct 16

17 beantwoordt geen fout kan maken op een gemakkelijk item. Daarom wordt in de IRT een kansmodel gebruikt: hoe groter de vaardigheid, des te groter de kans dat een item juist wordt beantwoord. De moeilijkheidsgraad van een item wordt dan gedefinieerd als de mate van vaardigheid die nodig is om met een kans van precies een half een juist antwoord te kunnen produceren. Kalibratie In het voorgaande zijn nogal wat veronderstellingen ingevoerd (unidimensionaliteit; alle items zijn indicatoren voor dezelfde vaardigheid; kansmodel) die niet zonder meer voor waar kunnen worden aangenomen; er moet aangetoond worden dat al die veronderstellingen deugdelijk zijn. Dit aantonen gebeurt met statistische gereedschappen waarop in de volgende paragraaf dieper in wordt gegaan. Maar voor de items in een toets gebruikt kunnen worden, moet ook geprobeerd worden de waarden van de moeilijkheidsgraden te achterhalen. Dit gebeurt met een statistische schattingsmethode die wordt toegepast op de itemantwoorden die bij een steekproef van leerlingen zijn verzameld. Het hele proces van moeilijkheidsgraden schatten en verifiëren of de modelveronderstellingen houdbaar zijn, wordt kalibratie of ijking genoemd; de steekproef van leerlingen die hiervoor wordt gebruikt heet kalibratiesteekproef. Afnamedesigns Meestal bevat een opgavenbank meer items dan een doorsnee toets, zodat het praktisch niet doenbaar is om alle items aan alle leerlingen voor te leggen. Elke leerling in de kalibratiesteekproef krijgt derhalve slechts een (klein) gedeelte van de items uit de opgavenbank voorgelegd. Dit gedeeltelijk voorleggen gebeurt aan de hand van een zogeheten onvolledig design moet met de nodige omzichtigheid gebeuren. Verderop wordt ingegaan op het afnamedesign dat voor de kalibratie is gebruikt, de geïnteresseerde lezer wordt verwezen naar Eggen (1993). Belangrijke implicaties gekalibreerde opgavenverzameling Als de kalibratie met succes uitgevoerd is, is het resultaat een zogenaamde gekalibreerde itembank. In dat proces worden de items die niet passen bij de verzameling uit de collectie verwijderd. De opgavenbank bevat voor elk item niet alleen zijn feitelijke inhoud, maar ook zijn psychometrische eigenschappen, en de statistische zekerheid dat alle items dezelfde vaardigheid aanspreken. Dit houdt onder meer het volgende in: 1 In principe kan met een willekeurige selectie items uit de bank de vaardigheid worden gemeten bij een willekeurige leerling. In principe, want een willekeurige toets die uit de itembank wordt getrokken zal in de praktijk meestal niet voldoen omdat de meetresultaten (de schatting van de vaardigheid) onvoldoende nauwkeurig zullen zijn. Voor een nauwkeuriger meting (bij een gegeven aantal items in de toets) moeten de moeilijkheidsgraden van de items in overeenstemming gebracht worden met het vaardigheidsniveau van de leerlingen. 2 Om een schatting te kunnen maken van de verdeling van de vaardigheid in een welomschreven populatie, worden selecties van items voorgelegd aan aselecte steekproeven van leerlingen uit populaties die van belang zijn voor de normering. In het geval van LOVS zijn dat steekproeven van leerlingen op de verschillende normeringsmomenten vanaf Midden groep 3 tot Eind Groep 8. Daarbij maakt het, behoudens wat bij 1 is vermeld over nauwkeurigheid, niet uit welke selectie van items aan een leerling binnen een normeringsgroep wordt afgenomen. Een van de eigenschappen van gekalibreerde itembanken is immers dat met elke selectie items de vaardigheid van leerlingen kan worden bepaald. Voor een voorbeeld hiervan, zie Staphorsius (1994). In de praktijk komt dit meestal neer op het schatten van gemiddelde en standaardafwijking in de veronderstelling dat de vaardigheid normaal verdeeld is. Met deze schattingen kunnen dan ook schattingen gemaakt worden van de percentielen in de populatie. 3 Aan leerlingen die niet tot de betreffende referentiepopulatie behoren, kan dezelfde toets worden voorgelegd. De toetsscore wordt omgezet in een schatting van de vaardigheid en deze schatting kan geplaatst worden in de vaardigheidsverdeling van de populatie. Een leerling met achterstand in groep 8 kan een toets maken die normaliter aan groep 6 wordt voorgelegd, en zijn vaardigheidsschatting kan behalve met de populatie van groep 8 ook vergeleken worden met de percentielen in de populatie van groep 6, met bijvoorbeeld de uitspraak: De vaardigheid van deze leerling komt overeen met de mediane vaardigheid in groep 6. 4 De vergelijking die in het voorgaande gemaakt is, kan evengoed plaatsvinden als de (achterstands)leerling een andere toets (i.e. een selectie uit de opgavenbank) maakt dan de toets die normaliter aan groep 6 wordt voorgelegd. Immers, het kalibratieonderzoek heeft aangetoond dat alle items dezelfde vaardigheid meten. Een nieuwe toets meet dus dezelfde vaardigheid, zodat schattingen die van verschillende toetsen afkomstig zijn zinvol met elkaar kunnen worden vergeleken. Tot zover de nadere bepaling van het begrip opgavenbank. In de volgende hoofdstukken van dit deel van de verantwoording worden de begrippen die hierboven aan de orde zijn geweest nader uitgewerkt en toegelicht voor de opgavenbank Technisch lezen opgavenvorm Leestechniek. De verantwoording van de inhoudelijke 17

18 constructie van deze opgavenbank staat in hoofdstuk 3. In hoofdstuk 4 wordt (onder andere) de psychometrische constructie van de opgavenbanken besproken (kalibratie) Het gehanteerde meetmodel In het normeringsonderzoek is gebruikgemaakt van een op de itemresponstheorie (IRT) gebaseerd meetmodel zoals dat bij Cito gebruikelijk is. Dergelijke modellen verschillen in een aantal opzichten nogal sterk van de klassieke testtheorie (Verhelst, 1993; Verhelst & Kleintjes, 1993; Verhelst & Glas, 1995). Bij de klassieke testtheorie staan de toets en de toetsscore centraal. Het theoretisch belangrijkste begrip in deze theorie is de zogenaamde ware score, de gemiddelde score die de persoon zou behalen indien de test een oneindig aantal keren onder dezelfde condities zou worden afgenomen. Die notie geeft een van de belangrijkste (praktische) obstakels van deze theorie voor ons onderzoek weer: het is problematisch om toetsscores te vergelijken die verkregen zijn in een onvolledig design. Hoewel er methoden bestaan binnen de klassieke testtheorie om toetsscores te equivaleren (Engelen & Eggen, 1993), schiet deze benadering tekort als het gaat om de centrale vraag: hoe wordt duidelijk dat de equivalering zinvol is? Op die vraag heeft IRT een antwoord. In de IRT staat het te meten begrip of de te meten eigenschap centraal. De IRT beschouwt het antwoord op een item als een indicator voor de mate waarin die eigenschap aanwezig is. Het verband tussen eigenschap en itemantwoord is van probabilistische aard en wordt weergegeven in de zogenaamde itemresponsfunctie. Die geeft aan hoe groot de kans is op een correct antwoord als functie van de onderliggende eigenschap of vaardigheid. Formeler: zij X i de toevalsvariabele die het antwoord op item i voorstelt. X i neemt de waarde 1 aan in geval van een correct antwoord en 0 in geval van een fout antwoord. Als symbool voor de vaardigheid wordt θ (theta) gekozen. De vaardigheid θ is niet rechtstreeks observeerbaar. Dat zijn alleen de antwoorden op de opgaven. Dat is de reden waarom θ een 'latente' variabele wordt genoemd 1. De itemresponsfunctie f i (θ) is gedefinieerd als een conditionele kans: f ( )= P ( X i = 1 ) (2.1) i Een IRT-model is een speciale toepassing van (2.1) waarbij aan de functie f i (θ) een meer of minder specifieke functionele vorm wordt toegekend. Een eenvoudig en zeer populair voorbeeld is het zogenaamde Raschmodel (Rasch, 1960) waarin f i (θ) gegeven is door exp ( - i ) f i( )= 1 + exp ( - ) i (2.2) waarin β i de moeilijkheidsparameter van item i is. Dat is een onbekende grootheid die geschat wordt uit de observaties. De grafiek van (2.2) is weergegeven in figuur 2.1 voor twee items, i en j, die in moeilijkheid verschillen. Deze figuur illustreert dat de itemresponsfunctie een stijgende functie is van θ: hoe groter de vaardigheid, des te groter de kans op een juist antwoord. Indien de latente vaardigheid precies gelijk is aan de moeilijkheidsparameter β i, volgt exp ( i - i ) 1 f i( i )= = 1 + exp ( - ) 1 + i i 1 = 1 2 (2.3) Daaruit volgt onmiddellijk een interpretatie voor de parameter β i : het is de 'hoeveelheid' vaardigheid die nodig is voor de kans van precies een half om het item i juist te beantwoorden. Uit de figuur blijkt duidelijk dat voor item j een grotere vaardigheid nodig is om diezelfde kans te bereiken, maar dit is hetzelfde als te zeggen dat item j moeilijker is dan item i. De parameter β i kan dus terecht omschreven worden als de moeilijkheids-parameter van item i. De implicatie van het bovenstaande is dat 'moeilijkheid' en 'vaardigheid' op dezelfde schaal liggen. 1 Dit maakt duidelijk waarom men de modellen die ressorteren onder de IRT, ook wel aanduidt met 'latente trek'-modellen. 18

19 Figuur 2.1 Twee itemresponscurven in het Raschmodel Formule (2.2) is geen beschrijving van de werkelijkheid, het is een hypothese over de werkelijkheid die getoetst kan worden op haar houdbaarheid. Hoe zo n toetsing grofweg verloopt, is te verduidelijken aan de hand van figuur 2.1. Daaruit blijkt dat, voor welk vaardigheidsniveau dan ook, de kans om item j juist te beantwoorden steeds kleiner is dan de kans op een juist antwoord op item i. Hieruit volgt de statistisch te toetsen voorspelling dat de verwachte proportie juiste antwoorden op item j kleiner is dan op item i in een willekeurige steekproef van personen. Splitst men nu een grote steekproef in twee deelsteekproeven, een laaggroep, met de vijftig procent laagste scores, en een hooggroep, met de vijftig procent hoogste scores, dan kan men nagaan of de geobserveerde p-waarden van de opgaven in beide deelsteekproeven op dezelfde wijze geordend zijn. Daarvan kan strikt genomen alleen sprake zijn als, in termen van de klassieke testtheorie uitgedrukt, alle opgaven eenzelfde discriminatie-index hebben. Dat echter blijkt lang niet altijd zo te zijn. Ook in ons geval niet. Veel van de items blijken dan ook niet beschreven te kunnen worden met het Raschmodel. Daarom is bij dit instrument gekozen voor een ander IRT-model. Alvorens het hier gebruikte model te introduceren, is eerst een kanttekening nodig bij het schatten van de moeilijkheidsparameters in het Raschmodel. Een vaak toegepaste schattingsmethode is de conditionele grootste aannemelijkheidsmethode (in het Engels: Conditional Maximum Likelihood, verder aangeduid als CML). Die maakt gebruik van het feit dat in het Raschmodel een afdoende steekproefgrootheid ('sufficient statistic') bestaat voor de latente variabele θ, namelijk de ruwe score of het aantal correct beantwoorde items. Dat betekent grofweg dat, indien de itemparameters bekend zijn, alle informatie die het antwoordpatroon over de vaardigheid bevat, kan worden samengevat in de ruwe score; het doet er dan verder niet meer toe welke opgaven goed en welke fout zijn gemaakt. Hieruit vloeit voort dat de conditionele kans op een juist antwoord op item i, gegeven de ruwe score, een functie is die alleen afhankelijk is van de itemparameters en onafhankelijk van de waarde van θ 1. De CML-schattingsmethode maakt van deze functie gebruik. Deze methode maakt geen enkele veronderstelling over de verdeling van de vaardigheid in de populatie, en is ook onafhankelijk van de wijze waarop de steekproef is getrokken. De CML-schattingsmethode is echter niet bij elk meetmodel toepasbaar. In het zogenaamde éénparameter logistisch model (One Parameter Logistic Model, afgekort: OPLM) is CML mogelijk. Dit model is, anders dan het Raschmodel, wel bestand tegen omwisseling van proporties juist in verschillende steekproeven (Glas & Verhelst, 1993; Eggen, 1993; Verhelst & Kleintjes, 1993). De itemresponsfunctie van het OPLM is gegeven door exp [ ai ( - i ) ] f i( )= 1 + exp [ ai ( - )] i, (2.4) waarin a i de zogenaamde discriminatie-index van het item is. Door deze indices te beperken tot (positieve) gehele getallen, en door ze a-priori als constanten in te voeren, is het mogelijk CML-schattingen van de itemparameters β i te maken. In figuur 2.2 is de itemresponscurve weergegeven van twee items i en j, die even moeilijk zijn maar verschillend discrimineren. 1 Een gedetailleerde uiteenzetting hierover kan men vinden in Verhelst,

20 Figuur 2.2 Twee itemresponscurven in het OPLM: zelfde moeilijkheid, verschillende discriminatie De schattingen worden berekend met het computerprogramma OPLM (Verhelst, Glas en Verstralen, 1995). Dit programma voert eveneens statistische toetsen uit op grond waarvan kan worden bepaald of het model de gegevens adequaat beschrijft. Omdat een aantal van deze toetsen bijzonder gevoelig is voor een verkeerde specificatie van de discriminatie-indices, zijn de uitkomsten van deze toetsen bruikbaar als modificatie-indices: ze geven een aanwijzing in welke richting deze discriminatie-indices moeten worden aangepast om een betere overeenkomst tussen model en gegevens te verkrijgen. Kalibratie van items volgens het OPLM is dan ook een iteratief proces waarin alternerend de modelfit van items wordt onderzocht door middel van statistische toetsing en de waarden van de discriminatie-indices worden aangepast op grond van de resultaten van deze toetsen. Deze aanpassingen geschieden in de praktijk op basis van een en hetzelfde gegevensbestand. Er kan dus kanskapitalisatie optreden. Indien een steekproef een voldoende grootte heeft, is het effect van deze kanskapitalisatie echter gering (Verhelst, Verstralen en Eggen, 1991). Hoewel het OPLM aanzienlijk flexibeler is dan het Raschmodel, heeft het met dit model toch een nadeel gemeen, waardoor het bij het kalibreren van meerkeuze-opgaven niet zonder meer bruikbaar is. Uit de formules (2.2) en (2.4) volgt dat, indien θ zeer klein is, de kans op een juist antwoord zeer dicht in de buurt van nul komt. Maar de items in het normeringsonderzoek zijn meerkeuze-items, zodat blind gokken een zekere kans op een juist antwoord impliceert. Er bestaan modellen die rekening houden met de raadkans (Lord & Novick, 1968), maar die laten geen CML-schattingsmethode toe. De ongeschiktheid van het Raschmodel of OPLM voor meerkeuzevragen is echter relatief: indien de items in vergelijking met de vaardigheid van de leerling niet al te moeilijk zijn, blijkt dat het effect van het raden op de overeenkomst tussen model en gegevens klein is. Door een verstandige dataverzamelingsprocedure toe te passen en met name niet te moeilijke opgaven te selecteren in de toets kan het OPLM toch toegepast worden op meerkeuzevragen, waarbij de overeenkomst tussen model en data de uiteindelijke doorslag over die geschiktheid moet geven. Ook in de normering wordt hier hiermee rekening gehouden. Voor de schatting van de populatieverdeling wordt gebruik gemaakt van de marginale grootste aannemelijkheidsmethode (in het Engels: Marginal Maximum Likelihood, verder afgekort als MML). Deze schattingsmethode veronderstelt naast (2.2) ook nog dat de vaardigheid θ in de populatie een bepaalde verdeling heeft. De meeste computerprogramma s die IRT-analyses kunnen uitvoeren, veronderstellen een normale verdeling. Bovendien stelt deze methode de voorwaarde dat de steekproef die voor de schatting gebruikt wordt uit die verdeling een aselecte steekproef is. Omdat leerlingen bovendien gevolgd worden is het mogelijk gelijktijdig de verdelingen op de verschillende normeringsmomenten te schatten. Bij de analyse is gebruikgemaakt van multivariate latente analysetechnieken waarmee gemiddelden en covarianties voor alle variabelen worden geschat in een onvolledig design. Daarvoor hebben we speciale software gebruikt (Multi) in combinatie met het OPLM als meetmodel (Kamphuis, 1992, 1993, Kamphuis en Engelen, 1992). Deze gemiddelden en covarianties vormen ook het basismodel voor de predicties in het computerprogramma LOVS. 20