Wetenschappelijke verantwoording toetsen Spelling voor speciale leerlingen Functioneringsniveaus groep 3 tot en met 5

Transcriptie

1 Cito Volgsysteem primair en speciaal onderwijs Wetenschappelijke verantwoording toetsen Spelling voor speciale leerlingen Functioneringsniveaus groep 3 tot en met 5 Judith Vloedgraven en Frans Kamphuis

2

3 Wetenschappelijke Verantwoording toetsen Spelling voor speciale leerlingen Functioneringsniveaus groep 3 tot en met 5 Judith Vloedgraven Frans Kamphuis Cito, Arnhem,

4 Cito B.V. Arnhem (2012) Niets uit dit werk mag zonder voorafgaande schriftelijke toestemming van Cito B.V. worden openbaar gemaakt en/of verveelvoudigd door middel van druk, fotografie, scanning, computersoftware of andere elektronische verveelvoudiging of openbaarmaking, microfilm, geluidskopie, film- of videokopie of op welke wijze dan ook. 2

5 Inhoud 1 Inleiding 5 2 Uitgangspunten van de toetsconstructie Meetpretentie Doelgroep Gebruiksdoel en functie Theoretische inkadering Inhoudelijk Psychometrisch 11 3 Beschrijving van de toets Opbouw en structuur van de toets Inhoudsverantwoording 21 4 Het normerings- en kalibratieonderzoek Opzet en verloop van het normerings- en kalibratieonderzoek in het reguliere onderwijs Representativiteit steekproef reguliere onderwijs Kalibratie en normering reguliere onderwijs Resultaten kalibratie- en normeringsonderzoek Toetsing van het IRT-model Normering Kalibratie en functioneringsniveaus in het speciaal (basis) onderwijs Proefonderzoeken Kalibratiegegevens De stappen in de kalibratie Toetsing van het IRT-model in het speciaal (basis)onderwijs Functioneringsniveaus 43 5 Betrouwbaarheid en meetnauwkeurigheid Betrouwbaarheid Nauwkeurigheid 46 6 Validiteit Inhoudsvaliditeit Begripsvaliditeit Passing van het meetmodel Relaties met andere vaardigheden Longitudinale vaardigheidstoename 58 7 Samenvatting 61 8 Literatuur 63 Bijlage 65 1 Overzicht resultaten methodeonderzoek spellingscategorieën 66 3

6 4

7 1 Inleiding De toetsen Spelling voor speciale leerlingen voor de functioneringsniveaus groep 3 tot en met 5 (Cito, 2010a) vormen een aanvulling op de reguliere toetsen Spelling van het Cito Volgsysteem primair onderwijs (LOVS) die zijn verschenen in de periode vanaf De toetsen voor speciale leerlingen zijn bestemd voor leerlingen met een vertraagde ontwikkeling, een beperkte aandachtsspanne of een grote behoefte aan structuur. Deze leerlingen zijn te vinden in het speciaal basisonderwijs, speciaal onderwijs (cluster 2, 3 en 4), maar ook in het reguliere basisonderwijs. De inhoud van de aangepaste toetsen komt gedeeltelijk overeen met de inhoud van de toetsen Spelling van het Cito Volgsysteem primair onderwijs (LOVS). De toetsen voor speciale leerlingen zijn zodanig aangepast dat ze beter aansluiten bij de behoeftes van speciale leerlingen dan de reguliere toetsen en zijn zelfstandig te gebruiken. De toetsresultaten zijn altijd uitwisselbaar met die van de reguliere toetsen van het Cito Volgsysteem primair onderwijs. Aanleiding voor de ontwikkeling van toetsen voor speciale leerlingen is de ontwikkeling van passend onderwijs. Passend onderwijs vereist dat: de school zicht heeft op de (on)mogelijkheden van elke leerling, op zijn/haar ontwikkelingsperspectief, om zo het onderwijs aan te passen aan de behoeften van de leerling; de vorderingen van elke leerling worden gevolgd om gaande de rit waar nodig het onderwijs aan te passen. Om passend onderwijs te kunnen realiseren, is het een voorwaarde dat de vorderingen van de leerlingen nauwkeurig in beeld worden gebracht en over de leerjaren heen worden gevolgd in de tijd. Daarvoor zijn methodegebonden toetsen nodig, aangevuld met een methodeonafhankelijk leerling- en onderwijsvolgsysteem dat externe referenties biedt en daarmee de kans minimaliseert dat leerlingen onopgemerkt achterblijven. Belangrijk uitgangspunt bij de ontwikkeling van de toetsen Spelling voor speciale leerlingen was dat eventuele aanpassingen niet ten koste mochten gaan van de vergelijkbaarheid van de resultaten met de reguliere toetsen en de onderliggende vaardigheden. De uitdrukkelijke wens van scholen én ouders is immers dat de toetsen ook een antwoord geven op de vraag Hoe goed doet mijn kind het vergeleken met een gemiddeld kind in het reguliere basisonderwijs? Bij het aanpassen van de reguliere toetsen Spelling is door experts steeds kritisch bekeken welke aanpassingen aan de toetsen nodig zijn voor speciale leerlingen. De aanpassingen zijn steeds zo gekozen dat gewaarborgd is dat het concept spelling dat we meten niet verandert en dat de aangepaste toetsen dus dezelfde spellingvaardigheid van leerlingen meten als de reguliere toetsen Spelling. Het toetspakket Spelling voor speciale leerlingen bestaat uit een reeks toetsen voor leerlingen met de functioneringsniveaus groep 3 tot en met groep 5. Om tegemoet te komen aan leerlingen met een vertraagde ontwikkeling zijn er naast de reguliere niveaus voor medio en einde schooljaar ook tussentoetsen ontwikkeld. De moeilijkheid van deze toetsen ligt precies tussen de onder- en bovengelegen toets in. Het toetspakket bestaat uit een papieren en een digitale variant. De papieren en de digitale variant bestaan gedeeltelijk uit dezelfde opgaven. De opgaven uit de papieren en de digitale toetsen liggen op één vaardigheidsschaal, waardoor de toetsresultaten onderling uitwisselbaar zijn. Deze verantwoording biedt tezamen met de inhoud van het toetspakket Spelling voor speciale leerlingen voor de functioneringsniveaus groep 3 tot en met 5 alle informatie die nodig is voor een snelle en efficiënte beoordeling van de kwaliteit van de toetsen die deel uitmaken van dit pakket. Het genoemde materiaal maakt een beoordeling van de toetsen mogelijk op de volgende aspecten: Uitgangspunten van de toetsconstructie De kwaliteit van het toetsmateriaal 5

8 De kwaliteit van de handleiding Normen Betrouwbaarheid Validiteit Het laatstgenoemde aspect betreft alleen begripsvaliditeit en geen criteriumvaliditeit. Omdat de toetsen van het Cito Volgsysteem primair onderwijs niet bedoeld zijn voor 'voorspellend gebruik' is criteriumvaliditeit niet van toepassing. In hoofdstuk 2 en 3 gaan we in op de uitgangspunten die bij de constructie een rol hebben gespeeld. In hoofdstuk 3 komen eveneens de aanpassingen ten opzichte van de reguliere uitgave aan de orde. In hoofdstuk 4 bespreken we het normerings- en kalibratieonderzoek in het reguliere onderwijs. Verder komt in dit hoofdstuk de samenstelling van de steekproef in het reguliere onderwijs ter sprake. Ook bevat dit hoofdstuk een beschrijving van de resultaten van het kalibratieonderzoek in het S(B)O. Hoofdstuk 5 geeft informatie over de betrouwbaarheid en meetnauwkeurigheid van de toetsen en hoofdstuk 6 over de begripsvaliditeit. De kwaliteit van het toetsmateriaal en de handleiding is te bepalen door kennis te nemen van de inhoud van het toetspakket. 6

9 2 Uitgangspunten van de toetsconstructie 2.1 Meetpretentie Bij het spellen wordt de gesproken taal omgezet in geschreven taal. Om woorden correct te schrijven, moeten leerlingen spellingstrategieën kunnen gebruiken en/of spellingregels kunnen toepassen. De toetsen in het toetspakket Spelling voor speciale leerlingen zijn bedoeld om vast te stellen hoe goed een leerling kan spellen en hoe de spellingvaardigheid van de leerling zich in de loop van de jaren ontwikkelt. Het vaststellen van de spellingvaardigheid gebeurt op twee manieren: door de leerling woorden te laten opschrijven en door de leerling te vragen het fout gespelde woord te herkennen in een groepje van vier woorden. De spellingregels zelf worden niet expliciet bevraagd. De leerling laat indirect zien dat hij of zij de spellingregels beheerst door de gevraagde woorden correct te schrijven en door de fout gespelde woorden te herkennen (zie verder paragraaf 2.4.1). 2.2 Doelgroep De toetsen Spelling voor speciale leerlingen zijn bestemd voor leerlingen met een vertraagde ontwikkeling, een beperkte aandachtsspanne of een grote behoefte aan structuur. Deze leerlingen zijn te vinden in het speciaal basisonderwijs, speciaal onderwijs, maar ook in het reguliere basisonderwijs. Het speciaal onderwijs is opgesplitst in vier verschillende clusters, namelijk de clusters 1, 2, 3 en 4. De toetsen voor speciale leerlingen zijn bestemd voor leerlingen in cluster 2 (dove en slechthorende leerlingen en leerlingen met ernstige spraak- en taalmoeilijkheden), voor een deel van de leerlingen in cluster 3 (namelijk de langdurig zieke kinderen) en voor leerlingen in cluster 4 (leerlingen met ernstige gedragsproblemen en/of psychiatrische problemen). De toetsen voor speciale leerlingen zijn dus niet bedoeld voor de blinde en slechtziende leerlingen in cluster 1. Daar worden momenteel andere toetsen voor ontwikkeld. Voor de zeer moeilijk lerende leerlingen in cluster 3 worden op het moment toetsactiviteiten ontwikkeld. De toetsen voor speciale leerlingen zijn zodanig aangepast dat ze beter aansluiten bij de behoeftes van speciale leerlingen dan de reguliere toetsen van het Cito Volgsysteem voor primair onderwijs (LOVS). Dit toetspakket bevat zowel papieren als digitale toetsen voor leerlingen met de functioneringsniveaus groep 3 tot en met groep Gebruiksdoel en functie Afname van de toetsen Spelling voor speciale leerlingen heeft twee doelen: niveaubepaling en progressiebepaling. Tevens wordt de mogelijkheid geboden de door de leerling gemaakte fouten te analyseren met het oog op het aanbieden van gerichte remediëring. Deze 'signalering' staat geheel los van de niveau- en progressiebepaling en is in de kalibratie- en normeringsonderzoeken niet wetenschappelijk getoetst. Niveaubepaling Zoals reeds vermeld, zijn de toetsen Spelling voor speciale leerlingen gebaseerd op de toetsen Spelling van het Cito Volgsysteem voor primair onderwijs (LOVS). Belangrijke voorwaarde bij de aanpassing was dat de toetsen voor speciale leerlingen de relatie behouden met de toetsen voor het reguliere basisonderwijs. De inhoud van de aangepaste toetsen komt dan ook voor een groot deel overeen met de inhoud van de reguliere toetsen Spelling. De normeringsonderzoeken voor de reguliere toetsen Spelling hebben plaatsgevonden bij een landelijke steekproef van leerlingen uit het reguliere basisonderwijs. Op deze manier werden in een landelijke normgroep de referentiegegevens voor de twee afnamemomenten in een schooljaar (medio: 7

10 januari/februari; eind: juni) verzameld. In paragraaf 4.1 gaan we nader in op deze normeringsonderzoeken. De rapportage bij de toetsen Spelling voor speciale leerlingen is gebaseerd op deze normeringsgegevens om de vergelijkbaarheid tussen de reguliere en aangepaste toetsen te waarborgen. Een belangrijke verandering ten opzichte van de reguliere toetsen is de manier van rapporteren. Centraal in de rapportage staan niet de normeringen A tot en met E respectievelijk I tot en met V, aangezien veel leerlingen in het speciaal (basis)onderwijs toetsen maken die niet overeenkomen met hun leeftijd. De toetsen voor speciale leerlingen werken in plaats daarvan met functioneringsniveaus, die worden bepaald op basis van de vaardigheidsscores. Het functioneringsniveau is een interpretatie van de vaardigheidsscore die het communiceren over de vaardigheid van een leerling vereenvoudigt. Het functioneringsniveau geeft aan met welke gemiddelde leerling in het reguliere basisonderwijs de vaardigheidsscore van de getoetste leerling te vergelijken is. Wanneer een leerling bijvoorbeeld een functioneringsniveau M4 behaalt, is deze leerling qua vaardigheid vergelijkbaar met een gemiddelde leerling in het reguliere basisonderwijs midden groep 4. Het kan voorkomen dat scholen behoefte hebben aan de niveaus A tot en met E respectievelijk I tot en met V, bijvoorbeeld voor een herindicatie. Daarom zijn in bijlage 3 van de handleiding omzettingstabellen opgenomen: Van vaardigheidsscore naar normeringsniveau. Met de aangepaste toetsen Spelling kan een leerkracht dus het niveau van de spellingvaardigheid van zijn leerlingen vaststellen en direct een vergelijking maken met leerlingen in het reguliere basisonderwijs. Progressiebepaling De toetsen Spelling voor speciale leerlingen geven de leerkracht informatie over de ontwikkeling van leerlingen op het gebied van spellingvaardigheid over de leerjaren heen, individueel of als groep. Ze geven antwoord op vragen als: is er sprake van vooruitgang, achteruitgang of van stabilisering? De vorderingen van de leerling kunnen ook vergeleken worden met de vorderingen van leerlingen in het reguliere basisonderwijs. Het gehanteerde meetmodel (zie paragraaf 2.4.2) maakt het mogelijk om de scores van een leerling op verschillende toetsen, op verschillende momenten afgenomen, onderling te vergelijken. De ruwe scores op de toetsen het aantal opgaven goed zijn daartoe te transformeren in scores op één vaardigheidsschaal. Deze unidimensionele vaardigheidsschaal die aan de reguliere en aangepaste toetsen Spelling ten grondslag ligt, is ontwikkeld met behulp van het One Parameter Logistic Model (Verhelst, 1993; Verhelst & Glas, 1995; Verhelst, Glas & Verstralen, 1995). 'Signalering' via categorieënanalyse Met behulp van de analyseformulieren bij de toetsen Spelling voor speciale leerlingen kan de leerkracht op eenvoudige wijze zien met welke spellingcategorieën een of meerdere leerlingen problemen hebben. Als veel leerlingen fouten maken bij dezelfde spellingcategorie, kan dat een signaal zijn dat het aangeboden onderwijs in die categorie ontoereikend is geweest. Dat hoeft niet direct alarmerend te zijn; misschien komt de betreffende spellingcategorie in de gebruikte lesmethode pas op een later tijdstip aan de orde. Als de categorie daarentegen al wel is behandeld, kan de tegenvallende prestatie van de leerlingen voor de leerkracht een reden zijn om nogmaals expliciet en voor de hele groep op de bij die categorie behorende spellingregels terug te komen. Individuele leerlingen die blijk geven van onvoldoende beheersing van een of meerdere categorieën zullen wellicht baat hebben bij extra instructie en gerichte oefeningen. Door het invullen van een analyseformulier of het invoeren van de antwoorden van de leerling in het Computerprogramma LOVS kan de leerkracht nagaan met welke categorieën een leerling problemen had in de toets Spelling. Omdat het aantal opgaven per categorie in een toets Spelling beperkt is (er zijn veel categorieën en de toets mag niet te lang worden), kan niet worden uitgesloten dat de leerling bij toeval juist de opgaven uit deze categorie fout heeft beantwoord. Om meer zekerheid te verkrijgen over de beheersing van de categorie door deze leerling, kan de leerkracht gebruikmaken van een controledictee uit het Hulpboek Spelling. Elk controledictee bevat tien opgaven uit één bepaalde categorie. Als de leerling in zo'n dictee vier of meer fouten maakt, lijkt zijn of haar 8

11 beheersing van die categorie inderdaad te wensen over te laten. De leerkracht kan deze leerling vervolgens aanvullende instructie en/of oefenmateriaal aanbieden. Zoals al aan het begin van deze paragraaf werd gezegd, is er geen kwalitatief of kwantitatief onderzoek gedaan naar het adequaat functioneren van de categorieënanalyse en de 'doorverwijzing' via de controledictees. De signalering via categorieënanalyse heeft dan ook geen enkele wetenschappelijke status of pretentie. Haar enige functie is het doen van een handreiking naar leerkrachten die gericht extra ondersteuning willen bieden aan leerlingen die moeite hebben met het correct spellen van bepaalde woorden. 2.4 Theoretische inkadering Inhoudelijk Wat is spelling? Spelling is een ondersteunende taalactiviteit die instrumenteel is voor schrijven. Ze is een aspect van codeervaardigheid, waarbij het gaat om de correcte schrijfwijze van woorden. Ondersteunende taalactiviteiten hebben tot doel de zogeheten functionele taalactiviteiten activiteiten waarbij de taal als communicatiemiddel fungeert, zoals een briefje schrijven beter te kunnen uitvoeren. Voor een beschrijving van het begrip spelling hanteren we de definitie van De Schrijver & Neijt (2002). Zij omschrijven spelling als ' een systeem van regels met behulp waarvan we een bepaalde gesproken taal schriftelijk weergeven.' (2002: 17) De laatste 'versie' van de spelling van het Nederlands is in 2005 vastgelegd in de Woordenlijst Nederlandse Taal, oftewel 'het Groene Boekje'. Het gebruik van deze spelling is verplicht binnen het onderwijs. Het probleem met de Nederlandse spelling is dat er geen één-op-één relatie is tussen klank en letterteken. Het Nederlands kent circa 40 klanken, maar het alfabet heeft maar 26 letters. Dit betekent dat dezelfde letters voor verschillende klanken gebruikt moeten worden: deling, bel, rafel. Maar andersom wordt een klank ook door verschillende tekens weergegeven: pijl, peil. De spelling van de Nederlandse taal is gebaseerd op vier basisprincipes: het fonologisch, het morfologisch, het etymologisch en het syllabisch principe (zie onder meer Huizenga, 1997; Van Bon, 1993). Het fonologisch principe houdt in dat je woorden spelt door ' hun spraakklanken systematisch met letters weer te geven, op zo'n manier dat de spelling de uitspraak weerspiegelt.' (Van Bon, 1993: 20) Hierbij worden kleine uitspraaknuances die ontstaan door persoonsgebonden verschillen of door klanken in de omgeving van het woord (bijvoorbeeld de /z/ in 'ik zet' versus 'zet ik') genegeerd. Het fonologisch principe is het basisprincipe, maar er zijn allerlei uitzonderingen op deze hoofdregel. Die uitzonderingen zijn veelal niet willekeurig, maar hebben weer te maken met andere regels of principes. Het morfologisch principe doorkruist het fonologisch principe en gaat uit van de morfologische structuur van een woord. Een morfeem is een betekenisdragend woorddeel. Het kan zowel om gehele woorden gaan als om voor- of achtervoegsels, zoals 'on-' en '-heid'. Bij het morfologisch principe is sprake van twee regels: de regel van de gelijkvormigheid en de regel van de overeenkomst. De regel van de gelijkvormigheid houdt in dat we een woord of een voor- of achtervoegsel steeds op dezelfde manier schrijven. Bijvoorbeeld: we schrijven 'hond' omdat we in het meervoud 'honden' een /d/ horen. De regel van de overeenkomst houdt in dat de opbouw van een woord duidelijk wordt in de spelling. Bijvoorbeeld: een woord als 'breedte' wordt zo gespeld, en niet als 'brete', omdat in 'breedte' de morfologische structuur van het woord zichtbaar is. Het morfologisch principe geldt zolang het niet met de uitspraak in conflict is. Bijvoorbeeld: je spelt 'bloempje' omdat je het zo hoort, en niet 'bloemtje'. Het etymologisch principe houdt in dat als er meerdere mogelijkheden zijn om een woord te schrijven, de schrijfwijze wordt gekozen zoals deze zich in het verleden heeft gevormd. Er is hier geen sprake van een regel, maar van kennis die we ons per woord eigen moeten maken. Voorbeelden hiervan zijn de lettercombinaties ou/au en ei/ij. Vroeger, en in sommige dialecten nog steeds, gaven deze verschillende lettercombinaties verschillende klanken weer, maar nu zullen we in de meeste gevallen de spelling van dergelijke woorden gewoon uit het hoofd moeten leren. 9

12 Het syllabisch principe heeft betrekking op de spelling van syllaben, klankstukken, in een woord. Een syllabe is een klank die bij een gesegmenteerde uitspraak van woorden als één groep wordt uitgesproken, bijvoorbeeld /zi/ /tun/ in het woord 'zitten'. Hier wordt ook meteen het verschil met lettergrepen duidelijk: 'zitten' bestaat uit de lettergrepen 'zit' en 'ten'. Lettergrepen geven een visuele verdeling van een woord. Het syllabisch principe kent twee regels, die voor verenkeling en die voor verdubbeling. De regel voor verenkeling schrijft voor dat als een syllabe eindigt op een lange klank we maar één letter schrijven, bijvoorbeeld in 'boten'. De verdubbelingsregel houdt in dat als een syllabe eindigt op een korte klank, de medeklinker die daarop volgt verdubbeld wordt, bijvoorbeeld in 'botten'. Ook op deze regels zijn echter weer uitzonderingen. Spellingstrategieën Van Bon (1993) hanteert als raamwerk voor de bespreking van de ontwikkeling van spelling de opdeling van spellingcompetentie van Marsh, Friedman Welch & Desberg (1980). Volgens deze opdeling hanteren kinderen in eerste instantie een fonologisch principe met een sequentiële strategie. Eerst deelt het kind het gesproken woord op in spraakeenheden en vervolgens vertaalt het deze in letters. Later leert het kind hiërarchische regels bij het fonologisch principe, namelijk dat er bepaalde voorwaarden verbonden zijn aan het gebruik van bepaalde letters voor klanken. Het kind leert bijvoorbeeld dat je 'toren' schrijft en niet 'toorun'. Weer een volgende stap is het schrijven naar analogie, dat wil zeggen dat onbekende woorden worden geschreven naar het voorbeeld van bekende. Huizenga (1997) splitst de manieren die spellers gebruiken om tot de juiste schrijfwijze te komen (spellingstrategieën) uit in een directe strategie en indirecte strategieën. De directe strategie wil zeggen dat het spellen geautomatiseerd is; je schrijft een woord op zonder erbij na te denken. Indirecte strategieën vinden plaats als je bij het spellen een bepaalde denkhandeling toepast. Huizenga onderscheidt vijf indirecte spellingstrategieën: de fonologische strategie, de woordbeeldstrategie, de regelstrategie, de analogiestrategie en de hulpstrategie. De fonologische strategie houdt in dat iemand bij het spellen uitgaat van de klanken of klankgroepen waaruit een woord bestaat. Er zijn twee verschillende fonologische strategieën: de elementaire spellinghandeling, waarbij een woord wordt ontleed in fonemen, en de klankclusterstrategie, waarbij een woord wordt ontleed in klankgroepen. De elementaire spellinghandeling is normaal gesproken de eerste die een kind leert (voor het Nederlands). Ze is bruikbaar zolang een leerling alleen klankzuivere woorden moet schrijven (in het basisonderwijs wordt vaak gesproken van 'luisterwoorden'). De klankclusterstrategie is bruikbaar voor het schrijven van klankgroepen die altijd door dezelfde lettercombinatie worden weergegeven, bijvoorbeeld -ooi of -uw. In het basisonderwijs wordt dit wel aangeduid met de term 'luisterwoorden met speciale klankgroepen'. Deze strategie is voor leerlingen wat lastiger dan de elementaire spellinghandeling. De woordbeeldstrategie houdt in dat iemand een woord correct schrijft door een beroep te doen op zijn of haar woordgeheugen. Deze strategie is vooral bruikbaar bij leenwoorden of woorden waarvan de schrijfwijze moet worden ingeprent, bijvoorbeeld woorden met -ou- of -au-. In het basisonderwijs duidt men dergelijke woorden wel aan met de termen 'weetwoorden' of 'afspraakwoorden'. De regelstrategie wordt gebruikt als iemand bij het schrijven van een woord een spellingregel toepast. Voorbeelden daarvan zijn de verenkelingsregel en de verdubbelingsregel, maar ook regels als 'Hoor je op het einde /-ies/, dan schrijf je -isch.' Op de meeste spellingregels zijn weer uitzonderingen en dat maakt deze strategie lastig. In het basisonderwijs gebruikt men wel de term 'regelwoorden'. Bij de analogiestrategie schrijft iemand een woord door het te vergelijken met een ander woord. Die vergelijking kan gebaseerd zijn op overeenkomst in klank (bijvoorbeeld 'komen' en 'dromen'), maar ook op overeenkomst in betekenis (bijvoorbeeld 'vertrouwelijk' en 'trouwen'). De strategie leidt niet altijd tot het juiste resultaat, omdat de gemaakte vergelijking niet altijd opgaat (bijvoorbeeld 'hond', 'wond', 'lont'). In het basisonderwijs worden de termen 'voorbeeldwoorden' of 'net-als woorden' gehanteerd. De hulpstrategie houdt in dat iemand ezelsbruggetjes of hulpregels gebruikt om te onthouden hoe een woord gespeld moet worden. Deze kunnen zelfbedacht zijn, maar ook aangeleerd zijn in het onderwijs. Woorden kunnen vaak met verschillende strategieën goed geschreven worden. Een volwassen speller zal voor veelvoorkomende, gemakkelijke woorden zoals 'school' waarschijnlijke de directe strategie gebruiken, maar hij kan ook de woordbeeldstrategie gebruiken. 10

13 Spelling in het basisonderwijs Vanaf het moment dat een kind op school leert lezen en schrijven, wordt er aandacht besteed aan spelling. Voor het correct spellen van woorden zijn vele strategieën mogelijk. Een kind dat leert spellen, moet deze spellingstrategieën aanleren en op elkaar afstemmen. Binnen het onderwijs wordt steeds meer rekening gehouden met het feit dat leerlingen gebruik kunnen maken van verschillende strategieën om een woord correct te spellen. In de recente spellingmethoden komen dan ook de hierbovengenoemde strategieën, zij het soms onder een andere naam, steeds weer terug. Om te bepalen welke leerstof aan bod moet komen in het spellingonderwijs worden meestal de volgende criteria gebruikt: 1. de frequentie van woorden; 2. de indeling in spellingcategorieën; 3. de moeilijkheid van woorden. Ad 1. In spellingmethoden wordt tegenwoordig vooral de spelling behandeld van de 3000 tot 4000 meest frequente woorden in Nederlandse teksten. Dit is een efficiënte werkwijze, want als leerlingen deze woorden correct kunnen spellen, zullen zij al veel teksten vrijwel foutloos schrijven. Leerlingen leren om in geval van minder bekende woorden het woordenboek te raadplegen. Ad 2. Voor de ordening van de leerstof wordt verder uitgegaan van een indeling in spellingcategorieën, groepen woorden met dezelfde spellingmoeilijkheid. Deze categorieën zijn een hulpmiddel voor leerkrachten en methodemakers om de leerstof te ordenen. De volgorde waarin de verschillende categorieën aan bod komen in de verschillende spellingmethoden en leerjaren is over het algemeen vergelijkbaar. Zo beginnen alle methoden met de klankzuivere woorden en wordt er in groep 6 een begin gemaakt met de werkwoordspelling. Ad 3. Ten slotte is ook de moeilijkheid van woorden een criterium. De meest frequente woorden zijn vaak niet het moeilijkst om te spellen. In het spellingonderwijs komen daarom (in de hogere leerjaren) ook woorden aan bod die minder frequent voorkomen, maar die vaak fout gespeld worden. Aan deze woorden wordt aandacht besteed omdat het bij het schrijven niet handig is deze woorden steeds op te moeten zoeken. Het gaat dan om woorden als: museum, enigszins, directie, chauffeur. Wat wordt er in de toetsen Spelling getoetst? Omdat het Nederlandse spellingsysteem gebaseerd is op verschillende principes, hebben kinderen een hele weg te gaan om goed te leren spellen. Bij het (leren) spellen kunnen verschillende strategieën worden ingezet. Wat wij met onze toetsen beogen te meten is of leerlingen weten hoe een woord correct gespeld dient te worden. Op welke wijze of volgens welke strategie ze tot die juiste spelling komen, is voor ons doel niet interessant. Er leiden verschillende wegen naar Rome Bepaalde woorden zijn eenvoudiger correct te spellen dan andere woorden. Dit wordt ook in het onderwijs onderkend: alle spellingmethoden kennen een opbouw van makkelijker te spellen woorden naar moeilijker te spellen woorden. De criteria voor het ordenen van de leerstof staan hierboven genoemd. Ook bij het toetsen van de vaardigheid spelling gaan we uit van een indeling van makkelijk (eenlettergrepig, klankzuiver) naar moeilijk (meerlettergrepig, niet klankzuiver). Op basis van literatuurstudie en een uitgebreide methodeanalyse in het reguliere onderwijs is een overzicht van spellingcategorieën tot stand gekomen, met een indeling van de categorieën over de leerjaren en afnamemomenten van de verschillende spellingtoetsen. Omdat in de toetsen voor speciale leerlingen ook tussentoetsen zijn opgenomen, hebben we het overzicht van spellingcategorieën voor het reguliere onderwijs uitgebreid voor de toetsen voor speciale leerlingen. In paragraaf 3.2 kunt u meer informatie vinden over dit categorieënoverzicht Psychometrisch Opgavenbanken primair onderwijs Voor het samenstellen van toetsen voor het primair onderwijs beschikt Cito over opgavenbanken. Die liggen ten grondslag aan onder meer de toetsen in het Leerling- en onderwijsvolgsysteem, de Entreetoetsen en de Eindtoets Basisonderwijs. Voor de constructie van de toetsen Spelling hebben we 11

14 gebruikgemaakt van de opgavenbank Spelling. Ook voor andere vakgebieden in het LOVS als begrijpend lezen, woordenschat, rekenen en studievaardigheden zijn opgavenbanken in gebruik. Een opgavenbank is nadrukkelijk niet 'zomaar' een verzameling opgaven of items waaruit een toetsconstructeur min of meer naar willekeur een aantal items selecteert om een nieuwe toets te construeren. We geven hier kort aan wat de vereisten zijn om van een deugdelijke en psychometrisch goed gefundeerde opgavenbank te kunnen spreken. Unidimensionaal continuüm Het algemene uitgangspunt is dat de vaardigheid spellen kan worden opgevat als een unidimensionaal continuüm (de reële lijn), en dat elke leerling voorgesteld kan worden als een punt op die lijn, met andere woorden: als een getal. Het getal drukt de mate van spellingvaardigheid uit, waarbij een groter getal wijst op een grotere vaardigheid. Het doel van de meetprocedure het afnemen van een toets is de plaats van de leerling op dit continuüm zo nauwkeurig mogelijk te bepalen. De uitkomst van de meetprocedure bestaat strikt genomen uit twee grootheden. De eerste is de schatting van de plaats van de leerling op het vaardigheidscontinuüm, de tweede geeft aan hoe nauwkeurig die schatting is, en heeft dus de status van een standaardfout, te vergelijken met de standaardmeetfout uit de klassieke testtheorie. Latente vaardigheid De antwoorden die een leerling op de opgaven geeft, worden beschouwd als indicatoren van de vaardigheid spellen, hetgeen ruwweg betekent dat men verwacht dat alle opgaven in de bank spellen meten. De vaardigheid zelf wordt als niet observeerbaar beschouwd en daarom gewoonlijk omschreven als een latente vaardigheid. 'Moeilijkheid' in de Item Response Theorie Hoewel items dezelfde vaardigheid meten, kunnen ze toch systematisch van elkaar verschillen. Het belangrijkste verschil tussen de items is hun moeilijkheidsgraad. In de klassieke testtheorie wordt moeilijkheidsgraad uitgedrukt met een zogenaamde p-waarde, de proportie correcte antwoorden op het item in een welbepaalde populatie van leerlingen. In de Item Response Theorie (IRT) die voor het construeren van de opgavenbanken werd gebruikt, hanteert men echter een andere definitie van moeilijkheid: ruwweg gesproken is het de mate van vaardigheid die nodig is om het item goed te kunnen beantwoorden. Dit verschil in definitie van de moeilijkheidsgraad tussen klassieke theorie en IRT is uitermate belangrijk. Men kan verwachten dat de p-waarde van een item in groep 8 groter zal zijn dan in groep 6, waardoor duidelijk wordt dat de p-waarde een relatief begrip is: ze geeft de moeilijkheid aan van een item in een bepaalde populatie. Binnen de IRT is de moeilijkheid van een item gedefinieerd in termen van de onderliggende vaardigheid, zonder enige referentie aan een bepaalde populatie van leerlingen. Zo kan men ook de uitspraak begrijpen dat in de IRT vaardigheid en moeilijkheid op eenzelfde schaal liggen. Kansmodel De ruwe omschrijving van de moeilijkheidsgraad die in de vorige alinea werd gehanteerd (de mate van vaardigheid nodig om het item goed te kunnen beantwoorden) behoeft enige verdere uitwerking. Men zou deze omschrijving kunnen opvatten als een soort drempel: heeft een leerling die mate van vaardigheid niet, dan kan hij het item niet juist beantwoorden; heeft hij die drempel wel gehaald, dan geeft hij (gegarandeerd) het juiste antwoord. Deze interpretatie weerspiegelt een deterministische kijk op het antwoordgedrag van de leerling, die echter in de praktijk geen stand houdt, omdat er uit volgt dat een leerling die een moeilijk item correct beantwoordt geen fout kan maken op een gemakkelijk item. Daarom wordt in de IRT een kansmodel gebruikt: hoe groter de vaardigheid, des te groter de kans dat een item juist wordt beantwoord. De moeilijkheidsgraad van een item wordt dan gedefinieerd als de mate van vaardigheid die nodig is om met een kans van precies een half een juist antwoord te kunnen produceren. 12

15 Kalibratie In het voorgaande zijn nogal wat veronderstellingen ingevoerd (unidimensionaliteit; alle items zijn indicatoren voor dezelfde vaardigheid; kansmodel) die niet zonder meer voor waar kunnen worden aangenomen; we zullen methoden moeten verzinnen om aan te tonen dat al die veronderstellingen deugdelijk zijn. Dit 'aantonen' gebeurt met statistische gereedschappen waarop we in de volgende paragraaf dieper zullen ingaan. Maar voor we de items in een toets kunnen gebruiken moeten we ook proberen de waarden van de moeilijkheidsgraden te achterhalen. Dit gebeurt met een statistische schattingsmethode die wordt toegepast op de itemantwoorden, die bij een steekproef van leerlingen zijn verzameld. Het hele proces van moeilijkheidsgraden schatten en verifiëren of de modelveronderstellingen houdbaar zijn wordt kalibratie of ijking genoemd; de steekproef van leerlingen die hiervoor wordt gebruikt noemen we kalibratiesteekproef. Afnamedesigns Meestal bevat een opgavenbank meer items dan een doorsnee toets, zodat het praktisch niet doenbaar is om alle items aan alle leerlingen voor te leggen. Elke leerling in de kalibratiesteekproef krijgt derhalve slechts een (klein) gedeelte van de items uit de opgavenbank voorgelegd. Dit gedeeltelijk voorleggen moet met de nodige omzichtigheid gebeuren. Verderop wordt ingegaan op het afnamedesign dat voor de kalibratie is gebruikt (een 'onvolledig design'); we verwijzen de geïnteresseerde lezer naar Eggen (1993). Belangrijke implicaties gekalibreerde opgavenverzameling Als we erin slagen de kalibratie met succes uit te voeren houden we een zogenaamde gekalibreerde itembank over. In dat proces worden de items die niet passen bij de verzameling uit de collectie verwijderd. De opgavenbank bevat voor elk item niet alleen zijn feitelijke inhoud, maar ook zijn psychometrische eigenschappen, en de statistische zekerheid dat alle items dezelfde vaardigheid aanspreken. Dit houdt onder meer het volgende in: In principe kunnen we met een willekeurige selectie items uit de bank de vaardigheid meten bij een willekeurige leerling. In principe, want een willekeurige toets die uit de itembank wordt getrokken zal in de praktijk meestal niet voldoen omdat het meetresultaat (de schatting van de vaardigheid) onvoldoende nauwkeurig zal zijn. Willen we een nauwkeuriger meting (bij een gegeven aantal items in de toets) dan zullen we de moeilijkheidsgraden van de items in overeenstemming moeten brengen met het vaardigheidsniveau van de leerlingen. Het voorgaande geldt tevens voor de digitale items. Ook deze items komen uit de itembank Spelling. Dus ook met een selectie van digitale items kan de vaardigheid van een leerling bepaald worden. Al hetgeen dat geldt voor de 'papieren' items uit de itembank Spelling geldt ook voor 'digitale' items uit dezelfde itembank. 1 We kunnen een schatting maken van de verdeling van de vaardigheid in een welomschreven populatie, door selecties van items voor te leggen aan aselecte steekproeven van leerlingen uit populaties die van belang zijn voor de normering. In het geval van LOVS zijn dat steekproeven van leerlingen op de verschillende normeringsmomenten vanaf eind groep 3 (E3) tot eind groep 8 (E8). Daarbij maakt het, behoudens wat bij 1 is vermeld over nauwkeurigheid, niet uit welke selectie van items aan een leerling binnen een normeringsgroep wordt afgenomen. Een van de eigenschappen van gekalibreerde itembanken is immers dat met elke selectie items de vaardigheid van leerlingen kan worden bepaald. Zie voor een voorbeeld hiervan Staphorsius (1994). In de praktijk komt dit meestal neer op het schatten van gemiddelde en standaardafwijking in de veronderstelling dat de vaardigheid normaal verdeeld is. Met deze schattingen kunnen dan ook schattingen gemaakt worden van de percentielen in de populatie. 2 Aan leerlingen die niet behoren tot de betreffende referentiepopulatie kan dezelfde toets worden voorgelegd. De toetsscore wordt omgezet in een schatting van de vaardigheid en deze schatting kan geplaatst worden in de vaardigheidsverdeling van de populatie. Een leerling met achterstand in groep 8 kan een toets maken die normaliter aan groep 6 wordt voorgelegd, en zijn of haar vaardigheidsschatting 13

16 kan behalve met de populatie van groep 8 ook vergeleken worden met de percentielen in de populatie van groep 6, met bijvoorbeeld de uitspraak: "De vaardigheid van deze leerling komt overeen met de mediane vaardigheid in groep 6." 3 De vergelijking die in het voorgaande gemaakt is, kan evengoed plaatsvinden als de (achterstands)- leerling een andere toets (i.e. een selectie uit de opgavenbank) maakt dan de toets die normaliter aan groep 6 wordt voorgelegd. Immers het kalibratieonderzoek heeft ons overtuigd dat alle items dezelfde vaardigheid meten. Met een nieuwe toets meten we dus dezelfde vaardigheid, zodat schattingen die van verschillende toetsen afkomstig zijn zinvol met elkaar kunnen worden vergeleken. Tot zover onze nadere bepaling van het begrip 'opgavenbank'. In de volgende hoofdstukken van dit deel van de verantwoording worden de begrippen die hierboven aan de orde zijn geweest nader uitgewerkt en toegelicht voor de opgavenbank Spelling. Voor de verantwoording van de constructie van deze opgavenbank verwijzen we naar hoofdstuk 3. In hoofdstuk 6 wordt de validering van de opgavenbanken besproken. Het gehanteerde meetmodel In het normeringsonderzoek is gebruikgemaakt van een op de itemresponstheorie (IRT) gebaseerd meetmodel zoals dat bij Cito gebruikelijk is. Dergelijke modellen verschillen in een aantal opzichten nogal sterk van de klassieke testtheorie (Verhelst, 1993; Verhelst en Glas, 1995). Bij de klassieke testtheorie staan de toets en de toetsscore centraal. Het theoretisch belangrijkste begrip in deze theorie is de zogenaamde ware score, de gemiddelde score die de persoon zou behalen indien de test een oneindig aantal keren onder dezelfde condities zou worden afgenomen. Die notie geeft een van de belangrijkste (praktische) obstakels van deze theorie voor ons onderzoek weer: het is problematisch om toetsscores te vergelijken die verkregen zijn in een onvolledig design. Hoewel er methoden bestaan binnen de klassieke testtheorie om toetsscores te equivaleren (Engelen & Eggen, 1993), schiet deze benadering tekort als het gaat om de centrale vraag: hoe weten we dat de equivalering zinvol is? Op die vraag heeft IRT een antwoord. In de IRT staat het te meten begrip of de te meten eigenschap centraal. De IRT beschouwt het antwoord op een item als een indicator voor de mate waarin die eigenschap aanwezig is. Het verband tussen eigenschap en itemantwoord is van probabilistische aard en wordt weergegeven in de zogenaamde itemresponsfunctie. Die geeft aan hoe groot de kans is op een correct antwoord als functie van de onderliggende eigenschap of vaardigheid. Formeler: zij Xi de toevalsvariabele die het antwoord op item i voorstelt. Xi neemt de waarde 1 aan in geval van een correct antwoord en 0 in geval van een fout antwoord. Als symbool voor de vaardigheid kiezen we θ (theta). We wijzen erop dat θ niet rechtstreeks observeerbaar is. Dat zijn alleen de antwoorden op de opgaven. Dat is de reden waarom θ een 'latente' variabele wordt genoemd 1. De itemresponsfunctie fi(θ) is gedefinieerd als een conditionele kans: f ( )= P ( X i = 1 ) (2.1) i Een IRT-model is een speciale toepassing van (2.1) waarbij aan de functie f i (θ) een meer of minder specifieke functionele vorm wordt toegekend. Een eenvoudig en zeer populair voorbeeld is het zogenaamde Raschmodel (Rasch, 1960) waarin f i (θ) gegeven is door exp ( - i ) f i( )= 1 + exp ( - ) i ham (2.2) waarin β i de moeilijkheidsparameter van item i is. Dat is een onbekende grootheid die geschat wordt uit de observaties. De grafiek van (2.2) is weergegeven in figuur 2.1 voor twee items, i en j, die in moeilijkheid 1 Dit maakt duidelijk waarom men de modellen die ressorteren onder de IRT, ook wel aanduidt met 'latente trek'- modellen. 14

17 verschillen. Deze figuur illustreert dat de itemresponsfunctie een stijgende functie is van θ: hoe groter de vaardigheid, des te groter de kans op een juist antwoord. Indien de latente vaardigheid precies gelijk is aan de moeilijkheidsparameter β i, krijgen we exp ( i - i ) 1 f i( i )= = 1 + exp ( - ) 1 + i i 1 = 1 2 (2.3) Daaruit volgt onmiddellijk een interpretatie voor de parameter β i : het is de 'hoeveelheid' vaardigheid die nodig is voor de kans van precies een half om het item i juist te beantwoorden. Uit de figuur blijkt duidelijk dat voor item j een grotere vaardigheid nodig is om diezelfde kans te bereiken, maar dit is hetzelfde als te zeggen dat item j moeilijker is dan item i. We kunnen de parameter β i dus terecht omschrijven als de moeilijkheidsparameter van item i. De implicatie van het bovenstaande is dat 'moeilijkheid' en 'vaardigheid' op dezelfde schaal liggen. Figuur 2.1 Twee itemresponscurven in het Raschmodel Formule (2.2) is geen beschrijving van de werkelijkheid, het is een hypothese over de werkelijkheid die getoetst kan worden op haar houdbaarheid. Hoe zo'n toetsing grofweg verloopt, is te verduidelijken aan de hand van figuur 2.1. Daaruit blijkt dat, voor welk vaardigheidsniveau dan ook, de kans om item j juist te beantwoorden steeds kleiner is dan de kans op een juist antwoord op item i. Daaruit volgt de statistisch te toetsen voorspelling dat de verwachte proportie juiste antwoorden op item j kleiner is dan op item i in een willekeurige steekproef van personen. Splitst men nu een grote steekproef in twee deelsteekproeven, een 'laaggroep' met de vijftig procent laagste scores en een 'hooggroep' met de vijftig procent hoogste scores, dan kan men nagaan of de geobserveerde p-waarden van de opgaven in beide deelsteekproeven op dezelfde wijze geordend zijn. Daarvan kan strikt genomen alleen sprake zijn als, in termen van de klassieke testtheorie uitgedrukt, alle opgaven eenzelfde discriminatie-index hebben. Dat echter blijkt lang niet altijd zo te zijn. Ook in ons geval niet. Veel van de items blijken dan ook niet te kunnen worden beschreven met het Raschmodel. Daarom is bij dit instrument gekozen voor een ander IRT-model. Alvorens het hier gebruikte model te introduceren, is een kanttekening nodig bij het schatten van de moeilijkheidsparameters in het Raschmodel. Een vaak toegepaste schattingsmethode is de 'conditionele grootste aannemelijkheidsmethode' (in het Engels: Conditional Maximum Likelihood, verder aangeduid als CML). Die maakt gebruik van het feit dat in het Raschmodel een afdoende steekproefgrootheid ('sufficient statistic') bestaat voor de latente variabele θ, namelijk de ruwe score of het aantal correct beantwoorde items. Dat betekent grofweg dat, indien de itemparameters bekend zijn, alle informatie die het antwoordpatroon over de vaardigheid bevat, kan worden samengevat in de ruwe score; het doet er dan verder niet 15

18 meer toe welke opgaven goed en welke fout zijn gemaakt. Hieruit vloeit voort dat de conditionele kans op een juist antwoord op item i, gegeven de ruwe score, een functie is die alleen afhankelijk is van de itemparameters en onafhankelijk van de waarde van θ 2. De CML-schattingsmethode maakt van deze functie gebruik. Deze methode maakt geen enkele veronderstelling over de verdeling van de vaardigheid in de populatie, en is ook onafhankelijk van de wijze waarop de steekproef is getrokken. De CML-schattingsmethode is echter niet bij elk meetmodel toepasbaar. In het zogenaamde éénparameter logistisch model (One Parameter Logistic Model, afgekort: OPLM) is CML mogelijk. Dit model is, anders dan het Raschmodel, wel bestand tegen 'omwisseling' van 'proporties juist' in verschillende steekproeven (Glas & Verhelst, 1993; Eggen, 1993; Verhelst & Kleintjes, 1993). De itemresponsfunctie van het OPLM is gegeven door exp [ ai ( - i ) ] f i( )= 1 + exp [ ai ( - )] i, (2.4) waarin a i de zogenaamde discriminatie-index van het item is. Door deze indices te beperken tot (positieve) gehele getallen, en door ze a priori als constanten in te voeren, is het mogelijk CML-schattingen van de itemparameters β i te maken. In figuur 2.2 is de itemresponscurve weergegeven van twee items i en j, die even moeilijk zijn maar verschillend discrimineren. Figuur 2.2 Twee itemresponscurven in het OPLM: zelfde moeilijkheid, verschillende discriminatie De schattingen worden berekend met het computerprogramma OPLM (Verhelst, Glas & Verstralen, 1995). Dit programma voert ook statistische toetsen uit op grond waarvan kan worden bepaald of het model de gegevens adequaat beschrijft. Omdat een aantal van deze toetsen bijzonder gevoelig is voor een verkeerde specificatie van de discriminatie-indices, zijn de uitkomsten van deze toetsen bruikbaar als modificatieindices: ze geven een aanwijzing in welke richting deze discriminatie-indices moeten worden aangepast om een betere overeenkomst tussen model en gegevens te verkrijgen. Kalibratie van items volgens het OPLM is dan ook een iteratief proces waarin alternerend de modelfit van items wordt onderzocht door middel van statistische toetsing en de waarden van de discriminatie-indices worden aangepast op grond van de resultaten van deze toetsen. Deze aanpassingen geschieden in de praktijk op basis van een en hetzelfde gegevensbestand. Er kan dus kanskapitalisatie optreden. Indien een steekproef een voldoende grootte heeft, is het effect van deze kanskapitalisatie echter gering (Verhelst, Verstralen & Eggen, 1991). 2 Een gedetailleerde uiteenzetting hierover kan men vinden in Verhelst,

19 Hoewel het OPLM aanzienlijk flexibeler is dan het Raschmodel, heeft het met dit model toch een nadeel gemeen, waardoor het bij het kalibreren van meerkeuzeopgaven niet zonder meer bruikbaar is. Uit de formules (2.2) en (2.4) volgt dat, indien θ zeer klein is, de kans op een juist antwoord zeer dicht in de buurt van nul komt. Maar de items in het normeringsonderzoek zijn meerkeuze-items, zodat blind gokken een zekere kans op een juist antwoord impliceert. Er bestaan modellen die rekening houden met de raadkans (Lord & Novick, 1968), maar die laten geen CML-schattingsmethode toe. De ongeschiktheid van het Raschmodel of OPLM voor meerkeuzevragen is echter relatief: indien de items in vergelijking met de vaardigheid van de leerling niet al te moeilijk zijn, blijkt dat het effect van het raden op de overeenkomst tussen model en gegevens klein is. Door een verstandige dataverzamelingsprocedure toe te passen en met name niet te moeilijke opgaven te selecteren in de test kan het OPLM toch toegepast worden op meerkeuzevragen, waarbij de overeenkomst tussen model en data de uiteindelijke doorslag over die geschiktheid moet geven. Ook in de normering wordt hier hiermee rekening gehouden. Voor de schatting van de populatieverdeling wordt gebruikgemaakt van de 'marginale grootste aannemelijkheidsmethode' (in het Engels: Marginal Maximum Likelihood, verder afgekort als MML). Deze schattingsmethode veronderstelt naast (2.2) ook nog dat de vaardigheid θ in de populatie een bepaalde verdeling heeft. De meeste computerprogramma s die IRT-analyses kunnen uitvoeren, veronderstellen een normale verdeling. Bovendien stelt deze methode de voorwaarde dat de steekproef die voor de schatting gebruikt wordt uit die verdeling een aselecte steekproef is. Omdat leerlingen gevolgd worden, is het mogelijk gelijktijdig de verdelingen op de verschillende normeringsmomenten te schatten. Bij de analyse is gebruikgemaakt van multivariate latente analysetechnieken waarmee gemiddelden en covarianties voor alle variabelen worden geschat in een onvolledig design. Daarvoor hebben we speciale software gebruikt (Multi) in combinatie met het OPLM als meetmodel (Kamphuis, 1992, 1993, Kamphuis & Engelen, 1992). Deze gemiddelden en covarianties vormen ook het basismodel voor de predicties in het Computerprogramma LOVS. Vraagonzuiverheid Onzuiverheid van vragen, DIF (differential item functioning), treedt op wanneer er een samenhang is tussen groepslidmaatschap en de respons op een vraag. Met andere woorden, de kans op een goed antwoord hangt niet alleen af van de vaardigheid van de leerling, maar ook van bijvoorbeeld sekse. Om te bepalen of de items die gebruikt zijn bij de reguliere toetsen Spelling ook geschikt zijn voor het SBO en SO heeft onderzoek plaatsgevonden naar vraagonzuiverheid. Hierbij is nagegaan of de kans op een goed antwoord niet alleen afhangt van de vaardigheid van de leerlingen, maar ook van het onderwijstype. In dit onderzoek naar onzuiverheid is de populatie in het regulier onderwijs, de normgroep, als referentiegroep genomen. De leerlingen die deel hebben genomen aan de proefonderzoeken in het SBO en SO zijn samen als doelgroep gedefinieerd. Ook is gekeken of er DIF optreedt tussen SBO en SO, tussen regulier basisonderwijs en SBO en tussen regulier basisonderwijs en SO. Om DIF op te sporen wordt gebruikgemaakt van de itemresponscurves. In figuur 2.3 is een voorbeeld weergegeven van een uniform onzuiver item. De kans op een juist antwoord in de doelpopulatie is voor alle vaardigheidsniveaus lager dan in de referentiepopulatie, of omgekeerd. 17

20 Figuur 2.3 Responsfunctie van een uniform onzuiver dichotoom item In figuur 2.4 is een voorbeeld van een niet-uniform onzuiver dichotoom item. De ene groep doet het op een lager vaardigheidsniveau beter dan de andere, terwijl dit op een hoog vaardigheidsniveau precies omgekeerd is. Figuur 2.4 Responsfunctie van een niet-uniform onzuiver dichotoom item 18

21 3 Beschrijving van de toets 3.1 Opbouw en structuur van de toets In deze paragraaf gaan we nader in op het afnemen van de toetsen Spelling voor speciale leerlingen. Daarna bespreken we de verwerking en interpretatie van de resultaten. Het afnemen van de toetsen Spelling Voor leerlingen die zich minder snel ontwikkelen dan gemiddelde leerlingen, is het belangrijk dat het niveau van de toets wordt afgestemd op het niveau van de leerling in plaats van op het aantal jaren onderwijs dat de leerling gevolgd heeft. Dit noemen we toetsen op maat. Zo wordt op de meest betrouwbare manier de vaardigheid van de leerling gemeten. En uiteraard is het maken van een toets op maat prettiger voor de leerlingen. Voor het toetsen op maat wordt gebruikgemaakt van de onderliggende vaardigheidsschaal. Deze schaal maakt het mogelijk om de resultaten van leerlingen die verschillende toetsen voor een bepaald leergebied maken met elkaar te vergelijken. Ook kan zo de ontwikkeling van individuele leerlingen in de tijd worden gevolgd. De onderliggende meettechniek voorziet er namelijk in dat iedere ruwe score op welke toets deze score ook behaald is kan worden omgezet in een score op één en dezelfde vaardigheidsschaal. Eén van de belangrijkste veranderingen ten opzichte van de reguliere toetsen Spelling is dat opeenvolgende toetsen kleinere leerstappen beslaan. Daardoor zijn er meer toetsen beschikbaar voor het meten van de spellingvaardigheid van leerlingen. Zo is er een toets voor het functioneringsniveau M3 (medio groep 3) en E3 (eind groep 3), maar ook voor het functioneringsniveau M3E3. Deze laatste is wat moeilijker dan M3 en wat gemakkelijker dan E3. Bij een leerling die zich minder snel ontwikkelt in spellingvaardigheid, kan aan het eind van groep 3 dus de toets M3E3 voorgelegd worden. Deze leerling hoeft zo niet een te moeilijke toets (E3) te maken, maar ook niet twee keer dezelfde toets (M3). Met het gebruik van de tussentoetsen komt de indeling in Start en Vervolg 1 en 2 uit de reguliere toetsen Spelling te vervallen en is toetsen op maat toch heel goed mogelijk. In paragraaf 1.4 van de handleiding geven we een aantal richtlijnen voor het kiezen van de juiste toets. We adviseren om, net als in het reguliere basisonderwijs, twee keer per jaar een toetsafname te plannen. In het reguliere basisonderwijs worden de toetsen Spelling halverwege het schooljaar (januari/februari) en aan het eind van het schooljaar (juni) afgenomen. Dit zijn namelijk de momenten waarop de normeringsonderzoeken hebben plaatsgevonden. Ook bij de toetsen voor speciale leerlingen heeft het de voorkeur op deze momenten te toetsen. Dit kan namelijk extra informatie opleveren bij leerlingen die zich ontwikkelen zoals een gemiddelde leerling in het reguliere basisonderwijs. Door middel van de niveaus A tot en met E en I tot en met V kan dan een directe vergelijking gemaakt worden met gemiddelde leerlingen. Ook zijn deze toetsmomenten zodanig gekozen dat de vaardigheid van de leerlingen verdeeld over het jaar optimaal worden gemeten, namelijk in het midden en aan het einde van het jaar. Maar scholen kunnen er ook voor kiezen om de toetsen op andere momenten in het jaar af te nemen. Het is dan wel belangrijk dat twee vaste periodes in het jaar gekozen worden om zo de mate van vooruitgang goed te kunnen beoordelen. De aangepaste toetsen Spelling bevatten dus naast toetsen voor de reguliere afnamemomenten ook tussentoetsen voor de functioneringsniveaus groep 3 tot en met 5. De toetsen zijn niet volledig uniek, dat wil zeggen dat sommige opgaven in meerdere toetsen voorkomen. Dit geldt zowel voor de papieren als de digitale toetsen. Bij de digitale toetsen bestaat een tussentoets over het algemeen uit de moeilijkste opgaven van de toets ervoor en de makkelijkste opgaven van de opvolgende toets. Een ander verschil met de reguliere toetsen, is dat in de aangepaste toetsen een starttoets is opgenomen voor leerlingen die wel alle letters kennen, maar voor wie de toets M3 te moeilijk is. Deze toets bevat alleen 19