Wetenschappelijke verantwoording van de toetsen Taal voor kleuters voor groep 1 en 2 uit het Cito Volgsysteem primair onderwijs

Transcriptie

1 Cito Volgsysteem primair onderwijs Wetenschappelijke verantwoording van de toetsen Taal voor kleuters voor groep 1 en 2 uit het Cito Volgsysteem primair onderwijs Nienke Lansink en Bas Hemker

2 Wetenschappelijke Verantwoording van de toetsen Taal voor kleuters voor groep 1 en 2 uit het Cito Volgsysteem primair onderwijs Nienke Lansink Bas Hemker Cito, Arnhem, juni 2010 (bijgesteld 2012) 1

3 Cito B.V. Arnhem (2012) Niets uit dit werk mag zonder voorafgaande schriftelijke toestemming van Cito B.V. worden openbaar gemaakt en/of verveelvoudigd door middel van druk, fotografie, scanning, computersoftware of andere elektronische verveelvoudiging of openbaarmaking, microfilm, geluidskopie, film- of videokopie of op welke wijze dan ook. 2

4 Inhoud 1 Inleiding 5 2 Uitgangspunten van de toetsconstructie Meetpretentie Doelgroep Gebruiksdoel en functie Theoretische inkadering Inhoudelijk Taalontwikkeling Kerndoelen, tussendoelen en leerlijnen Het taalonderwijs/taalaanbod in de groepen 1 en Inhoud toetsen LOVS Taal voor kleuters Psychometrisch Opgavenbanken primair onderwijs Het gehanteerde meetmodel 20 3 Beschrijving van de toets Opbouw, structuur, afname van de toetsen en rapportage Inhoudsverantwoording Het ontwikkelproces van de toetsen LOVS Taal voor kleuters De inhoud van de toetsen LOVS Taal voor kleuters Selectie van opgaven voor de toetsen LOVS Taal voor kleuters 34 4 Het normeringsonderzoek Het ontwikkelen van een itembank Representativiteit: het schatten van de vaardigheidsverdeling van de normpopulaties Het normeren van de uiteindelijke toetsen 47 5 Betrouwbaarheid en meetnauwkeurigheid Betrouwbaarheid Nauwkeurigheid 52 6 Validiteit Inhoudsvaliditeit Begripsvaliditeit Passing van het meetmodel Equivalentie met eerdere toetsen en interne structuur Longitudinale vaardigheidstoename 61 7 Samenvatting 65 8 Literatuur 67 Bijlage 1: Profielanalyse met IRT, Norman Verhelst 71 3

5 4

6 1 Inleiding Het toetspakket Taal voor kleuters van het Cito Volgsysteem primair onderwijs (voorheen LOVS) bestaat uit: Handleiding (bij de papieren toetsen) Toetsmateriaal van de papieren toetsen (opgavenboekjes groep 1 en 2; voorleesbladen groep 1 en 2) Registratieformulieren Inhoudsverantwoording Handleiding digitaal (bij de digitale toetsen) Deze wetenschappelijke verantwoording heeft alleen betrekking op de papieren toetsen Taal voor kleuters voor groep 1 en 2. Bij het toetspakket kan het Computerprogramma LOVS gebruikt worden om toetsresultaten te verwerken en op basis hiervan verschillende rapporten en overzichten te maken. Daarnaast kan het Observatie-, hulp- en cursorisch programma Taalplezier ingezet worden om gericht hulp te geven aan een kind om de taalontwikkeling te stimuleren (zie Van Kuyk, 1999). Tezamen met de inhoud van het toetspakket LOVS Taal voor kleuters (Lansink, 2009) levert deze wetenschappelijke verantwoording alle informatie die nodig is voor een snelle en efficiënte beoordeling van de kwaliteit van de betreffende meetinstrumenten. Het genoemde materiaal maakt een beoordeling van de toetsen LOVS Taal voor kleuters mogelijk op de volgende aspecten: Uitgangspunten van de toetsconstructie De kwaliteit van het toetsmateriaal De kwaliteit van de handleiding Normen Betrouwbaarheid Validiteit Het laatstgenoemde aspect betreft alleen begripsvaliditeit en geen criteriumvaliditeit. Omdat de toetsen van het LOVS niet bedoeld zijn voor 'voorspellend gebruik' is criteriumvaliditeit niet van toepassing. Het voorliggende document heeft met name betrekking op de uitgangspunten van de constructie (hoofdstuk 2 en 3), de normen (hoofdstuk 4), de betrouwbaarheid en meetnauwkeurigheid (hoofdstuk 5) en de begripsvaliditeit (hoofdstuk 6) van de toetsen Taal voor kleuters voor de jaargroepen 1 en 2. De kwaliteit van het toetsmateriaal en de handleiding is te bepalen door kennis te nemen van de inhoud van de toetspakketten. Het toetspakket LOVS Taal voor kleuters (Lansink, 2009) bevat zowel papieren als digitale toetsen. Met beide soorten toetsen (de papieren en de digitale) kan de vaardigheid van een leerling worden geschat. Welke van de twee gebruikt wordt, maakt voor de schatting van de vaardigheid niet uit. Onderhavige wetenschappelijke verantwoording betreft alleen de papieren toetsen. De eerste versie hiervan (Lansink & Hemker, 2010) is in 2010 aan de COTAN voorgelegd. Het verschil tussen deze eerste versie en onderhavige tweede versie van de wetenschappelijke verantwoording van de papieren toetsen is dat de tweede versie is aangevuld met informatie over het steekproefplan en de procedure die in het onderzoek op de scholen is gehanteerd (zie kopje steekproefplan in paragraaf 4.2). Tevens is een toelichting op de wegingsprocedure die we hebben toegepast, opgenomen (zie kopje toegepaste wegingsprocedure in paragraaf 4.2). Ook zijn gegevens over de scores van de subgroepen van de variabelen regio en verstedelijking waarop gewogen is vermeld (zie tabel 4.14). Daarnaast zijn op enkele plaatsen tekstuele wijzigingen aangebracht die de leesbaarheid verhogen en de inhoud en samenhang tussen onderdelen van de verantwoording verder verduidelijken. 5

7 De digitale toetsen (inclusief handleiding) zijn sinds begin 2011 voor de scholen beschikbaar. In 2011 is de wetenschappelijke verantwoording van deze digitale toetsen (Lansink, Hemker & Verschoor, 2011) opgesteld en samen met het toetspakket LOVS Taal voor kleuters (inclusief digitale toetsen) aan de COTAN voorgelegd en door de COTAN beoordeeld Uitgangspunten bij de testconstructie: Goed. 2. Kwaliteit van het testmateriaal: Goed. 3. Kwaliteit van de handleiding: Goed. 4. Normen: Goed. 5. Betrouwbaarheid: Goed. 6. Begripsvaliditeit: Voldoende. 7. Criteriumvaliditeit: n.v.t.. 6

8 2 Uitgangspunten van de toetsconstructie 2.1 Meetpretentie De toetsen Taal voor kleuters zijn onderdeel van het Cito Volgsysteem primair onderwijs (voorheen LOVS) en brengen de algemene taalvaardigheid van jonge kinderen in beeld. De taalontwikkeling en het leren lezen zijn twee hoofddoelstellingen van het basisonderwijs. De ontwikkeling van taal en de ontwikkeling tot geletterdheid verlopen parallel. Hoe beter de taal ontwikkeld is, hoe gemakkelijker het leren lezen kan verlopen. En hoe beter de ontwikkeling tot geletterdheid is verlopen, hoe gemakkelijker het kind de techniek van het leren lezen zal beheersen. Aan beide aspecten moet in het onderwijs veel aandacht besteed worden. Daarom is het belangrijk de taalontwikkeling en de beginnende geletterdheid van ieder individueel kind te volgen. In het onderwijs is taal niet alleen een vak op zich, maar speelt taal ook een cruciale rol bij het verwerven van kennis en vaardigheden in alle andere vakken die gegeven worden. Kennisoverdracht vindt immers plaats via taal. Een goede taalontwikkeling is dus een randvoorwaarde voor de ontwikkeling op andere gebieden. Ontwikkelt de taal zich niet goed, dan stagneert de ontwikkeling op andere gebieden mogelijk ook. Het taalonderwijs in de groepen 1 en 2 van het basisonderwijs richt zich op het verwerven van belangrijke vaardigheden op de terreinen van de taalontwikkeling en de ontwikkeling tot geletterdheid. Deze vaardigheden hebben betrekking op (Van Kuyk, 1999): ontwikkeling van de woordenschat, receptief en productief; leren luisteren; leren spreken; beginnende geletterdheid; oriëntatie op geschreven taal; taalbewustzijn en auditieve vaardigheden als analyse en synthese. (Zie verder paragraaf ) In de toetsen LOVS Taal voor kleuters komen deze vaardigheden aan de orde met uitzondering van: ontwikkeling van de woordenschat, productief; leren spreken. Deze vaardigheden zijn productief van aard. Met de toetsvorm die we voor de toetsen LOVS Taal voor kleuters hebben gekozen, kunnen productieve vaardigheden niet geëvalueerd worden. Leerkrachten kunnen dit soort vaardigheden wel evalueren door middel van authentieke observaties. De toetsresultaten kunnen dan aangevuld worden met deze observatiegegevens om een compleet beeld van de leerling te krijgen. In de toetsen Taal voor kleuters maken we binnen het hoofdconstruct algemene taalvaardigheid onderscheid tussen conceptueel bewustzijn en taalbewustzijn. Onder conceptueel bewustzijn verstaan we het herkennen van begrippen en het begrijpen van korte gesproken teksten. Taalbewustzijn is de vaardigheid om af te zien van de betekenis van een woord en in plaats daarvan te letten op de vorm of klank ervan. In de toetsen voor groep 1 zijn alleen opgaven opgenomen die over conceptueel bewustzijn gaan. In de toets voor groep 2 zijn daarnaast ook opgaven opgenomen over taalbewustzijn. Concreet betekent dat dat in de toetsen Taal voor kleuters de volgende aspecten van conceptueel bewustzijn zijn opgenomen: Passieve woordenschat (en als onderdeel hiervan in groep 1 ook Definitievaardigheid) Kritisch luisteren Beide vallen onder de mondelinge taalvaardigheid luisteren (zie ook paragraaf ). 7

9 Daarnaast zijn er in de toets Taal voor kleuters voor groep 2 de volgende aspecten van taalbewustzijn opgenomen: Klank en rijm Eerste en laatste woord horen Auditieve synthese Schriftoriëntatie Deze aspecten vallen alle vier onder de ontwikkeling tot geletterdheid (schriftelijke taalvaardigheid, zie ook paragraaf ). Wat we onder de zes hierboven genoemde categorieën precies verstaan, wordt nader toegelicht in paragraaf Daarvoor gaan we in paragraaf eerst nog nader in op de theoretische achtergrond van de taalontwikkeling. Relatie met andere instrumenten Naast Taal voor kleuters is voor de groepen 2 en 3 een Screeningsinstrument Beginnende geletterdheid beschikbaar. Dit instrument is in het kader van het Masterplan Dyslexie ontwikkeld door het Expertisecentrum Nederlands en Cito. We raden leerkrachten aan om in groep 2 zowel de toets Taal voor Kleuters als het Screeningsinstrument Beginnende geletterdheid af te nemen. De twee toetsen meten namelijk verschillende aspecten van de taalvaardigheid van kleuters. Taal voor kleuters brengt de algemene taalvaardigheid van jonge kinderen in beeld. Het Screeningsinstrument Beginnende geletterdheid wordt afgenomen om leesproblemen vroeg te kunnen signaleren en richt zich daarom op het meten van de twee belangrijkste voorspellers van (technisch) lezen: fonologisch bewustzijn en letterkennis (Vloedgraven, 2008). Door afname van beide toetsen krijgt de leerkracht een compleet beeld van de leerling (zie ook paragraaf 2.4.1). Voor 3-jarige peuters is ook een instrument beschikbaar om de algemene taalvaardigheid te meten. De items uit dit instrument, Taal voor peuters, liggen op dezelfde schaal als de items uit Taal voor kleuters. Er is dus sprake van één vaardigheidsschaal die loopt van peuters (3-jarigen) tot en met groep Doelgroep De toetsen in LOVS Taal voor kleuters zijn bestemd voor en genormeerd bij leerlingen in groep 1 en 2 in het Nederlandse basisonderwijs. Voor beide groepen is er een toets beschikbaar. De populatieparameters van de toetsen zijn zowel op midden leerjaar als op einde leerjaar bepaald. De toetsen kunnen desgewenst ook op andere momenten in het schooljaar worden afgenomen, maar dat maakt het moeilijker om uitspraken te doen over het niveau van de leerling ten opzichte van andere leerlingen in Nederland. Leerkrachten kunnen per afnamemoment kiezen uit een papieren en een digitale variant. Over de digitale variant kunt u meer lezen in de wetenschappelijke verantwoording van de digitale toetsen Taal voor kleuters (Lansink, Hemker & Verschoor, 2011). In het onderhavige document gaan we in op de papieren toetsen. Beperkingen De toetsen Taal voor kleuters kunnen in principe afgenomen worden bij alle leerlingen in groep 1 en 2. Hierbij gelden de volgende uitzonderingen. Het is verstandig nog een afnamemoment te wachten wanneer de leerlingen: nog geen drie maanden op de basisschool zitten of ten tijde van de eerste afname nog twee jaar in de kleutergroep blijven. Daarnaast heeft het geen zin om de toetsen voor te leggen aan leerlingen die nog maar pas in Nederland verblijven. Een leerling dient minstens voor een langere periode onderwijs in Nederland gevolgd te hebben, alvorens u hem of haar een taaltoets laat maken. 8

10 Andere doelgroepen De toetsen LOVS Taal voor kleuters zijn niet alleen bedoeld voor het reguliere basisonderwijs, maar ook voor leerlingen op speciale scholen voor basisonderwijs (bijvoorbeeld IOBK) en voor speciale leerlingen in het reguliere onderwijs. Voor deze leerlingen zijn geen aparte normen opgesteld. Ze worden vergeleken met een normgroep van reguliere leerlingen. De aanwijzingen in de handleiding bij de toetsen gelden dus wat de principes betreft ook voor gebruik bij speciale leerlingen. Er zijn echter enkele onderdelen waarvoor extra aanwijzingen gelden: de keuze van de af te nemen toets en het gebruik van de alternatieve leerlingrapporten. Voor meer informatie daarover verwijzen we naar de handleiding bij de toetsen LOVS Taal voor kleuters. 2.3 Gebruiksdoel en functie LOVS Taal voor kleuters heeft twee doelen: niveaubepaling en progressiebepaling. Daarnaast biedt het computerprogramma LOVS naast de standaardrapportages ook een meer geavanceerdere rapportage: categorieënanalyse. Deze rapportagevorm signaleert opvallende patronen. Hierbij gaat het om het achterhalen van tekorten en het geven van aanwijzingen voor verder diagnostisch onderzoek om te kunnen bepalen of er daadwerkelijk sprake is van een achterstand en wat die achterstand dan precies is (zie ook bijlage 1). Deze signalering staat geheel los van de niveau- en progressiebepaling en is in de kalibratie- en normeringsonderzoeken niet wetenschappelijk getoetst. Naast de onderwerpen niveaubepaling, progressiebepaling en signalering via categorieënanalyse, gaan we aan het eind van deze paragraaf nog in op de onderwerpen vervolgtraject en leerlingenzorg. Niveaubepaling De toetsafnamen in het kader van LOVS Taal voor kleuters geven de leerkracht informatie over het niveau van de taalvaardigheid van de leerlingen, individueel of als groep. Iedere behaalde vaardigheidsscore kan daartoe normgericht geïnterpreteerd worden op basis van de vaardigheidsverdeling in een adequate referentiegroep (zie paragraaf 4.2 voor de beschrijving van de referentiegroep). In de toetsmaterialen zijn twee niveau-indelingen opgenomen, waarmee de leerkracht de scores van een leerling kan vergelijken met die van een grote groep leerlingen. De leerkracht kan een keuze maken uit: de indeling in de niveaus A tot en met E; de indeling in de niveaus I tot en met V. Bij de indeling in de niveaus A tot en met E is de verdeling over de groepen als volgt: Niveau % Interpretatie A 25 De 25% hoogst scorende leerlingen B 25 De 25% leerlingen die net boven tot ruim boven het landelijk gemiddelde scoren C 25 De 25% leerlingen die net onder tot ruim onder het landelijk gemiddelde scoren D 15 De 15% leerlingen die ruim onder het landelijk gemiddelde scoren E 10 De 10% laagst scorende leerlingen Bij de indeling in A tot en met E wordt op de overzichten de hoogste groep (niveau A) nog onderverdeeld in twee groepen: een groep die hoog scoort (15% van de leerlingen) en een groep die het allerhoogst scoort (10% van de leerlingen). Deze groepen worden van elkaar gescheiden door een stippellijn. 9

11 Bij de indeling in de niveaus I tot en met V wordt uitgegaan van vijf groepen van 20%: Niveau % Interpretatie I 20 Ver boven het gemiddelde II 20 Boven het gemiddelde III 20 De gemiddelde groep leerlingen IV 20 Onder het gemiddelde V 20 Ver onder het gemiddelde Bij de indeling in I tot en met V worden op de overzichten de laagste groep en de hoogste groep nog onderverdeeld in twee groepen die ieder 10% leerlingen bevatten. Deze groepen worden van elkaar gescheiden door een stippellijn. In de eerste generatie van de LVS-toetsen werd alleen de indeling A tot en met E gebruikt. In de praktijk bleek deze enkele nadelen te hebben. Zo is de indeling niet symmetrisch. Bovendien zien sommige leerkrachten C als de gemiddelde groep. In de indeling A tot en met E bestaat echter geen gemiddelde groep, alleen groepen boven (A, B) of onder (C, D, E) het gemiddelde. Daarom is bij de tweede generatie van het LOVS een indeling toegevoegd met de niveaus I tot en met V. De indeling in de niveaus I tot en met V is symmetrisch opgebouwd en heeft als voordeel dat er een gemiddelde 2 groep is. Deze indeling sluit aan bij de niveau-indeling van andere Cito-toetsinstrumenten zoals de Entreetoetsen. Progressiebepaling De toetsen in LOVS Taal voor kleuters geven de leerkracht informatie over de ontwikkeling van de taalvaardigheid van de leerlingen, individueel of als groep, gedurende de groepen 1 en 2. Ze geven antwoord op vragen als: is er sprake van vooruitgang, achteruitgang of van stabilisering? Is de vooruitgang gelet op de gemiddelde vooruitgang in de populatie volgens verwachting? Het gehanteerde meetmodel (zie paragraaf 2.4.2) maakt het mogelijk om de scores van een leerling op verschillende toetsen, op verschillende momenten afgenomen, onderling te vergelijken. De ruwe scores op de toetsen het aantal opgaven goed zijn daartoe te transformeren in scores op één vaardigheidsschaal (het algemeen niveau van taalvaardigheid ). Deze unidimensionele vaardigheidsschaal die aan de toetsen LOVS Taal voor kleuters ten grondslag ligt, is ontwikkeld met behulp van het One Parameter Logistic Model (Verhelst, 1993; Verhelst & Glas, 1995; Verhelst, Glas & Verstralen, 1995). 'Signalering' via categorieënanalyse Met behulp van de toetsen kunnen we het algemene niveau van taalvaardigheid van leerlingen vaststellen. Daarnaast is het mogelijk om met behulp van het Computerprogramma LOVS een categorieënanalyse uit te voeren. Daarmee kan nagegaan worden of leerlingen op een bepaald onderdeel meer (of minder) fouten maken dan op grond van hun algemene vaardigheidsniveau verwacht mag worden. Bij de rapportage van het verschil (tussen waargenomen score en verwachte score) wordt aangegeven of dat een klein verschil is dat aan toeval kan worden toegeschreven of dat het een betekenisvol verschil is. In dat laatste geval kan de leerkracht gericht kijken hoe hij zijn aanbod nog beter kan laten aansluiten op de vaardigheid van de leerling. Individuele leerlingen die blijk geven van onvoldoende beheersing van een of meerdere categorieën zullen wellicht baat hebben bij extra instructie en gerichte oefeningen (zie ook paragraaf 3.1). De hier beschreven categorieënanalyse is in feite een statische procedure waarmee we kijken of we een bepaald patroon kunnen vinden in de resultaten van de leerling. Het gaat daarbij om de vraag hoe waarschijnlijk dat patroon is. Gegeven de totaalscore van de leerling halen we onwaarschijnlijk patronen 2 Gemiddeld moet hier niet opgevat worden in statische zin. De werkelijke gemiddelde ruwe score kan in werkelijkheid behaald worden door leerlingen die niet in groep III zitten. 10

12 eruit. Een onwaarschijnlijk patroon zou bij de toets voor groep 2 bijvoorbeeld kunnen zijn dat de leerling op 5 van de 6 categorieën een hoge score haalt en op 1 categorie een lage score (of andersom). De waarde van deze statische procedure hebben we, zoals eerder al gezegd, niet onderzocht. Met andere woorden er heeft geen validering plaatsgevonden met de praktijk (leerkrachten die gebruik maken van de categorieënanalyse). Vervolgtraject Naar aanleiding van de resultaten van de categorieënanalyse kan de leerkracht besluiten om verder diagnostisch onderzoek te doen. Omdat het aantal opgaven per categorie in (met name het onderdeel Taalbewustzijn) van de toetsen Taal voor kleuters (met name de toets voor groep 2) beperkt is, kan niet worden uitgesloten dat de leerling bij toeval juist de opgaven uit deze categorie fout heeft beantwoord. Om meer zekerheid te verkrijgen over de beheersing van de categorie door deze leerling, kan de leerkracht gebruikmaken van de observatielijsten en/of toetsen uit het Observatieprogramma Taalplezier of de Taaltoets Alle Kinderen (TAK). Als de leerling op deze observatielijsten en/of toetsen ook zwak scoort, lijkt zijn of haar beheersing van de nader onderzochte categorie(ën) inderdaad te wensen over te laten. De leerkracht kan deze leerling vervolgens aanvullende instructie en/of oefenmateriaal aanbieden, bijvoorbeeld aan de hand van het Hulp- en/of Cursorisch programma Taalplezier. Naast het programma Taalplezier kan de leerkracht ook het Screeningsinstrument Beginnende geletterdheid inzetten. Dit instrument bevat toetsen voor het meten van fonologisch bewustzijn en letterkennis in de groepen 2 en 3. Dit zijn de vaardigheden die het best in staat zijn latere leesvaardigheden te voorspellen (Vloedgraven, 2008). Op basis van de toetsresultaten uit het Screeningsinstrument wordt duidelijk welke leerlingen al vroegtijdig extra aandacht nodig hebben. Zie paragraaf 3.1 voor meer informatie over dit instrument. Leerlingenzorg De toetsen Taal voor kleuters maken deel uit van een systeem van leerlingenzorg. Dat systeem bestaat uit onderwijs- en leerlingmaterialen die ingezet kunnen worden bij het cyclische proces van onderwijs op maat: signaleren, analyseren, handelen en terugkoppeling door middel van evaluatie. In paragraaf 4.3 van de handleiding bij de toetsen (Lansink, 2009) is een korte beschrijving opgenomen van de verschillende fasen. Ook vindt men daar beknopte informatie over de uitgaven van Taalplezier: Observatieprogramma, Hulpprogramma en Cursorisch programma. Het Observatieprogramma is bedoeld om de vaardigheid van de leerlingen nader te diagnosticeren. Het Hulpprogramma sluit aan op het Observatieprogramma en op de toetsonderdelen van de toets Taal voor kleuters. Het Hulpprogramma maakt het mogelijk hiaten in de vaardigheden die in de toetsen aan de orde komen bij de betreffende leerlingen weg te werken. Naast het Hulpprogramma kan ook het Cursorisch programma daarvoor gebruikt worden. Voor gedetailleerde informatie wordt verwezen naar deze uitgaven (Van Kuyk, 1999). Omdat in deze verantwoording alleen de toetsen Taal voor kleuters verantwoord worden, volstaan we hier met een overzicht van de materialen voor leerlingzorg. 11

13 Figuur 2.1 Cito-materialen ten behoeve van de leerlingzorg 1 Signaleren Toetsen Taal voor kleuters voor groep 1 en 2 Leerlingrapporten en groepsrapport Inhoudsverantwoording 2 Analyseren Categorieënanalyse m.b.v. het Computer programma LOVS Resultaten op diagnostische observatielijsten en/of toetsen (Observatieprogramma Taalplezier) Resultaten op LOVS toetsen van andere leergebieden voor groep 1 en 2 (M1, E1, M2 en E2) 3 Handelen Hulp- en Cursorisch programma Taalplezier voor groep 1 en Theoretische inkadering Inhoudelijk De basis voor de inhoud van de toetsen Taal voor kleuters van het Leerling- en onderwijsvolgsysteem (LOVS) wordt gevormd door: theorieën over de taalontwikkeling (luisteren en spreken) en de ontwikkeling tot geletterdheid (lezen en schrijven) bij kleuters; de kerndoelen van het Ministerie van OC&W; de tussendoelen en leerlijnen van het Expertisecentrum Nederlands (EN) en de Stichting leerplanontwikkeling (SLO); het taalonderwijs/taalaanbod in de groepen 1 en 2 van het basisonderwijs. Daarnaast is de selectie van de te toetsen begrippen (in het onderdeel passieve woordenschat) mede gebaseerd op woordenlijsten als de Streeflijst woordenschat voor zesjarigen van Schaerlaekens, Kohnstamm en Lejaegere (1999). In deze paragraaf gaan we eerst in op de taalontwikkeling van jonge kinderen (zie paragraaf ). Daarbij maken we onderscheid tussen de ontwikkeling van de mondelinge taalvaardigheid en de ontwikkeling tot geletterdheid (schriftelijke taalvaardigheid). Het is een taak van het onderwijs om de taalontwikkeling van kinderen te stimuleren. Daarom gaan we vervolgens in paragraaf nader in op de (kern- en) tussendoelen. De kerndoelen geven immers op hoofdlijnen weer wat de inhoud van het onderwijs in bijvoorbeeld de Nederlandse taal moet zijn en dus wat scholen na zouden moeten streven. De tussendoelen en leerlijnen, opgesteld door het EN, beschrijven hoe (op welk wijze) en wanneer (op welke momenten en in welke achtereenvolgende stappen) deze doelen bereikt kunnen worden (Greven & Letschert, 2006). We geven aan welke tussendoelen met de toetsen Taal voor kleuters kunnen worden geëvalueerd. Daarbij besteden we ook aandacht aan de relatie tussen de toetsen Taal voor kleuters en het Screeningsinstrument Beginnende geletterdheid. In paragraaf stippen we kort aan hoe het taalonderwijs in de groepen 1 en 2 van de basisschool eruit ziet. Tot slot geven we in paragraaf op 12

14 conceptueel niveau aan wat de inhoud van de toetsen taal voor kleuters is. In paragraaf wordt uitgewerkt hoe dit er op operationeel niveau uitziet Taalontwikkeling De basis voor de taalontwikkeling van een kind wordt gelegd in de opvoeding die kinderen thuis van hun ouders of verzorgers krijgen. Voordat kinderen naar school gaan, verwerven ze de basisprincipes van de taal die in hun directe omgeving wordt gesproken. Op de basisschool ontwikkelt de taalvaardigheid van kinderen zich in de loop van de jaren steeds verder (Verhoeven, Biemond & Litjens, 2007). Het leren van de moedertaal vindt voor een groot deel plaats via spontane ontwikkelingsprocessen, maar daarnaast is het voor een goede taalverwerving van groot belang deze ontwikkelingsprocessen expliciet te stimuleren. De verwerving van taal begint vanaf de geboorte bij het leren begrijpen van gesproken taal (luisteren). Op een gegeven moment komt daar het zelf produceren van taal bij (spreken). Later, als het kind naar school gaat, ontwikkelen deze mondelinge taalvaardigheden zich steeds verder en komen ook de schriftelijke taalvaardigheden erbij. Het onderwijs in lezen en schrijven start in principe in groep 3, hoewel in de groepen 1 en 2 tegenwoordig ook steeds meer aandacht wordt besteed aan voorbereidende activiteiten op dat terrein. Steeds meer kinderen kunnen op kleuterleeftijd al lezen (en soms misschien zelfs al wel een beetje schrijven). Verhoeven en Aarnoutse (1999) definiëren taalontwikkeling als volgt: Taalontwikkeling is de groei of toename in communicatieve competentie op het gebied van luisteren, spreken, lezen en schrijven en de reflectie op deze vaardigheden in de zin van taalbewustzijn of taalbeschouwing. En taalvaardigheid kan gedefinieerd worden als het vermogen tot luisteren, spreken, lezen en schrijven (Sijtstra, Aarnoutse en Verhoeven, 1999). Uit bovenstaande definities blijkt dat taalvaardigheid opgesplitst kan worden in een aantal deelvaardigheden. Figuur 2.2 laat dit zien. De ontwikkelingen op deze verschillende deelvaardigheden staan niet los van elkaar. Ontwikkelingen op bijvoorbeeld de deelvaardigheid spreken brengen ook ontwikkelingen op de andere drie deelvaardigheden teweeg (Verhoeven en Aarnoutse, 1999). Tevens vormt de mondelinge taalvaardigheid de basis voor de ontwikkeling van de schriftelijke taalvaardigheid. Figuur 2.2 Taalvaardigheden Receptieve taalvaardigheid Productieve taalvaardigheid Mondeling taalvaardigheid Luisteren Spreken Schriftelijke taalvaardigheid Lezen Schrijven Bij luisteren en spreken ligt het accent op betekenisuitwisseling. Om te kunnen begrijpen wat de ander zegt (luisteren), moet het kind betekenis kunnen toekennen aan wat die ander zegt. Met andere woorden, het kind moet beschikken over een goede woordenschat (een woord geeft een betekenis weer). Goed kunnen luisteren dient ook nog een ander doel. Door te luisteren naar anderen leert het kind zijn taal beter kennen. Zo kan het onder meer zijn woordenschat verder uitbreiden. Daarnaast heeft het kind een goede woordenschat nodig om zelf aan een ander duidelijk te kunnen maken wat het bedoelt (spreken). Ook bij lezen en schrijven gaat het uiteindelijk om betekenisuitwisseling. In het begin let het kind daar echter nog niet op. Het is dan vooral bezig met het maken van allerlei krabbels en tekens en nog niet bezig met het schrijven van letters en woorden. Het kind wil graag laten zien dat het kan schrijven. Voor volwassenen hebben de krabbels ook geen betekenis. Om uiteindelijk een boodschap over te kunnen brengen door iets op te schrijven, moet het kind (om te beginnen) leren dat er een relatie is tussen een 13

15 letter en een klank. Dit is uiteraard ook van belang bij het begrijpen van een geschreven tekst (lezen). Het kind moet niet meer alleen letten op de betekenis van woorden en zinnen, maar ook op de vorm van de woorden en de klanken. Hoe de ontwikkeling van de mondelinge en schriftelijke taalvaardigheid in grote lijnen verloopt, beschrijven we in het nu volgende. Ontwikkeling van de mondelinge taalvaardigheid De taalkunde onderscheidt vier aspecten aan de mondelinge taalvaardigheid, namelijk: 1 de fonologie; 2 de semantiek; 3 de syntaxis 4 de morfologie. Een kind ontwikkelt zich bij het leren van de moedertaal op elk van deze vier aspecten. Bij de fonologische ontwikkeling gaat het om de klanken die het kind leert te maken. De semantische ontwikkeling betreft het leren van de betekenis van woorden. Door de syntactische ontwikkeling leert het kind de regels van de zinsbouw. Daaraan gekoppeld is de morfologische ontwikkeling, waarbij het kind zich de voor de omgevingstaal typische verbuigingen en vervoegingen van woorden eigen maakt (Kohnstamm, 2002). Belangrijk om zich daarbij te realiseren is dat ieder kind uniek is. Kinderen verschillen in het tempo waarin ze zich ontwikkelen en ook in de kwaliteit van de ontwikkeling op de verschillende aspecten. Het verwerven van de moedertaal verloopt in een min of meer vaste volgorde, waarbij vaak de volgende fase-indeling wordt gehanteerd (zie bijvoorbeeld Gillis en Schaerlaekens, 2000). 1 De voortalige fase (0 12 maanden), de periode voor het verschijnen van de eerste woorden, waarin de fonologische ontwikkeling centraal staat. 2 De vroegtalige fase (1 2,5 jaar) waarin tussen de 12 en 18 maanden met de eerste begrijpbare woorden de woordenschatontwikkeling start. Daarnaast wordt tussen 1,5 en 2,5 jaar, met korte zinnen een begin gemaakt met de verwerving van de grammatica van de moedertaal (zinsbouw / syntaxis). 3 De differentiatie fase (2,5 5 jaar), waarin het kind langere zinnen gaat produceren en zijn kennis over de grammatica verder ontwikkelt (woordvorming / morfologie). 4 De voltooiingsfase (5 jaar en ouder) is de fase waarin het kind het systeem van zijn moedertaal goed genoeg beheerst om zich goed uit te kunnen drukken, over te brengen wat hij bedoelt en te begrijpen wat anderen tegen hem zeggen. Vanaf nu gaat het kind het geleerde uit de vorige fasen verder ontwikkelen en laat het langzaamaan volwassen taalgebruik horen. Hoewel de ontwikkeling van de ene fase als randvoorwaardelijk gezien kan worden voor de start van de ontwikkeling in de volgende fase, is het niet zo dat bijvoorbeeld de fonologische ontwikkeling stopt of afgerond is op het moment dat de woordenschatontwikkeling start. De fonologische ontwikkeling loopt door en ontwikkelt zich deels parallel aan de woordenschatontwikkeling. Dit bekent bijvoorbeeld dat een kind dat in de differentiatiefase is aangeland, zich nog sterk verder zal ontwikkelen op alle aspecten van de mondelinge taalvaardigheid. Dit geldt voor de meeste vierjarige kinderen, op het moment dat ze hun intrede doen in het basisonderwijs. Ontwikkeling tot geletterdheid (schriftelijke taalvaardigheid) In de ontwikkeling tot geletterdheid kunnen drie fasen worden onderscheiden (Verhoeven en Aarnoutse, 1999): 1 De fase van de ontluikende geletterdheid. Deze fase betreft de voorschoolse periode als het kind in de leeftijd van nul tot vier jaar is. Het verwerft in deze periode de basisprincipes van de taal: luisteren, spreken en communiceren. Deze mondelinge taalvaardigheden vormen de basis voor de latere ontwikkeling van de schriftelijke taalvaardigheden. In de fase van de ontluikende geletterdheid komt het kind ook in meerdere of mindere mate in aanraking met geschreven taal. Bijvoorbeeld als het een prentenboek bekijkt, voorgelezen wordt, letters of woorden in boeken, tijdschriften en kranten ziet staan of op borden en logo s. Sommige kinderen worden hierdoor geïnspireerd om zelf ook schriftelijk te 14

16 communiceren met anderen. Zij doen dat op hun geheel eigen manier, bijvoorbeeld met tekeningen of eigen bedachte logo s. 2 De fase van de beginnende geletterdheid. Deze fase betreft de periode van groep 1 tot en met 3. Het kind gaat zich verder oriënteren op de geschreven taal. Daarbij leert het bijvoorbeeld de verschillende functies die taal heeft te herkennen. Tevens ontwikkelt het inzicht in het verband tussen gesproken en geschreven taal. Het kind gaat het principe van het alfabetisch schrift ontdekken en maakt zich vervolgens de elementaire leeshandeling eigen. Het leert niet alleen betekenis te verlenen aan een verzameling tekens (lezen), maar ook om zijn eigen gedachten op papier te zetten en zo zelf betekenis weer te geven in tekens (schrijven). Het kind kan nu naast mondeling ook schriftelijk communiceren met anderen. 3 De fase van de gevorderde geletterdheid. Dit is de fase vanaf groep 4. Het kind leert steeds sneller woorden te herkennen, het leesproces wordt geautomatiseerd. Door deze ontwikkeling kan het kind zijn aandacht steeds meer gaan richten op de betekenis van een tekst. Het gaat ontdekken dat een tekst een samenhangend geheel is en hoe een tekst is opgebouwd. Daarbij kan het steeds beter onderscheid maken tussen verschillende soorten teksten. Ook leert het kind hoe je informatie uit teksten kunt halen. Het leert leesstrategieën toe te passen om eventuele problemen bij het begrijpen van teksten op te lossen. Zo ontstaat grip en controle op het eigen leesgedrag. Naast goed begrijpend lezen, leert het kind goed schriftelijk te communiceren met anderen door informatie en eigen ervaringen op te schrijven. We hebben tot nu toe vooral gesproken over taalontwikkeling en ontwikkelingsprocessen. Deze ontwikkelingsprocessen resulteren in een aantal mijlpalen die als tussen- en einddoelen, respectievelijk leerlijnen te ordenen zijn. Deze weerspiegelen tegelijkertijd een toenemende algemene taalvaardigheid (die door de toetsen Taal voor kleuters meetbaar wordt gemaakt). Bij de ontwikkeling van de opgaven voor de toetsen Taal voor kleuters hebben we ons dan ook gebaseerd op de tussendoelen en leerlijnen die door het Expertisecentrum Nederlands (EN) zijn opgesteld. Daarnaast kunnen leerkrachten óók veel hebben aan de beschrijving van deze tussendoelen en leerlijnen om de ontwikkeling van de mondelinge en schriftelijke taalvaardigheid van kleuters zo goed mogelijk te stimuleren Kerndoelen, tussendoelen en leerlijnen De kerndoelen (2006) voor het onderwijs in de Nederlandse taal zijn uitgesplitst in kerndoelen voor mondeling taalonderwijs, schriftelijk taalonderwijs en taalbeschouwing. De kerndoelen geven, zoals gezegd, op hoofdlijnen weer wat de inhoud van het onderwijs in bijvoorbeeld de Nederlandse taal moet zijn en dus wat scholen na zouden moeten streven. Ze beschrijven echter niet hoe (op welk wijze) en wanneer (op welke momenten en in welke achtereenvolgende stappen) deze doelen bereikt kunnen worden (Greven & Letschert, 2006). Handreikingen hiervoor zijn opgenomen in de beschrijvingen van de tussendoelen en leerlijnen van het Expertisecentrum Nederlands (EN) én de Stichting Leerplanontwikkeling (SLO). De tussendoelen en leerlijnen geven aan welke kennis, strategieën en houdingen kinderen zich eigen moeten maken. In de omschrijving van de tussendoelen wordt rekening gehouden met de verschillen die tussen kinderen bestaan. Kinderen kunnen namelijk verschillen in de mate waarin ze een tussendoel beheersen (het niveau) én in het tijdsbestek dat zij nodig hebben om een tussendoel te bereiken (het tempo). De tussendoelen zijn dan ook niet afhankelijk van het formele jaarklassensysteem. Het EN plaatst de tussendoelen wel in bijvoorbeeld de onderbouw of een specifieke jaargroep. Dit moet worden opgevat als een aanwijzing van de periode waarin de doelen het best kunnen worden nagestreefd (Verhoeven, et.al., 2007). Om te kunnen bepalen of, en in hoeverre, een kind de tussendoelen heeft bereikt, is het van belang om het onderwijsleerproces regelmatig te evalueren. Dagelijkse observaties en de resultaten op gestandaardiseerde toetsen zoals de toets Taal voor kleuters, laten zien wat een kind zich tot nu toe eigen heeft gemaakt en geven samen een goed beeld van de ontwikkeling van het kind. Dit geeft de leerkracht handreikingen voor het vervolg, met andere woorden een antwoord op de vraag: Hoe kan ik mijn onderwijs zo goed mogelijk laten aansluiten op het ontwikkelingsniveau van het kind? Wat kan ik het kind nu, in deze fase, het best aanbieden? 15

17 Dekking van de kern- en tussendoelen Voor wat betreft de ontwikkeling van de mondelinge taalvaardigheid en de ontwikkeling tot geletterdheid (schriftelijke taalvaardigheid) van kleuters dekken de toetsen Taal voor kleuters de kern- en tussendoelen. Daarbij moet opgemerkt worden dat niet alle tussendoelen met een toets als Taal voor kleuters getoetst kunnen worden. De toetsvorm die we voor de toetsen Taal voor kleuters hebben gekozen, brengt met zich mee dat alleen receptieve vaardigheden met deze toetsen geëvalueerd kunnen worden. Productieve vaardigheden (zoals productieve woordenschat en spreken) kunnen bijvoorbeeld wel door middel van observaties geëvalueerd worden. Daarnaast betreft een deel van de tussendoelen vaardigheden waarvan we in principe verwachten dat leerlingen die pas in groep 3 gaan beheersen. Tussendoelen die deze vaardigheden beschrijven, zijn niet van toepassing voor groep 1 en/of 2 en worden niet door de toetsen Taal voor kleuters gedekt. Ook worden sommige doelen meer impliciet dan expliciet getoetst. Hiermee bedoelen we dat de leerling het betreffende tussendoel moet beheersen om bepaalde opgaven uit de toetsen te kunnen maken, maar dat de betreffende tussendoelen niet in één-op-één relatie heel expliciet worden getoetst door de opgaven in de toets. De woordenschatontwikkeling en de ontwikkeling van de mondelinge taalvaardigheid (luisteren en spreken) vallen onder de tussendoelen mondelinge communicatie. De ontwikkeling van de schriftelijke taalvaardigheid (lezen en schrijven) valt onder de tussendoelen beginnende geletterdheid. We noemen hier alleen de tussendoelen die met de toetsen Taal voor kleuters geëvalueerd kunnen worden. Voor een totaaloverzicht van de tussendoelen verwijzen we naar bijlage 1 van de Inhoudsverantwoording uit het toetspakket Taal voor kleuters. Tussendoelen mondelinge communicatie De mondelinge taalvaardigheid en de woordenschatontwikkeling van kleuters kan met de toets Taal voor kleuters worden gemeten. Met de toets wordt een deel van de tussendoelen mondelinge communicatie expliciet dan wel impliciet getoetst 3. Het betreft de tussendoelen genoemd onder de kopjes: 4 Woordenschat, 5 Begrijpend luisteren, 6 Vertellen en presenteren 8 Reflectie op taal Een paar voorbeelden ter verduidelijking: tussendoel 4.1 Kinderen beschikken over een basiswoordenschat. wordt bijvoorbeeld expliciet getoetst binnen het onderdeel Passieve woordenschat en tussendoel 5.5 Ze kunnen voorspellingen doen en deze al luisterend bijstellen. impliciet binnen het onderdeel Kritisch luisteren. Tussendoelen beginnende geletterdheid De ontwikkeling van de beginnende geletterdheid van kleuters kan ook met de toets Taal voor kleuters worden gemeten. Met de toets wordt een deel van de tussendoelen beginnende geletterdheid expliciet dan wel impliciet getoetst. Het betreft de tussendoelen genoemd onder de kopjes: 1 Boekoriëntatie, 2 Verhaalbegrip, 3 Functies van geschreven taal, 4 Relatie tussen gesproken en geschreven taal 5 Taalbewustzijn Voor de groepen 1 en 2 zijn de tussendoelen onder de kopjes 1 tot en met 5 van toepassing. Uiteraard zijn er kleuters die al een beetje of soms zelfs al heel goed kunnen lezen, maar in principe verwachten we dat leerlingen pas in groep 3 de tussendoelen genoemd onder de kopjes 6 tot en met 10 gaan beheersen. 3 De tussendoelen onder de kopjes 5. Begrijpend luisteren en 8. Reflectie op taal vertonen overlap met de tussendoelen beginnende geletterdheid. 16

18 Relatie tussen Taal voor kleuters en Screeningsinstrument Beginnende geletterdheid Eerder hebben we al verwezen naar het Screeningsinstrument Beginnende geletterdheid dat het Expertisecentrum Nederlands en Cito in het kader van het Masterplan Dyslexie hebben ontwikkeld. Zoals gezegd, is het advies aan leerkrachten in groep 2 zowel de toets Taal voor Kleuters als het Screeningsinstrument Beginnende geletterdheid af te nemen, omdat de twee toetsen verschillende aspecten van de taalvaardigheid meten (zie ook paragraaf 2.1). Het Screeningsinstrument Beginnende geletterdheid bevat toetsen voor het meten van fonologisch bewustzijn en letterkennis in de groepen 2 en 3. Dit zijn de vaardigheden die het best in staat zijn latere leesvaardigheden te voorspellen (Vloedgraven, 2008). Op basis van de toetsresultaten uit dit Screeningsinstrument wordt duidelijk welke leerlingen al vroegtijdig extra aandacht nodig hebben. In het Screeningsinstrument Beginnende geletterdheid wordt een deel van de tussendoelen beginnende geletterdheid getoetst. Het betreft de tussendoelen genoemd onder de kopjes: 5 Taalbewustzijn, 6 Alfabetisch principe en 8 Technisch lezen en schrijven, een start. De toetsen Taal voor kleuters en het Screeningsinstrument Beginnende geletterdheid vertonen inhoudelijk overlap op een aantal onderdelen, namelijk klank, rijm en synthese. Binnen welke categorieën deze onderdelen in de twee toetsen terugkomen, staat beschreven in de volgende tabel. Tabel 2.1 Overlap tussen Taal voor kleuters en Screeningsinstrument Beginnende geletterdheid Categorie in Taal voor kleuters Screeningsinstrument Beginnende geletterdheid Klank Klank & rijm Identificatie beginfoneem Rijm Klank & rijm Rijm Synthese Auditieve synthese Synthese Deze overlap komt voort uit het feit dat de betreffende onderdelen van belang zijn bij het bereiken van de doelstellingen van beide toetsen. Fonologisch bewustzijn (taalbewustzijn) maakt immers onderdeel uit van de algemene taalvaardigheid (gemeten met Taal voor kleuters) en is tevens een van de belangrijke voorspellers van leesproblemen (gemeten met het Screeningsinstrument Beginnende geletterdheid). Door beide toetsen in groep 2 af te nemen krijgt de leerkracht een compleet beeld van de leerling: hoe staat het met de algemene taalvaardigheid van de leerling én loopt de leerling risico op leesproblemen? Het taalonderwijs/taalaanbod in de groepen 1 en 2 In het onderwijs aan de groepen 1 en 2 van de basisschool wordt veel aandacht besteed aan taal. Veelgebruikte VVE-programma s (zoals bijvoorbeeld Piramide en KO-totaal) en (taal)methoden voor de groepen 1 en 2 (zoals Schatkist en Kleuterplein) hebben de tussendoelen Mondelinge communicatie en de tussendoelen Beginnende geletterdheid in hun aanbod verwerkt. Deze VVE-programma s en (taal)methoden verwijzen in hun publicaties en/of op hun website naar de tussendoelen en geven daarbij aan dat hun programma/methode de tussendoelen dekt. Scholen en leerkrachten krijgen de garantie dat alle tussendoelen aan bod komen als men met het betreffende programma of de betreffende methode werkt Inhoud toetsen LOVS Taal voor kleuters In de toetsen Taal voor kleuters zijn aspecten van de taalontwikkeling (conceptueel bewustzijn) en de beginnende geletterdheid (taalbewustzijn ofwel metalinguïstisch bewustzijn) opgenomen. Conceptueel bewustzijn Passieve woordenschat Kritisch luisteren 17

19 Taalbewustzijn (ofwel metalinguïstisch bewustzijn / fonologisch bewustzijn) Klank en rijm Eerste en laatste woord horen Auditieve synthese Schriftoriëntatie Voor groep 1 ligt het accent op conceptuele taken; bij groep 2 gaat het naast de conceptuele opdrachten ook om opdrachten over taalbewustzijn. In deze paragraaf hebben we de inhoud van Taal voor kleuters op conceptueel niveau beschreven. In paragraaf wordt de inhoud van de toetsen op operationeel niveau verder uitgewerkt Psychometrisch Opgavenbanken primair onderwijs Voor het samenstellen van toetsen voor het primair onderwijs beschikt Cito over opgavenbanken. Die liggen ten grondslag aan onder meer de toetsen in het Leerling- en onderwijsvolgsysteem (LOVStoetsen, de Entreetoetsen, Eindtoets basisonderwijs). Voor de constructie van de LOVS-toetsen Taal voor kleuters hebben we gebruikgemaakt van de opgavenbank Taal voor kleuters. Ook voor andere vakgebieden in het LOVS als bijvoorbeeld Rekenen voor kleuters zijn opgavenbanken in gebruik. Een opgavenbank is nadrukkelijk niet zomaar een verzameling opgaven of items waaruit een toetsconstructeur min of meer naar willekeur een aantal items selecteert om een nieuwe toets te construeren. We geven hier kort aan wat de vereisten zijn om van een deugdelijke en psychometrisch goed gefundeerde opgavenbank te kunnen spreken. Unidimensionaal continuüm Het algemene uitgangspunt is dat de vaardigheid taal kan worden opgevat als een unidimensionaal continuüm (de reële lijn), en dat elke leerling voorgesteld kan worden als een punt op die lijn, met andere woorden: als een getal. Het getal drukt de mate van taalvaardigheid uit, waarbij een groter getal wijst op een grotere taalvaardigheid. Het doel van de meetprocedure het afnemen van een toets is de plaats van de leerling op dit continuüm zo nauwkeurig mogelijk te bepalen. De uitkomst van de meetprocedure bestaat strikt genomen uit twee grootheden. De eerste is de schatting van de plaats van de leerling op het vaardigheidscontinuüm. De tweede grootheid geeft aan hoe nauwkeurig die schatting is, en heeft dus de status van een standaardfout, te vergelijken met de standaardmeetfout uit de klassieke testtheorie. Latente vaardigheid De antwoorden die een leerling op de opgaven geeft, worden beschouwd als indicatoren van de vaardigheid, hetgeen ruwweg betekent dat men verwacht dat alle items in de bank taalvaardigheid meten. De vaardigheid zelf wordt als niet-observeerbaar beschouwd, en daarom gewoonlijk omschreven als een latente vaardigheid. Moeilijkheid in de Item Respons Theorie Hoewel items dezelfde vaardigheid meten, kunnen ze toch systematisch van elkaar verschillen. Het belangrijkste verschil tussen de items is hun moeilijkheidsgraad. In de klassieke testtheorie wordt moeilijkheidsgraad uitgedrukt met een zogenaamde p-waarde, de proportie correcte antwoorden op het item in een welbepaalde populatie van leerlingen. In de Item Respons Theorie (IRT) die voor het construeren van de opgavenbanken werd gebruikt, hanteert men echter een andere definitie van moeilijkheid: ruwweg gesproken is het de mate van vaardigheid die nodig is om het item goed te kunnen beantwoorden. Dit verschil in definitie van de moeilijkheidsgraad tussen klassieke theorie en IRT is uitermate belangrijk: men kan verwachten dat de p-waarde van een item in groep 2 groter zal zijn dan in groep 1, waardoor duidelijk wordt dat de p-waarde een relatief begrip is: ze geeft de moeilijkheid aan van een item in een bepaalde populatie. Binnen de IRT is de moeilijkheid van een item gedefinieerd in termen van de onderliggende vaardigheid, zonder enige referentie naar een bepaalde populatie van leerlingen. 18

20 Zo kan men ook de uitspraak begrijpen dat in de IRT vaardigheid en moeilijkheid op eenzelfde schaal liggen. Kansmodel De ruwe omschrijving van de moeilijkheidsgraad die in de vorige alinea werd gehanteerd (de mate van vaardigheid die nodig is om het item goed te kunnen beantwoorden) behoeft enige verdere uitwerking. Men zou deze omschrijving kunnen opvatten als een drempel: heeft een leerling die mate van vaardigheid niet, dan kan hij het item niet juist beantwoorden; heeft hij die drempel wel gehaald, dan geeft hij (gegarandeerd) het juiste antwoord. Deze interpretatie weerspiegelt een deterministische kijk op het antwoordgedrag van de leerling, die echter in de praktijk geen stand houdt, omdat eruit volgt dat een leerling die een moeilijk item correct beantwoordt geen fout kan maken op een gemakkelijk item. Daarom wordt in de IRT een kansmodel gebruikt: hoe groter de vaardigheid, des te groter de kans dat een item juist wordt beantwoord. De moeilijkheidsgraad van een item wordt dan gedefinieerd als de mate van vaardigheid die nodig is om met een kans van precies een half een juist antwoord te kunnen produceren. Kalibratie In het voorgaande zijn nogal wat veronderstellingen ingevoerd (unidimensionaliteit; alle items zijn indicatoren voor dezelfde vaardigheid; kansmodel) die niet zonder meer voor waar kunnen worden aangenomen; we zullen methoden moeten bedenken om aan te tonen dat al die veronderstellingen deugdelijk zijn. Dit aantonen gebeurt met statistische gereedschappen waarop we in het vervolg dieper zullen ingaan. Maar voor we de items in een toets kunnen gebruiken, moeten we ook proberen de waarden van de moeilijkheidsgraden te achterhalen. Dit gebeurt met een statistische schattingsmethode die wordt toegepast op de itemantwoorden die bij een steekproef van leerlingen zijn verzameld. Het hele proces van moeilijkheidsgraden schatten en verifiëren of de modelveronderstellingen houdbaar zijn, wordt kalibratie of ijking genoemd; de steekproef van leerlingen die hiervoor wordt gebruikt noemen we kalibratiesteekproef. Afnamedesigns Een opgavenbank bevat meer items dan een doorsnee toets. Meestal is het praktisch niet doenbaar om alle items aan alle leerlingen voor te leggen. Elke leerling in de kalibratiesteekproef krijgt derhalve slechts een (klein) gedeelte van de items uit de opgavenbank voorgelegd. Dit gedeeltelijk voorleggen moet met de nodige omzichtigheid gebeuren. In hoofdstuk 4 wordt ingegaan op het afnamedesign dat voor de kalibratie van de taalopgaven is gebruikt. Belangrijke implicaties gekalibreerde opgavenverzameling Als we erin slagen de kalibratie met succes uit te voeren, houden we een zogenaamde gekalibreerde itembank over. In dat proces worden de items die niet passen bij de verzameling uit de collectie verwijderd. De opgavenbank bevat voor elk item niet alleen zijn feitelijke inhoud, maar ook zijn psychometrische eigenschappen, en de statistische zekerheid dat alle items dezelfde vaardigheid aanspreken. Dit houdt onder meer het volgende in: 1 In principe kunnen we met een willekeurige selectie items uit de bank de vaardigheid meten bij een willekeurige leerling. In principe, want een willekeurige toets die uit de itembank wordt getrokken zal in de praktijk meestal niet voldoen omdat het meetresultaat (de schatting van de vaardigheid) onvoldoende nauwkeurig zal zijn. Willen we een nauwkeuriger meting (bij een gegeven aantal items in de toets) dan zullen we de moeilijkheidsgraden van de items in overeenstemming moeten brengen met het vaardigheidsniveau van de leerlingen. 2 We kunnen een schatting maken van de verdeling van de vaardigheid in een welomschreven populatie, door selecties van items voor te leggen aan aselecte steekproeven van leerlingen uit populaties die van belang zijn voor de normering. In het geval van het LOVS Taal voor kleuters zijn dat steekproeven van leerlingen op de verschillende normeringsmomenten vanaf medio groep 1 tot eind groep 2. Daarbij maakt het, behoudens wat bij 1 is vermeld over nauwkeurigheid, niet uit welke selectie van items aan een leerling binnen een normeringsgroep wordt afgenomen. Een van de eigenschappen van gekalibreerde itembanken is immers dat met elke selectie items de vaardigheid van leerlingen kan worden bepaald. In de praktijk komt dit meestal neer op het schatten van gemiddelde en 19