LISO-PROJECT: TOETSEN NEDERLANDS BEGRIJPEND LEZEN EINDE VIERDE LEERJAAR

Transcriptie

1 LISO-PROJECT: TOETSEN NEDERLANDS BEGRIJPEND LEZEN EINDE VIERDE LEERJAAR Instrumentontwikkeling en resultaten N. Van den Branden, K. Denies, J. Dockx, & B. De Fraine

2 LISO-PROJECT: TOETSEN NEDERLANDS BEGRIJPEND LEZEN EINDE VIERDE LEERJAAR Instrumentontwikkeling en resultaten N. Van den Branden, K. Denies, J. Dockx, & B. De Fraine Promotor: B. De Fraine Co-promotoren: K. Verschueren, K. Petry, B. Spruyt, M. Van Houtte, I. Glorieux, & K. Van den Branden Research paper SONO/2018.OL1.1_5 Leuven, april 2018

3 Het Steunpunt Onderwijsonderzoek is een samenwerkingsverband van UGent, KU Leuven, VUB, UA en ArteveldeHogeschool. Gelieve naar deze publicatie te verwijzen als volgt: Van den Branden, N., Denies, K., Dockx, J., & De Fraine, B. (2018). LiSO-project: Toetsen Nederlands begrijpend lezen einde vierde leerjaar. Instrumentontwikkeling en resultaten. Steunpunt Onderwijsonderzoek, Gent. Voor meer informatie over deze publicatie Deze publicatie kwam tot stand met de steun van de Vlaamse Gemeenschap, Ministerie voor Onderwijs en Vorming. In deze publicatie wordt de mening van de auteur weergegeven en niet die van de Vlaamse overheid. De Vlaamse overheid is niet aansprakelijk voor het gebruik dat kan worden gemaakt van de opgenomen gegevens STEUNPUNT ONDERWIJSONDERZOEK p.a. Coördinatie Steunpunt Onderwijsonderzoek UGent Vakgroep Onderwijskunde Henri Dunantlaan 2, BE 9000 Gent Deze publicatie is ook beschikbaar via en

4 Voorwoord Dit technisch rapport kadert binnen het Steunpunt voor Onderwijsonderzoek (SONO). Dit steunpunt omvat verschillende onderzoeksdomeinen, waarvan één betrekking heeft op de schoolloopbanen van leerlingen (themalijn 1: de lerende). Het onderzoek Loopbanen in het Secundair Onderwijs, kortweg het LiSO-project, maakt deel uit van deze themalijn 1. Het brengt de wijze waarop leerlingen het secundair onderwijs doorlopen in kaart en identificeert verklarende factoren. Dit rapport beschrijft de instrumentontwikkeling en de resultaten van de toetsen Nederlands begrijpend lezen die afgenomen werden op het einde van het vierde leerjaar. Deze toetsen werden in functie van het LiSO-project ingezet in de maanden mei en juni van het schooljaar Het LiSO-team bestaat uit Catharina Custers, Jonas Dockx, Ilka Fidlers, Naomi Van den Branden, dr. Charlotte Struyve, en dr. Katrijn Denies (coördinator). Het team dankt het coördinatieteam en de promotoren van het LiSO-project voor hun medewerking en feedback tijdens de selectie van deze toetsen. Tevens zijn we alle scholen die deelnemen aan het LiSO-project erg dankbaar. We denken hierbij specifiek aan alle leerkrachten die deze toetsen afnamen, alle leerlingen die deze toetsen invulden, en de medewerkers van de scholen die bijdroegen tot een vlot verloop van de toetsafname. 1

5 Inhoud Inleiding 3 Hoofdstuk 1 Ontwikkeling en beschrijving Selectiecriteria Ontwikkeling en selectie van de toetsen Ontwikkeling van de basis binnen het Centrum voor Schoolfeedback Ontwikkeling van de eigenlijke LiSO-toetsen Terugkoppeling naar de selectiecriteria Beschrijving van de toetsen 10 Hoofdstuk 2 Afnameprocedure en verwerking Afnameprocedure Afnameprocedure op schoolniveau Afnameprocedure in de klas Verwerking Relatie databank en fases van verwerking Fase 1: Invoer Fase 2: Scoring Fase 3: Berekening vaardigheidsscores 16 Hoofdstuk 3 Responsgegevens en resultaten Responsgegevens Afnamedata Validiteit Betrouwbaarheid Verdelingskenmerken IRT: Moeilijkheidsgraad en discriminatiegraad 34 BIJLAGEN 38 2

6 Inleiding Dit technisch rapport kadert binnen het LiSO-project (Loopbanen in het Secundair Onderwijs) van het Steunpunt voor Onderwijsonderzoek ( ). Dit onderzoek wil de wijze waarop leerlingen het secundair onderwijs doorlopen in kaart brengen en verklaren. Hierbij is het uitgangspunt dat niet alleen factoren op het niveau van de individuele leerling (leerlingkenmerken) en zijn of haar thuisomgeving van belang zijn, maar ook factoren op school-, klas- en leerkrachtniveau. Het LiSOproject wil hierover een bron van informatie zijn voor scholen en beleidsmakers. Het tracht daarbij specifiek inzicht te bieden in school-, klas- en leerkrachtkenmerken die effectief zijn voor prestaties (van onder meer Nederlands, wiskunde en Frans) en voor non-cognitieve uitkomsten van leerlingen (zoals schoolwelbevinden, betrokkenheid en interesse). De focus ligt vooral op factoren die door de school of het beleid kunnen worden beïnvloed om zo de individuele leerprestaties te maximaliseren en te komen tot meer gelijke onderwijskansen voor iedere leerling. Het LiSO-project wil op deze manier bijdragen tot beslissingen die de onderwijseffectiviteit in Vlaanderen zullen doen toenemen. Om deze doelstelling te bereiken wordt vanaf de start van het schooljaar een cohorte van ongeveer leerlingen gevolgd doorheen hun gehele secundaire schoolloopbaan. Deze leerlingen bevonden zich in september 2013 in het eerste leerjaar van de eerste graad van het secundair onderwijs. Tegen het einde van het schooljaar bestond de beoogde groep deelnemers in het vierde leerjaar SO uit meer dan leerlingen. Het huidige rapport betreft de ontwikkeling en het functioneren van de toets Nederlands begrijpend lezen die op het einde van het vierde leerjaar SO werd ingezet. Deze toets is slechts één van de instrumenten die worden afgenomen binnen het LiSO-project, dat tot nu toe vijf meetmomenten omvatte. De eerste meting vond plaats aan het begin van het eerste leerjaar SO (september 2013). Er werden leerlingvragenlijsten, toetsen wiskunde, toetsen Nederlands begrijpend lezen en toetsen Frans afgenomen als startmeting voor de schoolse prestaties van leerlingen. Ook kregen de ouders van de leerlingen een vragenlijst. 1 De tweede meting vond plaats op het einde van het eerste leerjaar SO (mei 2014) en omvatte een meting voor wiskunde, een leerlingvragenlijst en vragenlijsten voor de klastitularissen en vakleerkrachten wiskunde en Nederlands. De derde meting vond plaats op het einde van het tweede leerjaar SO (mei 2015). Ze omvatte precies dezelfde instrumenten als het tweede meetmoment, met aanvullend een vragenlijst voor de directie. De vierde meting, met dezelfde instrumenten als meetmoment twee plus een toets Nederlands begrijpend lezen, vond plaats op het einde van het derde leerjaar SO (mei 2016). De vijfde meting, op het einde van het vierde leerjaar SO (mei 2017), omvatte tot slot dezelfde instrumenten als de vierde meting. De toetsen Nederlands begrijpend lezen kunnen niet los gezien worden van de hier genoemde instrumenten. 1 De vragenlijst voor de ouders werd nadien enkel ingezet bij ouders van nieuwe leerlingen. In mei 2017 werd een extra inspanning gedaan om toch ook de medewerking te verkrijgen van ouders van gekende LiSO-leerlingen waarvoor nog geen oudervragenlijst terug werd ingediend. 3

7 Het vijfde meetmoment omvatte drie verschillende toetsversies voor Nederlands begrijpend lezen: een toets voor leerlingen in het vierde leerjaar ASO, een toets voor leerlingen in het vierde leerjaar TSO/KSO en een toets voor leerlingen in het vierde leerjaar BSO. De afname vond plaats van eind april tot begin juni van het schooljaar , wanneer de normaal gevorderde cohorte in het vierde leerjaar SO zat. Dit rapport is als volgt opgebouwd: Hoofdstuk 1 rapporteert over de ontwikkeling en inhoud van de toetsen. Vervolgens wordt in hoofdstuk 2 de afnameprocedure en verwerking besproken. Hoofdstuk 3 overloopt tot slot de responsgegevens en resultaten. Bijlage 1 toont de handleiding voor de toetsleider. Deze handleiding bevat alle nodige informatie voor de toetsleider om niet aleen de toetsen Nederlands begrijpend lezen maar ook de toetsen wiskunde en de leerlingvragenlijst correct af te nemen bij de leerlingen. Bijlage 2 geeft een geanonimiseerd voorbeeld van een aanwezigheidsblad weer. Op dit blad gaf de toetsleider aan of de leerling deelnam aan de toets en, indien niet, om welke reden. Met dit nieuwe initiatief tracht het LiSO-project meer zicht te krijgen op redenen voor non-respons. In bijlage 3 wordt als voorbeeld het antwoordblad van de toets Nederlands begrijpend lezen voor het vierde leerjaar TSO/KSO weergegeven. De leerlingen dienden hun antwoorden op de opgaven hier te noteren. 4

8 Hoofdstuk 1 Ontwikkeling en beschrijving Het afnemen van de toetsen Nederlands begrijpend lezen van april tot juni van het schooljaar past binnen de doelstellingen van het LiSO-project. Dit project wil immers inzicht bieden in de wijze waarop leerlingen het secundair onderwijs doorlopen. Schoolse prestaties zijn daarbij een belangrijk kenmerk van de schoolloopbanen. Aangezien het LiSO-project een longitudinale studie maakt van de volledige schoolloopbanen van leerlingen in het secundair onderwijs is het noodzakelijk om op regelmatige tijdsstippen tussentijdse metingen van deze schoolse prestaties uit te voeren. Dit is mogelijk door telkens nieuwe (gekalibreerde) toetsen Nederlands af te nemen bij dezelfde groep leerlingen. Op basis van deze resultaten zal de leerwinst voor Nederlands doorheen het secundair onderwijs beschreven kunnen worden. De toetsen Nederlands die aan het einde van het vierde leerjaar werden afgenomen bestaan uit drie versies: één versie voor de leerlingen in het vierde leerjaar ASO, één versie voor de leerlingen in het vierde leerjaar TSO/KSO en één versie voor de leerlingen in het vierde leerjaar BSO. Elke versie werd gebaseerd op de toetsen Nederlands begrijpend lezen van het Centrum voor Schoolfeedback en bijgesteld voor gebruik in het kader van het LiSO-project. De volgende paragrafen van dit hoofdstuk beschrijven de selectiecriteria die gehanteerd werden bij het kiezen van een geschikte toets. Vervolgens beschrijven ze de ontwikkeling van de toetsen, en tot slot volgt een inhoudelijk beschrijving van de toetsen. 1.1 Selectiecriteria De selectie van geschikte toetsen Nederlands voor het LiSO-project verliep aan de hand van verschillende criteria. Deze criteria dienen samen vervuld te zijn om de evolutie van de prestaties voor Nederlands begrijpend lezen te kunnen beschrijven op lange termijn, voor elke leerling, en op een betrouwbare manier. Het eerste criterium was dat de toetsen de mogelijkheid moesten bieden voor herhaalde metingen in een longitudinale studie. Er moesten met andere woorden meerdere toetsen beschikbaar zijn die over de schoolloopbaan heen afgenomen kunnen worden. Het tweede criterium was vergelijkbaarheid. Dit houdt in dat de scores van deze herhaalde metingen vergelijkbaar moeten zijn met elkaar. Het derde criterium was dat de leesvaardigheid van de leerlingen op een valide manier gemeten wordt door de toetsen. Het vierde criterium betrof een voldoende spreiding qua moeilijkheidsgraad. De toetsen moesten met andere woorden in staat zijn om de prestaties van een divers leerlingenpubliek te meten. Nauw samenhangend daarmee moesten de toetsen ook een betrouwbare meting zijn van de prestaties voor begrijpend lezen. Dit was het vijfde criterium. 5

9 1.2 Ontwikkeling en selectie van de toetsen Ontwikkeling van de basis binnen het Centrum voor Schoolfeedback Het Centrum voor Schoolfeedback heeft als doel individuele scholen te voorzien van feedback over de schoolse prestaties van hun leerlingen. Daarbij staat de toegevoegde waarde die scholen realiseren centraal. In functie van dit doel werden toetsen voor de vakken Nederlands en wiskunde ontwikkeld. Voor elk vak werden er verschillende toetsen samengesteld, elk gericht naar verschillende leerjaren en stromen of onderwijsvormen. De teksten en items (dit zijn de concrete opgaven) van de toetsen Nederlands begrijpend lezen die oorspronkelijk bedoeld waren voor de eerste en de tweede graad werden respectievelijk geselecteerd en ontwikkeld door een team van de UA onder leiding van Rita Rymenans. Dit project werd mede uitgevoerd door de projectmedewerkers Stef De Wachter, Jurgen Moons, Tom Venstermans en Katrien Verelst. Deze groep vormde een multidisciplinair team van taalkundigen, methodologen, leraren Nederlands en lerarenopleiders. Voor de derde graad ging een multidisciplinair team aan de KU Leuven aan de slag onder leiding van leerkracht en lerarenopleider Bernadette Rutgeerts. Bij de ontwikkeling van de items werden als uitgangspunt de eindtermen en ontwikkelingsdoelen voor leesvaardigheid Nederlands genomen. Op basis van deze gegevens werd vervolgens een toetsmatrijs opgesteld. Deze toetsmatrijs beschreef welke inhouden aan bod dienden te komen in een toets Nederlands om een valide meting te zijn van de prestaties voor Nederlands begrijpend lezen. Vervolgens werden verschillende teksten verzameld en bijhorende items opgesteld per inhoud van de toetsmatrijs. Er werden in de eerste instantie meer items ontwikkeld dan nodig opdat de beste items later uitgekozen konden worden voor de definitieve toetsen. De moeilijkheidsgraden van de teksten en items werden initieel ingeschat op basis van twee criteria die ook in de eindtermen en ontwikkelingsdoelen van het basisonderwijs gebruikt worden: het publiek waarvoor de tekst bedoeld was en het verwerkingsniveau dat het item van de leerling vergt. De volgende niveaus van publiek worden onderscheiden, waarbij verondersteld wordt dat de tekst moeilijker is naarmate het doelpubliek verder af staat van de leerling zelf: - De leerling zelf - Bekende leeftijdsgenoten - Onbekende leeftijdsgenoten - Bekende volwassenen - Onbekend publiek Er werden ook drie verwerkingsniveaus onderscheiden: - Het beschrijvende niveau waarbij leerlingen informatie uit de tekst halen. - Het structurerende niveau waarbij leerlingen informatie uit de tekst op een persoonlijke en overzichtelijke wijze ordenen. 6

10 - Het beoordelende niveau waarbij leerlingen op basis van een persoonlijke ordening van de informatie een eigen mening dienen te geven of informatie uit verschillende bronnen op een beoordelende wijze dienen te vergelijken. Het onderscheid dat in de eindtermen en ontwikkelingsdoelen gemaakt werd bleek echter geen voldoende sterk kader voor het selecteren van teksten. Daarom werd ook het volgende onderscheid gemaakt tussen de moeilijkheidsniveaus van teksten: - eenvoudige complexe formulering - eenvoudige complexe structurering - korte uitgebreide teksten - veel geen visuele ondersteuning - veel geen vertrouwdheid met de inhoud - concreet abstract Het onderscheid dat in de eindtermen en ontwikkelingsdoelen gemaakt werd bleek ook geen voldoende sterk kader voor het ontwikkelen van vragen over de teksten. Daarom werden volgende inhoudsdimensies van vragen gehanteerd: - Vragen over de betekenis van tekstelementen: Hierin wordt nog een onderscheid gemaakt tussen vragen over de betekenis van een woord, woordgroep of zin enerzijds en de betekenis van een alinea of de volledige tekst anderzijds. - Vragen over de relaties tussen tekstelementen: Hierin wordt nog een onderscheid gemaakt tussen vragen over de relaties tussen woorden, woordgroepen of zinnen enerzijds en de relaties tussen alinea s of volledige teksten anderzijds. - Vragen over de schrijver: Vragen in deze categorie peilen naar de bedoeling van de schrijver of zijn referentiekader. - Vragen over de vorm: Vragen kunnen betrekking hebben op de betekenis van formele aspecten van de tekst (vb. lay-out, relatie verbale en non-verbale elementen en vormvereisten van een specifiek teksttype). Ook werd ervoor gezorgd dat verschillende types teksten verzameld werden waaronder informatieve teksten, instructies, schema s en fictionele teksten. Het Centrum voor Schoolfeedback organiseerde proefafnames van de items en teksten bij in totaal ruim leerlingen. Op basis van deze data werden vervolgens per item de IRT-parameters geschat (de moeilijkheidsgraad 2 en discriminatiegraad 3 volgens analyses die de Item Response Theory volgen) en vervolgens de beste items geselecteerd. Op basis hiervan werden dan de definitieve toetsen voor elk leerjaar en elke stroom of onderwijsvorm in de eerste en tweede graad voorgesteld met een voldoende spreiding van items 2 De moeilijkheidsgraad van een item is een parameter die aangeeft hoe moeilijk een item is. De moeilijkheidsgraad wordt gebruikt om de kans te bepalen dat leerlingen met een bepaald niveau van vaardigheid het item juist oplossen. 3 De discriminatiegraad van een item is een parameter die aangeeft hoe sterk een item onderscheid maakt tussen leerlingen met een verschillend vaardigheidsniveau. 7

11 in moeilijkheidsgraad en met een voldoende hoge discriminatiegraad. Op deze manier meten de toeten het verschil in vaardigheden tussen leerlingen van verschillende cognitieve niveaus op de meest betrouwbare manier. Deze definitieve toetsen werden vervolgens getest in een semilongitudinaal onderzoek waarin twee cohortes van nog eens elk ruim leerlingen gevolgd werden. Zij werden gevolgd van begin tot einde van de eerste graad en van begin tot einde van de tweede graad. Hieruit bleek dat de toetsen betrouwbaar en valide waren. Voor de derde graad werden vóór de stopzetting van het Centrum voor Schoolfeedback geen finale toetsen begrijpend lezen voorgesteld. Voor deze graad stopte het proces dus na de grootschalige proefafnames en de IRT-analyses. Het LiSO-team kon echter wel beschikken over de resultaten van deze IRT-analyses om zo zelf een passende toets samen te stellen Ontwikkeling van de eigenlijke LiSO-toetsen Hoewel de toetsen van het Centrum voor Schoolfeedback een zeer degelijke basis vormden voor de LiSO-toetsen begrijpend lezen in het vierde leerjaar, konden ze niet rechtstreeks ingezet worden. Het LiSO-team ontwikkelde daarom eigen toetsen begrijpend lezen, op basis van het materiaal van het Centrum voor Schoolfeedback. Hierbij werd uiteraard alle nodige aandacht besteed aan het behoud van de balans tussen tekstsoorten en vraagsoorten zoals die in de voorgaande paragrafen beschreven wordt. Een eerste kwestie die aangepakt moest worden, was de nood aan een goede vergelijkbaarheid van de toetsen met die voor de eerste graad. Waar het Centrum voor Schoolfeedback voor begrijpend lezen vooral inzette op het meten van groei binnen één graad, moet het LiSO-project immers de groei van het eerste tot het laatste jaar secundair onderwijs in kaart kunnen brengen. Dit kan enkel als de toetsen onderling voldoende overlap vertonen. Zo krijgen we uiteindelijk een goed zicht op hoe de moeilijkheidsgraad van de items voor het eerste leerjaar zich verhoudt tot die van de items voor het laatste leerjaar en alle items ertussen. Dat maakt dat de vaardigheidsscores van de leerlingen ook vergelijkbaar zijn over de jaren heen. Om deze overlap te bekomen, bevatten de LiSO-toetsen begrijpend lezen voor het vierde leerjaar ook enkele teksten en items die oorspronkelijk voor het eerste leerjaar bedoeld waren. Uiteraard werden enkel teksten en items gekozen die qua onderwerp en moeilijkheidsgraad ook geschikt waren voor vierdejaarsleerlingen. Deze toevoeging van eerder eenvoudige teksten bracht echter een tweede criterium in gevaar, namelijk dat de moeilijkheidsgraad van de toetsen gepast moet zijn voor het doelpubliek en dat er dus geen bodem- of plafondeffecten mogen optreden. Op de toetsen begrijpend lezen die het LiSO-project rechtstreeks overnam van het Centrum voor Schoolfeedback voor gebruik in het derde leerjaar ASO en TSO/KSO, haalden veel leerlingen hoge scores. Er was nog geen sprake van een duidelijk plafondeffect, maar er was toch al voldoende grond voor het voornemen om de toetsen voor het vierde leerjaar wat moeilijker te maken. Aangezien er al enkele teksten die oorspronkelijk voor het eerste leerjaar bedoeld waren toegevoegd werden aan de LiSO-toetsen voor het vierde leerjaar, werden in deze LiSO-toetsen daarom ook enkele teksten toegevoegd die eigenlijk ontwikkeld waren voor het vijfde leerjaar en die daar eerder moeilijk bleken te zijn. Dit resulteerde in een beter uitgebalanceerde toets die het dreigende plafondeffect wellicht beter zou vermijden. We moeten hierbij echter wel de kanttekening maken dat we verwachten dat de proportie erg hoge scores steeds 8

12 hoger zal worden naarmate we het einde van het LiSO-project naderen. Waar een vak zoals wiskunde steeds nieuwe leerstof introduceert en dus de mogelijkheid biedt om zeer uitdagende items op te nemen in de toetsen, veronderstellen we dat het voor begrijpend lezen zeker mogelijk is dat veel leerlingen op een bepaald moment zo goed als perfect leesvaardig zullen worden. Het kan uiteraard niet de bedoeling zijn dat we hierop inspelen door veel heuse strikvragen op te nemen of door items te introduceren die duidelijk vatbaar zijn voor discussie. In die zin zullen plafondeffecten steeds moeilijker te vermijden worden. Door de toevoeging van nieuwe teksten werd meteen ook een derde probleem aangepakt. Waar veel vakgebieden niet al te tijdgevoelig zijn, kunnen leestoetsen immers erg snel verouderd raken. De oorspronkelijke toetsen van het Centrum voor Schoolfeedback bevatten enkele teksten die niet voldoende up to date meer leken te zijn, bijvoorbeeld door bepaalde technologieën voor te stellen als nieuw terwijl ze inmiddels alweer verouderd zijn, door te verwijzen naar het medium Teletekst dat inmiddels stopgezet werd, etc.. Deze teksten konden zonder problemen geschrapt worden gezien de toevoeging van geschikte teksten die oorspronkelijk voor andere leerjaren bedoeld waren Terugkoppeling naar de selectiecriteria De resulterende LiSO-toetsen voor begrijpend lezen in het vierde leerjaar voldoen aan alle vooropgestelde criteria. Aan het eerste criterium - dat de toetsen de mogelijkheid moeten bieden voor herhaalde metingen in een longitudinale studie - voldoen de toetsen. Naast het materiaal dat nu gebruikt werd voor de LiSO-toetsen begrijpend lezen in het vierde leerjaar secundair onderwijs, biedt het Centrum voor Schoolfeedback ook materiaal dat in de voorgaande en daaropvolgende leerjaren afgenomen kan worden. Ook aan het tweede criterium - dat de scores vergelijkbaar zijn over verschillende toetsen (en dus leerjaren) heen - voldoen de toetsen. Vergelijkbaarheid betekent, in het kader van het LiSO-project, dat de scores voor begrijpend lezen bij de startmeting vergeleken kunnen worden met de scores voor begrijpend lezen in de volgende metingen. Dit criterium hangt nauw samen met het eerste criterium: de prestaties van de leerlingen dienen immers herhaaldelijk gemeten te worden om ze op lange termijn te kunnen beschrijven. Om aan de voorwaarde van vergelijkbaarheid te voldoen, hadden de verschillende toetsen van het Centrum voor Schoolfeedback in de kalibratiefase steeds enkele items gemeenschappelijk. Deze gemeenschappelijke items gaven de mogelijkheid om tijdens de IRT-analyses de moeilijkheidsgraad van alle items vast te leggen, over alle toetsen heen. Om deze verankering nog te versterken werd voor de huidige LiSO-toetsen een bijkomende inhoudelijke overlap gecreëerd tussen het eerste en het vierde leerjaar. Bovendien zal de meting op het einde van het zesde leerjaar overlap vertonen met het derde én vierde leerjaar. Daardoor stellen de resulterende LiSO-toetsen voor begrijpend lezen ons in staat om de evolutie in de vaardigheid van de leerlingen doorheen de verschillende jaren in kaart te brengen. Het derde criterium betreft de validiteit. De toetsen dienen de vaardigheid Nederlands begrijpend lezen valide te meten. In functie van het LiSO-project beschouwen we dit als een meting die inhoudelijk aansluit op de eindtermen en leerplannen van Nederlands begrijpend lezen van de 9

13 verschillende onderwijskoepels. De toetsen Nederlands moeten immers een meting zijn van de inhoudelijke kennis en vaardigheden waarover er een relatieve consensus is dat deze de onderdelen zijn van Nederlands begrijpend lezen. De eindtermen van Nederlands begrijpend lezen in het secundair onderwijs omvatten de inhouden en vaardigheden waarvan men algemeen aanneemt dat ze noodzakelijk zijn voor een goede beheersing van Nederlands begrijpend lezen. De leerplannen van de verschillende onderwijskoepels bieden een goede aanvulling hierop omdat zij de eindtermen meer concreet maken. Aangezien de eindtermen en leerplannen het uitgangspunt waren bij de opstelling van de items in de toetsen van het Centrum voor Schoolfeedback, wordt ook aan deze vereiste voldaan. Het vierde criterium betreft een voldoende spreiding van de moeilijkheidsgraad van de items binnen de toetsen voor het vierde leerjaar SO. Dit betekent dat er binnen elke toets items moeten zijn van verschillende moeilijkheidsgraden opdat de toets kan differentiëren tussen leerlingen met verschillende prestatieniveaus. De LiSO-toetsen voor begrijpend lezen voldoen aan dit criterium omdat bij het opstellen van deze toetsen items van verschillende moeilijkheidsgraden werden geselecteerd. Dit gebeurde op basis van IRT-procedures waarin het bepalen van de moeilijkheidsgraden van items centraal staat. Tevens zijn er drie aparte toetsen: één voor het vierde leerjaar ASO, één voor het vierde leerjaar TSO en KSO, en één voor het vierde leerjaar BSO. Per toets is het niveau van de geselecteerde teksten geschikt voor de doelgroep. Doordat de toetsen inhoudelijk deels overlappen met elkaar, kunnen de toetsscores van leerlingen in verschillende onderwijsvormen nog steeds vlot vergeleken worden met elkaar. Het vijfde criterium betreft een voldoende betrouwbaarheid van de toets. De betrouwbaarheid van een toets geeft weer in welke mate de toetsscore vrij is van de invloed van storende factoren. Hoe hoger de betrouwbaarheid van een toets, hoe kleiner het risico dat de toetsscore afwijkt van de ware vaardigheid van de leerling. De LiSO-toetsen voor begrijpend lezen voldoen aan het criterium van voldoende betrouwbaarheid. Bij het opstellen van deze toetsen zijn immers enkel items opgenomen die de gewenste betrouwbaarheid hadden. Bovendien werden telkens voldoende items per moeilijkheidsgraad opgenomen in de toetsen om zo voor de verschillende vaardigheidsgroepen voldoende betrouwbaar te zijn. 1.4 Beschrijving van de toetsen Elke toets bestond uit zes teksten. De toets Nederlands begrijpend lezen voor het einde van het vierde leerjaar ASO bevatte 35 vragen die resulteerden in 35 items. De toets Nederlands begrijpend lezen voor het einde van het vierde leerjaar TSO/KSO bestond uit 34 vragen en 34 items. De toets Nederlands begrijpend lezen voor het einde van het vierde leerjaar BSO bestond uit 31 vragen die samen goed waren voor 34 items. Bij het merendeel van de vragen moesten de leerlingen één antwoord uitkiezen uit vier mogelijkheden (type MC4 ). Er waren echter ook enkele juist/foutvragen (J/F), en vragen waarin de antwoorden in de juiste volgorde geplaatst moesten worden (volgorde). Tabel 1 geeft de basiskenmerken van de items weer. 10

14 Tabel 1 Overzicht toetsinhoud voor Nederlands begrijpend lezen einde vierde leerjaar SO Vierde leerjaar ASO Vierde leerjaar TSO/KSO Vierde leerjaar BSO item vraag type item vraag type item vraag Type Tekst 1: spelrecensie Tekst 1: spelrecensie Tekst 1: spelrecensie 1 Vraag 1 MC4 1 Vraag 1 MC4 1 Vraag 1 MC4 2 Vraag 2 MC4 2 Vraag 2 MC4 2 Vraag 2 MC4 3 Vraag 3 MC4 3 Vraag 3 MC4 3 Vraag 3 MC4 4 Vraag 4 MC4 4 Vraag 4 MC4 4 Vraag 4 MC4 Tekst 2: interview Tekst 2: informatieve tekst b Tekst 2: informatieve tekst b 5 Vraag 5 MC4 5 Vraag 5 MC4 5 Vraag 5 MC4 6 Vraag 6 MC4 6 Vraag 6 MC4 6 Vraag 6 MC4 7 Vraag 7 MC4 7 Vraag 7 MC4 7 Vraag 7 MC4 8 Vraag 8 MC4 8 Vraag 8 MC4 8 Vraag 8 MC4 9 Vraag 9 MC4 9 Vraag 9 MC4 9 Vraag 9 MC4 10 Vraag 10 MC4 10 Vraag 10 MC4 10 Vraag 10 MC4 Tekst 3: romanfragment Tekst 3: romanfragment Tekst 3: romanfragment 11 Vraag 11 MC4 11 Vraag 11 MC4 11 Vraag 11 MC4 12 Vraag 12 MC4 12 Vraag 12 MC4 12 Vraag 12 MC4 13 Vraag 13 MC4 13 Vraag 13 MC4 13 Vraag 13 MC4 14 Vraag 14 MC4 14 Vraag 14 MC4 14 Vraag 14 MC4 15 Vraag 15 MC4 15 Vraag 15 MC4 15 Vraag 15 MC4 16 Vraag 16 MC4 16 Vraag 16 MC4 16 Vraag 16 MC4 Tekst 4: krantenartikel Tekst 4: krantenartikel Tekst 4: gebruiksaanwijzing 17 Vraag 17 MC4 17 Vraag 17 MC4 17 Vraag 17 MC4 18 Vraag 18 MC4 18 Vraag 18 MC4 18 Vraag 18 MC4 19 Vraag 19 MC4 19 Vraag 19 MC4 19 Vraag 19 MC4 20 Vraag 20 MC4 20 Vraag 20 MC4 20 Vraag 20 MC4 21 Vraag 21 MC4 21 Vraag 21 MC4 21 Vraag 21a J/F 22 Vraag 22 MC4 22 Vraag 22 MC4 22 Vraag 21b J/F Tekst 5: recept a Tekst 5: recept b 23 Vraag 21c J/F 23 Vraag 23 MC4 23 Vraag 23 MC4 Tekst 5: recept b 24 Vraag 24 MC4 24 Vraag 24 MC4 24 Vraag 22 MC4 25 Vraag 25 MC4 25 Vraag 25 volgorde 25 Vraag 23 MC4 26 Vraag 26 MC4 26 Vraag 26 MC4 26 Vraag 24 volgorde 27 Vraag 27 MC4 27 Vraag 27 MC4 27 Vraag 25 MC4 28 Vraag 28 MC4 Tekst 6: informatieve tekst a 28 Vraag 26 MC4 Tekst 6: informatieve tekst a 28 Vraag 28 MC4 Tekst 6: informatieve tekst c 29 Vraag 29 MC4 29 Vraag 29 MC4 29 Vraag 27 MC4 30 Vraag 30 MC4 30 Vraag 30 MC4 30 Vraag 28 MC4 31 Vraag 31 MC4 31 Vraag 31 MC4 31 Vraag 29 MC4 32 Vraag 32 MC4 32 Vraag 32 MC4 32 Vraag 30 MC4 33 Vraag 33 MC4 33 Vraag 33 MC4 33 Vraag 31 MC4 34 Vraag 34 MC4 34 Vraag 34 MC4 35 Vraag 35 MC4 11

15 Hoofdstuk 2 Afnameprocedure en verwerking In dit hoofdstuk wordt eerst beschreven hoe de afnameprocedure van de toetsen Nederlands begrijpend lezen einde vierde leerjaar verliep. We lichten daarbij toe hoe het toetsmateriaal verspreid en afgenomen werd. Aansluitend geven we weer hoe de verwerking van het ingevulde toetsmateriaal gebeurde, waaronder de invoer van de antwoorden, de scoring van de antwoorden en het berekenen van de vaardigheidsscores. 2.1 Afnameprocedure Afnameprocedure op schoolniveau De toetsen begrijpend lezen einde vierde leerjaar maakten deel uit van een geheel van toetsmateriaal dat meteen na de paasvakantie verspreid werd onder de LiSO-scholen. Dit pakket bestond uit toetsen wiskunde, toetsen Nederlands begrijpend lezen, leerlingvragenlijsten, oudervragenlijsten (enkel voor ouders die nog geen oudervragenlijst hadden ingevuld), klastitularisvragenlijsten, uitnodigingen voor vakleerkrachtvragenlijsten, aanwezigheids- of deelnamelijsten en bijhorende handleidingen. De inhoud van deze toetsen en vragenlijsten wordt besproken in de betreffende rapporten. In wat volgt, bespreken we enkel wat relevant is voor de toetsen begrijpend lezen einde vierde leerjaar. Het toetsmateriaal werd per post verzonden naar elke school die deelnam aan het LiSO-project. De scholen ontvingen het toetsmateriaal op 18 april De deadline voor de afname van de leestoetsen was 24 mei In hoofdstuk 3 worden de exacte afnamedata van de toetsen in meer detail besproken. Voor elke school werd een brief voorzien voor de LiSO-contactpersoon 4. In deze brief werd besproken hoe het toetsmateriaal geordend was en hoe de toetsen en vragenlijsten afgenomen dienden te worden. De LiSO-contactpersoon was verantwoordelijk voor de verspreiding van het materiaal onder de respondenten. Om dit vlot te laten verlopen was alle materiaal gepersonaliseerd (voorzien van identificatiegegevens) en reeds geordend per klas. Daarnaast was van elke toetsversie een gepast aantal reserve-exemplaren voorzien voor het geval er nieuwe leerlingen waren ingestroomd. De LiSO-contactpersoon kreeg in de brief de nodige instructies voor het correct inzetten van dit reservemateriaal. Wanneer leerkrachten of leerlingen vragen of opmerkingen hadden over het toetsmateriaal of over het LiSO-project, functioneerde de LiSO-contactpersoon steeds als eerste aanspreekpunt. Ook beschikten alle leerkrachten en leerlingen over de contactgegevens van het LiSO-team om, 4 De LiSO-contactpersoon is de verantwoordelijke binnen een school voor de coördinatie van het LiSO-project. Wie de LiSOcontactpersoon was van een school werd bij de aanvang van het schooljaar vastgelegd. Deze persoon was vaak een leerkracht, directeur, secretariaatsmedewerker of zorgcoördinator. 12

16 indien gewenst, hun vragen en opmerkingen rechtstreeks over te maken. In de praktijk bleek dit zelden nodig te zijn. De beschikbare handleidingen bleken te volstaan, en voor algemene opmerkingen werd plaats voorzien op de aanwezigheidslijsten. Wanneer de afname van de toetsen binnen de klassen was afgelopen diende al het materiaal terug verzameld te worden bij de LiSO-contactpersoon. De LiSO-contactpersoon zette het materiaal vervolgens klaar voor de persoonlijke ophaling door het LiSO-team tussen 29 mei en 1 juni Deze persoonlijke aanpak bood een bijkomende kans voor de scholen om feedback te geven over de toetsafname. Wanneer het toetsmateriaal op een latere datum werd afgenomen, werd een nieuwe datum afgesproken waarop het LiSO-team de materialen kwam oppikken. In enkele uitzonderlijke gevallen, voor kleinere hoeveelheden toetsmateriaal, stuurden de scholen het achtergebleven materiaal op met de post. Het LiSO-project had etiketten voorzien opdat scholen dit kosteloos konden doen Afnameprocedure in de klas Nadat de LiSO-contactpersoon het nodige toetsmateriaal verspreid had in de school had elke klas een apart pakket voor de afname van de toetsen. Elk pakket bevatte een handleiding, de nodige toetsboekjes op naam, en de antwoordbladen op naam. De antwoordbladen waren vooraf door het LiSO-team in het juiste toetsboekje gestopt zodat er per leerling slechts één pakketje op naam uitgedeeld moest worden. De handleiding was gericht naar de toetsleider, doorgaans een leerkracht of opvoeder. Omdat scholen steeds vaker een vaste halve dag organiseren waarop alle materialen samen afgenomen worden (toets wiskunde, toets begrijpend lezen en leerlingvragenlijst), bevatte de handleiding de nodige richtlijnen voor deze drie instrumenten samen. Veel van de richtlijnen zijn immers identiek, ongeacht het instrument, en de scholen apprecieerden de resulterende reductie in toelichtende tekst. De toetsleider stond in voor het uitdelen van het materiaal aan de genoemde leerling, voor het toezicht houden volgens de gegeven richtlijnen, en voor het invullen van het aanwezigheidsblad. Indien een leerling afwezig was, gaf de toetsleider hierbij aan wat de reden voor de afwezigheid was. Op dit blad werd ook plaats voorzien waar leerkrachten opmerkingen konden schrijven (zowel over de afname als algemene bedenkingen). Op het eerste blad van het toetsboekje stonden de instructies voor de leerlingen: wat voor vraagsoorten er waren, waar ze de antwoorden moesten noteren en wat ze wel en niet mochten doen tijdens de afname. Vervolgens werden de leesteksten weergegeven met telkens meteen erop volgend de toetsvragen. We zorgden ervoor dat de leerlingen zo vaak mogelijk de vragen naast de tekst zagen staan en dat ze dus zelden terug moesten bladeren in hun boekje om de relevante passage te vinden. Het laatste blad bevatte informatie over de bescherming van de privacy van de leerlingen, en de contactgegevens van het LiSO-team. Eens de toetsvragen beantwoord waren in het toetsboekje, brachten de leerlingen hun antwoorden over op het bijhorende antwoordblad. Vooraan vulden ze nog de toetsdatum in. 13

17 De totale duur van de toetsafname besloeg twee lestijden van 50 minuten, zonder pauze. De toetsleiders mochten geen vragen beantwoorden die zouden helpen bij het oplossen van de toetsopgaven. Ze mochten echter wel voorleesassistentie bieden of voorleessoftware klaarzetten indien de leerling dyslexie had en het gewoon was om leestoetsen te maken met dergelijke hulpmiddelen. In de praktijk bleken er amper leerlingen gebruik te maken van deze optie. Een mogelijke verklaring hiervoor is dat we voor deze editie van de LiSO-leestoetsen gekozen hadden voor een groot en makkelijk leesbaar lettertype (Verdana 12) waarin alle teksten aangeboden werden. 2.2 Verwerking Het toetsmateriaal werd door het LiSO-team verzameld, gesorteerd en gecontroleerd. Vervolgens kon met de verwerking van het toetsmateriaal gestart worden. Deze verwerking verliep in verschillende fases waarvan de resultaten per fase steeds verwerkt werden in de databank. In de volgende paragraaf bespreken we de relatie tussen de organisatie van de databank en de verschillende fases van verwerking. In de daaropvolgende paragrafen worden de verschillende fases meer uitvoerig besproken Relatie databank en fases van verwerking De verwerking verliep in drie fases. De eerste fase was de invoer van de antwoorden van de leerlingen. Deze invoer heeft als doel een waarheidsgetrouwe weergave te zijn van de antwoorden die leerlingen gaven. De tweede fase was de scoring van de antwoorden. Deze fase heeft als doel een duidelijke weergave te zijn van wat leerlingen juist of fout hebben. Vervolgens werd in de derde fase een vaardigheidsscore berekend die de vaardigheid van een leerling weergeeft. De resultaten van deze drie fases hebben elk hun plaats in de databank van het LiSO-project. Zo wordt de invoer van de antwoorden (fase 1) weggeschreven in de invoervariabele. In paragraaf worden de invoer en de invoervariabele in detail besproken. De invoer werd vervolgens gescoord (fase 2) op basis van de vooropgestelde correcte antwoorden. Dit resulteerde in een 0 of 1 score voor het betreffende item. Deze score werd vervolgens weggeschreven in de bijhorende scorevariabele. Deze scoring wordt in detail besproken in paragraaf Op basis van deze scorevariabelen werd met behulp van IRT-procedures de vaardigheidsscore van een leerling berekend (fase 3). Deze vaardigheidsscore werd vervolgens weggeschreven in een aparte kolom met vaardigheidsscores. De berekening van deze vaardigheidsscore wordt in in detail besproken. In Tabel 2 wordt de organisatie van de databank weergegeven voor de leestoetsen in het LiSOproject. Hierbij dient LeerlingID ter identificatie van de leerling. Afnamedatum geeft weer op welke datum de leerling de toets invulde. V001, V002 en V003 zijn invoervariabelen en geven weer wat de leerlingen invulden voor de vragen V001, V002 en V003. De codes 1, 2, 3 en 4 betekenen bij multiple choice vragen respectievelijk A, B, C en D. De code betekent dat er geen antwoord gegeven werd, en de code betekent dat het antwoord onmogelijk ingevoerd kon worden omdat het niet leesbaar was. S001, S002 en S003 zijn scorevariabelen die weergeven welke score de leerlingen respectievelijk kreeg voor de antwoorden op V001 en V

18 De kolom Vaardigheidsscore geeft weer welke vaardigheidsscore voor een leerling berekend werd. Tabel 2 Organisatie databank LiSO voor Nederlands begrijpend lezen LeerlingID Afnamedatum V001 V002 V003 Opmerking S001 S002 S003 Vaardigheidsscore /05/ juist , /05/ , /04/ juist , Fase 1: Invoer De invoer van de antwoorden van de leerlingen begrijpen we als het wegschrijven van de antwoorden in de databank (in MS Access) van het LiSO-project. Het LiSO-project nam als uitgangspunt dat de antwoorden die leerlingen gaven steeds zo waarheidsgetrouw mogelijk in de LiSO-databank weergegeven moeten worden. Met andere woorden: wat een leerling invult op zijn of haar antwoordblad wordt letterlijk weggeschreven in de databank. Alle antwoorden die zo ingevoerd werden, worden in de LiSO-databank beschouwd als invoervariabelen. De toetsvragen bestonden zowel uit multiple choice vragen 5 als uit open vragen 6. De multiple choice vragen werden ingelezen van het antwoordblad door een scanner, met behulp van de software Teleform. De scanner werd zo ingesteld dat de code van elk gekleurd bolletje weggeschreven werd. De open vragen werden manueel ingevoerd door jobstudenten onder toezicht van het LiSO-team. Om later indien gewenst een beeld te krijgen van ongeldige antwoorden, werden in de database geen restricties voorzien. Als een numeriek antwoord werd verwacht terwijl de leerling een tekening maakte, was er dus ruimte voorzien in de invoervariabele om er te noteren dat er een tekening werd gemaakt. Of, als er slechts één bolletje aangeduid mocht worden terwijl de leerling er twee aanduidde, werden beide antwoorden toch weggeschreven. Wanneer leerlingen een bepaalde opgave onbeantwoord lieten en dus geen antwoord gaven, werd dit als een blanco antwoord beschouwd. Wanneer leerlingen een antwoord gaven, maar dit doorstreepten zonder een nieuw antwoord te geven, werd dit ook als een blanco antwoord beschouwd. Blanco antwoorden werden gecodeerd als Wanneer leerlingen de vragen wel op een geldige manier beantwoordden, maar nog een opmerking opschreven, werd deze opmerking met vermelding van het vraagnummer genoteerd in een apart opmerkingenveld. 5 Multiple choice vragen zijn vragen waarbij er verschillende antwoordmogelijkheden gegeven worden. Voor elke antwoordmogelijkheid staat een leeg bolletje. Wanneer een leerling denkt dat een bepaalde antwoordmogelijkheid het juiste antwoord is, dient deze het bijhorende bolletje in kleuren. 6 Open vragen zijn vragen waarbij de leerling zelf het correcte antwoord moet noteren. In de toets begrijpend lezen gaat het om vragen waarbij de leerling aan verschillende antwoordopties een nummer moet toekennen om ze in de juiste volgorde te plaatsen. 15

19 Fase 2: Scoring Na de invoer werden de antwoorden van de leerlingen gescoord. Onder scoring begrijpen we enkel het juist of fout rekenen van de antwoorden. Dit juist of fout rekenen resulteert in een score 1 of 0 voor respectievelijk een juist of een fout antwoord op een item. Bij multiple choice, ja/nee- en juist/fout-vragen werd een antwoord enkel juist gerekend indien de leerling het juiste bolletje aanduidde, en geen enkel ander bolletje. Bij open vragen werd nagegaan of het antwoord dat de leerling gaf overeenstemde met het vooropgestelde correcte antwoord in de verbetersleutel. In alle andere gevallen (waaronder ook blanco en ongeldige antwoorden) werd de score 0 gegeven. De resulterende scores 0 of 1 werden per item in de LiSO-databank weggeschreven als scorevariabelen Fase 3: Berekening vaardigheidsscores Dit hoofdstuk beschrijft hoe de vaardigheidsscore van iedere leerling berekend werd. We bespreken hiervoor eerst kort de item-respons theorie (IRT). Dit is het model waarmee de vaardigheidsscore van iedere leerling bepaald wordt. Vervolgens bespreken we kort hoe de berekening van deze vaardigheidsscore door middel van IRT verloopt. Zowel in de klassieke testtheorie (KTT) als in de item-respons theorie (IRT) wordt de vaardigheid van een leerling berekend op basis van het al dan niet correct beantwoorden van een aantal items binnen een toets. Tevens wordt in beide theorieën de moeilijkheid van een item berekend op basis van het aantal personen dat een juist antwoord geeft op het item. Waarin IRT echter verschilt van KTT is dat tussen de moeilijkheidsgraad van items en de vaardigheid van leerlingen een specifieke relatie wordt gelegd. Door deze relatie worden zowel de moeilijkheid van de items als de vaardigheden van leerlingen op één figuurlijke meetschaal vastgelegd. Hoe lager een item zich op deze meetschaal bevindt, hoe makkelijker dit is; Hoe hoger een item zich op deze meetschaal bevindt, hoe moeilijker dit is. Hoe lager een leerling zich op deze meetschaal bevindt, hoe minder vaardig deze is; Hoe hoger de leerling zich op deze meetschaal bevindt, hoe meer vaardig deze is. Het is hierbij de afstand tussen de vaardigheid van een persoon en de moeilijkheid van een item die bepaalt wat de kans is dat een item correct wordt opgelost. Wanneer de vaardigheid en de moeilijkheid zich op hetzelfde punt van de meetschaal bevinden, is de kans 50% dat de persoon het item juist heeft. Op deze manier komt IRT tot één figuurlijke meetschaal waarop zowel moeilijkheid als vaardigheid gesitueerd kunnen worden. Dankzij IRT-analyses kan deze meetschaal ook over verschillende toetsen heen geconstrueerd worden. Hierdoor kunnen de scores op verschillende toetsen met elkaar vergeleken worden. De enige voorwaarde hiervoor is dat de verschillende toetsen steeds een voldoende aantal items gemeenschappelijk hebben; We spreken dan van een voldoende aantal ankeritems. Het LiSO-project gebruikt IRT-analyses omdat de scores op verschillende toetsen met elkaar vergeleken moeten worden. De constructie van één gemeenschappelijke meetschaal over verschillende toetsen is dan ook noodzakelijk. Enkel zo kan de vooruitgang van leerlingen doorheen de tijd beschreven worden en kan de vaardigheid van leerlingen in het vierde leerjaar ASO 16

20 bijvoorbeeld vergeleken worden met de vaardigheid van de leerlingen in het vierde leerjaar BSO, die een andere toets aflegden, of met de vaardigheidsscore die het jaar voordien behaald werd. De berekening van de vaardigheidsscore verloopt in twee zich steeds herhalende stappen. De eerste stap is dat op basis van de 0 en 1 scores de tijdelijke moeilijkheidsparameters berekend worden per item. De tweede stap is de berekening van de tijdelijke vaardigheidsparameters op basis van de 0 en 1 scores en de tijdelijke moeilijkheidsparameters. Vervolgens is er een herhaling van de eerste stap. Nu worden de moeilijkheidsparameters echter niet enkel berekend op basis van de 0 en 1 scores, maar worden ook de tijdelijke vaardigheidsparameters in de berekening opgenomen. Vervolgens is er een herhaling van stap 2 waar wordt rekening gehouden met de nieuwe tijdelijke moeilijkheidsparameters. Deze twee stappen herhalen zich een aantal keer totdat de moeilijkheids- en vaardigheidsparameters stabiel blijven (convergentie). Wanneer deze stabiliteit bereikt is zijn de vaardigheidsscores en de moeilijkheidsparameter van de items berekend. Voor elke leerling werd één vaardigheidsscore voor Nederlands begrijpend lezen op het einde van het vierde leerjaar SO berekend. Deze score werd toegevoegd aan de database en kan voortaan dienen als betrouwbare en vergelijkbare benadering van hoe leesvaardig de betrokken leerling op het gegeven moment was. 17

21 Hoofdstuk 3 Responsgegevens en resultaten 3.1 Responsgegevens In mei 2017 bestond de totale LiSO-steekproef van leerlingen in het vierde leerjaar uit leerlingen in 56 pedagogische gehelen (bestaande uit 67 instellingsnummers). Binnen de steekproef waren leerlingen ingeschreven in het vierde jaar ASO, leerlingen in het vierde jaar TSO-KSO en leerlingen in het vierde jaar BSO. In Tabel 3 wordt de leerlingensteekproef weergegeven. Tabel 3 Steekproef leerlingen vierde leerjaar mei 2017 Onderwijsvorm N leerlingen (%) Vierde leerjaar ASO (45,9%) Vierde leerjaar TSO-KSO (34,1%) Vierde leerjaar BSO (20%) TOTAAL (100%) Niet elk van deze leerlingen kwam werkelijk in aanmerking om deel te nemen aan de toetsen. Het LiSO-project definieert daarom steeds een substeekproef van leerlingen waarvan we redelijkerwijs kunnen verwachten dat ze zullen deelnemen. Concreet zijn er 31 leerlingen in het vierde leerjaar van wie de ouders hun deelname aan het LiSOproject formeel geweigerd hebben. Van deze leerlingen kunnen we niet verwachten dat ze deelnemen aan de toetsen, en daarom maken ze geen deel uit van de substeekproef voor Nederlands begrijpend lezen van mei Er waren voor deze wave geen scholen die niet deelnamen aan de meting begrijpend lezen (al was er wel één school waar de toetsen beduidend later werden afgenomen: zie verder). De substeekproef voor de toets Nederlands begrijpend lezen bestond in mei 2017 dus uit leerlingen. Daarvan zaten leerlingen in het vierde leerjaar ASO, leerlingen in het vierde leerjaar TSO-KSO en leerlingen in het vierde leerjaar BSO. Tabel 4 geeft deze substeekproef van leerlingen weer. Alle leerlingen waarvan het LiSO-team een antwoordblad ontving met minstens één ingevuld antwoord worden beschouwd als leerlingen die respons opleverden. Indien er toetsen ontvangen werden zonder dat er iets ingevuld werd, werd dit beschouwd als een non-respons. In de regel moesten de scholen alle blanco gebleven materiaal terug meegeven met het LiSO-team, maar indien er uitzonderlijk géén materiaal teruggegeven werd voor een leerling werd ook dit als non- 18

22 respons gerekend. Op basis van de hiervoor beschreven substeekproef werd vervolgens de leerlingenrespons berekend. Deze is terug te vinden in Tabel 4. Van de ontvangen ingevulde antwoordbladen beschouwen we er enkele als onbetrouwbaar voor analyses. Bij enkele leerlingen stellen we immers vast dat zij zeer weinig items van de betreffende toets invulden en/of heel wat items op een ongeldige manier invulden (bijvoorbeeld door meerdere bolletjes in te kleuren). We vermoeden dat de toetsen van deze leerlingen geen betrouwbare meting zijn van hun vaardigheid. Daarom besluiten we om de betreffende toetsscores uit de analyses weg te laten. We nemen als criterium dat een toets pas betrouwbaar is voor analyses wanneer meer dan de helft van de items op een geldige manier werd ingevuld. Dit wil zeggen dat alle toetsen waarbij de helft of meer items ongeldig of blanco werden ingevuld (zie hoofdstuk 2 voor beschrijving blanco en ongeldig) als onbetrouwbaar voor analyses worden beschouwd. Van de leerlingen in het vierde leerjaar ASO registreren we 32 toetsen waarbij minder dan de helft van de items geldig werd ingevuld. In het vierde leerjaar TSO-KSO registreren we 138 toetsen waarbij minder dan de helft van de items geldig werd ingevuld. Voor de toets begrijpend lezen einde vierde leerjaar BSO registreren we 15 toetsen waarbij minder dan de helft van de items geldig werd ingevuld. In Tabel 4 geven we het aantal geldige toetsen weer op het totaal aantal ontvangen toetsen. Tabel 4 Responsgegevens toets Nederlands begrijpend lezen vierde leerjaar mei 2017 N leerlingen (%) Onderwijsvorm Substeekproef Respons leerlingen (binnen de substeekproef) Geldig ingevulde toetsen (binnen de respons) Vierde leerjaar ASO 3.273/3.293 (99,4%) Vierde leerjaar TSO-KSO 2.437/2.446 (99,6%) Vierde leerjaar BSO 1.435/1.437 (99,9%) TOTAAL 7.145/7.176 (99,6%) /3.273 (98,6%) 2.231/2.437 (91,5%) 1.250/1.435 (87,1%) 6.708/7.145 (93,9%) 3.150/3.227 (97,6%) 2.219/2.231 (99,5%) 1.235/1.250 (98,8%) 6.604/6.708 (98,4%) 19

23 3.2 Afnamedata De scholen kregen van 24 april tot en met 24 mei 2017 de tijd om het toetsmateriaal bij de leerlingen af te nemen. Voor de meeste leerlingen werd hieraan voldaan, maar niet voor alle leerlingen. In een aantal gevallen werden de toetsen net iets eerder afgenomen (van zodra het materiaal in de school was), of wat later (tot en met 11 juni 2017). In één school werden de toetsen pas op 3 oktober 2017 afgenomen. Tabel 5 geeft weer voor hoeveel vierdejaarsleerlingen de uiterlijke afnamedatum van 24 mei 2017 overschreden werd. Tabel 5 Overschrijding uiterste afnamedatum toetsen Nederlands begrijpend lezen vierde leerjaar N leerlingen (%) Toetsversie begrijpend lezen Afname 18/04 24/05 Afname 25/05-03/10 Versie A (vierde leerjaar ASO) Versie B (vierde leerjaar TSO/KSO) Versie C (vierde leerjaar BSO) TOTAAL 2.972/3.150 (94,3%) 2.139/2.219 (96,4%) 1.218/1.235 (98,6%) 6.329/6.604 (95,8%) 178/3.150 (5,7%) 80/2.219 (3,6%) 17/1.235 (1,4%) 275/6.604 (4,2%) Dit betekent dat er sprake is van een vrij lange toetsperiode (van 19 april tot en met 3 oktober). Dit kan de vergelijkbaarheid van de toetsresultaten tussen verschillende scholen en klassen in het gedrang brengen. We moeten er immers rekening mee houden dat bij leerlingen bij wie de toets later werd afgenomen, de vaardigheid al wat verder gevorderd kan zijn dan bij leerlingen die de toets eerder afnamen. De eerste groep heeft namelijk al meer lesuren Nederlands gevolgd dan de tweede groep. Hoewel de ervaring uit de vorige jaren leert dat deze hypothese steeds verworpen kan worden, werd ze toch ook dit jaar nog eens getoetst door de leerlingen in te delen in een groep leerlingen die de toets aflegde vóór de deadline van 24 mei, en een groep leerlingen die de toets nadien aflegde. Uit de gegevens van de toets Nederlands begrijpend lezen einde vierde leerjaar ASO blijkt er een significant verschil in vaardigheidsscore tussen beide groepen (t 193,69 = 3,28; p = 0,001). De groep waarbij de toets werd afgenomen na 24 mei behaalde een gemiddelde vaardigheidsscore van 119,00 (SD=10,86) terwijl de groep waarbij de toets werd afgenomen tot en met 24 mei een gemiddelde vaardigheidsscore van 115,89 behaalde (SD=12,37). Merk op dat het geobserveerde verschil hier in de omgekeerde richting ligt dan de verwachting: de leerlingen met minder lesuren 20

24 Nederlands hebben een hogere vaardigheidsscore dan de leerlingen die meer lesuren Nederlands volgde. Uit de gegevens van de toets Nederlands begrijpend lezen einde vierde leerjaar TSO/KSO blijkt er geen verschil te zijn tussen beide groepen (t 83,93 = 1,02; p = 0,310). De groep waarbij de toets werd afgenomen na 24 mei behaalde een gemiddelde vaardigheidsscore van 107,67 (SD=12,55) terwijl de groep waarbij de toets werd afgenomen tot en met 24 mei een gemiddelde vaardigheidsscore van 109,12 behaalde (SD=11,34). Ook uit de gegevens van de toets Nederlands begrijpend lezen einde vierde leerjaar BSO blijkt geen verschil tussen beide groepen (t 16,30 = 0,03; p = 0,979). De groep waarbij de toets werd afgenomen na 24 mei behaalde een gemiddelde vaardigheidsscore van 99,27 (SD=10,22), terwijl de groep waarbij de toets werd afgenomen tot en met 24 mei een gemiddelde vaardigheidsscore van 99,19 behaalde (SD=12,43) De hypothese dat enkele weken meer les tot hogere resultaten zou leiden, wordt dus voor deze twee toetsen verworpen. Het is echter cruciaal dat de grote spreiding van afnamedata niet leidt tot een vertekening van de resultaten. Daarom werden alle volgende analyses in dit rapport zowel uitgevoerd met als zonder de leerlingen die na 27 mei hun toetsen invulden. Equivalente resultaten werden steeds bekomen en er was geen indicatie van vertekening. Om deze reden worden enkel de resultaten besproken waarbij alle leerlingen opgenomen zijn. De datum waarop een leerling de toets invulde werd ook steeds bijgehouden in de databank van het LiSO-project (zie 2.1.1). De afnamedatum kan dus ook steeds opgenomen wanneer er statistische analyses op de data worden uitgevoerd. In Figuur 1 wordt de cumulatieve frequentieverdeling weergegeven van de afnamedata van de toets begrijpend lezen einde vierde leerjaar ASO. Deze grafiek geeft per dag weer hoeveel leerlingen de toetsen tot dan toe invulden. Hierbij zien we dat de meeste leerlingen hun toetsen aflegden tussen 1 mei en 22 mei. Figuur 2 geeft de cumulatieve frequentieverdeling van de afnamedata van de toets begrijpend lezen einde vierde leerjaar TSO/KSO. Deze grafiek geeft per dag weer hoeveel leerlingen de toetsen tot dan toe invulden. Hierbij zien we dat de meeste leerlingen hun toetsen aflegden tussen 1 mei en 22 mei. In één school vulden de leerlingen de toets begrijpend lezen in op 3 oktober. In Figuur 3 wordt de cumulatieve frequentieverdeling weergegeven van de afnamedata van de toets begrijpend lezen einde vierde leerjaar BSO. Deze grafiek geeft per dag weer hoeveel leerlingen de toetsen tot dan toe invulden. Hierbij zien we dat de meeste leerlingen hun toetsen aflegden tussen 1 mei en 22 mei. 21

25 Figuur 1 Cumulatieve frequentieverdeling afnamedata toets Nederlands begrijpend lezen einde vierde leerjaar ASO Figuur 2 Cumulatieve frequentieverdeling afnamedata toets Nederlands begrijpend lezen einde vierde leerjaar TSO/KSO 22

26 Figuur 3 Cumulatieve frequentieverdeling afnamedata toets Nederlands begrijpend lezen einde vierde leerjaar BSO 23

27 3.3 Validiteit Er werd onderzocht of de toetsen Nederlands begrijpend lezen einde vierde leerjaar één of meerdere achterliggende vaardigheden meten. Indien er slechts evidentie is voor één vaardigheid, verleent dit steun aan de hypothese dat de toets enkel vaardigheden met betrekking tot begrijpend lezen meet. Daarom werd een exploratieve factoranalyse uitgevoerd op de items van zowel de toets begrijpend lezen einde vierde leerjaar ASO als de toets begrijpend lezen einde vierde leerjaar TSO/KSO en de toets begrijpend lezen einde vierde leerjaar BSO. Het doel van deze factoranalyse is om na te gaan of een één-factoroplossing de beste factoroplossing is voor een geheel van items. Indien dit zo blijkt te zijn, is dit een indicatie dat de toets één vaardigheid meet. Om te bepalen of een één-factoroplossing de beste factoroplossing is, wordt zowel gebruik gemaakt van een scree-plot als van de proportie verklaarde variantie 7 van de verschillende factoren. Op basis van deze criteria besluiten we voor de toets begrijpend lezen einde vierde leerjaar ASO dat de één-factoroplossing de beste factoroplossing is. We vinden immers dat 11,46% van de variantie in de toetsscores verklaard wordt door de eerste factor (en slechts 4,01% door de tweede factor). Ook de scree plot (zie Figuur 4) wijst op een één-factoroplossing als de beste factoroplossing. Figuur 4 Scree plot toets Nederlands begrijpend lezen einde vierde leerjaar ASO 7 Criterium Proportie verklaarde variantie : enkel factoren die minstens 5% van de variantie verklaren worden weerhouden. 24

28 Op basis van deze criteria besluiten we ook voor de toets Nederlands begrijpend lezen einde vierde leerjaar TSO/KSO dat de één-factoroplossing de beste factoroplossing is. We vinden immers dat 14,20% van de variantie in de toetsscores verklaard wordt door de eerste factor (en slechts 4,30 % door de tweede factor). Ook de scree plot (zie Figuur 5) wijst op een één-factoroplossing als de beste factoroplossing. Voor de toets Nederlands begrijpend lezen einde vierde leerjaar BSO besluiten we eveneens op basis van de criteria dat de één-factoroplossing de beste factoroplossing is. We vinden immers dat 12,00% van de variantie in de toetsscores verklaard wordt door de eerste factor (en slechts 4,33% door de tweede factor). Ook de scree plot (zie Figuur 6) wijst op een één-factoroplossing als de beste factoroplossing. Figuur 5 Scree plot toets Nederlands begrijpend lezen einde vierde leerjaar TSO/KSO 25

29 Figuur 6 Scree plot toets Nederlands begrijpend lezen einde vierde leerjaar BSO 3.4 Betrouwbaarheid Om de betrouwbaarheid van de toetsen Nederlands begrijpend lezen einde vierde leerjaar ASO, einde vierde leerjaar TSO/KSO en einde vierde leerjaar BSO na te gaan, werden de gestandaardiseerde Cronbachs alfacoëfficiënten 8 berekend voor de drie toetsen. In Tabel 6 worden de gestandaardiseerde Cronbach s alfacoëfficiënten weergegeven voor de drie toetsen. Tevens wordt weergegeven op hoeveel geldig ingevulde toetsen de gestandaardiseerde Cronbach s alfacoëfficiënten werden berekend. Bij de berekening van de gestandaardiseerde Cronbach s alfacoëfficiënten werden blanco en ongeldige antwoorden mee opgenomen. Zij werden logischerwijs als een foutief antwoord beschouwd. De toetsen Nederlands begrijpend lezen einde vierde leerjaar ASO hebben een goede betrouwbaarheid volgens de berekende gestandaardiseerde Cronbach s alfacoëfficiënten (α = 0,74). De gestandaardiseerde Cronbach s alfa kon niet verhoogd worden door items weg te laten. De toetsen Nederlands begrijpend lezen einde vierde leerjaar TSO/KSO hebben een goede betrouwbaarheid volgens de berekende gestandaardiseerde Cronbach s alfacoëfficiënten (α = 0,79). De gestandaardiseerde Cronbach s alfa kon niet verhoogd worden door items weg te laten. 8 Een Cronbach s alfacoëfficiënt is een maat voor de interne consistentie van de items van een toets. Hoe hoger deze maat hoe consistenter de items zijn in het meten van een bepaalde vaardigheid. Er wordt als vuistregel gebruikt dat een Cronbach s alphacoëfficiënt groter dan 0,70 wijst op een voldoende betrouwbare schaal. 26

30 De toetsen Nederlands begrijpend lezen einde vierde leerjaar BSO hebben een goede betrouwbaarheid volgens de berekende gestandaardiseerde Cronbach s alfacoëfficiënten (α = 0,73). De gestandaardiseerde Cronbach s alfa kon niet verhoogd worden door items weg te laten. Tabel 6 Betrouwbaarheid toetsen Nederlands begrijpend lezen einde vierde leerjaar N leerlingen N items Alfa Verhoogde alfa Vierde leerjaar ASO (versie A) ,74 0,74 Vierde leerjaar TSO/KSO (versie B) ,79 0,79 Vierde leerjaar BSO (versie C) ,73 0, Verdelingskenmerken Tabel 7 bevat verschillende verdelingskenmerken van de toetsen begrijpend lezen: het aantal leerlingen dat de toetsen op een geldige manier heeft ingevuld (N), de gemiddelde totaalscore, de bijbehorende standaardafwijking (SD), de laagste en de hoogste geregistreerde score (Min en Max), de scheefheidcoëfficiënt en de Kurtosis. Tabel 7 Verdelingskenmerken toetsen Nederlands begrijpend lezen einde vierde leerjaar N Totaalscore SD Min Max Scheefheid Kurtosis Vierde leerjaar ASO (versie A) , ,76 0,75 Vierde leerjaar TSO/KSO (versie B) , ,56 0,08 Vierde leerjaar BSO (versie C) , ,06-0,52 De toets Nederlands begrijpend lezen einde vierde leerjaar ASO bestond uit 35 items. Deze toets heeft dus een minimumscore van 0 en een maximumscore van 35. De gemiddelde totaalscore van 24,51 ligt boven het theoretisch gemiddelde van 17,5. De standaarddeviatie bedraagt 4,54. De laagste score is 5, de maximale totaalscore bedraagt 34. De verdeling is linksscheef. Dit is ook zichtbaar in de frequentieverdeling (Figuur 7). Wellicht hangen deze vaststellingen samen met het feit dat leesvaardigheid minder afhankelijk is van feitenkennis dan bijvoorbeeld wiskunde waarvoor de toetsen dermate uiteenlopende formulekennis vragen dat een leerling die er niet expliciet voor heeft gestudeerd, zelden een erg hoge score zal halen. Voor de toetsen begrijpend lezen valt echter niet te studeren, en de LiSO-leerlingen beginnen inmiddels op een leeftijd te komen waarop het plausibel is dat ze maximaal leesvaardig zijn. Aangezien er voor de huidige toets 27

31 nog geen sprake is van een plafondeffect, vormt dit geen gevaar voor het gebruik van de bekomen vaardigheidsscore in analyses. De toets Nederlands begrijpend lezen einde vierde leerjaar TSO/KSO bestond uit 34 items. Deze toets heeft dus een minimumscore van 0 en een maximumscore van 34. De gemiddelde totaalscore van 21,50 ligt boven het theoretisch gemiddelde van 17. De standaarddeviatie bedraagt 5,23. De laagste score is 4. Opvallend is dat de hoogste score gelijk is aan de maximumscore, namelijk 34. De verdeling is linksscheef. Dit is ook zichtbaar in de frequentieverdeling (Figuur 8). De toets Nederlands begrijpend lezen einde derde leerjaar BSO bestond uit 33 items. Deze toets heeft dus een minimumscore van 0 en een maximumscore van 33. De gemiddelde totaalscore van 16,3 ligt zeer dicht bij het theoretisch gemiddelde van 16,5. De standaarddeviatie bedraagt 4,99. De laagste score is 3, de hoogste score 32, wat 1 punt onder het theoretisch maximum ligt. De maat voor scheefheid wijst op een normale verdeling. Ook de frequentieverdeling (Figuur 9) geeft aan dat de verdeling van de toetsscores de standaardnormale verdeling grotendeels volgt. Figuur 7 Frequentieverdeling totaalscores toets Nederlands begrijpend lezen einde vierde leerjaar ASO 28

32 Figuur 8 Frequentieverdeling totaalscores toets Nederlands begrijpend lezen einde vierde leerjaar TSO/KSO Figuur 9 Frequentieverdeling totaalscores toets Nederlands begrijpend lezen einde vierde leerjaar BSO 29

33 De tabellen 8, 9 en 10 geven de itemkenmerken weer voor de toetsen Nederlands begrijpend lezen voor respectievelijk het vierde leerjaar ASO, vierde leerjaar TSO/KSO en het vierde leerjaar BSO. De tabellen bevatten per item de proportie leerlingen die het juiste antwoord hebben ingevuld (P juist) en de proportie leerlingen die een fout antwoord hebben ingevuld (P fout). Indien een leerling een item niet of ongeldig heeft ingevuld, wordt dit ook als een fout antwoord beschouwd. Daarnaast wordt ook de proportie blanco antwoorden per item weergegeven (P blanco) alsook de proportie ongeldige antwoorden (P ongeldig). Verder wordt de proportie leerlingen weergegeven die een fout antwoord hebben ingevuld, zonder de ongeldige en blanco antwoorden mee te tellen (P Fout Aangepast) Tot slot wordt ook per item de itemtotaalcorrelatie gegeven (R it). We onderscheiden een gematigde moeilijkheidsgraad (P juist-waarde tussen 0,40 en 0,60), een gemakkelijke moeilijkheidsgraad (P juist-waarde groter dan 0,60) en een moeilijke moeilijkheidsgraad (P juist-waarde kleiner dan 0,40). Ook de zeer moeilijke items (P juist-waarde kleiner dan 0,10) en de zeer gemakkelijke items worden benoemd (P juist-waarde groter dan 0,90). Vier items van de toets Nederlands begrijpend lezen einde vierde leerjaar ASO hebben een gematigde moeilijkheidsgraad, 22 items zijn gemakkelijk en 3 items zijn moeilijk. Zes items worden als zeer gemakkelijk gecategoriseerd. Zeven items van de toets Nederlands begrijpend lezen einde vierde leerjaar TSO/KSO hebben een gematigde moeilijkheidsgraad, 18 items zijn gemakkelijk en 6 items zijn moeilijk. Drie items worden als zeer gemakkelijk gecategoriseerd en geen enkel item bleek zeer moeilijk. Van alle items van de toets Nederlands begrijpend lezen einde vierde leerjaar BSO hebben tien items een gematigde moeilijkheidsgraad. Elf items zijn gemakkelijk en elf items zijn moeilijk. Er wordt geen enkel item als zeer gemakkelijk gecategoriseerd en één item bleek zeer moeilijk. De itemtotaalcorrelaties 9 voor de toets Nederlands begrijpend lezen einde vierde leerjaar ASO situeren zich tussen 0,07 en 0,37. Zes items hebben een itemtotaalcorrelatie lager dan 0,20. Voor de toets Nederlands begrijpend lezen einde vierde leerjaar TSO/KSO situeren de itemtotaalcorrelaties zich tussen -0,10 en 0,42. Vijf items hebben een itemtotaalcorrelatie lager dan 0,20. Eén item heeft een negatieve itemtotaalcorrelatie. De itemtotaalcorrelaties voor de toets Nederlands begrijpend lezen einde vierde leerjaar BSO situeren zich tussen -0,05 en 0,51. Elf items hebben een itemtotaalcorrelatie lager dan 0,20. Eén item heeft een negatieve itemtotaalcorrelatie. 9 Een itemtotaalcorrelatie geeft weer hoe sterk een item samenhangt met de andere items van een toets. Er wordt verwacht dat deze itemcorrelatie steeds positief is. Immers meten de verschillende items dezelfde vaardigheid en horen ze samen te hangen. 30

34 Tabel 8 Itemkenmerken toets Nederlands begrijpend lezen einde vierde leerjaar ASO Item Vraagtype PJuist PFout PBlanco POngeldig PFout Aangepast Rit Moeilijkheid V01 Multiple choice 94,6 5,4 0,1 0,0 5,3 0,17 Zeer gemakkelijk V02 Multiple choice 87,4 12,6 0,2 0,2 12,2 0,18 Gemakkelijk V03 Multiple choice 73,6 26,4 0,1 0,0 26,3 0,22 Gemakkelijk V04 Multiple choice 91,5 8,5 0,1 0,1 8,3 0,22 Zeer gemakkelijk V05 Multiple choice 74,1 25,9 0,3 0,1 25,5 0,20 Gemakkelijk V06 Multiple choice 53,8 46,2 0,3 0,1 45,8 0,22 Gematigd V07 Multiple choice 45,6 54,4 0,7 0,2 53,5 0,22 Gematigd V08 Multiple choice 40,1 59,9 0,6 0,3 59,0 0,20 Gematigd V09 Multiple choice 64,8 35,2 0,3 0,2 34,7 0,27 Gemakkelijk V10 Multiple choice 79,0 21,0 0,5 0,1 20,4 0,11 Gemakkelijk V11 Multiple choice 89,1 10,9 0,2 0,1 10,6 0,28 Gemakkelijk V12 Multiple choice 63,2 36,8 0,3 0,2 36,3 0,26 Gemakkelijk V13 Multiple choice 93,7 6,3 0,2 0,2 5,9 0,30 Zeer gemakkelijk V14 Multiple choice 93,2 6,8 0,1 0,1 6,6 0,26 Zeer gemakkelijk V15 Multiple choice 84,0 16,0 0,1 0,1 15,8 0,37 Gemakkelijk V16 Multiple choice 87,6 12,4 0,2 0,2 12,0 0,28 Gemakkelijk V17 Multiple choice 49,0 51,0 0,2 0,1 50,7 0,23 Gematigd V18 Multiple choice 73,7 26,3 0,2 0,1 26,0 0,20 Gemakkelijk V19 Multiple choice 20,3 79,7 0,3 0,3 79,1 0,07 Moeilijk V20 Multiple choice 32,8 67,2 0,5 0,2 66,5 0,16 Moeilijk V21 Multiple choice 68,3 31,7 0,4 0,2 31,1 0,33 Gemakkelijk V22 Multiple choice 75,5 24,5 0,3 0,1 24,1 0,22 Gemakkelijk V23 Multiple choice 82,0 18,0 0,4 0,3 17,3 0,34 Gemakkelijk V24 Multiple choice 74,9 25,1 0,4 0,2 24,5 0,28 Gemakkelijk V25 Multiple choice 72,0 28,0 0,4 0,1 27,5 0,30 Gemakkelijk V26 Multiple choice 62,9 37,1 0,3 0,2 36,6 0,23 Gemakkelijk V27 Multiple choice 29,3 70,7 1,7 0,1 68,9 0,14 Moeilijk V28 Multiple choice 68,4 31,6 0,5 0,0 31,1 0,24 Gemakkelijk 31

35 V29 Multiple choice 92,7 7,3 0,5 0,2 6,6 0,32 Zeer gemakkelijk V30 Multiple choice 81,0 19,0 0,5 0,1 18,4 0,27 Gemakkelijk V31 Multiple choice 91,6 8,4 0,6 0,1 7,7 0,32 Zeer gemakkelijk V32 Multiple choice 81,6 18,4 0,4 0,2 17,8 0,28 Gemakkelijk V33 Multiple choice 65,9 34,1 0,8 0,1 33,2 0,22 Gemakkelijk V34 Multiple choice 84,0 16,0 0,5 0,1 15,4 0,33 Gemakkelijk V35 Multiple choice 87,6 12,4 0,4 0,2 11,8 0,33 Gemakkelijk Tabel 9 Itemkenmerken toets Nederlands begrijpend lezen einde vierde leerjaar TSO/KSO Item Vraagtype PJuist PFout PBlanco POngeldig PFout Aangepast Rit Moeilijkheid V01 Multiple choice 91,3 8,7 6,6 0,1 2,0 0,18 Zeer gemakkelijk V02 Multiple choice 70,2 29,8 7,0 0,2 22,6 0,27 Gemakkelijk V03 Multiple choice 58,3 41,7 7,4 0,2 34,1 0,22 Gematigd V04 Multiple choice 78,7 21,3 7,3 0,2 13,8 0,29 Gemakkelijk V05 Multiple choice 62,9 37,1 7,5 0,2 29,4 0,33 Gemakkelijk V06 Multiple choice 44,6 55,4 9,3 1,3 44,8 0,24 Gematigd V07 Multiple choice 45,7 54,3 7,9 1,0 45,4 0,21 Gematigd V08 Multiple choice 60,3 39,7 7,8 0,3 31,6 0,35 Gemakkelijk V09 Multiple choice 29,7 70,3 8,4 0,3 61,6 0,10 Moeilijk V10 Multiple choice 73,4 26,6 7,8 0,4 18,4 0,33 Gemakkelijk V11 Multiple choice 79,0 21,0 7,6 0,2 13,2 0,32 Gemakkelijk V12 Multiple choice 52,6 47,4 8,2 0,1 39,1 0,25 Gematigd V13 Multiple choice 84,7 15,3 7,6 0,1 7,6 0,39 Gemakkelijk V14 Multiple choice 82,1 17,9 7,8 0,1 10,0 0,36 Gemakkelijk V15 Multiple choice 34,4 65,6 7,4 0,1 58,1 0,40 Moeilijk V16 Multiple choice 75,1 24,9 7,6 0,1 17,2 0,36 Gemakkelijk V17 Multiple choice 36,6 63,4 7,3 0,3 55,8 0,17 Moeilijk V18 Multiple choice 62,7 37,3 7,3 0,1 29,9 0,24 Gemakkelijk V19 Multiple choice 17,6 82,4 7,4 0,3 74,7-0,10 Moeilijk 32

36 V20 Multiple choice 26,5 73,5 7,4 0,3 65,8 0,05 Moeilijk V21 Multiple choice 46,8 53,2 7,8 0,2 45,2 0,28 Gematigd V22 Multiple choice 54,8 45,2 7,1 0,1 38,0 0,32 Gematigd V23 Multiple choice 84,1 15,9 7,0 0,4 8,5 0,31 Gemakkelijk V24 Multiple choice 90,5 9,5 8,8 0,2 0,5 0,39 Zeer gemakkelijk V25 Ordening 16,1 83,9 7,8 2,2 73,9 0,27 Moeilijk V26 Multiple choice 90,3 9,7 6,7 0,1 2,9 0,28 Zeer gemakkelijk V27 Multiple choice 77,0 23,0 7,1 0,3 15,6 0,33 Gemakkelijk V28 Multiple choice 83,2 16,8 7,1 0,3 9,4 0,42 Gemakkelijk V29 Multiple choice 64,3 35,7 7,1 0,7 27,9 0,38 Gemakkelijk V30 Multiple choice 83,8 16,2 7,3 0,2 8,7 0,37 Gemakkelijk V31 Multiple choice 66,3 33,7 7,1 0,3 26,3 0,30 Gemakkelijk V32 Multiple choice 55,8 44,2 7,7 0,2 36,3 0,24 Gematigd V33 Multiple choice 66,4 33,6 7,5 0,3 25,8 0,34 Gemakkelijk V34 Multiple choice 78,0 22,0 7,3 0,3 14,4 0,38 Gemakkelijk Tabel 10 Itemkenmerken toets Nederlands begrijpend lezen einde vierde leerjaar BSO Item Vraagtype PJuist PFout PBlanco POngeldig PFout Aangepast Rit Moeilijkheid V01 Multiple choice 79,1 20,9 0,5 0,2 20,2 0,22 Gemakkelijk V02 Multiple choice 50,6 49,4 0,2 0,5 48,7 0,25 Gematigd V03 Multiple choice 37,8 62,2 1,1 0,1 61,0 0,14 Moeilijk V04 Multiple choice 50,8 49,2 0,3 0,6 48,3 0,25 Gematigd V05 Multiple choice 50,9 49,1 0,3 1,2 47,6 0,22 Gematigd V06 Multiple choice 30,8 69,2 2,2 1,1 65,9 0,12 Moeilijk V07 Multiple choice 33,4 66,6 1,3 0,4 64,9 0,11 Moeilijk V08 Multiple choice 37,7 62,3 1,3 0,6 60,4 0,22 Moeilijk V09 Multiple choice 22,6 77,4 1,5 0,3 75,6 0,00 Moeilijk V10 Multiple choice 56,1 43,9 1,2 0,6 42,1 0,25 Gematigd V11 Multiple choice 66,6 33,4 0,8 1,1 31,5 0,32 Gemakkelijk V12 Multiple choice 35,0 65,0 2,8 0,6 61,6 0,28 Moeilijk 33

37 V13 Multiple choice 72,7 27,3 1,0 0,1 26,2 0,36 Gemakkelijk V14 Multiple choice 63,6 36,4 0,7 0,4 35,3 0,35 Gemakkelijk V15 Multiple choice 45,9 54,1 0,5 0,3 53,3 0,36 Gematigd V16 Multiple choice 63,4 36,6 1,1 0,6 34,9 0,32 Gemakkelijk V17 Multiple choice 31,8 68,2 1,1 0,8 66,3-0,05 Moeilijk V18 Multiple choice 51,7 48,3 1,4 0,5 46,4 0,30 Gematigd V19 Multiple choice 37,7 62,3 1,9 1,1 59,3 0,21 Moeilijk V20 Multiple choice 48,5 51,5 1,5 0,2 49,8 0,18 Gematigd V21a Juist-fout 55,8 44,2 1,1 0,1 43,0 0,18 Gematigd V21b Juist-fout 52,6 47,4 0,7 0,2 46,5 0,24 Gematigd V21c Juist-fout 62,0 38,0 1,3 0,0 36,7 0,16 Gemakkelijk V22 Multiple choice 69,8 30,2 0,8 0,8 28,6 0,38 Gemakkelijk V23 Multiple choice 76,9 23,1 1,8 0,2 21,1 0,40 Gemakkelijk V24 Ordening 3,9 96,1 4,8 4,6 86,7 0,23 Zeer moeilijk V25 Multiple choice 74,0 26,0 0,4 0,7 24,9 0,34 Gemakkelijk V26 Multiple choice 58,1 41,9 1,1 0,9 39,9 0,24 Gematigd V27 Multiple choice 62,9 37,1 1,8 0,5 34,8 0,36 Gemakkelijk V28 Multiple choice 24,8 75,2 1,5 0,6 73,1 0,16 Moeilijk V29 Multiple choice 30,9 69,1 2,3 0,9 65,9 0,19 Moeilijk V30 Multiple choice 64,1 35,9 1,2 0,2 34,5 0,38 Gemakkelijk V31 Multiple choice 31,5 68,5 1,5 0,2 66,8 0,14 Moeilijk 3.7 IRT: Moeilijkheidsgraad en discriminatiegraad In tabellen 11, 12 en 13 worden respectievelijk voor de toets Nederlands begrijpend lezen einde vierde leerjaar ASO, voor de toets Nederlands begrijpend lezen einde vierde leerjaar TSO/KSO en voor de toets Nederlands begrijpend lezen einde vierde leerjaar BSO de discriminatiegraden en de moeilijkheidsgraden van de items weergegeven zoals berekend door IRT-analyses op de toetsresultaten. De discriminatiegraad van een item is een parameter die aangeeft hoe sterk een item onderscheid maakt tussen leerlingen met een verschillend vaardigheidsniveau. De moeilijkheidsgraad van een item is een parameter die aangeeft hoe moeilijk een item is. Hoe hoger de waarde, hoe moeilijker het item. De moeilijkheidsgraad wordt gebruikt om de kans te bepalen dat leerlingen met een bepaald niveau van vaardigheid het item juist oplossen. 34

38 Tabel 11 IRT-resultaten toets Nederlands begrijpend lezen einde vierde leerjaar ASO Item Discriminatie SF discriminatie Moeilijkheid V01 0,80 0,10-3,70 V02 0,64 0,07-2,95 V03 0,66 0,06-1,32 V04 0,87 0,08-2,85 V05 0,58 0,06-1,51 V06 0,68 0,07 0,30 V07 0,79 0,08 0,85 V08 0,94 0,11 1,14 V09 0,79 0,06-0,48 V10 1,16 0,25 2,69 V11 1,14 0,09-2,05 V12 0,78 0,06-0,38 V13 1,47 0,12-2,27 V14 1,18 0,10-2,52 V15 1,42 0,10-1,38 V16 1,06 0,08-1,99 V17 0,75 0,07 0,63 V18 0,57 0,06-1,49 V19 0,94 0,30 3,39 V20 0,77 0,11 1,98 V21 1,10 0,08-0,57 V22 0,67 0,06-1,46 V23 1,25 0,09-1,34 V24 0,87 0,07-1,15 V25 0,98 0,07-0,85 V26 0,70 0,06-0,38 V27 0,84 0,14 2,21 V28 0,73 0,06-0,78 V29 1,62 0,12-2,02 V30 0,95 0,07-1,54 V31 1,48 0,11-2,00 V32 0,97 0,07-1,57 V33 0,65 0,06-0,67 V34 1,24 0,09-1,49 V35 1,39 0,10-1,68 Tabel 12 IRT-resultaten toets Nederlands begrijpend lezen einde vierde leerjaar TSO/KSO Item Discriminatie SF discriminatie Moeilijkheid V01 0,73 0,09-3,28 V02 0,77 0,07-0,93 V03 0,61 0,07-0,10 V04 0,90 0,08-1,43 35

39 V05 0,98 0,08-0,34 V06 0,88 0,10 0,80 V07 0,67 0,09 0,90 V08 1,16 0,10-0,15 V09 0,62 0,15 2,65 V10 0,98 0,08-0,98 V11 1,04 0,08-1,31 V12 0,77 0,08 0,66 V13 1,50 0,11-1,40 V14 1,27 0,10-1,35 V15 1,45 0,11-0,37 V16 1,18 0,09-0,96 V17 0,64 0,10 1,75 V18 0,67 0,07-0,44 V19-1,10 0,33-3,31 V20 0,35 0,14 5,19 V21 0,94 0,09 0,61 V22 1,07 0,10 0,14 V23 1,13 0,09-1,62 V24 1,87 0,15-1,69 V25 1,03 0,09 1,90 V26 1,09 0,10-2,27 V27 1,07 0,08-1,15 V28 1,67 0,12-1,24 V29 1,33 0,10-0,34 V30 1,42 0,11-1,39 V31 0,94 0,08-0,55 V32 0,71 0,07 0,09 V33 1,07 0,09-0,50 V34 1,36 0,10-1,05 Tabel 13 IRT-resultaten toets Nederlands begrijpend lezen einde vierde leerjaar BSO Item Discriminatie SF discriminatie Moeilijkheid V01 0,73 0,10-1,64 V02 0,79 0,11 0,59 V03 0,53 0,12 2,25 V04 0,84 0,11 0,55 V05 0,67 0,10 0,64 V06 0,83 0,22 2,31 V07 0,41 0,13 3,66 V08 0,94 0,16 1,44 V09 0,07 0,34 3,82 V10 0,76 0,10 0,19 V11 1,09 0,11-0,44 V12 1,49 0,24 1,22 V13 1,53 0,15-0,65 36

40 V14 1,29 0,13-0,24 V15 1,83 0,25 0,58 V16 1,18 0,13-0,24 V17-0,25 0,12-6,45 V18 1,00 0,13 0,43 V19 0,95 0,15 1,41 V20 0,63 0,10 0,89 V21a 0,75 0,09 1,64 V21b 1,63 0,15-0,51 V21c 1,93 0,20-0,78 V22 1,82 0,28 2,47 V23 1,23 0,13-0,82 V24 0,77 0,10 0,06 V25 1,29 0,14-0,20 V26 2,09 0,54 1,81 V27 0,94 0,18 2,01 V28 1,48 0,15-0,25 V29 0,74 0,17 2,39 V30 0,73 0,10-1,64 V31 0,79 0,11 0,59 37

41 BIJLAGEN 38

42 Bijlage 1: Handleiding voor toetsleiders

43 De afgedrukte versie van de handleiding heeft het A4-formaat.