LISO-PROJECT: TOETSEN NEDERLANDS EINDE DERDE LEERJAAR

Transcriptie

1 LISO-PROJECT: TOETSEN NEDERLANDS EINDE DERDE LEERJAAR Instrumentontwikkeling en resultaten S. Barbier, K. Denies, N. Van den Branden, J. Dockx, & B. De Fraine

2 LISO-PROJECT: TOETSEN NEDERLANDS EINDE DERDE LEERJAAR Instrumentontwikkeling en resultaten S. Barbier, K. Denies, N. Van den Branden, J. Dockx, & B. De Fraine Promotor: B. De Fraine Co-promotoren: K. Verschueren, K. Petry, B. Spruyt, M. Van Houtte, I. Glorieux, & K. Van den Branden Research paper SONO/2017.OL1.1_6 Leuven, januari 2017

3 Het Steunpunt Onderwijsonderzoek is een samenwerkingsverband van UGent, KU Leuven, VUB, UA en ArteveldeHogeschool. Gelieve naar deze publicatie te verwijzen als volgt: Barbier, S., Denies, K., Van den Branden, N., Dockx, J., De Fraine, B., & Van Damme, J. (2017). LiSO-project: Toetsen Nederlands einde derde leerjaar. Instrumentontwikkeling en resultaten. Steunpunt Onderwijsonderzoek, Gent. Voor meer informatie over deze publicatie Deze publicatie kwam tot stand met de steun van de Vlaamse Gemeenschap, Ministerie voor Onderwijs en Vorming. In deze publicatie wordt de mening van de auteur weergegeven en niet die van de Vlaamse overheid. De Vlaamse overheid is niet aansprakelijk voor het gebruik dat kan worden gemaakt van de opgenomen gegevens STEUNPUNT ONDERWIJSONDERZOEK p.a. Coördinatie Steunpunt Onderwijsonderzoek UGent Vakgroep Onderwijskunde Henri Dunantlaan 2, BE 9000 Gent Deze publicatie is ook beschikbaar via en

4 Voorwoord Dit technisch rapport kadert binnen het Steunpunt voor Onderwijsonderzoek (SONO). Dit steunpunt omvat verschillende onderzoeksdomeinen, waarvan één betrekking heeft op de schoolloopbanen van leerlingen (themalijn 1: de lerende). Het onderzoek Loopbanen in het Secundair Onderwijs, kortweg het LiSO-project, maakt deel uit van deze themalijn 1. Het brengt de wijze waarop leerlingen het secundair onderwijs doorlopen in kaart en identificeert verklarende factoren. Dit rapport beschrijft de instrumentontwikkeling en de resultaten van de toetsen Nederlands einde derde leerjaar, meer bepaald voor het deeldomein begrijpend lezen. Deze toetsen werden in functie van het LiSO-project afgenomen in de maanden mei en juni van het schooljaar Het LiSO-team bestaat uit Catharina Custers, Jonas Dockx, Ilka Fidlers, Naomi Van den Branden, Margo Vandenbroeck, Sara Barbier, en dr. Katrijn Denies (coördinator). Eef Stevens was coördinator tot oktober Het team dankt het coördinatieteam en de promotoren van het LiSO-project voor hun medewerking en feedback. We danken ook het Centrum voor Schoolfeedback voor de samenwerking. Tevens zijn we alle scholen die deelnemen aan het LiSOproject erg dankbaar. We denken hierbij specifiek aan alle leerkrachten die deze toetsen afnamen, alle leerlingen die deze toetsen invulden, en de medewerkers van de scholen die bijdroegen tot een vlot verloop van de toetsafname. 1

5 Inhoud Inleiding 3 Hoofdstuk 1 Ontwikkeling en beschrijving Ontwikkeling en selectie toetsen Nederlands einde derde leerjaar Ontwikkeling toetsen Nederlands einde derde leerjaar Selectiecriteria toetsen Nederlands einde derde leerjaar Beschrijving toetsen Nederlands einde derde leerjaar 9 Hoofdstuk 2 Afnameprocedure en verwerking Afnameprocedure Afnameprocedure op schoolniveau Afnameprocedure in de klas Verwerking Relatie databank en fases van verwerking Fase 1: Invoer Fase 2: Scoring Fase 3: Berekening vaardigheidsscores 16 Hoofdstuk 3 Responsgegevens en resultaten Responsgegevens Afnamedata Validiteit Betrouwbaarheid Verdelingskenmerken Opmerkingen bij de afname IRT: Moeilijkheidsgraad en discriminatiegraad 34 Bijlagen 38 2

6 Inleiding Dit technisch rapport kadert binnen het LiSO-project (Loopbanen in het Secundair Onderwijs) van het Steunpunt voor Onderwijsonderzoek ( ). Dit onderzoek wil de wijze waarop leerlingen het secundair onderwijs doorlopen in kaart brengen en verklaren. Hierbij is het uitgangspunt dat niet alleen factoren op het niveau van de individuele leerling (leerlingkenmerken) en zijn of haar thuisomgeving van belang zijn, maar ook factoren op school-, klas- en leerkrachtniveau. Het LiSOproject wil hierover een bron van informatie zijn voor scholen en beleidsmakers. Het tracht daarbij specifiek inzicht te bieden in school-, klas- en leerkrachtkenmerken die effectief zijn voor prestaties (van onder meer Nederlands, wiskunde en Frans) en voor non-cognitieve uitkomsten van leerlingen (zoals schoolwelbevinden, betrokkenheid en interesse). De focus ligt vooral op factoren die door de school of het beleid kunnen worden beïnvloed om zo de individuele leerprestaties te maximaliseren en te komen tot meer gelijke onderwijskansen voor iedere leerling. Het LiSO-project wil op deze manier bijdragen tot beslissingen die de onderwijseffectiviteit in Vlaanderen zullen doen toenemen. Om deze doelstelling te bereiken wordt vanaf de start van het schooljaar een cohorte van ongeveer leerlingen gevolgd doorheen hun gehele secundaire schoolloopbaan. Deze leerlingen bevonden zich in september 2013 in het eerste leerjaar van de eerste graad van het secundair onderwijs. Tegen het einde van het derde leerjaar bestond de beoogde groep deelnemers uit ongeveer derdejaarsleerlingen en bijna 200 zittenblijvers. De toets Nederlands einde derde leerjaar is één van de instrumenten die worden afgenomen binnen het LiSO-project, naast toetsen Frans, toetsen wiskunde en vragenlijsten voor leerlingen, ouders, klastitularissen, vakleerkrachten en directie. Tot nu toe waren er vier meetmomenten binnen het LiSO-project. De eerste meting vond plaats aan het begin van het eerste leerjaar (september 2013). Er werden toetsen wiskunde, toetsen Nederlands en toetsen Frans afgenomen als startmeting voor de schoolse prestaties van leerlingen. De tweede meting vond plaats op het einde van het eerste leerjaar (mei 2014) en omvatte toetsen wiskunde. De derde meting vond plaats op het einde van het tweede leerjaar (mei 2015) en omvatte eveneens toetsen wiskunde. De vierde, en huidige, meting vond plaats op het einde van het derde leerjaar (mei 2016) en omvatte toetsen Nederlands en toetsen wiskunde. De vragenlijsten voor leerlingen, klastitularissen en vakleerkrachten werden bij de vier meetmomenten afgenomen. De vragenlijst voor de directie werd afgenomen bij het derde meetmoment. De vragenlijst voor de ouders werd bij het eerste meetmoment afgenomen. Bij de andere meetmomenten werd deze vragenlijst enkel afgenomen bij ouders van nieuwe leerlingen. De toetsen Nederlands einde derde leerjaar die steeds toespitsen op begrijpend lezen kunnen niet los gezien worden van de hier vernoemde instrumenten. Het meetmoment in mei 2016 omvatte drie verschillende toetsen voor Nederlands begrijpend lezen: een toets voor leerlingen in het derde leerjaar ASO, een toets voor leerlingen in het derde leerjaar TSO/KSO en een toets voor leerlingen in het derde leerjaar BSO. De afname vond plaats van 3

7 eind april tot begin juni van het schooljaar , wanneer de leerlingen in het derde jaar secundair onderwijs zaten. Hoofdstuk 1 van dit rapport beschrijft de ontwikkeling en inhoud van de toetsen Nederlands. Vervolgens wordt in hoofdstuk 2 de afnameprocedure en verwerking besproken. In hoofdstuk 3 worden ten slotte de responsgegevens en resultaten besproken. In bijlage 1 wordt de brief voor de LiSO-contactpersoon van elke school weergegeven. Deze brief werd meegeleverd met elk pakket toetsmateriaal van een school. In deze brief staat beschreven welk toetsmateriaal werd geleverd aan de school en hoe dit materiaal verspreid moet worden binnen de school. Vervolgens wordt beschreven hoe het materiaal ingeleverd moet worden. In bijlage 2 wordt de handleiding voor de leerkracht van de toets Nederlands einde derde leerjaar weergegeven. Deze handleiding bevat informatie over de concrete afname, richtlijnen over het verloop van de toetsafname, een onderdeel vaak gestelde vragen en contactgegevens. In bijlage 3 wordt het aanwezigheidsblad weergegeven. Op deze aanwezigheidsbladeren moesten de leerkrachten aangeven welke leerlingen al dan niet aanwezig waren tijdens de toetsafname. Tevens moest de klassikale afnamedatum hierop ingevuld worden. Indien een leerling de toets op een andere datum invulde moest dat ook hier ingevuld worden. In bijlage 4 worden de antwoordbladen van de toets Nederlands einde derde leerjaar voor leerlingen ASO weergegeven. De leerlingen dienden hun antwoorden op de opgaven hier te noteren. In bijlage 5 worden de antwoordbladen van de toets Nederlands einde derde leerjaar voor leerlingen TSO/KSO weergegeven. De leerlingen dienden hun antwoorden op de opgaven hier te noteren. In bijlage 6 worden de antwoordbladen van de toets Nederlands einde derde leerjaar voor leerlingen BSO weergegeven. De leerlingen dienden hun antwoorden op de opgaven hier te noteren. 4

8 Hoofdstuk 1 Ontwikkeling en beschrijving Het afnemen van de toetsen Nederlands van april tot juni van het schooljaar past binnen de doelstellingen van het LiSO-project. Dit project wil immers inzicht bieden in de wijze waarop leerlingen het secundair onderwijs doorlopen en schoolse prestaties zijn daarbij een belangrijk kenmerk van de schoolloopbanen. Aangezien het LiSO-project een longitudinale studie maakt van de volledige schoolloopbanen van leerlingen in het secundair onderwijs is het noodzakelijk om op regelmatige tijdsstippen tussentijdse metingen van deze schoolse prestaties uit te voeren. Dit is mogelijk door telkens nieuwe (gekalibreerde) toetsen Nederlands af te nemen bij dezelfde groep leerlingen. Op basis van deze resultaten zal de leerwinst voor Nederlands doorheen het secundair onderwijs beschreven kunnen worden. De toetsen Nederlands die aan het einde van het derde leerjaar worden afgenomen bestaan uit drie versies: één versie voor de leerlingen in het derde leerjaar ASO, één versie voor de leerlingen in het derde leerjaar TSO/KSO en één versie voor de leerlingen in het derde leerjaar BSO. Deze toetsen worden in de tekst respectievelijk toets Nederlands einde derde leerjaar ASO, toets Nederlands einde derde leerjaar TSO/KSO en toets Nederlands einde derde leerjaar BSO genoemd. Wanneer de drie toetsen samen besproken worden, wordt naar deze toetsen gerefereerd als toetsen Nederlands einde derde leerjaar. In de volgende paragrafen van dit hoofdstuk wordt de ontwikkeling en selectie beschreven van de toetsen Nederlands einde derde leerjaar. Vervolgens wordt een inhoudelijk beschrijving gegeven van deze toetsen. 1.1 Ontwikkeling en selectie toetsen Nederlands einde derde leerjaar Ontwikkeling toetsen Nederlands einde derde leerjaar Voor de toetsen Nederlands eind derde leerjaar werd gebruik gemaakt van de toetsen Nederlands begrijpend lezen van het Centrum voor Schoolfeedback. Het Centrum voor Schoolfeedback heeft als doel individuele scholen te voorzien van feedback over de schoolse prestaties van hun leerlingen. Daarbij staat de toegevoegde waarde die scholen realiseren centraal. In functie van dit doel werden toetsen voor de vakken Nederlands, wiskunde en Frans ontwikkeld. Voor elk vak werden er verschillende toetsen ontwikkeld, waaronder toetsen die aan de start van een schooljaar afgenomen kunnen worden en toetsen die op het einde van het schooljaar afgenomen kunnen worden. Op deze manier kunnen scholen zowel feedback krijgen over de beginsituatie van hun leerlingen als de leerwinst die gerealiseerd is op één schooljaar tijd. 5

9 De items (dit zijn de concrete opgaven) en teksten van de toetsen Nederlands begrijpend lezen werden respectievelijk ontwikkeld en geselecteerd door een team van de UA onder leiding van Rita Rymenans. Dit project werd mede uitgevoerd door de projectmedewerkers Stef De Wachter, Jurgen Moons, Tom Venstermans en Katrien Verelst. Deze groep vormde een multidisciplinair team van taalkundigen, methodologen, leraren Nederlands en lerarenopleiders. Bij de ontwikkeling van de items werd als uitgangspunt de eindtermen en ontwikkelingsdoelen van de eerste en tweede graad voor leesvaardigheid Nederlands genomen. Op basis van deze gegevens werd vervolgens een toetsmatrijs opgesteld. Deze toetsmatrijs beschreef welke inhouden aan bod dienden te komen in een toets Nederlands om een valide meting te zijn van de prestaties voor Nederlands begrijpend lezen. Vervolgens werden verschillende items opgesteld en teksten verzameld per inhoud van de toetsmatrijs. Er werden in de eerste instantie meer items ontwikkeld dan nodig opdat de beste items later uitgekozen konden worden voor de definitieve toetsen. De moeilijkheidsgraden van de teksten en items werden initieel ingeschat op basis van twee criteria die ook in de eindtermen en ontwikkelingsdoelen van het basisonderwijs gebruikt worden: het publiek waarvoor de tekst bedoeld was en het verwerkingsniveau dat het item van de leerling vergt. Voor het publiek wordt gesteld dat een tekst moeilijker is naarmate deze verder van de leerling afstaat. Er worden de volgende niveaus van publiek onderscheiden: - De leerling zelf - Bekende leeftijdsgenoten - Onbekende leeftijdsgenoten - Bekende volwassenen - Onbekend publiek Tevens werden er drie verwerkingsniveaus onderscheiden: - Het beschrijvende niveau waarbij leerlingen informatie uit de tekst halen. - Het structurerende niveau waarbij leerlingen informatie uit de tekst op een persoonlijke en overzichtelijke wijze ordenen. - Het beoordelende niveau waarbij leerlingen op basis van een persoonlijke ordening van de informatie een eigen mening dienen te geven of informatie uit verschillende bronnen op een beoordelende wijze dienen te vergelijken. Het onderscheid dat in de eindtermen en ontwikkelingsdoelen gemaakt werd bleek echter geen voldoende sterk kader voor het selecteren van teksten. Daarom werd ook het volgende onderscheid gemaakt tussen de moeilijkheidsniveaus van teksten: - eenvoudige complexe formulering - eenvoudige complexe structurering - korte uitgebreide teksten - veel geen visuele ondersteuning - veel geen vertrouwdheid met de inhoud - concreet abstract 6

10 Het onderscheid dat in de eindtermen en ontwikkelingsdoelen gemaakt werd bleek ook geen voldoende sterk kader voor het ontwikkelen van vragen over de teksten. Daarom werden volgende inhoudsdimensies van vragen gehanteerd: - Vragen over de betekenis van tekstelementen: Hierin wordt nog een onderscheid gemaakt tussen vragen over de betekenis van een woord, woordgroep of zin enerzijds en de betekenis van een alinea of de volledige tekst anderzijds. - Vragen over de relaties tussen tekstelementen: Hierin wordt nog een onderscheid gemaakt tussen vragen over de relaties tussen woorden, woordgroepen of zinnen enerzijds en de relaties tussen alinea s of volledige teksten anderzijds. - Vragen over de schrijver: Vragen in deze categorie peilen naar de bedoeling van de schrijver of zijn referentiekader. - Vragen over de vorm: Vragen kunnen betrekking hebben op de betekenis van formele aspecten van de tekst (vb. lay-out, relatie verbale en non-verbale elementen en vormvereisten van een specifiek teksttype) Tevens werd er voor gezorgd dat verschillende types teksten verzameld werden waaronder informatieve teksten, instructies, schema s en fictionele teksten. Vervolgens verzorgde het Centrum voor Schoolfeedback proefafnames van de items en teksten bij in totaal ruim leerlingen. Op basis van deze data werden vervolgens per item de IRTparameters geschat (de moeilijkheidsgraad 1 en discriminatiegraad 2 volgens analyses die de Item Response Theory volgen) en vervolgens de beste items geselecteerd. Op basis hiervan werden dan de definitieve toetsen voor het eerste leerjaar A en eerste leerjaar B opgesteld met een voldoende spreiding van items in moeilijkheidsgraad en met een voldoende hoge discriminatiegraad. Op deze manier meten de toeten het verschil in vaardigheden tussen leerlingen van verschillende cognitieve niveaus op de meest betrouwbare manier. Deze definitieve toetsen werden vervolgens getest in een semi-longitudinaal onderzoek waarin twee cohortes van nog eens elk ruim leerlingen gevolgd werden. Zij werden gevolgd van begin tot einde van de eerste graad en van begin tot einde van de tweede graad. Hieruit bleek dat de toetsen betrouwbaar en valide waren Selectiecriteria toetsen Nederlands einde derde leerjaar De selectie van geschikte toetsen Nederlands voor het LiSO-project verliep aan de hand van verschillende criteria. Het eerste criterium was dat de toetsen de mogelijkheid moesten bieden voor herhaalde metingen in een longitudinale studie. Er moesten met andere woorden meerdere toetsen beschikbaar zijn die over de schoolloopbaan heen afgenomen kunnen worden. Het tweede criterium was vergelijkbaarheid. Dit betekent dat de scores van deze herhaalde metingen vergelijkbaar moeten zijn met elkaar. Het derde criterium was dat Nederlands op een valide manier gemeten wordt door de toetsen. Het vierde criterium betrof een voldoende spreiding qua 1 De moeilijkheidsgraad van een item is een parameter die aangeeft hoe moeilijk een item is. De moeilijkheidsgraad wordt gebruikt om de kans te bepalen dat leerlingen met een bepaald niveau van vaardigheid het item juist oplossen. 2 De discriminatiegraad van een item is een parameter die aangeeft hoe sterk een item onderscheid maakt tussen leerlingen met een verschillend vaardigheidsniveau. 7

11 moeilijkheidsgraad. De toetsen moesten met andere woorden in staat zijn om de prestaties van een divers leerlingenpubliek te meten. Nauw samenhangend daarmee moesten de toetsen ook een betrouwbare meting zijn van de prestaties voor Nederlands, dit is het vijfde criterium. Aan het eerste criterium, dat de toetsen de mogelijkheid moeten bieden voor herhaalde metingen in een longitudinale studie, voldoen de toetsen van het Centrum voor Schoolfeedback. Dit criterium dient vervuld te zijn om de evolutie van de leerlingprestaties voor Nederlands begrijpend lezen op lange termijn te kunnen beschrijven. Naast de toetsen voor het derde jaar secundair onderwijs, heeft het Centrum voor Schoolfeedback ook toetsen Nederlands die in de voorgaande en daaropvolgende leerjaren afgenomen kunnen worden. Uit deze reeks werden de toetsen voor het eerste leerjaar secundair onderwijs reeds gebruikt in het schooljaar De toetsen Nederlands van het Centrum voor Schoolfeedback bieden dus de mogelijkheid voor herhaalde metingen doorheen de hele schoolloopbanen van leerlingen. Ook aan het tweede criterium - dat de scores vergelijkbaar zijn over verschillende toetsen (en dus leerjaren) heen - voldoen de toetsen van het Centrum voor Schoolfeedback. Vergelijkbaarheid betekent, in het kader van het LiSO-project, dat de scores voor prestaties Nederlands op de startmeting vergeleken kunnen worden met de scores voor prestaties Nederlands in de volgende metingen. Dit criterium hangt nauw samen met het eerste criterium: de prestaties van de leerlingen dienen immers herhaaldelijk gemeten te worden om ze op lange termijn te kunnen beschrijven. Om aan de voorwaarde van vergelijkbaarheid te voldoen, hadden de verschillende toetsen van het Centrum voor Schoolfeedback in de kalibratiefase steeds enkele items gemeenschappelijk. Deze gemeenschappelijke items gaven de mogelijkheid om tijdens de IRT-analyses de moeilijkheidsgraad van alle items vast te leggen, over alle toetsen heen. Daardoor stellen de Schoolfeedback-toetsen ons in staat om de evolutie in de vaardigheid van de leerlingen doorheen de verschillende jaren in kaart te brengen. Het derde criterium betreft de validiteit. De toetsen dienen de vaardigheid Nederlands begrijpend lezen valide te meten. In functie van het LiSO-project beschouwen we dit als een meting die inhoudelijk aansluit op de eindtermen en leerplannen van Nederlands begrijpend lezen van de verschillende onderwijskoepels. De toetsen Nederlands moeten immers een meting zijn van de inhoudelijke kennis en vaardigheden waarover er een relatieve consensus is dat deze de onderdelen zijn van Nederlands begrijpend lezen. De eindtermen van Nederlands begrijpend lezen voor de eerste en tweede graad secundair onderwijs omvatten de inhouden en vaardigheden waarvan men algemeen aanneemt dat ze noodzakelijk zijn voor een goede beheersing van Nederlands begrijpend lezen. De leerplannen van de verschillende onderwijskoepels bieden een goede aanvulling hierop omdat zij de eindtermen meer concreet maken. Aangezien de eindtermen en leerplannen het uitgangspunt waren bij de opstelling van de items in de toetsen van het Centrum voor Schoolfeedback, wordt ook aan deze vereiste voldaan. Het vierde criterium betreft een voldoende spreiding van de moeilijkheidsgraad van de items binnen de toetsen voor het derde leerjaar secundair onderwijs. Dit betekent dat er binnen elke toets items moeten zijn van verschillende moeilijkheidsgraden opdat de toets kan differentiëren tussen leerlingen met verschillende prestatieniveaus. De toetsen van het Centrum voor Schoolfeedback voldoen aan dit criterium omdat bij het opstellen van deze toetsen items van verschillende moeilijkheidsgraden werden geselecteerd. Dit gebeurde op basis van IRT-procedures 8

12 waarin het bepalen van de moeilijkheidsgraden van items centraal staat. Tevens zijn er drie aparte toetsen: één voor het derde leerjaar ASO, één voor het derde leerjaar TSO en KSO, en één voor het derde leerjaar BSO. Per toets is het niveau van de geselecteerde teksten geschikt voor de doelgroep. Het vijfde criterium betreft een voldoende betrouwbaarheid van de toets. De betrouwbaarheid van een toets geeft weer in welke mate de toetsscore vrij is van de invloed van storende factoren. Hoe hoger de betrouwbaarheid van een toets, hoe kleiner het risico dat de toetsscore afwijkt van de ware vaardigheid van de leerling. De toetsen van het Centrum voor Schoolfeedback voldoen aan het criterium van voldoende betrouwbaarheid. Bij het opstellen van deze toetsen zijn immers enkel items opgenomen die de gewenste betrouwbaarheid hadden. Bovendien werden telkens voldoende items per moeilijkheidsgraad opgenomen in de toetsen om zo voor de verschillende vaardigheidsgroepen voldoende betrouwbaar te zijn. 1.2 Beschrijving toetsen Nederlands einde derde leerjaar De toets Nederlands einde derde leerjaar ASO bestond uit 28 vragen (37 items) verspreid over vijf teksten. De toets Nederlands einde derde leerjaar TSO/KSO bestond uit 28 vragen (43 items) verspreid over vijf teksten. De toets Nederlands einde derde leerjaar BSO bestond uit 26 vragen (40 items), eveneens verspreid over vijf teksten. Bij het merendeel van de vragen moesten de leerlingen één antwoord uitkiezen uit vier of vijf mogelijkheden. Er waren echter ook enkele ja/nee en juist/fout-vragen. Het aantal items per tekst wordt weergegeven in Tabel 1. 9

13 Tabel 1 Overzicht toetsinhoud voor Nederlands einde derde leerjaar Derde leerjaar ASO Derde leerjaar TSO/KSO Derde leerjaar BSO item vraag antwoord item vraag antwoord item vraag antwoord Tekst 1 Tekst 1 Tekst 1 1 Vraag 1a nee 1 Vraag 1 d 1 Vraag 1a 2 2 Vraag 1b ja 2 Vraag 2 d 1 Vraag 1b 5 3 Vraag 1c ja 3 Vraag 3 c 1 Vraag 1c 6 4 Vraag 1d ja 4 Vraag 4 a 1 Vraag 1d 4 5 Vraag 2 c 5 Vraag 5 c 1 Vraag 1e 1 6 Vraag 3a fout Tekst 2 1 Vraag 1f 3 7 Vraag 3b juist 6 Vraag 6 c 2 Vraag 2 c 8 Vraag 3c fout 7 Vraag 7 a 3 Vraag 3a c 9 Vraag 3d juist 8 Vraag 8 c 4 Vraag 3b d 10 Vraag 4 c 9 Vraag 9 d Tekst 2 11 Vraag 5 d 10 Vraag 10 a 5 Vraag 4 b 12 Vraag 6 a 11 Vraag 11 d 6 Vraag 5 b 13 Vraag 7 b 12 Vraag 12 c 7 Vraag 6 d Tekst 2 Tekst 3 8 Vraag 7 c 14 Vraag 8 c 13 Vraag 13 d 9 Vraag 8a a of c 15 Vraag 9 a 14 Vraag 14 b 10 Vraag 8b c 16 Vraag 10 c 15 Vraag 15 d 11 Vraag 8c a of c 17 Vraag 11 d 16 Vraag 16 b 12 Vraag 8d b 18 Vraag 12 a 17 Vraag 17a fout 12 Vraag 8e b 19 Vraag 13 d 18 Vraag 17b fout Tekst 3 20 Vraag 14 c 19 Vraag 17c juist 14 Vraag 9a juist Tekst 3 20 Vraag 17d juist 15 Vraag 9b juist 21 Vraag 15 c Tekst 4 16 Vraag 9c fout 22 Vraag 16 c 21 Vraag 18a juist 17 Vraag 9d juist 23 Vraag 17 a 22 Vraag 18b juist 18 Vraag 10 d 24 Vraag 18 a 23 Vraag 18c fout 19 Vraag 11 c 25 Vraag 19 c 24 Vraag 18d juist 20 Vraag 12 b Tekst 4 25 Vraag 19 d 21 Vraag 13a juist 26 Vraag 20 c 26 Vraag 20 c 22 Vraag 13b juist 27 Vraag 21a ja 27 Vraag 21 b 23 Vraag 13c fout 28 Vraag 21b ja 28 Vraag 22a juist 24 Vraag 13d juist 29 Vraag 21c ja 29 Vraag 22b juist 25 Vraag 14a juist 30 Vraag 21d nee 30 Vraag 22c fout 26 Vraag 14b fout 31 Vraag 22 b 31 Vraag 22d juist 27 Vraag 14c juist 32 Vraag 23 c 32 Vraag 23a juist 28 Vraag 14d fout Tekst 5 33 Vraag 23b fout Tekst 4 33 Vraag 24 b 34 Vraag 23c juist 29 Vraag 15 c 34 Vraag 25 c 35 Vraag 23d fout 30 Vraag 16 b 35 Vraag 26 c Tekst 5 31 Vraag 17 d 36 Vraag 27 d 36 Vraag 24 c 32 Vraag 18 c 37 Vraag 28 c 37 Vraag 25a juist 33 Vraag 19 d 38 Vraag 25b fout 34 Vraag 20 d 39 Vraag 25c fout Tekst 5 40 Vraag 25d fout 35 Vraag 21 c 41 Vraag 26 c 36 Vraag 22 a 42 Vraag 27 b 37 Vraag 23 d 43 Vraag 28 d 38 Vraag 24 a 39 Vraag 25 c 40 Vraag 26 b 10

14 Hoofdstuk 2 Afnameprocedure en verwerking In dit hoofdstuk wordt eerst beschreven hoe de afname van de toetsen Nederlands einde derde leerjaar verliep. Het licht eerst toe hoe het toetsmateriaal verspreid en afgenomen werd. Aansluitend wordt weergegeven hoe de verwerking van het ingevulde toetsmateriaal gebeurde, waaronder de invoer van de antwoorden, de scoring van de antwoorden en het berekenen van de vaardigheidsscores. 2.1 Afnameprocedure De volgende paragrafen bespreken de verspreiding van het toetsmateriaal over de verschillende scholen, klassen en leerlingen. Vervolgens spitsen we toe op de afname van het toetsmateriaal in de klassen verliep de verzameling van het ingevulde toetsmateriaal. We omschrijven dit proces als de afnameprocedure Afnameprocedure op schoolniveau De toetsen Nederlands einde derde leerjaar maakten deel uit van een geheel van toetsmateriaal dat verspreid werd onder de scholen in april van het schooljaar Het toetsmateriaal dat verspreid werd bestond uit: toetsen wiskunde, toetsen Nederlands, leerlingvragenlijsten, oudervragenlijsten (enkel voor ouders die nog geen oudervragenlijst hadden ingevuld), bijhorende aanwezigheidslijsten en bijhorende handleidingen. De inhoud van deze toetsen en vragenlijsten wordt besproken in de betreffende rapporten. In wat volgt, bespreken we enkel wat relevant is voor de toetsen Nederlands einde derde leerjaar. Het toetsmateriaal werd per post verzonden naar elke school die deelnam aan het LiSO-project in mei Voor elke school werd een brief voorzien voor de LiSO-contactpersoon 3 (zie bijlage 1). In deze brief werd besproken hoe het toetsmateriaal geordend was, hoe toetsen en vragenlijsten afgenomen dienden te worden, welk extra toetsmateriaal werd voorzien en wat de ophaaldatum was van het ingevulde materiaal. De LiSO-contactpersoon was verantwoordelijk voor de verspreiding van het materiaal onder de klassen/leerkrachten. In mei 2016 waren de klassen en leerlingen bij ons op voorhand gekend. Het toetsmateriaal was dan ook gepersonaliseerd (voorzien van identificatiegegevens) en reeds geordend per klas. Voor elke klas werden echter steeds enkele reserve-exemplaren voorzien voor het geval er nieuwe leerlingen waren ingestroomd of klasveranderingen hadden plaatsgevonden. 3 De LiSO-contactpersoon is de verantwoordelijke binnen een school voor de coördinatie van het LiSO-project. Wie de LiSOcontactpersoon was van een school, werd bij de aanvang van het schooljaar vastgelegd. In de meeste scholen nam een leerkracht, directeur, secretariaatsmedewerker of zorgcoördinator de rol van LiSO-contactpersoon op. 11

15 Wanneer leerkrachten of leerlingen vragen hadden over het toetsmateriaal of over het LiSOproject, functioneerde de LiSO-contactpersoon steeds als aanspreekpunt. De LiSO-contactpersoon gaf deze vragen zo nodig door aan het LiSO-team. Het toetsmateriaal werd op 28 april 2016 naar de scholen verstuurd via bpost. De scholen mochten starten met de afname van de toetsen Nederlands vanaf het moment dat ze het toetsmateriaal ontvingen. De deadline voor de afname van de toetsen Nederlands was 27 mei Hoofdstuk 3 bespreekt de exacte afnamedata van de toetsen in meer detail. Na afloop van de afname van het toetsmateriaal binnen de klassen, diende al het materiaal terug verzameld te worden bij de LiSO-contactpersoon. De LiSO-contactpersoon zette het materiaal vervolgens klaar voor de persoonlijke ophaling door het LiSO-team op 6, 7, 8, 9 en 10 juni Deze persoonlijke aanpak bood ook de kans aan scholen om feedback te geven over de afname van de toetsen Nederlands aan het LiSO-team. Wanneer het toetsmateriaal op een latere datum werd afgenomen, werd een nieuwe ophaaldatum afgesproken en werd het materiaal door het LiSO-team opgehaald. Enkele late scholen stuurden het toetsmateriaal op met de post. Het LiSOproject had etiketten voorzien opdat scholen dit kosteloos konden opsturen Afnameprocedure in de klas Nadat de LiSO-contactpersoon het nodige toetsmateriaal verspreid had in de school, had elke klas een apart pakket voor de afname van de toetsen Nederlands. Het pakket bevatte altijd dezelfde handleiding voor de afname (zie bijlage 1) en aanwezigheidsbladen (zie bijlage 2), en verder de toetsboekjes en antwoordbladen voor de passende onderwijsvorm: ASO (zie bijlage 3), TSO/KSO (zie bijlage 4), of BSO (zie bijlage 5). De antwoordbladen stonden steeds op naam. In alle pakketten werden echter ook steeds enkele blanco toetsen Nederlands voorzien als reservemateriaal. In de volgende paragrafen geven we aan de hand van dit materiaal weer hoe de afnameprocedure in de klas verliep. De handleiding (zie bijlage 1) voor de toetsen Nederlands einde derde leerjaar was gericht naar de leerkracht van de klas of naar een andere medewerker van de school die de toetsen afnam. De handleiding bevatte informatie over de concrete afname, richtlijnen over het verloop van de toetsafname, een onderdeel met vaak gestelde vragen over de toetsen Nederlands en het LiSOproject, en contactgegevens. De toetsen werden doorgaans klassikaal afgenomen, maar soms werden er ook verschillende klassen samen genomen om de toets in één keer van een grotere groep leerlingen af te nemen. De leerkracht of andere toetsleider diende eerst te controleren of al het nodige materiaal voor afname aanwezig was, zoals beschreven in de handleiding. Vervolgens moest op het aanwezigheidsblad aangeduid worden welke leerlingen aan- en afwezig waren. Indien een leerling afwezig was, moest telkens genoteerd worden wat de reden was. Er moest hier ook aangegeven worden wat de afnamedatum was van de toets in de klas. Indien een leerling de toets aflegde op een andere dan de klassikale datum, moest dit ook hier genoteerd worden. Op dit blad werd ook plaats voorzien waar leerkrachten opmerkingen konden schrijven (zowel over de afname als algemene bedenkingen). 12

16 Vervolgens mocht de leerkracht dit materiaal uitdelen. Gepersonaliseerd materiaal moest uiteraard aan de juiste leerling gegeven worden. Indien er blanco toetsmateriaal nodig was, moest de leerkracht erop toezien dat de leerling in kwestie zichzelf duidelijk identificeerde door zijn of haar gegevens in te vullen. Op het eerste blad van de toetsboekjes stonden de instructies voor de leerlingen: welke pen ze mochten gebruiken, hoe ze de antwoorden moesten noteren op het antwoordformulier, en wat ze wel en niet mochten doen tijdens de toetsafname. Er werden ook enkele voorbeeldopgaven voorzien in het toetsboekje. De leerkracht of toetsleider overliep deze afnamerichtlijnen samen met de leerlingen. Op de volgende bladzijden van het toetsboekje stond er telkens een tekst, gevolgd door de bijhorende vragen van de toets Nederlands. Op het laatste blad werd ook informatie voorzien over de bescherming van de privacy en de contactgegevens van het LiSO-project. De leerlingen dienden hun antwoorden over te brengen op de mee uitgedeelde antwoordbladen. Hierop moesten de leerlingen bovendien hun identificatiegegevens controleren en de toetsdatum invullen. De duurtijd die gespendeerd mocht worden aan de toetsen Nederlands was minimaal 1 lestijd van 50 minuten en maximaal 2 lestijden van 50 minuten. De leerkrachten mochten geen vragen beantwoorden die zouden helpen bij het oplossen van de toetsopgaven. Wanneer de leerlingen klaar waren met hun toets leverden ze hun toetsboekjes en/of antwoordbladen in bij de leerkracht. De leerkracht bezorgde vervolgens alles aan de LiSOcontactpersoon van de school. 2.2 Verwerking Het toetsmateriaal werd door het LiSO-team verzameld, gesorteerd, gecontroleerd, voorzien van de nodige identificatiegegevens van de leerlingen en op volgorde gelegd. Vervolgens kon met de verwerking van het toetsmateriaal gestart worden. Deze verwerking verliep in verschillende fases waarvan de resultaten per fase steeds verwerkt werden in de databank. In de volgende paragraaf bespreken we de relatie tussen organisatie van de databank en de verschillende fases van verwerking. In de daaropvolgende paragrafen worden de verschillende fases meer uitvoerig besproken Relatie databank en fases van verwerking De verwerking verliep in drie fases. De eerste fase was de invoer van de antwoorden van de leerlingen. Deze invoer heeft als doel een waarheidsgetrouwe weergave te zijn van de antwoorden die leerlingen gaven. De tweede fase was de scoring van de antwoorden. Deze fase heeft als doel een duidelijke weergave te zijn van wat leerlingen juist of fout hebben. Vervolgens werd in de derde fase een vaardigheidsscore berekend die de vaardigheid van een leerling weergeeft. 13

17 De resultaten van deze drie fases hebben elk hun plaats in de databank van het LiSO-project. Zo wordt de invoer van de antwoorden (fase 1) weggeschreven in de invoervariabele. Indien het niet mogelijk was het antwoord letterlijk weg te schijven (omdat het antwoord ongeldig was) in de invoervariabele werd het antwoord weggeschreven in de bisvariabele. In paragraaf worden de invoer, de invoervariabele en de bisvariabele in detail besproken. De invoer werd vervolgens gescoord (fase 2) op basis van de vooropgestelde correcte antwoorden. Dit resulteerde in een 0 of 1 score voor het betreffende item, deze score werd vervolgens weggeschreven in de bijhorende scorevariabele. Deze scoring wordt in detail besproken in paragraaf Op basis van deze scorevariabelen werd met behulp van IRT-procedures de vaardigheidsscore van een leerling berekend (fase 3). Deze vaardigheidsscore werd vervolgens weggeschreven in een aparte kolom met vaardigheidsscores. De berekening van deze vaardigheidsscore wordt in in detail besproken. In tabel 2 wordt met een voorbeeld de organisatie van de databank weergegeven voor de toetsen Nederlands in het LiSO-project. Hierbij dient LeerlingID ter identificatie van de leerling. Afnamedatum geeft weer op welke datum de leerling de toets invulde. V001 en V002 zijn invoervariabelen en geven weer wat de leerlingen invulden voor de vragen V001 en V002 (1, 2, 3 en 4 betekenen bij multiple choice vragen respectievelijk A, B, C en D). C V001 en C V002 zijn bisvariabelen en geven weer welke ongeldige antwoorden de leerlingen gaven voor V001 en V002 of opmerkingen die zij schreven bij V001 en V002. S001 en S002 zijn scorevariabelen die weergeven welke score (0 of 1) de leerlingen respectievelijk kreeg voor de antwoorden op V001 en V002. De kolom Vaardigheidsscore geeft weer welke vaardigheidsscore voor een leerling berekend werd. Tabel 2 Organisatie databank LiSO voor Nederlands LeerlingI D Afnamedatu m V001 V002 C V00 1 C V00 2 S00 1 S00 2 Vaardigheids -score /05/ , /05/ , /04/ Het antwoord is groen ,21 In de volgende paragrafen worden deze verschillende fases in detail besproken Fase 1: Invoer De invoer van de antwoorden van de leerlingen begrijpen we als het wegschrijven van de antwoorden in de databank (in MS Access) van het LiSO-project. Het LiSO-project nam als uitgangspunt dat de antwoorden die leerlingen gaven steeds zo waarheidsgetrouw mogelijk in de LiSO-databank weergegeven worden. Met andere woorden: wat een leerling invult op zijn 14

18 antwoordblad wordt letterlijk weggeschreven in de databank. Alle antwoorden die zo ingevoerd werden, worden in de LiSO-databank beschouwd als invoervariabelen. De vragen in de toetsen Nederlands einde derde leerjaar bestonden uit multiple choice vragen 4. De multiple choice vragen werden ingelezen van het antwoordblad door een scanner (via Teleformsoftware). De antwoorden werden weggeschreven in de LiSO-database in de bijhorende kolom van de invoervariabele. Voor ongeldige en blanco antwoorden alsook voor opmerkingen werden in de database bijzondere codes voorzien. Deze worden in de volgende paragrafen besproken. Soms gaven leerlingen een antwoord dat niet ingelezen kon worden door de scanner. Deze antwoorden werden geclassificeerd als ongeldige antwoorden. Voorbeelden van ongeldige antwoorden zijn: - Bij multiple choice vragen een antwoord schrijven in plaats van (een) bolletje(s) in te kleuren. - Bij multiple choice vragen waar maar één bolletje ingekleurd mag worden toch meerdere bolletjes inkleuren. In al deze gevallen werd het antwoord ingevoerd als ongeldig en meer concreet als code We kozen voor een numerieke code in functie van diverse databasesoftware waarbij het belangrijk is dat voor bepaalde variabelen enkel numerieke antwoorden worden weggeschreven. Om later toch een beeld te krijgen op deze ongeldige antwoorden, werd in de database vervolgens een extra kolom voorzien waarin het werkelijk gegeven antwoord van de leerling genoteerd. Dit is de zogenaamde bisvariabele. Dit is een kolom in de database waar het werkelijk gegeven antwoord weggeschreven kan worden indien het een ongeldig antwoord betreft. Wanneer leerlingen een bepaalde opgave onbeantwoord lieten en dus geen antwoord gaven, werd dit als een blanco antwoord beschouwd. Er zijn verschillende situaties waarin een blanco antwoord geregistreerd werd: - Een antwoord op een multiple choice vraag werd als blanco beschouwd wanneer geen enkel bolletje ingekleurd was. - Wanneer leerlingen een antwoord gaven, maar dit doorstreepten zonder een nieuw antwoord te geven, werd dit als een blanco antwoord beschouwd. In al deze gevallen werd het antwoord ingevoerd als blanco en meer concreet als code We kiezen voor een numerieke code in functie van diverse databasesoftware waarbij het belangrijk is dat voor bepaalde variabelen enkel numerieke antwoorden worden weggeschreven. Wanneer leerlingen de vragen wel op een geldige manier beantwoordden, maar nog een opmerking opschreven, werd het antwoord weggeschreven op de normale manier. De opmerking van de leerling werd echter ook bijgehouden bij de bisvariabele. 4 Multiple choice vragen zijn vragen waarbij er verschillende antwoordmogelijkheden gegeven worden. Voor elke antwoordmogelijkheid staat een leeg bolletje. Wanneer een leerling denkt dat een bepaalde antwoordmogelijkheid het juiste antwoord is, dient deze het bijhorende bolletje in kleuren. 15

19 2.2.3 Fase 2: Scoring Na de invoer werden de antwoorden van de leerlingen gescoord. Onder scoring begrijpen we enkel het juist of fout rekenen van de antwoorden. Dit juist of fout rekenen resulteert vervolgens in een score 1 of 0 voor respectievelijk een juist of een fout antwoord op een item. De multiple choice vragen waren vragen waarbij slechts één bolletje aangeduid moest worden. Een antwoord werd enkel juist gerekend indien de leerling het juiste bolletje aanduidde. Dit kreeg score 1. In alle andere gevallen (waaronder ook blanco en ongeldige antwoorden) werd de score 0 gegeven. Deze scores werden in de LiSO-databank weggeschreven als scorevariabelen. De scorevariabelen in de databank kunnen rechtstreeks gekoppeld worden aan de invoervariabelen. Bijvoorbeeld De invoer van vraag 6 staat in V006 en de score in S006. Op basis van deze scorevariabelen werd voor elke leerling een totaalscore berekend. De totaalscore was de som van alle scoringsvariabelen. Er is hierbij echter één uitzondering. Vraag 1 van de toets Nederlands einde derde leerjaar BSO bestond uit invoervariabelen V001a tot en met V001f en scorevariabelen S001a tot en met S001f. De vraagonderdelen waren echter niet onafhankelijk van elkaar. De leerlingen moesten tekstdelen in de juiste volgorde plaatsen. Wanneer ze één tekstdeel op de verkeerde positie hadden gezet, was de kans groter dat ze ook nog andere tekstdelen op de verkeerde positie gezet hadden. Voor deze vraag werd er een extra scorevariabele S001 gemaakt. Deze was gelijk aan 1 indien alle variabelen S001a tot en met S001f gelijk waren aan 1 (alle tekstdelen stonden in de juiste volgorde). Indien dit niet het geval was, was S001 gelijk aan 0. Bij de berekening van de totaalscore werd enkel S001 gebruikt. S001a tot en met S001f werden niet opgenomen in de berekening Fase 3: Berekening vaardigheidsscores In dit hoofdstuk wordt beschreven hoe de vaardigheidsscore van iedere leerling berekend werd. We bespreken hiervoor eerst kort de item-respons theorie (IRT). Dit is het model waarmee de vaardigheidsscore van iedere leerling bepaald wordt. Vervolgens bespreken we kort hoe de berekening van deze vaardigheidsscore door middel van IRT verloopt. Zowel in de klassieke testtheorie (KTT) als in de item-respons theorie (IRT) wordt de vaardigheid van een leerling berekend op basis van het al dan niet correct beantwoorden van een aantal items binnen een toets. Tevens wordt in beide theorieën de moeilijkheid van een item berekend op basis van het aantal personen dat een juist antwoord geeft op het item. Waarin IRT echter verschilt van KTT is dat tussen de moeilijkheidsgraad van items en de vaardigheid van leerlingen een specifieke relatie wordt gelegd. Door deze relatie worden zowel de moeilijkheid van de items als de vaardigheden van leerlingen op één figuurlijke meetschaal vastgelegd. Hoe lager een item zich op deze meetschaal bevindt, hoe makkelijker dit is, hoe hoger een item zich op deze meetschaal bevindt, hoe moeilijker dit is. Hoe lager een leerling zich op deze meetschaal bevindt, hoe minder vaardigheid deze heeft, hoe hoger de leerling zich op deze meetschaal bevindt, hoe meer vaardigheid deze heeft. Het is hierbij de afstand tussen de vaardigheid van een persoon en de moeilijkheid van een item die bepaalt wat de kans is dat een item correct wordt opgelost. Wanneer de vaardigheid en de moeilijkheid zich op hetzelfde punt van de meetschaal bevinden, is de kans 50% dat de persoon het item juist heeft. Op deze manier komt IRT tot één figuurlijke meetschaal 16

20 waarop zowel moeilijkheid als vaardigheid gesitueerd kunnen worden. Dankzij IRT-analyses kan deze meetschaal ook over verschillende toetsen heen geconstrueerd worden. Hierdoor kunnen de scores op verschillende toetsen met elkaar vergeleken worden. De enige voorwaarde hiervoor is dat de verschillende toetsen steeds enkele items gemeenschappelijk hebben. Het LiSO-project gebruikt IRT-analyses omdat de scores op verschillende toetsen met elkaar vergeleken moeten worden. Het hebben van één gemeenschappelijke meetschaal over verschillende toetsen is dan ook noodzakelijk. Enkel zo kan de vooruitgang van leerlingen doorheen de tijd beschreven worden en kan de vaardigheid van leerlingen in het derde leerjaar ASO vergeleken worden met de vaardigheid van de leerlingen in het derde leerjaar TSO/KSO of de leerlingen in het derde leerjaar BSO die een andere toets aflegden. Bijgevolg zijn IRT-analyses noodzakelijk voor de berekening van de vaardigheidsscores. De berekening van de vaardigheidsscore verloopt in twee zich steeds herhalende stappen. De eerste stap is dat op basis van de 0 en 1 scores de tijdelijke moeilijkheidsparameters berekend worden per item. De tweede stap is de berekening van de tijdelijke vaardigheidsparameters op basis van de 0 en 1 scores en de tijdelijke moeilijkheidsparameters. Vervolgens is er een herhaling van de eerste stap. Nu worden de moeilijkheidsparameters echter niet enkel berekend op basis van de 0 en 1 scores, maar worden ook de tijdelijke vaardigheidsparameters in de berekening opgenomen. Vervolgens is er een herhaling van stap 2 waar wordt rekening gehouden met de nieuwe tijdelijke moeilijkheids-parameters. Deze twee stappen herhalen zich een aantal keer totdat de moeilijkheids- en vaardigheidsparameters stabiel blijven (convergentie). Wanneer deze stabiliteit bereikt is zijn de vaardigheidsscores en de moeilijkheidsparameter van de items berekend. 17

21 Hoofdstuk 3 Responsgegevens en resultaten 3.1 Responsgegevens In mei 2016 bestond de totale LiSO-steekproef van leerlingen in het derde leerjaar uit leerlingen in 55 pedagogische gehelen (bestaande uit 66 instellingsnummers). In tabel 2 wordt de steekproef van leerlingen weergegeven. Binnen de steekproef waren leerlingen ingeschreven in het derde leerjaar ASO, leerlingen in het derde leerjaar TSO, 45 leerlingen in het derde leerjaar KSO en leerlingen in het derde leerjaar BSO. Tabel 3 Steekproef leerlingen derde leerjaar mei 2016 Stroom N leerlingen (%) Derde leerjaar ASO (51,3%) Derde leerjaar TSO/KSO (29,0%) Derde leerjaar BSO (19,7%) TOTAAL (100%) Van het totaal aantal scholen in de LiSO-steekproef namen er 54 deel aan de leerlingvragenlijst in mei Eén school nam dus niet deel aan de afname. Deze school had in mei 2016 een populatie van 116 leerlingen in het derde leerjaar. Daarnaast zijn er 32 leerlingen in het derde leerjaar die hun deelname aan het LiSO-project formeel geweigerd hebben. Eén van deze leerlingen zat in de school die niet deelnam. Zo komen we tot de substeekproef voor de toets Nederlands die in mei 2016 bestond uit leerlingen, waarvan in het derde leerjaar ASO, in het derde leerjaar TSO/KSO en leerlingen in het derde leerjaar BSO. Alle leerlingen waarvan een ingevuld antwoordblad ontvangen werd met minstens één antwoord werd beschouwd als respons. Indien er toetsen ontvangen werden zonder dat er iets ingevuld werd, werd dit beschouwd als een non-respons. Er zijn 181 leerlingen waarvan geen toetsboekje ontvangen werd. Er zijn 12 klassen (uit 3 pedagogische gehelen) waarvoor er voor de volledige klas geen toetsboekje ontvangen werd (N=160). Er zijn 339 leerlingen waarvan er een volledig blanco toetsboekje ontvangen werd. Er zijn 5 klassen waarvoor er voor de volledige klas een blanco boekje werd ontvangen (N=44). In totaal zijn er dus 520 leerlingen in de categorie non-respons en in de categorie respons. Op basis van de hiervoor beschreven substeekproef werd vervolgens de leerlingenrespons berekend. Van de ontvangen ingevulde antwoordbladen/toetsboekjes beschouwen we er enkele als onbetrouwbaar voor analyses. Bij enkele leerlingen stellen we immers vast dat zij zeer weinig items van de betreffende toets invulden en/of heel wat items op een ongeldige manier invulden. We vermoeden dat de toetsen van deze leerlingen geen betrouwbare meting zijn van hun vaardigheid. 18

22 Daarom besluiten we om de betreffende toetsen uit de analyses weg te laten. We nemen als criterium dat een toets pas betrouwbaar is voor analyses wanneer meer dan de helft van de items op een geldige manier werd ingevuld. Dit wil zeggen dat alle toetsen waarbij de helft of meer items ongeldig of blanco werden ingevuld (zie hoofdstuk 2 voor beschrijving blanco en ongeldig) als onbetrouwbaar voor analyses worden beschouwd. Voor de toets Nederlands derde leerjaar ASO registreren we 6 toetsen waarbij minder dan de helft van de items geldig werd ingevuld. Voor de toets Nederlands derde leerjaar TSO/KSO registreren we 22 toetsen waarbij minder dan de helft van de items geldig werd ingevuld. Voor de toets Nederlands einde derde leerjaar BSO registreren we 22 toetsen waarbij minder dan de helft van de items geldig werd ingevuld. Tabel 4 Responsgegevens mei 2016 N leerlingen (%) Stroom 5 Substeekproef Respons Leerlingen (binnen de steekproef) Geldig ingevulde toetsen (binnen de respons) Derde leerjaar ASO 3.643/3.665 (99,4%) Derde leerjaar TSO/KSO 1.994/2.070 (96,3%) Derde leerjaar BSO 1.359/1.408 (96,5%) TOTAAL 6.996/7.143 (97,9%) 3.509/3.643 (96,3 %) 1.833/1.994 (91,9%) 1.131/1.359 (83,2%) 6.476/6.996 (92,6%) 3.503/3.509 (99,8%) 1.811/1.833 (98,8%) 1.109/1.131 (98,05%) 6.423/6.476 (99,2%) 3.2 Afnamedata De scholen kregen vanaf het ontvangstmoment (29 april) tot en met 27 mei 2016 de tijd om het toetsmateriaal bij de leerlingen af te nemen. Voor de meeste leerlingen werd hieraan voldaan, maar niet voor alle leerlingen. Eén school koos ervoor de toetsen vervroegd af te nemen. Vier klassen van deze school vulden de toets Nederlands in op 27 april. In een aantal andere scholen werden de toetsen aanzienlijk later dan 27 mei afgenomen (tot en met 07 juni 2016). In tabel 5 wordt weergegeven voor hoeveel leerlingen de afnamedatum van 27 mei overschreden werd. 5 Deze indeling verwijst naar het type toets dat de leerling ingevuld heeft. Er is 1 leerling die een ASO-toets afgelegd heeft hoewel hij/zij volgens zijn/haar studierichting eigenlijk een TSO/KSO-toets afgelegd zou moeten hebben. Het is mogelijk dat daardoor de totaalscore voor deze leerling lager zal zijn (in vergelijking met de leerlingen uit het ASO). De vaardigheidsscore van deze leerling is wel correct. 19

23 Tabel 5 Overschrijding uiterste afnamedatum toetsen Nederlands derde leerjaar N leerlingen (%) Studierichting Afname 27/04 27/05 Afname 28/05-07/06 Derde leerjaar ASO Derde leerjaar TSO/KSO Derde leerjaar BSO TOTAAL 3.398/3.503 (97,0%) 1.776/1.811 (98,1%) 1.040/1.113 (93,4%) 6.214/6.427 (96,7%) 105/3.503 (3,0%) 35/1.811 (1,9%) 73/1.113 (6,6%) 213/6.427 (3,3%) Dit betekent dat er sprake is van een vrij lange toetsperiode (van 27 april tot en met 07 juni). Dit kan de vergelijkbaarheid van de toetsresultaten tussen verschillende scholen en klassen in het gedrang brengen. We verwachten immers dat leerlingen bij wie de toets werd afgenomen na 27 mei hoger scoren dan leerlingen waarbij de toets werd afgenomen tot en met 27 mei. De eerste groep heeft namelijk al meer lesuren Nederlands gevolgd dan de tweede groep. Uit de gegevens van de toets Nederlands einde derde leerjaar ASO blijkt er een significant verschil in vaardigheidsscore tussen beide groepen (t 107,93 = -6,62; p < 0,0001). De groep waarbij de toets werd afgenomen na 27 mei behaalde een gemiddelde vaardigheidsscore van 52,10 (SD=9,71) terwijl de groep waarbij de toets werd afgenomen tot en met 27 mei een gemiddelde vaardigheidsscore van 58,44 behaalde (SD=7,56). Merk op dat het geobserveerde verschil hier in de omgekeerde richting ligt dan de verwachting: de leerlingen met minder lesuren Nederlands hebben een hogere vaardigheidsscore dan de leerlingen met meer lesuren Nederlands. Uit de gegevens van de toets Nederlands einde derde leerjaar TSO/KSO blijkt er geen verschil te zijn tussen beide groepen (t 34,79 = -0,29; p = 0,772). De groep waarbij de toets werd afgenomen na 27 mei behaalde een gemiddelde vaardigheidsscore van 48,79 (SD=8,98) terwijl de groep waarbij de toets werd afgenomen tot en met 27 mei een gemiddelde vaardigheidsscore van 49,23 behaalde (SD=6,87). Ook uit de gegevens van de toets Nederlands einde derde leerjaar BSO blijkt geen verschil tussen beide groepen (t 1111 = -0,40; p = 0,691). De groep waarbij de toets werd afgenomen na 27 mei behaalde een gemiddelde vaardigheidsscore van 42,77 (SD=6,35), terwijl de groep waarbij de toets werd afgenomen tot en met 27 mei een gemiddelde vaardigheidsscore van 43,06 behaalde (SD=5,86). De hypothese dat enkele weken meer les tot hogere resultaten zou leiden, wordt dus voor deze twee toetsen Nederlands verworpen. Het is echter cruciaal dat de grote spreiding van afnamedata niet leidt tot een vertekening van de resultaten. Daarom werden alle volgende analyses in dit rapport zowel uitgevoerd met als zonder de leerlingen die na 27 mei hun toetsen invulden. Equivalente resultaten werden steeds bekomen en er was geen indicatie van vertekening. Om deze reden worden enkel de resultaten besproken waarbij alle leerlingen opgenomen zijn. 20

24 De datum waarop een leerling de toets invulde werd ook steeds bijgehouden in de databank van het LiSO-project (zie 2.1.1). De afnamedatum kan dus ook steeds opgenomen wanneer er statistische analyses op de data worden uitgevoerd. In figuur 1 wordt de cumulatieve frequentieverdeling weergegeven van de afnamedata van de toets Nederlands einde derde leerjaar ASO. Deze grafiek geeft per dag weer hoeveel leerlingen de toetsen tot dan toe invulden. Hierbij zien we dat de meeste leerlingen hun toetsen aflegden tussen 9 mei en 20 mei. Eén school koos ervoor de toetsen vervroegd af te nemen. Twee ASO-klassen van deze school vulden de toets Nederlands in op 27 april. Figuur 2 geeft de cumulatieve frequentieverdeling van de afnamedata van de toets Nederlands einde derde leerjaar TSO/KSO. Deze grafiek geeft per dag weer hoeveel leerlingen de toetsen tot dan toe invulden. Hierbij zien we dat de meeste leerlingen hun toetsen aflegden tussen 9 mei en 20 mei. Eén school koos ervoor de toetsen vervroegd af te nemen. Twee TSO-klassen van deze school vulden de toets Nederlands in op 27 april. In figuur 3 wordt de cumulatieve frequentieverdeling weergegeven van de afnamedata van de toets Nederlands einde derde leerjaar BSO. Deze grafiek geeft per dag weer hoeveel leerlingen de toetsen tot dan toe invulden. Hierbij zien we dat de meeste leerlingen hun toetsen aflegden tussen 10 mei en 23 mei. Figuur 1 Cumulatieve frequentieverdeling afnamedata toets Nederlands einde derde leerjaar ASO 21