LISO-PROJECT: TOETSEN NEDERLANDS BEGIN EERSTE LEERJAAR Instrumentontwikkeling en resultaten

Transcriptie

1 LISO-PROJECT: TOETSEN NEDERLANDS BEGIN EERSTE LEERJAAR Instrumentontwikkeling en resultaten J. Dockx, E. Stevens, I. Fidlers, C. Custers, B. De Fraine & J. Van Damme

2

3 LISO-PROJECT: TOETSEN NEDERLANDS BEGIN EERSTE LEERJAAR Instrumentontwikkeling en resultaten J. Dockx, E. Stevens, I. Fidlers, C. Custers, B. De Fraine & J. Van Damme Promotoren coördinatieteam: B. De Fraine, K. Verschueren, K. Petry, S. Gielen, J. Van Damme, A. Vandenbroecke, M. Van Houtte & J.P. Verhaeghe Research paper SSL/ /2.1 Leuven, september 2014

4 Het Steunpunt Studie- en Schoolloopbanen is een samenwerkingsverband van KU Leuven, UGent, VUB, Lessius Hogeschool en HUB. Gelieve naar deze publicatie te verwijzen als volgt: Dockx J., Stevens E., Fidlers I., Custers C., De Fraine B. & Van Damme J. (2014), LiSO-project: toetsen Nederlands begin eerste leerjaar instrumentontwikkeling en resultaten, Steunpunt Studieen Schoolloopbanen, Leuven. Voor meer informatie over deze publicatie Deze publicatie kwam tot stand met de steun van de Vlaamse Gemeenschap, Programma Steunpunten voor Beleidsrelevant Onderzoek. In deze publicatie wordt de mening van de auteur weergegeven en niet die van de Vlaamse overheid. De Vlaamse overheid is niet aansprakelijk voor het gebruik dat kan worden gemaakt van de opgenomen gegevens. D/2014/4718/typ het depotnummer ISBN typ het ISBN nummer 2014 STEUNPUNT STUDIE- EN SCHOOLLOOPBANEN p.a. Secretariaat Steunpunt Studie- en Schoolloopbanen HIVA - Onderzoeksinstituut voor Arbeid en Samenleving Parkstraat 47 bus 5300, BE 3000 Leuven Deze publicatie is ook beschikbaar via

5 Voorwoord Dit technisch rapport kadert binnen de derde generatie van het Steunpunt Studie en Schoolloopbanen ( ). Dit steunpunt omvat verschillende onderzoeksdomeinen, waarvan één betrekking heeft op de schoolloopbanen van leerlingen (onderzoekslijn 2.1). Binnen dit onderzoeksdomein werd in het schooljaar gestart met het onderzoek Loopbanen in het Secundair Onderwijs, kortweg het LiSO-project. Dit onderzoek wil de wijze waarop leerlingen het secundair onderwijs doorlopen in kaart brengen en verklaren. Dit rapport beschrijft de instrumentontwikkeling en resultaten van de toetsen Nederlands begin eerste leerjaar A en B. Deze toetsen zijn respectievelijk gericht op het eerste leerjaar A en het eerste leerjaar B van het secundair onderwijs. Deze toetsen werden in functie van het LiSO-project afgenomen in september en oktober van het schooljaar We danken het coördinatieteam en de promotoren van het LiSO-project voor hun medewerking en feedback tijdens de selectie van deze toetsen. We danken ook het Centrum voor Schoolfeedback dat hun toetsen beschikbaar stelde voor gebruik. Tevens zijn we dankbaar aan alle scholen die deelnemen aan het LiSO-project. We denken hierbij specifiek aan alle leerkrachten die deze toetsen afnamen en alle leerlingen die deze toetsen invulden. Toetsen wiskunde begin eerste leerjaar: instrumentontwikkeling en resultaten v

6

7 Inhoud Voorwoord v Inleiding 1 Hoofdstuk 1 Ontwikkeling en beschrijving Ontwikkeling en selectie toetsen Nederlands begin eerste leerjaar Ontwikkeling toetsen Nederlands begin eerste leerjaar Selectiecriteria toetsen Nederlands begin eerste leerjaar 5 Hoofdstuk 2 Afnameprocedure en verwerking Afnameprocedure Afnameprocedure op schoolniveau Afnameprocedure in de klas Verwerking Relatie databank en fases van verwerking Fase 1: Invoer Fase 2: Scoring Fase 3: Berekening vaardigheidsscores 15 Hoofdstuk 3 Responsgegevens en resultaten Responsgegevens Afnamedata Validiteit Betrouwbaarheid Verdelingskenmerken Opmerkingen bij toetsafname IRT: Moeilijkheidsgraad en discriminatiegraad 27 Bijlagen 31 Bibliografie Toetsen wiskunde begin eerste leerjaar: instrumentontwikkeling en resultaten vii

8 Inleiding Dit technisch rapport kadert binnen het LiSO-project (Loopbanen in het Secundair Onderwijs) van het Steunpunt Studie- en Schoolloopbanen ( ). Dit onderzoek wil de wijze waarop leerlingen het secundair onderwijs doorlopen in kaart brengen en verklaren. Hierbij is het uitgangspunt dat niet alleen factoren op het niveau van de individuele leerling (leerlingkenmerken) en zijn thuisomgeving van belang zijn, maar ook factoren op school-, klas- en leerkrachtniveau. Het LiSO-project wil hierover een bron van informatie zijn voor scholen en beleidsmakers. Ze wil daarbij specifiek inzicht bieden in school-, klas- en leerkrachtkenmerken die effectief zijn voor prestaties (van onder meer Nederlands, wiskunde en Frans) en voor non-cognitieve uitkomsten (zoals schoolwelbevinden, engagement en interesse). De focus ligt vooral op factoren die door de school of het beleid kunnen worden beïnvloed om zo de individuele leerlingprestaties te maximaliseren en te komen tot meer gelijke onderwijskansen voor iedere leerling. Het LiSO-project wil op deze manier bijdragen tot beslissingen die de onderwijseffectiviteit in Vlaanderen zullen doen toenemen. Om deze doelstelling te bereiken wordt vanaf de start van het schooljaar een cohorte van ongeveer leerlingen gevolgd doorheen hun gehele secundaire schoolloopbaan. Deze leerlingen bevonden zich in september 2013 in het eerste leerjaar van de eerste graad van het secundair onderwijs. Om de schoolse prestaties voor Nederlands aan de start van het secundair onderwijs te kennen, werd bij alle leerlingen een toets Nederlands afgenomen. Er waren toetsen voor leerlingen in de A- stroom en voor leerlingen in de B-stroom. De afname vond plaats in september en oktober van het schooljaar Deze toetsen zijn belangrijk omdat ze dienen als startmeting. Op basis van deze resultaten zal de leerwinst vanaf het begin van het secundair onderwijs weergegeven worden en zo kan onderzocht worden welke andere factoren hierop van invloed zijn. Dit technische rapport beschrijft de instrumentontwikkeling en de resultaten van de toetsen Nederlands begin eerste leerjaar A & B De toetsen Nederlands begin eerste leerjaar A & B zijn één van de instrumenten die worden afgenomen binnen het LiSO-project. Als startmeting voor de schoolse prestaties van leerlingen werden ook toetsen wiskunde en toetsen Frans afgenomen. Zo kennen we de schoolse prestaties van de leerlingen aan de start van het secundair onderwijs voor zowel Nederlands, wiskunde als Frans. Deze beginmetingen zullen opgevolgd worden door tussentijdse metingen tijdens de verdere schoolloopbaan. Naast deze toetsen worden er ook vragenlijsten afgenomen van leerlingen, ouders, vakleerkrachten en klastitularissen. De toetsen Nederlands begin eerste leerjaar A & B kunnen niet los gezien worden van de hier vernoemde instrumenten. In hoofdstuk 1 wordt de ontwikkeling en beschrijving gegeven van de toetsen Nederlands. Vervolgens wordt in hoofdstuk 2 de afnameprocedure en verwerking besproken. In hoofdstuk 3 worden ten slotte de responsgegevens en resultaten besproken. In bijlage 1 wordt de brief voor de LiSO-contactpersoon van elke school weergegeven. Deze brief werd meegeleverd met elk pakket toetsmateriaal van een school. In deze brief staat beschreven welk Toetsen wiskunde begin eerste leerjaar: instrumentontwikkeling en resultaten 1

9 toetsmateriaal werd geleverd aan de school en hoe dit materiaal verspreid moest worden binnen de school. Vervolgens wordt beschreven hoe het materiaal ingeleverd moet worden. In bijlage 2 wordt de handleiding voor de leerkracht van de toets Nederlands begin eerste leerjaar A weergegeven. Deze handleiding bevat informatie over de concrete afname, richtlijnen over het verloop van de toetsafname, een onderdeel over vaak gestelde vragen en contactgegevens. In bijlage 3 wordt de handleiding voor de leerkracht van de toets Nederlands begin eerste leerjaar B weergegeven. Deze handleiding bevat informatie over de concrete afname, richtlijnen over het verloop van de toetsafname, een onderdeel over vaak gestelde vragen en contactgegevens. In bijlage 4 wordt het aanwezigheidsblad weergegeven. Op deze aanwezigheidsbladeren moesten de leerkrachten aangeven welke leerlingen al dan niet aanwezig waren tijdens de toetsafname. Tevens moest de klassikale afnamedatum hierop ingevuld worden. Indien een leerling de toets op een andere datum invulde moest dat ook hier ingevuld worden. In bijlage 5 wordt het antwoordblad van de toets Nederlands begin eerste leerjaar A weergegeven. De leerlingen van het eerste leerjaar A dienden hun antwoorden op de opgaven hier te noteren. In bijlage 6 wordt het antwoordblad van de toets Nederlands begin eerste leerjaar B weergegeven. De leerlingen van het eerste leerjaar A dienden hun antwoorden op de opgaven hier te noteren. Toetsen Nederlands begin eerste leerjaar: instrumentontwikkeling en resultaten 2

10 Hoofdstuk 1 Ontwikkeling en beschrijving Het afnemen van toetsen Nederlands aan de start van het LiSO-project past binnen de doelstellingen van dit project. Het LiSO-project wil immers inzicht bieden in de wijze waarop leerlingen het secundair onderwijs doorlopen. Schoolse prestaties zijn een belangrijk kenmerk van de schoolloopbanen. Aangezien het LiSO-project een longitudinale studie maakt van de volledige schoolloopbanen van leerlingen in het secundair onderwijs is het noodzakelijk om een startmeting uit te voeren van deze schoolse prestaties. Het is immers belangrijk de aanvangssituatie van de leerlingen te kennen. Op basis van deze resultaten zal de leerwinst voor Nederlands doorheen het secundair onderwijs beschreven worden door op regelmatige tijdstippen telkens nieuwe (gekalibreerde) toetsen Nederlands af te nemen bij dezelfde groep leerlingen. De toetsen Nederlands die aan het begin van het eerste leerjaar worden afgenomen bestaan uit twee versies: één versie voor de leerlingen in het eerste leerjaar A en één versie voor de leerlingen in het eerste leerjaar B. Deze toetsen worden in de tekst respectievelijk toets Nederlands begin eerste leerjaar A en toets Nederlands begin eerste leerjaar B genoemd. Wanneer beide toetsen besproken worden wordt naar deze toetsen gerefereerd als toetsen Nederlands begin eerste leerjaar. In de volgende paragrafen van dit hoofdstuk wordt de ontwikkeling en selectie beschreven van de toetsen Nederlands begin eerste leerjaar. Hierbij baseren we ons gedeeltelijk op De constructie van een leerlingvolgsysteem begrijpend lezen voor de B-stroom van de eerste graad van het secundair onderwijs van Rymenans et al. (2010) 1.1 Ontwikkeling en selectie toetsen Nederlands begin eerste leerjaar Ontwikkeling toetsen Nederlands begin eerste leerjaar Voor de toetsen Nederlands begin eerste leerjaar van het secundair onderwijs werd gebruik gemaakt van de toetsen Nederlands begrijpend lezen van het Centrum voor Schoolfeedback. Het Centrum voor Schoolfeedback ( heeft als doel individuele scholen te voorzien van feedback over de schoolse prestaties van hun leerlingen. Daarbij staat de toegevoegde waarde die scholen realiseren centraal. In functie van dit doel werden toetsen voor de vakken Nederlands, wiskunde en Frans ontwikkeld. Voor elk vak werden er verschillende toetsen ontwikkeld, waaronder toetsen die aan de start van een schooljaar afgenomen kunnen worden en toetsen die op het einde van het schooljaar afgenomen kunnen worden. Op deze manier kunnen scholen zowel feedback krijgen over de beginsituatie van hun leerlingen als de leerwinst die gerealiseerd is op één schooljaar tijd. Toetsen wiskunde begin eerste leerjaar: instrumentontwikkeling en resultaten 3

11 De items (dit zijn de concrete opgaven) en teksten van de toetsen Nederlands begrijpend lezen werden respectievelijk ontwikkeld en geselecteerd door een team van de UA onder leiding van Rita Rymenans. Dit project werd mede uitgevoerd door de projectmedewerkers Stef De Wachter, Jurgen Moons, Tom Venstermans en Katrien Verelst. Deze groep vormde een multidisciplinair team van taalkundigen, methodologen, leraren Nederlands en lerarenopleiders. Bij de ontwikkeling van de items werd als uitgangspunt de eindtermen en ontwikkelingsdoelen van het basisonderwijs genomen voor leesvaardigheid Nederlands. Op basis van deze gegevens werd vervolgens een toetsmatrijs opgesteld. Deze toetsmatrijs beschreef welke inhouden aan bod dienden te komen in een toets Nederlands om een valide meting te zijn van de prestaties voor Nederlands begrijpend lezen. Vervolgens werden verschillende items opgesteld en teksten verzameld per inhoud van de toetsmatrijs. Er werden in de eerste instantie meer items ontwikkeld dan nodig opdat de beste items later uitgekozen konden worden voor de definitieve testen. De moeilijkheidsgraden van de teksten en items werden initieel ingeschat op basis van twee criteria die ook in de eindtermen en ontwikkelingsdoelen van het basisonderwijs gebruikt worden: het publiek waarvoor de tekst bedoeld was en het verwerkingsniveau dat het item van de leerling vergt. Voor het publiek wordt gesteld dat een tekst moeilijker is naarmate deze verder van de leerling afstaat. Er worden de volgende niveaus van publiek onderscheiden: - De leerling zelf - Bekende leeftijdsgenoten - Onbekende leeftijdsgenoten - Bekende volwassenen - Onbekend publiek Tevens werden er drie verwerkingsniveaus onderscheiden: - Het beschrijvende niveau waarbij leerlingen informatie uit de tekst halen. - Het structurerende niveau waarbij leerlingen informatie uit de tekst op een persoonlijke en overzichtelijke wijze ordenen. - Het beoordelende niveau waarbij leerlingen op basis van een persoonlijke ordening van de informatie een eigen mening dienen te geven of informatie uit verschillende bronnen op een beoordelende wijze dienen te vergelijken. Het onderscheid dat in de eindtermen en ontwikkelingsdoelen gemaakt werd bleek echter geen voldoende sterk kader voor het selecteren van teksten. Daarom werd ook het volgende onderscheid gemaakt tussen de moeilijkheidsniveaus van teksten: - eenvoudige complexe formulering - eenvoudige complexe structurering - korte uitgebreide teksten - veel geen visuele ondersteuning - veel geen vertrouwdheid met de inhoud - concreet abstract Toetsen Nederlands begin eerste leerjaar: instrumentontwikkeling en resultaten 4

12 Het onderscheid dat in de eindtermen en ontwikkelingsdoelen gemaakt werd bleek ook geen voldoende sterk kader voor het ontwikkelen van vragen over de teksten. Daarom werden volgende inhoudsdimensies van vragen gehanteerd: - Vragen over de betekenis van tekstelementen: Hierin wordt nog een onderscheid tussen vragen over de betekenis van een woord, woordgroep of zin enerzijds en de betekenis van een alinea of de volledige tekst anderzijds. - Vragen over de relaties tussen tekstelementen: Hierin wordt nog een onderscheid tussen vragen over de relaties tussen woorden, woordgroepen of zinnen enerzijds en de relaties tussen alinea s of volledige teksten anderzijds. - Vragen over de schrijver: vragen in deze categorie peilen naar de bedoeling van de schrijver of zijn referentiekader. - Vragen over de vorm: Vragen kunnen betrekking hebben op de betekenis van formele aspecten van de tekst (vb. lay-out, relatie verbale en non-verbale elementen en vormvereisten van een specifiek teksttype) Tevens werd er voor gezorgd dat verschillende types teksten verzameld werden waaronder informatieve teksten, instructies, schema s en fictionele teksten Vervolgens werden proefafnames gedaan door het Centrum voor Schoolfeedback van de items en teksten bij in totaal ruim leerlingen. Op basis van deze data werden vervolgens per item de IRT-parameters geschat (de moeilijkheidsgraad 1 en discriminatiegraad 2 ) en vervolgens de beste items geselecteerd. Op basis hiervan werden dan de definitieve toetsen voor het eerste leerjaar A en eerste leerjaar B opgesteld met een voldoende spreiding van items in moeilijkheidsgraad en discriminatiegraad. Op deze manier meten de toeten het verschil in vaardigheden tussen leerlingen van verschillende cognitieve niveaus op de meest betrouwbare manier. Deze definitieve toetsen werden vervolgens getest in een semi-longitudinaal onderzoek waarin twee cohortes van nog eens elk ruim leerlingen gevolgd werden. Zij werden gevolgd van begin tot einde van de eerste graad en van begin tot einde van de tweede graad. Hieruit bleek dat de testen betrouwbaar en valide waren Selectiecriteria toetsen Nederlands begin eerste leerjaar De selectie van geschikte toetsen Nederlands voor het LiSO-project verliep aan de hand van verschillende criteria. Het eerste criterium was dat de toetsen de mogelijkheid moesten bieden voor herhaalde metingen in een longitudinale studie. Er moesten met andere woorden meerdere toetsen beschikbaar zijn die over de schoolloopbaan heen afgenomen kunnen worden. Het tweede criterium was vergelijkbaarheid. Dit betekent dat de scores van deze herhaalde metingen vergelijkbaar moeten zijn met elkaar. Het derde criterium was dat Nederlands op een valide manier gemeten wordt door de toetsen. Het vierde criterium betrof een voldoende spreiding qua moeilijkheidsgraad. De toetsen moesten met andere woorden in staat zijn om de prestaties van een divers 1 De moeilijkheidsgraad van een item is een parameter die aangeeft hoe moeilijk een item is. De moeilijkheidsgraad wordt gebruikt om de kans te bepalen dat leerlingen met een bepaald niveau van vaardigheid het item juist oplossen. 2 De discriminatiegraad van een item is een parameter die aangeeft hoe sterk een item onderscheid maakt tussen leerlingen met een verschillend vaardigheidsniveau. Toetsen Nederlands begin eerste leerjaar: instrumentontwikkeling en resultaten 5

13 leerlingenpubliek te meten. Nauw samenhangend daarmee moesten de toetsen ook een betrouwbare meting zijn van de prestaties voor Nederlands, dit is het vijfde criterium. Aan het eerste criterium, dat de toetsen de mogelijkheid moeten bieden voor herhaalde metingen in een longitudinale studie, voldoen de toetsen van het Centrum voor Schoolfeedback. Dit criterium dient vervuld te zijn om de evolutie van leerlingen hun prestaties voor Nederlands begrijpend lezen op lange termijn te kunnen beschrijven. Naast de toetsen die in het eerste jaar secundair onderwijs kunnen worden afgenomen, heeft het Centrum voor Schoolfeedback ook toetsen Nederlands die in de daaropvolgende leerjaren afgenomen kunnen worden. Tevens zijn er zowel toetsen beschikbaar voor de start als op het einde van het eerste leerjaar secundair onderwijs. De toetsen Nederlands van het Centrum voor Schoolfeedback bieden dus de mogelijkheid voor herhaalde metingen doorheen de hele schoolloopbanen van leerlingen. Ook aan het tweede criterium, dat de scores vergelijkbaar zijn over verschillende toetsen (en dus leerjaren) voldoen de toetsen van het Centrum voor Schoolfeedback. Vergelijkbaarheid betekent, in het kader van het LiSO-project, dat de scores voor prestaties Nederlands op de startmeting vergeleken kunnen worden met de scores voor prestaties Nederlands in de volgende metingen. Dit criterium hangt nauw samen met het eerste criterium. Deze stelt dat de prestaties van de leerlingen herhaaldelijk gemeten dienen te worden om de prestaties op lange termijn te kunnen beschrijven. Aangezien we de evolutie in prestaties willen beschrijven, is vergelijkbaarheid tussen de scores van de herhaalde metingen strikt noodzakelijk. Om aan deze voorwaarde van vergelijkbaarheid te voldoen, hebben de verschillende toetsen van het Centrum Voor Schoolfeedback steeds enkele items gemeenschappelijk. Deze gemeenschappelijke items geven de mogelijkheid om scores over verschillende toetsen te vergelijken (via IRT-analyses). Het derde criterium betreft de validiteit, de toetsen dienen de vaardigheid Nederlands begrijpend lezen valide te meten. In functie van het LiSO-project beschouwen we dit als een meting die inhoudelijk aansluit op de eindtermen en leerplannen van Nederlands begrijpend lezen van de verschillende onderwijskoepels. De toetsen Nederlands moeten immers een meting zijn van de inhoudelijke kennis en vaardigheden waarover er een relatieve consensus is dat deze de onderdelen zijn van Nederlands begrijpend lezen. De eindtermen van Nederlands begrijpend lezen voor de eerste graad secundair onderwijs omvatten de inhouden en vaardigheden waarvan men algemeen aanneemt dat ze noodzakelijk zijn voor een goede beheersing van Nederlands begrijpend lezen. De leerplannen van de verschillende onderwijskoepels bieden een goede aanvulling hierop omdat zij de eindtermen meer concreet maken. Aangezien de eindtermen en leerplannen het uitgangspunt waren bij de opstelling van de items in de toetsen van het Centrum voor Schoolfeedback wordt ook aan deze vereiste voldaan. Het vierde criterium betreft een voldoende spreiding van de moeilijkheidsgraad van de items binnen de toetsen voor het eerste leerjaar secundair onderwijs. Dit betekent dat er binnen elke toets items moeten zijn van verschillende moeilijkheidsgraden opdat de test kan differentiëren tussen leerlingen van verschillende prestatieniveaus. De toetsen van het Centrum voor Schoolfeedback voldoen aan dit criterium omdat bij het opstellen van deze toetsen items van verschillende moeilijkheidsgraden werden geselecteerd (op basis van IRT-procedures waarin het bepalen van de moeilijkheidsgraden van items centraal staat). Tevens zijn er twee aparte toetsen, één voor het eerste leerjaar A en één voor het eerste leerjaar B. Per toets is de spreiding van de moeilijkheidsgraden van de items aangepast aan de doelgroep. Zo is de moeilijkheidsgraad van de Toetsen Nederlands begin eerste leerjaar: instrumentontwikkeling en resultaten 6

14 items voor het eerste leerjaar A rond het niveau einde zesde leerjaar en is de moeilijkheidsgraad van de items voor het eerste leerjaar B rond het niveau einde vierde leerjaar. Het vijfde criterium betreft een voldoende betrouwbaarheid van de test. De betrouwbaarheid van een test geeft weer in welke mate de testscore vrij is van de invloed van storende factoren. Hoe hoger de betrouwbaarheid van een test, hoe kleiner het risico dat de testscore afwijkt van de ware vaardigheid van de leerling. De toetsen van het Centrum voor Schoolfeedback voldoen aan het criterium van voldoende betrouwbaarheid. Bij het opstellen van deze testen zijn immers enkel items opgenomen die de gewenste betrouwbaarheid hadden. Hierbij is er ook specifiek aandacht besteed om voldoende items per moeilijkheidsgraad te hebben om zo voor de verschillende vaardigheidsgroepen voldoende betrouwbaar te zijn. Toetsen Nederlands begin eerste leerjaar: instrumentontwikkeling en resultaten 7

15

16 Hoofdstuk 2 Afnameprocedure en verwerking In dit hoofdstuk wordt eerst beschreven hoe de afnameprocedure van de toetsen Nederlands verliep. Er wordt daarbij besproken hoe het toetsmateriaal verspreid en afgenomen werd. Aansluitend wordt weergegeven hoe de verwerking van het ingevulde testmateriaal gebeurde, waaronder de invoer van de antwoorden, de scoring van de antwoorden en het berekenen van de vaardigheidsscores. 2.1 Afnameprocedure In de volgende paragrafen wordt de verspreiding van het toetsmateriaal over de verschillende scholen, klassen en leerlingen besproken. Vervolgens wordt beschreven hoe de afname van het toetsmateriaal in de klassen verliep en hoe het ingevulde toetsmateriaal nadien terug verzameld werd. We omschrijven dit proces als de afnameprocedure Afnameprocedure op schoolniveau De toetsen Nederlands begin eerste leerjaar maakten deel uit van een geheel van toetsmateriaal dat verspreid werd onder de scholen in september Het toetsmateriaal dat verspreid werd bestond uit: toetsen Nederlands begin eerste leerjaar A & B, toetsen wiskunde begin eerste leerjaar A & B, toetsen Frans begin eerste leerjaar A & B, leerlingvragenlijsten, oudervragenlijsten, bijhorende aanwezigheidslijsten en bijhorende handleidingen. De inhoud van deze toetsen en vragenlijsten wordt besproken in de betreffende rapporten. In wat volgt, bespreken we enkel wat relevant is voor de toetsen Nederlands begin eerste leerjaar A & B. Het toetsmateriaal werd per school persoonlijk geleverd door het LiSO-team. Voor elke school werd een brief voorzien voor de LiSO-contactpersoon 3 (zie bijlage 1). In deze brief werd besproken hoe het toetsmateriaal geordend was, hoe toetsen & vragenlijsten afgenomen dienden te worden, welk extra toetsmateriaal werd voorzien en wat de ophaaldatum was van het ingevulde materiaal. De LiSO-contactpersoon was tevens verantwoordelijk voor de verspreiding van het materiaal onder de klassen/leerkrachten. Dit was afhankelijk van welke informatie reeds bekend was over de populatie leerlingen. Bij de start van het 1 ste jaar van het secundair onderwijs, in september 2013, waren immers nog niet overal alle leerlingen en alle klasindelingen gekend. Er konden zich drie situaties voordoen: 1) Zowel de klassen als de leerlingen waren op voorhand gekend. In dit geval was het toetsmateriaal gepersonaliseerd (voorzien van identificatiegegevens) en reeds geordend per klas. Concreet houdt dit in dat op elke toets Nederlands een sticker 3 De LiSO-contactpersoon is de verantwoordelijke binnen een school voor de coördinatie van het LiSO-project. Wie de LiSOcontactpersoon was van een school werd bij de aanvang van het schooljaar vastgelegd. Deze persoon was vaak een leerkracht, directeur, secretariaatsmedewerker of zorgcoördinator. Toetsen wiskunde begin eerste leerjaar: instrumentontwikkeling en resultaten 9

17 kleefde met de naam van de leerling en enkele andere persoonsgegevens. Het toetsmateriaal kon daardoor door de LISO-contactpersoon onder de juiste klassen verspreid worden. 2) De leerlingen waren op voorhand gekend, maar de klasindelingen niet. In dit geval was het toetsmateriaal gepersonaliseerd (voorzien van identificatiegegevens), maar niet geordend per klas. In dit geval moest de LiSO-contactpersoon het toetsmateriaal ordenen per klas om deze vervolgens onder de juiste klassen te verspreiden. 3) Noch de leerlingen, noch de klasindelingen waren op voorhand gekend. In dit geval was het toetsmateriaal niet voorzien van identificatiegegevens (dit benoemen we verder als blanco ) noch geordend per klas. De hoeveelheid blanco toetsmateriaal werd bepaald op basis van het geschatte aantal leerlingen per stroom. In dit geval moest de LiSOcontactpersoon de juiste hoeveelheid blanco toetsmateriaal verdelen per klas. Wanneer leerkrachten of leerlingen vragen hadden over het toetsmateriaal of LiSO-project functioneerde de LiSO-coördinator steeds als aanspreekpunt. Deze persoon gaf dan ook vragen door aan het LiSO-team wanneer leerkrachten, leerlingen of anderen deze stelden. De periode waarin de 49 scholen (bestaande uit 67 instellingsnummers) 4 het toetsmateriaal ontvingen was op 5, 6, 12 en 13 september De scholen mochten starten met de afname van de toetsen Nederlands vanaf het moment dat ze het toetsmateriaal ontvingen. De deadline voor de afname van de toetsen Nederlands was 1 oktober Twee van de 49 scholen wilden dit materiaal echter vroeger ontvangen en kregen de toetsen Nederlands reeds op 2 en 3 september. Tien scholen konden de toetsen niet in al hun klassen afnemen voor 1 oktober In deze klassen werden de toetsen afgenomen op latere data (In hoofdstuk 3 worden de exacte afnamedata van de toetsen in meer detail besproken). Wanneer de afname van het toetsmateriaal binnen de klassen was afgelopen diende al het materiaal terug verzameld te worden bij de LiSO-contactpersoon. De LiSO-contactpersoon zette het materiaal vervolgens klaar voor de persoonlijke ophaling door het LiSO-team op 3, 4, 10 en 11 oktober. Deze persoonlijke aanpak bood ook de kans aan scholen om feedback te geven over de afname van de toetsen Nederlands aan het LiSO-team. Wanneer het toetsmateriaal op een latere datum werd afgenomen, werd een nieuwe ophaaldatum afgesproken en werd het materiaal door het LiSO-team opgehaald. Enkele late scholen stuurden het toetsmateriaal op met de post. Het LiSO-project had etiketten voorzien opdat scholen dit kosteloos konden opsturen. 4 Een school kan meerdere instellingsnummers hebben, bijvoorbeeld per gebouw of vestiging van de betreffende school of per onderwijsvorm. Deze verschillende instellingsnummers zijn echter geen aparte scholen. Daarom interpreteren we in dit rapport een school als een zogenaamd pedagogisch geheel. Een pedagogisch geheel kan uit meerdere instellingsnummers bestaan. Toetsen Nederlands begin eerste leerjaar: instrumentontwikkeling en resultaten 10

18 2.1.2 Afnameprocedure in de klas Nadat de LiSO-contactpersoon het nodige toetsmateriaal verspreid had in de school had elke klas een apart pakket voor de afname van de toetsen Nederlands. De inhoud van dit pakket verschilde naargelang het een eerste leerjaar A of een eerste leerjaar B betrof. Het pakket voor een eerste leerjaar A bevatte een handleiding voor de afname van de toets Nederlands begin eerste leerjaar A (zie bijlage 2), aanwezigheidsbladen (zie bijlage 4), toetsboekjes en antwoordbladen (zie bijlage 5). Het pakket voor een eerste leerjaar B bevatte een handleiding voor de afname van de toets Nederlands begin eerste leerjaar B (zie bijlage 3), aanwezigheidsbladen (zie bijlage 4), toetsboekjes en antwoordbladen (zie bijlage 6). In beide pakketten werden ook steeds enkele blanco toetsen Nederlands voorzien als reservemateriaal. In de volgende paragrafen geven we aan de hand van dit materiaal weer hoe de afnameprocedure in de klas verliep. De handleidingen (zie bijlagen 2 en 3) voor de toetsen Nederlands begin eerste leerjaar A & B hadden dezelfde inhoud en waren gericht op de leerkracht 5 van de klas. Deze handleidingen bevatten informatie over de concrete afname, richtlijnen over het verloop van de toetsafname, een onderdeel met vaak gestelde vragen over de toetsen Nederlands en het LiSO-project en contactgegevens. De leerkracht was verantwoordelijk voor de afname van de toetsen Nederlands in de klas 6. De leerkracht diende eerst te controleren of al het nodige materiaal voor afname aanwezig was, zoals beschreven in de handleiding. Vervolgens moest op het aanwezigheidsblad (zie bijlage 4) gecontroleerd worden welke leerlingen aan- en afwezig waren. Indien een leerling afwezig was, moest telkens genoteerd worden wat de reden was. Er moest hier ook aangegeven worden wat de afnamedatum was van de toets in de klas. Indien een leerling de toets aflegde op een andere dan de klassikale datum, moest dit ook hier genoteerd worden. Op dit blad werd ook plaats voorzien waar leerkrachten opmerkingen konden schrijven (zowel over de afname als algemene bedenkingen). Vervolgens mocht de leerkracht dit materiaal uitdelen. Indien de toetsen reeds gepersonaliseerd waren moest elk exemplaar aan de juiste leerling gegeven worden. Indien het blanco toetsmateriaal betrof, moest de leerkracht aan elke leerling blanco toetsmateriaal geven. Op het voorblad van het toetsboekje Nederlands begin eerste leerjaar A moesten de leerlingen indien nodig eerst hun identificatiegegevens invullen. Op het eerste blad stonden de instructies voor de leerlingen: welke pen ze mochten gebruiken, waar ze de antwoorden moesten noteren en wat ze wel en niet mochten doen tijdens de afname. Er werden ook enkele voorbeeldopgaven voorzien in het toetsboekje. Vervolgens werden de 38 opgaven van de toets Nederlands gegeven. Op het laatste blad werd ook informatie voorzien over de bescherming van de privacy en de contactgegevens van het LiSO-project. Op het antwoordblad van de toets Nederlands begin eerste leerjaar A moesten de leerlingen ook hun identificatiegegevens en datum van de dag invullen. Hoe men dit antwoordformulier moest invullen, werd beschreven in het toetsboekje. 5 In sommige gevallen nam niet de leerkracht van de klas, maar een andere leerkracht of een secretariaatsmedewerker de toets af. 6 In sommige gevallen werd de toets niet klassikaal afgenomen, maar werden verschillende klassen samengenomen om de toets in één keer van een grotere groep leerlingen af te nemen. Toetsen Nederlands begin eerste leerjaar: instrumentontwikkeling en resultaten 11

19 Op het voorblad van het toetsboekje Nederlands begin eerste leerjaar B moesten de leerlingen indien nodig eerst hun identificatiegegevens invullen. Op het eerste blad stonden de instructies voor de leerlingen: welke pen ze mochten gebruiken, waar ze de antwoorden moesten noteren en wat ze wel en niet mochten doen tijdens de afname. Er werden ook enkele voorbeeldopgaven voorzien in het toetsboekje. Vervolgens werden de 32 opgaven van de toets Nederlands gegeven. Op het laatste blad werd ook informatie voorzien over de bescherming van de privacy en de contactgegevens van het LiSO-project. Op het antwoordblad van de toets Nederlands begin eerste leerjaar B moesten de leerlingen ook hun identificatiegegevens en datum van de dag invullen. Hoe men dit antwoordformulier moest invullen, werd beschreven in het toetsboekje. De leerkracht/toetsleiders overliepen samen met de leerlingen de afnamerichtlijnen die vooraan in de toetsboekjes van de leerlingen stonden. In de handleiding voor de leerkrachten/toetsleiders werden verschillende richtlijnen voorzien waarop zij moesten toezien. De duurtijd die gespendeerd mocht worden aan de toetsen Nederlands was minimaal 1 lestijd van 50 minuten en maximaal 2 lestijden van 50 minuten. De leerkrachten mochten geen vragen beantwoorden die zouden helpen bij het oplossen van de toetsopgaven. De instructies en de precieze verwoording hiervan worden beschreven in de handleiding voor de leerkracht (zie bijlagen 2 en 3). Wanneer de leerlingen klaar waren met hun toets leverden ze hun toetsboekjes en/of antwoordbladen in bij de leerkracht. De leerkracht bezorgde vervolgens alles aan de LiSOcontactpersoon van de school. 2.2 Verwerking Het toetsmateriaal werd door het LiSO-team verzameld, gesorteerd, gecontroleerd, voorzien van de nodige identificatiegegevens van de leerlingen en op volgorde gelegd. Vervolgens kon met de verwerking van het toetsmateriaal gestart worden. Deze verwerking verliep in verschillende fases waarvan de resultaten per fase steeds verwerkt werden in de databank. In de volgende paragraaf bespreken we de relatie tussen organisatie van de databank en de verschillende fases van verwerking. In de daaropvolgende paragrafen worden de verschillende fases meer uitvoerig besproken Relatie databank en fases van verwerking De verwerking verliep in drie fases. De eerste fase was de invoer van de antwoorden van de leerlingen. Deze invoer heeft als doel een waarheidsgetrouwe weergave te zijn van de antwoorden die leerlingen gaven. De tweede fase was de scoring van deze antwoorden. Deze fase heeft als doel een duidelijke weergave te zijn van wat leerlingen juist of fout hebben. Vervolgens werd in de derde fase een vaardigheidsscore berekend die de vaardigheid van een leerling weergeeft. De resultaten van deze drie fases hebben elk hun plaats in de databank van het LiSO-project. Zo wordt de invoer van de antwoorden (fase 1) weggeschreven in de invoervariabele. Indien het niet mogelijk was het antwoord letterlijk weg te schijven (omdat het antwoord ongeldig was) in de invoervariabele werd het antwoord weggeschreven in de bisvariabele. In paragraaf worden de invoer, de invoervariabele en de bisvariabele in detail besproken. De invoer werd vervolgens gescoord (fase 2) op basis van de vooropgestelde correcte antwoorden. Dit resulteerde in een 0 of 1 Toetsen Nederlands begin eerste leerjaar: instrumentontwikkeling en resultaten 12

20 score voor het betreffende item, deze score werd vervolgens weggeschreven in de bijhorende scorevariabele. Deze scoring wordt in detail besproken in paragraaf Op basis van deze scorevariabelen werd met behulp van IRT-procedures de vaardigheidsscore van een leerling berekend (fase 3). Deze vaardigheidsscore werd vervolgens weggeschreven in een aparte kolom met vaardigheidsscores. De berekening van deze vaardigheidsscore wordt in in detail besproken. In tabel 2 wordt de organisatie van de databank weergegeven voor de toetsen Nederlands lezen in het LiSO-project. Hierbij dient LiSO-ID ter identificatie van de leerling. Afnamedatum geeft weer op welke datum de leerling de toets invulde. V001 en V002 zijn invoervariabelen en geven weer wat de leerlingen invulden voor de vragen V001 en V002 (1, 2, 3 en 4 betekenen bij multiple choice vragen respectievelijk A, B, C en D). BISV001 en BISV002 zijn bisvariabelen en geven weer welke ongeldige antwoorden de leerlingen gaven voor V001 en V002 of opmerkingen die zij schreven bij V001 en V002. S001 en S002 zijn scorevariabelen die weergeven welke score de leerlingen respectievelijk kreeg voor de antwoorden op V001 en V002. De kolom Vaardigheidsscore geeft weer welke vaardigheidsscore voor een leerling berekend werd. Tabel 2 organisatie databank LiSO voor Nederlands LiSO-ID Afnamedatum V001 V002 BISV001 BISV002 S001 S002 Vaardigheidsscore /09/ , /09/ , /09/ Het antwoord is film ,21 In de volgende paragrafen worden deze verschillende fases in detail besproken Fase 1: Invoer De invoer van de antwoorden van de leerlingen begrijpen we als het wegschrijven van de antwoorden in de databank van het LiSO-project. Het LiSO-project nam als uitgangspunt dat de antwoorden die leerlingen gaven steeds zo waarheidsgetrouw mogelijk in de LiSO-databank weergegeven worden. Met andere woorden: wat een leerling invult op zijn antwoordblad of in zijn toetsboekje wordt letterlijk weggeschreven in de databank. Alle antwoorden die zo ingevoerd werden, worden in de LiSO-databank beschouwd als invoervariabelen. De vragen in de toetsen Nederlands begin eerste leerjaar A & B bestonden enkel uit multiple choice vragen. Voor de toets Nederlands begin eerste leerjaar A werden de multiple choice vragen ingelezen van het antwoordblad door een scanner (via Teleform-software). Voor de toets Nederlands begin eerste leerjaar B werd geen antwoordblad voorzien en werden alle antwoorden in het toetsboekje genoteerd. De antwoorden werden om deze reden allen manueel ingevoerd. De antwoorden op de multiple choice vragen werden weggeschreven in de LiSO-database in de bijhorende kolom van de invoervariabele. Voor ongeldige en blanco antwoorden alsook voor opmerkingen werden in de database bijzondere codes voorzien. Deze worden in de volgende paragrafen besproken. Toetsen Nederlands begin eerste leerjaar: instrumentontwikkeling en resultaten 13

21 Soms gaven leerlingen een antwoord dat niet ingelezen kon worden door de scanner. Deze antwoorden werden geclassificeerd als ongeldige antwoorden. Voorbeelden van ongeldige antwoorden zijn: - Bij multiple choice vragen een antwoord schrijven in plaats van (een) bolletje(s) in te kleuren. - Bij multiple choice vragen waar maar één bolletje ingekleurd mag worden toch meerdere bolletjes inkleuren. In deze gevallen werd het antwoord ingevoerd als ongeldig en meer concreet als code We kiezen voor een numerieke code in functie van diverse databasesoftware waarbij het belangrijk is dat voor bepaalde variabelen enkel numerieke antwoorden worden weggeschreven. Om later toch een beeld te krijgen op deze ongeldige antwoorden, werd in de database vervolgens een extra kolom voorzien waarin het werkelijk gegeven antwoord van de leerling genoteerd wordt (of een beschrijving in het geval van een tekening). Dit is de zogenaamde bisvariabele. Dit is een kolom in de database waar het werkelijk gegeven antwoord weggeschreven kan worden indien het een ongeldig antwoord betreft. Wanneer leerlingen een bepaalde opgave onbeantwoord lieten en dus geen antwoord gaven, werd dit als een blanco antwoord beschouwd. Er zijn verschillende situaties waarin een blanco antwoord geregistreerd wordt: - Een antwoord op een multiple choice vraag werd als blanco beschouwd wanneer geen enkel bolletje ingekleurd was. - Wanneer leerlingen een antwoord gaven, maar dit doorstreepten zonder een nieuw antwoord te geven, werd dit als een blanco antwoord beschouwd. - Wanneer leerlingen enkel een vraagteken of een kleine krabbel invulden, werd dit als een blanco antwoord beschouwd. In al deze gevallen werd het antwoord ingevoerd als blanco en meer concreet als code We kiezen voor een numerieke code in functie van diverse databasesoftware waarbij het belangrijk is dat voor bepaalde variabelen enkel numerieke antwoorden worden weggeschreven. Wanneer leerlingen de vragen wel op een geldige manier beantwoordden, maar nog een opmerking opschreven, werd het antwoord weggeschreven op de normale manier. De opmerking van de leerling werd echter ook bijgehouden bij de bisvariabele Fase 2: Scoring Na de invoer werden de antwoorden van de leerlingen gescoord. Onder scoring begrijpen we enkel het juist of fout rekenen van de antwoorden. Dit juist of fout rekenen, resulteert vervolgens in een score 1 of 0 voor respectievelijk een juist of een fout antwoord op een item. In de volgende paragrafen bespreken we hoe dit proces verliep voor de multiple choice vragen. De multiple choice vragen bestonden uit twee types: er waren vragen waarbij slechts één bolletje aangeduid moest worden en vragen waarbij meerdere bolletjes aangeduid moesten worden. Bij het eerste type werd een antwoord enkel juist gerekend indien de leerling het juiste bolletje aanduidde. Bij het tweede type werd het antwoord enkel juist gerekend wanneer de leerling alle juiste bolletjes aanduidde. Enkel wanneer leerlingen het juiste bolletje of de juiste bolletjes hadden aangeduid werd Toetsen Nederlands begin eerste leerjaar: instrumentontwikkeling en resultaten 14

22 hun antwoord als juist beoordeeld en kreeg het antwoord de score 1. In alle andere gevallen (waaronder ook blanco en ongeldige antwoorden) werd de score 0 gegeven. Dit proces waarin de multiple choice vragen werden gescoord resulteerde in een score 0 of 1 per item per leerling. Deze scores werden in de LiSO-databank weggeschreven als scorevariabelen Fase 3: Berekening vaardigheidsscores In dit hoofdstuk wordt beschreven hoe de vaardigheidsscore van iedere leerling berekend werd. We bespreken hiervoor eerst kort de Item-respons theorie (IRT). Dit is het model waarmee de vaardigheidsscore van iedere leerling bepaald wordt. Vervolgens bespreken we kort hoe de berekening van deze vaardigheidsscore door middel van IRT verloopt. Zowel in de klassieke testtheorie (KTT) als in de item-respons theorie (IRT) wordt de vaardigheid van een leerling berekend op basis van het al dan niet correct beantwoorden van een aantal items binnen een test. Tevens wordt in beide theorieën de moeilijkheid van een item berekend op basis van het aantal personen dat een juist antwoord geeft op het item. Waarin IRT echter verschilt van KTT is dat tussen de moeilijkheidsgraad van items en de vaardigheid van leerlingen een specifieke relatie wordt gelegd. Door deze relatie worden zowel de moeilijkheid van de items als de vaardigheden van leerlingen op één figuurlijke meetschaal vastgelegd. Hoe lager een item zich op deze meetschaal bevindt, hoe makkelijker dit is, hoe hoger een item zich op deze meetschaal bevindt, hoe moeilijker dit is. Hoe lager een leerling zich op deze meetschaal bevindt, hoe minder vaardigheid deze heeft, hoe hoger de leerling zich op deze meetschaal bevindt, hoe meer vaardigheid deze heeft. Het is hierbij de afstand tussen de vaardigheid van een persoon en de moeilijkheid van een item die bepaalt wat de kans is dat een item correct wordt opgelost. Wanneer de vaardigheid en de moeilijkheid zich op hetzelfde punt van de meetschaal bevinden, is de kans 50% dat de persoon het item juist heeft. Op deze manier komt IRT tot één figuurlijke meetschaal waarop zowel moeilijkheid als vaardigheid gesitueerd kunnen worden. Dankzij IRT-analyses kan deze meetschaal ook over verschillende toetsen heen geconstrueerd worden. Hierdoor kunnen de scores op verschillende toetsen met elkaar vergeleken worden. De enige voorwaarde hiervoor is dat de verschillende toetsen steeds enkele items gemeenschappelijk hebben. Het LiSO-project gebruikt IRT-analyses omdat de scores op verschillende testen met elkaar vergeleken moeten worden. Het hebben van één gemeenschappelijke meetschaal over verschillende testen is dan ook noodzakelijk. Enkel zo kan de vooruitgang van leerlingen doorheen de tijd beschreven worden. Bijgevolg zijn IRT-analyses noodzakelijk voor de berekening van de vaardigheidsscore. De berekening van de vaardigheidsscore verloopt in twee zich steeds herhalende stappen. De eerste stap is dat op basis van de 0 en 1 scores de tijdelijke moeilijkheidsparameters berekend worden per item. De tweede stap is de berekening van de tijdelijke vaardigheidsparameters op basis van de 0 en 1 scores en de tijdelijke moeilijkheidsparameters. Vervolgens is er een herhaling van de eerste stap. Nu worden de moeilijkheidsparameters echter niet enkel berekend op basis van de 0 en 1 scores, maar worden ook de tijdelijke vaardigheidsparameters in de berekening opgenomen. Vervolgens is er een herhaling van stap 2 waar rekening gehouden wordt met de nieuwe tijdelijke moeilijkheidsparameters. Deze twee stappen herhalen zich een aantal keer totdat de moeilijkheids- Toetsen Nederlands begin eerste leerjaar: instrumentontwikkeling en resultaten 15

23 en vaardigheidsparameters stabiel blijven (convergentie). Wanneer deze stabiliteit bereikt is zijn de vaardigheidsscores en de moeilijkheidsparameter van de items berekend. Toetsen Nederlands begin eerste leerjaar: instrumentontwikkeling en resultaten 16

24 Hoofdstuk 3 Responsgegevens en resultaten 3.1 Responsgegevens De totale LiSO-steekproef aan het begin van het eerste leerjaar secundair onderwijs (september 2013) bestond uit leerlingen in 49 scholen (bestaande uit 67 instellingsnummers) 7. Binnen de steekproef waren leerlingen ingeschreven in het eerste leerjaar A en 827 leerlingen ingeschreven in het eerste leerjaar B. In tabel 3 wordt de steekproef van leerlingen weergegeven. Tabel 3 Steekproef leerlingen september 2013 Stroom N leerlingen (%) Eerste leerjaar A (87,28%) Eerste leerjaar B 824 (12,72%) TOTAAL (100%) Van het totaal aantal scholen in de LiSO-steekproef namen er 50 deel aan de toetsen Nederlands begin eerste leerjaar. Eén school nam dus niet deel aan de eerste afname. Deze school had op 1 september leerlingen waarvan 64 leerlingen in het eerste leerjaar A en 49 leerlingen in het eerste leerjaar B. Zo komen we tot de substeekproef voor Nederlands die op september 2013 bestond uit leerlingen, waarvan leerlingen in het eerste leerjaar A en 775 in het eerste leerjaar B zaten. In tabel 4 wordt de substeekproef van leerlingen weergegeven. Alle leerlingen waarvan een ingevuld antwoordblad (voor het eerste leerjaar A) of ingevuld toetsboekje (voor het eerste leerjaar B) ontvangen werd met minstens één antwoord werd beschouwd als respons. Indien er toetsen ontvangen werden zonder dat er iets ingevuld werd, werd dit beschouwd als een non-respons. Op basis van de hiervoor beschreven substeekproef werd vervolgens de leerlingenrespons berekend. In tabel 4 wordt de respons van de leerlingen in de substeekproef weergegeven. Van de ontvangen ingevulde antwoordbladen/toetsboekjes beschouwen we er enkelen als onbetrouwbaar voor analyses. Bij enkele leerlingen stellen we immers vast dat zij zeer weinig items van de betreffende toets invulden en/of heel wat items op een ongeldige manier invulden. We vermoeden dat de toetsen van deze leerlingen geen betrouwbare meting zijn van hun vaardigheid. Daarom besluiten we om de betreffende toetsscores uit de analyses weg te laten. We nemen als criterium dat een toets pas betrouwbaar is voor analyses wanneer meer dan de helft van de items op een geldige manier werd ingevuld. Dit wil zeggen dat alle toetsen waarbij de helft of meer items ongeldig of blanco werden ingevuld (zie hoofdstuk 2 voor beschrijving blanco en ongeldig) als onbetrouwbaar voor analyses worden beschouwd. Voor de toets Nederlands eerste leerjaar A registreren we 27 toetsen waarbij minder dan de helft van de items geldig werden ingevuld. Voor de 7 Een school kan meerdere instellingsnummers hebben, bijvoorbeeld per gebouw of vestiging van de betreffende school of per onderwijsvorm. Deze verschillende instellingsnummers zijn echter geen aparte scholen. Daarom interpreteren we in dit rapport een school als een zogenaamd pedagogisch geheel. Een pedagogisch geheel kan uit meerdere instellingsnummers bestaan. Toetsen wiskunde begin eerste leerjaar: instrumentontwikkeling en resultaten 17

25 toets Nederlands eerste leerjaar B registreren we negen toetsen waarbij minder dan de helft van de items geldig werd ingevuld. In tabel 4 geven we het aantal geldige aantal toetsen weer op het totaal aantal ontvangen toetsen. Tabel 4 Responsgegevens N leerlingen (%) Stroom Substeekproef Respons Leerlingen Geldig ingevulde toetsen Eerste leerjaar A 5.591/5.655 (98,87%) Eerste leerjaar B 775/824 (94,05%) TOTAAL 6366/6479 (98,26%) 5.408/5.591 (96,73%) 721/775 (93,03%) 6.129/6.366 (96,28%) 5.381/5.408 (99,50%) 712/721 (98,75%) 6.093/6.129 (99,41%) 3.2 Afnamedata De scholen kregen vanaf het ontvangstmoment (5, 6, 12 en 13 september) tot 1 oktober de tijd om het toetsmateriaal bij de leerlingen af te nemen. Voor de meeste leerlingen werd hieraan voldaan, maar niet voor alle leerlingen. In een aantal gevallen werden de toetsen aanzienlijk later afgenomen (tot en met 11 oktober). Twee scholen wilden het toetsmateriaal reeds vroeger ontvangen en namen de toetsen af op 2 en 3 september. Deze scholen wilden de resultaten immers gebruiken voor de indeling van hun klassen. In tabel 5 wordt weergegeven voor hoeveel leerlingen de afnamedatum van 1 oktober overschreden werd. Tabel 5 Overschrijding uiterste afnamedatum N leerlingen (%) Stroom Afname 03/09-01/10 Afname 02/10-11/10 Eerste leerjaar A 4.817/5.381 (89.52%) Eerste leerjaar B 640/712 (89,89%) TOTAAL 5.457/6.093 (89.56%) 564/5.381 (10.48%) 72/712 (10,11%) 636/6.093 (10.44%) Dit betekent dat er sprake is van een vrij lange toetsperiode (van 2 september tot 14 oktober). Dit kan de vergelijkbaarheid van de toetsresultaten tussen verschillende scholen en klassen in het gedrang brengen. We verwachten immers dat leerlingen bij wie de toets werd afgenomen na 1 oktober hoger scoren dan leerlingen waarbij de toets werd afgenomen tot en met 1 oktober. De eerste groep heeft namelijk al meer lesuren Nederlands gevolgd dan de tweede groep. Uit de gegevens van de toets Nederlands begin eerste leerjaar A blijkt echter geen effect te zijn van afnamedatum. De groep waarbij de toets werd afgenomen na 1 oktober behaalde een gemiddelde vaardigheidsscore van 51,35 (SD=9,00) terwijl de groep waarbij de toets werd afgenomen tot en met Toetsen Nederlands begin eerste leerjaar: instrumentontwikkeling en resultaten 18

26 1 oktober een gemiddelde vaardigheidsscore van 51,41 behaalde (SD=9,07). Uit de gegevens van de toets Nederlands begin eerste leerjaar B blijkt er een verwaarloosbaar effect te zijn. De groep waarbij de toets werd afgenomen na 1 oktober behaalde een gemiddelde vaardigheidsscore van 44,24 (SD=7,15) terwijl de groep waarbij de toets werd afgenomen tot en met 1 oktober een gemiddelde vaardigheidsscore van 42,53 behaalde (SD=7,90) De hypothese dat de enkele weken meer les tot hogere resultaten zou leiden, wordt dus verworpen. Het is echter cruciaal dat de grote spreiding van afnamedata niet leidt tot een vertekening van de resultaten. Daarom werden alle volgende analyses in dit rapport zowel uitgevoerd met als zonder de leerlingen die na 1 oktober hun toetsen invulden. Equivalente resultaten werden steeds bekomen en er was geen indicatie van vertekening. Om deze reden worden enkel de resultaten besproken waarbij alle leerlingen opgenomen zijn. In figuur 1 wordt de cumulatieve frequentieverdeling weergegeven van de afnamedata van het eerste leerjaar A. Deze grafiek geeft per dag weer hoeveel leerlingen de toetsen tot dan toe invulden. Hierbij zien we dat de meeste leerlingen hun toetsen aflegden tussen 22 en 29 september. Figuur 1 Cumulatieve frequentieverdeling afnamedata 1A Bron: LiSO-project (Schooljaar ) In figuur 2 wordt de cumulatieve frequentieverdeling weergegeven van de afnamedata van het eerste leerjaar B. Deze grafiek geeft per dag weer hoeveel leerlingen de toetsen tot dan toe invulden. Hierbij zien we dat de meeste leerlingen hun toetsen aflegden tussen 22 en 29 september. In vergelijking met het eerste leerjaar A zijn de afnamedata echter iets meer gespreid over de tijd. Toetsen Nederlands begin eerste leerjaar: instrumentontwikkeling en resultaten 19

27 Figuur 2 Cumulatieve frequentieverdeling afnamedata 1B Bron: LiSO-project (Schooljaar ) In tabel 6 worden percentiel 10, percentiel 25, de mediaan, percentiel 75 en percentiel 90 van de afnamedata weergegeven. De percentielen van de afnamedata geven weer op welke datum dat 10%, 25%, 75% of 90% van de leerlingen de toets reeds hadden ingevuld. De mediaan geeft weer wanneer 50% van de leerlingen de toets reeds hadden ingevuld, deze is dus gelijk aan percentiel 50. Hier zien we dat minstens 50% van de toetsen van het eerste leerjaar A werden ingevuld tussen 20/09 en 27/09. Voor het eerste leerjaar B is er een iets grotere spreiding en werden 50% van de toetsen ingevuld tussen 20/09 en 30/09. 90% van de toetsen van het eerste leerjaar A werden ingevuld voor 02/10 terwijl 90% van de toetsen van het eerste leerjaar B werden ingevuld voor 02/10 Tabel 6 Verdelingskenmerken afnamedata begin eerste leerjaar A e, B P10 P25 Mediaan P75 P90 Eerste leerjaar A 18/09 20/09 25/09 27/09 02/10 Eerste leerjaar B 13/09 20/09 25/09 30/09 02/10 Toetsen Nederlands begin eerste leerjaar: instrumentontwikkeling en resultaten 20

28 3.3 Validiteit Er werd onderzocht of de toetsen Nederlands begin eerste leerjaar één of meerdere achterliggende vaardigheden meet. Indien er slechts evidentie is voor één vaardigheid dan verleent dit steun aan de hypothese dat de toets enkel vaardigheden voor Nederlands begrijpend lezen meet. Daarom werd een exploratieve factoranalyse uitgevoerd op de items van zowel de toets Nederlands begin eerste leerjaar A als de toets Nederlands begin eerste leerjaar B. Het doel van deze factoranalyse is om na te gaan of een één-factoroplossing de beste factoroplossing is voor een geheel van items. Indien dit zo blijkt te zijn is dit een sterke indicatie van een valide toetsinstrument. Figuur 3 Scree plot 1A Bron: LiSO-project (Schooljaar ) Om te bepalen of een één-factoroplossing de beste factoroplossing is, wordt zowel gebruik gemaakt van een scree-plot als van de proportie verklaarde variantie 8 van de verschillende factoren. Op basis van deze criteria besluiten we voor de toets Nederlands begin eerste leerjaar A dat de éénfactoroplossing de beste factoroplossing is. We vinden immers dat 13,99% van de variantie in de toetsscores verklaard wordt door de eerste factor. Ook de scree plot (zie figuur 3) wijst op een éénfactoroplossing als de beste factoroplossing. 8 Criterium Proportie verklaarde variantie : enkel factoren die minstens 5% van de variantie verklaren worden weerhouden. Toetsen Nederlands begin eerste leerjaar: instrumentontwikkeling en resultaten 21

29 Figuur 4 Scree plot 1B Bron: LiSO-project (Schooljaar ) Aan de hand van dezelfde criteria gaan we na of de één-factoroplossing ook voor de toets Nederlands begin eerste leerjaar de beste factoroplossing is. We vinden dat 16,43 van de variantie in de toetsscores verklaard wordt door de eerste factor. Er moet hierbij echter opgemerkt worden dat de tweede factor 5,70% van de variantie in de toetsscores verklaard. Dit is een indicatie dat een twee-factorenoplossing een betere factoroplossing is. Deze tweede factor is echter enkel significant omdat de verschillende deelvragen van item 10 hier sterk op laden. De verschillende deelvragen van item 10 laden sterk op deze tweede factor omdat ze het begrip van dezelfde tekst bevragen. Dit heeft als gevolg dat ze een sterkere onderlinge samenhang vertonen dan met de andere items. Ze meten echter geen aparte vaardigheid. We zien ook dat de deelvragen van item 10 even sterk laden op de eerste factor als de andere items. We besluiten dan ook dat de één-factoroplossing de beste factoroplossing is. Ook de scree plot (zie figuur 4) wijst op een één-factoroplossing als de beste factoroplossing. 3.4 Betrouwbaarheid Om de betrouwbaarheid van de toetsen Nederlands eerste leerjaar A en B na te gaan, werden de Cronbachs alfacoëfficiënten 9 berekend voor beide toetsen. In tabel 7 worden de Cronbachs alfacoëfficiënten weergegeven voor het eerste leerjaar A en het eerste leerjaar B (Alfa). Tevens wordt ook weergegeven op hoeveel geldig ingevulde toetsen de Cronbachs alfacoëfficiënten werden berekend. 9 Een Cronbachs alfacoëfficiënt is een maat voor de interne consistentie van de items van een test. Hoe hoger deze maat hoe consistenter de items zijn in het meten van een bepaalde vaardigheid. Toetsen Nederlands begin eerste leerjaar: instrumentontwikkeling en resultaten 22

30 Tabel 7 Betrouwbaarheid toetsen Nederlands begin eerste leerjaar A en begin eerste leerjaar B N Alfa Eerste leerjaar A Eerste leerjaar B De toetsen Nederlands begin eerste leerjaar A en B hebben een hoge betrouwbaarheid volgens de berekende Cronbachs alfacoëfficiënten. Deze uitkomst bevestigt dat bij het opstellen van de toetsen de betrouwbaarheid een belangrijk criterium was. Bij de berekening van de Cronbachs alfacoëfficiënten werden blanco en ongeldige antwoorden mee opgenomen. Zij werden logischerwijs als een foutief antwoord beschouwd. De alfacoëfficiënt van de toets Nederlands begin eerste leerjaar A kan verder verhoogd worden tot 0,83 door het weglaten van item 19. Het alfacoëfficient van de toets Nederlands begin eerste leerjaar B kan niet verder verhoogd worden. 3.5 Verdelingskenmerken Tabel 9 bevat verschillende verdelingskenmerken van de toetsen Nederlands: het aantal leerlingen dat de toetsen Nederlands eerste leerjaar A en B op een geldige manier heeft ingevuld (N), de gemiddelde ruwe score 10 op 38 items voor het eerste leerjaar A en 25 items voor het eerste leerjaar B, de bijbehorende standaardafwijking (SD), de laagste en de hoogste geregistreerde score (Min en Max) en de scheefheidcoëfficiënt. Tabel 10 Verdelingskenmerken toetsen Nederlands begin eerste leerjaar A & B N Ruwe score SD Min Max Scheefheid Nederlands 1A ,70 6, ,08 Nederlands 1B ,27 4, ,19 De toets Nederlands begin eerste leerjaar A bestond uit 38 items, waardoor de leerlingen maximaal een ruwe score van 38 en minimaal een ruwe score van 0 konden behalen. De gemiddelde ruwe score van 22,70 ligt boven het theoretisch gemiddelde 11 van 19. De spreiding is op basis van de standaarddeviatie van 6,35 niet te hoog. Geen enkele leerling behaalde een nulscore. De maat voor scheefheid wijst op een normale verdeling. In figuur 5 zien we dat de hierboven beschreven verdelingskenmerken bevestigd worden. Tevens zien we dat de verdeling van de testscores de standaardnormale verdeling grotendeels volgt, maar niet volledig. De toets Nederlands begin eerste leerjaar B bestond uit 25 items, waardoor de leerlingen maximaal een ruwe score van 25en minimaal een ruwe score van 0 konden behalen. De gemiddelde ruwe score van 14,27 ligt iets boven het theoretisch gemiddelde van 12,5. De spreiding is op basis van de standaarddeviatie van 4,39 niet te hoog. Geen enkele leerling behaalde de maximale score. De maat voor scheefheid wijst op een verwaarloosbare links-scheve verdeling. In figuur 6 zien we dat de 10 De ruwe score van een leerling is de som van het aantal juiste antwoorden dat een leerling gaf op de items van de toets. Voor een juist antwoord krijgt een leerling één punt, voor een fout antwoord krijgt een leerling nul punten. Er wordt bij de berekening van de ruwe score dus geen rekening gehouden met de moeilijkheid van de items. 11 Een theoretisch gemiddelde van een test in het gemiddelde van het totaal aantal items in een test. Toetsen Nederlands begin eerste leerjaar: instrumentontwikkeling en resultaten 23

31 hierboven beschreven verdelingskenmerken bevestigd worden. Tevens zien we dat de verdeling van de testscores de standaardnormale verdeling grotendeels volgt met enkele uitschieters. Figuur 5 Frequentieverdeling ruwe scores Nederlands begin eerste leerjaar A Bron: LiSO-project (Schooljaar ) Figuur 6 Frequentieverdeling ruwe scores Nederlands begin eerste leerjaar B Bron: LiSO-project (Schooljaar ) De tabellen 11 en 12 geven de itemkenmerken weer voor de toetsen Nederlands begin eerste leerjaar A en B. Beide tabellen bevatten per item de proportie leerlingen die het juiste antwoord Toetsen Nederlands begin eerste leerjaar: instrumentontwikkeling en resultaten 24

32 hebben ingevuld (P juist ) en de proportie leerlingen die een fout antwoord hebben ingevuld (P fout ). Indien een leerling een item niet of ongeldig heeft ingevuld, wordt dit ook als een fout antwoord beschouwd. Daarnaast wordt ook de proportie blanco antwoorden per item weergegeven (Blanco) alsook de proportie ongeldige antwoorden (Ongeldig). Verder wordt de proportie leerlingen weergegeven die een fout antwoord hebben ingevuld, zonder de ongeldige en blanco antwoorden mee te tellen (P Fout Aangepast ) Tot slot wordt ook per item de itemtotaalcorrelatie gegeven (R it ). We onderscheiden een gematigde moeilijkheidsgraad (P juist -waarde tussen 0,40 en 0,60), een gemakkelijke moeilijkheidsgraad (P juist -waarde groter dan 0,60) en een moeilijke moeilijkheidsgraad (P juist -waarde kleiner dan 0,40). Ook de zeer moeilijke items (P juist -waarde kleiner dan 0,10) als de zeer gemakkelijke items worden benoemd. ((P juist -waarde groter dan 0,90). Dertien items van de toets Nederlands begin eerste leerjaar A hebben een gematigde moeilijkheidsgraad, twintig items zijn gemakkelijk en vier items zijn moeilijk. Slechts één item is zeer moeilijk. Geen enkel item kan als zeer gemakkelijk gecategoriseerd worden. Twaalf items van de toets Nederlands begin eerste leerjaar B hebben een gematigde moeilijkheidsgraad, elf items zijn gemakkelijk en acht items van de toets zijn moeilijk. Slechts één item is zeer moeilijk. Slechts één item is zeer gemakkelijk De itemtotaalcorrelaties 12 voor de toets Nederlands begin eerste leerjaar A situeren zich tussen - 0,05 en 0,43. Vier items hebben een itemtotaalcorrelatie lager dan 0,20. Voor de toets Nederlands begin eerste leerjaar B situeren de itemtotaalcorrelaties zich tussen 0,14 en0,43. Drie items hebben een itemtotaalcorrelatie lager dan 0,20. Tabel 11 Itemkenmerken Toets Nederlands Begin Eerste Leerjaar A Item P Juist P Fout Blanco Ongeldig P Fout Aangepast R it S001 0,41 0,59 0,00 0,01 0,58 0,26 S002 0,65 0,35 0,00 0,01 0,34 0,20 S003 0,45 0,55 0,00 0,01 0,54 0,41 S004 0,59 0,41 0,00 0,01 0,40 0,35 S005 0,71 0,29 0,00 0,01 0,28 0,28 S006 0,35 0,65 0,00 0,00 0,65 0,20 S007 0,80 0,20 0,00 0,01 0,19 0,37 S008 0,64 0,36 0,00 0,00 0,36 0,31 S009 0,69 0,31 0,00 0,00 0,31 0,36 S010 0,84 0,16 0,00 0,00 0,16 0,30 S011 0,44 0,56 0,00 0,00 0,56 0,32 S012 0,86 0,14 0,00 0,00 0,14 0,22 S013 0,83 0,17 0,00 0,00 0,17 0,24 S014 0,44 0,56 0,00 0,00 0,56 0,36 S015 0,38 0,62 0,00 0,00 0,62 0,33 12 Een itemtotaalcorrelatie geeft weer hoe sterk een item samenhangt met de andere items van een test. Er wordt verwacht dat deze itemcorrelatie steeds positief is. Immers meten de verschillende items dezelfde vaardigheid en horen ze samen te hangen. Toetsen Nederlands begin eerste leerjaar: instrumentontwikkeling en resultaten 25

33 S016 0,64 0,36 0,00 0,00 0,36 0,32 S017 0,67 0,33 0,00 0,00 0,33 0,28 S018 0,67 0,33 0,00 0,01 0,32 0,32 S019 0,08 0,92 0,00 0,00 0,92-0,05 S020 0,56 0,44 0,00 0,01 0,43 0,29 S021 0,38 0,62 0,00 0,02 0,60 0,38 S022 0,61 0,39 0,00 0,01 0,38 0,41 S023 0,51 0,49 0,00 0,01 0,48 0,40 S024 0,61 0,39 0,00 0,01 0,38 0,36 S025 0,75 0,25 0,01 0,03 0,21 0,26 S026 0,83 0,17 0,00 0,01 0,16 0,33 S027 0,58 0,42 0,00 0,01 0,41 0,23 S028 0,37 0,63 0,00 0,02 0,61 0,21 S029 0,85 0,15 0,00 0,01 0,14 0,16 S030 0,79 0,21 0,00 0,01 0,20 0,37 S031 0,67 0,33 0,00 0,01 0,32 0,32 S032 0,78 0,22 0,00 0,01 0,21 0,38 S033 0,58 0,42 0,00 0,02 0,40 0,43 S034 0,67 0,33 0,00 0,02 0,31 0,32 S035 0,51 0,49 0,00 0,02 0,47 0,38 S036 0,48 0,52 0,00 0,03 0,49 0,19 S037 0,48 0,52 0,00 0,02 0,50 0,32 S038 0,53 0,47 0,00 0,02 0,45 0,41 Tabel 12 Itemkenmerken Toets Nederlands Begin Eerste Leerjaar B Item P Juist P Fout Blanco Ongeldig P Fout Aangepast R it S01 0,46 0,54 0,01 0,00 0,53 0,21 S02 0,47 0,53 0,00 0,01 0,52 0,37 S03 0,81 0,19 0,00 0,01 0,18 0,32 S04 0,48 0,52 0,01 0,01 0,50 0,28 S05 0,72 0,28 0,01 0,01 0,26 0,34 S06 0,56 0,44 0,00 0,01 0,43 0,41 S07 0,78 0,22 0,01 0,01 0,20 0,40 S08 0,65 0,35 0,01 0,02 0,32 0,43 S09 0,68 0,32 0,00 0,03 0,29 0,37 S10a 0,92 0,08 0,00 0,01 0,07 0,37 S10b 0,87 0,13 0,00 0,01 0,12 0,37 S10c 0,86 0,14 0,00 0,01 0,13 0,33 Toetsen Nederlands begin eerste leerjaar: instrumentontwikkeling en resultaten 26

34 S10d 0,74 0,26 0,00 0,01 0,25 0,36 S10e 0,75 0,25 0,01 0,04 0,20 0,28 S11 0,58 0,42 0,00 0,00 0,42 0,30 S12 0,18 0,82 0,01 0,03 0,78 0,14 S13 0,58 0,42 0,01 0,01 0,40 0,34 S14 0,46 0,54 0,01 0,01 0,52 0,23 S15 0,27 0,73 0,00 0,01 0,72 0,24 S16 0,49 0,51 0,01 0,01 0,49 0,29 S17 0,49 0,51 0,01 0,02 0,48 0,27 S18 0,67 0,33 0,00 0,04 0,29 0,39 S19 0,06 0,94 0,10 0,01 0,83 0,24 S20 0,44 0,56 0,00 0,02 0,54 0,16 S21 0,41 0,59 0,00 0,03 0,56 0, Opmerkingen bij toetsafname Leerkrachten kregen op de aanwezigheidsbladen van de toetsen Nederlands begin eerste leerjaar A en B steeds de mogelijkheid om opmerkingen te schrijven over de testafname. De meeste leerkrachten schreven geen opmerkingen op de aanwezigheidsbladen. Wanneer er wel opmerkingen geschreven werden waren het hoofdzakelijk opmerkingen over specifieke leerlingen. De meeste van deze opmerkingen hebben betrekking op het gedrag van de leerling tijdens de toetsafname. Andere opmerkingen hebben betrekking op leer/gedragsproblemen van leerlingen die mogelijk een impact hebben op de toetsafname. Er werden ook enkele opmerkingen gegeven over leerlingen die de Nederlandse taal niet machtig zijn en bijgevolg problemen ondervinden met deze toets. Opmerkingen die betrekking hebben op de toets zelf werden niet gegeven. 3.7 IRT: Moeilijkheidsgraad en discriminatiegraad In tabellen 13 en 14 worden respectievelijk voor de toets Nederlands begin eerste leerjaar A en voor de toets Nederlands begin eerste leerjaar B de moeilijkheidsgraden en de discriminatiegraden van de items weergegeven zoals berekend door IRT-analyses. De moeilijkheidsgraad van een item is een parameter die aangeeft hoe moeilijk een item is. De moeilijkheidsgraad wordt gebruikt om de kans te bepalen dat leerlingen met een bepaald niveau van vaardigheid het item juist oplossen. De discriminatiegraad van een item is een parameter die aangeeft hoe sterk een item onderscheid maakt tussen leerlingen met een verschillend vaardigheidsniveau. Tabel 13 Moeilijkheidsgraad en discriminatiegraad toets Nederlands begin eerste leerjaar A Item Discriminatiegraad SD Discriminatiegraad Moeilijkheidsgraad SD Moeilijkheidsgraad S001 0,34 0,04 1,03 0,18 S002 0,36 0,04-1,01 0,15 Toetsen Nederlands begin eerste leerjaar: instrumentontwikkeling en resultaten 27

35 S003 0,62 0,05 0,03 0,08 S004 0,54 0,05-0,64 0,09 S005 0,35 0,04-0,85 0,14 S006 0,27 0,04 1,19 0,23 S007 0,68 0,07-2,04 0,16 S008 0,42 0,05-1,44 0,16 S009 0,56 0,05-1,25 0,11 S010 0,50 0,07-2,71 0,29 S011 0,46 0,04 0,01 0,10 S012 0,36 0,06-3,81 0,57 S013 0,33 0,06-3,13 0,51 S014 0,44 0,05 0,13 0,12 S015 0,18 0,04 1,92 0,52 S016 0,49 0,06-1,29 0,16 S017 0,38 0,05-1,59 0,23 S018 0,48 0,06-1,19 0,15 S019 0,15 0,05 10,35 3,14 S020 0,35 0,05-0,83 0,18 S021 0,47 0,06 0,65 0,15 S022 0,56 0,06-0,96 0,12 S023 0,53 0,06-0,28 0,11 S024 0,52 0,06-1,07 0,13 S025 0,39 0,06-2,44 0,34 S026 0,61 0,07-1,81 0,16 S027 0,26 0,04-0,22 0,21 S028 0,34 0,05 0,77 0,20 S029 0,32 0,06-4,06 0,71 S030 0,57 0,07-1,95 0,18 S031 0,40 0,05-1,53 0,19 S032 0,62 0,08-1,70 0,16 S033 0,57 0,06-0,61 0,11 S034 0,47 0,06-1,34 0,17 S035 0,51 0,06-0,41 0,11 S036 0,26 0,04 0,09 0,21 S037 0,44 0,05-0,10 0,13 S038 0,58 0,06-0,45 0,10 Tabel 13 Moeilijkheidsgraad en discriminatiegraad toets Nederlands begin eerste leerjaar B Toetsen Nederlands begin eerste leerjaar: instrumentontwikkeling en resultaten 28

36 Item Discriminatiegraad SD Discriminatiegraad Moeilijkheidsgraad SD Moeilijkheidsgraad S01 0,28 0,04-0,83 0,15 S02 0,69 0,06-0,91 0,07 S03 0,73 0,08-2,64 0,16 S04 0,58 0,05-1,17 0,08 S05 0,42 0,05-2,27 0,19 S06 0,51 0,05-1,48 0,10 S07 0,82 0,11-2,53 0,17 S08 0,92 0,09-1,51 0,08 S09 0,87 0,09-1,77 0,10 S10a 0,85 0,15-3,19 0,29 S10b 0,97 0,13-2,57 0,16 S10c 0,71 0,11-2,92 0,25 S10d 0,69 0,09-2,15 0,15 S10e 0,40 0,07-2,58 0,29 S11 0,40 0,04-1,47 0,13 S12 0,40 0,05 1,24 0,22 S13 0,59 0,05-1,41 0,09 S14 0,50 0,05-0,84 0,09 S15 0,43 0,05 0,31 0,13 S16 0,31 0,04-1,04 0,14 S17 0,38 0,06-1,41 0,16 S18 0,57 0,07-1,89 0,15 S19 0,80 0,14 1,75 0,33 S20 0,33 0,06-0,72 0,17 S21 0,27 0,05-0,23 0,23 Toetsen Nederlands begin eerste leerjaar: instrumentontwikkeling en resultaten 29

37

38 BIJLAGEN Toetsen Nederlands begin eerste leerjaar: instrumentontwikkeling en resultaten 31

39 Bijlage 1 Brief LiSO-contactpersoon Toetsen Nederlands begin eerste leerjaar: instrumentontwikkeling en resultaten

40 LiSO Loopbanen in het Secundair Onderwijs Dekenstraat 2 bus Leuven Beste school, U ontving van ons het nodige afnamemateriaal voor de LiSO-bevraging van september-oktober 2013 van alle leerlingen die in het eerste jaar van de eerste graad zitten in uw school. Graag geven wij hierbij een woordje uitleg. De pakketten werden u aangeleverd per instellingsnummer en zijn geordend per klas met de leerlingen in alfabetische volgorde. Indien we nog niet over de indeling in klassen beschikten bij het opmaken van het afnamemateriaal, werden alle leerlingen per stroom (1A vs. 1B) alfabetisch geordend. We rekenen op uw hulp voor de correcte verdeling van het afnamemateriaal. Er moeten drie toetsen worden afgenomen: een toets Frans, een toets wiskunde en een toets Nederlands. U kiest als school zelf of u deze toetsen laat afnemen door de betreffende vakleerkracht dan wel op een gezamenlijk moment voor alle leerlingen. Elke afname duurt 1 à 2 lestijden. Bij elke toets zit een handleiding voor de leerkracht/toetsleider alsook een aanwezigheidslijst om de deelnemende leerlingen te registreren. Daarnaast is er een leerlingvragenlijst die door elke leerling moet worden ingevuld. Ook hier laten we de keuze aan u of u deze vragenlijst laat afnemen door bijvoorbeeld de klastitularis dan wel tijdens een gezamenlijk moment voor alle leerlingen. De afname duurt hoogstens 1 lestijd. Bij elke leerlingvragenlijst zit een handleiding voor de leerkracht/toetsleider, alsook een aanwezigheidslijst om de deelnemende leerlingen te registreren. Tot slot ontving u ook oudervragenlijsten. We vragen aan elke leerling om deze te laten invullen door zijn/haar ouders. We raden aan om de oudervragenlijsten te laten uitdelen door de klastitularis. Hij of zij kan dan ook meteen registreren welke leerling de oudervragenlijst reeds ingevuld terugbracht. Bij elke oudervragenlijst zit opnieuw een handleiding voor de leerkracht/toetsleider, alsook een registratielijst om te registreren welke leerlingen de vragenlijst reeds ingevuld terugbrachten. Het kan zijn dat er, nadat het LiSO-team uw administratieve gegevens opvroeg, leerlingen zijn bijgekomen in uw school. Dit is geen probleem. We voorzien bij elk pakket extra toetsen en vragenlijsten. De leerkracht/toetsleider dient dan wel het stamnummer van de leerling op de toets te schrijven, bij wijze van unieke identificatie. Het kan dus zijn dat de leerkracht deze informatie komt opvragen indien nodig. Indien er vragenlijsten of toetsen tekort zouden zijn, mag u ons uiteraard altijd contacteren. We vragen u om alle toetsen en vragenlijsten vóór 1 oktober terug te verzamelen. Gebruik hiervoor de dozen waarmee het onderzoeksteam het afnamemateriaal naar de school bracht. Het LiSO-team zal het afnamemateriaal persoonlijk komen ophalen op donderdag 3 oktober Gelieve tegen die tijd alle dozen te hebben klaarstaan. Toetsen Nederlands begin eerste leerjaar: instrumentontwikkeling en resultaten

41 LiSO Loopbanen in het Secundair Onderwijs Dekenstraat 2 bus Leuven Indien het niet zou lukken alle vragenlijsten en toetsen tijdig te verzamelen, kan u de nog ontbrekende toetsen en vragenlijsten kosteloos nasturen via bpost. Indien het bijvoorbeeld gaat om enkele oudervragenlijsten, gebruik dan een A4-omslag. Indien het om een groter pakket gaat, gebruik dan één van de dozen waarmee het onderzoeksteam het afnamemateriaal naar de school bracht. Bij het terugzenden van meerdere dozen kan u deze afzonderlijke dozen stevig aan elkaar bevestigen met tape, plakband of touw. Om het u makkelijker te maken, hebben wij reeds een label met onze gegevens toegevoegd aan het pakket. Kleef deze sticker in de rechterbenedenhoek van de omslag, de doos of het pakket. Waak erover dat de barcode niet bedekt wordt met tape, plakband of touw. De barcode moet goed zichtbaar zijn. U hoeft de omslag, de doos of het pakket met afnamemateriaal niet te frankeren. Bpost rekent ons de verzendingskosten aan. Ga naar het postkantoor in de buurt. Indien de postbeambte het pakket weigert, gelieve in dat geval nog eens expliciet te vermelden dat het een verzending TAXIPOST EASY RETOUR betreft. Bij eventuele problemen kan u terecht bij LiSO-medewerker Ilka Fidlers ( ). Alvast bedankt voor uw medewerking! Met vriendelijke groeten, Het LiSO-team Indien u vragen of opmerkingen heeft, mag u ons altijd contacteren: Eef Stevens Coördinator LiSO Centrum voor Onderwijseffectiviteit en -evaluatie KU Leuven Dekenstraat 2 bus Leuven eef.stevens@ppw.kuleuven.be of info@lisoproject.be Telefoon: (voor dringende zaken: ) Website: Toetsen Nederlands begin eerste leerjaar: instrumentontwikkeling en resultaten

42 Bijlage 2 Handleiding leerkracht eerste leerjaar A Toetsen Nederlands begin eerste leerjaar: instrumentontwikkeling en resultaten

43 LiSO Loopbanen in het Secundair Onderwijs Dekenstraat 2 bus Leuven HANDLEIDING VOOR DE LEERKRACHT/TOETSLEIDER TOETS NEDERLANDS 1A SEPTEMBER-OKTOBER 2013 Toetsen Nederlands begin eerste leerjaar: instrumentontwikkeling en resultaten

44 LiSO Loopbanen in het Secundair Onderwijs Dekenstraat 2 bus Leuven CONCRETE AFNAME-RICHTLIJNEN Dit is de toets Nederlands voor de leerlingen van 1A. Er is een toetsboekje en een antwoordblad voor elke leerling. Het toetsboekje bevat alle opgaven. De leerling mag hierin zoveel schrijven als hij/zij wil. De definitieve antwoorden moeten overgeschreven worden op het antwoordblad. De antwoordbladen zijn op naam. Elke leerling heeft dus een gepersonaliseerd antwoordblad. Op dit antwoordblad staat een unieke cijfercombinatie voor elke leerling, alsook zijn of haar voornaam, familienaam, geboortedatum, geslacht en klas. Vraag aan de leerlingen om te controleren of alle voorgedrukte gegevens (voornaam, familienaam, geboortedatum, geslacht en klas) correct zijn. Indien er iets niet juist is, mogen de leerlingen het doorstrepen en verbeteren. Vraag vervolgens aan de leerlingen dat ze hun unieke cijfercombinatie, voornaam, familienaam, geboortedatum, geslacht en klas overschrijven op hun toetsboekje. Indien er leerlingen zijn waarvoor geen gepersonaliseerd antwoordblad is voorzien, geeft u hen een toetsboekje en een blanco antwoordblad. U schrijft dan zelf het unieke stamnummer van de betreffende leerling bovenaan op de eerste pagina van het antwoordblad. U lijst deze leerlingen met hun stamnummer ook op op de bijgevoegde aanwezigheidslijst. De leerling vult vervolgens zelf zijn/haar voornaam, familienaam, geboortedatum, geslacht en klas in. Vraag ook aan de leerlingen om hun stamnummer, voornaam, familienaam, geboortedatum, geslacht en klas over te schrijven op hun toetsboekje. Vul samen met de leerlingen de datum van vandaag in op het antwoordblad. De uiterste datum voor de toetsafname is 1 oktober Overloop samen met de leerlingen de richtlijnen die vooraan in het toetsboekje staan. Laat de leerlingen vervolgens effectief starten met de toets. De maximum tijd die ze mogen besteden aan de toets is 2 lestijden van 50 minuten. Normaal gezien is 1 lestijd van 50 minuten voldoende, maar het kan zijn dat bepaalde leerlingen iets meer tijd nodig hebben (voor meer uitleg zie Bijkomende richtlijnen ). Gelieve op de bijgevoegde aanwezigheidslijst aan te geven of de leerling aanwezig was en de toets heeft afgelegd door een kruisje te zetten in de juiste kolom. Verzamel na afloop alle toetsboekjes en antwoordbladen van de leerlingen. Bezorg ze samen met de aanwezigheidslijst aan de LiSO-contactpersoon van uw school. Toetsen Nederlands begin eerste leerjaar: instrumentontwikkeling en resultaten

45 LiSO Loopbanen in het Secundair Onderwijs Dekenstraat 2 bus Leuven BIJKOMENDE RICHTLIJNEN Zorg voor een toetssituatie waarin de leerlingen op een rustige manier en zonder bijkomende hulp kunnen werken. U kan de leerlingen gerust stellen door te vertellen dat de toets kadert in een onderzoek van de Universiteit van Leuven en dat de resultaten enkel dienen voor dit onderzoek en dus geen gevolgen hebben voor hun eigen schoolrapport. Door het invullen van de toets helpen ze de school in het verder ontwikkelen van de kwaliteit van het onderwijs. Bovendien dragen ze ook bij tot meer inzicht in het secundair onderwijs in Vlaanderen. Het onderzoek loopt immers in een 60-tal Vlaamse scholen. Zorg ervoor dat leerlingen ver genoeg uit elkaar zitten, zodat ze niet kunnen spieken. U mag tijdens de afname van de toets geen vragen van leerlingen beantwoorden die hen zouden helpen om een toetsopgave op te lossen. Voor het oplossen van de toets hebben de leerlingen enkel schrijfgerief nodig. Ze mogen geen woordenboek of andere hulpmiddelen gebruiken. De leerlingen lezen de teksten en maken de opgaven volledig zelfstandig. Teksten en opgaven worden niet luidop voorgelezen. Terwijl de leerlingen aan het werk zijn, kan u regelmatig eens door het lokaal lopen en kijken of iedereen op de juiste manier bezig is (bv. antwoorden invullen op antwoordblad en niet in het toetsboekje, slechts één antwoord aanduiden bij de meerkeuzevragen, etc.). Voor de toets is normaal gezien 1 lestijd van 50 minuten voldoende, maar het kan zijn dat bepaalde leerlingen iets meer tijd nodig kunnen hebben. Het is van belang dat alle leerlingen alle vragen op hun eigen tempo kunnen doornemen. Gelieve daarom ook een tweede lestijd te voorzien. Indien deze tweede lestijd aansluitend is, kan u een pauze voorzien tussen beide lestijden. De tweede lestijd kan ook op een andere dag vallen, maar het is best de tussentijd te beperken. Na maximaal 2 x 50 minuten moeten alle leerlingen (ook de leerlingen die nog niet klaar zijn) hun toetsboekje en antwoordblad afgeven. Toetsen Nederlands begin eerste leerjaar: instrumentontwikkeling en resultaten

46 LiSO Loopbanen in het Secundair Onderwijs Dekenstraat 2 bus Leuven VAAK GESTELDE VRAGEN WAAROM EEN TOETS NEDERLANDS? De algemene doelstelling van het LiSO-project bestaat erin een beschrijving te geven van de (verschillen in) schoolloopbanen en ontwikkeling van leerlingen vanaf het eerste jaar van het secundair onderwijs. Vervolgens willen we ook een verklaring bieden voor de individuele verschillen in schoolloopbanen, waarbij gekeken wordt naar de invloed van leerling- en gezinskenmerken enerzijds en school-, leerkracht- en klaskenmerken anderzijds. De bedoeling van de toets Nederlands is een beeld te krijgen van het niveau van de leerlingen bij de start van het secundair onderwijs. AFNAMEPERIODE Van zodra het afnamemateriaal in uw school is aangekomen (begin september) kan u de toetsen afnemen bij de leerlingen. Gelieve wel steeds de afnamedatum duidelijk te (laten) noteren. De uiterste datum voor de toetsafname is 1 oktober Nadien wordt het afnamemateriaal immers terug opgehaald in uw school voor verwerking. WAAROM WORDT HET AFNAMEMATERIAAL GEPERSONALISEERD VOOR ELKE LEERLING? In het LiSO- project proberen we onder meer de (schoolse) ontwikkeling van individuele leerlingen in kaart te brengen. Daarom is het belangrijk dat we van elke toets precies weten door welke leerling hij werd ingevuld. Om het werk van de leerkracht/toetsleider wat te vergemakkelijken, hebben we alle antwoordbladen van de nodige leerlinggegevens en identificatiecodes voorzien. Dit maakt dat er bijvoorbeeld geen tijd verloren wordt met het invullen van namen. Dit alles betekent ook dat antwoordbladen strikt persoonlijk zijn. We zouden u dan ook willen vragen om in geen geval het antwoordblad van de ene leerling door een andere leerling te laten invullen. Indien we niet tijdig de nodige gegevens van uw school ontvingen, zijn de antwoordbladen nog niet gepersonaliseerd. In dit geval schrijft u het unieke stamnummer van de betreffende leerling bovenaan op de eerste pagina van het antwoordblad. De leerling vult vervolgens zelf zijn/haar voornaam, familienaam, geboortedatum, geslacht en klas in (zie ook de concrete afname-richtlijnen). WAT TE DOEN BIJ TE WEINIG TOETSBOEKJES OF ANTWOORDBLADEN? Voor elke school voorzien we enkele blanco reserve-exemplaren van al het afnamemateriaal. Indien er toch afnamemateriaal tekort is, gelieve ons dan zo snel mogelijk te contacteren. Onze contactgegevens vindt u op de laatste pagina van deze bundel. WAT ALS EEN LEERLING AFWEZIG IS WEGENS ZIEKTE OF OM EEN ANDERE REDEN? Indien een leerling afwezig is op de dag van de toetsafname, vragen we dat u de leerling de toets alsnog laat afleggen binnen de voorgeschreven afnameperiode (ten laatste op 1 oktober 2013). Indien de leerling afwezig was gedurende de volledige periode dat de toetsen afgenomen moeten worden, kan u dit aangeven op de aanwezigheidslijst van de klas. Alle niet-ingevulde toetsboekjes en antwoordbladen dient u met de rest van het materiaal aan ons terug te bezorgen. Toetsen Nederlands begin eerste leerjaar: instrumentontwikkeling en resultaten

47 LiSO Loopbanen in het Secundair Onderwijs Dekenstraat 2 bus Leuven MOGEN DE LEERLINGEN GEHOLPEN WORDEN OF STICORDI-MAATREGELEN GEBRUIKEN TIJDENS DE TOETSAFNAME? Neen. Toetsen hebben tot doel de vaardigheden van leerlingen in een bepaald domein te meten. Door leerlingen bij het maken van een toets meer te helpen dan nodig is, verstoort u deze meting. Dit levert een vertekend beeld op van de vaardigheden van de leerling, zowel voor uzelf als voor de school en voor de onderzoekers. Daarom zouden we u willen vragen om u strikt aan de voorgeschreven instructies te houden en leerlingen niet méér te helpen dan nodig is voor een goed verloop van de toetsafname. Uiteraard is het wenselijk om leerlingen op hun gemak te stellen. Ook hulp bij eventuele administratieve problemen (bv. invullen van afnamedatum) mag geboden worden. Tijdens de afname van de LiSO-toetsen mogen geen STICORDI-maatregelen gebruikt worden. Dit zijn maatregelen die leerlingen ondersteunen (stimuleren, compenseren, remediëren, differentiëren, dispenseren) zoals bijvoorbeeld de leerlingen extra tijd geven of de opgaven van toetsen luidop voorlezen. Om de vergelijkbaarheid zo groot mogelijk te houden, dienen de toetsomstandigheden overal hetzelfde te zijn. Wij zijn er ons van bewust dat voor leerlingen die onder normale omstandigheden wel hulp krijgen, de LiSO-toetsen niet gemakkelijk zullen zijn. In komende vragenlijsten zal bevraagd worden welke leerlingen (leer)stoornissen hebben. Hiermee zal rekening gehouden worden bij het verwerken van de toetsresultaten. MOETEN DE TOETSEN DOOR DE LEERKRACHT/TOETSLEIDER VERBETERD WORDEN? Neen. De toetsen worden niet door de leerkracht/toetsleider verbeterd. Het LiSO-onderzoeksteam neemt de volledige verwerking op zich. We streven ernaar om zo snel mogelijk schoolfeedback te geven over de resultaten van de toets. WORDEN DE VERZAMELDE GEGEVENS ANONIEM VERWERKT? Ja. De namen en de codes op het afnamemateriaal worden enkel gebruikt om de gegevens van de verschillende instrumenten aan elkaar en aan de juiste leerling te koppelen. We garanderen een vertrouwelijke verwerking van alle onderzoeksgegevens. Persoonlijke identificatiegegevens van leerlingen worden onder geen enkele voorwaarde doorgegeven aan derden. MAG DE SCHOOL EEN KOPIE VAN DE TOETSEN MAKEN VOOR LATER GEBRUIK BINNEN DE EIGEN SCHOOLWERKING? Neen. De toetsen die worden afgenomen in het kader van het LiSO-project zijn toetsen waarin heel wat mensen en organisaties veel tijd, energie en geld geïnvesteerd hebben. We zouden u dan ook nadrukkelijk willen vragen om de rechten van de verschillende auteurs te respecteren en om geen kopies van de toetsboekjes en/of handleidingen te maken. Toetsen Nederlands begin eerste leerjaar: instrumentontwikkeling en resultaten

48 LiSO Loopbanen in het Secundair Onderwijs Dekenstraat 2 bus Leuven CONTACT Indien u vragen heeft, mag u altijd contact opnemen met het LiSO-onderzoeksteam: Eef Stevens Coördinator LiSO Centrum voor Onderwijseffectiviteit en -evaluatie KU Leuven Dekenstraat 2 bus Leuven eef.stevens@ppw.kuleuven.be of info@lisoproject.be Telefoon: (voor dringende zaken: ) Website: Toetsen Nederlands begin eerste leerjaar: instrumentontwikkeling en resultaten

49 Bijlage 3 Handleiding leerkracht eerste leerjaar B Toetsen Nederlands begin eerste leerjaar: instrumentontwikkeling en resultaten

50 LiSO Loopbanen in het Secundair Onderwijs Dekenstraat 2 bus Leuven HANDLEIDING VOOR DE LEERKRACHT/TOETSLEIDER TOETS NEDERLANDS 1B SEPTEMBER-OKTOBER 2013 Toetsen Nederlands begin eerste leerjaar: instrumentontwikkeling en resultaten

51 LiSO Loopbanen in het Secundair Onderwijs Dekenstraat 2 bus Leuven CONCRETE AFNAME-RICHTLIJNEN Dit is de toets Nederlands voor de leerlingen van 1B. Er is een toetsboekje en een antwoordblad voor elke leerling. Het toetsboekje bevat alle opgaven. De leerling mag hierin zoveel schrijven als hij/zij wil. De definitieve antwoorden moeten overgeschreven worden op het antwoordblad. De antwoordbladen zijn op naam. Elke leerling heeft dus een gepersonaliseerd antwoordblad. Op dit antwoordblad staat een unieke cijfercombinatie voor elke leerling, alsook zijn of haar voornaam, familienaam, geboortedatum, geslacht en klas. Vraag aan de leerlingen om te controleren of alle voorgedrukte gegevens (voornaam, familienaam, geboortedatum, geslacht en klas) correct zijn. Indien er iets niet juist is, mogen de leerlingen het doorstrepen en verbeteren. Vraag vervolgens aan de leerlingen dat ze hun unieke cijfercombinatie, voornaam, familienaam, geboortedatum, geslacht en klas overschrijven op hun toetsboekje. Indien er leerlingen zijn waarvoor geen gepersonaliseerd antwoordblad is voorzien, geeft u hen een toetsboekje en een blanco antwoordblad. U schrijft dan zelf het unieke stamnummer van de betreffende leerling bovenaan op de eerste pagina van het antwoordblad. U lijst deze leerlingen met hun stamnummer ook op op de bijgevoegde aanwezigheidslijst. De leerling vult vervolgens zelf zijn/haar voornaam, familienaam, geboortedatum, geslacht en klas in. Vraag ook aan de leerlingen om hun stamnummer, voornaam, familienaam, geboortedatum, geslacht en klas over te schrijven op hun toetsboekje. Vul samen met de leerlingen de datum van vandaag in op het antwoordblad. De uiterste datum voor de toetsafname is 1 oktober Overloop samen met de leerlingen de richtlijnen die vooraan in het toetsboekje staan. Laat de leerlingen vervolgens effectief starten met de toets. De maximum tijd die ze mogen besteden aan de toets is 2 lestijden van 50 minuten. Normaal gezien is 1 lestijd van 50 minuten voldoende, maar het kan zijn dat bepaalde leerlingen iets meer tijd nodig hebben (voor meer uitleg zie Bijkomende richtlijnen ). Gelieve op de bijgevoegde aanwezigheidslijst aan te geven of de leerling aanwezig was en de toets heeft afgelegd door een kruisje te zetten in de juiste kolom. Verzamel na afloop alle toetsboekjes en antwoordbladen van de leerlingen. Bezorg ze samen met de aanwezigheidslijst aan de LiSO-contactpersoon van uw school. Toetsen Nederlands begin eerste leerjaar: instrumentontwikkeling en resultaten

52 LiSO Loopbanen in het Secundair Onderwijs Dekenstraat 2 bus Leuven BIJKOMENDE RICHTLIJNEN Zorg voor een toetssituatie waarin de leerlingen op een rustige manier en zonder bijkomende hulp kunnen werken. U kan de leerlingen gerust stellen door te vertellen dat de toets kadert in een onderzoek van de Universiteit van Leuven en dat de resultaten enkel dienen voor dit onderzoek en dus geen gevolgen hebben voor hun eigen schoolrapport. Door het invullen van de toets helpen ze de school in het verder ontwikkelen van de kwaliteit van het onderwijs. Bovendien dragen ze ook bij tot meer inzicht in het secundair onderwijs in Vlaanderen. Het onderzoek loopt immers in een 60-tal Vlaamse scholen. Zorg ervoor dat leerlingen ver genoeg uit elkaar zitten, zodat ze niet kunnen spieken. U mag tijdens de afname van de toets geen vragen van leerlingen beantwoorden die hen zouden helpen om een toetsopgave op te lossen. Voor het oplossen van de toets hebben de leerlingen enkel schrijfgerief nodig. Ze mogen geen woordenboek of andere hulpmiddelen gebruiken. De leerlingen lezen de teksten en maken de opgaven volledig zelfstandig. Teksten en opgaven worden niet luidop voorgelezen. Terwijl de leerlingen aan het werk zijn, kan u regelmatig eens door het lokaal lopen en kijken of iedereen op de juiste manier bezig is (bv. antwoorden invullen op antwoordblad en niet in het toetsboekje, slechts één antwoord aanduiden bij de meerkeuzevragen, etc.). Voor de toets is normaal gezien 1 lestijd van 50 minuten voldoende, maar het kan zijn dat bepaalde leerlingen iets meer tijd nodig kunnen hebben. Het is van belang dat alle leerlingen alle vragen op hun eigen tempo kunnen doornemen. Gelieve daarom ook een tweede lestijd te voorzien. Indien deze tweede lestijd aansluitend is, kan u een pauze voorzien tussen beide lestijden. De tweede lestijd kan ook op een andere dag vallen, maar het is best de tussentijd te beperken. Na maximaal 2 x 50 minuten moeten alle leerlingen (ook de leerlingen die nog niet klaar zijn) hun toetsboekje en antwoordblad afgeven. Toetsen Nederlands begin eerste leerjaar: instrumentontwikkeling en resultaten

53 LiSO Loopbanen in het Secundair Onderwijs Dekenstraat 2 bus Leuven VAAK GESTELDE VRAGEN WAAROM EEN TOETS NEDERLANDS? De algemene doelstelling van het LiSO-project bestaat erin een beschrijving te geven van de (verschillen in) schoolloopbanen en ontwikkeling van leerlingen vanaf het eerste jaar van het secundair onderwijs. Vervolgens willen we ook een verklaring bieden voor de individuele verschillen in schoolloopbanen, waarbij gekeken wordt naar de invloed van leerling- en gezinskenmerken enerzijds en school-, leerkracht- en klaskenmerken anderzijds. De bedoeling van de toets Nederlands is een beeld te krijgen van het niveau van de leerlingen bij de start van het secundair onderwijs. AFNAMEPERIODE Van zodra het afnamemateriaal in uw school is aangekomen (begin september) kan u de toetsen afnemen bij de leerlingen. Gelieve wel steeds de afnamedatum duidelijk te (laten) noteren. De uiterste datum voor de toetsafname is 1 oktober Nadien wordt het afnamemateriaal immers terug opgehaald in uw school voor verwerking. WAAROM WORDT HET AFNAMEMATERIAAL GEPERSONALISEERD VOOR ELKE LEERLING? In het LiSO- project proberen we onder meer de (schoolse) ontwikkeling van individuele leerlingen in kaart te brengen. Daarom is het belangrijk dat we van elke toets precies weten door welke leerling hij werd ingevuld. Om het werk van de leerkracht/toetsleider wat te vergemakkelijken, hebben we alle antwoordbladen van de nodige leerlinggegevens en identificatiecodes voorzien. Dit maakt dat er bijvoorbeeld geen tijd verloren wordt met het invullen van namen. Dit alles betekent ook dat antwoordbladen strikt persoonlijk zijn. We zouden u dan ook willen vragen om in geen geval het antwoordblad van de ene leerling door een andere leerling te laten invullen. Indien we niet tijdig de nodige gegevens van uw school ontvingen, zijn de antwoordbladen nog niet gepersonaliseerd. In dit geval schrijft u het unieke stamnummer van de betreffende leerling bovenaan op de eerste pagina van het antwoordblad. De leerling vult vervolgens zelf zijn/haar voornaam, familienaam, geboortedatum, geslacht en klas in (zie ook de concrete afname-richtlijnen). WAT TE DOEN BIJ TE WEINIG TOETSBOEKJES OF ANTWOORDBLADEN? Voor elke school voorzien we enkele blanco reserve-exemplaren van al het afnamemateriaal. Indien er toch afnamemateriaal tekort is, gelieve ons dan zo snel mogelijk te contacteren. Onze contactgegevens vindt u op de laatste pagina van deze bundel. WAT ALS EEN LEERLING AFWEZIG IS WEGENS ZIEKTE OF OM EEN ANDERE REDEN? Indien een leerling afwezig is op de dag van de toetsafname, vragen we dat u de leerling de toets alsnog laat afleggen binnen de voorgeschreven afnameperiode (ten laatste op 1 oktober 2013). Indien de leerling afwezig was gedurende de volledige periode dat de toetsen afgenomen moeten worden, kan u dit aangeven op de aanwezigheidslijst van de klas. Alle niet-ingevulde toetsboekjes en antwoordbladen dient u met de rest van het materiaal aan ons terug te bezorgen. Toetsen Nederlands begin eerste leerjaar: instrumentontwikkeling en resultaten

54 LiSO Loopbanen in het Secundair Onderwijs Dekenstraat 2 bus Leuven MOGEN DE LEERLINGEN GEHOLPEN WORDEN OF STICORDI-MAATREGELEN GEBRUIKEN TIJDENS DE TOETSAFNAME? Neen. Toetsen hebben tot doel de vaardigheden van leerlingen in een bepaald domein te meten. Door leerlingen bij het maken van een toets meer te helpen dan nodig is, verstoort u deze meting. Dit levert een vertekend beeld op van de vaardigheden van de leerling, zowel voor uzelf als voor de school en voor de onderzoekers. Daarom zouden we u willen vragen om u strikt aan de voorgeschreven instructies te houden en leerlingen niet méér te helpen dan nodig is voor een goed verloop van de toetsafname. Uiteraard is het wenselijk om leerlingen op hun gemak te stellen. Ook hulp bij eventuele administratieve problemen (bv. invullen van afnamedatum) mag geboden worden. Tijdens de afname van de LiSO-toetsen mogen geen STICORDI-maatregelen gebruikt worden. Dit zijn maatregelen die leerlingen ondersteunen (stimuleren, compenseren, remediëren, differentiëren, dispenseren) zoals bijvoorbeeld de leerlingen extra tijd geven of de opgaven van toetsen luidop voorlezen. Om de vergelijkbaarheid zo groot mogelijk te houden, dienen de toetsomstandigheden overal hetzelfde te zijn. Wij zijn er ons van bewust dat voor leerlingen die onder normale omstandigheden wel hulp krijgen, de LiSO-toetsen niet gemakkelijk zullen zijn. In komende vragenlijsten zal bevraagd worden welke leerlingen (leer)stoornissen hebben. Hiermee zal rekening gehouden worden bij het verwerken van de toetsresultaten. MOETEN DE TOETSEN DOOR DE LEERKRACHT/TOETSLEIDER VERBETERD WORDEN? Neen. De toetsen worden niet door de leerkracht/toetsleider verbeterd. Het LiSO-onderzoeksteam neemt de volledige verwerking op zich. We streven ernaar om zo snel mogelijk schoolfeedback te geven over de resultaten van de toets. WORDEN DE VERZAMELDE GEGEVENS ANONIEM VERWERKT? Ja. De namen en de codes op het afnamemateriaal worden enkel gebruikt om de gegevens van de verschillende instrumenten aan elkaar en aan de juiste leerling te koppelen. We garanderen een vertrouwelijke verwerking van alle onderzoeksgegevens. Persoonlijke identificatiegegevens van leerlingen worden onder geen enkele voorwaarde doorgegeven aan derden. MAG DE SCHOOL EEN KOPIE VAN DE TOETSEN MAKEN VOOR LATER GEBRUIK BINNEN DE EIGEN SCHOOLWERKING? Neen. De toetsen die worden afgenomen in het kader van het LiSO-project zijn toetsen waarin heel wat mensen en organisaties veel tijd, energie en geld geïnvesteerd hebben. We zouden u dan ook nadrukkelijk willen vragen om de rechten van de verschillende auteurs te respecteren en om geen kopies van de toetsboekjes en/of handleidingen te maken. Toetsen Nederlands begin eerste leerjaar: instrumentontwikkeling en resultaten

55 LiSO Loopbanen in het Secundair Onderwijs Dekenstraat 2 bus Leuven CONTACT Indien u vragen heeft, mag u altijd contact opnemen met het LiSO-onderzoeksteam: Eef Stevens Coördinator LiSO Centrum voor Onderwijseffectiviteit en -evaluatie KU Leuven Dekenstraat 2 bus Leuven eef.stevens@ppw.kuleuven.be of info@lisoproject.be Telefoon: (voor dringende zaken: ) Website: Toetsen Nederlands begin eerste leerjaar: instrumentontwikkeling en resultaten