LISO-PROJECT: TOETSEN WISKUNDE EINDE TWEEDE LEERJAAR

Transcriptie

1 LISO-PROJECT: TOETSEN WISKUNDE EINDE TWEEDE LEERJAAR Instrumentontwikkeling en resultaten J. Dockx, E. Stevens, & B. De Fraine

2 LISO-PROJECT: TOETSEN WISKUNDE EINDE TWEEDE LEERJAAR Instrumentontwikkeling en resultaten J. Dockx, E. Stevens & B. De Fraine Promotor: B. De Fraine Co-promotoren: K. Verschueren, K. Petry, B. Spruyt, M. Van Houtte, I. Glorieux & K. Van den Branden Research paper SONO/2016.OL1.1/2 Gent, november 2016

3 Het Steunpunt Onderwijsonderzoek is een samenwerkingsverband van UGent, KU Leuven, VUB, UA en ArteveldeHogeschool. Gelieve naar deze publicatie te verwijzen als volgt: Dockx, J., Stevens, E., & De Fraine, B. (2016), LiSO-project: toetsen wiskunde einde tweede leerjaar. Instrumentontwikkeling en resultaten. Steunpunt Onderwijsonderzoek, Gent Voor meer informatie over deze publicatie Deze publicatie kwam tot stand met de steun van de Vlaamse Gemeenschap, Ministerie voor Onderwijs en Vorming. In deze publicatie wordt de mening van de auteur weergegeven en niet die van de Vlaamse overheid. De Vlaamse overheid is niet aansprakelijk voor het gebruik dat kan worden gemaakt van de opgenomen gegevens STEUNPUNT ONDERWIJSONDERZOEK p.a. Coördinatie Steunpunt Onderwijsonderzoek UGent Vakgroep Onderwijskunde Henri Dunantlaan 2, BE 9000 Gent Deze publicatie is ook beschikbaar via en

4 Voorwoord Dit technisch rapport kadert binnen het Steunpunt voor Onderwijsonderzoek (SONO). Dit steunpunt omvat verschillende onderzoeksdomeinen, waarvan één betrekking heeft op de schoolloopbanen van leerlingen (themalijn 1: de lerende). Het onderzoek Loopbanen in het Secundair Onderwijs, kortweg het LiSO-project, maakt deel uit van deze themalijn 1. Het brengt de wijze waarop leerlingen het secundair onderwijs doorlopen in kaart en identificeert verklarende factoren. Dit rapport beschrijft de instrumentontwikkeling en de resultaten van de toetsen wiskunde einde tweede leerjaar. Deze toetsen werden in functie van het LiSO-project afgenomen in de maanden mei en juni van het schooljaar Het LiSO-team bestaat uit Catharina Custers, Jonas Dockx, Ilka Fidlers, Naomi Van den Branden, Margo Vandenbroeck, en dr. Katrijn Denies (coördinator). Eef Stevens was coördinator tot oktober Het team dankt het coördinatieteam en de promotoren van het LiSO-project voor hun medewerking en feedback. We danken ook het Centrum voor Schoolfeedback voor de samenwerking. Tevens zijn we alle scholen die deelnemen aan het LiSO-project erg dankbaar. We denken hierbij specifiek aan alle leerkrachten die deze toetsen afnamen, alle leerlingen die deze toetsen invulden, en de medewerkers van de scholen die bijdroegen tot een vlot verloop van de toetsafname.

5 Inhoud Voorwoord 3 Inhoud 5 Inleiding 6 Hoofdstuk 1 Ontwikkeling en beschrijving Ontwikkeling en selectie toetsen wiskunde einde tweede leerjaar Ontwikkeling toetsen wiskunde einde tweede leerjaar Selectiecriteria toetsen wiskunde einde tweede leerjaar 9 Hoofdstuk 2 Afnameprocedure en verwerking Afnameprocedure Afnameprocedure op schoolniveau Afnameprocedure in de klas Verwerking Relatie databank en fases van verwerking Fase 1: Invoer Fase 2: Scoring Fase 3: Berekening vaardigheidsscores 18 Hoofdstuk 3 Responsgegevens en resultaten Responsgegevens Afnamedata Validiteit Betrouwbaarheid Verdelingskenmerken Opmerkingen bij toetsafname IRT: Moeilijkheidsgraad en discriminatiegraad 33 Bijlagen Bibliografie

6 Inleiding Dit technisch rapport kadert binnen het LiSO-project (Loopbanen in het Secundair Onderwijs) van het Steunpunt voor Onderwijsonderzoek ( ). Dit onderzoek wil de wijze waarop leerlingen het secundair onderwijs doorlopen in kaart brengen en verklaren. Hierbij is het uitgangspunt dat niet alleen factoren op het niveau van de individuele leerling (leerlingkenmerken) en zijn thuisomgeving van belang zijn, maar ook factoren op school-, klas- en leerkrachtniveau. Het LiSO-project wil hierover een bron van informatie zijn voor scholen en beleidsmakers. Ze wil daarbij specifiek inzicht bieden in school-, klas- en leerkrachtkenmerken die effectief zijn voor prestaties (van onder meer Nederlands, wiskunde en Frans) en voor non-cognitieve uitkomsten van leerlingen (zoals schoolwelbevinden, betrokkenheid en interesse). De focus ligt vooral op factoren die door de school of het beleid kunnen worden beïnvloed om zo de individuele leerprestaties te maximaliseren en te komen tot meer gelijke onderwijskansen voor iedere leerling. Het LiSO-project wil op deze manier bijdragen tot beslissingen die de onderwijseffectiviteit in Vlaanderen zullen doen toenemen. Om deze doelstelling te bereiken wordt vanaf de start van het schooljaar een cohorte van ongeveer leerlingen gevolgd doorheen hun gehele secundaire schoolloopbaan. Deze leerlingen bevonden zich in september 2013 in het eerste leerjaar van de eerste graad van het secundair onderwijs. Om de schoolse prestaties voor wiskunde tijdens de schoolloopbaan te kennen worden op verschillende momenten toetsen wiskunde afgenomen. Er werden reeds toetsen afgenomen aan de start van het secundair onderwijs en op het einde van het eerste jaar secundair onderwijs. Deze toets is de derde meting voor wiskunde bij alle leerlingen. Er waren toetsen voor leerlingen in de A- stroom en voor leerlingen in de B-stroom. De afname vond plaats in mei en juni van het schooljaar Deze toetsen zijn belangrijk omdat ze de mogelijkheid bieden om de leerwinst voor wiskunde te beschrijven in de eerste graad van het secundair onderwijs. Zo kan onderzocht worden welke factoren op deze leerwinst van invloed zijn. Dit technische rapport beschrijft de instrumentontwikkeling en de resultaten van de toetsen wiskunde einde tweede leerjaar A en het beroepsvoorbereidend leerjaar. De toetsen wiskunde einde tweede leerjaar A & B zijn één van de instrumenten die worden afgenomen binnen het LiSO-project. Als startmeting voor de schoolse prestaties van leerlingen werden in het schooljaar reeds toetsen wiskunde, toetsen Nederlands en toetsen Frans afgenomen. Zo kennen we de schoolse prestaties van de leerlingen voor zowel wiskunde, Nederlands als Frans. De toetsen wiskunde einde tweede leerjaar A en einde beroepsvoorbereidend leerjaar behoren tot de derde meting, waarbij ook vragenlijsten werden afgenomen van leerlingen, klastitularissen en vakleerkrachten. De toetsen wiskunde einde tweede leerjaar kunnen niet los gezien worden van de hier vernoemde instrumenten. In hoofdstuk 1 wordt de ontwikkeling en beschrijving gegeven van de toetsen wiskunde. Vervolgens wordt in hoofdstuk 2 de afnameprocedure en verwerking besproken. In hoofdstuk 3 worden ten slotte de responsgegevens en resultaten besproken.

7 In bijlage 1 wordt de brief voor de LiSO-contactpersoon van elke school weergegeven. Deze brief werd meegeleverd met elk pakket toetsmateriaal van een school. In deze brief staat beschreven welk toetsmateriaal werd geleverd aan de school en hoe dit materiaal verspreid moet worden binnen de school. Vervolgens wordt beschreven hoe het materiaal ingeleverd moet worden. In bijlage 2 wordt de handleiding voor de leerkracht van de wiskundetoets einde tweede leerjaar A weergegeven. Deze handleiding bevat informatie over de concrete afname, richtlijnen over het verloop van de toetsafname, een onderdeel vaak gestelde vragen en contactgegevens. In bijlage 3 wordt de handleiding voor de leerkracht van de wiskundetoets beroepsvoorbereidend leerjaar weergegeven. Deze handleiding bevat informatie over de concrete afname, richtlijnen over het verloop van de toetsafname, een onderdeel vaak gestelde vragen en contactgegevens. In bijlage 4 wordt het aanwezigheidsblad weergegeven. Op deze aanwezigheidsbladeren moesten de leerkrachten aangeven welke leerlingen al dan niet aanwezig waren tijdens de toetsafname. Tevens moest de klassikale afnamedatum hierop ingevuld worden. Indien een leerling de toets op een andere datum invulde moest dat ook hier ingevuld worden. In bijlage 5 worden de antwoordbladen van de wiskundetoets einde tweede leerjaar A weergegeven. De leerlingen van het tweede leerjaar A dienden hun antwoorden op de opgaven hier te noteren. In bijlage 6 worden de antwoordbladen van de wiskundetoets einde beroepsvoorbereidend leerjaar weergegeven. De leerlingen van het beroepsvoorbereidend leerjaar dienden hun antwoorden op de opgaven hier te noteren.

8 Hoofdstuk 1 Ontwikkeling en beschrijving Het afnemen van toetsen wiskunde in mei en juni van het schooljaar past binnen de doelstellingen van het LiSO-project. Dit project wil immers inzicht bieden in de wijze waarop leerlingen het secundair onderwijs doorlopen en schoolse prestaties zijn daarbij een belangrijk kenmerk van de schoolloopbanen. Aangezien het LiSO-project een longitudinale studie maakt van de volledige schoolloopbanen van leerlingen in het secundair onderwijs is het noodzakelijk om op regelmatige tijdsstippen tussentijdse metingen uit te voeren van deze schoolse prestaties. Dit is mogelijk door telkens nieuwe (gekalibreerde) toetsen wiskunde af te nemen bij dezelfde groep leerlingen. Op basis van deze resultaten zal de leerwinst voor wiskunde doorheen het secundair onderwijs beschreven worden. De toetsen wiskunde die aan het einde van het tweede leerjaar worden afgenomen bestaan uit twee versies: één versie voor de leerlingen in het tweede leerjaar A en één versie voor de leerlingen in het beroepsvoorbereidend leerjaar. Deze toetsen worden in de tekst respectievelijk toets wiskunde einde tweede leerjaar A en toets wiskunde einde beroepsvoorbereidend leerjaar genoemd. Wanneer beide toetsen besproken worden wordt naar deze toetsen gerefereerd als toetsen wiskunde einde tweede leerjaar. In de volgende paragrafen van dit hoofdstuk wordt de ontwikkeling en selectie beschreven van de toetsen wiskunde einde tweede leerjaar. Vervolgens wordt een inhoudelijk beschrijving gegeven van deze toetsen. 1.1 Ontwikkeling en selectie toetsen wiskunde einde tweede leerjaar Ontwikkeling toetsen wiskunde einde tweede leerjaar Voor de toetsen wiskunde einde tweede leerjaar van het secundair onderwijs werd gebruik gemaakt van de toetsen wiskunde van het Centrum voor Schoolfeedback. Het Centrum voor Schoolfeedback ( heeft als doel individuele scholen te voorzien van feedback over de schoolse prestaties van hun leerlingen. Daarbij staat de toegevoegde waarde die scholen realiseren centraal. In functie van dit doel werden toetsen voor de vakken wiskunde, Nederlands en Frans ontwikkeld. Voor elk vak werden er verschillende toetsen ontwikkeld, waaronder toetsen die aan de start van een schooljaar afgenomen kunnen worden en toetsen die op het einde van het schooljaar afgenomen kunnen worden. Op deze manier kunnen scholen zowel feedback krijgen over de beginsituatie van hun leerlingen als de leerwinst die gerealiseerd is op één schooljaar tijd.

9 De items (dit zijn de concrete opgaven) van de toetsen wiskunde tweede leerjaar werden ontwikkeld door drie leerkrachten wiskunde (Nele Goethals, Daniel Jacques, Patrick Tydtgat) onder leiding van het Centrum voor Schoolfeedback. Bij de ontwikkeling van de items werden als uitgangspunt de eindtermen en ontwikkelingsdoelen van het basisonderwijs genomen. Deze informatie werd aangevuld met de leerplannen van wiskunde van de verschillende onderwijskoepels en de meest gebruikte wiskundehandboeken. Op basis van deze gegevens werd vervolgens een toetsmatrijs opgesteld. Deze toetsmatrijs beschreef welke inhouden aan bod dienden te komen in een wiskundetoets om een valide meting te zijn van de wiskundeprestaties van leerlingen. Vervolgens werden verschillende items opgesteld per inhoud van de toetsmatrijs. Er werden in de eerste instantie meer items ontwikkeld dan nodig opdat de beste van deze items later uitgekozen konden worden voor de definitieve testen. Deze items werden vervolgens aan groepjes van 500 leerlingen voorgelegd (in totaal ruim leerlingen). Op basis van deze data werden vervolgens per item de IRT-parameters geschat (de moeilijkheidsgraad 1 en discriminatiegraad 2 ) en vervolgens de beste items geselecteerd. Op basis hiervan werden dan de definitieve toetsen opgesteld voor het tweede leerjaar A en het beroepsvoorbereidend leerjaar met een voldoende spreiding van items in moeilijkheidsgraad en discriminatiegraad. Op deze manier meten de toeten het verschil in vaardigheden tussen leerlingen van verschillende cognitieve niveaus op de meest betrouwbare manier. Deze definitieve toetsen werden vervolgens getest in een semi-longitudinaal onderzoek waarin twee cohortes van nog eens elk ruim leerlingen gevolgd werden. Zij werden gevolgd van begin tot einde van de eerste graad en van begin tot einde van de tweede graad. Hieruit bleek dat de testen betrouwbaar en valide waren Selectiecriteria toetsen wiskunde einde tweede leerjaar De selectie van geschikte toetsen wiskunde voor het LiSO-project verliep aan de hand van verschillende criteria. Het eerste criterium was dat de toetsen de mogelijkheid moesten bieden voor herhaalde metingen in een longitudinale studie. Er moesten met andere woorden meerdere toetsen beschikbaar zijn die over de schoolloopbaan heen afgenomen kunnen worden. Het tweede criterium was vergelijkbaarheid. Dit betekent dat de scores van deze herhaalde metingen vergelijkbaar moeten zijn met elkaar. Het derde criterium was dat wiskunde op een valide manier gemeten wordt door de toetsen. Het vierde criterium betrof een voldoende spreiding qua moeilijkheidsgraad. De toetsen moesten met andere woorden in staat zijn om de prestaties van een divers leerlingenpubliek te meten. Nauw samenhangend daarmee moesten de toetsen ook een betrouwbare meting zijn van de prestaties voor wiskunde, dit is het vijfde criterium. 1 De moeilijkheidsgraad van een item is een parameter die aangeeft hoe moeilijk een item is. De moeilijkheidsgraad wordt gebruikt om de kans te bepalen dat leerlingen met een bepaald niveau van vaardigheid het item juist oplossen. 2 De discriminatiegraad van een item is een parameter die aangeeft hoe sterk een item onderscheid maakt tussen leerlingen met een verschillend vaardigheidsniveau.

10 Aan het eerste criterium, dat de toetsen de mogelijkheid moeten bieden voor herhaalde metingen in een longitudinale studie, voldoen de toetsen van het Centrum voor Schoolfeedback. Dit criterium dient vervuld te zijn om de evolutie van leerlingen hun prestaties voor wiskunde op lange termijn te kunnen beschrijven. Naast de toetsen die in het eerste en tweede jaar secundair onderwijs kunnen worden afgenomen, heeft het Centrum voor Schoolfeedback ook toetsen wiskunde die in de daaropvolgende leerjaren afgenomen kunnen worden. De toetsen wiskunde van het Centrum voor Schoolfeedback bieden dus de mogelijkheid voor herhaalde metingen doorheen de hele schoolloopbanen van leerlingen. Ook aan het tweede criterium, dat de scores vergelijkbaar zijn over verschillende toetsen (en dus leerjaren) voldoen de toetsen van het Centrum voor Schoolfeedback. Vergelijkbaarheid betekent, in het kader van het LiSO-project, dat de scores voor wiskunde op verschillende meetmomenten met verschillende toetsen vergeleken kunnen worden met elkaar. Dit criterium hangt nauw samen met het eerste criterium. Deze stelt dat de prestaties van de leerlingen herhaaldelijk gemeten moeten kunnen worden om de prestaties op lange termijn te kunnen beschrijven. Aangezien we de evolutie in prestaties willen beschrijven, is vergelijkbaarheid tussen de scores van de herhaalde metingen strikt noodzakelijk. Om aan deze voorwaarde van vergelijkbaarheid te voldoen, hebben de verschillende toetsen van het Centrum Voor Schoolfeedback steeds enkele items gemeenschappelijk. Deze overlappende items geven de mogelijkheid om scores over verschillende toetsen te vergelijken (via IRT-analyses). Het derde criterium betreft de validiteit, de toetsen dienen wiskunde valide te meten. In functie van het LiSO-project beschouwen we dit als een meting die inhoudelijk aansluit op de eindtermen en leerplannen van wiskunde van de verschillende onderwijskoepels. De wiskundetoetsen moeten immers een meting zijn van de inhoudelijke kennis en vaardigheden waarover er een relatieve consensus is dat deze de onderdelen zijn van het vakgebied wiskunde. De eindtermen van wiskunde voor de eerste graad secundair onderwijs omvatten de inhouden en vaardigheden waarvan men algemeen aanneemt dat ze noodzakelijk zijn voor een goede beheersing van wiskunde. De leerplannen van de verschillende onderwijskoepels bieden een goede aanvulling hierop omdat zij de eindtermen meer concreet maken. Aangezien de eindtermen en leerplannen het uitgangspunt waren bij de opstelling van de items in de toetsen van het Centrum voor Schoolfeedback wordt ook aan deze vereiste voldaan. Het vierde criterium betreft een voldoende spreiding van de moeilijkheidsgraad van de items binnen de toetsen voor het tweede leerjaar secundair onderwijs. Dit betekent dat er binnen elke toets items moeten zijn van verschillende moeilijkheidsgraden opdat de test kan differentiëren tussen leerlingen van verschillende prestatieniveaus. De toetsen van het Centrum voor Schoolfeedback voldoen aan dit criterium omdat bij het opstellen van deze toetsen items van verschillende moeilijkheidsgraden werden geselecteerd (op basis van IRT-procedures waarin het bepalen van de moeilijkheidsgraden van items centraal staat). Tevens zijn er twee aparte toetsen, één voor het tweede leerjaar A en één voor het tweede leerjaar B. Per toets is de spreiding van de moeilijkheidsgraden van de items aangepast aan de doelgroep. Het vijfde criterium betreft een voldoende betrouwbaarheid van de test. De betrouwbaarheid van een test geeft weer in welke mate de testscore vrij is van de invloed van storende factoren. Hoe hoger de betrouwbaarheid van een test, hoe kleiner het risico dat de testscore afwijkt van de ware

11 vaardigheid van de leerling. De toetsen van het Centrum voor Schoolfeedback voldoen aan het criterium van voldoende betrouwbaarheid. Bij het opstellen van deze testen zijn immers enkel items opgenomen die de gewenste betrouwbaarheid hadden. Hierbij is er ook specifiek aandacht besteed om voldoende items per moeilijkheidsgraad te hebben om zo voor de verschillende vaardigheidsgroepen voldoende betrouwbaar te zijn. Hiervoor kan ook de het rapport over de IRTscoring bekeken worden of itemdatabank opgevraagd worden. 1.2 Beschrijving toetsen wiskunde einde tweede leerjaar De toets wiskunde einde tweede leerjaar A bestond uit 36 items verspreid over vier toetsinhouden. De toets wiskunde einde beroepsvoorbereidend leerjaar bestond uit 36 items verspreid over vier toetsinhouden. Het aantal items per toetsinhoud wordt weergegeven in tabel 1. De beschrijving van de toetsinhouden wordt hieronder weergegeven. In de kolom inhoud van tabel 16 en 17 wordt weergeven welk de inhoudelijke itemcodes zijn, waarmee ook de overlap tussen de toetsen nagegaan kan worden. Hiervoor kan ook de itemdatabank opgevraagd worden. - Algebra: het logisch redeneren op basis van wiskundesymbolen. Veel vragen binnen dit onderdeel handelen over hoe een wiskundemodel op verschillende wijzen geformuleerd kan worden of hoe een levensechte situatie in een wiskundemodel beschreven kan worden. - Data- en informatieverwerking: het kunnen lezen en interpreteren van cijfermatige statistische gegevens of het kunnen lezen en interpreteren van grafisch weergegeven statistische gegevens. - Metend rekenen: opgaven waarbij de kennis van de standaardmaateenheden van lengte, oppervlakte, inhoud, gewicht, tijdstip, tijdsduur, enzovoort vereist is en waarbij die kennis gebruikt moet worden om concrete problemen op te lossen. - Getallenleer: Verbale opgaven waarbij een beroep wordt gedaan op kennis van termen, begrippen, symbolen en op inzicht in het getallensysteem tot en waarbij inzicht vereist is in de tientalligheid en het plaatswaardesysteem van ons talstelsel. - Meetkunde: opgaven die ruimtelijk inzicht en kennis van basisbegrippen uit de vormleer vereisen. Tabel 1 Aantal items per toetsinhoud per toets Toetsinhoud Einde tweede leerjaar A N items Einde beroepsvoorbereidend leerjaar Algebra 10 0 Data- en informatieverwerking 6 6 Metend rekenen 0 11 Getallenleer Meetkunde 10 9 TOTAAL 36 36

12 Hoofdstuk 2 Afnameprocedure en verwerking In dit hoofdstuk wordt eerst beschreven hoe de afnameprocedure van de toetsen wiskunde einde tweede leerjaar verliep. Er wordt daarbij besproken hoe het toetsmateriaal verspreid en afgenomen werd. Aansluitend wordt weergegeven hoe de verwerking van het ingevulde testmateriaal gebeurde, waaronder de invoer van de antwoorden, de scoring van de antwoorden en het berekenen van de vaardigheidsscores. 2.1 Afnameprocedure In de volgende paragrafen wordt de verspreiding van het toetsmateriaal over de verschillende scholen, klassen en leerlingen besproken. Vervolgens wordt beschreven hoe de afname van het toetsmateriaal in de klassen verliep en hoe het ingevulde toetsmateriaal nadien terug verzameld werd. We omschrijven dit proces als de afnameprocedure Afnameprocedure op schoolniveau De toetsen wiskunde einde tweede leerjaar maakten deel uit van een geheel van toetsmateriaal dat verspreid werd onder de scholen in mei Het toetsmateriaal dat verspreid werd bestond uit: toetsen wiskunde einde tweede leerjaar, leerlingvragenlijsten, oudervragenlijsten (enkel voor nieuwe leerlingen), bijhorende aanwezigheidslijsten en bijhorende handleidingen. De inhoud van deze toetsen en vragenlijsten wordt besproken in de betreffende rapporten. In wat volgt, bespreken we enkel wat relevant is voor de toetsen wiskunde einde tweede leerjaar. Het toetsmateriaal werd per school verzonden met bpost. Voor elke school werd een brief voorzien voor de LiSO-contactpersoon 3 (zie bijlage 1). In deze brief werd besproken hoe het toetsmateriaal geordend was, hoe toetsen en vragenlijsten afgenomen dienden te worden, welk extra toetsmateriaal werd voorzien en wat de ophaaldatum was van het ingevulde materiaal. De LiSO-contactpersoon was tevens verantwoordelijk voor de verspreiding van het materiaal onder de klassen/leerkrachten. In mei 2015 waren de klassen en leerlingen bij ons op voorhand gekend. Daardoor kon het afnamemateriaal worden gepersonaliseerd (voorzien van identificatiegegevens) en reeds geordend per klas. Concreet houdt dit in dat op elke wiskundetoets de naam van de leerling en zijn of haar persoonsgegevens voorgedrukt waren. Het toetsmateriaal kon daardoor door de LiSOcontactpersoon onder de juiste klassen verspreid worden. 3 De LiSO-contactpersoon is de verantwoordelijke binnen een school voor de coördinatie van het LiSO-project. Wie de LiSOcontactpersoon was van een school werd bij de aanvang van het schooljaar vastgelegd. Deze persoon was vaak een leerkracht, directeur, secretariaatsmedewerker of zorgcoördinator.

13 Wanneer leerkrachten of leerlingen vragen hadden over het toetsmateriaal of over het LiSO-project, functioneerde de LiSO-contactpersoon steeds als aanspreekpunt. Deze persoon gaf dan ook vragen door aan het LiSO-team wanneer leerkrachten, leerlingen of anderen deze stelden. De scholen ontvingen het afnamemateriaal na de paasvakantie, rond 20 april De scholen mochten starten met de afname van de wiskundetoetsen vanaf het moment dat ze het toetsmateriaal ontvingen. De deadline voor de afname van de wiskundetoetsen was 31 mei 2015 (In hoofdstuk 3 worden de exacte afnamedata van de toetsen in meer detail besproken). Wanneer de afname van het toetsmateriaal binnen de klassen was afgelopen diende al het materiaal terug verzameld te worden bij de LiSO-contactpersoon. De LiSO-contactpersoon zette het materiaal vervolgens klaar voor de persoonlijke ophaling door het LiSO-team op 1, 2, 4 en 5 juni. Deze persoonlijke aanpak bood ook de kans aan scholen om feedback te geven over de afname van de toetsen wiskunde aan het LiSO-team. Wanneer het toetsmateriaal op een latere datum werd afgenomen, werd een nieuwe ophaaldatum afgesproken en werd het materiaal door het LiSO-team opgehaald. Enkele late scholen stuurden het toetsmateriaal op met de post. Het LiSO-project had etiketten voorzien opdat scholen dit kosteloos konden opsturen Afnameprocedure in de klas Nadat de LiSO-contactpersoon het nodige toetsmateriaal verspreid had in de school had elke klas een apart pakket voor de afname van de wiskundetoetsen. De inhoud van dit pakket verschilde naargelang het een tweede leerjaar A of een beroepsvoorbereidend leerjaar betrof. Het pakket voor een tweede leerjaar A bevatte een handleiding voor de afname van de wiskundetoets (zie bijlage 2), aanwezigheidsbladen (zie bijlage 4), toetsboekjes en antwoordbladen (zie bijlage 5). Het pakket voor een beroepsvoorbereidend leerjaar bevatte een handleiding voor de afname van de wiskundetoets (zie bijlage 3), aanwezigheidsbladen (zie bijlage 4), toetsboekjes en antwoordbladen (zie bijlage 6). In beide pakketten werden ook steeds enkele blanco wiskundetoetsen voorzien als reservemateriaal. In de volgende paragrafen geven we aan de hand van dit materiaal weer hoe de afnameprocedure in de klas verliep. De handleidingen (zie bijlagen 2 en 3) voor de toetsen wiskunde einde tweede leerjaar hadden dezelfde inhoud en waren gericht op de leerkracht 4 van de klas. Deze handleidingen bevatten informatie over de concrete afname, richtlijnen over het verloop van de toetsafname, een onderdeel met vaak gestelde vragen over de toetsen wiskunde en het LiSO-project en contactgegevens. De leerkracht was verantwoordelijk voor de afname van de wiskundetoetsen in de klas 5. De leerkracht diende eerst te controleren of al het nodige materiaal voor afname aanwezig was, zoals beschreven in de handleiding. Vervolgens moest op het aanwezigheidsblad (zie bijlage 5) gecontroleerd worden welke leerlingen aan- en afwezig waren. Indien een leerling afwezig was, moest telkens genoteerd worden wat de reden was. Er moest hier ook aangegeven worden wat de afnamedatum was van de toets in de klas. Indien een leerling de toets aflegde op een andere dan de 4 In sommige gevallen nam niet de wiskundeleerkracht van de klas, maar een andere leerkracht of een secretariaatsmedewerker de toets af. 5 In sommige gevallen werd de toets niet klassikaal afgenomen, maar werden verschillende klassen samengenomen om de toets in één keer van een grotere groep leerlingen af te nemen.

14 klassikale datum, moest dit ook hier genoteerd worden. Op dit blad werd ook plaats voorzien waar leerkrachten opmerkingen konden schrijven (zowel over de afname als algemene bedenkingen). Vervolgens mocht de leerkracht dit materiaal uitdelen. Indien de toetsen reeds gepersonaliseerd waren moest elk exemplaar aan de juiste leerling gegeven worden. Indien het blanco toetsmateriaal betrof, moest de leerkracht aan elke leerling blanco toetsmateriaal geven. Op het voorblad van het toetsboekje wiskunde einde tweede leerjaar A moesten de leerlingen indien nodig eerst hun identificatiegegevens invullen. Op het eerste blad stonden de instructies voor de leerlingen: welke pen ze mochten gebruiken, waar ze de antwoorden moesten noteren en wat ze wel en niet mochten doen tijdens de afname. Er werden ook enkele voorbeeldopgaven voorzien in het toetsboekje. Vervolgens werden de 36 opgaven van de wiskundetoets gegeven. Op het laatste blad werd ook informatie voorzien over de bescherming van de privacy en de contactgegevens van het LiSO-project. Op de antwoordbladen (zie bijlage 5) van de toets wiskunde einde tweede leerjaar A moesten de leerlingen hun identificatiegegevens controleren (en indien nodig invullen) en datum van de dag invullen. Hoe men dit antwoordformulier moest invullen, werd beschreven in het toetsboekje. Op het voorblad van het toetsboekje wiskunde einde beroepsvoorbereidend leerjaar moesten de leerlingen indien nodig eerst hun identificatiegegevens en de datum van de dag invullen. Op het eerste blad stonden de instructies van de leerlingen: welke pen ze mochten gebruiken, waar ze de antwoorden moesten noteren en wat ze wel en niet mogen doen tijdens de afname. Er werden ook enkele voorbeeldopgaven voorzien in het toetsboekje. Vervolgens werden de 36 opgaven van de wiskundetoets gegeven. Op het laatste blad van het toetsboekje werd tot slot informatie voorzien over de bescherming van de privacy en de contactgegevens van het LiSO-project. Op het antwoordblad (zie bijlage 6) van de toets wiskunde einde beroepsvoorbereidend leerjaar moesten de leerlingen hun identificatiegegevens controleren (en indien nodig invullen) en datum van de dag invullen. Hoe men dit antwoordformulier moest invullen, werd beschreven in het toetsboekje. De leerkracht/toetsleiders overliepen samen met de leerlingen de afnamerichtlijnen die vooraan in de toetsboekjes van de leerlingen stonden. In de handleiding voor de leerkrachten/toetsleiders werden verschillende richtlijnen voorzien waarop zij moesten toezien. De duurtijd die gespendeerd mocht worden aan de toetsen wiskunde was minimaal 1 lestijd van 50 minuten en maximaal 2 lestijden van 50 minuten. In deze periode mochten de leerlingen gebruik maken van een zakrekenmachine (uitgezonderd bij de eerste 28 opgaven van de toets voor de toets wiskunde einde beroepsvoorbereidend leerjaar). De leerkrachten mochten geen vragen beantwoorden die zouden helpen bij het oplossen van de toetsopgaven. De instructies en de precieze verwoording hiervan worden beschreven in de handleiding voor de leerkracht (zie bijlagen 2 en 3) Wanneer de leerlingen klaar waren met hun toets leverden ze hun toetsboekjes en/of antwoordbladen in bij de leerkracht. De leerkracht bezorgde vervolgens alles aan de LiSOcontactpersoon van de school.

15 2.2 Verwerking Het toetsmateriaal werd door het LiSO-team verzameld, gesorteerd, gecontroleerd, voorzien van de nodige identificatiegegevens van de leerlingen en op volgorde gelegd. Vervolgens kon met de verwerking van het toetsmateriaal gestart worden. Deze verwerking verliep in verschillende fases waarvan de resultaten per fase steeds verwerkt werden in de databank. In de volgende paragraaf bespreken we de relatie tussen organisatie van de databank en de verschillende fases van verwerking. In de daaropvolgende paragrafen worden de verschillende fases meer uitvoerig besproken Relatie databank en fases van verwerking De verwerking verliep in drie fases. De eerste fase was de invoer van de antwoorden van de leerlingen. Deze invoer heeft als doel een waarheidsgetrouwe weergave te zijn van de antwoorden die leerlingen gaven. De tweede fase was de scoring van deze antwoorden. Deze fase heeft als doel een duidelijke weergave te zijn van wat leerlingen juist of fout hebben. Vervolgens werd in de derde fase een vaardigheidsscore berekend die de vaardigheid van een leerling weergeeft. De resultaten van deze drie fases hebben elk hun plaats in de databank van het LiSO-project. Zo wordt de invoer van de antwoorden (fase 1) weggeschreven in de invoervariabele. Indien het niet mogelijk was het antwoord letterlijk weg te schijven (omdat het antwoord ongeldig was) in de invoervariabele werd het antwoord weggeschreven in de bisvariabele. In paragraaf worden de invoer, de invoervariabele en de bisvariabele in detail besproken. De invoer werd vervolgens gescoord (fase 2) op basis van de vooropgestelde correcte antwoorden. Dit resulteerde in een 0 of 1 score voor het betreffende item, deze score werd vervolgens weggeschreven in de bijhorende scorevariabele. Deze scoring wordt in detail besproken in paragraaf Op basis van deze scorevariabelen werd met behulp van IRT-procedures de vaardigheidsscore van een leerling berekend (fase 3). Deze vaardigheidsscore werd vervolgens weggeschreven in een aparte kolom met vaardigheidsscores. De berekening van deze vaardigheidsscore wordt in in detail besproken. In tabel 2 wordt de organisatie van de databank weergegeven voor de wiskundetoetsen in het LiSOproject. Hierbij dient LeerlingID ter identificatie van de leerling. Afnamedatum geeft weer op welke datum de leerling de toets invulde. V001 en V002 zijn invoervariabelen en geven weer wat de leerlingen invulden voor de vragen V001 en V002 (1, 2, 3 en 4 betekenen bij multiple choice vragen respectievelijk A, B, C en D). C V001 en C V002 zijn bisvariabelen en geven weer welke ongeldige antwoorden de leerlingen gaven voor V001 en V002 of opmerkingen die zij schreven bij V001 en V002. S001 en S002 zijn scorevariabelen die weergeven welke score de leerlingen respectievelijk kreeg voor de antwoorden op V001 en V002. De kolom Vaardigheidsscore geeft weer welke vaardigheidsscore voor een leerling berekend werd.

16 Tabel 2 Organisatie databank LiSO voor wiskunde LeerlingID Afnamedatum V001 V002 C V001 C V002 S001 S002 Vaardigheidsscore /05/ , /05/ , /05/ Het antwoord is 55 In de volgende paragrafen worden deze verschillende fases in detail besproken , Fase 1: Invoer De invoer van de antwoorden van de leerlingen begrijpen we als het wegschrijven van de antwoorden in de databank (in MS Access) van het LiSO-project. Het LiSO-project nam als uitgangspunt dat de antwoorden die leerlingen gaven steeds zo waarheidsgetrouw mogelijk in de LiSO-databank weergegeven worden. Met andere woorden: wat een leerling invult op zijn antwoordblad of in zijn toetsboekje wordt letterlijk weggeschreven in de databank. Alle antwoorden die zo ingevoerd werden, worden in de LiSO-databank beschouwd als invoervariabelen. De vragen in de toetsen wiskunde einde tweedeleerjaar A & B bestonden uit multiple choice vragen 6 en open vragen 7. De multiple choice vragen werden ingelezen van het antwoordblad door een scanner (via Teleform-software). De open vragen werden manueel ingevoerd. Zowel antwoorden op de multiple choice vragen als op de open vragen werden weggeschreven in de LiSO-database in de bijhorende kolom van de invoervariabele. Voor ongeldige en blanco antwoorden alsook voor opmerkingen werden in de database bijzondere codes voorzien. Deze worden in de volgende paragrafen besproken. Soms gaven leerlingen een antwoord dat niet ingelezen kon worden door de scanner of niet ingevoerd kon worden. Deze antwoorden werden geclassificeerd als ongeldige antwoorden. Voorbeelden van ongeldige antwoorden zijn: - Bij multiple choice vragen een antwoord schrijven in plaats van (een) bolletje(s) in te kleuren. - Bij multiple choice vragen waar maar één bolletje ingekleurd mag worden toch meerdere bolletjes inkleuren. - Bij open vragen een niet-invoerbaar antwoord geven (vb. een tekening). In al deze gevallen werd het antwoord ingevoerd als ongeldig en meer concreet als code We kozen voor een numerieke code in functie van diverse databasesoftware waarbij het belangrijk is dat voor bepaalde variabelen enkel numerieke antwoorden worden weggeschreven. Om later toch 6 Multiple choice vragen zijn vragen waarbij er verschillende antwoordmogelijkheden gegeven worden. Voor elke antwoordmogelijkheid staat een leeg bolletje. Wanneer een leerling denkt dat een bepaalde antwoordmogelijkheid het juiste antwoord is dient deze het bijhorende bolletje in kleuren. 7 Open vragen zijn vragen waarbij een antwoord geschreven moet worden. Er wordt de nodige ruimte voorzien waar de leerling zijn antwoord kan opschrijven.

17 een beeld te krijgen op deze ongeldige antwoorden, werd in de database vervolgens een extra kolom voorzien waarin het werkelijk gegeven antwoord van de leerling genoteerd werd (of een beschrijving in het geval van een tekening). Dit is de zogenaamde bisvariabele. Dit is een kolom in de database waar het werkelijk gegeven antwoord weggeschreven kan worden indien het een ongeldig antwoord betreft. Wanneer leerlingen een bepaalde opgave onbeantwoord lieten en dus geen antwoord gaven, werd dit als een blanco antwoord beschouwd. Er zijn verschillende situaties waarin een blanco antwoord geregistreerd werd: - Een antwoord op een multiple choice vraag werd als blanco beschouwd wanneer geen enkel bolletje ingekleurd was. - Een antwoord op een open vraag werd als blanco beschouwd wanneer er niets geschreven was. - Wanneer leerlingen een antwoord gaven, maar dit doorstreepten zonder een nieuw antwoord te geven, werd dit als een blanco antwoord beschouwd. - Wanneer leerlingen enkel een vraagteken of een kleine krabbel invulden, werd dit als een blanco antwoord beschouwd. In al deze gevallen werd het antwoord ingevoerd als blanco en meer concreet als code We kiezen voor een numerieke code in functie van diverse databasesoftware waarbij het belangrijk is dat voor bepaalde variabelen enkel numerieke antwoorden worden weggeschreven. Wanneer leerlingen de vragen wel op een geldige manier beantwoordden, maar nog een opmerking opschreven, werd het antwoord weggeschreven op de normale manier. De opmerking van de leerling werd echter ook bijgehouden bij de bisvariabele Fase 2: Scoring Na de invoer werden de antwoorden van de leerlingen gescoord. Onder scoring begrijpen we enkel het juist of fout rekenen van de antwoorden. Dit juist of fout rekenen, resulteert vervolgens in een score 1 of 0 voor respectievelijk een juist of een fout antwoord op een item. In de volgende paragrafen bespreken we hoe dit proces verliep voor multiple choice vragen en open vragen. De multiple choice vragen bestonden uit twee types: er waren vragen waarbij slechts één bolletje aangeduid moest worden en vragen waarbij meerdere bolletjes aangeduid moesten worden. Bij het eerste type werd een antwoord enkel juist gerekend indien de leerling het juiste bolletje aanduidde. Bij het tweede type werd het antwoord enkel juist gerekend wanneer de leerling alle juiste bolletjes aanduidde. Enkel wanneer leerlingen het juiste bolletje of de juiste bolletjes hadden aangeduid werd hun antwoord als juist beoordeeld en kreeg het antwoord de score 1. In alle andere gevallen (waaronder ook blanco en ongeldige antwoorden) werd de score 0 gegeven. Bij open vragen werd nagegaan of het antwoord dat de leerling gaf overeenstemde met het vooropgestelde correcte antwoord in de verbetersleutel. Dit criterium werd strikt gehanteerd, hoewel er ook enkele uitzonderingen zijn. Wanneer een leerling drie schreef in plaats van 3 en 3 het juiste antwoord is, werd dit toch juist gerekend. Wanneer een leerling nullen na de komma schreef (die in principe niet nodig waren) werd het antwoord juist gerekend (indien het een correct

18 antwoord betrof). Wanneer leerlingen met een breuk antwoordden, werd het antwoord correct gerekend voor elke breuk die een veelvoud is van de vooropgestelde correcte breuk (uitgezonderd wanneer een niet-vereenvoudigbare breuk werd gevraagd). Bij sommige vragen werden ook bepaalde kleine spelfouten toegestaan. Indien dit het geval was kreeg de leerling voor zijn antwoord op dat item de score 1. In alle andere gevallen (waaronder ook blanco en ongeldige antwoorden) werd de score 0 gegeven. Dit proces waarin de multiple choice vragen en open vragen werden gescoord resulteerde in een score 0 of 1 per item per leerling. Deze scores werden in de LiSO-databank weggeschreven als scorevariabelen Fase 3: Berekening vaardigheidsscores In dit hoofdstuk wordt beschreven hoe de vaardigheidsscore van iedere leerling berekend werd. We bespreken hiervoor eerst kort de Item-respons theorie (IRT). Dit is het model waarmee de vaardigheidsscore van iedere leerling bepaald wordt. Vervolgens bespreken we kort hoe de berekening van deze vaardigheidsscore door middel van IRT verloopt. Zowel in de klassieke testtheorie (KTT) als in de item-respons theorie (IRT) wordt de vaardigheid van een leerling berekend op basis van het al dan niet correct beantwoorden van een aantal items binnen een test. Tevens wordt in beide theorieën de moeilijkheid van een item berekend op basis van het aantal personen dat een juist antwoord geeft op het item. Waarin IRT echter verschilt van KTT is dat tussen de moeilijkheidsgraad van items en de vaardigheid van leerlingen een specifieke relatie wordt gelegd. Door deze relatie worden zowel de moeilijkheid van de items als de vaardigheden van leerlingen op één figuurlijke meetschaal vastgelegd. Hoe lager een item zich op deze meetschaal bevindt, hoe makkelijker dit is, hoe hoger een item zich op deze meetschaal bevindt, hoe moeilijker dit is. Hoe lager een leerling zich op deze meetschaal bevindt, hoe minder vaardigheid deze heeft, hoe hoger de leerling zich op deze meetschaal bevindt, hoe meer vaardigheid deze heeft. Het is hierbij de afstand tussen de vaardigheid van een persoon en de moeilijkheid van een item die bepaalt wat de kans is dat een item correct wordt opgelost. Wanneer de vaardigheid en de moeilijkheid zich op hetzelfde punt van de meetschaal bevinden, is de kans 50% dat de persoon het item juist heeft. Op deze manier komt IRT tot één figuurlijke meetschaal waarop zowel moeilijkheid als vaardigheid gesitueerd kunnen worden. Dankzij IRT-analyses kan deze meetschaal ook over verschillende toetsen heen geconstrueerd worden. Hierdoor kunnen de scores op verschillende toetsen met elkaar vergeleken worden. De enige voorwaarde hiervoor is dat de verschillende toetsen steeds enkele items gemeenschappelijk hebben. Het LiSO-project gebruikt IRT-analyses omdat de scores op verschillende testen met elkaar vergeleken moeten worden. Het hebben van één gemeenschappelijke meetschaal over verschillende testen is dan ook noodzakelijk. Enkel zo kan de vooruitgang van leerlingen doorheen de tijd beschreven worden en kan de vaardigheid van leerlingen uit 1A vergeleken worden met de vaardigheid van de 1B-leerlingen die een andere toets aflegden. Bijgevolg zijn IRT-analyses noodzakelijk voor de berekening van de vaardigheidsscore. De berekening van de vaardigheidsscore verloopt in twee zich steeds herhalende stappen. De eerste stap is dat op basis van de 0 en 1 scores de tijdelijke moeilijkheidsparameters berekend worden per

19 item. De tweede stap is de berekening van de tijdelijke vaardigheidsparameters op basis van de 0 en 1 scores en de tijdelijke moeilijkheidsparameters. Vervolgens is er een herhaling van de eerste stap. Nu worden de moeilijkheidsparameters echter niet enkel berekend op basis van de 0 en 1 scores, maar worden ook de tijdelijke vaardigheidsparameters in de berekening opgenomen. Vervolgens is er een herhaling van stap 2 waar wordt rekening gehouden met de nieuwe tijdelijke moeilijkheidsparameters. Deze twee stappen herhalen zich een aantal keer totdat de moeilijkheidsen vaardigheidsparameters stabiel blijven (convergentie). Wanneer deze stabiliteit bereikt is zijn de vaardigheidsscores en de moeilijkheidsparameter van de items berekend.

20 Hoofdstuk 3 Responsgegevens en resultaten 3.1 Responsgegevens In mei 2015 bestond de totale LiSO-steekproef van 2A en 2B uit leerlingen in 51 pedagogische gehelen (bestaande uit 70 instellingsnummers). Binnen de steekproef waren leerlingen ingeschreven in het tweede leerjaar A en leerlingen ingeschreven in het beroepsvoorbereidend leerjaar (BVL). In tabel 2 wordt de steekproef van leerlingen weergegeven. Ook de zittenblijvers in 1A en 1B werd gevraagd om een wiskundetoets in te vullen. In mei 2015 telden we 112 zittenblijvers, verdeeld over 34 pedagogische gehelen (bestaande uit 38 instellingsnummers). Van de zittenblijvers bevonden 104 leerlingen zich in 1A en 8 leerlingen in 1B. In tabellen 3 en 4 worden deze leerlingen weergegeven. Tabel 3 Steekproef leerlingen mei A en BVL Stroom N leerlingen (%) Tweede leerjaar A (84,3%) Beroepsvoorbereidend leerjaar (15,7%) TOTAAL (100%) Tabel 4 Steekproef leerlingen mei 2015 zittenblijvers 1A en 1B Stroom N leerlingen (%) Eerste leerjaar A 104 (92,9%) Eerste leerjaar B 8 (7,1%) TOTAAL 112 (100%) Van het totaal aantal scholen in de LiSO-steekproef namen er 50 deel aan de toetsen wiskunde einde tweede leerjaar mei Eén school nam dus niet deel aan de afname. Deze school had in mei 2015 een populatie van 61 leerlingen in 2A. Zo komen we tot de substeekproef voor de wiskundetoetsen van 2A/2B die in mei 2015 bestond uit leerlingen, waarvan leerlingen in het tweede leerjaar A en in het beroepsvoorbereidend leerjaar zaten. Deze school omvatte ook één zittenblijver in 1A. Daardoor bekomen we een substeekproef voor de wiskuntetoetsen van 1A/1B die in mei 2015 bestond uit 111 leerlingen met 103 leerlingen in 1A en 8 leerlingen in 1B. In tabel 3 wordt de substeekproef van leerlingen weergegeven. Alle leerlingen waarvan een ingevuld antwoordblad ontvangen werd met minstens één antwoord werd beschouwd als respons. Indien er toetsen ontvangen werden zonder dat er iets ingevuld werd,

21 werd dit beschouwd als een non-respons. Op basis van de hiervoor beschreven substeekproef werd vervolgens de leerlingenrespons berekend. In tabel 5 wordt de leerlingenrespons in de substeekproef weergegeven. Van de ontvangen ingevulde antwoordbladen/toetsboekjes beschouwen we er enkele als onbetrouwbaar voor analyses. Bij enkele leerlingen stellen we immers vast dat zij zeer weinig items van de betreffende toets invulden en/of heel wat items op een ongeldige manier invulden. We vermoeden dat de toetsen van deze leerlingen geen betrouwbare meting zijn van hun vaardigheid. Daarom besluiten we om de betreffende toetsscores uit de analyses weg te laten. We nemen als criterium dat een toets pas betrouwbaar is voor analyses wanneer meer dan de helft van de items op een geldige manier werd ingevuld. Dit wil zeggen dat alle toetsen waarbij de helft of meer items ongeldig of blanco werden ingevuld (zie hoofdstuk 2 voor beschrijving blanco en ongeldig) als onbetrouwbaar voor analyses worden beschouwd. Voor de toets wiskunde eerste leerjaar A registreren we zeven toetsen waarbij minder dan de helft van de items geldig werd ingevuld. Voor de toets wiskunde eerste leerjaar B registreren we vijf toetsen waarbij minder dan de helft van de items geldig werd ingevuld. In tabellen 5 en 6 geven we het aantal geldige aantal toetsen weer op het totaal aantal ontvangen toetsen. Tabel 5 Responsgegevens mei A en BVL N leerlingen (%) Stroom Substeekproef Respons Leerlingen (binnen de steekproef) Geldig ingevulde toetsen (binnen de respons) Tweede leerjaar A 5.524/5.585 (98,9%) 5.383/5.524 (97,5%) 5.376/5.383 (99,9%) Beroepsvoorbereidend leerjaar 1.044/1.044 (100%) 901/1.044 (86,3%) 896/901 (99,4%) TOTAAL 6.568/6.629 (99,1%) 6.284/6.568 (95,7%) 6.272/6.284 (99,8%) Tabel 6 Responsgegevens mei 2015 zittenblijvers 1A en 1B N leerlingen (%) Stroom Substeekproef Respons Leerlingen (binnen de steekproef) Geldig ingevulde toetsen (binnen de respons) Eerste leerjaar A 103/104 (99,0%) Eerste leerjaar B 8/8 (100%) TOTAAL 111/112 (99,1%) 84/103 (81,6%) 7/8 (87,5%) 91/111 (82,0%) 82/84 (97,6%) 7/7 (100%) 89/91 (97,8%)

22 3.2 Afnamedata De scholen kregen vanaf het ontvangstmoment (21 april) tot en met 31 mei 2015 de tijd om het toetsmateriaal bij de leerlingen af te nemen. Voor de meeste leerlingen werd hieraan voldaan, maar niet voor alle leerlingen. In een aantal gevallen werden de toetsen aanzienlijk later afgenomen (tot en met 9 juni). In tabellen 7 en 8 wordt weergegeven voor hoeveel leerlingen de afnamedatum van 31 mei overschreden werd. Tabel 7 Overschrijding uiterste afnamedatum 2A en BVL N leerlingen (%) Stroom Afname 21/04 31/5 Afname 1/6-8/6 Tweede leerjaar A Beroepsvoorbereidend leerjaar TOTAAL 5.199/5.376 (96,7%) 857/896 (95,6%) 6.056/6.272 (96,6%) 177/5.376 (3,3%) 39/896 (4,4%) 216/6.272 (3,4%) Tabel 8 Overschrijding uiterste afnamedatum zittenblijvers 1A en 1B N leerlingen (%) Stroom Afname 21/04 31/5 Afname 1/6-8/6 Eerste leerjaar A Eerste leerjaar B TOTAAL 82/82 (100%) 7/7 (100%) 89/89 (100%) 0/82 (0,0%) 0/7 (0,0%) 0/89 (0,0%) Dit betekent dat er sprake is van een vrij lange toetsperiode (van 21 april tot en met 9 juni). Dit kan de vergelijkbaarheid van de toetsresultaten tussen verschillende scholen en klassen in het gedrang brengen. We verwachten immers dat leerlingen bij wie de toets werd afgenomen na 31 mei hoger scoren dan leerlingen waarbij de toets werd afgenomen tot en met 31 mei. De eerste groep heeft namelijk al meer lesuren wiskunde gevolgd dan de tweede groep. Uit de gegevens van de wiskundetoets einde tweede leerjaar A blijkt er echter geen verschil tussen beide groepen. De groep waarbij de toets werd afgenomen na 31 mei behaalde een gemiddelde vaardigheidsscore van 120,99 (SD=8,81) terwijl de groep waarbij de toets werd afgenomen tot en met 31 mei een gemiddelde vaardigheidsscore van 119,40 behaalde (SD=8,19). Uit de gegevens van de wiskundetoets einde beroepsvoorbereidend leerjaar blijkt er eveneens nagenoeg geen verschil te zijn tussen beide groepen. De groep waarbij de toets werd afgenomen na 31 mei behaalde een

23 gemiddelde vaardigheidsscore van 91,66 (SD=7,82) terwijl de groep waarbij de toets werd afgenomen tot en met 31 mei een gemiddelde vaardigheidsscore van 93,24 behaalde (SD=8,21). De hypothese dat enkele weken meer les tot hogere resultaten zou leiden, wordt dus verworpen. Het is echter cruciaal dat de grote spreiding van afnamedata niet leidt tot een vertekening van de resultaten. Daarom werden alle volgende analyses in dit rapport zowel uitgevoerd met als zonder de leerlingen die na 31 mei hun toetsen invulden. Equivalente resultaten werden steeds bekomen en er was geen indicatie van vertekening. Om deze reden worden enkel de resultaten besproken waarbij alle leerlingen opgenomen zijn. De datum waarop een leerling de toets invulde werd ook steeds bijgehouden in de databank van het LiSO-project (zie 2.1.1). Afnamedatum kan dus ook steeds opgenomen wanneer er statistische analyses op de data worden uitgevoerd. In figuur 1 wordt de cumulatieve frequentieverdeling weergegeven van de afnamedata van het tweede leerjaar A. Deze grafiek geeft per dag weer hoeveel leerlingen de toetsen tot dan toe invulden. Hierbij zien we dat de meeste leerlingen hun toetsen aflegden tussen 11 mei en 25 mei. Figuur 1 Cumulatieve frequentieverdeling afnamedata leerlingen 2A In figuur 2 wordt de cumulatieve frequentieverdeling weergegeven van de afnamedata van het beroepsvoorbereidend leerjaar. Deze grafiek geeft per dag weer hoeveel leerlingen de toetsen tot dan toe invulden. Hierbij zien we dat de meeste leerlingen hun toetsen aflegden tussen 11 mei en 25 mei. Figuur 2

24 Cumulatieve frequentieverdeling afnamedata leerlingen beroepsvoorbereidend leerjaar Omdat de aantallen bij de zittenblijvers te laag zijn, geven we geen figuren van de afnamedata weer. In tabellen 9 en 10 worden percentiel 10, percentiel 25, de mediaan, percentiel 75 en percentiel 90 van de afnamedata weergegeven. De percentielen van de afnamedata geven weer op welke datum dat 10%, 25%, 75% of 90% van de leerlingen de toets reeds hadden ingevuld. De mediaan geeft weer wanneer 50% van de leerlingen de toets reeds hadden ingevuld, deze is dus gelijk aan percentiel 50. We zien dat minstens 50% van de toetsen van het tweede leerjaar A werden ingevuld tussen 11/05 en 20/05. In het beroepsvoorbereidend leerjaar werden minstens 50% van de toetsen ingevuld tussen 08/05 en 21/05. 90% van de toetsen van het tweede leerjaar A werden ingevuld voor 26/05 terwijl 90% van de toetsen van het beroepsvoorbereidend leerjaar werden ingevuld voor 28/05. Bij de zittenblijvers in het eerste leerjaar A werd 50% van de vragenlijsten ingevuld tussen 11/5 en 27/5. In 1B ging het om een periode van 18/5 tot en met 37/5. Bij 1A werd 90% van de vragenlijsten ingevuld tot en met 28/5. Tabel 9 Verdelingskenmerken afnamedata tweede leerjaar A en beroepsvoorbereidend leerjaar P10 P25 P50 P75 P90 Tweede leerjaar A 07/05 11/05 19/05 20/05 26/05 Beroepsvoorbereidend leerjaar 06/05 08/05 13/05 21/05 28/05

25 Tabel 10 Verdelingskenmerken afnamedata van de zittenblijvers in het eerste leerjaar A en het eerste leerjaar B P10 P25 P50 P75 P90 Eerste leerjaar A 07/05 11/05 18/05 27/05 28/05 Eerste leerjaar B 11/05 18/05 18/05 27/05 NVT In de databank van het LiSO-project (zie 2.2.1) wordt steeds bijgehouden wanneer de leerling de toets heeft ingevuld. Op deze manier kan de afnamedatum ook steeds opgenomen worden als variabele. 3.2 Validiteit Er werd onderzocht of de toetsen wiskunde einde tweede leerjaar één of meerdere achterliggende vaardigheden meet. Indien er slechts evidentie is voor één vaardigheid dan verleent dit steun aan de hypothese dat de toets enkel wiskundevaardigheden meet. Daarom werd een exploratieve factoranalyse uitgevoerd op de items van zowel de toets wiskunde einde tweede leerjaar A als de toets wiskunde einde beroepsvoorbereidend leerjaar. Het doel van deze factoranalyse is om na te gaan of een één-factoroplossing de beste factoroplossing is voor een geheel van items. Indien dit zo blijkt te zijn dan is dit een indicatie dat de toets één vaardigheid meet. Figuur 3 Scree plot 2A

26 Om te bepalen of een één-factoroplossing de beste factoroplossing is, wordt zowel gebruik gemaakt van een scree-plot als van de proportie verklaarde variantie 8 van de verschillende factoren. Op basis van deze criteria besluiten we voor de toets wiskunde einde tweede leerjaar A dat de éénfactoroplossing de beste factoroplossing is. We vinden immers dat 13,15% van de variantie in de toetsscores verklaard wordt door de eerste factor. Ook de scree plot (zie figuur 3) wijst op een éénfactoroplossing als de beste factoroplossing. Op basis van deze criteria besluiten we voor de toets wiskunde einde beroepsvoorbereidend leerjaar dat de één-factoroplossing de beste factoroplossing is. We vinden immers dat 13,29% van de variantie in de toetsscores verklaard wordt door de eerste factor. Ook de scree plot (zie figuur 4) wijst op een één-factoroplossing als de beste factoroplossing. Omwille van de bovenstaande resultaten wordt in de analyses van de toetsen wiskunde einde secundair onderwijs doorgaans gewerkt met één vaardigheidsscore per leerling. Er worden geen IRTscores berekend voor subschalen (data- en informatieverwerking, metend rekenen, getallenleer en meetkunde). Figuur 4 Scree plot BVL 3.3 Betrouwbaarheid Om de betrouwbaarheid van de wiskundetoetsen einde tweede leerjaar A en beroepsvoorbereidend leerjaar na te gaan, werden de Cronbach s alfacoëfficiënten 9 berekend voor beide toetsen. In tabel 7 8 Criterium Proportie verklaarde variantie : enkel factoren die minstens 5% van de variantie verklaren worden weerhouden.

27 worden de Cronbach s alfacoëfficiënten weergegeven voor het tweede leerjaar A en het beroepsvoorbereidend leerjaar (Alfa). Tevens wordt ook weergegeven op hoeveel geldig ingevulde toetsen de Cronbach s alfacoëfficiënten werden berekend. Tabel 11 Betrouwbaarheid wiskundetoetsen einde tweede leerjaar A en beroepsvoorbereidend leerjaar N leerlingen N items Alfa Tweede leerjaar A Beroepsvoorbereidend leerjaar De wiskundetoetsen einde tweede leerjaar hebben een hoge betrouwbaarheid volgens de berekende Cronbach s alfacoëfficiënten. Bij de berekening van de Cronbach s alfacoëfficiënten werden blanco en ongeldige antwoorden mee opgenomen. Zij werden logischerwijs als een foutief antwoord beschouwd. De alfacoëfficiënten konden niet verder verhoogd worden door het weglaten van één of meerdere items. Ook voor de verschillende inhoudelijke domeinen werden de Cronbach s alfacoëfficiënten berekend per toets. De inhoudelijk domeinen waartoe de items behoren zijn: Algebra (AL), Data- en informatieverwerking (DA), Metend rekenen (MR), Getallenleer (GL), en Meetkunde (MK). De resultaten worden weergegeven in tabel 12. Tabel 12 Betrouwbaarheid inhoudelijke domeinen wiskundetoetsen einde tweed e leerjaar A en beroepsvoorbereidend leerjaar Cronbach s alfacoëfficiënt (N items) Toetsinhoud AL DA MR GL MK Tweede leerjaar A 0,67 (10) 0,41 (6) n.v.t. 0,67 (10) 0,60 (10) Beroepsvoorbereidend leerjaar n.v.t. 0,42 (6) 0,63 (11) 0,63 (10) 0,55 (9) Legende: AL= Algebra; DA=Data- en informatieverwerking; MR=Metend rekenen; GL=Getallenleer; MK=Meetkunde 3.4 Verdelingskenmerken Tabel 13 bevat verschillende verdelingskenmerken van de wiskundetoetsen: het aantal leerlingen dat de wiskundetoetsen einde tweede leerjaar op een geldige manier heeft ingevuld (N), de gemiddelde ruwe score 10 op 36 items voor het tweede leerjaar A en 36 items voor het beroepsvoorbereidend 9 Een Cronbachs alfacoëfficiënt is een maat voor de interne consistentie van de items van een test. Hoe hoger deze maat hoe consistenter de items zijn in het meten van een bepaalde vaardigheid. 10 De ruwe score van een leerling is de som van het aantal juiste antwoorden dat een leerling gaf op de items van de toets. Voor een juist antwoord krijgt een leerling één punt, voor een fout antwoord krijgt een leerling nul punten. Er wordt bij de berekening van de ruwe score dus geen rekening gehouden met de moeilijkheid van de items.

28 leerjaar, de bijbehorende standaardafwijking (SD), de laagste en de hoogste geregistreerde score (Min en Max) en de scheefheidcoëfficiënt. Tabel 13 Verdelingskenmerken wiskundetoetsen einde tweede leerjaar A en beroepsvoorbereidend leerjaar N Ruwe score SD Min Max Scheefheid Tweede leerjaar A ,72 6, ,20 Beroepsvoorbereidend leerjaar ,46 6, ,06 De toets wiskunde einde tweede leerjaar A bestond uit 36 items, waardoor de leerlingen maximaal een ruwe score van 36 en minimaal een ruwe score van 0 konden behalen. De gemiddelde ruwe score van 20,72 ligt niet veel boven het theoretisch gemiddelde 11 van 18. De spreiding is op basis van de standaarddeviatie van 6,39 niet te hoog. Geen enkele leerling behaalde een nulscore. De maat voor scheefheid wijst op een normale verdeling. Ook de frequentieverdeling (Figuur 5) geeft aan dat de verdeling van de testscores de normale verdeling grotendeels volgt. We merken echter op dat de staarten van de verdeling (waar de hoge en lage scores zich bevinden) een afgeplatte indruk wekken. Dit wijst er op dat iets minder leerlingen een zeer lage of zeer hoge score halen dan verwacht kan worden op basis van de standaardnormale verdeling. De toets wiskunde einde beroepsvoorbereidend leerjaar bestond uit 36 items, waardoor de leerlingen maximaal een ruwe score van 36 en minimaal een ruwe score van 0 konden behalen. De gemiddelde ruwe score van 18,46 ligt dicht bij het theoretisch gemiddelde van 18. De spreiding is op basis van de standaarddeviatie van 6,35 niet te hoog. Opvallend daarbij is dat de maximale ruwe score 34 is, dit is twee punten onder het theoretische maximum. De laagste score was 3. De maat voor scheefheid wijst niet op een normale verdeling. In figuur 6 zien we dat de verdeling van de testscores de standaardnormale verdeling grotendeels volgt. Figuur 5 Frequentieverdeling ruwe scores wiskunde einde tweede leerjaar A 11 Een theoretisch gemiddelde van een test is het gemiddelde van het totaal aantal items in een test.

29 Figuur 6 Frequentieverdeling ruwe scores wiskunde einde beroepsvoorbereidend leerjaar De tabellen 14 en 15 geven de itemkenmerken weer voor de toetsen wiskunde einde tweede leerjaar A en het beroepsvoorbereidend leerjaar. Beide tabellen bevatten per item de proportie leerlingen die het juiste antwoord hebben ingevuld (P juist) en de proportie leerlingen die een fout antwoord hebben ingevuld (P fout). Indien een leerling een item niet of ongeldig heeft ingevuld, wordt dit ook als een fout antwoord beschouwd. Daarnaast wordt ook de proportie blanco antwoorden per item weergegeven (Blanco) alsook de proportie ongeldige antwoorden (Ongeldig). Verder wordt de proportie leerlingen weergegeven die een fout antwoord hebben ingevuld, zonder de ongeldige en

30 blanco antwoorden mee te tellen (P Fout Aangepast) Tot slot wordt ook per item de itemtotaalcorrelatie gegeven (R it). We onderscheiden een gematigde moeilijkheidsgraad (P juist-waarde tussen 0,40 en 0,60), een gemakkelijke moeilijkheidsgraad (P juist-waarde groter dan 0,60) en een moeilijke moeilijkheidsgraad (P juist-waarde kleiner dan 0,40). Ook de zeer moeilijke items (P juist-waarde kleiner dan 0,10) als de zeer gemakkelijke items worden benoemd (P juist-waarde groter dan 0,90). Negen items van de wiskundetoets einde tweede leerjaar A hebben een gematigde moeilijkheidsgraad, 18 items zijn gemakkelijk negen items zijn moeilijk. Geen enkel item kan als zeer gemakkelijker of zeer moeilijk gecategoriseerd worden. 13 items van de wiskundetoets einde beroepsvoorbereidend leerjaar hebben een gematigde moeilijkheidsgraad, 13 items zijn gemakkelijk en acht items zijn moeilijk. Slechts twee items zijn zeer moeilijk. Geen enkel item kan als zeer gemakkelijk gecategoriseerd worden. De itemtotaalcorrelaties 12 voor de toets wiskunde einde tweede leerjaar A situeren zich tussen 0,19 en 0,47. Slechts één item heeft een itemtotaalcorrelatie lager dan 0,20. Voor de toets wiskunde einde beroepsvoorbereidend leerjaar situeren de itemtotaalcorrelaties zich tussen 0,14 en 0,47. Slechts één item heeft een itemtotaalcorrelatie lager dan 0,20. Tabel 14 Itemkenmerken Toets Wiskunde einde tweede leerjaar A Item Code itemdatabank Inhoud Vraagtype PJuist PFout Blanco Ongeldig PFout Aangepast Rit S001 AL048 AL Multiple choice 0,40 0,60 0,01 0,00 0,59 0,36 S002 MK209 MK Multiple choice 0,59 0,41 0,01 0,00 0,40 0,30 S003 GL266 GL Open vraag 0,83 0,17 0,02 0,00 0,16 0,25 S004 DA086 DA Multiple choice 0,38 0,62 0,01 0,00 0,61 0,21 S005 AL049 AL Multiple choice 0,70 0,30 0,02 0,00 0,29 0,37 S006 MK213 MK Open vraag 0,80 0,20 0,01 0,01 0,19 0,29 S007 GL396 GL Multiple choice 0,68 0,32 0,01 0,00 0,31 0,30 S008 DA089 DA Multiple choice 0,83 0,17 0,02 0,00 0,15 0,30 S009 AL054 AL Multiple choice 0,48 0,52 0,00 0,01 0,51 0,30 S010 MK230 MK Multiple choice 0,20 0,80 0,00 0,00 0,79 0,19 S011 GL410 GL Open vraag 0,38 0,62 0,04 0,00 0,58 0,30 S012 AL058 AL Open vraag 0,56 0,44 0,09 0,00 0,35 0,36 S013 DA091 DA Multiple choice 0,88 0,12 0,00 0,01 0,11 0,26 S014 MK271 MK Multiple choice 0,62 0,38 0,00 0,00 0,37 0,30 S015 GL415 GL Open vraag 0,51 0,49 0,05 0,26 0,18 0,33 S016 DA112 DA Multiple choice 0,67 0,33 0,01 0,01 0,30 0,31 12 Een itemtotaalcorrelatie geeft weer hoe sterk een item samenhangt met de andere items van een test. Er wordt verwacht dat deze itemcorrelatie steeds positief is. Immers meten de verschillende items dezelfde vaardigheid en horen ze samen te hangen.

31 S017 AL061 AL Multiple choice 0,57 0,43 0,01 0,00 0,42 0,38 S018 MK291 MK Multiple choice 0,72 0,28 0,00 0,06 0,22 0,28 S019 DA135 DA Multiple choice 0,77 0,23 0,00 0,00 0,23 0,26 S020 AL063 AL Open vraag 0,67 0,33 0,04 0,13 0,17 0,37 S021 GL417 GL Multiple choice 0,32 0,68 0,02 0,00 0,66 0,36 S022 MK300 MK Multiple choice 0,48 0,52 0,02 0,01 0,49 0,33 S023 GL424 GL Multiple choice 0,30 0,70 0,00 0,01 0,69 0,36 S024 DA149 DA Multiple choice 0,55 0,45 0,01 0,03 0,41 0,29 S025 AL071 AL Multiple choice 0,40 0,60 0,01 0,00 0,59 0,27 S026 MK301 MK Multiple choice 0,35 0,65 0,01 0,00 0,64 0,26 S027 GL435 GL Multiple choice 0,73 0,27 0,01 0,00 0,27 0,43 S028 AL076 AL Multiple choice 0,64 0,36 0,01 0,00 0,35 0,35 S029 GL438 GL Open vraag 0,74 0,26 0,01 0,13 0,11 0,44 S030 AL077 AL Multiple choice 0,46 0,54 0,02 0,01 0,51 0,22 S031 MK304 MK Open vraag 0,68 0,32 0,00 0,32 0,00 0,47 S032 MK322 MK Multiple choice 0,36 0,64 0,03 0,02 0,60 0,28 S033 GL439 GL Multiple choice 0,68 0,32 0,01 0,01 0,30 0,35 S034 AL079 AL Multiple choice 0,75 0,25 0,02 0,00 0,23 0,37 S035 GL445 GL Open vraag 0,39 0,61 0,08 0,22 0,31 0,35 S036 MK343 MK Multiple choice 0,68 0,32 0,01 0,10 0,22 0,38 Legende: AL= Algebra; DA=Data- en informatieverwerking; GL=Getallenleer; MK=Meetkunde Tabel 15 Itemkenmerken Toets wiskunde einde beroepsvoorbereidend leerjaar Item Inhoud Vraagtype PJuist PFout Blanco Ongeldig PFout Aangepast Rit S001 MK013 MK Multiple choice 0,28 0,72 0,01 0,00 0,71 0,32 S002 GL238 GL Multiple choice 0,50 0,50 0,02 0,01 0,47 0,39 S003 MR008 MR Open Vraag 0,63 0,38 0,08 0,03 0,27 0,29 S004 DA008 DA Open Vraag 0,75 0,25 0,01 0,01 0,23 0,14 S005 MK067 MK Open Vraag 0,50 0,50 0,04 0,00 0,46 0,25 S006 MR058 MR Multiple choice 0,37 0,63 0,02 0,01 0,60 0,14 S007 MK076 MK Multiple choice 0,36 0,64 0,02 0,00 0,61 0,26 S008 GL246 GL Open Vraag 0,68 0,32 0,06 0,01 0,26 0,38 S009 MR068 MR Open Vraag 0,69 0,31 0,02 0,00 0,28 0,32 S010 DA023 DA Multiple choice 0,89 0,11 0,01 0,01 0,09 0,24 S011 GL253 GL Multiple choice 0,53 0,47 0,03 0,01 0,43 0,38 S012 MK077 MK Open Vraag 0,72 0,28 0,01 0,00 0,26 0,39 S013 GL251 GL Multiple choice 0,77 0,23 0,02 0,01 0,20 0,37 S014 MR079 MR Open Vraag 0,45 0,55 0,06 0,04 0,45 0,47

32 S015 DA062 DA Open Vraag 0,61 0,39 0,05 0,02 0,33 0,38 S016 MK169 MK Multiple choice 0,64 0,36 0,01 0,08 0,28 0,31 S017 GL259 GL Multiple choice 0,54 0,46 0,02 0,02 0,42 0,38 S018 DA089 DA Multiple choice 0,46 0,54 0,08 0,00 0,46 0,39 S019 MK188 MK Multiple choice 0,68 0,32 0,02 0,01 0,29 0,33 S020 GL264 GL Open Vraag 0,72 0,28 0,05 0,03 0,20 0,30 S021 MR199 MR Open Vraag 0,35 0,65 0,05 0,00 0,60 0,31 S022 MK191 MK Open Vraag 0,80 0,20 0,05 0,00 0,15 0,31 S023 GL294 GL Multiple choice 0,54 0,46 0,02 0,01 0,43 0,43 S024 MK168 MK Multiple choice 0,45 0,55 0,02 0,26 0,28 0,26 S025 MK198 MK Multiple choice 0,59 0,41 0,05 0,06 0,30 0,30 S026 GL305 GL Multiple choice 0,44 0,56 0,02 0,01 0,53 0,25 S027 MR204 MR Open Vraag 0,69 0,31 0,00 0,31 0,00 0,42 S028 MK218v MK Multiple choice 0,33 0,67 0,04 0,02 0,61 0,15 S029 GL240 GL Open Vraag 0,53 0,47 0,06 0,00 0,40 0,38 S030 MR194 MR Open Vraag 0,51 0,49 0,03 0,00 0,45 0,42 S031 DA018 DA Open Vraag 0,22 0,78 0,16 0,01 0,61 0,38 S032 MR189 MR Open Vraag 0,08 0,92 0,16 0,03 0,74 0,30 S033 DA086 DA Multiple choice 0,20 0,80 0,03 0,00 0,76 0,20 S034 MR201 MR Multiple choice 0,52 0,48 0,07 0,00 0,41 0,31 S035 GL410 GL Open Vraag 0,08 0,92 0,11 0,09 0,72 0,19 S036 MR262 MR Open Vraag 0,34 0,66 0,13 0,03 0,50 0,42 Legende: DA=Data- en informatieverwerking; MR=Metend rekenen; GL=Getallenleer; MK=Meetkunde 3.5 Opmerkingen bij toetsafname Leerkrachten kregen op het aanwezigheidsblad van de toetsen wiskunde einde tweede leerjaar steeds de mogelijkheid om opmerkingen te schrijven over de testafname. De meeste leerkrachten schreven geen opmerkingen op de aanwezigheidsbladen. De opmerkingen die wel geschreven werden, werden gecategoriseerd volgens inhoud. Hieruit bleek dat er twee categorieën waren waarin meerdere keren een opmerking werd gegeven. Andere categorieën betroffen slechts eenmalige opmerkingen. De twee categorieën met meerdere opmerkingen worden hieronder beschreven. - Opmerkingen over specifieke leerlingen. Verschillende opmerkingen handelen over specifieke leerlingen. De meeste van deze opmerkingen hebben betrekking op het gedrag van de leerling tijdens de toetsafname. Andere opmerkingen hebben betrekking op leer/gedragsproblemen van leerlingen die mogelijk een impact hebben op de toetsafname.

33 - Opmerkingen over de moeilijkheidsgraad van de toets wiskunde einde beroepsvoorbereidend leerjaar. Verschillende leerkrachten ervaren de toets wiskunde voor het beroepsvoorbereidend leerjaar als te moeilijk. Enkele leerkrachten leggen daarbij vooral de nadruk op een te moeilijke vraagstelling. Andere leerkrachten benoemen specifieke vragen die te moeilijk zijn. Er zijn echter geen specifieke vragen die door meerdere leerkrachten als te moeilijk beoordeeld worden. Enkele leerkrachten merken op dat de toets door zijn moeilijkheid demotiverend werkt op de leerlingen. 3.6 IRT: Moeilijkheidsgraad en discriminatiegraad In tabellen 16 en 17 worden respectievelijk voor de toets wiskunde einde tweede leerjaar A en voor de toets wiskunde einde beroepsvoorbereidend leerjaar de discriminatiegraden, de moeilijkheidsgraden en de intercept slope parameters van de items weergegeven zoals berekend door IRT-analyses. De discriminatiegraad van een item is een parameter die aangeeft hoe sterk een item onderscheid maakt tussen leerlingen met een verschillend vaardigheidsniveau. De moeilijkheidsgraad van een item is een parameter die aangeeft hoe moeilijk een item is. De moeilijkheidsgraad wordt gebruikt om de kans te bepalen dat leerlingen met een bepaald niveau van vaardigheid het item juist oplossen. Deze parameter wordt berekend op basis van de Intercept Slope parameter. Tabel 16 Itemparameters toets wiskunde einde tweede leerjaar A Item Inhoud Discriminatie SE discriminatie Intercept Slope Parameter SE intercept slope parameter Moeilijkheid S001 AL S002 MK S003 GL S004 DA S005 AL S006 MK S007 GL S008 DA S009 AL S010 MK S011 GL S012 AL S013 DA S014 MK S015 GL S016 DA S017 AL S018 MK S019 DA S020 AL S021 GL S022 MK S023 GL

34 S024 DA S025 AL S026 MK S027 GL S028 AL S030 AL S031 MK S032 MK S033 GL S034 AL S035 GL S036 MK Legende: AL= Algebra; DA=Data- en informatieverwerking; GL=Getallenleer; MK=Meetkunde Tabel 17 Itemparameters toets wiskunde einde beroepsvoorbereidend leerjaar Item Inhoud Discriminatie SE discriminatie Intercept Slope Parameter SE intercept slope parameter Moeilijkheid S001 MK S002 GL S003 MR S004 DA S005 MK S006 MR S007 MK S008 GL S009 MR S010 DA S011 GL S012 MK S013 GL S014 MR S015 DA S016 MK S017 GL S018 DA S019 MK S020 GL S021 MR S022 MK S023 GL S024 MK S025 MK S026 GL S027 MR S028 MK218v S029 GL S030 MR

35 S031 DA S032 MR S033 DA S034 MR S035 GL S036 MR Legende: AL= Algebra; DA=Data- en informatieverwerking; GL=Getallenleer; MK=Meetkunde

36 BIJLAGEN

37 Bijlage 1 Brief LiSO-contactpersoon

38 LiSO Loopbanen in het Secundair Onderwijs Dekenstraat 2 bus Leuven Beste school, U ontving van ons via bpost het nodige afnamemateriaal voor de LiSO-bevraging van mei 2014, bestemd voor alle leerlingen die in het eerste jaar van de eerste graad zitten in uw school. Graag geven wij hierbij een woordje uitleg. WAT HEEFT U PRECIES ONTVANGEN? Toets wiskunde Voor elke klas zijn er 1 of 2 doosjes (naargelang de grootte van de klas) met hierin de toetsen wiskunde voor alle leerlingen van de klas en ook een paar reserve exemplaren. In elk doosje zitten nog richtlijnen voor de leerkracht/toetsleider. We vragen u om elke doosje aan de juiste klas te bezorgen. Vragenlijst voor leerlingen Voor elke klas zijn er 1 doosje met hierin een vragenlijst voor alle leerlingen van de klas en ook een paar reserve exemplaren. In elk doosje zitten nog richtlijnen voor de leerkracht/toetsleider. We vragen u om elke doosje aan de juiste klas te bezorgen. Oudervragenlijst en vragenlijst Opportunity to learn Elke school ontvangt tot slot ook 1 of 2 doosjes (naargelang het aantal) met hierin enerzijds oudervragenlijsten voor de nieuwe leerlingen en anderzijds vragenlijsten Opportunity to learn bestemd voor de vakleerkracht wiskunde van elke klas. Dit doosje mag u zelf openen. U zal zien dat hierin ook nog steeds specifieke richtlijnen werden opgenomen zodat u weet wat u met de inhoud moet doen. CONTROLEER OF U INDERDAAD HET HIERVOOR VERMELDE AFNAMEMATERIAAL ONTVING. Indien dit niet het geval is, gelieve ons dan zo snel mogelijk te contacteren. UITERSTE AFNAMEDATUM We vragen u om de toetsen en vragenlijsten af te nemen vóór 17 mei We vragen dit aan alle scholen om de vergelijkbaarheid te maximaliseren. Indien u toch meer tijd nodig heeft, mag u altijd contact opnemen en dan zoeken we naar een geschikte oplossing. OPHALING VAN HET MATERIAAL Het LiSO-team zal persoonlijk langskomen om al het afnamemateriaal terug op te halen. Voor uw school zal dit zijn op maandag 19 mei Gelieve tegen die datum het materiaal te verzamelen. Tijdens het ophaalmoment mag u ons ook altijd aanspreken om te vertellen hoe de afname verlopen is, of er problemen waren, of u suggesties heeft voor de toekomst, als u met vragen zit, etc. Indien het niet zou lukken alle vragenlijsten en toetsen tijdig te verzamelen, kan u de nog ontbrekende toetsen en vragenlijsten kosteloos nasturen via bpost. Indien het bijvoorbeeld gaat om enkele oudervragenlijsten, gebruik dan een A4-omslag. Indien het om een groter pakket gaat, gebruik dan één van de dozen waarin u het afnamemateriaal ontving. Bij het terugzenden van meerdere dozen kan u deze afzonderlijke dozen best stevig aan elkaar bevestigen met tape, plakband of touw. Om het u makkelijker te maken, hebben wij reeds een label met onze gegevens toegevoegd aan het pakket. Kleef deze sticker in de rechterbenedenhoek van de omslag, de doos of

39 LiSO Loopbanen in het Secundair Onderwijs Dekenstraat 2 bus Leuven het pakket. Waak erover dat de barcode niet bedekt wordt met tape, plakband of touw. De barcode moet goed zichtbaar zijn. U hoeft de omslag, de doos of het pakket met afnamemateriaal niet te frankeren. Bpost rekent ons de verzendingskosten aan. Ga naar het postkantoor in de buurt. Indien de postbeambte het pakket weigert, gelieve in dat geval nog eens expliciet te vermelden dat het een verzending TAXIPOST EASY RETOUR betreft. Bij eventuele problemen kan u terecht bij LiSOmedewerker Ilka Fidlers ( ). Alvast bedankt voor uw medewerking! Met vriendelijke groeten, Het LiSO-team Indien u vragen of opmerkingen heeft, mag u ons altijd contacteren: Eef Stevens Coördinator LiSO Centrum voor Onderwijseffectiviteit en -evaluatie KU Leuven Dekenstraat 2 bus Leuven [email protected] of [email protected] Telefoon: (voor dringende zaken: ) Website:

40 Bijlage 2 Handleiding leerkracht tweede leerjaar A

41 LiSO Loopbanen in het Secundair Onderwijs Dekenstraat 2 bus Leuven HANDLEIDING VOOR DE LEERKRACHT/TOETSLEIDER TOETS WISKUNDE 1A MEI 2014 DIT DOOSJE BEVAT DE TOETS WISKUNDE VOOR 1A Elke leerling ontvangt: 1 toetsboekje waarin alle opgaven van de toets wiskunde staan 1 antwoordblad op A4-formaat om de definitieve antwoorden te noteren op de opgaven die de leerling zonder rekenmachine moet afleggen 1 antwoordblad op A3-formaat om de definitieve antwoorden te noteren op de opgaven die de leerling met een rekenmachine mag afleggen Gebruik rekenmachine De leerlingen mogen voor de eerste 9 opgaven geen rekenmachine gebruiken. Voor de daarop volgende opgaven mag dat wel. Laat de leerlingen starten met de eerste 9 opgaven, zonder gebruik van een rekenmachine. Hun definitieve antwoorden noteren ze op het A4- antwoordblad. Wanneer een leerling klaar is met deze opgaven, geeft hij/zij het A4- antwoordblad af. Vanaf dan mag hij/zij een rekenmachine gebruiken voor alle overige opgaven, waarvan de definitieve antwoorden worden ingevuld op het A3-antwoordblad. Tip: u kan de rekenmachines vooraan in de klas verzamelen; pas wanneer de leerling het antwoordblad met de 9 eerste opgaven afgeeft, mag hij/zij de rekenmachine nemen.

42 LiSO Loopbanen in het Secundair Onderwijs Dekenstraat 2 bus Leuven CONCRETE AFNAME-RICHTLIJNEN Het toetsboekje bevat alle opgaven. De leerling mag hierin zoveel schrijven als hij/zij wil. De definitieve antwoorden moeten overgeschreven worden op de antwoordbladen. Het afnamemateriaal is op naam. Elke leerling heeft dus een eigen toetsboekje en eigen antwoordbladen. Hierop staat telkens een unieke cijfercombinatie voor elke leerling. Dit is de zogenaamde LiSO-id, een code die het ons mogelijk maakt de leerlingen jaar na jaar te blijven volgen. Daarnaast worden ook zijn of haar voornaam, familienaam, geboortedatum, geslacht en klas vermeld. Vraag aan de leerlingen om te controleren of alle voorgedrukte gegevens (voornaam, familienaam, geboortedatum, geslacht en klas) correct zijn. Indien er iets niet juist is, mogen de leerlingen het doorstrepen en verbeteren. Er werd eveneens reserve afnamemateriaal voorzien voor eventuele nieuwe leerlingen. Indien er leerlingen zijn waarvoor geen gepersonaliseerd afnamemateriaal is, geeft u hen een blanco toetsboekje en blanco antwoordbladen. U vult dan zelf het stamnummer van de betreffende leerling in op het etiket van het blanco toetsboekje en op de eerste pagina van de antwoordbladen. Dit stamnummer vindt u in de officiële administratie van uw school. U kan dit allicht verkrijgen bij uw secretariaat. U lijst deze leerlingen met hun stamnummer ook op op de bijgevoegde aanwezigheidslijst. De leerling vult vervolgens overal zelf zijn/haar voornaam, familienaam, geboortedatum, geslacht en klas in. Opgelet: een zeer beperkt aantal leerlingen/ouders gaf aan niet te willen deelnemen aan het project. Indien één of meerdere van deze leerlingen in uw klas zit, is geen toets voorzien. Dit staat ook zo aangegeven op de aanwezigheidslijst. Vul samen met de leerlingen de datum van vandaag in op het A3-antwoordblad. De uiterste datum voor de toetsafname is 17 mei Overloop samen met de leerlingen de richtlijnen die vooraan in het toetsboekje staan. Het is heel belangrijk dat de leerlingen de antwoorden op hun antwoordbladen noteren met een zwarte of donkerblauwe balpen. Ze mogen dit niet doen met een fluostift, in een licht kleurtje of met een vulpen. Zo kunnen de antwoorden zo accuraat mogelijk worden ingelezen door de scanner. Laat de leerlingen vervolgens effectief starten met de toets. De maximum tijd die ze mogen besteden aan de toets bedraagt 2 lestijden van 50 minuten. Normaal gezien is 1 lestijd van 50 minuten voldoende, maar het kan zijn dat bepaalde leerlingen iets meer tijd nodig hebben (voor meer uitleg zie Bijkomende richtlijnen ). Opgelet: op de achterkant van het antwoordblad staan nog 3 bijkomende vragen over de schoolloopbaan van de leerling tot nu toe. Gelieve na te kijken dat de leerlingen deze vragen invullen.

43 LiSO Loopbanen in het Secundair Onderwijs Dekenstraat 2 bus Leuven Gelieve op de bijgevoegde aanwezigheidslijst aan te geven of de leerling aanwezig was en de toets heeft afgelegd door een kruisje te zetten in de juiste kolom. Vul hier ook eventuele nieuwe leerlingen aan. Vul hier ook de datum in. Verzamel na afloop alle toetsboekjes en antwoordbladen van de leerlingen. Bezorg ze samen met de aanwezigheidslijst aan de LiSO-contactpersoon van uw school. BIJKOMENDE RICHTLIJNEN Zorg voor een toetssituatie waarin de leerlingen op een rustige manier en zonder bijkomende hulp kunnen werken. U kan de leerlingen gerust stellen door te vertellen dat de toets kadert in een onderzoek van de Universiteit van Leuven en dat de resultaten enkel dienen voor dit onderzoek en dus geen gevolgen hebben voor hun eigen schoolrapport. Door het invullen van de toets helpen ze de school in het verder ontwikkelen van de kwaliteit van het onderwijs. Bovendien dragen ze ook bij tot meer inzicht in het secundair onderwijs in Vlaanderen. Het onderzoek loopt immers in een 60-tal Vlaamse scholen. Zorg ervoor dat leerlingen ver genoeg uit elkaar zitten, zodat ze niet kunnen spieken. U mag tijdens de afname van de toets geen vragen van leerlingen beantwoorden die hen zouden helpen om een toetsopgave op te lossen. De leerlingen maken de opgaven volledig zelfstandig. De opgaven worden niet luidop voorgelezen. Terwijl de leerlingen aan het werk zijn, kan u regelmatig eens door het lokaal lopen en kijken of iedereen op de juiste manier bezig is. Voor de toets is normaal gezien 1 lestijd van 50 minuten voldoende, maar het kan zijn dat bepaalde leerlingen iets meer tijd nodig hebben. Het is van belang dat alle leerlingen alle opgaven op hun eigen tempo kunnen doornemen. Gelieve daarom ook een tweede lestijd te voorzien. Indien deze tweede lestijd aansluitend is, kan u een pauze voorzien tussen beide lestijden. De tweede lestijd kan ook op een andere dag vallen, maar het is best de tussentijd te beperken. Na maximaal 2 x 50 minuten moeten alle leerlingen (ook de leerlingen die nog niet klaar zijn) hun toetsboekje en antwoordbladen afgeven.

44 LiSO Loopbanen in het Secundair Onderwijs Dekenstraat 2 bus Leuven VAAK GESTELDE VRAGEN WAAROM EEN TOETS WISKUNDE? De algemene doelstelling van het LiSO-project bestaat erin een beschrijving te geven van de (verschillen in) schoolloopbanen en ontwikkeling van leerlingen vanaf het eerste jaar van het secundair onderwijs. Vervolgens willen we ook een verklaring bieden voor de individuele verschillen in schoolloopbanen, waarbij gekeken wordt naar de invloed van leerling- en gezinskenmerken enerzijds en school-, leerkracht- en klaskenmerken anderzijds. De bedoeling van de toets wiskunde is een beeld te krijgen van het niveau van de leerlingen aan het einde van het 1 e jaar secundair onderwijs. AFNAMEPERIODE Van zodra het afnamemateriaal in uw school is aangekomen (eind april) kan u de toetsen en vragenlijsten afnemen bij de leerlingen. Gelieve wel steeds de afnamedatum duidelijk te (laten) noteren. De uiterste datum voor de toetsafname is 17 mei Nadien wordt het afnamemateriaal immers terug opgehaald in uw school voor verwerking. WAAROM WORDT HET AFNAMEMATERIAAL GEPERSONALISEERD VOOR ELKE LEERLING? In het LiSO-project proberen we onder meer de (schoolse) ontwikkeling van individuele leerlingen in kaart te brengen. Daarom is het belangrijk dat we van elke toets en vragenlijst precies weten door welke leerling hij werd ingevuld. Om het werk van de leerkracht/toetsleider wat te vergemakkelijken, hebben we alle antwoordbladen en vragenlijsten van de nodige leerlinggegevens en identificatiecodes voorzien. Dit maakt dat er bijvoorbeeld geen tijd verloren wordt met het invullen van namen. Dit alles betekent ook dat antwoordbladen en vragenlijsten strikt persoonlijk zijn. We zouden u dan ook willen vragen om in geen geval het antwoordblad of de vragenlijst van de ene leerling door een andere leerling te laten invullen. WAT TE DOEN BIJ TE WEINIG TOETSBOEKJES, ANTWOORDBLADEN OF VRAGENLIJSTEN? Voor elke klas voorzien we enkele blanco reserve-exemplaren van al het afnamemateriaal. Indien er toch afnamemateriaal tekort is, gelieve ons dan zo snel mogelijk te contacteren. Onze contactgegevens vindt u op de laatste pagina van deze handleiding. WAT ALS EEN LEERLING AFWEZIG IS WEGENS ZIEKTE OF OM EEN ANDERE REDEN? Indien een leerling afwezig is op de dag van de toetsafname, vragen we dat u de leerling de toets alsnog laat afleggen binnen de voorgeschreven afnameperiode (ten laatste op 17 mei 2014). Indien de leerling afwezig was gedurende de volledige periode waarin de toetsen en vragenlijsten afgenomen worden, kan u dit aangeven op de aanwezigheidslijst van de klas. Alle niet-ingevulde toetsboekjes en antwoordbladen dient u met de rest van het materiaal aan ons terug te bezorgen.

45 LiSO Loopbanen in het Secundair Onderwijs Dekenstraat 2 bus Leuven MOGEN DE LEERLINGEN GEHOLPEN WORDEN OF STICORDI-MAATREGELEN GEBRUIKEN TIJDENS DE TOETSAFNAME? Neen. Toetsen hebben tot doel de vaardigheden van leerlingen in een bepaald domein te meten. Door leerlingen bij het maken van een toets meer te helpen dan nodig is, verstoort u deze meting. Dit levert een vertekend beeld op van de vaardigheden van de leerling, zowel voor uzelf als voor de school en voor de onderzoekers. Daarom zouden we u willen vragen om u strikt aan de voorgeschreven instructies te houden en leerlingen niet méér te helpen dan nodig is voor een goed verloop van de toetsafname. Uiteraard is het wenselijk om leerlingen op hun gemak te stellen. Ook hulp bij eventuele administratieve problemen (bv. invullen van afnamedatum) mag geboden worden. Tijdens de afname van de LiSO-toetsen mogen geen STICORDI-maatregelen gebruikt worden. Dit zijn maatregelen die leerlingen ondersteunen (stimuleren, compenseren, remediëren, differentiëren, dispenseren) zoals bijvoorbeeld de leerlingen extra tijd geven of de opgaven van toetsen luidop voorlezen. Om de vergelijkbaarheid zo groot mogelijk te houden, dienen de toetsomstandigheden overal hetzelfde te zijn. Wij zijn er ons van bewust dat voor leerlingen die onder normale omstandigheden wel hulp krijgen, de LiSO-toetsen niet gemakkelijk zullen zijn. In komende vragenlijsten zal bevraagd worden welke leerlingen (leer)stoornissen hebben. Hiermee zal rekening gehouden worden bij het verwerken van de toetsresultaten. MOETEN DE TOETSEN DOOR DE LEERKRACHT/TOETSLEIDER VERBETERD WORDEN? Neen. De toetsen worden niet door de leerkracht/toetsleider verbeterd. Het LiSO-onderzoeksteam neemt de volledige verwerking op zich. We streven ernaar om zo snel mogelijk schoolfeedback te geven over de resultaten van de toets. WORDEN DE VERZAMELDE GEGEVENS ANONIEM VERWERKT? Ja. De namen en de codes op het afnamemateriaal worden enkel gebruikt om de gegevens van de verschillende instrumenten aan elkaar en aan de juiste leerling te koppelen. We garanderen een vertrouwelijke verwerking van alle onderzoeksgegevens. Persoonlijke identificatiegegevens van leerlingen worden onder geen enkele voorwaarde doorgegeven aan derden. MAG DE SCHOOL EEN KOPIE VAN DE TOETSEN MAKEN VOOR LATER GEBRUIK BINNEN DE EIGEN SCHOOLWERKING? Neen. De toetsen die worden afgenomen in het kader van het LiSO-project zijn toetsen waarin heel wat mensen en organisaties veel tijd, energie en geld geïnvesteerd hebben. We zouden u dan ook nadrukkelijk willen vragen om de rechten van de verschillende auteurs te respecteren en om geen kopies van de toetsboekjes en/of handleidingen te maken. CONTACT

46 LiSO Loopbanen in het Secundair Onderwijs Dekenstraat 2 bus Leuven Indien u vragen heeft, mag u altijd contact opnemen met het LiSO-onderzoeksteam: Eef Stevens Coördinator LiSO Centrum voor Onderwijseffectiviteit en -evaluatie KU Leuven Dekenstraat 2 bus Leuven [email protected] of [email protected] Telefoon: (voor dringende zaken: ) Website:

47 Bijlage 3 Handleiding leerkracht beroepsvoorbereidend leerjaar

48 LiSO Loopbanen in het Secundair Onderwijs Dekenstraat 2 bus Leuven HANDLEIDING VOOR DE LEERKRACHT/TOETSLEIDER TOETS WISKUNDE 1B MEI 2014 DIT DOOSJE BEVAT DE TOETS WISKUNDE VOOR 1B Elke leerling ontvangt: 1 toetsboekje waarin alle opgaven van de toets wiskunde staan 1 antwoordblad op A3-formaat om de definitieve antwoorden te noteren Gebruik zakrekenmachine De leerlingen mogen geen zakrekenmachine gebruiken bij het oplossen van deze toets.

49 LiSO Loopbanen in het Secundair Onderwijs Dekenstraat 2 bus Leuven CONCRETE AFNAME-RICHTLIJNEN Het toetsboekje bevat alle opgaven. De leerling mag hierin zoveel schrijven als hij/zij wil. De definitieve antwoorden moeten overgeschreven worden op het antwoordblad. Het afnamemateriaal is op naam. Elke leerling heeft dus een eigen toetsboekje en een eigen antwoordblad. Hierop staat telkens een unieke cijfercombinatie voor elke leerling. Dit is de zogenaamde LiSO-id, een code die het ons mogelijk maakt de leerlingen jaar na jaar te blijven volgen. Daarnaast worden ook zijn of haar voornaam, familienaam, geboortedatum, geslacht en klas vermeld. Vraag aan de leerlingen om te controleren of alle voorgedrukte gegevens (voornaam, familienaam, geboortedatum, geslacht en klas) correct zijn. Indien er iets niet juist is, mogen de leerlingen het doorstrepen en verbeteren. Er werd eveneens reserve afnamemateriaal voorzien voor eventuele nieuwe leerlingen. Indien er leerlingen zijn waarvoor geen gepersonaliseerd afnamemateriaal is, geeft u hen een blanco toetsboekje en een blanco antwoordblad. U vult dan zelf het stamnummer van de betreffende leerling in op het etiket van het blanco toetsboekje en op de eerste pagina van het antwoordblad. Dit stamnummer vindt u in de officiële administratie van uw school. U kan dit allicht verkrijgen bij uw secretariaat. U lijst deze leerlingen met hun stamnummer ook op op de bijgevoegde aanwezigheidslijst. De leerling vult vervolgens overal zelf zijn/haar voornaam, familienaam, geboortedatum, geslacht en klas in. Opgelet: een zeer beperkt aantal leerlingen/ouders gaf aan niet te willen deelnemen aan het project. Indien één of meerdere van deze leerlingen in uw klas zit, is geen toets voorzien. Dit staat ook zo aangegeven op de aanwezigheidslijst. Vul samen met de leerlingen de datum van vandaag in op het antwoordblad. De uiterste datum voor de toetsafname is 17 mei Overloop samen met de leerlingen de richtlijnen die vooraan in het toetsboekje staan. Het is heel belangrijk dat de leerlingen de antwoorden op hun antwoordblad noteren met een zwarte of donkerblauwe balpen. Ze mogen dit niet doen met een fluostift, in een licht kleurtje of met een vulpen. Zo kunnen de antwoorden zo accuraat mogelijk worden ingelezen door de scanner. Laat de leerlingen vervolgens effectief starten met de toets. De maximum tijd die ze mogen besteden aan de toets bedraagt 2 lestijden van 50 minuten. Normaal gezien is 1 lestijd van 50 minuten voldoende, maar het kan zijn dat bepaalde leerlingen iets meer tijd nodig hebben (voor meer uitleg zie Bijkomende richtlijnen ). Opgelet: op de achterkant van het antwoordblad staan nog 3 bijkomende vragen over de schoolloopbaan van de leerling tot nu toe. Gelieve na te kijken dat de leerlingen deze vragen invullen.

50 LiSO Loopbanen in het Secundair Onderwijs Dekenstraat 2 bus Leuven Gelieve op de bijgevoegde aanwezigheidslijst aan te geven of de leerling aanwezig was en de toets heeft afgelegd door een kruisje te zetten in de juiste kolom. Vul hier ook eventuele nieuwe leerlingen aan. Vul hier ook de datum in. Verzamel na afloop alle toetsboekjes en antwoordbladen van de leerlingen. Bezorg ze samen met de aanwezigheidslijst aan de LiSO-contactpersoon van uw school. BIJKOMENDE RICHTLIJNEN Zorg voor een toetssituatie waarin de leerlingen op een rustige manier en zonder bijkomende hulp kunnen werken. U kan de leerlingen gerust stellen door te vertellen dat de toets kadert in een onderzoek van de Universiteit van Leuven en dat de resultaten enkel dienen voor dit onderzoek en dus geen gevolgen hebben voor hun eigen schoolrapport. Door het invullen van de toets helpen ze de school in het verder ontwikkelen van de kwaliteit van het onderwijs. Bovendien dragen ze ook bij tot meer inzicht in het secundair onderwijs in Vlaanderen. Het onderzoek loopt immers in een 60-tal Vlaamse scholen. Zorg ervoor dat leerlingen ver genoeg uit elkaar zitten, zodat ze niet kunnen spieken. U mag tijdens de afname van de toets geen vragen van leerlingen beantwoorden die hen zouden helpen om een toetsopgave op te lossen. De leerlingen maken de opgaven volledig zelfstandig. De opgaven worden niet luidop voorgelezen. Terwijl de leerlingen aan het werk zijn, kan u regelmatig eens door het lokaal lopen en kijken of iedereen op de juiste manier bezig is. Voor de toets is normaal gezien 1 lestijd van 50 minuten voldoende, maar het kan zijn dat bepaalde leerlingen iets meer tijd nodig hebben. Het is van belang dat alle leerlingen alle opgaven op hun eigen tempo kunnen doornemen. Gelieve daarom ook een tweede lestijd te voorzien. Indien deze tweede lestijd aansluitend is, kan u een pauze voorzien tussen beide lestijden. De tweede lestijd kan ook op een andere dag vallen, maar het is best de tussentijd te beperken. Na maximaal 2 x 50 minuten moeten alle leerlingen (ook de leerlingen die nog niet klaar zijn) hun toetsboekje en antwoordbladen afgeven.

51 LiSO Loopbanen in het Secundair Onderwijs Dekenstraat 2 bus Leuven VAAK GESTELDE VRAGEN WAAROM EEN TOETS WISKUNDE? De algemene doelstelling van het LiSO-project bestaat erin een beschrijving te geven van de (verschillen in) schoolloopbanen en ontwikkeling van leerlingen vanaf het eerste jaar van het secundair onderwijs. Vervolgens willen we ook een verklaring bieden voor de individuele verschillen in schoolloopbanen, waarbij gekeken wordt naar de invloed van leerling- en gezinskenmerken enerzijds en school-, leerkracht- en klaskenmerken anderzijds. De bedoeling van de toets wiskunde is een beeld te krijgen van het niveau van de leerlingen aan het einde van het 1 e jaar secundair onderwijs. AFNAMEPERIODE Van zodra het afnamemateriaal in uw school is aangekomen (eind april) kan u de toetsen en vragenlijsten afnemen bij de leerlingen. Gelieve wel steeds de afnamedatum duidelijk te (laten) noteren. De uiterste datum voor de toetsafname is 17 mei Nadien wordt het afnamemateriaal immers terug opgehaald in uw school voor verwerking. WAAROM WORDT HET AFNAMEMATERIAAL GEPERSONALISEERD VOOR ELKE LEERLING? In het LiSO-project proberen we onder meer de (schoolse) ontwikkeling van individuele leerlingen in kaart te brengen. Daarom is het belangrijk dat we van elke toets en vragenlijst precies weten door welke leerling hij werd ingevuld. Om het werk van de leerkracht/toetsleider wat te vergemakkelijken, hebben we alle antwoordbladen en vragenlijsten van de nodige leerlinggegevens en identificatiecodes voorzien. Dit maakt dat er bijvoorbeeld geen tijd verloren wordt met het invullen van namen. Dit alles betekent ook dat antwoordbladen en vragenlijsten strikt persoonlijk zijn. We zouden u dan ook willen vragen om in geen geval het antwoordblad of de vragenlijst van de ene leerling door een andere leerling te laten invullen. WAT TE DOEN BIJ TE WEINIG TOETSBOEKJES, ANTWOORDBLADEN OF VRAGENLIJSTEN? Voor elke klas voorzien we enkele blanco reserve-exemplaren van al het afnamemateriaal. Indien er toch afnamemateriaal tekort is, gelieve ons dan zo snel mogelijk te contacteren. Onze contactgegevens vindt u op de laatste pagina van deze handleiding. WAT ALS EEN LEERLING AFWEZIG IS WEGENS ZIEKTE OF OM EEN ANDERE REDEN? Indien een leerling afwezig is op de dag van de toetsafname, vragen we dat u de leerling de toets alsnog laat afleggen binnen de voorgeschreven afnameperiode (ten laatste op 17 mei 2014). Indien de leerling afwezig was gedurende de volledige periode waarin de toetsen en vragenlijsten afgenomen worden, kan u dit aangeven op de aanwezigheidslijst van de klas. Alle niet-ingevulde toetsboekjes en antwoordbladen dient u met de rest van het materiaal aan ons terug te bezorgen.

52 LiSO Loopbanen in het Secundair Onderwijs Dekenstraat 2 bus Leuven MOGEN DE LEERLINGEN GEHOLPEN WORDEN OF STICORDI-MAATREGELEN GEBRUIKEN TIJDENS DE TOETSAFNAME? Neen. Toetsen hebben tot doel de vaardigheden van leerlingen in een bepaald domein te meten. Door leerlingen bij het maken van een toets meer te helpen dan nodig is, verstoort u deze meting. Dit levert een vertekend beeld op van de vaardigheden van de leerling, zowel voor uzelf als voor de school en voor de onderzoekers. Daarom zouden we u willen vragen om u strikt aan de voorgeschreven instructies te houden en leerlingen niet méér te helpen dan nodig is voor een goed verloop van de toetsafname. Uiteraard is het wenselijk om leerlingen op hun gemak te stellen. Ook hulp bij eventuele administratieve problemen (bv. invullen van afnamedatum) mag geboden worden. Tijdens de afname van de LiSO-toetsen mogen geen STICORDI-maatregelen gebruikt worden. Dit zijn maatregelen die leerlingen ondersteunen (stimuleren, compenseren, remediëren, differentiëren, dispenseren) zoals bijvoorbeeld de leerlingen extra tijd geven of de opgaven van toetsen luidop voorlezen. Om de vergelijkbaarheid zo groot mogelijk te houden, dienen de toetsomstandigheden overal hetzelfde te zijn. Wij zijn er ons van bewust dat voor leerlingen die onder normale omstandigheden wel hulp krijgen, de LiSO-toetsen niet gemakkelijk zullen zijn. In komende vragenlijsten zal bevraagd worden welke leerlingen (leer)stoornissen hebben. Hiermee zal rekening gehouden worden bij het verwerken van de toetsresultaten. MOETEN DE TOETSEN DOOR DE LEERKRACHT/TOETSLEIDER VERBETERD WORDEN? Neen. De toetsen worden niet door de leerkracht/toetsleider verbeterd. Het LiSO-onderzoeksteam neemt de volledige verwerking op zich. We streven ernaar om zo snel mogelijk schoolfeedback te geven over de resultaten van de toets. WORDEN DE VERZAMELDE GEGEVENS ANONIEM VERWERKT? Ja. De namen en de codes op het afnamemateriaal worden enkel gebruikt om de gegevens van de verschillende instrumenten aan elkaar en aan de juiste leerling te koppelen. We garanderen een vertrouwelijke verwerking van alle onderzoeksgegevens. Persoonlijke identificatiegegevens van leerlingen worden onder geen enkele voorwaarde doorgegeven aan derden. MAG DE SCHOOL EEN KOPIE VAN DE TOETSEN MAKEN VOOR LATER GEBRUIK BINNEN DE EIGEN SCHOOLWERKING? Neen. De toetsen die worden afgenomen in het kader van het LiSO-project zijn toetsen waarin heel wat mensen en organisaties veel tijd, energie en geld geïnvesteerd hebben. We zouden u dan ook nadrukkelijk willen vragen om de rechten van de verschillende auteurs te respecteren en om geen kopies van de toetsboekjes en/of handleidingen te maken. CONTACT

53 LiSO Loopbanen in het Secundair Onderwijs Dekenstraat 2 bus Leuven Indien u vragen heeft, mag u altijd contact opnemen met het LiSO-onderzoeksteam: Eef Stevens Coördinator LiSO Centrum voor Onderwijseffectiviteit en -evaluatie KU Leuven Dekenstraat 2 bus Leuven [email protected] of [email protected] Telefoon: (voor dringende zaken: ) Website:

54 Bijlage 4 Aanwezigheidsblad

55 LiSO Loopbanen in het Secundair Onderwijs Dekenstraat 2 bus Leuven AANWEZIGHEIDSLIJST TOETS WISKUNDE Beste leerkracht / toetsleider, Om de verwerking van de toets wiskunde vlot te laten verlopen, vragen we u om hieronder een aantal praktische gegevens te noteren. Klas van de leerlingen: Afnamedatum van de toets: 2015 Hieronder vindt u een lijst van de leerlingen waarvoor een toets en antwoordblad op naam werd voorzien. Gelieve telkens aan te geven of de leerling aanwezig was en de toets heeft afgelegd. Indien de leerling de toets op een later tijdstip heeft ingevuld, kan u dit ook noteren in de laatste kolom GO! Middenschool Anton Bergmann Lier LiSO-id leerling Voornaam + achternaam leerling Aanwezig Zet een kruisje Ja Nee Indien andere afnamedatum: noteer Indien er leerlingen aanwezig zijn, maar niet in bovenstaande lijst voorkomen, kan u hieronder de lijst aanvullen. Wij vragen u voor deze leerlingen ook hun unieke stamnummer op te geven. Dit stamnummer is beschikbaar in de administratieve gegevens van uw school. Vul dit stamnummer ook in op de toets en het antwoordblad van de leerling. Stamnummer leerling Voornaam + achternaam leerling Aanwezig Zet een kruisje Indien andere afnamedatum: noteer Ja Nee Indien u opmerkingen heeft bij de afname van deze toets of over bepaalde leerlingen, kan dit hieronder aangeven.

56 LiSO Loopbanen in het Secundair Onderwijs Dekenstraat 2 bus Leuven Gelieve deze bijzonderheden enkel hier te vermelden en niet op het afnamemateriaal.

57 Bijlage 5 Antwoordbladen wiskundetoets einde tweede leerjaar A

58 Welke taal spreek je meestal? Duid per kolom 1 taal aan. Als je 'Andere taal' aanduidt, vul dan de taal in op de stippellijn. Als er in jouw gezin geen moeder, geen vader en/of geen broers/zussen zijn, duid dan in die kolom(men) 'Niet van toepassing' aan. Met je moeder Met je vader Met je broers/zussen Met je vrienden Nederlands Frans Turks Koerdisch Marokkaans Arabisch Berbers Engels andere taal: niet van toepassing m Nederlands Frans Turks Koerdisch Marokkaans Arabisch Berbers Engels andere taal: niet van toepassing m Nederlands Frans Turks Koerdisch Marokkaans Arabisch Berbers Engels andere taal: niet van toepassing Wat is het hoogste opleidingsniveau dat jouw moeder behaalde? Duid 1 bolletje aan. Mijn moeder heeft: lager onderwijs niet afgewerkt lager onderwijs afgewerkt lager secundair onderwijs afgewerkt hoger secundair onderwijs afgewerkt hoger onderwijs afgewerkt (hogeschool of universiteit) ik weet het niet m m Nederlands Frans Turks Koerdisch Marokkaans Arabisch Berbers Engels andere taal: niet van toepassing m STAMBOEKNUMMER: LEERLINGID WISKUNDE 2A Einde schooljaar ANTWOORDBLAD Mijn ouders hebben vorig schooljaar een schooltoelage ontvangen voor 1 of meer kinderen in het basis- of secundair onderwijs: ja nee ik weet het niet m Datum van vandaag: dag maand jaar In welk schooljaar ben je begonnen aan het secundair onderwijs? VOORNAAM: FAMILIENAAM: Ik begon aan het secundair onderwijs in... (maand)... (jaar). Vorig schoojaar zat je in: (Duid 1 bolletje aan) JONGEN / MEISJE GEBOORTEDATUM:.. /.. /.... KLAS: 3de leerjaar (basisonderwijs) 4de leerjaar (basisonderwijs) 5de leerjaar (basisonderwijs) 6de leerjaar (basisonderwijs) buitengewoon basisonderwijs 1ste leerjaar A van het secundair onderwijs 2de leerjaar A van het secundair onderwijs 2de leerjaar B van het secundair onderwijs (2BVL) 3de leerjaar van het secundair onderwijs 1ste leerjaar OKAN 2de leerjaar OKAN buitengewoon secundair onderwijs INSTELLINGSNUMMER: SCHOOLNAAM: GEMEENTE SCHOOL: 1ste leerjaar B van het secundair onderwijs Gelieve dit formulier niet te plooien, te nieten of te kopiëren! m Gelieve dit formulier niet te plooien, te nieten of te kopiëren!

59 LEERLINGID GEBRUIK ENKEL EEN ZWARTE OF DONKERBLAUWE BALPEN OM DE BOLLETJES IN TE KLEUREN EN JE ANTWOORDEN TE NOTEREN! (gebruik geen fluostift, geen vulpen, geen andere kleurtjes!) SCHRIJF DUIDELIJK EN KLEUR DE BOLLETJES DUIDELIJK EN VOLLEDIG IN. ALS JE EEN FOUT BOLLETJE INKLEURDE, ZET ER DAN EEN DUIDELIJK KRUISJE OVER EN KLEUR VERVOLGENS EEN ANDER BOLLETJE IN (-0,02) : (-0,3) = A A B B C C D D m m 3. De gemiddelde neerslaghoeveelheid van een wintermaand is... mm A A B B C C D D m m 6. De som van de hoeken van een rechthoekige driehoek is België Duitsland Frankrijk Nederland Spanje Italië Cyprus Luxemburg Oostenrijk Griekenland Ierland Portugal Finland Slovenië m y = = Het beeld van P door de verschuiving volgens het georiënteerde lijnstuk OR is A A B B C C D D m m 11. Iedere persoon moet... euro betalen (2a +...) ( ) = 4a² , = LET OP: OP DE ACHTERKANT VAN DEZE PAGINA STAAN OOK NOG EEN PAAR VRAGEN! Gelieve dit formulier niet te plooien, te nieten of te kopiëren! Gelieve dit formulier niet te plooien, te nieten of te kopiëren!

60 Bijlage 6 Antwoordbladen wiskundetoets einde beroepsvoorbereidend leerjaar

61 Welke taal spreek je meestal? Duid per kolom 1 taal aan. Als je 'Andere taal' aanduidt, vul dan de taal in op de stippellijn. Als er in jouw gezin geen moeder, geen vader en/of geen broers/zussen zijn, duid dan in die kolom(men) 'Niet van toepassing' aan. Met je moeder Met je vader Met je broers/zussen Met je vrienden Nederlands Frans Turks Koerdisch Marokkaans Arabisch Berbers Engels andere taal: niet van toepassing m Nederlands Frans Turks Koerdisch Marokkaans Arabisch Berbers Engels andere taal: niet van toepassing m Nederlands Frans Turks Koerdisch Marokkaans Arabisch Berbers Engels andere taal: niet van toepassing Wat is het hoogste opleidingsniveau dat jouw moeder behaalde? Duid 1 bolletje aan. Mijn moeder heeft: lager onderwijs niet afgewerkt lager onderwijs afgewerkt lager secundair onderwijs afgewerkt hoger secundair onderwijs afgewerkt hoger onderwijs afgewerkt (hogeschool of universiteit) ik weet het niet m m Nederlands Frans Turks Koerdisch Marokkaans Arabisch Berbers Engels andere taal: niet van toepassing m STAMBOEKNUMMER: LEERLINGID WISKUNDE 2B Einde schooljaar ANTWOORDBLAD vraag 1 tot en met 28 Mijn ouders hebben vorig schooljaar een schooltoelage ontvangen voor 1 of meer kinderen in het basis- of secundair onderwijs: ja nee ik weet het niet m Datum van vandaag: dag maand jaar In welk schooljaar ben je begonnen aan het secundair onderwijs? Ik begon aan het secundair onderwijs in... (maand)... (jaar). Vorig schoojaar zat je in: (Duid 1 bolletje aan) VOORNAAM: FAMILIENAAM: MEISJE / JONGEN GEBOORTEDATUM:.. /.. /... KLAS: 3de leerjaar (basisonderwijs) 4de leerjaar (basisonderwijs) 5de leerjaar (basisonderwijs) 6de leerjaar (basisonderwijs) buitengewoon basisonderwijs 1ste leerjaar A van het secundair onderwijs 2de leerjaar A van het secundair onderwijs 2de leerjaar B van het secundair onderwijs (2BVL) 3de leerjaar van het secundair onderwijs 1ste leerjaar OKAN 2de leerjaar OKAN buitengewoon secundair onderwijs INSTELLINGSNUMMER: SCHOOLNAAM: GEMEENTE SCHOOL: 1ste leerjaar B van het secundair onderwijs Gelieve dit formulier niet te plooien, te nieten of te kopiëren! m Gelieve dit formulier niet te plooien, te nieten of te kopiëren!

62 LEERLINGID OPGAVE 1 TOT EN MET 28 VAN DEZE TOETS MOET JE OPLOSSEN ZONDER REKENMACHINE. HIERONDER GEEF JE JOUW DEFINITIEVE ANTWOORDEN. ALS JE KLAAR BENT MET DEZE EERSTE OPGAVEN, GEEF JE DIT ANTWOORDBLAD AF AAN DE LEERKRACHT. PAS DAN MAG JE STARTEN MET DE ANDERE OPGAVEN De ruimtefiguur heeft... vlakken. GEBRUIK ENKEL EEN ZWARTE OF DONKERBLAUWE BALPEN OM DE BOLLETJES IN TE KLEUREN! (GEBRUIK GEEN FLUOSTIFT, GEEN VULPEN, GEEN ANDERE KLEURTJES!) 14. Een verfpot met 200 ml verf is evenveel als een verfpot met... l verf. 15. Er waren... meetmomenten. KLEUR DE BOLLETJES DUIDELIJK EN VOLLEDIG IN. ALS JE EEN FOUT BOLLETJE INKLEURDE, ZET ER DAN EEN DUIDELIJK KRUISJE OVER EN KLEUR VERVOLGENS EEN ANDER BOLLETJE DUIDELIJK IN België Duitsland Frankrijk Nederland Spanje Italië Cyprus Luxemburg Oostenrijk Griekenland Ierland Portugal Finland Slovenië m ton is 1000 keer groter dan = km 4. Wat was de minimumtemperatuur op 6 oktober?... C : 1000 = De lengte van een boekentas is ongeveer : LET OP: OP DE ACHTERKANT VAN DEZE PAGINA STAAN OOK NOG EEN PAAR VRAGEN! Gelieve dit formulier niet te plooien, te nieten of te kopiëren! Gelieve dit formulier niet te plooien, te nieten of te kopiëren!

63 LEERLINGID STAMBOEKNUMMER: WISKUNDE 2B Einde schooljaar ANTWOORDBLAD vraag 29 tot en met 36 VOORNAAM: FAMILIENAAM: MEISJE / JONGEN GEBOORTEDATUM:.. /.. /... KLAS: INSTELLINGSNUMMER: SCHOOLNAAM: GEMEENTE SCHOOL: Gelieve dit formulier niet te plooien, te nieten of te kopiëren!

64 LEERLINGID BIJ OPGAVE 29 TOT EN MET 36 VAN DEZE TOETS MAG JE JE REKENMACHINE GEBRUIKEN. HIERONDER GEEF JE JOUW DEFINITIEVE ANTWOORDEN. ALS JE KLAAR BENT MET DEZE OPGAVEN, GEEF JE DIT ANTWOORDBLAD AF AAN DE LEERKRACHT. GEBRUIK ENKEL EEN ZWARTE OF DONKERBLAUWE BALPEN OM DE BOLLETJES IN TE KLEUREN! (GEBRUIK GEEN FLUOSTIFT, GEEN VULPEN, GEEN ANDERE KLEURTJES!) KLEUR DE BOLLETJES DUIDELIJK EN VOLLEDIG IN. ALS JE EEN FOUT BOLLETJE INKLEURDE, ZET ER DAN EEN DUIDELIJK KRUISJE OVER EN KLEUR VERVOLGENS EEN ANDER BOLLETJE DUIDELIJK IN. 29. Het juiste getal is Ik moet ten laatste vertrekken om... uur... minuten. 31. De kostprijs van één toegangskaart voor het optreden is... euro. 32. De oppervlakte van de Grote Markt zonder stadhuis is... m² Iedere persoon moet... euro betalen. 36. Het volume van de kubus is... cm³

65 Bibliografie Een vraag over pedagogisch geheel. (2014) Gedownload op 15 augustus, 2014, van