Syntheserapport toetsgegevens methodescholen

Longitudinaal onderzoek in het basisonderwijs Syntheserapport toetsgegevens methodescholen Eerste tot zesde leerjaar (schooljaar 0304 tot 0809) J. de Bilde, J. P. Verhaeghe, H. Knipprath, G. Mertens, & J. Van Damme

T A Longitudinaal onderzoek in het basisonderwijs Syntheserapport toetsgegevens methodescholen Eerste tot zesde leerjaar (schooljaar 0304 tot 0809) J. de Bilde, J. P. Verhaeghe, H. Knipprath, G. Mertens, & J. Van Damme Promotoren coördinatieteam: J. Van Damme, B. De Fraine, I. Nicaise, K. Verschueren & P. Van Petegem Overige promotoren: P. Ghesquière, P. Onghena, R. Janssen, F. Laevers, M. Valcke & L. Verschaffel Onderzoek in opdracht van de Vlaamse minister van Onderwijs en Vorming, in het kader van het programma Steunpunten voor Beleidsrelevant Onderzoek 2011 SSL-rapport SSL/OD1/2011.41 Datum oplevering eerste versie: 7 oktober 2011 Datum publicatie: 12 april 2012

Voor meer informatie over deze publicatie: Steunpunt SSL, onderzoeksdomein Onderwijsloopbanen Auteurs: J. de Bilde, J. P. Verhaeghe, H. Knipprath, G. Mertens, & J. Van Damme Adres: Dekenstraat 2, 3000 Leuven Tel.: +32 16 32 57 58 of +32 16 32 57 47 Fax: +32 16 32 58 59 E-mail: Jan.Vandamme@ped.kuleuven.be Website: http://www.steunpuntloopbanen.be Copyright (2011) Steunpunt SSL p/a Parkstraat 47, 3000 Leuven Niets uit deze uitgave mag worden verveelvoudigd en/of openbaar gemaakt zonder uitdrukkelijk te verwijzen naar de bron. No part of this material may be made public without an explicit reference to the source. De verantwoordelijkheid voor dit rapport berust volledig bij de auteurs en vertolkt niet noodzakelijk de officiële visie van de Vlaamse Overheid.

Inhoudsopgave Woord vooraf... 2 1. Participerende scholen en leerlingen... 3 1.1. SiBO... 3 1.2. Aantal methodescholen... 4 1.3. Aantal leerlingen... 5 1.4. In- en uitstroom... 5 1.5. Achtergrondkenmerken... 6 2. Methode... 10 2.1. Opgenomen variabelen... 10 2.2. Ontbrekende waarden... 11 2.3. Analysemodel... 11 3. Enkele bedenkingen vooraf... 13 4. Resultaten voor wiskunde... 15 4.1. Ruwe scores... 15 4.2. Gecorrigeerde scores... 15 4.2.1. Verschillen begin eerste leerjaar t.e.m. eind vijfde leerjaar... 17 4.2.2. Verschillen in gemiddelde leerwinst... 17 4.2.3. Verschillen eind zesde leerjaar... 17 4.2.4. Evolutie van individuele scholen... 19 5. Resultaten voor technisch lezen... 22 5.1. Ruwe scores... 22 5.2. Gecorrigeerde scores... 22 5.2.1. Verschillen eind eerste, tweede en derde leerjaar... 24 5.2.2. Verschillen in leerwinst... 24 5.2.3. Verschillen einde vijfde leerjaar... 24 5.2.4. Evolutie van individuele scholen... 25 6. Resultaten voor spelling... 28 6.1. Ruwe scores... 28 6.2. Gecorrigeerde scores... 28 6.2.1. Verschillen eind eerste, tweede, en vierde leerjaar... 30 6.2.2. Verschillen in leerwinst... 30 6.2.3. Verschillen eind zesde leerjaar... 30 6.2.4. Evolutie van individuele scholen... 30 7. Resultaten voor begrijpend lezen... 33 7.1. Ruwe scores... 33 7.2. Gecorrigeerde scores... 33 7.2.1. Verschillen in het derde, vierde en vijfde leerjaar... 35 7.2.2. Verschillen in leerwinst... 35 7.2.3. Verschillen eind zesde leerjaar... 35 7.2.4. Evolutie van individuele scholen... 35 8. Algemene conclusies... 38 9. Referenties... 40 10. Bijlage... 42 1

Woord vooraf Dit syntheserapport brengt de resultaten samen voor de verschillende groepen methodescholen die aan het SiBO-onderzoek deelnamen. Groeicurves worden gepresenteerd voor de verschillende leerdomeinen die in het SiBO-onderzoek getoetst werden: wiskunde, spelling, technisch lezen en begrijpend lezen en dit telkens vanaf de eerste tot de laatste meting in het lager onderwijs. Op vraag van de vertegenwoordigers van de methodescholen werden de groepen methodescholen anoniem gemaakt. Er zijn immers onvoldoende waarborgen dat het beperkt aantal deelnemende scholen per groep representatief is voor het geheel van de groep. In tegenstelling tot eerdere rapporten over de leerwinst bij leerlingen in methodescholen (zie Verhaeghe & Van Damme, 2004, 2005) is dit rapport gebaseerd op de schoolfeedbackrapporten. De structuur van het rapport loopt grosso modo gelijk met de structuur van de schoolfeedbackrapporten, met dien verstande dat zowel bij de presentatie van de ruwe resultaten als bij de presentatie van de gecorrigeerde resultaten de groeicurves voor de verschillende groepen scholen vergeleken worden met de groeicurve van de traditionele scholen. Er is sprake van gecorrigeerde resultaten als er rekening gehouden wordt met de leerlingkenmerken. De tabellen onder elke grafiek zijn opgebouwd naar analogie met de tabellen in de feedbackrapporten die alle SiBO-scholen jaarlijks kregen. U dient ze te zien als complementair aan de grafieken. De grafieken geven een algemeen beeld van de groei van de leerlingen. De tabellen preciseren meer in detail waar zich significante verschillen voordoen. Omwille van de overzichtelijkheid presenteren we de tabellen alleen bij de grafieken van de gecorrigeerde groeicurves. Die groeicurves zijn gebaseerd op de resultaten van multiniveau-analyses waarin de groei per leerjaar piecewise geschat werd. De resultaten van de multiniveau-analyses met de coëfficiënten voor de effecten waarvoor gecontroleerd werd, zijn niet in dit rapport opgenomen. Ze zijn beschikbaar als een afzonderlijke technische bijlage. De concepten die aan de basis liggen van dit syntheserapport zijn dezelfde als bij de schoolfeedbackrapporten: ruw gemiddelde, gecorrigeerd gemiddelde, gecorrigeerde leerwinst. Een beknopte uitleg vindt u in het tweede hoofdstuk. Het afwerken van dit rapport is een goed moment om alle methodescholen die aan het SiBOonderzoek meegewerkt hebben te danken daarvoor. Niet voor al die scholen lag zo n medewerking voor de handliggend, om begrijpelijke redenen. We danken ook de overheid die voor de nodige extra financiering gezorgd heeft. Tot slot danken we het schoolfeedbackteam voor de basisanalyses en Jerissa de Bilde voor de aanvullende analyses en het rapporteren daarover. Namens het SiBO-team en het Schoolfeedbackteam, Jan Van Damme 2

1. Participerende scholen en leerlingen 1.1. SiBO In het schooljaar 2002-2003 startte het longitudinale onderzoek Schoolloopbanen in het BasisOnderwijs (SiBO; Maes e.a., 2002) om de ontwikkeling van leerlingen en hun schoolloopbaan vanaf het kleuteronderwijs tot het einde van het lager onderwijs te kunnen beschrijven en verklaren. Er werd gestreefd naar het trekken van een representatieve steekproef van scholen van de Vlaamse Gemeenschap. We noemen deze steekproef de referentiesteekproef. Naast deze referentiesteekproef (120 scholen) werden nog drie bijkomende steekproeven ( oversampling ) getrokken: de methodescholensteekproef, de GOK-steekproef en de Gent-steekproef. De methodescholensteekproef werd getrokken om een grote diversiteit in pedagogische visie te hebben, de GOK steekproef werd getrokken om aspecten van kansarmoede in het onderwijs en de samenhang met het gelijkeonderwijskansenbeleid te onderzoeken, de Gent-steekproef tenslotte bestaat uit alle Gentse stedelijke scholen. In totaal waren ruim 200 scholen bereid om deel te nemen aan het onderzoek. De meerderheid van de kinderen betrokken in dit onderzoek werd geboren in het jaar 1997. De grootte van de school- en leerlingpopulatie veranderde gedurende de looptijd van het longitudinaal onderzoek om verschillende redenen. Scholen kunnen fuseren of splitsen, hun deelname stopzetten, leerlingen kunnen van school veranderen, een jaar blijven zitten, enz. Data werden verzameld over de leerling en zijn omgeving vanuit verschillende bronnen. Zo werden de leerlingen elk jaar getoetst op verschillende leergebieden. Tabel 1 geeft weer op welke momenten de leerlingen in het lager onderwijs getoetst werden voor de verschillende leergebieden. Toetsgegevens uit het kleuteronderwijs werden niet mee opgenomen in dit rapport. Tabel 1. Overzicht van getoetste leergebieden op verschillende meetmomenten Meetmoment BL1 EL1 EL2 EL3 EL4 EL5 EL6 Wiskunde X X X X X X X Technisch lezen X X X X Spelling X X X X Begrijpend lezen X X X X Noot: B staat voor begin en E voor einde. BL1 is begin eerste leerjaar, EL1 is einde eerste leerjaar. 3

1.2. Aantal methodescholen Uit de populatie Vlaamse methodescholen 1 werden in het schooljaar 2003-2004 32 scholen opgenomen. Binnen de groep methodescholen kan een onderscheid gemaakt worden naargelang het onderwijsnet 2 waaraan ze verbonden zijn en naargelang de specifieke pedagogische methode (Steiner-, Freinet-, Ervaringsgericht- of Leefschoolonderwijs) die de school hanteert. Om de resultaten van de methodescholen verder te analyseren werden daarom deze methodescholen onderverdeeld in verschillende groepen op basis van het onderwijsnet en de pedagogische methode: groep A, groep B, groep C, groep D en groep E. De Jenaplanscholen (twee van het OVSG en één uit het gemeenschapsonderwijs) werden niet opgenomen in het huidige rapport wegens hun beperkte aantal. Tabel 2. Overzicht aantal opgenomen scholen (obv. de toetsgegevens wiskunde, technisch lezen, spelling en begrijpend lezen) per groep en per meetmoment Methodescholengroep BL1 EL1 EL2 EL3 EL4 EL5 EL6 Groep A 6 6 6 5 5 6 6 Groep B 8 8 8 8 7 8 7 Groep C 5 5 4 4 4 4 3/4 Groep D 5 5 5 5 5 4 4 Groep E 4 0/4 0/4 3 3/4 4 3 Noot: B staat voor begin en E voor einde. BL1 is begin eerste leerjaar, EL1 is einde eerste leerjaar. Tabel 2 geeft aan hoeveel scholen deelnamen aan de verschillende toetsen over de jaren heen per groep. Het aantal deelnemende scholen kan wijzigen per meetmoment en per toets. Zo waren er scholen die op een bepaald moment hun deelname definitief stopzetten voor alle toetsen, andere scholen beslisten om slechts op een enkel meetmoment of aan een enkele toets (wiskunde, technisch lezen, begrijpend lezen of spelling) niet deel te nemen. Zo is er in groep C één school die in het zesde leerjaar de toetsen voor begrijpend lezen en spelling afgenomen heeft, maar de toets wiskunde niet. Groep E nam de toetsen voor technisch lezen en spelling aan het eind van het eerste leerjaar niet af, maar de toets voor wiskunde werd wel in alle scholen afgenomen. Aan het einde van het tweede leerjaar werden de toetsen voor wiskunde niet afgenomen in groep E, maar de toetsen technisch lezen en spelling wel. In het vierde leerjaar heeft één school uit groep E wel deelgenomen aan de toets begrijpend lezen en spelling, maar niet aan de toets wiskunde. 1 Een school werd enkel als methodeschool beschouwd indien deze reeds vanaf het schooljaar 2002-2003 een methodeschool was. 2 Verschillende onderwijsnetten of koepels: FOPEM: Federatie van Onafhankelijke Pluralistische Emancipatorische Methodescholen OVSG: Onderwijssecretariaat van de Steden en Gemeenten van de Vlaamse gemeenschap GO!: Onderwijs van de Vlaamse Gemeenschap Rudolf Steinerfederatie: Federatie van Rudolf Steinerscholen in Vlaanderen 4

1.3. Aantal leerlingen De gegevens van alle leerlingen die op minstens één meetmoment in een deelnemende SiBO-school en klas zaten werden opgenomen in het databestand. Verder moesten ze aan minimum één van de volgende voorwaarden voldoen om opgenomen te worden in het databestand: (1) in het schooljaar 2003-2004 in het eerste leerjaar gezeten hebben; (2) in het schooljaar 2004-2005 in het tweede leerjaar gezeten hebben; (3) in het schooljaar 2005-2006 in het derde leerjaar gezeten hebben; (4) in het schooljaar 2006-2007 in het vierde leerjaar gezeten hebben; (5) in het schooljaar 2007-2008 in het vijfde leerjaar gezeten hebben; (6) in het schooljaar 2008-2009 in het zesde leerjaar gezeten hebben. In totaal werden 8081 leerlingen opgenomen in het databestand. De leerlingenaantallen per school variëren van meetmoment tot meetmoment. De algemene tendens is dalend: er vallen gaandeweg leerlingen af. De verschillen in leerlingenaantallen over de jaren heen kunnen te wijten zijn aan veranderingen in leerlingenpopulaties in de school (in- en uitstromende leerlingen), én aan het al dan niet deelnemen van bepaalde scholen aan de toetsingen. Tabel 3 geeft per groep en per meetmoment het aantal leerlingen dat werd opgenomen in het databestand. De leerlingenaantallen zijn erg ongelijk verdeeld, maar aangezien we geen uitspraken doen over het geheel van de methodescholen in Vlaanderen, vormt dat geen probleem. De leerlingen van de niet-methodescholen uit alle steekproeven werden in de tabellen gegroepeerd in de categorie traditioneel. Tabel 3. Overzicht aantal opgenomen leerlingen per groep en per meetmoment Scholengroep BL1 EL1 EL2 EL3 EL4 EL5 EL6 5393 5340 4998 4836 4701 4472 4125 Groep A 129 130 129 124 113 115 111 Groep B 231 227 218 210 197 170 135 Groep C 80 79 81 72 77 66 52 Groep D 125 125 108 92 97 90 80 Groep E 74 75 78 75 69 56 48 Noot: B staat voor begin en E voor einde. BL1 is begin eerste leerjaar, EL1 is einde eerste leerjaar. 1.4. In- en uitstroom Door omstandigheden zoals zittenblijven of schoolveranderingen varieert het aantal ingeschreven leerlingen door de jaren heen. Zo zijn er onder andere leerlingen die niet hun volledige loopbaan in dezelfde school doormaken. Er wordt een onderscheid gemaakt tussen leerlingen die later instromen (vanaf het begin van het tweede leerjaar t.e.m. het begin van het zesde leerjaar) en 5

Tabel 4. Overzicht van het aantal en percentage instromers in de verschillende groepen scholen Scholengroep In begin L2 In begin L3 In begin L4 In begin L5 In begin L6 Aant. % Aant. % Aant. % Aant. % Aant. % 577 7.8% 409 5.5% 375 5.1% 313 4.2% 166 2.2% Groep A 10 5.7% 11 6.3% 6 3.4% 12 6.8% 5 2.8% Groep B 29 8.8% 20 6.1% 17 5.2% 18 5.5% 4 1.2% Groep C 13 10.8% 8 6.7% 12 10.0% 3 2.5% 1 0.8% Groep D 13 7.0% 8 4.3% 17 9.1% 11 5.9% 6 3.2% Groep E 10 9.7% 7 6.8% 1 1.0% 5 4.9% 4 3.9% Tabel 5. Overzicht van het aantal en percentage uitstromers in de verschillende groepen scholen Scholengroep Uit einde L1 Uit einde L2 Uit einde L3 Uit einde L4 Uit einde L5 Aant. % Aant. % Aant. % Aant. % Aant. % 908 12.3% 564 7.6% 510 6.9% 449 6.0% 629 8.5% Groep A 11 6.25% 15 8.5% 17 9.6% 10 5.6% 10 5.6% Groep B 38 11.5% 30 9.1% 30 9.1% 44 13.4% 40 12.2% Groep C 11 9.1% 17 14.1% 7 5.8% 14 11.6% 15 12.5% Groep D 28 15.0% 25 13.4% 13 6.9% 18 9.6% 16 8.6% Groep E 7 6.8% 10 9.7% 7 6.8% 18 17.4% 12 11.6% leerlingen die vroeger uitstromen (reeds vanaf het einde van het eerste leerjaar t.e.m. uitstromers aan het einde van het vijfde leerjaar). Tabellen 4 en 5 beschrijven deze atypische in- en uitstroom in de verschillende groepen scholen in termen van het aantal leerlingen, alsook het percentage leerlingen van de totale populatie (over de jaren heen) in de desbetreffende groep scholen. Wat betreft de instroom is er relatief weinig verschil tussen de groepen, met betrekking tot de uitstroom is er relatief meer variatie. Opvallend is de grote uitstroom van leerlingen op het einde van het vierde leerjaar in groep E in vergelijking met de traditionele scholen. 1.5. Achtergrondkenmerken In wat volgt worden de verschillende groepen scholen vergeleken op basis van een aantal achtergrondkenmerken van de leerlingen. Achtergrondkenmerken zijn kenmerken van de leerlingen waarop de school weinig invloed kan uitoefenen. We bespreken de taalvaardigheid gemeten in het begin van het eerste leerjaar, geslacht, leeftijd, de GOK-categorieën (zie verder) en de voor- of achter- 6

stand in functie van het geboortejaar. Voor meer informatie omtrent de achtergrondkenmerken van de leerlingen van methodescholen in het kleuteronderwijs en het begin van het eerste leerjaar, verwijzen we naar eerder gepubliceerde rapporten (Verhaeghe & Gadeyne, 2004; Verhaeghe & Van Damme, 2005). In het begin van het eerste leerjaar werd de taalvaardigheid van de leerlingen gemeten. Deze taalvaardigheidsscore werd gecentreerd, zodat een score 0 de gemiddelde taalvaardigheid van de totale groep weergeeft. Tabel 6 beschrijft de gemiddelde aanvankelijke taalvaardigheid van de leerlingen per groep en per meetmoment. Tabel 6 illustreert dat in methodescholen over het algemeen leerlingen zitten met een hogere initiële taalvaardigheid, en dit vooral in groep A, groep C en groep E. Verder illustreert de tabel de tendens dat de leerlingpopulatie in sommige scholengroepen geleidelijk uit een sterker publiek bestaat, doordat zwakke leerlingen uitstromen of blijven zitten en relatief sterke leerlingen aangetrokken worden. Tabel 6. Overzicht gemiddelde aanvankelijke taalvaardigheid van leerlingen per groep en per meetmoment Scholengroep BL1 EL1 EL2 EL3 EL4 EL5 EL6 0.03 0.27 0.99 1.11 1.19 1.27 1.37 Groep A 3.93 3.92 4.01 4.55 4.33 3.61 3.71 Groep B 0.76 0.74 1.17 1.31 1.44 2.01 2.68 Groep C 2.08 2.42 2.47 3.47 3.20 3.54 3. Groep D 0.03 0.28 1.10 1.10 1.79 1.72 2.22 Groep E 2.69 2.82 1.89 2.64 3.08 3.16 4.28 Tabel 7. Overzicht Percentage jongens van leerlingen per groep en per meetmoment Scholengroep BL1 EL1 EL2 EL3 EL4 EL5 EL6 % % % % % 49% % Groep A 44% 45% 47% 48% 44% 45% 46% Groep B 51% 49% % 51% 49% 48% 49% Groep C 51% 52% 52% 51% 52% % 56% Groep D 51% 53% 51% 48% 49% 53% 53% Groep E % 51% 51% 55% 57% 55% 52% Tabel 7 beschrijft het percentage jongens dat per groep en per meetmoment deelnam aan het onderzoek. In de meeste scholen schommelt dit percentage rond het gemiddelde. In Groep A zitten over het algemeen iets meer meisjes, in groep C is er in het zesde leerjaar een plotse stijging van het aantal jongens zichtbaar. 7

Tabel 8. Overzicht aantal Leerlingen in de verschillende GOK-categorieën per groep en per meetmoment Scholengroep BL1 EL1 EL2 EL3 EL4 EL5 EL6 NL-Niet GOK 56% 56% 58% 58% 58% % 62% NL-GOK 24% 24% 22% 20% 19% 21% 19% AT-GOK 12% 12% 12% 13% 13% 11% 10% AT-Niet GOK 8% 8% 8% 9% 9% 8% 9% Groep A NL-Niet GOK 90% 90% 88% 90% 90% 86% 89% NL-GOK 6% 6% 8% 6% 5% 10% 8% AT-GOK 1% 1% 1% 1% 0% 0% 0% AT-Niet GOK 3% 3% 4% 3% 4% 4% 3% Groep B NL-Niet GOK 64% 63% 61% 63% 63% 64% 73% NL-GOK 15% 15% 15% 13% 13% 15% 12% AT-GOK 11% 12% 14% 13% 12% 9% 7% AT-Niet GOK 10% 10% 10% 10% 12% 12% 8% Groep C NL-Niet GOK 74% 78% 83% 82% 79% 77% 81% NL-GOK 16% 13% 12% 13% 13% 17% 13% AT-GOK 4% 3% 1% 1% 1% 0% 0% AT-Niet GOK 6% 6% 4% 4% 6% 6% 6% Groep D NL-Niet GOK 74% 74% 76% 76% 84% 83% 86% NL-GOK 14% 14% 15% 12% 9% 10% 8% AT-GOK 10% 9% 6% 9% 4% 4% 4% AT-Niet GOK 3% 3% 3% 3% 3% 2% 3% Groep E NL-Niet GOK 72% 72% 73% 73% 74% 82% 77% NL-GOK 12% 12% 13% 15% 16% 11% 19% AT-GOK 9% 9% 9% 5% 3% 0% 0% AT-Niet GOK 7% 7% 5% 7% 7% 7% 4% Noot: NL-Niet GOK = Nederlandstalige Niet-GOK leerlingen NL-GOK = Nederlandstalige GOK leerlingen AT-GOK = Anderstalige GOK-leerlingen AT-Niet GOK = Anderstalige Niet-GOK leerlingen Om rekening te houden met achtergrondkenmerken als etnisch-culturele achtergrond en kansarmoede werden de leerlingen onderverdeeld in vijf groepen. Deze indeling was afhankelijk van enerzijds hun etnisch-culturele achtergrond en anderzijds het voldoen aan één van de vier Gelijke OnderwijsKansen (GOK) indicatoren waardoor ze kunnen omschreven worden als GOK-leerling (deze indicatoren zijn a) gezin behoort tot trekkende bevolking, b) moeder heeft geen diploma secundair onderwijs, c) kind verblijft buiten eigen gezin, d) gezin leeft van een vervangingsinkomen). 8

De zes uiteindelijke GOK-categorieën gebruikt in dit onderzoek zijn Nederlandstalig-GOK, Arabisch/Berber-GOK, Turks-GOK, Overig-anderstalig-GOK, Anderstalig-niet-GOK met Nederlandstaligniet-GOK als referentiegroep. Tabel 8 beschrijft per meetmoment en per scholengroep de verdeling van het aantal leerlingen over deze categorieën. De categorieën Arabisch/Berber-GOK, Turks-GOK, Overig-anderstalig-GOK, werden in deze tabel samengevoegd tot één categorie Anderstalig-GOK (AT-GOK). Deze tabel illustreert dat methodescholen over het algemeen een meer kansrijk publiek aantrekkken. In vergelijking met de traditionele scholen hebben methodescholen een hoger percentage Nederlandstalige niet-gok leerlingen en een lager percentage Nederlandstalige en anderstalige GOK-leerlingen. Vooral groep A blijkt een kansrijk publiek aan te trekken. Bijna alle leerlingen uit de onderzoeksgroep zijn geboren in het jaar 1997, maar er zijn ook leerlingen die door omstandigheden een jaar ouder of jonger zijn dan hun klasgenoten. De variabele geboortejaar staat voor het aantal jaren dat een leerling ouder of jonger is dan zijn klasgenoten. Omdat er verhoudingsgewijs meer leerlingen een jaar blijven zitten dan dat er een jaar voorsprong hebben, is de gemiddelde afwijking in aantal jaren in alle groepen scholen negatief. Een erg negatieve waarde wijst op een grote hoeveelheid leerlingen die eerder zijn geboren zijn dan in het jaar 1997. Tabel 9 beschrijft per groep het gemiddeld leeftijdsverschil in jaren tov. kinderen geboren in 1997. In groep G zijn kinderen gemiddeld veel ouder dan leerlingen in de andere groepen methodescholen. Om de anonimiteit te garanderen werden de namen van de groepen, alsook de volgorde, in tabel 9 veranderd. Tabel 9. Overzicht gemiddeld leeftijdsverschil in jaren tov. kinderen geboren in 1997 per groep en per meetmoment Scholengroep BL1 EL1 EL2 EL3 EL4 EL5 EL6-0.16-0.16-0.21-0.23-0.24-0.24-0.19 Groep F -0.11-0.10-0.15-0.14-0.12-0.17-0.15 Groep G -0.65-0.64-0. -0.57-0.58-0. -0.56 Groep H -0.20-0.20-0.25-0.25-0.21-0.22-0.15 Groep I -0.11-0.11-0.15-0.15-0.19-0.19-0.08 Groep J -0.21-0.20-0.26-0.26-0.29-0.33-0.25 9

2. Methode 2.1. Opgenomen variabelen De analyses gebeurden op basis van de modellen die gebruikt werden voor de feedback die aan de SiBO-scholen gegeven werd. Per leergebied werden afzonderlijke analyses verricht. Voor elk leergebied bestaat het analysemodel uit één afhankelijke variabele en meerdere onafhankelijke variabelen. De afhankelijke variabele is de vaardigheidsscore voor respectievelijk wiskunde, technisch lezen, spelling en begrijpend lezen. Voor elk leergebied werd de vaardigheid van de leerlingen op meerdere momenten gemeten (Zie tabel 1). De wiskundetoetsen werden ontwikkeld door Paul Dudal en peilen naar wiskundig inzicht en de rekenvaardigheid. De vaardigheid voor technisch lezen werd gemeten aan de hand van de Vlaamse Drie-Minuten-Toets (Rymenans, 2000). De spellingvaardigheid werd gemeten aan de hand van de Schaal Vorderingen in SVS, wat deel uitmaakt van het leerlingvolgsysteem van het Cito (Moelands & Rymenans, 2003). De toets begrijpend lezen is een ingekorte versie van de toets begrijpend lezen van het leerlingvolgsysteem van Cito (Staphorsius & Krom, 1998). Voor meer informatie omtrent de meetinstrumenten verwijzen we naar voorgaande rapporten (voor bijvoorbeeld een informatie over de toetsen zesde leerjaar, zie Cortois, Van Droogenbroeck, Verachtert, & Van Damme, 2010). Om de vaardigheid van de leerlingen op meerdere meetmomenten te kunnen vergelijken, worden de scores door middel van een speciale toetsconstructie (IRT) op dezelfde meetschaal geplaatst. Daardoor kunnen we leerwinst bepalen. De onafhankelijke variabelen zijn de achtergrondkenmerken van de leerlingen, de steekproefvariabelen, de methodeschoolvariabelen, de tijdsvariabelen en interacties tussen de tijdsvariabelen enerzijds, en de achtergrondkenmerken en methodeschoolvariabelen anderzijds. De achtergrondkenmerken werden als onafhankelijke variabelen in het analysemodel ingevoerd omdat naast de school ook de achtergrond van de leerlingen de prestaties van de leerlingen beïnvloedt. De achtergrondkenmerken zijn: geslacht, geboortejaar, geboortemaand, een interactie tussen geboortemaand en geboortejaar, zittenblijven L1, zittenblijven L2, zittenblijven L3, zittenblijven L4, taalvaardigheid gemeten begin eerste leerjaar en gecentreerd rond het gemiddelde, het kwadraat van taalvaardigheid, de GOK-categorieën Nederlandstalig-GOK, Arabisch/Berber-GOK, Turks-GOK, Overig-anderstalig-GOK, Anderstalig-niet-GOK met Nederlandstalig-niet-GOK als referentiegroep. De tijdsvariabelen werden in het model ingevoerd om aan te geven op welk moment de afhankelijke variabele werd gemeten. Door deze tijdsvariabelen kunnen we berekenen wat de toegevoegde waarde van de school is m.b.t. bereikte niveau op elk van de verschillende meetmomenten en wat de toegevoegde waarde van de school is voor de leerwinst in elk van de tussenliggende periodes. 10

De methodeschoolvariabelen geven aan tot welke groep een school behoort. Zo kan een school behoren tot de traditionele scholen, groep A, B, C, D of E. De interacties tussen de tijdsvariabelen en de overige variabelen geven aan of de leerwinst van de leerlingen verschilt naargelang hun achtergrondkenmerken, en naargelang de scholengroep. 2.2. Ontbrekende waarden Zowel in cross-sectioneel onderzoek als in longitudinaal onderzoek zijn ontbrekende waarden onvermijdelijk. Respondenten beantwoorden bepaalde vragen van een vragenlijst niet, duidelijk onbetrouwbaar of zijn afwezig op het moment dat een vragenlijst of een toets werd afgenomen. Hoe meer variabelen in een model worden ingevoerd, hoe groter de kans op ontbrekende waarden. Wanneer een respondent een ontbrekende waarde heeft op de afhankelijke variabele omdat hij of zij de toets niet heeft afgelegd op een bepaald moment, wordt de respondent toch behouden in het databestand op voorwaarde dat de respondent voor het betreffende leergebied wel een score heeft op een toets afgenomen op een ander moment. Met andere woorden, in een longitudinaal groeicurvemodel vallen respondenten niet uit omdat ze een of meerdere meetmomenten hebben gemist (zie Singer en Willett, 2003: 146). Wanneer een respondent een ontbrekende waarde heeft voor een onafhankelijke variabele, werd deze waarde geïmputeerd door middel van de imputatietechniek EM (Expectation-Maximization) 3. Voorgaand onderzoek heeft aangetoond dat bij het geven van schoolfeedback het beter is om te imputeren dan niet te imputeren om tot een juister oordeel te komen over de toegevoegde waarde en dat EM een volwaardig alternatief is voor de meer technisch complexe imputatietechnieken (zie Knipprath, 2008). Met EM wordt op basis van een imputatiemodel afgeleid welke waarde een respondent naar alle verwachting heeft voor een bepaalde variabele, gezien de waarden die de respondent heeft op de andere variabelen in het imputatiemodel. In het imputatiemodel werden de variabelen geslacht, geboortejaar, geboortemaand, zittenblijven L1, zittenblijven L2, zittenblijven L3, zittenblijven L4, GOK-leerling, thuistaal, sociaal-economische status (SES), etnisch-culturele achtergrond, intelligentiescores gemeten in L3 en taalvaardigheid gemeten begin L1 gebruikt. Op basis van de geïmputeerde variabelen werden de afgeleide variabelen gemaakt zoals het interactieeffect tussen geboortejaar en geboortemaand, de GOK-groepen Nederlandstalig-GOK etc. 2.3. Analysemodel De data werden door middel van multiniveau-analyse geanalyseerd, met behulp van het MlwiN software-pakket. Het analysemodel is een piecewise groeicurvemodel (Singer en Willett, 2003; Snijders en Bosker, 1999). De tijd werd zodanig gemodelleerd dat we de toegevoegde waarde voor de 3 In het hoofdstuk over instroomkenmerken van leerlingen werden de geïmputeerden waarden mee gerapporteerd. 11

leerwinst tussen elke twee opeenvolgende meetmomenten kunnen bepalen. Voor een bespreking van de voor- en nadelen van dit type model, zie Knipprath (2007). Voor elk leergebied werd hetzelfde finale basismodel gebruikt, waarin alle bovengenoemde variabelen als fixed effecten in het model werden opgenomen. Vervolgens werd nagegaan of de invloed van bepaalde onafhankelijke variabelen op de afhankelijke variabelen kan verschillen op schoolniveau of op leerlingniveau. Enkele significante differentiële effecten werden gevonden. De relatie tussen aanvankelijke taalvaardigheid en technisch lezen verschilt van leerling tot leerling. De relatie tussen prestaties voor wiskunde en geboortejaar, tussen prestaties voor spelling en geboortejaar en tussen prestaties voor wiskunde en aanvankelijke taalvaardigheid verschilt van school tot school. In de volgende hoofdstukken werd telkens een onderscheid gemaakt tussen de resultaten van twee modellen; enerzijds de resultaten van de modellen waarbij niet gecontroleerd werd voor achtergrondkenmerken (ruwe scores), anderzijds de resultaten van de modellen waarbij wel rekening gehouden werd met het leerlingenpubliek dat naar een bepaalde school gaat (gecorrigeerde scores). De gecorrigeerde piecewise modellen geven een gecorrigeerde schatting van de groei tussen twee meetmomenten. Er werd verder afgetoetst of de verschillende fases van de groei in elke groep van methodescholen statistisch significant verschillen van de leerwinst in de traditionele scholen via contrasttoetsen. Ook de totale leerwinst (leerwinst vanaf de beginmeting tot aan de eindmeting) werd vergeleken tussen de verschillende groepen methodescholen enerzijds en de groep van de traditionele scholen anderzijds. Naast het verschil in leerwinst werd ook nagegaan of het verschil in gemiddelde score op elk meetmoment van elke groep methodescholen statistisch significant afwijkt van de score in traditionele scholen. Voor de groepen die een significante afwijking vertoonden aan het eind van het zesde leerjaar (bij technisch lezen in het vijfde leerjaar) werd dan verder een inschatting gemaakt van de grootte van dit verschil via een vergelijking met de gemiddelde leerwinst die deze groep de laatste twee jaren doorgemaakt heeft. De aandachtige lezer zal begrijpen dat de soms verrassend grote achterstanden vooral inhouden dat de leerwinst in die periode heel klein was. Tot slot worden grafieken gepresenteerd waarin per scholengroep de groei van de individuele scholen weergegeven is. Meer informatie over de werkwijze zal gegeven worden in hoofdstuk 3 ( resultaten voor wiskunde ); de werkwijze voor technisch lezen, spelling en begrijpend lezen is gelijkaardig. 12

3. Enkele bedenkingen vooraf De bedoeling van dit rapport is om verschillende groepen methodescholen te vergelijken met traditionele scholen op gebied van een aantal schoolse prestaties. Zoals hierboven aangegeven werd, hebben we deze vergelijking op een zo correct mogelijke manier trachten te maken. Toch willen we benadrukken dat de gepresenteerde resultaten met enige terughoudendheid en voorzichtigheid geïnterpreteerd moeten worden om verschillende redenen. Ten eerste, in dit rapport werd er om te peilen naar de schoolse vaardigheden een beroep gedaan op toetsen die peilen naar vaardigheden die (a) eenvoudig toetsbaar zijn en (b) algemeen als cruciale schoolse vaardigheden beschouwd worden. Bijvoorbeeld in de toetsen wiskunde zitten vragen die peilen naar getallenkennis, rekenvaardigheden, meetkunde, enz. Toch sluit dit niet uit dat er nog andere belangrijke vaardigheden zijn die niet bevraagd werden en die misschien wel meer op de voorgrond staan in methodescholen. Ten tweede, wegens de correlationele aard van de data blijft het moeilijk om causale inferenties te maken. Het is nog altijd mogelijk dat de geobserveerde verschillen te wijten zijn aan andere factoren, verschillen tussen leerlingen die niet mee werden opgenomen in de analyses, verschillen tussen scholen die niets te maken hebben met de pedagogische aanpak of visie, etc. Ten derde, het beperkte aantal scholen per groep (vooral in groep C, groep D en groep E) maakt het moeilijk om op een betrouwbare manier besluiten te trekken over de andere scholen binnen deze categorieën. Toch laten de analyses van de verschillen tussen individuele scholen binnen elke categorie toe hiervan enig beeld te krijgen (zie verder). Groep E bijvoorbeeld blijkt voor de meeste leergebieden behoorlijk homogeen te zijn. Binnen groep B en C zijn de verschillen tussen individuele scholen vaak heel wat groter. Hiermee samenhangend kan een grote uitstroom van leerlingen als gevolg hebben dat er steeds minder leerlingen opgenomen zijn, en dat de resultaten ook minder geldig zijn voor de ruimere populatie. Een grote neveninstroom heeft dan weer gevolgen voor een mogelijk minder betrouwbare controle voor achtergrondkenmerken, daar deze informatie niet steeds beschikbaar is. Enigszins geruststellend is dan toch weer dat in het kader van andere analyses op de SiBO-data kon aangetoond worden dat de door ons gehanteerde modellen voor de schatting van de toegevoegde waarde scholen vrij robuust bleken voor de effecten van in- en uitstroom, die elkaar in grote mate blijken op te heffen (Verhaeghe e.a., 2011). Ten vijfde, doordat de toetsen werden afgenomen in de school, en er geen controle was op de wijze waarop de toetsen werden afgenomen, bestaat de kans dat sommige toetsresultaten onbetrouwbaar zijn. Wanneer duidelijk ongeldige toetsresultaten gerapporteerd werden door de scholen werden deze resultaten niet meegenomen in de analyses. Tot slot, de gecorrigeerde scores die in dit rapport gerapporteerd werden, geven eigenlijk de scores weer voor de gemiddelde referentieleerling, meer specifiek, een Nederlandstalig meisje met een 13

gemiddelde initiële taalvaardigheid, dat niet voldoet aan de GOK-criteria, dat geboren is in januari 1997 en ook niet is blijven zitten. Mogelijks kan het effect van bepaalde methodescholen verschillend zijn naargelang van sommige leerlingkarakteristieken. Het zou bijvoorbeeld kunnen dat een groep methodescholen zeer effectief in het bevorderen van het leren bij initieel erg zwakke leerlingen, of misschien is net het tegenovergestelde waar. Het zou kunnen dat de effecten verschillen naargelang de etnisch-culturele achtergrond van leerlingen, het al dan niet voldoen aan de GOKcriteria, geslacht, of leeftijd. Toekomstig onderzoek is nodig om deze effecten te bestuderen. 14

Vaardigheid voor Wiskunde 4. Resultaten voor wiskunde 4.1. Ruwe scores Figuur 1 toont de ruwe gemiddelde groeicurves voor wiskunde voor de traditionele scholen en voor de verschillende groepen van methodescholen in het onderzoek. In figuur 1 kan men zien dat er voor wiskunde zeven toetsmomenten waren: het begin van het eerste leerjaar en het einde van het eerste t.e.m. zesde leerjaar. 4 De ruwe scores zijn de scores waarbij geen rekening gehouden werd met de invloed van achtergrondkenmerken. Gezien de grote invloed van achtergrondkenmerken van leerlingen moeten deze ruwe scores met grote omzichtigheid benaderd worden. De tabel met de ruwe gemiddelden en leerwinstcijfers vindt men in bijlage. 110 90 80 70 Groep A Groep B Groep C Groep D Groep E Begin L1 L1 L2 L3 L4 L5 L6 Figuur 1. Gemiddelde evolutie van de groepen scholen voor wiskunde (ruwe scores). 4.2. Gecorrigeerde scores In figuur 2 en tabel 10 worden de gemiddelde scores en groeicurves weergegeven na correctie voor de invloed van geslacht, leeftijd, schoolloopbaan, aanvankelijke Nederlandse taalvaardigheid en de GOK-categorieën. Bovenaan tabel 10 vindt men voor elk meetmoment het gecorrigeerde gemiddel- 4 Groep E heeft op het einde van het tweede leerjaar geen wiskundetoets afgelegd. Daardoor kan de leerwinst voor het tweede leerjaar en de leerwinst voor het derde leerjaar niet precies bepaald worden, wel de leerwinst voor tweede en derde leerjaar samen. In de analyse werd de leerwinst voor het derde leerjaar gelijkgesteld aan de leerwinst in de referentiegroep (de traditionele scholen) en de resterende leerwinst werd beschouwd als zijn de leerwinst voor het tweede leerjaar, maar de werkelijke verdeling over tweede en derde leerjaar kan ook anders zijn. In figuren 1 en 2 kan men zien dat een andere methode waarbij het traject van einde L1 tot einde L3 als een rechte lijn zou worden geschat, nauwelijks enig verschil zou uitgemaakt hebben. 15

Vaardigheid voor Wiskunde de, onderaan vindt men per leerjaar de gecorrigeerde leerwinstcijfers. Die gecorrigeerde leerwinst is het verschil tussen de gecorrigeerde gemiddelde scores op twee opeenvolgende meetmomenten. 110 90 80 Groep A 70 Groep B Groep C Groep D Groep E Begin L1 L1 L2 L3 L4 L5 L6 Figuur 2. Gemiddelde evolutie van de groepen scholen voor wiskunde (gecorrigeerde scores) 4. Tabel 10. Gemiddelde gecorrigeerde scores en leerwinst voor wiskunde 4 Gecorrigeerde Begin score L1 L1 L2 L3 L4 L5 L6 57.2 68.6 79.9 87.8 94.9.5 104.3 Groep A 58.3 67.3 76.8* 84.7* 91.9* 98.7 102.6 Groep B 57.0 66.0* 77.7* 84.3* 91.1* 96.8* 101.2* Groep C 58.8 70.4 76.9* 83.3* 88.3* 92.2* 95.9* Groep D 55.9 68.2 77.8 84.0* 89.7* 96.7 102.3 Groep E 61.4* 63.9* (71.5*) 79.4* 82.9* 95.3* 103.9 Leerwinst L1 L2 L3 L4 L5 L6 Totaal 11.3 11.4 7.9 7.0 5.6 3.8 47.0 Groep A 9.0 * 9.6 7.8 7.2 6.8 4.0 44.4* Groep B 9.0 * 11.7 6.6 6.8 5.7 4.4 44.2* Groep C 11.7 6.5 * 6.4 4.9 4.0 3.7 37.2* Groep D 12.3 9.6 6.1 5.7 7.1 5.6 46.4 Groep E 2.5* (7.6*) (7.9) 3.5* 12.4* 8.5* 42.4* Noot: Een * in de tabel wijst erop dat de waarde significant verschilt van de traditionele scholen. 16

4.2.1. Verschillen begin eerste leerjaar t.e.m. eind vijfde leerjaar Aan het begin van het eerste leerjaar kunnen weinig significante verschillen gevonden worden tussen methodescholen en traditionele scholen. Leerlingen uit groep A, B, C en D doen het in het begin van het eerste leerjaar even goed op vlak van wiskunde als leerlingen in traditionele scholen. Leerlingen uit groep E echter vertonen initieel een hogere score voor wiskunde dan leerlingen uit traditionele scholen. Gezien die beginscores gecorrigeerd zijn voor sociale achtergrond, kan dit wijzen op een hogere effectiviteit van hun kleuteronderwijs inzake aanvankelijk rekenbegrip. Tegen het einde van het eerste leerjaar is die voorsprong evenwel omgeslagen in een significante achterstand. Ook leerlingen van groep B scoren op het einde van het eerste leerjaar zwakker op wiskunde dan leerlingen in traditionele scholen. In de leerjaren daarna blijven beide groepen een lager gemiddelde neerzetten. Lagere gemiddelden voor wiskunde in middelste jaren van het lager onderwijs blijkt een algemene tendens; we zien dat namelijk ook bij de andere groepen (groep A, C en D). 4.2.2. Verschillen in gemiddelde leerwinst De gemiddelde gecorrigeerde leerwinst is de leerwinst die leerlingen gemiddeld maken na correctie voor achtergrondkenmerken én voor de verschillen tussen scholen in het aanvangsniveau van de kinderen voor wiskunde. De gemiddelde leerwinst per jaar is weergegeven onderaan in tabel 11. Naast de gemiddelde leerwinst per jaar werd ook de totale gemiddelde leerwinst, d.i. de gemiddelde leerwinst vanaf het begin van het eerste leerjaar t.e.m. het einde van het zesde leerjaar, berekend. Telkens werd voor elke groep methodescholen nagegaan of de gemiddelde leerwinst statistisch significant verschilt van de gemiddelde leerwinst in de traditionele scholen. Over het algemeen kennen de methodescholen (behalve groep D) voor wiskunde een veel tragere gemiddelde groei dan de traditionele scholen. De totale gemiddelde leerwinst van groep A, B C en E is kleiner dan de gemiddelde leerwinst van de traditionele scholen. Enkel de gemiddelde leerwinst van groep D verschilt niet significant van de gemiddelde leerwinst van de traditionele scholen. De groepen A, B en C kennen een kleinere gemiddelde leerwinst in de eerste leerjaren. Groep A en B kennen een significant lagere gemiddelde leerwinst in het eerste leerjaar, groep C in het tweede leerjaar. Groep E laat in de beginjaren gemiddeld een veel tragere groei optekenen (vooral in het eerste, maar ook in het tweede en het vierde leerjaar), maar vertoont in de twee hoogste leerjaren een vrij spectaculaire versnelling. De totale gemiddelde leerwinst van groep E is desondanks lager dan die van de traditionele scholen. 4.2.3. Verschillen eind zesde leerjaar Dat brengt ons bij de vraag hoe sterk het gemiddelde eindniveau (eind zesde leerjaar) na correctie voor achtergrondkenmerken verschilt van het gemiddelde van de traditionele scholen. Het gemiddelde eindniveau kan men zien bovenaan in de laatste kolom van tabel 11. Bij groep A, groep D en 17

groep E verschilt het niet significant van het gemiddelde eindniveau van de traditionele scholen. In groep B en in groep C ligt het eindniveau gemiddeld significant lager dan in de traditionele scholen. Om een beeld te geven van de betekenis van de grootte van het verschil in gemiddelde eindscore op het eind van het zesde leerjaar, zal in dit rapport het verschil vergeleken worden met de leerwinst die gedurende de laatste twee schooljaren gemiddeld in de betreffende methodescholengroep geboekt werd. Voor groep C dient dat verschil (8,4 punten) wellicht groot genoemd te worden. Wanneer het vergeleken wordt met de gemiddelde jaarlijkse leerwinst in de hoogste twee jaren in groep C komt het zelfs overeen met ruim twee jaar schoolgaan (zie onderstaand kader). Op dezelfde wijze kan men het verschil met de gemiddelde eindscore van groep B bekijken. Vergeleken met hun gemiddelde leerwinst gedurende de laatste twee schooljaren moeten leerlingen uit groep B ongeveer zes maanden langer naar school gaan om op hetzelfde niveau te komen als leerlingen in traditionele scholen. Hoe groot zijn deze verschillen? Om zich beter te kunnen voorstellen of een verschil in eindscore nu echt groot is, kan men dat verschil vergelijken met de leerwinst die gemiddeld bereikt wordt. Er kan echter met verschillende soorten leerwinst vergeleken worden, afhankelijk van de vraag die gesteld wordt. Bijvoorbeeld: voor groep C bedraagt het gemiddelde eindniveau na correctie voor achtergrondkenmerken 95.9 punten. Het verschil met het gemiddelde van de traditionele scholen is dan 95.9 104.3 = -8.4 punten. 1. Er kan vergeleken worden met de leerwinst die in Vlaanderen gemiddeld geboekt wordt. Over alle zes leerjaren heen bekeken, bedraagt de leerwinst voor wiskunde gemiddeld 7.85 punten per leerjaar. 8.4 vormt meer dan % van 7.85. Men zou dus kunnen zeggen dat op het einde van het lager onderwijs, leerlingen in groep C voor wiskunde ongeveer gemiddeld één schooljaar (een schooljaar wordt beschouwd als een periode van 10 maanden) achterop liggen bij de gemiddelde leerling in een traditionele school. 2. Maar de groeicurve voor wiskunde kent geen lineair verloop; ze is gemiddeld steiler in het begin en buigt daarna af. Tijdens de hoogste twee jaren bedraagt de gemiddelde leerwinst per leerjaar voor wiskunde gemiddeld slechts 4.7 punten. Zet men die 8.4 punten verschil daar tegen af, dan komt men uit op 178%. Op basis van die vergelijking zou men kunnen zeggen dat de gemiddelde leerling uit groep C bijna een jaar en acht maanden langer naar school zou moeten gaan om (na correctie voor de invloed van achtergrondkenmerken) voor wiskunde hetzelfde eindniveau te halen als de gemiddelde Vlaamse leerling in een traditionele school. 3. Wil men het op die manier uitdrukken, dan is het in zekere zin correcter om te vergelijken met de gemiddelde leerwinst in groep C. Tijdens de hoogste twee jaren bedraagt die gemiddeld 3.85 per leerjaar. Om voor wiskunde hetzelfde eindniveau te halen als de gemiddelde leerling in een traditionele school zou de gemiddelde leerling uit groep C eigenlijk iets langer dan twee jaar extra naar school moeten gaan (8.4 = 218% van 3.85). Of een verschil van 8.4 punten groot of niet groot te noemen valt, kan eenieder op basis van dat soort vergelijking voor zichzelf uitmaken. 18

4.2.4. Evolutie van individuele scholen Een vraag die gesteld kan worden, is in welke mate individuele methodescholen verschillen binnen de groep van methodescholen waartoe ze behoren. Een extreem hoog of laag scorende school kan immers het gemiddelde van de groep beïnvloeden. Verder is de spreiding tussen scholen een belangrijke indicator van de generaliseerbaarheid van bovenstaande resultaten. Het antwoord op die vraag vindt men in de figuren 3 t.e.m. 8. Wanneer deze grafieken bestudeerd worden, kan men vaststellen dat het gemiddelde van een methodescholengroep zich soms boven of onder de waarden van alle afzonderlijke scholen bevindt. Een voorbeeld, de geschatte scores van groep E op het eind van het vierde leerjaar liggen allen boven het gemiddelde van groep E. De scores van de groep scholen zijn niet exact het gemiddelde van de scores van de afzonderlijke scholen. Dit komt omdat er bij de schatting van residuele scores per school rekening gehouden wordt met de onzekerheid die er bestaat over die school. Bij grote onzekerheid (bijvoorbeeld omdat er weinig leerlingen op dat moment zijn betrokken, of omdat de spreiding tussen leerlingen binnen een school groot is), zal de schatting van de residuen per school niet exact het gemiddelde zijn van alle leerlingscores, maar wordt ook informatie gebruikt van de andere scholen om deze onzekerheid op te vullen. Ook de statistische aanname dat zowel de leerlingscores als de schoolgemiddelden (in principe) normaal-verdeeld zijn, speelt hierin mee. Dit leidt er toe dat bij grote onzekerheid de geschatte residuele scores van de scholen zich meer naar het gemiddelde (dat in sterke mate bepaald wordt door de grote groep traditionele scholen) zullen bewegen (Dit wordt ook wel regression to the mean genoemd). Immers, wanneer je slechts informatie hebt van enkele leerlingen binnen een school (en er dus een grote onzekerheid is over het ware gemiddelde van de school), en die leerlingen scoren sterk afwijkend ten opzichte van de andere scholen, zal een multiniveau-analyse op veilig spelen en een meer conservatieve schatting te maken door bij de schatting van de residuele scores gebruik maakt van informatie van de andere scholen. De directe schatting van het gemiddelde van een hele methodescholengroep kan dan weer gebeuren op een grotere groep leerlingen, de onzekerheden zijn daardoor minder groot, er wordt minder naar het midden toe gecorrigeerd en dat leidt dan tot schattingen van het gemiddelde die dichter aansluiten bij wat men op grond van de lage (of hoge) individuele leerlingscores zou verwachten. In sommige gevallen leidt dat er toe dat het gemiddelde van de hele groep lager (of hoger) ligt dan elk van de afzonderlijke gemiddelden per school. Een tweede opmerking betreft de weergave van scholen die niet aan alle meetmomenten hebben deelgenomen. Omdat er scholen zijn die op slechts één of enkele meetmomenten deelnamen, worden hier enkel de groeicurves gerepresenteerd voor scholen vanaf het eerste moment dat ze deelnamen t.e.m. het laatste meetmoment waarop ze deelnamen. Scores in deze grafiek werden dus niet geëxtrapoleerd. Voor scholen die op een tussenliggend meetmoment niet hebben deelgenomen zal er wel een geschatte waarde weergegeven worden voor dit meetmoment. Figuren 3 tot en met 8 illustreren de evolutie in wiskunde van de individuele scholen per scholengroep. De algemene tendens is dat de gemiddelde wiskundescores van methodescholen niet boven het gemiddelde van de traditionele scholen uitsteken. We zien verder dat de spreiding tussen scho- 19

Vaardigheid voor Wiskunde Vaardigheid voor Wiskunde Vaardigheid voor Wiskunde len over het algemeen lijkt toe te nemen door de jaren heen. In groep A, groep B, en groep E is er relatief weinig spreiding tussen scholen te zien. In groep C en D is een grotere spreiding tussen de scholen te zien, waarbij enkele scholen een opvallend ander patroon vertonen dan de andere. 110 90 80 70 10% hoogste scores Gemiddelde 10% laagste scores Begin L1 L1 L2 L3 L4 L5 L6 Figuur 3. Evolutie van de traditionele scholen voor wiskunde (gecorrigeerde gemiddelden). 110 90 80 70 School A School C School B School D School E School F School G Groep A Begin L1 L1 L2 L3 L4 L5 L6 Figuur 4. Evolutie van groep A voor wiskunde (gecorrigeerde gemiddelden). 110 90 80 School A School B 70 School C School D School E School F School G School H Groep B Begin L1 L1 L2 L3 L4 L5 L6 Figuur 5. Evolutie van groep B voor wiskunde (gecorrigeerde gemiddelden). 20

Vaardigheid voor Wiskunde Vaardigheid voor Wiskunde Vaardigheid voor Wiskunde 110 90 80 70 School A School B School C School D School E Groep C Begin L1 L1 L2 L3 L4 L5 L6 Figuur 6. Evolutie van groep C voor wiskunde (gecorrigeerde gemiddelden). 110 90 80 70 School A School B School C School D School E Groep D Begin L1 L1 L2 L3 L4 L5 L6 Figuur 7. Evolutie van groep D voor wiskunde (gecorrigeerde gemiddelden). 110 90 80 School A School B 70 School C School D Groep E Begin L1 L1 L2 L3 L4 L5 L6 Figuur 8. Evolutie van groep E voor wiskunde (gecorrigeerde gemiddelden). 21

Vaardigheid voor Technisch Lezen 5. Resultaten voor technisch lezen 5.1. Ruwe scores Figuur 8 toont de ruwe gemiddelde groeicurves voor technisch lezen voor de traditionele scholen en voor de verschillende groepen van methodescholen. In figuur 9 kan men zien dat er voor technisch lezen slechts vier toetsmomenten waren: eind L1, eind L2, eind L3 en eind L5. 5 Gezien de invloed van de achtergrondkenmerken op de schoolresultaten, moeten vergelijkingen op basis van ruwe scores met grote omzichtigheid benaderd worden. De tabel met de ruwe gemiddelden en leerwinstcijfers vindt men in bijlage. 300 2 200 1 Groep A Groep B Groep C Groep D Groep E 0 Begin L1 L1 L2 L3 L4 L5 L6 Figuur 9. Gemiddelde evolutie van de groepen scholen voor technisch lezen (ruwe scores). 5.2. Gecorrigeerde scores In figuur 10 en tabel 11 werden de scores gecorrigeerd voor de invloed van geslacht, leeftijd, schoolloopbaan, aanvankelijke Nederlandse taalvaardigheid, en de GOK-categorieën. 5 In groep E werd op het einde van het eerste leerjaar geen toets voor technisch lezen afgelegd. Daardoor kan de leerwinst voor het tweede leerjaar niet bepaald worden. In de analyse werd de leerwinst voor het tweede leerjaar gelijkgesteld aan de leerwinst in de referentiegroep (de traditionele scholen). Op basis daarvan werd het niveau einde eerste leerjaar geschat. Het werkelijke niveau einde eerste leerjaar kan hoger of lager liggen. 22

Vaardigheid voor Technisch Lezen 300 2 200 1 Groep A Groep B Groep C Groep D Groep E 0 Begin L1 L1 L2 L3 L4 L5 L6 Figuur 10. Gemiddelde evolutie van de groepen scholen voor technisch lezen (gecorrigeerde scores) 5 Tabel 11. Gemiddelde gecorrigeerde scores en leerwinst voor technisch lezen 5 Gecorrigeerde Begin score L1 L1 L2 L3 L4 L5 L6 77.9 161.7 205.7 259.3 Groep A 69.9 158.7 196.4 256.3 Groep B 55.4* 142.3* 190.8* 2.4 Groep C 54.4* 140.4* 180.1* 245.5 Groep D 68.6 1.4 190.6 248.8 Groep E (16.6*).3* 151.5* 238.0* Leerwinst L1 L2 L3 L4 L5 L6 Totaal 83.7 44.0 53.6 181.3 Groep A 88.8 37.7 59.9 186.4 Groep B 86.9 48.5 59.6 195.0* Groep C 86.0 39.7 65.3 191.1 Groep D 81.9 40.1 58.2 180.2 Groep E (83.7) 51.2 86.5* 221.5* Noot 1: Een * in de tabel wijst erop dat de waarde significant verschilt met de traditionele scholen. Noot 2: Bij de interpretatie van de leerwinstcijfers in de kolom L4/L5, moet men er rekening mee houden dat het hier eigenlijk gaat om de gezamenlijke leerwinst in vierde én vijfde leerjaar. Op het einde van het vierde leerjaar werd immers geen toets voor technisch lezen afgenomen. Om tot een redelijke schatting te komen van de leerwinst die enkel in het vijfde leerjaar geboekt werd, kan men de helft nemen van de getallen in kolom L4/L5. 23