MONITOR VERBETERTRAJECTEN TAAL EN REKENEN 2008/2009, 2009/2010 EN 2010/2011

Transcriptie

1 MONITOR VERBETERTRAJECTEN TAAL EN REKENEN 2008/2009, 2009/2010 EN 2010/2011 Utrecht, april 2012

2 Voorwoord Om de kwaliteit van het primair onderwijs te verhogen heeft het ministerie van Onderwijs, Cultuur en Wetenschap (OCW) de kwaliteitsagenda Scholen voor morgen opgezet. Hierin wordt gepleit voor verbetering en behoud van kwalitatief goed onderwijs voor leerlingen in het primair onderwijs. In de agenda staat het verbeteren van taal- en rekenvaardigheden op de eerste plaats. Deze vaardigheden zijn onlosmakelijk verbonden met andere schoolvakken en vormen een basis voor de verdere schoolcarrière van de leerling. Om de verbeterdoelen te bereiken zijn extra middelen ingezet, zodat scholen aan een taal- en/of rekenverbetertraject konden deelnemen. In schooljaar 2008/2009 zijn de taal- en rekenverbetertrajecten van start gegaan. Beide trajecten hadden een looptijd van drie jaar. Scholen die deelnamen aan een verbetertraject kregen daarvoor een subsidie waar een eigen bijdrage en een evaluatieverplichting aan verbonden waren. In de schooljaren 2009/2010 en 2010/2011 zetten dezelfde scholen de verbetertrajecten voort. Er zijn enkele scholen bijgekomen en enkele afgevallen. In totaal hebben ongeveer achttienhonderd scholen deelgenomen. In schooljaar 2010/2011 hebben de scholen de verbetertrajecten afgerond. Na drie jaar is er informatie van drie opeenvolgende jaren beschikbaar, zodat nu een trendanalyse mogelijk is. Dit rapport informeert over de voortgang van deze verbetertrajecten en presenteert een vergelijking van de prestaties van scholen die in alle drie de jaren hebben deelgenomen.

3 Inhoud Samenvatting 1 Inleiding Achtergrond van het onderzoek Onderzoeksvragen Onderzoeksopzet Respons Achtergrondkenmerken deelnemende scholen Meten van de ontwikkeling van de leerprestaties Meten van beleid en verbetermaatregelen Leeswijzer 20 2 Leerprestaties: taalverbetertrajecten Inleiding Taalzwak, gemiddeld en taalsterk Technisch lezen Begrijpend lezen Taalverbetertrajecten en de Cito Eindtoets 33 3 Leerprestaties: rekenverbetertrajecten Inleiding Rekenzwak, gemiddeld en rekensterk Rekenen Rekenverbetertrajecten en de Cito Eindtoets 45 4 Schoolbeleid en verbetermaatregelen: taalverbetertrajecten Inleiding Taalonderwijs Taalbeleid Besteding subsidie en genomen verbetermaatregelen Conclusie 60 5 Schoolbeleid en verbetermaatregelen: rekenverbetertrajecten Inleiding Rekenonderwijs Rekenbeleid Besteding subsidie en genomen maatregelen Conclusie 70 6 Evaluatie verbetertrajecten Nut van het verbetertraject 71 Effect op de leerresultaten Leren van en met elkaar 73 7 Terugkoppeling leerresultaten Terugkoppeling in de schooljaren 2008/2009 en 2009/ Terugkoppeling in het schooljaar 2010/

4 8 Conclusie en discussie Conclusie Discussie 81 Bijlage(n) I Achtergrondkenmerken 87 II Toetsgegevens: Taalverbetertrajecten 92 III Toetsgegevens: Rekenverbetertrajecten 97 IV Schoolbeleid en verbetermaatregelen: Taalverbetertrajecten 101 V Schoolbeleid en verbetermaatregelen: Rekenverbetertrajecten 106 VI Evaluatie verbetertrajecten 111

5 Samenvatting Dit rapport bevat de resultaten van de monitor verbetertrajecten taal en rekenen. Deze monitor is gestart in schooljaar 2008/2009 en is jaarlijks herhaald. Doel van de monitor is het volgen van de leerprestaties van de scholen die deelnemen aan de verbetertrajecten. De vragen die in dit rapport worden beantwoord zijn: 1. Wat zijn de kenmerken van de scholen die deelnemen aan de verbetertrajecten? 2. Hoeveel van de deelnemende taalzwakke en rekenzwakke scholen1 verbeteren in schooljaar 2010/2011 ten opzichte van schooljaar 2008/2009 en zijn niet meer taalzwak of rekenzwak? 3. Hoe zien de tussentoetsresultaten van de scholen die deelnemen aan de verbetertrajecten eruit in schooljaar 2010/2011? Hoe ontwikkelen de tussentoetsresultaten zich in schooljaar 2010/2011 ten opzichte van de tussentoetsresultaten in de schooljaren 2008/2009 en 2009/2010? 4. Hoeveel scholen wisselen van toets? Zijn er verschillen tussen scholen die van toets wisselen en scholen die dezelfde toets hanteren in de ontwikkeling van de toetsresultaten? 5. Hoe zien de eindtoetsresultaten van de scholen die deelnemen aan de verbetertrajecten eruit in schooljaar 2010/2011? Hoe ontwikkelen de eindtoetsresultaten van de scholen zich in schooljaar 2010/2011 ten opzichte van de eindtoetsresultaten in de schooljaren 2008/2009 en 2009/2010? Hoe ontwikkelen de eindtoetsresultaten van de scholen die deelnemen aan de verbetertrajecten zich vergeleken met de eindtoetsresultaten van de scholen die niet deelnemen aan de verbetertrajecten? 6. Zijn er verschillen tussen taal-/rekenzwakke en taal-/rekensterke scholen in de ontwikkeling van de toetsresultaten? 7. Waar richt het beleid van de scholen zich op? Op welke punten willen scholen zich verbeteren en hoe besteden ze de subsidie? 8. Hoe evalueren de scholen de verbetertrajecten? Deze studie is een monitor. In het kader van deze monitor is alleen de groep scholen die deelneemt aan de verbetertrajecten gevolgd. De inspectie beschikt niet over de tussentoetsgegevens van een vergelijkbare controlegroep. Het is daarom niet mogelijk om verbeteringen of verslechteringen direct toe te schrijven aan de verbetertrajecten. Hiervoor is immers informatie nodig over de ontwikkeling van de leerresultaten van een vergelijkbare groep scholen die niet deelneemt aan de verbetertrajecten. Onderzoeksopzet In het kader van de monitor hebben scholen die deelnemen aan de verbetertrajecten driemaal een vragenlijst ingevuld: de eerste in schooljaar 2008/2009, de tweede in 1Taalzwakke scholen zijn scholen die twee van de laatste drie opeenvolgende schooljaren onder de ondergrens presteren op de Eindtoets Basisonderwijs van het Cito op het onderdeel taal. Taalsterke scholen zijn scholen die ten minste twee van de drie jaren boven de bovengrens presteren. Gemiddelde scholen zijn scholen die niet onder, maar ook niet boven de grenzen presteren in twee van de drie jaren. Rekenzwakke scholen zijn scholen die twee van de laatste drie opeenvolgende schooljaren onder de ondergrens presteren op de Eindtoets Basisonderwijs van het Cito op het onderdeel rekenen. Rekensterke scholen zijn scholen die ten minste twee van de drie jaren boven de bovengrens presteren. Gemiddelde scholen zijn scholen die niet onder, maar ook niet boven de grenzen presteren in twee van de drie jaren. Pagina 5 van 113

6 schooljaar 2009/2010 en de derde in schooljaar 2010/2011. Onderzocht is of de tussentoetsresultaten en de eindtoetsresultaten van scholen die deelnemen aan de verbetertrajecten verbeteren. De resultaten zijn op vier manieren weergegeven. Tussentoetsen: percentage scholen dat in het schooljaar 2010/2011 onder dan wel boven de inspectienorm presteert en hoe dit zich verhoudt tot de schooljaren 2008/2009 en 2009/2010; percentage scholen van de scholen die drie jaar deelnemen aan de verbetertrajecten, dat verbetert (boven de norm gaat presteren), verslechtert (onder de norm gaat presteren), gelijk blijft (drie jaar onder de norm of drie jaar boven de norm presteert) of een wisselend beeld laat zien (wisselend onder of boven de norm presteert). Hiervoor is de inspectienorm2 als uitgangspunt genomen; stijging of daling van de gemiddelde toetsscore van de scholen die drie jaren deelnemen aan de verbetertrajecten én drie jaar dezelfde toets(versie) afnemen. Eindtoetsen: stijging of daling van de gemiddelde Cito Eindtoetsscore van scholen die drie jaar deelnemen aan de verbetertrajecten. Een vergelijking van (de ontwikkeling van) de Cito Eindtoetsscore van scholen die deelnemen aan de verbetertrajecten met (de ontwikkeling van) de Cito Eindtoetsscore van scholen die niet deelnemen aan de verbetertrajecten. Vervolgens zijn deze analyses ook apart gedaan voor de categorieën taalzwak, gemiddeld en taalsterk (taalverbetertrajecten) en de categorieën rekenzwak, gemiddeld en rekensterk (rekenverbetertrajecten). Tevens zijn het beleid en de verbeteractiviteiten van de scholen die deelnemen aan de verbetertrajecten in kaart gebracht, evenals de waardering van de verbetertrajecten door de scholen. Leerresultaten Tussentoetsen Op het vakgebied technisch lezen (taalverbetertrajecten) is geen eenduidige verbetering te zien. Het percentage scholen dat in het derde jaar van het traject boven de inspectienorm presteert, stijgt niet ten opzichte van het jaar van de nulmeting 2008/2009: er zijn iets meer scholen die verslechteren (onder de norm gaan presteren) dan scholen die verbeteren (boven de norm gaan presteren). Wel stijgen de gemiddelde toetsscores in leerjaar 3 en 4 van een kleine, selecte groep scholen die drie jaar dezelfde tussentoets technisch lezen afneemt in schooljaar 2010/2011 ten opzichte van schooljaar 2008/2009. De waarde van deze laatste analyse beperkt zich tot de kleine, selecte groep scholen waar het om gaat. Bij een grotere groep scholen die twee jaar dezelfde toets afneemt, is in schooljaar 2010/2011 geen verbetering te zien ten opzichte van schooljaar 2009/2010. Voor deze grotere groep deelnemende scholen geldt dus een stagnatie in deze twee jaren. Enerzijds is het opmerkelijk dat er bij technisch lezen geen eenduidige vooruitgang te zien is, omdat de scholen die aan de verbetertrajecten deelnemen zich voornamelijk richten op dit gebied. Anderzijds moeten de resultaten bij technisch lezen voorzichtig 2 De voor de laatste meting gebruikte bepaling van de inspectienorm is te lezen in de notitie Analyse en waarderingen van opbrengsten primair onderwijs, versie februari 2010, te vinden op Pagina 6 van 113

7 worden geïnterpreteerd, aangezien er gedurende het taalverbetertraject veel toetswisselingen hebben plaatsgevonden. Op het vakgebied begrijpend lezen (taalverbetertrajecten) neemt in alle bevraagde leerjaren het percentage scholen dat boven de norm scoort toe ten opzichte van het jaar van de nulmeting 2008/2009. Er verbeteren meer scholen dan er verslechteren. De tussentoetsen begrijpend lezen vertonen daarnaast een opmerkelijk patroon: hoe hoger het leerjaar, hoe lager het percentage scholen dat boven de norm scoort. De gemiddelde toetsscore op de meest afgenomen tussentoets begrijpend lezen leerjaar 7 stijgt in schooljaar 2010/2011 significant ten opzichte van schooljaar 2008/2009. Op het vakgebied rekenen (rekenverbetertrajecten) neemt in alle bevraagde leerjaren het percentage scholen dat op de tussentoetsen boven de norm scoort toe ten opzichte van het jaar van de nulmeting 2008/2009. Er verbeteren meer scholen dan er verslechteren. De gemiddelde score op de meest afgenomen tussentoets rekenen stijgt in de leerjaren 4, 5 en 6 significant ten opzichte van schooljaar 2008/2009. Cito Eindtoets De totale Cito Eindtoetsscores van de scholen die deelnemen aan de taal- en/of rekenverbetertrajecten stijgen in schooljaar 2010/2011 ten opzichte van de Cito Eindtoetsscores in schooljaar 2008/2009. Deze stijging is iets groter dan bij de groep scholen die niet aan de verbetertrajecten deelneemt. Bij de scholen die deelnemen aan de verbetertrajecten was ook meer verbetering mogelijk, gezien de lagere startwaardes in schooljaar 2008/2009 vergeleken met die van de niet-deelnemende scholen. Taalzwakke en rekenzwakke scholen De groep taalzwakke scholen (taalverbetertrajecten) die op de bevraagde tussentoetsen begrijpend lezen verbetert (boven de minimum inspectienorm gaat presteren), is in alle leerjaren groter dan de groep taalzwakke scholen die verslechtert (onder de minimum inspectienorm gaat presteren). Hetzelfde beeld laat de groep rekenzwakke scholen (rekenverbetertrajecten) ook zien bij de bevraagde tussentoetsen rekenen. De tussentoetsscore op de meest afgenomen toets begrijpend lezen van de taalzwakke scholen stijgt in leerjaar 7 significant ten opzichte van schooljaar 2008/2009. De tussentoetsscore op de meest afgenomen tussentoets rekenen van de rekenzwakke scholen stijgt in leerjaar 4 significant ten opzichte van schooljaar 2008/2009. De Cito Eindtoetsscores van de taalzwakke en de rekenzwakke scholen die deelnemen aan de verbetertrajecten verbeteren in schooljaar 2010/2011 ten opzichte van schooljaar 2008/2009. Het lukt de taalsterke en rekensterke scholen echter niet goed om hun hoge niveau vast te houden. Dezelfde beelden in de ontwikkeling van de eindtoetsscore zijn te zien bij taalzwakke/-sterke en rekenzwakke/ sterke scholen die niet deelnemen aan de verbetertrajecten: ook hier verbeteren de zwakke scholen zich en hebben de sterke scholen moeite het niveau vast te houden. Schoolbeleid en verbetermaatregelen De domeinen waar scholen die deelnemen aan de taalverbetertrajecten vooral aandacht aan schenken, zijn aanvankelijk technisch lezen, voortgezet technisch lezen, begrijpend lezen, woordenschat en taalontwikkeling leerjaar 1-2. Daarentegen kiezen weinig scholen voor het verbeteren van het schrijven van teksten en de mondelinge communicatie. Scholen die deelnemen aan de rekenverbetertrajecten richten de aandacht vooral op de beginnende gecijferdheid in Pagina 7 van 113

8 leerjaar 1 en 2 en, binnen het algemene rekenonderwijs in leerjaar 3 tot en met 8, op het automatiseren. Een meerderheid van de scholen die deelnemen aan de verbetertrajecten geeft aan dat de eigen streefdoelen die ze voor deze domeinen hebben gesteld, geheel of gedeeltelijk zijn bereikt. De subsidiegelden worden bij beide verbetertrajecten vooral besteed aan studiedagen voor het team en ondersteuning door externe deskundigen. Scholen hebben aangegeven welke maatregelen ze inzetten ter verbetering van het onderwijs. Daarbij zijn zes gebieden te onderscheiden. Gekeken naar de maatregel per gebied die scholen het meest invullen, kiezen scholen die deelnemen aan de taalverbetertrajecten op de gebieden leerstofaanbod en leertijd enigszins andere maatregelen dan scholen die deelnemen aan de rekenverbetertrajecten. Bij de overige domeinen is dat niet zo: 1. Leerstofaanbod: Scholen die deelnemen aan de taalverbetertrajecten kiezen het meest voor het aanschaffen en inzetten van een nieuw programma/methode. Scholen die deelnemen aan de rekenverbetertrajecten kiezen het meest voor het effectiever gebruikmaken van de aanwezige methode/programma. 2. Leertijd: Veel scholen die deelnemen aan de taalverbetertrajecten proberen de geplande lestijd effectiever te benutten. De meeste scholen die deelnemen aan de rekenverbetertrajecten doen dit ook. Maar de maatregel die deze laatste groep scholen het meest kiest, is het inplannen van structurele tijd voor oefenen/ automatiseren. 3. Didactisch handelen: Scholen besteden vooral extra aandacht aan de didactische vaardigheden (competenties) van leraren. 4. Differentiatie: De meeste scholen streven ernaar effectiever om te gaan met verschillen door de instructie en verwerking beter af te stemmen op de onderwijsbehoeften van de zwakkere en/of sterkere leerlingen. 5. Zorg en begeleiding: Veel scholen besteden meer aandacht aan het analyseren van de landelijk genormeerde toetsresultaten en/of methodegebonden toetsen. Ze letten daarbij op de consequenties voor de groep als geheel. 6. Kwaliteitszorg: Trendanalyses maken van de leerresultaten is een veel gekozen verbetermaatregel. Uit de monitor komt naar voren dat de ingeroosterde leertijd voor technisch lezen, begrijpend lezen en rekenen in schooljaar 2010/2011 is toegenomen ten opzichte van schooljaar 2008/2009. Ook geven meer scholen aan dat ze de toetsresultaten systematisch analyseren ten behoeve van de evaluatie van het onderwijs en de uitkomsten hiervan vertalen naar concrete plannen voor het onderwijs. Evaluatie In de laatste meting hebben de scholen die deelnemen aan de verbetertrajecten het totale verbetertraject geëvalueerd. Bijna alle scholen vonden de verbetertrajecten (zeer) zinvol. Het effect van de verbetertrajecten op de leerresultaten wordt door de meeste scholen als (zeer) positief ervaren. Ongeveer de helft van de scholen ervaart de mate waarin scholen van elkaar hebben geleerd als redelijk, de andere helft van de scholen heeft in sterke mate geleerd van andere scholen. Het lijkt er dus op dat scholen zowel op het gebied van de leerprestaties als op het gebied van hun beleid vorderingen hebben gemaakt, en dat via een werkwijze die (zeer) goed is gewaardeerd. Een aandachtspunt hierbij is dat nog niet op alle scholen die (zeer) positief zijn over de verbetertrajecten, de Cito Eindtoetsscore ook al daadwerkelijk is verbeterd. Monitoren op basis van concrete toetsgegevens blijft dus belangrijk. Pagina 8 van 113

9 1 Inleiding 1.1 Achtergrond van het onderzoek Om de kwaliteit van het primair onderwijs te verhogen heeft het ministerie van Onderwijs, Cultuur en Wetenschap (OCW) de kwaliteitsagenda Scholen voor morgen opgezet. Deze kwaliteitsagenda richt zich op verhoging van het taal-/lees- en rekenniveau in het primair onderwijs. Het Projectbureau Kwaliteit (PK) voert onder de verantwoordelijkheid van de PO-Raad het Activiteitenplan Scholen voor Morgen 2008, spoor 3 uit. Dit plan heeft als belangrijk doel het meetbaar verbeteren van het taal-/lees- en rekenonderwijs op scholen. In dit kader zijn de scholen in het primair onderwijs uitgenodigd om deel te nemen aan een taalverbetertraject en/of een rekenverbetertraject. Deze verbetertrajecten hebben een looptijd van drie jaar. Het Projectbureau Kwaliteit stelt per jaar een bedrag van per school beschikbaar. De schoolbesturen investeren per school eenzelfde bedrag. De deelnemende scholen hebben een evaluatieverplichting. Conform het activiteitenplan voert de Inspectie van het Onderwijs een evaluatie uit. Bij de evaluatie staat de vraag centraal of en in welke mate de resultaten op het gebied van lezen, begrijpend lezen en rekenen verbeteren. Voor alle besturen en scholen vindt een terugkoppeling plaats van de aangeleverde gegevens. In eerste instantie gebeurde dit door middel van een terugkoppelingsformulier. Sinds april 2011 krijgen de scholen de leerresultaten en de aanvullende vragen op een digitale wijze teruggekoppeld in het Internet Schooldossier van de Inspectie van het Onderwijs. Deze rapportage, opgesteld door de inspectie, bevat informatie over de eerste meting in schooljaar 2008/2009, de tweede meting in schooljaar 2009/2010 en de derde meting in schooljaar 2010/2011. Naast de leerprestaties en de verbeteringen hiervan ten opzichte van eerdere jaren, worden de achtergrondkenmerken beschreven van de scholen die in schooljaar 2010/2011 deelnemen aan de verbetertrajecten. Ook wordt uiteengezet welk beleid de scholen op het gebied van rekenen en/of taal het laatste jaar hebben gevoerd. Voor een nadere uitwerking van de eerdere metingen, de nulmeting in schooljaar 2008/2009 en de meting in schooljaar 2009/2010, wordt verwezen naar de rapportages Monitor verbetertrajecten taal/rekenen 2009 (Inspectie van het Onderwijs, 2010) en Monitor verbetertrajecten taal en rekenen 2008/2009 en 2009/2010 (Inspectie van het Onderwijs, 2011). De resultaten van de monitor voor scholen voor speciaal basisonderwijs staan beschreven in een afzonderlijke rapportage Monitor verbetertrajecten taal en rekenen 2009/2010 en 2010/2011. Speciale scholen voor basisonderwijs (Inspectie van het Onderwijs, 2012). 1.2 Onderzoeksvragen In deze rapportage worden de volgende vragen beantwoord: 1. Wat zijn de kenmerken van de scholen die deelnemen aan de verbetertrajecten? 2. Hoeveel van de deelnemende taalzwakke en rekenzwakke scholen verbeteren in schooljaar 2010/2011 ten opzichte van schooljaar 2008/2009 en zijn niet meer taalzwak of rekenzwak? Pagina 9 van 113

10 3. Hoe zien de tussentoetsresultaten van de scholen die deelnemen aan de verbetertrajecten eruit in schooljaar 2010/2011? Hoe ontwikkelen de tussentoetsresultaten zich in schooljaar 2010/2011 ten opzichte van de tussentoetsresultaten in de schooljaren 2008/2009 en 2009/2010? 4. Hoeveel scholen wisselen van toets? Zijn er verschillen tussen scholen die van toets wisselen en scholen die dezelfde toets hanteren in de ontwikkeling van de toetsresultaten? 5. Hoe zien de eindtoetsresultaten van de scholen eruit in schooljaar 2010/2011? Hoe ontwikkelen de eindtoetsresultaten van de scholen zich in schooljaar 2010/2011 ten opzichte van de eindtoetsresultaten in de schooljaren 2008/2009 en 2009/2010? Hoe ontwikkelen de eindtoetsresultaten van de scholen zich, vergeleken met de eindtoetsresultaten van de scholen die niet deelnemen aan de verbetertrajecten? 6. Zijn er verschillen tussen taal-/rekenzwakke en taal-/rekensterke scholen in de ontwikkeling van de toetsresultaten? 7. Waar richt het beleid van de scholen zich op? Op welke punten willen scholen zich verbeteren en hoe besteden ze de subsidie? 8. Hoe evalueren de scholen de verbetertrajecten? 1.3 Onderzoeksopzet Deze studie is een monitor. De monitor heeft uitsluitend als doel om de (ontwikkeling van) de leerresultaten te beschrijven van de scholen die deelnemen aan de verbetertrajecten. Omdat er geen controlegroep is, kan het effect van de verbetertrajecten op de tussentoetsresultaten van de deelnemende scholen niet worden gemeten. Wel is het mogelijk de eindtoetsresultaten van de deelnemende scholen te vergelijken met een controlegroep, omdat deze gegevens bekend zijn bij de inspectie. Ook bij deze analyse zijn eventuele verslechteringen of verbeteringen niet direct toe te schrijven aan de verbetertrajecten. Het kan bijvoorbeeld zijn dat slechte resultaten in leerjaar 5 in de bovenbouw moeilijk weg te werken zijn, waardoor effecten van de verbetertrajecten nog niet goed zichtbaar zijn in groep 8. In mei 2011 hebben basisscholen die deelnemen aan de verbetertrajecten, net als de afgelopen twee jaar, van de inspectie een vragenlijst gekregen. De BRIN-nummers van de scholen zijn door de PO-Raad aangeleverd. Voor het reguliere onderwijs zijn de tussentoetsresultaten verzameld door middel van de bestaande, aanvullende vragenlijst over de tussenresultaten. Met deze vragenlijst verzamelt de inspectie gegevens over de toetsresultaten tijdens de basisschoolperiode. Voor het verzamelen van de eindtoetsgegevens maakt de inspectie voor een groot deel van de scholen gebruik van een centraal door Cito aangeleverd bestand met de schoolscores op de Cito Eindtoets of op de Entreetoets. De besturen van de betreffende scholen hebben de inspectie toestemming gegeven voor de centrale levering. De overige scholen hebben een vragenlijst over de eindtoetsresultaten ingevuld. Daarnaast is met een extra vragenlijst het beleid en de invulling van de verbetertrajecten geëvalueerd. De vragenlijsten in de schooljaren 2009/2010 en 2010/2011 zijn uitgebreider dan die in schooljaar 2008/2009, waardoor niet alle vragen rond het beleid en de genomen maatregelen over de jaren heen vergelijkbaar zijn. De vragenlijsten in de schooljaren 2009/2010 en 2010/2011 gaan in op de methoden en programma s die scholen gebruiken voor het leerstofaanbod, de leertijd en de benutting van de toetsresultaten. Verder zijn enkele vragen opgenomen over het taal- en rekenbeleid van de scholen. Ook is gevraagd naar de wijze waarop de scholen de middelen besteden en de kwaliteitsonderdelen waarop ze een verbetering Pagina 10 van 113

11 nastreven. Het laatste jaar zijn ook enkele evaluatieve vragen gesteld over de ervaringen van de scholen met de verbetertrajecten. De dataverzameling heeft elektronisch, via internet, plaatsgevonden. Na een aantal weken is twee keer een herinnering verstuurd. Om te zien of scholen zich verbeteren, is een vergelijking gemaakt tussen de (toets)scores van de drie jaren. Alleen de scholen die in schooljaar 2010/2011 nog steeds in de monitor zaten, zijn in de vergelijking meegenomen. Voor de vergelijking is gebruikgemaakt van de minimumnorm van de inspectie3 en is gekeken of scholen in de drie metingen onder, op of boven de norm presteren en of ze in schooljaar 2010/2011 verbeteren (in plaats van onder de norm, op of boven de norm gaan presteren) ten opzichte van de schooljaren ervoor. Waar mogelijk is een vergelijking gemaakt tussen de gemiddelde toetsscores op de toetsen. Bij de eindtoetsen zijn de resultaten ook vergeleken met een controlegroep (zie paragraaf 1.6 voor een verantwoording van deze methode). 1.4 Respons Procedure bij deelname Besturen konden zich voor de verbetertrajecten aanmelden bij het Projectbureau Kwaliteit. Scholen konden alleen deelnemen aan een verbetertraject in een groep van ten minste tien scholen. Dat konden scholen zijn die volledig onder één bestuur vallen, maar het was ook mogelijk om met scholen van verschillende besturen deel te nemen, bijvoorbeeld scholen uit het samenwerkingsverband of scholen uit de gemeente. Zowel scholen die taalzwak of rekenzwak4 waren als scholen die het goed deden maar nog beter wilden worden, konden deelnemen aan een verbetertraject. In de groep scholen moesten echter wel twee of meer taalzwakke of rekenzwakke scholen participeren. Door middel van een aanmeldingsformulier konden scholen zich melden bij het Projectbureau Kwaliteit. In overleg met PK hebben alle scholen een plan van aanpak opgesteld. Dit plan van aanpak vormde de basis voor de subsidie. Op de website is de volledige procedure voor deelname te vinden. Het Projectbureau Kwaliteit heeft de aanvragen beoordeeld. De toekenning van de subsidie gebeurde op grond van de kwaliteit van het plan en op basis van de volgorde van binnenkomst. Na goedkeuring werd een contract opgesteld en na ondertekening hiervan is de subsidie verleend. Scholen hadden een evaluatieverplichting. Deelname en respons Aanmelding en afmelding voor de verbetertrajecten konden ten tijde van de dataverzameling nog plaatsvinden. Hierdoor heeft het deelnemersbestand in de verschillende schooljaren wijzigingen ondergaan. 3 De voor de laatste meting gebruikte bepaling van de inspectienorm is te lezen in Analyse en waarderingen van opbrengsten primair onderwijs, versie februari 2010, te vinden op 4 Taalzwakke scholen zijn scholen die ten minste twee van de drie opeenvolgende jaren onder de ondergrens presteren op de Eindtoets van het Cito op het onderdeel taal. Rekenzwakke scholen zijn scholen die twee van de drie jaren onder de ondergrens presteren op de Eindtoets van het Cito op het onderdeel rekenen. Zie ook noot 5 en 6. Pagina 11 van 113

12 Tabel 1.4a Respons op verplichte vragenlijst taal- en rekenverbetertrajecten Taalverbetertrajecten Rekenverbetertrajecten 2010/ 2009/ 2008/ 2010/ 2009/ 2008/ Respons N % Nonrespons Totaal N % N % Tabel 1.4a laat zien dat in schooljaar 2010/ scholen deelnemen aan de taalverbetertrajecten; dat is 18 procent van alle Nederlandse basisscholen. In datzelfde jaar nemen 549 scholen deel aan de rekenverbetertrajecten; dat is 8 procent van alle Nederlandse basisscholen. In schooljaar 2010/2011 is de respons op de vragenlijst bij de taalverbetertrajecten 93 procent en bij de rekenverbetertrajecten 90 procent. 1.5 Achtergrondkenmerken deelnemende scholen De verdeling over de achtergrondkenmerken provincie, stedelijkheid, denominatie en schoolgrootte is tussen de drie metingen (2010/2011, 2009/2010 en 2008/2009) vrijwel gelijk gebleven (zie bijlage I, tabel BI.1 tot en met BI.4). Achtergrondkenmerken Taalverbetertrajecten De meeste scholen die in schooljaar 2010/2011 deelnemen aan de taalverbetertrajecten komen uit Zuid-Holland (16 procent), Brabant (14 procent) en Gelderland (13 procent). De minste scholen komen uit Utrecht (4 procent) en Flevoland (3 procent). De verdeling over de provincies is representatief voor het landelijke beeld van alle basisscholen (zie bijlage I, tabel BI.1). 72 procent van de scholen ligt buiten de steden, 5 procent ligt in een van de vier grootste steden (Utrecht, Amsterdam, Rotterdam en Den Haag) en 23 procent ligt in een van de 32 andere grote steden. Dit is representatief voor het landelijke beeld van alle basisscholen (zie bijlage I, tabel BI.2). Gekeken naar de denominatie van de scholen die deelnemen aan de taalverbetertrajecten is 36 procent openbaar, 28 procent rooms-katholiek, 31 procent protestants-christelijk en 4 procent heeft een overige of bijzondere denominatie. Vergeleken met de landelijke verdeling van alle basisscholen is er weinig verschil (zie bijlage I, tabel BI.3). Ten slotte is gekeken naar de schoolgrootte. Van de scholen is 23 procent een kleine school (één tot honderd leerlingen). Scholen met 101 tot tweehonderd leerlingen vormen de grootste groep met 39 procent. 22 procent van de scholen heeft 201 tot driehonderd leerlingen, 10 procent tussen 301 en vierhonderd leerlingen en 6 procent van de scholen heeft 401 of meer leerlingen. Vergeleken met het landelijke beeld nemen relatief wat meer scholen met 101 tot tweehonderd leerlingen deel aan Pagina 12 van 113

13 de taalverbetertrajecten (39 procent, tegenover 34 procent landelijk) (zie bijlage I, tabel BI.4). Rekenverbetertrajecten De meeste scholen die in schooljaar 2010/2011 deelnemen aan de rekenverbetertrajecten komen uit Zuid-Holland (23 procent), Noord-Holland (16 procent) en Gelderland (13 procent). De minste scholen die aan deze trajecten deelnemen komen uit Limburg (0 procent) en Flevoland (3 procent). Vergeleken met de landelijke verdeling zijn er relatief iets meer scholen uit Zuid-Holland die deelnemen (23 procent, tegenover 18 procent landelijk) en minder scholen uit Limburg (0 procent, tegenover 6 procent landelijk) en Brabant (8 procent, tegenover 13 procent landelijk) (zie bijlage I, tabel BI.1). 69 procent van de scholen die deelnemen aan de rekenverbetertrajecten ligt buiten de steden, 12 procent in een van de vier grote steden en 19 procent in een van de 32 andere grote steden. Vergeleken met het landelijke beeld is er weinig verschil (zie bijlage I, tabel BI.2). Gekeken naar de denominatie van de scholen is 35 procent openbaar, 19 procent rooms-katholiek, 39 procent protestants-christelijk en 7 procent heeft een overige of bijzondere denominatie. Vergeleken met het landelijke beeld nemen relatief wat meer protestants-christelijke scholen deel (39 procent, tegenover 30 procent landelijk) en wat minder rooms-katholieke scholen (19 procent, tegenover 29 procent landelijk) (zie bijlage I, tabel BI.3). Ten slotte is gekeken naar de schoolgrootte van de scholen die deelnemen aan de rekenverbetertrajecten. 21 procent is een kleine school (één tot honderd leerlingen), 36 procent heeft 101 tot tweehonderd leerlingen, 26 procent heeft 201 tot driehonderd leerlingen, 11 procent tussen de 301 en vierhonderd leerlingen en 6 procent heeft meer dan 401 leerlingen. Dit is representatief voor het landelijke beeld (zie bijlage I, tabel BI.4). Taalzwak/-sterk en rekenzwak/-sterk De inspectie onderscheidt taalzwakke, gemiddelde en taalsterke scholen5 en rekenzwakke, gemiddelde en rekensterke scholen6. In de schooljaren 2008/2009, 2009/2010 en 2010/2011 is berekend of de scholen die deelnemen aan de verbetertrajecten taalzwak, gemiddeld of taalsterk (taalverbetertrajecten) zijn of rekenzwak, gemiddeld of rekensterk (rekenverbetertrajecten) zijn. Dit kan alleen worden berekend voor scholen die drie jaar achtereen de Cito Eindtoets (of Entreetoets) afnemen. Taalverbetertrajecten In schooljaar 2010/2011 is 32 procent van de scholen die deelnemen aan de taalverbetertrajecten taalzwak, 56 procent is gemiddeld en 12 procent is taalsterk. Vergeleken met het landelijke beeld in schooljaar 2010/2011 nemen er relatief meer taalzwakke scholen deel aan de trajecten (32 procent, tegenover 26 procent landelijk). Ook in de eerdere schooljaren 2008/2009 en 2009/2010 namen er 5 Taalzwakke scholen zijn scholen die twee van de laatste drie opeenvolgende schooljaren onder de ondergrens presteren op de Eindtoets Basisonderwijs van het Cito op het onderdeel taal. Taalsterke scholen zijn scholen die ten minste twee van de drie jaren boven de bovengrens presteren. Gemiddelde scholen zijn scholen die niet onder, maar ook niet boven de grenzen presteren in twee van de drie jaren. 6 Rekenzwakke scholen zijn scholen die twee van de laatste drie opeenvolgende schooljaren onder de ondergrens presteren op de Eindtoets Basisonderwijs van het Cito op het onderdeel rekenen. Rekensterke scholen zijn scholen die ten minste twee van de drie jaren boven de bovengrens presteren. Gemiddelde scholen zijn scholen die niet onder, maar ook niet boven de grenzen presteren in twee van de drie jaren. Pagina 13 van 113

14 vergeleken met het landelijke beeld relatief veel taalzwakke scholen en relatief weinig taalsterke scholen deel (zie bijlage I, tabel BI.5). Over de drie schooljaren heen is een verschuiving te zien in het percentage deelnemende taalzwakke, gemiddelde en taalsterke scholen. In hoofdstuk 2 wordt antwoord gegeven op de vraag hoeveel procent van de scholen die in schooljaar 2008/2009 taalzwak waren, in schooljaar 2010/2011 niet meer taalzwak is en hoe dit zich verhoudt tot de verschuiving in het landelijke beeld. Rekenverbetertrajecten In schooljaar 2010/2011 is 33 procent van de scholen die deelnemen aan de rekenverbetertrajecten rekenzwak, 51 procent is gemiddeld en 16 procent is rekensterk. Vergeleken met het landelijke beeld in schooljaar 2010/2011 is te zien dat er relatief veel rekenzwakke scholen deelnemen aan de trajecten (33 procent, tegenover 20 procent landelijk) en relatief minder rekensterke scholen (16 procent, tegenover 25 procent landelijk). Ook in eerdere schooljaren 2008/2009 en 2009/2010 namen er vergeleken met het landelijke beeld relatief veel rekenzwakke scholen en relatief weinig gemiddelde en rekensterke scholen deel (zie bijlage I, tabel BI.6). Over de drie schooljaren heen is een verschuiving te zien in het percentage deelnemende rekenzwakke, gemiddelde en rekensterke scholen. In hoofdstuk 3 wordt antwoord gegeven op de vraag hoeveel procent van de scholen die in schooljaar 2008/2009 rekenzwak waren, in schooljaar 2010/2011 niet meer rekenzwak is en hoe dit zich verhoudt tot de verschuiving in het landelijke beeld. Wanneer in het vervolg van dit verslag wordt gesproken over taalzwak, gemiddeld en taalsterk, en rekenzwak, gemiddeld en rekensterk, gaat het om de uitgangspositie in het jaar van de nulmeting (2008/2009). 1.6 Meten van de ontwikkeling van de leerprestaties Een belangrijke vraag in deze monitor is of de leerprestaties van de deelnemende scholen verbeteren. Het beantwoorden van deze vraag is echter niet eenvoudig. Deze paragraaf geeft inzicht in de wijze waarop de ontwikkeling van de prestaties is gemeten en beschrijft enkele voordelen en nadelen van de analyses. Algemene kanttekeningen bij een vergelijking Er zijn enkele algemene kanttekeningen bij dit onderzoek. De scholen zijn ongeveer drie jaar bezig met de verbetertrajecten. De tijd tussen de nulmeting en deze laatste meting is twee jaar. Het kan zijn dat nog niet alle veranderingen tot uiting zijn gekomen in een verbetering van de leerprestaties. Daarnaast is een nadeel dat de groep leerlingen die vergeleken wordt, bij de onderstaande analyses steeds anders is, waardoor de verbetering niet altijd een verbetering van de specifieke groep is. Ten slotte is het lastig om een gemeten verbetering toe te schrijven aan de deelname aan de verbetertrajecten, omdat het mogelijk is dat scholen die niet deelnemen aan een traject zich ook verbeteren. De inspectie beschikt niet over de tussentijdse resultaten van een controlegroep (een groep vergelijkbare scholen die niet heeft meegedaan aan de trajecten). Om toch inzicht te geven in de ontwikkeling van de leerprestaties, zijn onderstaande methoden toegepast. Pagina 14 van 113

15 Analyseopzet voor het meten van verbeteringen De analyse is uitgesplitst in de volgende vragen: 1. Hoeveel van de deelnemende taalzwakke en rekenzwakke scholen verbeteren in schooljaar 2010/2011 ten opzichte van schooljaar 2008/2009 en zijn niet meer taalzwak of rekenzwak? 2. Hoeveel procent van de scholen presteert in schooljaar 2010/2011 onder dan wel boven de inspectienorm en hoe is de ontwikkeling ten opzichte van de schooljaren 2008/2009 en 2009/2010? 3. Hoeveel scholen wisselen van toets? Zijn er verschillen tussen de tussentoetsresultaten van scholen die van toets wisselen en de tussentoetsresultaten van scholen die dezelfde toets hanteren? 4. In hoeverre verbeteren de leerjaren in schooljaar 2010/2011 ten opzichte van de schooljaren 2008/2009 en 2009/2010: hoeveel stijgt de gemiddelde toetsscore7? 5. In hoeverre verbetert de Cito Eindtoetsscore leerjaar 8 in schooljaar 2010/2011 ten opzichte van de schooljaren 2008/2009 en 2009/2010? Hoeveel stijgt de gemiddelde Cito Eindtoetsscore van scholen die deelnemen aan de verbetertrajecten vergeleken met de Cito Eindtoetsscore van scholen die niet deelnemen? 6. Zijn er verschillen tussen taal-/rekenzwakke en taal-/rekensterke scholen in de ontwikkeling van de toetsresultaten? Analyse 1 Analysevraag: Hoeveel van de deelnemende taalzwakke en rekenzwakke scholen verbeteren in schooljaar 2010/2011 ten opzichte van schooljaar 2008/2009 en zijn niet meer taalzwak of rekenzwak? De inspectie onderscheidt taalzwakke, gemiddelde en taalsterke scholen en rekenzwakke, gemiddelde en rekensterke scholen (zie paragraaf 1.5). Een school die in schooljaar 2008/2009 taalzwak of rekenzwak was, hoeft dit in andere schooljaren niet meer te zijn. Geanalyseerd wordt hoeveel procent van de scholen die in schooljaar 2010/2011 deelnemen aan de taal- en rekenverbetertrajecten, in schooljaar 2008/2009 taalzwak of rekenzwak was en dit inmiddels niet meer is. Van een aantal scholen kan op basis van de taal- of rekenresultaten niet beoordeeld worden of ze taalzwak/rekenzwak, gemiddeld, dan wel taalsterk/rekensterk zijn. Dit komt bijvoorbeeld doordat deze scholen in een of meer schooljaren geen of andere eindtoetsen dan de Cito Eindtoets of Entreetoets afnemen. Dit is opgelost door de analysegroep te beperken tot de groep scholen waarvan voor de schooljaren 2008/2009, 2009/2010 en 2010/2011 wel bepaald kan worden of ze taalzwak/rekenzwak, gemiddeld, dan wel taalsterk/rekensterk zijn. Analyse 2 Analysevraag: Hoeveel procent van de scholen presteert in schooljaar 2010/2011 onder dan wel boven de inspectienorm en hoe is de ontwikkeling ten opzichte van de schooljaren 2008/2009 en 2009/2010? Voor het volgen van de vorderingen van de leerlingen bestaan verschillende landelijk genormeerde toetsen. Zo gebruiken de scholen voor technisch lezen in leerjaar 3 in totaal acht verschillende toetsen en voor rekenen in leerjaar 6 in totaal zes verschillende toetsen. Dit heeft tot gevolg dat niet alle toetsscores onderling 7 Berekend over alle scholen die drie jaar deelnemen aan de taal-of rekenverbetertrajecten en drie jaar dezelfde toets(versie) afnemen. Pagina 15 van 113

16 vergelijkbaar zijn. Door de toetsscores af te zetten tegen de inspectienorm is het mogelijk te kijken of scholen vaker boven de norm gaan presteren. De toetsresultaten van scholen in de schooljaren 2008/2009, 2009/2010 en 2010/2011 worden beoordeeld aan de hand van de ondergrenzen die de inspectie hanteert. Daar waar in het rapport sprake is van de inspectienorm, gaat het dus om een minimumnorm (zie paragraaf 1.3). Voor meer informatie over de normering wordt verwezen naar de notitie Analyse en waarderingen van opbrengsten primair onderwijs, versie februari 2010 ( Bij sommige vakken zijn de prestaties afhankelijk van de leerlingenpopulatie. In dat geval wordt de toetsscore van de school vergeleken met scholen met een vergelijkbare leerlingenpopulatie (er vindt een correctie plaats). Dit wordt bijvoorbeeld gedaan bij begrijpend lezen en rekenen. Voor technisch lezen zijn er geen aanwijzingen dat prestaties afhankelijk zijn van het type leerling (zie Inspectie van het Onderwijs, 2006). Daarom zijn er bij technisch lezen geen aparte normen voor verschillende leerlingenpopulaties. Er zijn verschillende uitkomsten mogelijk. In tabel 1.6a zijn deze weergegeven voor scholen die zowel in de schooljaren 2010/2011 als in de schooljaren 2008/2009 en 2009/2010 deelnemen aan de verbetertrajecten. Tabel 1.6a Mogelijke uitkomsten toetsscores, afgezet tegen de minimumnorm van de inspectie Onder de norm (2010/2011) - Boven de norm (2010/2011) + Onder de norm (2008/2009) - Onder de norm (2009/2010) (groep 1) --+ (groep 2) Onder de norm (2008/2009) - Boven de norm (2009/2010) + Boven de norm (2008/2009) + Onder de norm (2009/2010) - Boven de norm (2008/2009) + Boven de norm (2009/2010) (groep 3) -++ (groep 4) +-- (groep 5) +-+ (groep 6) ++- (groep 7) +++ (groep 8) Van deze acht groepen is een andere onderverdeling in vijf categorieën gemaakt: I De school scoort in alle drie de jaren onder de norm (groep 1). II De school scoort in alle drie de metingen boven de norm (groep 8). III De school verslechtert: a. De school scoort in meting 2008/2009 boven de norm en scoort in meting 2009/2010 en meting 2010/2011 onder de norm (groep 5). b. De school scoort in meting 2008/2009 en meting 2009/2010 boven de norm en scoort in meting 2010/2011 onder de norm (groep 7). IV De school verbetert: a. De school scoort in meting 2008/2009 en meting 2009/2010 onder de norm en scoort in meting 2010/2011 boven de norm (groep 2). b. De school scoort in meting 2008/2009 onder de norm en scoort in meting 2009/2010 en meting 2010/2011 boven de norm (groep 4). V Een wisselend beeld: Pagina 16 van 113

17 a. De school scoort in meting 2008/2009 onder de norm, in meting 2009/2010 boven de norm en in meting 2010/2011 weer onder de norm (groep 3). b. De school scoort in meting 2008/2009 boven de norm, in meting 2009/2010 onder de norm en in meting 2010/2011 weer boven de norm (groep 6). Voordeel van deze analyse is dat alle scholen waarvan in alle drie de schooljaren de leerprestaties bekend zijn kunnen worden meegenomen in de analyse, ook de scholen die van toets(versie) zijn veranderd. Een nadeel van deze analyse is dat de aanname moet worden gedaan dat de verschillende toetsen dezelfde vaardigheid meten en dat de normering voor alle toetsen precies hetzelfde is. Dit is niet altijd het geval. Een ander nadeel is dat er geen vooruitgang of achteruitgang te zien is binnen de groepen. De scholen uit groep 1 (school scoort drie jaren onder de norm) kunnen wel verbeteren (tot uiting komend in een hogere toetsscore), maar nog steeds onder de norm scoren. Hetzelfde geldt voor de scholen uit groep 8 (school scoort drie jaren boven de norm): als de toetsscore in het derde jaar lager dan eerdere jaren is, maar nog steeds boven de norm, dan is hier geen verslechtering te zien. Een punt dat hiermee samenhangt, is het feit dat in sommige leerjaren weinig scholen in schooljaar 2008/2009 onder de norm presteren. Hierdoor is de kans op verbetering kleiner dan bij een leerjaar waar veel scholen in schooljaar 2008/2009 onder de norm presteren. Bij analyse 4 worden deze nadelen ondervangen. Analyse 3 Analysevraag: Hoeveel scholen wisselen van toets? Zijn er verschillen tussen de tussentoetsresultaten van scholen die van toets wisselen en de tussentoetsresultaten van scholen die dezelfde toets hanteren? Niet alle scholen nemen tijdens de drie metingen dezelfde toets(versie) af. In bijlage I, tabel BI.7 is te zien hoeveel procent van de scholen drie jaar een toets afneemt. Ook is weergegeven hoeveel van deze scholen een valide waarde invullen die kan worden vergeleken met een norm8. Verder is te zien hoeveel van deze scholen drie schooljaren dezelfde toets(versie) afnemen, waarvan de ingevulde waarde kan worden vergeleken met een norm. Bij technisch lezen (taalverbetertrajecten) is het aantal scholen dat alle drie de schooljaren dezelfde toets(versie) afneemt en waarvan de toetsscore kan worden vergeleken met een norm, laag. In leerjaar 3 nemen 806 scholen drie jaar een toets(versie) af waarvan de waarde kan worden vergeleken met een norm. Van deze scholen nemen slechts 77 scholen (10 procent) drie jaar dezelfde toets(versie) af. In leerjaar 5 nemen negentig scholen drie jaar een toets(versie) af, waarbij de ingevulde waarde kan worden vergeleken met een norm. Slechts 43 scholen (48 procent) nemen drie jaar dezelfde toets(versie) af (zie bijlage I, tabel BI.7). Voor begrijpend lezen (taalverbetertrajecten) worden in de lagere leerjaren vaker dezelfde toetsen afgenomen, waarbij de ingevulde waarde valide is en kan worden vergeleken met een norm. In de hogere leerjaren nemen de aantallen af. In leerjaar 5 nemen 845 scholen drie jaar een toets(versie) af waarvan de waarde kan worden vergeleken met een norm. Van deze scholen nemen 529 scholen drie jaar dezelfde toets(versie) af (63 procent). In leerjaar 7 nemen 685 scholen drie jaar een 8 Voor de meeste toetsversies is een inspectienorm beschikbaar. Hierop zijn enkele uitzonderingen. Pagina 17 van 113

18 toets(versie) af waarvan de waarde kan worden vergeleken met een norm. Slechts 142 scholen (21 procent) nemen drie jaar dezelfde toets(versie) af. Van de scholen die deelnemen aan de rekenverbetertrajecten nemen in leerjaar scholen drie jaar een rekentoets(versie) af en kan de ingevulde toetsscore worden vergeleken met een norm. 105 van deze scholen (44 procent) nemen drie jaar dezelfde toets(versie) af. In leerjaar 7 nemen 170 scholen drie jaar een rekentoets(versie) af en kan de ingevulde waarde op deze toets worden vergeleken met een norm. 37 van deze scholen (22 procent) nemen drie jaar dezelfde toets(versie) af (zie bijlage I, tabel BI.7). De conclusie luidt dat veel scholen in de loop van het traject van toets wisselen. Geanalyseerd wordt of deze wisseling in toetsen een negatieve of positieve invloed heeft op de resultaten, vergeleken met scholen die niet van toets wisselen. Daarvoor zijn de resultaten van analysemethode 2 (boven/onder de norm) van scholen die wisselen van toets vergeleken met de resultaten van scholen die dezelfde toets gebruiken. Analyse 4 Analysevraag: In hoeverre verbeteren de leerjaren in schooljaar 2010/2011 ten opzichte van de schooljaren 2008/2009 en 2009/2010: hoeveel stijgt de gemiddelde toetsscore9? Binnen een leerjaar wordt gekeken of de gemiddelde toetsscore in schooljaar 2010/2011 stijgt ten opzichte van de gemiddelde toetsscore in de schooljaren 2008/2009 en 2009/2010. In deze analyse worden alleen de scholen meegenomen die in de schooljaren 2008/2009, 2009/2010 en 2010/2011 dezelfde toets(versie) afnemen, omdat de toetsscores anders niet vergelijkbaar zijn. Zo wordt duidelijk of de gemiddelde toetsscore technisch lezen, begrijpend lezen of rekenen verbetert. Voordeel van deze analyse is dat de werkelijke vooruitgang te zien is, ook voor die scholen die alle jaren boven dan wel onder de norm scoren. Een belangrijk nadeel is dat deze analyse alleen mogelijk is bij scholen die alle drie de schooljaren gebruikmaken van dezelfde toets(versie), waarvan de toetsscore ook wordt uitgedrukt in een vaardigheidsscore. De groep waarover de analyse mogelijk is, wordt daarmee verkleind. De waarde van de resultaten moet worden beperkt tot de groep scholen waar het in de analyse over gaat. Een hiermee samenhangend probleem is dat voor sommige toetsen het aantal scholen zo klein is dat de ontwikkeling beïnvloed kan worden door een extreme waarde. Hierdoor is het alleen mogelijk de scores te vergelijken van de veelgebruikte toetsen (n 25). In bijlage I, tabel BI.8 is te zien hoeveel procent van de scholen drie jaar dezelfde toets(versie) afneemt, waarbij de toetsscore wordt uitgedrukt in een vaardigheidsscore. De hieronder genoemde aantallen wijken dus enigszins af van de bij analysevraag 3 genoemde aantallen. In analysevraag 3 gaat het om het aantal scholen dat drie jaar dezelfde toets afneemt, waarbij de ingevulde toetsscores kunnen worden vergeleken met een norm. Van de scholen die deelnemen aan de taalverbetertrajecten is met name bij technisch lezen het aantal scholen dat alle drie de leerjaren dezelfde toets(versie) afneemt, laag (respectievelijk 72 scholen in leerjaar 3 (8 procent), 52 scholen in 9 Berekend over alle scholen die drie jaar deelnemen aan de taal- of rekenverbetertrajecten en drie jaar dezelfde toets(versie) afnemen. Pagina 18 van 113

19 leerjaar 4 (6 procent) en zeventig scholen in leerjaar 5 (9 procent) (zie bijlage I, tabel BI.8). Voor begrijpend lezen worden in de lagere leerjaren vaker dezelfde toetsen afgenomen; in de hogere leerjaren nemen de aantallen af. 552 scholen nemen in leerjaar 5 alle drie de schooljaren dezelfde toets(versie) af (62 procent) en 344 scholen in leerjaar 6 (41 procent). Slechts 146 scholen nemen in leerjaar 7 dezelfde toets(versie) voor begrijpend lezen af (17 procent) (zie bijlage I, tabel BI.8). Van de scholen die deelnemen aan de rekenverbetertrajecten nemen in leerjaar scholen dezelfde rekentoets(versie) af (44 procent); in leerjaar 5 zijn dit 103 scholen (37 procent). Dit aantal neemt af tot veertig scholen die in leerjaar 7 dezelfde toets(versie) afnemen (15 procent) (zie bijlage I, tabel BI.8). De conclusie luidt dat een groot aantal scholen de afgelopen drie jaar van toets is veranderd of niet alle drie de jaren dezelfde toets(versie) heeft afgenomen. Met name bij technisch lezen is dit het geval. Dit maakt het lastig om de toetsscores per school te vergelijken. Het aantal scholen dat onderzocht kan worden daalt en in sommige leerjaren is de groep scholen te klein om er uitspraken over te doen. Vanwege het lage aantal scholen bij sommige vakgebieden/leerjaren dat alle drie de schooljaren een vergelijkbare toets(versie) heeft afgenomen, is ervoor gekozen om in eerste instantie uit te gaan van analysevraag 2. Aanvullend is gekeken of de analyse van de toetsscores (analysevraag 4) tot een bevestiging dan wel nuancering van de analyse kan leiden. Indien er bij een analyse te weinig individuele toetsresultaten zijn (n<25), is de gemiddelde toetsscore weggelaten. Analyse 5 Analysevraag: In hoeverre verbetert de Cito Eindtoetsscore leerjaar 8 in schooljaar 2010/2011 ten opzichte van de schooljaren 2008/2009 en 2009/2010? Hoeveel stijgt de gemiddelde Cito Eindtoetsscore van scholen die deelnemen aan de verbetertrajecten vergeleken met de Cito Eindtoetsscore van scholen die niet deelnemen? In de analyse worden alleen scholen meegenomen die drie jaar achter elkaar de Cito Eindtoets afnemen. Gekozen is voor de Cito Eindtoets, omdat de meeste scholen deze toets afnemen. Binnen leerjaar 8 wordt gekeken of de gemiddelde Cito Eindtoetsscore in schooljaar 2010/2011 stijgt ten opzichte van de gemiddelde Cito Eindtoetsscore in schooljaar 2008/2009. De totale eindtoetsscores worden vergeleken, omdat de aparte taal- en rekenscores niet op deze wijze vergeleken kunnen worden. Een reden hiervoor is dat de moeilijkheidsgraad van deze aparte onderdelen niet elk jaar precies dezelfde is (omdat de Cito Eindtoets op onderdeelniveau standaard niet wordt geëquivaleerd). Daardoor kan 75 procent goed in jaar x niet zomaar vergeleken worden met 78 procent goed in jaar y. De conclusie dat het gemiddelde in jaar y is gestegen, zou niet juist zijn omdat het onderdeel in jaar y ook iets gemakkelijker zou kunnen zijn geweest. De stijging van de gemiddelde eindtoetsscore van de scholen die deelnemen aan de verbetertrajecten, wordt vergeleken met de stijging van de toetsscore van een controlegroep scholen die niet deelneemt aan de verbetertrajecten. Pagina 19 van 113