CIP-GEGEVENS KONINKLIJKE BIBLIOTHEEK, DEN HAAG

Transcriptie

1

2 CIP-GEGEVENS KONINKLIJKE BIBLIOTHEEK, DEN HAAG Veen, A., Derriks, M., Roeleveld, J. Een jaar later.vervolgonderzoek evaluatie van Kaleidoscoop en Piramide. Veen, A., Derriks, M., Roeleveld, J. Amsterdam: SCO- Kohnstamm Instituut van de Faculteit der Maatschappij- en Gedragswetenschappen, Universiteit van Amsterdam (SCO-rapport 652). ISBN X Alle rechten voorbehouden. Niets uit deze uitgaven mag verveelvoudigd en of openbaar gemaakt worden door middel van druk, fotokopie, microfilm of op welke wijze dan ook, zonder voorafgaande schriftelijke toestemming van de uitgever. All rights reserved. No part of this publication may be reproduced, stored in a retrieval system, or transmitted, in any form or by any means, electronic, mechanical, photocpying, or otherwise, without the prior written permission of the publisher. Uitgave en verspreiding: SCO-Kohnstamm Instituut Wibautstraat 4, Postbus 94208, 1090 GE Amsterdam Tel.: Copyright SCO-Kohnstamm Instituut, 2002

3 Een jaar later Vervolgonderzoek evaluatie van Kaleidoscoop en Piramide A. Veen M Derriks Roeleveld

4

5 Inhoudsopgave

6 1 Opzet en uitvoering In opdracht van het Ministerie van Onderwijs, Cultuur en Wetenschappen heeft het SCO-Kohnstamm Instituut in het schooljaar een vervolgonderzoek verricht naar de effecten van de programma's Kaleidoscoop en Piramide. Deze follow-upstudie is een vervolg op het in 2000 gepubliceerde evaluatieonderzoek naar de effecten van beide programma's (Veen, Roeleveld en Leseman, 2000). Kaleidoscoop en Piramide zijn driejarige educatieve programma's die worden uitgevoerd in samenwerkingsverbanden van peuterspeelzalen en kleutergroepen van basisscholen. Doel van het evaluatieonderzoek is om vast te stellen of beide programma's een meerwaarde hebben ten opzichte van het reguliere peuterwerk en kleuteronderwijs. Daartoe zijn in eerste instantie drie achtereenvolgende jaren (in het voorjaar van 1997, 1998 en 1999) bij peuters en kleuters toetsen afgenomen en observatielijsten ingevuld (ibid.). In de follow-upstudie is dit in het voorjaar van 2000 herhaald. Net als in het evaluatieonderzoek gaat het in het vervolgonderzoek om de vraag naar de effecten van Kaleidoscoop en Piramide op de prestaties van kinderen op het gebied van rekenen en taal en hun sociaalemotioneel functioneren in de klas. In de volgende paragrafen wordt de opzet en uitvoering van het vervolgonderzoek beschreven. 101 Onderzoeksopzet Het vervolgonderzoek is uitgevoerd op de scholen die al eerder deelnamen aan het evaluatieonderzoek. Het gaat om twee groepen scholen: programmascholen (scholen waar Piramide of Kaleidoscoop wordt uitgevoerd) en controlescholen (scholen met een regulier onderwijsprogramma). Het grootste deel van de kinderen die in de periode 1997 t/m 1999 deelnamen aan het evaluatieonderzoek zit in schooljaar in groep 2, een klein deel in groep 3. Naast de controlegroep bestaande uit kinderen van de controlescholen voorziet het onderzoeksontwerp in een tweede controlegroep. Deze laatste controlegroep 1

7 Een jaar later. Vervolgonderzoek evaluatie van kaleidoscoop en piramide wordt achteraf gevormd uit het databestand van het Primacohort-onderzoek t. Uit het Primacohort wordt een naar achtergrondkenmerken (leeftijd, sekse, etniciteit) vergelijkbare groep kinderen geselecteerd. Omdat de metingen in het Primacohort onderzoek in de even groepen plaats vinden, bestaat de tweede controlegroep alleen uit kinderen uit groep 2; voor de kinderen uit groep 3 is er geen tweede controlegroep. Op grond van de resultaten van het vervolgonderzoek kunnen er dus vergelijkingen worden gemaakt tussen: e de resultaten van de programma- en de controlekinderen, alsmede de resultaten van de programmakinderen in groep 2 en de Primacohortkinderen in groep 2. Hoewel de opzet van het vervolgonderzoek niet wezenlijk anders is dan die van het evaluatieonderzoek, zijn er enkele kleine afwijkingen. In de vervolgstudie zijn alle kinderen uit de groepen 2 en 3 op de programmascholen en de controlescholen betrokken, en niet alleen de kinderen die in de periode aan het evaluatieonderzoek hebben deelgenomen. In het vervolgonderzoek is er dus sprake van een grote groep voor het onderzoek 'nieuwe' kinderen. Voor zover het de programma's betreft gaat het om kinderen die vanaf het begin deelnamen, maar ook om kinderen die tussentijds (in groep 1 of 2) instroomden en daardoor de programma's slechts gedeeltelijk hebben gevolgd. Ook de wijze waarop de kinderen getoetst worden, wijkt in het vervolgonderzoek enigszins af. In tegenstelling tot het afgesloten evaluatieonderzoek zijn de kinderen niet individueel en (voor een deel) in de eigen taal getoetst, maar heeft de toetsafname groepsgewijs plaats gevonden en zijn de toetsen in de Nederlandse taal door Nederlandstalige toetsleiders afgenomen. Een laatste verandering in het vervolgonderzoek betreft de uitbreiding van de te verzamelen gegevens naar klas- en schoolkenmerken. In het evaluatieonderzoek 1 Het Primacohort-onderzoek is een landelijk onderzoek, waarbij op een groot aantal Nederlandse basisscholen tweejaarlijks in de groepen 2,4,6 en 8 toetsen worden afgenomen. Een belangrijk onderdeel van het onderzoek zijn de taal- en rekentoetsen. De resultaten van de kinderen worden verwerkt tot PRIMA-taalvaardigheids- resp. rekenvaardigheidsscores (Jungbluth, Van Langen, Peetsma, Vierke, 1996; Driessen, Van Langen, Portengen, Vierke, 1998). De totale PRIMA-steekproef bevat honderden basisscholen; ongeveer 450 scholen vormen samen de referentiesteekproef: deze groep scholen is zo samengesteld dat ze representatief is voor alle Nederlandse basisscholen. 2

8 Opzet en uitvoering was al naar voren gekomen dat de controlegroep niet in alle opzichten vergelijkbaar is met de beide experimentele groepen. Als we kijken naar (achtergrond)kenmerken van de individuele leerlingen komen de controlegroep en de experimentele groepen weliswaar goed overeen, maar dit is minder het geval als we naar de leerlingpopulatie van de scholen in zijn geheel kijken. De sociaal economische status van de school en de etnische achtergrond van de school worden uitgedrukt in een SE-score van de school. Naarmate de school meer allochtone leerlingen heeft en het opleidingsniveau van de ouders lager is, is de SE score van de school hoger. In het evaluatieonderzoek bleek dat de SE-score van de Kaleidoscoop- en Piramidescholen aanzienlijk hoger is dan de SE-score van de controlescholen. Dit betekent dat de kinderen in de controlegroep mogelijkerwijs in een gunstiger leeromgeving vertoeven dan de kinderen uit de programmascholen. Om hier iets meer over te kunnen zeggen is in het vervolgonderzoek daarom geprobeerd aanvullende informatie te verkrijgen over enkele school- en klaskenmerken van zowel de controle- als de experimentele scholen. Daartoe is bij de leerkrachten van de aan het onderzoek deelnemende groepen en de directeuren van de scholen een vragenlijst afgenomen waarbij gebruik is gemaakt van onderdelen van instrumenten uit het Primacohort-onderzoek. 1.2 Onderzoeksuitvoering Evenals in voorgaande jaren vond de toetsafname bij de kinderen plaats vlak voor de zomervakantie, in de maanden april tot en met juli De dataverzameling bij docenten en directie gebeurde in dezelfde periode. In december 1999 zijn de scholen (Piramide, Kaleidoscoop en controle) door middel van een brief op de hoogte gesteld van het vervolgonderzoek en begin 2000 telefonisch benaderd voor hun medewerking. De bereidheid tot deelname was groot: alle scholen zegden hun medewerking toe, zij het niet voor alle onderdelen van de dataverzameling. Enkele scholen waren bereid tijd uit te trekken voor het toetsen van de kinderen, maar niet voor het invullen van de vragenlijsten door docenten en directie. Op een aantal scholen (4) konden alleen de onderzoekskinderen worden getoetst. In tegenstelling tot de eerdere metingen werden dit keer zoals gezegd, toetsen bij alle kinderen uit de groepen 2 en 3 afgenomen. In de voorbereidingsfase is met het oog op de planning van de toetsafnamen de contactpersoon van de school gevraagd de 3

9 Een jaar later. Vervolgonderzoek evaluatie van kaleidoscoop en piramide volgende gegevens te verstrekken: het aantal groepen 2 (alleen oudste kleuters) en groepen 3, het aantal leerlingen in die groepen en hun namen, de namen van de leerkrachten van deze groepen, welke toetsen al door de school waren afgenomen en welke nog afgenomen zouden gaan worden. Het aantal leerlingen dat in aanmerking kwam voor de toetsafnamen bedroeg op grond van de gegevens van de scholen Van een aantal scholen (4) deden alleen de onderzoekskinderen mee, van twee scholen deden alleen de kinderen uit groep 3 mee omdat de school van controleschool tot programmaschool geworden was, en één controleschool viel af omdat er zich geen onderzoekskinderen meer bevonden. Omdat de toetsafname dit keer groepsgewijs plaats vond, is in overleg met de scholen geen energie gestoken in het verkrijgen van toestemming van de ouders. Wel verzochten enkele scholen (5) om informatie over het onderzoek om de ouders op de hoogte te stellen. De toetsen zijn afgenomen door getrainde en ervaren toetsleiders die gewend zijn aan groepsgewijze toetsafname in kleutergroepen. De toetsen werden afgenomen in groepjes van ten hoogste tien kinderen, zoals ook in het Primacohort-onderzoek gebruikelijk is. Soms was het nodig de groepjes kleiner te maken, met name in groep 2 of wanneer er veel anderstalige kinderen meededen. De toetsafnamen vonden plaats in de maanden april tot en met juli In groep 2 ging het om drie toetsen waarvan er twee ook deel uitmaken van het Cito-leerlingvolgsysteem, in groep 3 ging het om twee toetsen die beide deel uitmaken van het Cito-leerlingvolgsysteem. Sommige van de in het vervolgonderzoek gebruikte toetsen waren al standaard afgenomen op de basisscholen of het stond nog te gebeuren. In dat geval is de scholen gevraagd om de toetsboekjes te bewaren zodat de leerling-scores door de toetsleider uit de boekjes konden worden overgenomen. In het vervolgonderzoek zijn ook gegevens verzameld bij docenten en directie. Voor een deel betrof dat leerlinggegevens voor een deel klas- en schoolkenmerken. Via de contactpersonen van de school zijn de vragenlijsten onder de desbetreffende personen verspreid. 1.3 Meetinstrumenten In groep 2 zijn drie toetsen afgenomen: de toets Ordenen (Platenboek Oudste Kleuters) van het Cito, de Begrippentoets van het Cito en het onderdeel 'Passieve woordenschat' uit de Taaltoets Allochtone Kleuters (TAK; Verhoeven, Vermeer 4

10 Opzet en uitvoering en Van de Guchte, 1986). Twee van deze toetsen, de toetsen Ordenen en Begrippen uit het Cito-leerlingvolgsysteem worden ook gebruikt in het Primacohortonderzoek, hetgeen de mogelijkheid biedt om de gegevens van de kinderen in het vervolgonderzoek te vergelijken met gegevens van vergelijkbare kinderen uit groep 2 van het basisonderwijs uit deze grote landelijke steekproef. De toets Ordenen meet vooral vaardigheden die betrekking hebben op het voorbereidend rekenen bij kleuters. De toets is in zijn geheel (42 items) afgenomen. De Begrippentoets meet kennis van begrippen die zowel voor het lees- als het rekenonderwijs van belang zijn. De toets bestaat uit twee delen, een deel met plaatjes (40 items) en een deel met woorden (20 items). Beide delen zijn afgenomen. In het onderzoek zijn van het begin af aan Woordenschattoetsen (passieve woordenschat) afgenomen. In groep 2 is in deze follow-up een gedeelte van het onderdeel Passieve Woordenschat uit de TAK afgenomen. De passieve woordenschattoets van de TAK bestaat uit 98 items. Voor het evaluatieonderzoek waren de eerste 40 items geselecteerd, voor het vervolgonderzoek de daaropvolgende 40 items. De toets, die eigenlijk bedoeld is voor individuele afname, is voor deze meting geschikt gemaakt voor groepsgewijze toetsing. In deze follow-up is uitsluitend de passieve woordenschat in het Nederlands gemeten en niet, zoals in het afgesloten evaluatieonderzoek, de woordenschat in de eigen taal. In groep 3 zijn eveneens toetsen afgenomen uit het Cito-leerlingvolgsysteem. Voor het onderdeel woordenschat is de specifiek voor dit domein bedoelde toets uit het leerling-volgsysteem van het Cito gebruikt: de Woordenschattoets I. Deze toets bevat 50 items en meet de passieve woordenschat Nederlands. Voor het meten van de ontwikkeling op het gebied van rekenen is de toets Rekenen-Wiskunde 1 E3 afgenomen. De toets bestaat uit twee delen (respectievelijk 24 en 29 items) en meet basale declaratieve en procedurele kennis op het gebied van rekenen. Het derde leerjaar staat in het teken van het verwerven van de basisvaardigheden van het lezen. Leesvaardigheden vormen een belangrijke basis voor latere schoolprestaties. Daarom ligt het voor de hand om de programma- en de controlekinderen met elkaar te vergelijken op het bereikte niveau aan het eind van groep 3. Voor het in kaart brengen van deze vaardigheden is geen toets ingezet, maar is gebruik gemaakt van de kennis en ervaring van de leerkrachten. We mogen ervan uitgaan dat leerkrachten in groep 3, omdat ze het leesproces van de kinderen het hele jaar intensief begeleiden en volgen, veel zicht hebben op het bereikte resultaat aan het eind van het schooljaar. We hebben twee uitspraken geformuleerd over het be- 5

11 Een jaar later. Vervolgonderzoek evaluatie van kaleidoscoop en piramide grijpend en technisch lezen, die de leerkrachten voor elk kind moest beantwoorden. Bij de uitspraak over begrijpend lezen werd de leerkracht gevraagd per leerling op een 6-puntsschaaltje het niveau aan te geven. De schaal liep van 1. kind begrijpt niet wat het leest tot 6. kind begrijpt goed wat het leest. Voor het technisch lezen werd de vraag geformuleerd: Op het welk AVI-niveau leest het kind momenteel (eind mei-begin juni 2000)? De leerkracht kon kiezen uit de volgende antwoordmogelijkheden: AVI-niveau 1,2,3, etc. t/m 8; hoger dan AVI-8 of ik weet het niet/niet van toepassing. De vragen werden toegevoegd aan het instrument waarmee in dit onderzoek de sociaal-emotionele ontwikkeling van kinderen gemeten wordt (R-Schobl). Zowel over de kinderen in groep 2 als de kinderen in groep 3 zijn gegevens over de sociaal-emotionele ontwikkeling van de kinderen verkregen met behulp van de R-Schobl. De voor dit onderzoek geselecteerde onderdelen uit deze observatielijst zijn door de leerkrachten van groep 2 en 3 ingevuld voor alle kinderen die meededen aan de toetsafname. De R-Schobl maakte ook deel uit van het toetspakket in het evaluatieonderzoek en vanwege de continuïteit is gekozen voor dezelfde items en schalen (extraversie, werkhouding, aangenaam sociaal gedrag en emotionele stabiliteit) als in de eerdere metingen. In eerdere jaren zijn de achtergrondkenmerken van de onderzoekskinderen verzameld. Voor deze follow-up moesten nieuwe gegevens worden verzameld, van de kinderen die nog niet eerder meededen. Hiervoor is een speciaal formulier ontwikkeld (Tormulier achtergrondgegevens 2000'), gebaseerd op het achtergrondformulier dat ook in Prima wordt gebruikt. Hierin zijn de volgende variabelen bevraagd: geslacht; geboortedatum; geboorteland; herkomstland ouders; opleiding ouders; leerlinggewicht; thuistaal 2, kinderopvang (voor-schoolse voorziening); deelname aan Kaleidoscoop/Piramide. Dit leerlingformulier kon worden ingevuld door de betrokken leerkracht of de administratie van de school. Door in het formulier vragen naar de thuistaal en deelname aan voorschoolse voorzieningen en Kaleidoscoop of Piramide op te nemen, kon worden afgezien van een vragenlijstje voor de ouders, zoals aanvankelijk de opzet was. 2 Gevraagd werd in te vullen welke taal volgens de leerkracht over het algemeen gesproken wordt in het gezin van het kind (de dominante thuistaal), waarbij gekozen kon worden uit de volgende antwoordmogelijkheden: Nederlands, Turks, Marokkaans/Arabisch, Marokkaans/Berbers, Overig. Wanneer men het niet weet of er geen duidelijke dominante thuistaal waargenomen wordt, luidt de instructie niets in te vullen. 6

12 Opzet en uitvoering Om informatie te verkrijgen over de school- en klaskenmerken van de aan het onderzoek deelnemende scholen is gebruik gemaakt van onderdelen van instrumenten uit het Primacohort-onderzoek. Om de scholen niet onnodig te belasten is gewerkt met korte vragenlijsten voor de directie en de leerkrachten van groep 2. Aangezien groep 3 geen deel uitmaakt van het Primacohort-onderzoek is er voor de docenten van groep 3 geen vragenlijst ontworpen. De vragenlijst leerkrachten groep 2 bevat vragen naar: algemene klaskenmerken (aantal leerjaren in de groep (combinatieklas); aantal leerlingen in de groep; meer dan één groepsleerkracht, is er sprake van dubbele bezetting); de steun van een remedial teacher; voorschoolse voorzieningen (contacten met voorschoolse voorzieningen; uitspraken over voorschoolse voorzieningen); aansluiting groep 2 en groep 3 (werkwijze groep 2; systematische aandacht voor voorbereidend lezen en rekenen in groep 2; aandacht in groep 3 voor aanvankelijk lees- en rekenonderwijs); vragen over de leerkracht zelf. De vragenlijst voor de directie bevat vragen naar (veranderingen in) de samenstelling van de leerlingpopulatie en contacten met voorschoolse voorzieningen. In een schema (bijlage 1) zijn alle onderzoeksinstrumenten weergegeven die de afgelopen jaren in het kader van dit onderzoek zijn afgenomen. 1.4 Data-analyses In het jaar 2000 (follow-upstudie) en in de jaren daarvoor werden gegevens verzameld bij kinderen op de programmascholen (Kaleidoscoop en Piramide) en op de controlescholen. Voor de beantwoording van de onderzoeksvraag naar effecten van de programma's zijn op deze gegevens drie soorten analyses uitgevoerd. Bij elk van de analyses gaat het steeds om een andere groep kinderen. Analyses over alle kinderen over wie in 2000 gegevens zijn verzameld, uit de groepen 2 en 3; daarbij kan gecontroleerd worden voor enkele bij de school opgevraagde achtergrondkenmerken van de leerlingen. II. Analyses over de ontwikkeling van onderzoekskinderen tussen 1999 en 2000; hierbij wordt onder meer gebruik gemaakt van de toetsscores zoals de kinderen die in 1999 hebben behaald. Deze groep is natuurlijk kleiner en omvat zowel kinderen die vanaf de peuterspeelzaal meedoen als in 1998 nieuw ingestroomde onderzoekskinderen. 7

13 Een jaar later. Vervolgonderzoek evaluatie van kaleidoscoop en piramide III. Analyses over de ontwikkeling van alleen de doorstroomgroep: de kinderen die vanaf de peuterspeelzaal met het onderzoek mee hebben gedaan. Dit is de kleinste groep, die wel het langst is gevolgd. In tabel A geven we een overzicht van de aantallen kinderen die per type analyse beschikbaar zijn. Doordat we niet voor alle leerlingen over een complete set gegevens beschikken, zullen er in de analyses nog leerlingen gaan uitvallen. De aantallen in tabel A zijn dus te beschouwen als maximumaantallen. Tabel A. Aantallen beschikbaar voor de verschillende analyses 1 Analyse I alle leerlingen 2000 deelgenomen in 2000 groep 2 groep 3 2 Analyse II ontwikkeling deelgenomen in 1999 uitval (percentage) weer deelgenomen 2000 groep 2 groep 3 3 Analyse III ontwikkeling doorstroomgroep deelgenomen in 1999 uitval (percentage) weer deelgenomen 2000 groep 2 groep 3 8

14 Opzet en uitvoering 1.5 De samenstelling van de groepen bij de drie typen analyses De samenstelling van de onderzoeksgroepen, met name de vraag of zij als vergelijkbaar beschouwd kunnen worden, is een onderzoeksopzet waarbij verschillende condities met elkaar worden vergeleken, van grote betekenis. In deze paragraaf wordt voor elk van de drie typen analyses de samenstelling van de groepen naar relevante kind- en achtergrondkenmerken (per conditie) in tabellen samengevat. Daarnaast is voor de analyses II en III nagegaan of de uitval van de derde op de vierde meting selectief is. Uitval van onderzoekskinderen betekent een reductie van het aantal kinderen die de programma's hebben gevolgd en waarover uitspraken gedaan kunnen worden. Wanneer deze uitval selectief is, kan dit tot vertekening van de resultaten leiden Alle kinderen 2000 (Analyse 1) In de drie voorafgaande metingen in het evaluatieonderzoek zijn steeds gegevens verzameld bij individuele kinderen (de onderzoekskinderen). In de meting voor het vervolgonderzoek zijn naast gegevens bij de onderzoekskinderen ook bij alle andere kinderen in de klas gegevens verzameld. In tabel B staan enkele relevante achtergrondkenmerken voor de hele groep kinderen bij wie in 2000 gegevens verzameld zijn, afzonderlijk voor de beide experimentele en de controlescholen. Het algemene beeld als het gaat om alle kinderen uit de groepen 2 en 3, is dat het aandeel allochtone kinderen in de controlescholen significant lager is dan op de programmascholen (zie onderstaande tabel). In samenhang daarmee hebben de leerlingen van de controlescholen het Nederlands wat meer als thuistaal (vooral bij Kaleidoscoop is het percentage kinderen met thuistaal Nederlands laag). Deze gegevens bevestigen eerdere bevindingen waaruit bleek dat de samenstelling van de leerlingpopulatie op de controlescholen niet geheel vergelijkbaar is met die op de experimentele scholen: de condities op de controlescholen wijken in gunstige zin af van de condities op de experimentele scholen. Dit gegeven zal bij de interpretatie van de onderzoeksgegevens moeten worden meegewogen. 9

15 Een jaar later. Vervolgonderzoek evaluatie van kaleidoscoop en piramide Tabel B. Groepen analyse I (alle deelnemende leerlingen in 2000) (n = 1294) leeftijd per 1 okt Kaleidoscoop Piramide Controle eta-kwadraat 1999 groep 2 (in jaren) * (.43) (.48) (.41) leeftijd per 1 okt * 1999 groep 2 (.43) (.48) (.41) (in jaren) groep 3 (.45) (.48) (.46) percentage meisjes 54% 48% 49%.00 percentage Turkse 27% 22% 17%.01* kinderen percentage Marok- 20% 13% 17%.01* kaanse kinderen percentage overige 25% 23% 14%.01** etnische kinderen percentage % 17% 26%.01* leerlingen percentage % 55% 45%.02** leerlingen percentage thuistaal 39% 55% 68%.05** Nederlands Opleidingsniveau Vader (1.0) (.9) (.9) (1= hooguit lo; tot 4 = hbo/wo) Opleidingsniveau # Moeder (1.0) (0.9) (0.9) (1= hooguit lo; tot 4 = hbo/wo) 10

16 Opzet en uitvoering # p<.10; * p<.05; ** p<.01 Ging het in de eerdere metingen steeds om kinderen in dezelfde groep (allen in kleutergroep), deze keer is dat niet meer het geval. Het merendeel van de leerlingen verblijft nog wel in groep 2, maar een deel van de leerlingen zit in groep 3. In verband hiermee zijn we nagegaan of de scholen misschien een verschillende strategie hanteren bij de overgang van kleutergroep naar groep 3. Houden sommige scholen de kleuters misschien langer in groep 2? Nadere analyse van de geboortedata van de kinderen in de drie condities levert het volgende beeld (zie onderstaande tabel). In groep 2 lijkt het er op dat de Piramide scholen meer leerlingen kleuterbouwverlenging geven. Op de Piramidescholen is 24% van de kinderen vóór 1 oktober 1993 geboren ("oud"), tegenover ongeveer 15% van de kinderen op de scholen van de twee andere condities. In groep 3 zijn er geen belangrijke (en significante) leeftijdsverschillen. Tabel C. Geboortetijdstip leerlingen groep 2 en 3 (alle leerlingen 2000) groep 2 geboren na 1 okt 1994 (jong) tussen 1 okt 93 en 1 okt 94 (norm) geboren voor 1 okt 1993 (oud) groep 3 geboren na 1 okt 1993 (jong) tussen 1 okt 92 en 1 okt 93 (norm) geboren voor 1 okt 1992 (oud) # p<.10; * p<.05; ** p< De onderzoekskinderen; de ontwikkelingen (Analyse II) Naast de groep 'alle kinderen' wordt in de analyses de groep 'onderzoekskinderen' onderscheiden. Bij de onderzoekskinderen gaat het om de kinderen die sinds 1997 aan het onderzoek meedoen én de kinderen die in 1998 nieuw in het onderzoek zijn ingestroomd. In 1999 omvatte de groep 261 kinderen. De vraag is uit hoeveel kinderen de groep in de meting van 2000 bestaat en of de uitval selectief is. 11

17 Een jaar later. Vervolgonderzoek evaluatie van kaleidoscoop en piramide De groep onderzoekskinderen die van de derde op de vierde meting is uitgevallen, bedraagt 53 leerlingen. Deze kinderen verschillen niet systematisch van de groep die in het onderzoek blijft (208 leerlingen) op de variabelen die in dit onderzoek steeds als controlevariabelen (covariaten) zijn gebruikt (sekse; etnische herkomst, leeftijd, thuistaal, opleidingsniveau ouders)3. Ook op de in 1999 afgenomen toetsen vinden we geen significante verschillen, behalve op de LDT-blokpatronen: daar scoren de uitvallers gemiddeld een fractie hoger (p =.08). Doordat de uitval niet-selectief is blijft het algemene beeld van de drie "conditiegroepen" in 2000 hetzelfde als bij de metingen in Het aandeel Turkse leerlingen is wat hoger bij de leerlingen op Piramide-scholen; (vermoedelijk) in samenhang daarmee is Nederlands wat minder sterk de thuistaal. In de gezinnen van de controlekinderen is Nederlands wat vaker de belangrijkste spreektaal vergeleken met de andere condities (zie onderstaande tabel). Tabel D. Groepen analyse II (ontwikkeling tussen 1999 en 2000) (n=208) leeftijd in maanden bij de vierde meetronde percentage meisjes percentage Turkse kinderen percentage Marokkaanse kinderen 3 Met de ouders van de onderzoekskinderen is een interview gehouden, waarvoor een oudervragenlijst werd ontwikkeld. Uit deze oudervragenlijsten zijn voor de analyses de volgende variabelen geconstrueerd. De sociaal-economische status (SES) van het gezin van herkomst is een index gebaseerd op het opleidingsniveau en het aantal jaren onderwijs van beide ouders. De etnische herkomst is gebaseerd op het geboorteland van het kind, de ouders en grootouders aan moederszijde. In het onderzoek worden drie etnische groepen onderscheiden: Nederlanders, Turken en Marokkanen. Surinaamse en Antilliaanse kinderen kwamen in zeer geringe aantallen voor in de onderzoeksgroepen en zijn toegevoegd aan de groep Nederlanders. De thuistaal is een index gebaseerd op een viertal vragen naar het taalgebruik in het gezin. De maximum-score 1 betekent dat door ouders en andere kinderen in gezin altijd Nederlands met het onderzoekskind wordt gesproken; de minimumscore 0 betekent dat thuis altijd een andere taal, de eigen taal, wordt gesproken. 12

18 Opzet en uitvoering Tabel D. Groepen analyse II (ontwikkeling tussen 1999 en 2000) (n=208) # p<.10; * p<.05; ** p< De doorstroomgroep; ontwikkelingen (Analyse III) De derde groep die in de analyses wordt onderscheiden is de `doorstroomgroep'. Deze groep bestaat uit de kinderen die aan de eerste onderzoeksmeting op de experimentele en controlescholen deelnamen en niét tussentijds uit het onderzoek zijn uitgestroomd. In 1999 bestond de groep uit 161 leerlingen. Van de derde op de vierde meting zijn 29 leerlingen uitgevallen. De uitgevallen groep verschilt niet systematisch van de groep die in het onderzoek blijft (132 leerlingen) op de variabelen, die in dit onderzoek steeds als controlevariabelen (covariaten) zijn gebruikt (sekse; etnische herkomst, leeftijd, thuistaal, opleidingsniveau ouders). Ook op de in 1999 afgenomen toetsen vinden we geen significante verschillen. Doordat de uitval niet-selectief is blijft ook hier het algemene beeld van de drie "conditie-groepen" in 2000 hetzelfde als in het vorige onderzoek. Ook hier is het aandeel Turkse leerlingen wat hoger bij de leerlingen op Piramidescholen; en ook hier is (vermoedelijk) in samenhang daarmee Nederlands wat minder sterk de thuistaal (zie onderstaande tabel). 13

19 Een jaar later. Vervolgonderzoek evaluatie van kaleidoscoop en piramide Tabel E. Groepen analyse III (ontwikkeling tussen 1997 en 2000) (n =132) leeftijd in maanden bij de vierde meetronde percentage meisjes percentage Turkse kinderen percentage Marokkaanse kinderen Index thuistaal Nederlands Sociaal-economische Status Opleidingsniveau Vader # p<.10; *p<.05; ** p<.01 14

20 2 Resultaten In dit hoofdstuk komen in de eerste plaats de resultaten van de drie analyses aan de orde. Voorts presenteren we de gegevens uit de vragenlijsten die werden toegestuurd aan de directies en de leerkrachten uit groep twee, met als doel om nadere gegevens te verkrijgen over de onderzoeksscholen. Als het gaat om de analyses op de leerlinggegevens presenteren we drie typen analyses. Bij elk van de analyses gaat het om een andere groep leerlingen. De analyses I geven een beeld van alle leerlingen bij wie in de 2000-meting gegevens verzameld zijn. De analyses II geven een beeld van de ontwikkelingen tussen bij de onderzoekskinderen; de analyses III schetsen de ontwikkeling tussen de eerste meting in 1997 en de laatste in In de analyses wordt steeds onderscheid gemaakt naar de groepen 2 en 3. Bij de longitudinale groepen (de analyses II en III) zit ruwweg tweederde van de leerlingen nog in groep 2. Het accent zal bij deze analyses daarom liggen op de groepen 2, ten eerste omdat het grotere aantallen betreft, maar ook omdat bij de groepen 2 de resultaten beter vergelijkbaar zijn met eerdere toetsscores. Daarnaast worden de resultaten van groep 2 nog geplaatst tegen de achtergrond van het landelijke beeld, zoals dat verkregen kan worden op basis van gegevens uit het Primacohort. In de analyses worden steeds scores en ontwikkelingen van leerlingen in beide typen programmascholen vergeleken met die van leerlingen in de controlescholen. Deze verschillende leerlinggroepen zijn niet gelijk van samenstelling, zodat we in de analyses rekening moeten houden met verschillen in herkomst en achtergronden. Daartoe worden covariantie-analyses uitgevoerd, waarmee getoetst kan worden of gevonden verschillen in gemiddelden statistisch significant zijn, nadat er gecontroleerd is voor verschillen tussen de leerlingen op een aantal covariaten. Deze covariaten betreffen de Turkse of Marokkaanse herkomst van de leerlingen, de thuistaal, de opleiding van de ouders, het leerlinggewicht en het geslacht. En omdat de controlescholen een lager aandeel allochtone leerlingen kennen dan de programmascholen wordt ook de SE-score van de school als covariaat opgenomen. Om enig inzicht te geven in het effect van controleren voor covariaten staan in de tabellen in dit hoofdstuk zowel de (verschillen in) ruwe scores (totaalscores op toetsen), als de verschillen na controle voor covariaten. Omdat de leerlingbevolking op de controlescholen wat "gunstiger" kenmerken heeft (minder 15

21 Een jaar later. Vervolgonderzoek evaluatie van kaleidoscoop en piramide leerlingen uit etnische groepen; thuistaal vaker Nederlands) worden daar de scores doorgaans wat "omlaag gecorrigeerd". Een tweede kanttekening bij dit hoofdstuk betreft de procedure die wij gehanteerd hebben voor 'ontbrekende gegevens'. Omdat bij een deel van de kinderen op onderdelen gegevens ontbreken en wij zoveel mogelijk kinderen in de analyses wilden betrekken, gebruiken we in de analyses de gegevens van alle leerlingen waarvan een toetsscore bekend is (in de tabellen aangegeven met: N). Van ongeveer een kwart van deze leerlingen ontbreekt informatie over één of meer van de covariaten. Omdat we deze uitval te groot achten hebben we extra covariaten (dummyvariabelen) gemaakt die aangeven wanneer er informatie ontbreekt. Bijvoorbeeld bij de covariaat `leerlinggewicht 1.25' (0 = nee; 1 = ja) krijgen leerlingen met ontbrekende gegevens een 0 op deze covariaat, maar een 1 op een nieuwe covariaat 'informatie over leerlinggewicht ontbreekt'. Voor ontbrekende waarden op de covariaat `(hoogste) opleiding van de ouders' is het gemiddelde gesubstitueerd, met opname van een dummyvariabele 'informatie over opleiding ouders ontbreekt'. Op deze wijze kunnen toch alle leerlingen met ontbrekende informatie in de analyses worden meegenomen: In de tabellen worden verschillen in gemiddelden tussen de programma- en de controlescholen weergegeven met d-scores. Deze worden berekend door het verschil in gemiddelde te delen door de overall standaarddeviatie. De grootte van deze effectscores laten zich duiden in de termen van Cohen (1988); deze noemt als criteria voor effectgrootte: weak (d=0.20), medium (d=0.50) en strong (d=0.80). 2.1 Analyse I: Resultaten van de 2000-leerlingen We presenteren hier de resultaten van alle kinderen bij wie in 2000 gegevens verzameld zijn, afzonderlijk voor de leerlingen in groep 2 en in groep 3. De toetsscores van de kinderen uit groep 2, onderscheiden naar conditie, staan vermeld in tabel 2.1 de toets- en gedrags-beoordelingsscores van de kinderen in groep 3 staan in tabel 2.2, eveneens per conditie. 1 De analyses zijn ook uitgevoerd met zogenaamde listwise deletion of missing data. De uitkomsten daarvan geven geen ander beeld dan de hier gerapporteerde uitkomsten. 16

22 Resultaten GROEP 2 Tabel 2.1 Resultaten van de 2000-meting in groep 2 (alle kinderen in groep 2);eerst ruw (ongecontroleerd); daarna gecontroleerd voor covariaten;aantallen, gemiddelden, SD's en d-scores voor paarsgewijze vergelijkingen tussen programma's en controlegroep. 17

23 Een jaar later. Vervolgonderzoek evaluatie van kaleidoscoop en piramide a Een hoge score op deze schaal betekent negatief sociaal-emotioneel gedrag Covariaten: Etnische groep (Turks, Marokkaans, overig), thuistaal, opleiding ouders, leerlinggewicht, sekse; schoolscore; dummies voor ontbrekende gegevens # p<.10; * p<.05; ** p<.01 Het beeld bij alle kinderen in groep 2 is dat -- na controle voor de covariaten -- de kinderen uit de controlegroep hoger scoren op de Begrippentoets dan de kinderen van de programma-scholen. De kinderen van de Piramidescholen scoren op de Ordenentoets hoger dan de controlegroep, de Kaleidoscoopkinderen lager. Op de TAKtoets zijn er nauwelijks verschillen tussen controlegroep en programmascholen. Hetzelfde geldt voor de scores op de gedragsoordelen (Schobl-R), zij het dat de leerlingen uit Kaleidoscoop wat lager worden beoordeeld op aangenaam gedrag dan de leerlingen uit de andere groepen. GROEP 3 In tabel 2.2 staan de toetsscores van de kinderen uit groep 3. Naast de resultaten op de toetsen Woordenschat en Rekenen-Wiskunde en de gedragsbeoordelingen geeft deze tabel ook de scores weer op begrijpend en technisch lezen. Op de Woordenschattoets scoren beide programmagroepen hoger, echter alleen bij de Kaleidoscoopkinderen is sprake van een significant verschil met de controlegroep. Op de toets Rekenen-Wiskunde zien we significant lagere scores voor Piramide in vergelijking met de controlegroep (het gaat maar om een zwak effect). De scores tussen Kaleidoscoop en de controlegroep verschillen op deze toets niet. 18

24 Resultaten Opvallend is dat de programma's op beide leesonderdelen, zowel op begrijpend als op technisch lezen, hoger scoren dan de controlegroep, waarbij vooral Piramide eruit springt. Voor Kaleidoscoop doet zich de significantie alleen voor na controle op de covariaten. We moeten hier in ogenschouw nemen dat het gaat om een registratie door de eigen leerkracht en niet om onafhankelijke, door toetsleiders uitgevoerde toetsing, zoals bij de andere effectmaten. De registratie van het AVI-niveau is een hard gegeven, de vaststelling van het niveau vindt plaats op basis van een externe maat. Bij begrijpend lezen gaat het om een leerkrachtoordeel. Hetzelfde geldt voor de gedragsbeoordelingen. Er zijn op de gedrags-aspecten (`extraversie', 'werkhouding', 'aangenaam gedrag' en 'emotionele stabiliteit') geen verschillen tussen de programmakinderen en de kinderen uit de controlegroep. Tabel 2.2 Resultaten van de 2000-meting in groep 3 (alle kinderen in groep 3); eerst ruw (ongecontroleerd); daarna gecontroleerd voor covariaten;aantallen, gemiddelden, SD 's en d- scores voor paarsgewijze vergelijkingen tussen programma's en controlegroep. 19

25 Een jaar later. Vervolgonderzoek evaluatie van kaleidoscoop en piramide a Een hoge score op deze schaal betekent negatief sociaal-emotioneel gedrag Covariaten: Etnische groep (Turks, Marokkaans, overig), thuistaal, opleiding ouders, leerlinggewicht, sekse; schoolscore; dummies voor ontbrekende gegevens # p<.10; * p<.05; ** p<.01 20

26 Resultaten Prima-gegevens als landelijke achtergrond Al in een eerdere meting (1999) was bij de onderzoekskinderen een vergelijking met een controlegroep uit het Primacohort gepland. Bij nadere analyse bleek toen echter dat teveel onderzoekskinderen jonger waren dan de kinderen die regulier meedoen aan het Primacohort-onderzoek en mede daardoor lager scoorden. Naar aanleiding hiervan is in overleg met de opdrachtgever besloten de vergelijking met de Primacohort-gegevens in 2000 nogmaals uit te voeren. De Begrippen- en Ordenentoetsen uit groep 2 zijn in het schooljaar 1988/99 ook afgenomen in het Primacohort-onderzoek. Dit geeft in principe de mogelijkheid om de scores van de kinderen op de Kaleidoscoop- en Piramidescholen nu ook te vergelijken met een landelijke steekproef. Bovendien kan, door het vergelijken van de scores van leerlingen op de controlescholen met de landelijke steekproef, een indicatie worden verkregen of de correctie voor verschillen in achtergrondkenmerken, zoals die in dit onderzoek via de eerder gehanteerde covariaten wordt uitgevoerd, van voldoende kwaliteit is. Dit is het geval wanneer de scores op de controlescholen na de correctie overeenkomen met de landelijke scores. Een probleem bij de vergelijking met de landelijke Primagegevens is wel het verschil in afnametijdstip. In het Prima-onderzoek zijn de toetsen in groep 2 afgenomen in de maanden januari tot maart; in dit onderzoek werd er in de maanden mei en juni getoetst. Informatie uit het Prima-onderzoek leert dat juist bij de kleutergroepen een afname van drie maanden later tot een significant hogere gemiddelde toetsscore leidt. De vergelijking met de landelijke gegevens zal daarom met enige omzichtigheid moeten gebeuren. GROEP 2 De Prima groep bestaat uit leerlingen uit groep 2 van de referentiesteekproef waarvan toetsscores op Begrippen en Ordenen bekend zijn. Informatie over de thuistaal van de leerlingen werd verkregen uit de oudervragenlijst2; informatie over de overige covariaten is van de scholen verkregen. 2 Thuistaal wordt in de Oudervragenlij st (groep 2) als volgt bevraagd: gevraagd is naar: spreektaal met moeder, spreektaal met vader, spreektaal met broers en zusjes, spreektaal ouders onderling. De scoring hiervan is als volgt: Indien bij 0 of hooguit 1 is gezegd: spreektaal is Nederlands, dan is Nederlands geen thuistaal. Bij 2 of meer is Nederlands wel thuistaal; indien 3 of 4 vragen niet zijn ingevuld: thuistaal is missing. 21

27 Een jaar later. Vervolgonderzoek evaluatie van kaleidoscoop en piramide We geven in tabel 2.3 allereerst een overzicht van enkele achtergrondkenmerken van leerlingen uit groep 2 op de programmascholen, de controlescholen en in de Primagroep. Tabel 2.3 Achtergrondkenmerken leerlingen uit groep 2; inclusief de landelijke PRIMA-groep indeling naar geboortejaar/kwartaal jong normaal oud percentage meisjes percentage etnische kinderen (Turks/Marokkaans/overig) percentage 1.25 leerlingen percentage 1.90 leerlingen percentage thuistaal Nederlands (hoogste) Opleiding ouders (1= hooguit lo; tot 4 = hbo/wo) SE-score # p<.10; * p<.05; ** p<.01 De leerlingbevolking op de programmascholen onderscheidt zich duidelijk van die op de landelijke steekproef van scholen. Op de programmascholen zijn ongeveer 2 op de 3 leerlingen van allochtone herkomst, landelijk is dat minder dan 1 op de 5. Ook bij de SE-score zien we dat verschil terug, evenals bij het percentage leerlingen met het Nederlands als thuistaal. De leerlingbevolking op de controlescholen neemt een tussenpositie in: beduidend meer allochtoon gekleurd dan landelijk, maar wel minder dan de programmascholen. 22

28 Resultaten In tabel 2.4 staan de resultaten op de Begrippen- en Ordenentoets weergegeven voor de leerlingen uit de twee typen programmascholen, de controlegroep en de landelijk Prima-referentiegroep. Tabel 2.4 Resultaten van de 2000-meting in groep 2; PRIMA als landelijke referentie; eerst ruw (ongecontroleerd); daarna gecontroleerd voor covariaten; aantallen, gemiddelden, SD 's en d- scores voor paarsgewijze vergelijkingen tussen programma's en controlegroep enerzijds en de landelijke referentiegroep anderzijds Covariaten: Etnische groep (Turks, Marokkaans, overig), thuistaal, opleiding ouders, leerlinggewicht, sekse; schoolscore; dummies voor ontbrekende gegevens; # p<.10; * p<.05; ** p<.01 Bij de Begrippentoets zien we dat beide programma's duidelijk lager scoren dan landelijk; ook de controleleerlingen hebben een lager gemiddelde, maar het verschil is minder groot. Na controle voor de covariaten verschillen de `adjusted' gemiddelden van zowel Kaleidoscoop als Piramide weinig meer van landelijk. De controlegroep scoort nu significant hoger dan landelijk, waarschijnlijk doordat de toetsen bij dit onderzoek enkele maanden later zijn afgenomen. Bij Ordenen zijn vooral de ruwe scores bij Kaleidoscoop duidelijk lager dan landelijk. De controlegroep verschilt minder en Piramide scoort vrijwel gelijk met landelijk. Na controle voor de covariaten is het gemiddelde van zowel Piramide als de controlegroep hoger dan landelijk. Kaleidoscoop scoort nog steeds lager. 23

29 Een jaar later. Vervolgonderzoek evaluatie van kaleidoscoop en piramide Ook nu zal het tijdstip van afname oorzaak zijn van de hogere gecorrigeerde score bij de controlegroep. Hoewel de leerlingbevolking op de scholen uit de controlegroep duidelijk verschilt van die in de landelijke Prima referentiegroep en aanzienlijk meer `kansarme' leerlingen telt, blijken de gemiddelde scores op de controlescholen, na correctie voor de covariaten, wat hoger te liggen dan landelijk; dit wat hogere niveau hadden we verwacht vanwege het latere moment van de toetsafnames. We concluderen daarom dat de gehanteerde correctie voor verschillen in kenmerken van de leerlingbevolking voldoende is om het beeld van de controlescholen in overeenstemming te brengen met het landelijke beeld. Daarmee vormen de controlescholen, na deze correctie voor verschillen in covariaten, ook een goede vergelijkingsmaatstaf voor de beide typen programmascholen. 2.2 Analyse II: Ontwikkeling van leerlingen tussen 1999 en 2000 We komen nu tot de resultaten die de ontwikkeling van de onderzoekskinderen over het jongste onderzoeksjaar betreffen. Het gaat dan dus om alle kinderen waarvoor we over gegevens van zowel 1999 als van 2000 beschikken. Ongeveer tweederde van deze leerlingen zit in 2000 in groep 2 en de rest in groep 3. De aantallen zijn aanzienlijk lager dan bij de vorige analyses. In deze paragraaf presenteren we afzonderlijke analyses voor groep 2 en 3. Per groep laten we twee tabellen zien: eerst de stand van zaken in 2000; vervolgens de ontwikkeling (groeiscores) tussen 1999 en De ontwikkeling van de leerlingen tussen 1999 en 2000 wordt bepaald door na te gaan in hoeverre leerlingen vooruit zijn gegaan op een bepaald domein. We maken daarvoor gebruik van zogenaamde residuele verschilscores. Deze worden bepaald door per toets een regressievergelijking op te stellen met de beginmeting en covariaten als predictoren3. De door deze predictoren verklaarde variantie in de scores van de tweede meting wordt vervolgens afgetrokken van de totale variantie; er resteert een constante (de intercept) en een residuele variantie. De constante 3 Als covariaten gebruiken we bij deze groep onderzoekskinderen dezelfde als die gebruikt zijn bij Veen et al. (2000). Omdat hier nauwelijks ontbrekende waarden zijn op deze covariaten hoeven daarvoor ook geen dummies worden ingevoerd. 24

30 Resultaten staat voor de gemiddelde toename in scores (groei), de resterende residuele variantie voor individuele verschillen in toename. Anders dan gewone verschilscores gelden residuele verschilscores als betrouwbaar. Bovendien zijn gewone verschilscores lastig te hanteren wanneer bij voor- en nameting op een bepaald domein verschillende toetsen worden gebruikt. De residuele verschilscores verwijzen daarmee naar verschillen tussen kinderen in ontwikkeling, in dit geval tussen de meting van 1999 en die van GROEP 2 In de volgende tabel zien we de resultaten van de 2000-meting van groep 2 op de toetsen Begrippen, Ordenen en TAK (passieve woordenschat) voor de drie condities. In het onderste deel van de tabel staan de scores op de gedragsbeoordelingen (Schobl-R). Tabel 2.8 Resultaten van de 2000-meting in groep 2 voor de onderzoeksindereneerst ruw (ongecontroleerd); daarna gecontroleerd voor covariaten; aantallen, gemiddelden, SD's en d- scores voor paarsgewijze vergelijkingen tussen programma's en controlegroep. 25

31 Een jaar later. Vervolgonderzoek evaluatie van kaleidoscoop en piramide a Een hoge score op deze schaal betekent negatief sociaal-emotioneel gedrag Covariaten: Etnische groep (Turks, Marokkaans, overig), thuistaal, opleiding ouders, leerlinggewicht, sekse; schoolscore; dummies voor ontbrekende gegevens # p<.10; *p<.05; ** p<.01 Voor wat betreft de scores op de toetsen komt het beeld van de verschillen tussen programmakinderen en de controlegroep overeen met dat bij alle kinderen in groep 2 (tabel 2.1). Als we kijken naar de gedragsoordelen zien we, nog duidelijker dan bij de hele groep (tabel 2.1), dat de Kaleidoscoopkinderen lager beoordeeld worden op aangenaam gedrag. Tevens zien we de tendens dat de Kaleidoscoopkinderen minder hoger worden beoordeeld op de schaal extraversie. 26

32 Resultaten Een hoge score op deze schaal wordt beschouwd als minder gunstig dan een lage score. Vervolgens willen we bij deze groep de ontwikkeling vaststellen van vaardigheden die in 2000 gemeten zijn met de toetsen Begrippen, Ordenen en de TAK (passieve woordenschat) en van de ontwikkelingen op het sociaal-emotionele domein (gedragsoordelen). Tabel 2.9 geeft de resultaten voor de drie condities in groep 2. Voor wat betreft de toetsen analyseren we de ontwikkeling ten opzichte van de scores op de in 1999 afgenomen (verkorte) Begrippen- en Ordenentoetsen en op de in 1999 in het Nederlands afgenomen helft van de TAKtoets. De verschilscores zijn hierin weergegeven als afwijkingen van de gemiddelde verschilscore, met de bijbehorende standaardafwijking. Tabel 2.9 Residuele verschilscores in groep 2 uitgedrukt als afwijking van de gem. residuele verschilscore, zowel ruw (ongecontroleerd) als gecontroleerd voor covariaten inclusief de schoolscore; gemiddelden, SD's en d-scores voor paarsgewijze vergelijkingen tussen programma's en controlegroep 27

33 Een jaar later. Vervolgonderzoek evaluatie van kaleidoscoop en piramide a Een hoge score op deze schaal betekent negatief sociaal-emotioneel gedrag Covariaten: Turks, Marokkaans, thuistaal, SES, sekse; schoolscore # p<.10; * p<.05; ** p<.01 Op de toets Begrippen zijn de programmakinderen minder sterk vooruitgegaan dan de controlekinderen. Voor Piramide geldt dit sterker dan voor Kaleidoscoop, waar het verschil met de controlegroep na controle op de covariaten niet meer significant is. Bij Ordenen zijn de ontwikkelingen in de verschillende condities ongeveer gelijk. Hierbij moet worden aangemerkt dat de Piramidekinderen bij de vorige meting (1999) significant hoger scoorden op Ordenen dan de controlekinderen en ook in 2000 is dit verschil met de controlegroep nog positief (zie tabel 2.8), maar het ef- 28

34 Resultaten fect is iets minder sterk, oftewel: Piramide heeft nog steeds een voorsprong op Ordenen maar het verschil met de controlegroep is iets kleiner geworden dan bij de vorige meting. Op het onderdeel Passieve Woordenschat van de TAK zijn de Kaleidoscoopkinderen significant minder sterk vooruitgegaan dan de controlekinderen. De Kaleidoscoopkinderen scoorden bij de vorige meting (1999) juist hoger op de beide toen afgenomen woordenschattoetsen (DTT en gedeelte uit de TAK). Het lijkt er dus op dat de controlekinderen hun achterstand op Kaleidoscoop het afgelopen jaar wat hebben ingelopen. Bij de gedragsoordelen zien we een negatieve tendens bij de score op aangenaam gedrag, vooral bij Kaleidoscoop. Tevens zien we een zelfde tendens bij emotionele stabiliteit, nu vooral bij de Piramidekinderen. De tendens in 1999 was dat de onderzoekskinderen op allebei hoger scoorden. De controlekinderen komen nu op deze domeinen dus dichter bij de scores van de kinderen uit de programmagroepen. GROEP 3 Een kleiner deel van de onderzoekskinderen bevond zich tijdens de meting in 2000 in groep 3. Eerst presenteren we de tabel met de scores die de stand van zaken op deze toetsen in 2000 weergeven. 29

35 Een jaar later. Vervolgonderzoek evaluatie van kaleidoscoop en piramide Tabel 2.10 Resultaten van de 2000-meting in groep 3 voor de onderzoekskindereneerst ruw (ongecontroleerd); daarna gecontroleerd voor covariaten; aantallen, gemiddelden, SD 's en d- scores voor paarsgewijze vergelijkingen tussen programma's en controlegroep. Covariaten: Etnische groep (Turks, Marokkaans, overig), thuistaal, opleiding ouders, leerlinggewicht, sekse; schoolscore; dummies voor ontbrekende gegevens # p<.10; * p<.05; ** p<.01 Alleen bij de leerkrachtoordelen wijkt het beeld af van dat van de hele groep 3 (tabel 2.2). Daar scoorden de programmakinderen na controle hoger op beide leerkrachtoordelen (dus zowel op technisch als begrijpend lezen). Hier geldt dat alleen nog voor Piramide bij het oordeel begrijpend lezen. Bij Kaleidoscoop is de tendens bij het oordeel over het AVI-niveau zelfs negatief. Vervolgens willen we voor deze kinderen de ontwikkeling bepalen op de domeinen die in 2000 gemeten zijn met de Woordenschattoets en de toets Rekenen- 30

36 Resultaten Wiskunde (tabel 2.11). In deze tabel staan ook de resultaten op de oordelen begrijpend lezen en technisch lezen (AVI-niveau). We analyseren de ontwikkeling ten opzichte van de scores op de in 1999 in het Nederlands afgenomen helft van de Woordenschattoets en de (verkorte) Ordenentoets. Verder willen we de ontwikkeling op het gebied van begrijpend lezen nagaan door het oordeel in 2000 van de docent op dit punt af te zetten tegenover de score op de (verkorte) Begrippentoets uit We veronderstellen dat beide metingen voldoende hetzelfde domein betreffen (ook gezien de onderlinge correlatie van.61). Voor het oordeel over technisch lezen presenteren we geen residuele verschilscores. Het oordeel over het AVI-niveau blijkt laag te correleren met eerdere `talige' toetsen, zodat er niet van een ontwikkeling kan worden gesproken. Het AVI-niveau moet daarom als een nieuw gemeten domein worden beschouwd. Tabel 2.11 Residuele verschilscores in groep 3 uitgedrukt als afwijking van de gemiddelde residuele verschilscore, zowel ruw (ongecontroleerd) als gecontroleerd voor covariaten; gemiddelden, SD's en d-scores voor paarsgewijze vergelijkingen tussen programma's en controlegroep. Covariaten: Turks, Marokkaans, thuistaal, SES, sekse; schoolscore # p<.10; * p<.05; ** p<.01 31