1 De evolutie van individueel welbevinden, academisch zelfconcept en prestaties doorheen het middelbaar onderwijs: verschillen tussen scholen Georges Van Landeghem Jan Van Damme K.U.Leuven Inleiding Een schooleffectiviteitsstudie bestaat uit twee stappen: (1) Het zoeken naar interessante verschillen tussen scholen (brutoverschillen en allerlei nettoverschillen); (2) Het zoeken naar verbanden tussen die schooleffecten en (liefst beïnvloedbare) schoolkenmerken. Deze bijdrage gaat over de eerste stap. We willen tonen hoe je schoolverschillen op een andere (rijkere) manier kan bekijken wanneer je beschikt over leerlinggegevens die op meerdere tijdstippen en/of met meerdere meetinstrumenten gemeten zijn. Daartoe gebruiken we een aantal voorbeelden die gebaseerd zijn op de LOSOgegevens. Drie criteriumvariabelen komen aan bod: (1) De mate waarin de leerling zich goed voelt op zijn/haar school (in het geval van de normaalvorderenden gemeten op het einde van het eerste, het tweede, het vierde en het zesde leerjaar); (2) Het academisch zelfconcept (zelfde meetmomenten voor de normaalvorderenden); (3) De prestatie Nederlands (die bovendien is gemeten bij de aanvang van het secundair onderwijs). We maken bovendien gebruik van informatie over de loopbanen van de leerlingen. We demonstreren drie manieren waarop multivariate longitudinale metingen het gamma aan mogelijke schooleffecten verrijken: (1) Nieuwe soorten verschillen tussen scholen worden zichtbaar; (2) Univariate schooleffecten worden soms anders ingeschat; (3) Groepen leerlingen met verschillende loopbanen kunnen differentiële schooleffecten vertonen. Nieuwe soorten schooleffecten Dit onderdeel wordt geïllustreerd door middel van modellen met leerling- en schoolniveau (maar zonder klasniveau). De modellen werden geschat voor een groep van 2207 leerlingen. Het zijn de leerlingen uit de LOSO-cohorte die startten in één van de (in LOSO gedefinieerde zesjarige ) proefgroepscholen, die vervolgens zes jaar in diezelfde school bleven, die geen enkel stuk van hun loopbaan in het beroepsonderwijs (B-klas, BVL of BSO) doorbrachten en die na zes jaar een A-attest van het zesde leerjaar behaalden. Univariaat Model Met een univariaat model wordt hier bedoeld: een model dat op de metingen van één tijdstip en één meetinstrument is gebaseerd. Het maakt dus geen gebruik van de
2 multivariate longitudinale structuur van de data. De volgende tabel toont de parameterschattingen (van de verwachtingswaarde, de variantie en de variantiecomponent op schoolniveau) voor dertien modelletjes van dat type. Meettijdstip Parameter 0 1 2 4 6 Zich goed voelen op zijn/haar school Verwachtingswaarde 4.18 4.00 3.56 3.53 Variantie 0.51 0.62 0.67 0.57 Fractie op schoolniveau 8% 7% 8% 8% Academisch zelfconcept Verwachtingswaarde 3.70 3.68 3.47 3.46 Variantie 0.23 0.26 0.24 0.25 Fractie op schoolniveau 2% 3% 3% 3% Prestatie Nederlands Verwachtingswaarde 0.51 0.58 0.61-0.44 0.12 Variantie 0.60 0.89 1.01 1.89 1.49 Fractie op schoolniveau 30% 50% 47% 36% 33% Longitudinaal Model Hier bekijken we modellen waarin de afhankelijke variabele bestaat uit opeenvolgende metingen (meerdere meettijdstippen) die uitgevoerd zijn met één soort meetinstrument. Parameters uit univariate modellen opnieuw geschat. Deze longitudinale modellen leveren, onder andere, nieuwe schattingen voor de parameters van de univariate modellen. De volgende tabel toont, voor drie longitudinale modellen, de schattingen van de verwachtingswaarde, de variantie en de variantiecomponent op schoolniveau voor elk betrokken tijdstip. Meettijdstip Parameter 0 1 2 4 6 Zich goed voelen op zijn/haar school Verwachtingswaarde 4.17 4.01 3.55 3.53 Variantie 0.51 0.62 0.67 0.57
3 Fractie op schoolniveau 8% 6% 8% 8% Academisch zelfconcept Verwachtingswaarde 3.69 3.68 3.46 3.45 Variantie 0.23 0.26 0.24 0.25 Fractie op schoolniveau 3% 3% 3% 3% Prestatie Nederlands Verwachtingswaarde 0.50 0.61 0.57-0.47 0.09 Variantie 0.61 0.82 1.02 1.93 1.53 Fractie op schoolniveau 31% 45% 47% 37% 34% De verschillen met de overeenkomstige schattingen volgens de univariate modellen zijn klein. Toch bestaan de (kleine) verschillen allicht niet enkel uit afrondingsfouten. Dat wil zeggen: de schatters zijn verschillend. (Er is immers geen mathematische regel die zegt dat de schattingen volgens het longitudinaal model gelijk zouden moeten zijn aan de schattingen volgens het univariaat model, op afrondingsfouten na.) Correlaties tussen opeenvolgende metingen. De longitudinale modellen bieden bovendien informatie over een aspect dat ontsnapt aan een analyse door middel van univariate modellen, namelijk: de correlaties tussen de metingen (één correlatie per paar meettijdstippen). Een dergelijke correlatie geeft weer in welke mate de verandering in de score van individuele leerlingen op criteriumvariabelen tussen twee tijdstippen ordelijk verloopt. Bevindt een leerling die zich in het tweede leerjaar in vergelijking met (al) de anderen (in de populatie) goed voelt op zijn/haar school doorgaans nog in dezelfde positie ten opzichte van de anderen op het einde van het vierde leerjaar? Of is de gemiddelde achteruitgang van het zich goed voelen het resultaat van nog veel sterkere veranderingen voor de individuele leerlingen (waarbij sommige leerlingen die zich in vergelijking met de anderen goed voelen op het einde van het tweede leerjaar ongunstig scoren in het vierde leerjaar en omgekeerd.). Naarmate de overgang chaotischer is steken meer leerlingen elkaar voorbij, vanuit het standpunt van de criteriumvariabele in kwestie. De scholen kunnen op een analoge manier bekeken worden. Gebeurt het veel dat scholen elkaar voorbij steken voor wat hun (latente) verwachtingswaarde voor een gegeven criteriumvariabele betreft? Of verlopen de veranderingen eerder ordelijk, zonder dat de rangordening van de scholen door elkaar gegooid wordt? Ook dit kan uitgedrukt worden door middel van een correlatie ( op schoolniveau ), die kan berekend worden uit de parameters van het longitudinaal multiniveaumodel. Deze correlatie kan opgevat worden als een maat voor de stabiliteit van het schooleffect. In het geval van een hoge correlatie (stabiliteit) maakt het
4 eigenlijk niet veel uit op welk van de twee tijdstippen je de positie van een school bekijkt. In een situatie van onstabiliteit is de (latente) rangordening van de scholen sterk afhankelijk van het tijdstip. Merk op dat, in de voorbeelden die we hier presenteren, één mogelijke bron van onstabiliteit van de schooleffecten is uitgeschakeld, namelijk: het feit dat leerlingen van school kunnen veranderen. De volgende tabel toont, voor drie longitudinale modellen, de schattingen van de totale correlaties (individuele leerlingen) en van de correlaties op schoolniveau, voor elk paar tijdstippen. Totaal Schoolniveau Meettijdstip 0 1 2 4 0 1 2 4 Zich goed voelen op zijn/haar school 1 2 0.54 0.91 4 0.31 0.41 0.61 0.67 6 0.25 0.27 0.46 0.46 0.46 0.80 Academisch zelfconcept 1 2 0.60 0.81 4 0.41 0.49 0.45 0.61 6 0.32 0.40 0.54 0.36 0.40 0.73 Prestatie Nederlands 1 0.73 0.84 2 0.71 0.77 0.90 0.93 4 0.66 0.64 0.71 0.91 0.78 0.91 6 0.65 0.64 0.69 0.68 0.90 0.80 0.90 0.97 Per meetinstrumenttype vinden we de hoogste totale correlaties (0.54 voor zich goed voelen op zijn/haar school, 0.60 voor het academisch zelfconcept, 0.73 en 0.77 voor de prestatie Nederlands), niet overwacht, waar het tijdsinterval het kortste is, namelijk één jaar. Merk op dat in het geval van de prestatie Nederlands de totale correlatie over een tijdsinterval van zes jaar (van begin eerste leerjaar tot eind zesde leerjaar) nog 0.65 bedraagt, hoger dus dan de hoogste totale correlaties voor de twee niet-cognitieve criteria. De voorbeelden in deze tekst zijn afkomstig uit een exploratie van de longitudinale en multivariate structuur van een elf criteriumvariabelen uit de LOSO-database. Omdat bij
5 dergelijk verkennend werk in de breedte gewerkt wordt, is het aantal betrokken multiniveaumodellen erg groot. Daarom hebben we ons tot nu toe hoofdzakelijk om puntschattingen van de parameters bekommerd en hebben we de exploratie gestuurd door patronen van puntschattingen in verzamelingen modellen te bekijken. Het bepalen van betrouwbaarheidsintervallen voor schattingen van de parameters van het toevalsgedeelte van multiniveaumodellen is niet eenvoudig (omdat de schatters scheef verdeeld zijn). Dat geldt ook voor de correlaties die uit een combinatie (twee varianties en een covariantie) van dergelijke ruwe parameters berekend worden. Om toch enig houvast te bieden suggereren we, op basis van het geheel van de modellen betrokken in de exploratie, de volgende ruwe vuistregel: in de puntschattingen van de totale correlaties is het tweede cijfer na de komma wellicht betekenisvol (al durven we niet beweren dat een 95% betrouwbaarheidsinterval slechts een breedte van 0.01 zou hebben); het is wellicht veiliger de puntschattingen van de correlaties op schoolniveau af te ronden tot op één cijfer na de komma (0.81 wordt 0.8, 0.36 wordt 0.4 enzovoort), zeker indien de variantiecomponenten op schoolniveau erg klein zijn, zoals in het geval van het academisch zelfconcept. Zonder dit als de definitieve norm voor stabiliteit naar voor te willen schuiven, merken we op dat voor de drie criteria in de tabel zo goed als elke correlatie op schoolniveau groter is dan de overeenkomstige totale correlatie. Zeker bij zeer kleine schooleffecten, zoals in het geval van het academisch zelfconcept, hadden we een dergelijke mate van stabiliteit niet verwacht. (Niet dat we redenen hebben om te verwachten dat het schooleffect op het academisch zelfconcept intrinsiek onstabiel zou zijn. We voorzagen enkel de mogelijkheid dat de meetfout zou kunnen domineren.) Een longitudinaal model kan het vertrouwen in de meting van een schooleffect vergroten (of teniet doen) door middel van de informatie over de stabiliteit. De tabel met correlaties op schoolniveau suggereert dat het schooleffect voor de twee niet-cognitieve resultaten minder stabiel is tussen het einde van het tweede en het einde van het vierde leerjaar dan daarna (tussen eind vierde en eind zesde leerjaar). Multivariaat Longitudinaal Model Hier worden voorbeelden getoond van modellen waarin de metingen van twee instrumenten, telkens voor twee tijdstippen gecombineerd zijn in de afhankelijke variabele (bivariate longitudinale modellen). Het verband tussen de twee meetinstrumenten wordt uitgedrukt door middel van vier correlaties (de correlatie op het eerste tijdstip, de correlatie op het tweede tijdstip en de twee correlaties waarin de twee tijdstippen betrokken zijn). Elk van deze vier correlaties heeft een tegenhanger op schoolniveau. Deze correlaties op schoolniveau beschrijven de consistentie van het schooleffect (tussen de twee betrokken meetinstrumenten). In de volgende tabel staan deze correlaties voor drie instrumentenparen, tesamen met de
6 correlaties die de stabiliteit beschrijven (zie boven). (Die laatste correlaties zijn opnieuw geschat door middel van de bivariate modellen.) Totaal Schoolniveau Meettijdstip I2 I4 J2 I2 I4 J2 I = prestatie Nederlands J = academisch zelfconcept I4 0.71 0.92 J2 0.18 0.15-0.04-0.14 J4 0.17 0.16 0.49 0.18 0.12 0.58 I = academisch zelfconcept J = zich goed voelen op zijn/haar school I4 0.49 0.59 J2 0.27 0.12 0.28 0.16 J4 0.16 0.20 0.41 0.29 0.33 0.56 I = zich goed voelen op zijn/haar school J = prestatie Nederlands I4 0.41 0.63 J2 0.12 0.07 0.09 0.05 J4 0.06 0.10 0.71-0.01 0.12 0.92 In deze voorbeelden is de stabiliteit van de schooleffecten doorheen de tijd groter dan hun consistentie over meetinstrumenten heen. Schooleffecten anders geschat In dit onderdeel worden de schattingen van enkele parameters uit een longitudinaal model mét klasniveau (naast leerling- en schoolniveau) getoond. Ze worden vergeleken met de schattingen van de overeenkomstige parameters volgens univariate modellen (modellen voor één meettijdstip) met leerling-, klas- en schoolniveau. In de volgende tabel staat U voor Univariaat en L voor Longitudinaal. Het longitudinaal model houdt rekening met twee meettijdstippen: het einde van het tweede en het einde van het vierde leerjaar. De modellen zijn geschat voor de groep van 2207 normaalvorderende leerlingen die al in het vorige onderdeel werd bekeken.
7 Eind 2de lj. Eind 4de lj. Parameter U L U L Prestatie Nederlands Verwachtingswaarde 0.55 0.55-0.51-0.54 Variantie 0.97 0.96 1.73 1.74 Fractie op klasniveau 24% 18% 29% 19% Fractie op schoolniveau 39% 43% 24% 31% Zich goed voelen op zijn/haar school Verwachtingswaarde 4.00 4.00 3.55 3.54 Variantie 0.62 0.62 0.67 0.67 Fractie op klasniveau 8% 7% 8% 7% Fractie op schoolniveau 5% 5% 6% 7% Met dit voorbeeld willen we twee dingen tonen. Ten eerste: dat het doenbaar is de clustering van de leerlingen volgens klassen in de longitudinale modellen te verwerken. Zo wordt het eigenlijke schooleffect nauwkeuriger geschat. Bovendien leveren de modellen dan informatie over klaseffecten (verschillen tussen klassen binnen scholen), die eveneens een interessant studie-object vormen. Het inbouwen van het klasniveau in longitudinale modellen kost wel moeite (vrij moeizame implementatie) en zorgt wel eens voor convergentieproblemen. Ten tweede willen we laten zien dat het verschil tussen schattingen volgens een univariaat en volgens een multivariaat model van overeenkomstige parameters soms vrij groot kan zijn. In de tabel is dat het duidelijkst voor de prestatie Nederlands in het vierde leerjaar: volgens het univariaat model is het klaseffect (29%) daar groter dan het schooleffect (24%); volgens het longitudinaal model is het klaseffect (19%) kleiner dan het schooleffect (31%). De schattingen volgens het longitudinaal model verdienen de voorkeur omdat ze meer informatie in rekening brengen. Bij het schatten van het schooleffect in het tweede leerjaar, bijvoorbeeld, houdt het longitudinaal model ook rekening met de informatie (metingen van de criteriumvariabele en informatie over wie bij welke klas en school hoort) die beschikbaar is over dezelfde leerlingen en scholen in het vierde leerjaar. Differentiële Effecten volgens de Loopbaan
8 In een longitudinale studie van leerlingen wordt op meerdere momenten informatie verzameld over elke leerling. In de LOSO-database geldt dat niet alleen voor de criteriumvariabelen maar bijvoorbeeld ook voor de positie van de leerling in het onderwijssysteem. Dat maakt het mogelijk groepen van leerlingen te definiëren volgens hun loopbaan. De volgende tabel geeft drie voorbeelden van veel voorkomende loopbanen (in de eerste vier schooljaren in het secundair onderwijs) van leerlingen die normaalvorderend zijn tot en met de eerste keer dat ze aan het vierde leerjaar beginnen. De loopbanen zijn gedefineerd in termen van de leerjaren (1, 2, 3, 4) stromen (A versus BVL) en onderwijsvormen (ASO, TSO, BSO). Schooljaar Loopbaan 90-91 91-92 92-93 93-94 A 1 2A 3 4ASO T 1 2A 3TSO 4TSO B 1 2BVL 3BSO 4BSO Met deze drie loopbanen en het geslacht definieerden we twaalf groepen leerlingen, waarvan de omvang in de volgende tabel wordt getoond. We beperkten de groepen tot leerlingen die lang in dezelfde school bleven (concreet: in dezelfde school op 15 mei in het tweede leerjaar en op 15 mei in de twee volgende schooljaren). Geslacht Jongens Meisjes Samen Loopbaan T2 T4 T2 T4 T2 T4 A 887 888 1291 1298 2178 2186 T 433 428 376 362 809 790 B 246 262 238 258 484 520 Samen 1566 1578 1905 1918 3471 3496 Volgens longitudinale modellen met leerling- en schoolniveau (maar zonder klasniveau) voor twee meettijdstippen (eind tweede en eind vierde leerjaar) bepaalden we voor elke groep de omvang van de schooleffecten voor de prestatie Nederlands:
9 Geslacht Jongens Meisjes Samen Loopbaan T2 T4 T2 T4 T2 T4 A 11% 8% 15% 12% 14% 9% T 18% 24% 22% 37% 25% 30% B 20% 9% 10% 10% 13% 10% Samen 39% 30% 44% 38% 43% 34% Daarna gebruikten we longitudinale modellen met leerling-, klas- en schoolniveau om ook het klaseffect te schatten en het schooleffect nauwkeuriger te bepalen: (In twee groepen ontbreken deze schattingen, door convergentieproblemen.) Geslacht Jongens Meisjes Samen T2 T4 T2 T4 T2 T4 Loopbaan K S K S K S K S K S K S A 16% 13% 17% 10% 17% 13% 17% 9% T 20% 12% 24% 5% 18% 13% 19% 23% 16% 20% 19% 14% B 29% 5% 4% 6% 5% 7% 24% 6% 18% 7% 18% 4% Samen 21% 34% 27% 25% 21% 40% 22% 34% Zowel de eerste als de tweede tabel tonen een groot verschil in de omvang van het schooleffect naargelang van de loopbaan. Dit is een voorbeeld van een differentieel schooleffect (de omvang van het schooleffect hangt af van de loopbaan). Een ander voorbeeld van een differentieel effect: binnen de groep met loopbaan B is er een groot verschil tussen de klaseffecten voor de jongens en de effecten voor de meisjes. Een onderlinge vergelijking van de twee tabellen laat ook zien dat de fractie van het klaseffect die wordt opgenomen in het schooleffect (wanneer het klaseffect uit het model wordt weggelaten) wisselvallig is. (Zie bijvoorbeeld: de groep van de jongens in loopbaan B). Indien men een duidelijk zicht wil op de gezamenlijke omvang van het effect van de
10 groepering van leerlingen in klassen en scholen, dan is het blijkbaar dus toch nodig het klasniveau expliciet in het model op te nemen. Besluit De voorbeelden in deze bijdrage tonen hoe het samenbrengen van opeenvolgende metingen van meerdere criteriumvariabelen in multivariate longitudinale modellen informatie verschaft over de stabiliteit en consistentie van schooleffecten. Bovendien leveren dergelijke modellen betere schattingen voor de univariate parameters (verwachtingswaarden, varianties, variantiecomponenten). Loopbaaninformatie maakt het mogelijk de leerlingen op interessante manieren te verdelen in groepen en te zoeken naar differentiële schooleffecten. Modellen met klasniveau verschaffen meer inzicht dan modellen met enkel het leerling- en het schoolniveau, maar zijn moeilijker te implementeren en worden soms geplaagd door convergentieproblemen.