Scholen langs de meetlat

Transcriptie

1 Scholen langs de meetlat Norman Verhelst, Gerrit Staphorsius, Frans Kleintes Citogroep Arnhem november 2003 Inleiding Dat scholen verantwoording moeten afleggen over wat ze met overheidsgeld doen is sinds een viftal aren zowat een tophit geworden in Nederland, zeker sinds ze in oktober 1997 de pers haalden met een lange list in Trouw, waar de scholen per provincie en per schooltype gerangordend werden naar prestatie. Het opstellen van zulk een rangordening is echter geen sinecure, want men kan verschillende criteria hanteren om te rangordenen. Trouw gebruikte er vif: het percentage onvertraagd geslaagden, het percentage uitvallers en zittenblivers, en het gemiddelde examencifer voor Nederlands, Engels en Wiskunde A. Als zesde criterium werd daar nog een soort samenvattend rapportcifer aan toegevoegd, dat was ontwikkeld door Jaap Dronkers, en dat pretendeerde de vif andere criteria samen te vatten. De suggestie die van zo een rangordening uitgaat is dubbel: scholen bovenaan in de rangordening zin van een betere kwaliteit dan scholen onderaan, en als ouders hun kinderen naar een school van betere kwaliteit sturen zullen de prestaties ook beter zin. Voorliggend artikel is een kritische kanttekening bi deze suggestie. Examencifers zin oorspronkelik bedoeld om de kennis of vaardigheid van individuele leerlingen in een bepaald vak te meten en gebaseerd op deze examencifers beslissingen te nemen die in de eerste plaats de individuele leerling betreffen. De rechtvaardiging van zulke beslissingen wordt gebaseerd op begrippen die centraal staan in de testtheorie: betrouwbaarheid en validiteit. Bi onbetrouwbare metingen neemt men veel onterechte beslissingen: leerlingen zakken of slagen ten onrechte als gevolg van een meetfout die men niet in de hand heeft. Validiteit is een veel complexer begrip; eigenlik moet men niet spreken over de validiteit van een meting maar over de validiteit (geldigheid) van de besluiten die men aan een meetuitslag verbindt. Als men een leerling laat zakken omdat hi niet meer dan een vif heeft gehaald op een examen, bedoelt men eigenlik dat een laag cifer een onvoldoende kennis of beheersing van het vakgebied weerspiegelt, maar als het examen bivoorbeeld slechts een hoofdstuk van de leerstof bevraagt, kan men het verband tussen cifer en beheersing van de hele leerstof nauweliks nog verdedigen: de validiteit van het besluit zakken of slagen komt in het geding. Bi de kwaliteitsmeting van een school, gebaseerd op gemiddelde examencifers of andersoortige toetsuitslagen van individuele leerlingen, is de statistische eenheid niet meer de leerling, maar de school, en men dient zich de vraag te stellen naar de betrouwbaarheid en de validiteit van de schoolmeetuitslag. Om het exposé niet al te droog te maken, hanteren we een voorbeeld dat niet de krant heeft gehaald, maar waarin wezen dezelfde problemen aan de orde komen als in het Trouw artikel: kunnen we op grond van leerlingprestaties scholen goed (betrouwbaar) ordenen, en in welke mate reflecteert deze ordening een ordening naar kwaliteit? In de volgende paragraaf geven we enige uitleg over dit voorbeeld. De casus: de Entreetoets Groep 7 In groep 8 van het basisonderwis nemen veel scholen de Eindtoets Basisonderwis af, die dient als een extern gegeven voor het schoolkeuzeadvies dat de school aan het einde van het basisonderwis aan elke leerling moet uitbrengen. Voor leerlingen van groep 7 heeft het Cito een gelikaardige toets ontwikkeld, de Entreetoets Groep 7. Deze toets bestaat uit drie hoofdonderdelen: Taal, Rekenen - Wiskunde en Studievaardigheden. Deze hoofdonderdelen zin opgesplitst in rubrieken. Zo bestaat Taal uit: Produceren van teksten, Schriven, Herkennen van de persoonsvorm, Spelling, Begripend van teksten en Woordenschat.

2 Alle deeltoetsen bestaan uit een aantal meerkeuzevragen. De deeltoetsscore van een leerling is het aantal correct beantwoorde vragen. De leerling streept zin antwoorden aan op een optisch leesbaar formulier. Scoring en rapportage worden door het Cito verzorgd. De rapportage bestaat uit twee onderdelen. Per leerling wordt een Leerlingprofiel gemaakt: Een overzicht van zin behaalde scores over deeltoetsen, hoofdrubrieken en de totale toets gegeven (omgezet in percentage goed en percentielrangen). In het Schoolprofiel rapporteert het Cito per deeltoets, hoofdrubriek en de totale toets de schoolgemiddelden en de geschatte percentielrang in de populatie van scholen. Dit laatste cifer dient een dubbel doel: een school krigt op die manier een profiel binnen over de verschillende deeldomeinen, en kan zelf een oordeel vormen over haar sterke en zwakke kanten door de deeldomeinresultaten met elkaar te vergeliken, maar tezelfdertid kan de school haar eigen positie bepalen in de populatie van scholen. In die zin kan de geschatte percentielrang van de school opgevat worden als een soort relatieve positionering van de eigen school ten opzichte van andere scholen: een geschatte percentielrang van 92 geeft aan dat slechts 8% van de scholen het beter doet. In wat hierna volgt zullen we uiteenzetten hoe deze geschatte percentielrang per school tot stand komt en wat de speciale moeilikheden zin waarmee we rekening dienen te houden. Om een indruk te krigen van de omvang van de studie geven we eerst wat basisgegevens. In 1998 namen 4381 scholen deel aan de Entreetoets met een totaal van leerlingen. Het aantal leerlingen per deelnemende school varieerde van 1 tot 103, met een gemiddelde van 25.7 leerlingen per school. Scholen nemen deel op basis van vriwilligheid, en we weten niet in welke mate de deelnemende scholen een representatief beeld geven van de totale schoolpopulatie. Voor de argumenten die hierna volgen doet deze representativiteit echter niet veel ter zake. Kik uit met gemiddelden We starten de argumentatie met een klein onderzoeke naar een schinbaar eenvoudige methode om scholen met elkaar te vergeliken: bereken per school het toetsgemiddelde en rangorden de scholen naar dit gemiddelde. Het rangnummer wordt geïnterpreteerd als een kwaliteitsindex. Om deze index op zin waarde te kunnen schatten scheppen we een artificieel kader, waarin we precies weten wat er aan de hand is. Zulk een artificieel kader wordt ook wel een nulmodel genoemd. Het nulmodel is heel simpel: er zin geen systematische verschillen tussen scholen wat betreft het prestatieniveau en allerlei variabelen die met het prestatieniveau correleren. Er zin wel verschillen tussen scholen qua aantal leerlingen in groep 7. Om het voorbeeld eenvoudig te houden nemen we aan dat de helft van de scholen 16 leerlingen heeft in groep 7 en de andere helft 64. Men zou zulk een situatie kunnen creëren door leerlingen aselect aan scholen toe te wizen, met in acht name van de voorgeschreven schoolgrootte. Voorts nemen we aan dat in de populatie de toetsscores normaal verdeeld zin met een gemiddelde µ = 100 en standaardafwiking σ = 16. Onder het nulmodel vormen de toetsuitkomsten binnen elke klas een toevallige steekproef uit de populatie. Met elementaire wetten uit de statistiek kunnen we ook iets zeggen over de verdeling van de gemiddelden: bi de kleine klassen is het klassengemiddelde normaal verdeeld met gemiddelde µ = 100 en standaardafwiking σ/ n = 16/ 16 = 4, terwil bi de grote klassen de verdeling hetzelfde gemiddelde heeft van 100 maar een standaardafwiking van 16/ 64 = 2. Maken we nu een figuur van de verdeling van de klassengemiddelden bi de grote en kleine klassen afzonderlik, dan krigen we het resultaat zoals afgebeeld in het linkerpaneel van Figuur 1. Maken we echter een enkele figuur voor alle scholen gezamenlik, dan krigen we het rechterpaneel van Figuur 1, waarbi het onderscheid tussen grote en kleine klassen is verdoezeld. De verdeling van de klassengemiddelden heeft een gemiddelde van 100 en een standaardafwiking van ((16+4)/2) = 10 = Figuur 1 Verdeling van de klasgemiddelden voor grote en kleine klassen afzonderlik Verdeling van de klasgemiddelden voor grote en kleine klassen samen

3 Het wordt interessant als we nu gaan kiken wie in de staarten van de gezamenlike verdeling terechtkomt. Definiëren we de staarten als de uitkomsten die meer dan één standaardafwiking van het gemiddelde verschillen, d.w.z. een schoolgemiddelde hebben kleiner dan of groter dan In de verdeling van de kleine klassen komt een uitkomst in de linkerstaart overeen met een z-waarde van ( )/4 = -0.79, en uit de tabellen van de normale verdeling vinden we dat bi de kleine klassen ongeveer 21.5% een gemiddelde zal behalen kleiner dan Bi de grote klassen komt overeen met een z-waarde van ( )/2 = en we vinden dat van de grote klassen ongeveer 5.7% een klassengemiddelde zal halen dat kleiner is Selecteren we nu alle scholen in de linkerstaart, dan stellen we vast dat van die scholen 100*21.5/( ) =79% uit kleine scholen bestaat en slechts 21% uit grote scholen. Omdat de verdeling van de schoolgemiddelden symmetrisch is, vinden we dezelfde uitkomst voor de rechterstaart. Een ondoordacht onderzoeke zou ons schinbaar op het spoor kunnen brengen van een nieuw fenomeen in de Nederlandse onderwiswereld, namelik dat het vooral kleine scholen zin die extreem scoren op een kwaliteitsindex, terwil we nu weten dat we niets anders in kaart hebben gebracht dan een statistische wetmatigheid die zegt dat gemiddelden, berekend op kleine steekproeven een grotere variabiliteit vertonen dan gemiddelden berekend op grote steekproeven. Daarmee is niet gezegd dat we geen zinvolle vergelikingen kunnen maken tussen scholen waarbi we toch de gemiddelde schoolprestatie als basisgrootheid hanteren. We moeten echter heel omzichtig met deze gemiddelden omspringen. Dit is het onderwerp van de volgende paragraaf. Een simpel meerniveaumodel We breiden het nulmodel van de vorige paragraaf uit met een kleine, doch essentiële aanvulling: de leerlingen worden nog steeds aselect toegewezen aan de scholen, maar er veranderen twee zaken: de klassen in groep 7 zin nog steeds niet even groot, maar de klassengrootte kan meer dan twee waarden aannemen. Over de reden waarom die klassengroottes verschillen maken we ons niet druk. De tweede verandering is wel belangrik: we veronderstellen nu dat de hele schoolorganisatie, de manier van lesgeven, de vooropleiding van leerkrachten, etc. een systematische invloed hebben op de prestatie van de leerlingen, en dat deze systematische invloed tot uiting komt in een (uniforme) toe- of afname van de toetsscore van alle leerlingen. Iets abstracter: als een groep leerlingen naar school gaat dan neemt hun score toe met een waarde u in vergeliking met de waarde u k die zou gelden wanneer ze naar school k zouden gaan. Deze waarden, of nauwkeuriger gezegd schooleffecten, kunnen zowel positief als negatief zin, en we kiezen ze zo dat ze gemiddeld over alle scholen gelik zin aan nul. Het doel van de analyse is nu voor elke school het schooleffect u te schatten. In een simpele mathematische vorm schriven we dit zo: Y i = µ + u + e i (1) waarbi Y i de score voorstelt van leerling i in school, u is het schooleffect van school en e i is het leerlingeffect van leerling i binnen school. Men neemt doorgaans aan dat de schooleffecten normaal verdeeld zin met een gemiddelde nul en een variantie τ 2 ; van de leerling-effecten neemt men aan dat ze normaal verdeeld zin met een gemiddelde 2 van 0 en een variantie van. σ 2. De variantie τ 2 is de tussenschoolvariantie, en σ 2 is de binnenschoolvariantie. De absolute waarde van deze varianties is voor de verdere analyse niet belangrik, alleen hun onderlinge verhouding. Een grootheid die uitsluitend afhankelik is van deze onderlinge verhouding is de zogenaamde intraklas-correlatie ρ waarvan de formule luidt ρ =τ 2 /(τ 2 + σ 2 ) (2) Een voorbeelde: stel τ 2 = 150 en σ 2 = 500, dan is ρ = 150/( ) = De interpretatie is dan de volgende: de totale variantie van Y is τ 2 + σ 2 = = 650, en van deze totale variantie kan 100 ρ = 23% worden toegeschreven aan systematische verschillen tussen scholen. De intraklas-correlatie speelt een belangrike rol in de analyse zoals we verder zullen zien. 1 In de totale populatie zal dus (21.5%+5.7%)/2 = 13.6% van de scholen een gemiddelde hebben kleiner dan Dit komt niet overeen met het percentage dat men vindt in de tabellen van de normale verdeling, maar de verdeling in het rechterpaneel van Figuur 1 is geen normale verdeling; ze is een zogenaamde mixture van twee normale verdelingen. 2 In principe zin de gemiddelden van schooleffecten en leerling-effecten willekeurig, maar men moet ze een waarde toekennen, anders heeft de parameter µ geen betekenis. Door voor beide nul te kiezen komt de parameter µ overeen met het populatie gemiddelde van de variabele Y.

4 De analyse verloopt in twee stappen: eerst schat men uit de gegevens de drie onbekende parameters: µ, τ 2 en σ 2 Het model, gegeven in formule (1), noemt men een meerniveaumodel, omdat leerlingen (niveau 1) genest zin binnen scholen (niveau 2). (Zie voor een goede inleiding: Sniders en Bosker, 1999). Daarna gaat men voor elke school het schooleffect schatten. We geven eerst een voorbeeld van stap 1. In Tabel 1 staan de schattingen van de variantiecomponenten en de intraklas-correlatie voor de drie hoofdrubrieken van de Entreetoets en voor de totale Entreetoets. Tabel 1. Variantiecomponenten in het simpele meerniveau model τ 2 σ ρ Taal % Rekenen - Wiskunde % Studievaardigheden % Totaal % De tweede stap kan pas worden uitgevoerd worden na de eerste omdat we in de tweede stap de waarde van µ en ρ nodig hebben. De formule voor de schatting van het schooleffect u is u$ = ( Y µ ) n ρ ( n ) 1 ρ + 1 waarbi Y de gemiddelde schoolscore is van school, en n het aantal leerlingen van school dat aan de toets heeft deelgenomen. Het is belangrik om de structuur van deze formule goed te begripen: het verschil tussen het schoolgemiddelde en het populatiegemiddelde wordt vermenigvuldigd met een getal, namelik de uitkomst van de breuk in formule (3). Van deze breuk kan worden aangetoond dat haar uitkomst altid tussen nul en een ligt, dat de uitkomst toeneemt als ρ toeneemt en als n toeneemt. Dit betekent dat twee scholen die hetzelfde gemiddelde halen, niet automatisch dezelfde schatting van het schooleffect krigen In Tabel 2 geven we enkele voorbeelden. De schatting van µ voor de totale Entreetoets Groep 7 bedraagt 260 en de standaardafwiking ongeveer 60. We beschouwen 6 scholen, drie hebben een schoolgemiddelde van 290 en drie hebben een schoolgemiddelde van 230 (Zie Tabel 2).. Y µ Tabel 2. Het effect van de klassengrootten op de schatter u ˆ n u $ z( u $ ) P-rang (3) De schatting van u kunnen we omzetten in een z-waarde (de variabele u heeft een gemiddelde van nul een standaard afwiking van 659 = 25.7, zie Tabel 1), en deze z-waarde kunnen we weer omzetten in een percentielrang met behulp van de tabellen van de normale verdeling. In Tabel 2 is heel duidelik het zogenaamde regressie-effect in kaart gebracht: de schattingen van u regresseren naar hun gemiddelde waarde, (dit wil zeggen: de schatting van u is in absolute waarde kleiner dan de afwiking van het schoolgemiddelde tot het populatiegemiddelde) en deze regressie is des te sterker naarmate het aantal leerlingen waarop het gemiddelde is gebaseerd kleiner wordt. De regressie verdwint alleen in het limietgeval als het aantal leerlingen naar oneindig gaat, maar dat is voor de praktik natuurlik niet interessant. Kunnen we zo n schatter nu redelik noemen? We staan voor de paradoxale situatie dat, in het voorbeeld van Tabel 2, drie scholen exact hetzelfde schoolgemiddelde hebben behaald en toch verschillend worden gewaardeerd. Er zin twee zinvolle argumenten aan te voeren om dit standpunt te verdedigen. Het eerste argument zou men de overtuigingskracht kunnen noemen. Als een leerkracht (in het gegeven voorbeeld) vertelt dat de gemiddelde score in zin klas 100 punten boven het nationaal gemiddelde ligt, zal de belangrikste vraag zin naar de omvang van zin klas. Als dan schoorvoetend wordt toegegeven dat er dit

5 aar helaas maar 1 leerling in groep 7 zat, zal men de behaalde score niet als een sterk argument voor het vakmanschap van de leerkracht aanzien. Men zal eerder geneigd zin te opperen dat het hier toch wel een erg knappe leerling betreft. Vinden we echter een zelfde klassengemiddelde in een klas met 40 leerlingen (in ons model toevallig aan deze klas toegewezen), dan zullen we eerder overtuigd raken van het goede vakmanschap van de leerkracht. Net zoals we eerder overtuigd zin van rimanskunst (of roekeloosheid) wanneer iemand een uurgemiddelde haalt van 120 km per uur over een afstand van 400 kilometer dan over een afstand van 4 kilometer. Een tweede argument, dat met het eerste nauw verband houdt is de nauwkeurigheid van de schatter. Beschouw het volgende voorbeeld. In een populatie van mannelike volwassenen bestaat een behoorlik hoge correlatie tussen lichaamslengte en lichaamsgewicht. Daarom kunnen we het lichaamsgewicht vri nauwkeurig voorspellen (schatten) uit de lichaamslengte. Stel dat het geschatte lichaamsgewicht van mannen van twee meter lang 91 kilogram bedraagt, dan bedoelen we daarmee niet te beweren dat alle mannen van twee meter lang 91 kilogram wegen. Wat we er precies mee uitdrukken is dat de gemiddelde lichaamslengte van mannen van twee meter lang 91 kilogram is, maar in deze subpopulatie zal er zeker nog variatie in het lichaamsgewicht zin. De schatting van u kunnen we op dezelfde manier interpreteren. Neem als voorbeeld de eerste ri uit Tabel 2, die we als volgt moeten interpreteren: in de subpopulatie van alle scholen van 50 leerlingen, hebben de scholen met een schoolgemiddelde van 30 punten boven µ gemiddeld een schooleffect van 27.5, maar daarmee is niet gezegd dat dit geldt voor elke individuele school De variatie rond dit voorspelde gemiddelde drukken we uit door de standaardfout aan te geven. We geven de formule voor deze standaardfout niet, maar we zeggen er wel iets belangriks over: de standaardfout is eveneens afhankelik van ρ en van n, en wel zo dat de standaardfout toeneemt als ρ of n afnemen. Dit betekent dat de voorspelling nauwkeuriger is (kleinere standaardfout) voor grote scholen dan voor kleine scholen. We kunnen deze standaardfout gebruiken om bivoorbeeld een 90% betrouwbaarheidsinterval af te bakenen rond de schatter (de schatting minus en plus 1.64 keer de standaardfout), en de grenzen van dit (symmetrische) betrouwbaarheidsinterval kunnen we weer via de tabellen van de normale verdeling omzetten in een (asymmetrisch) interval voor de percentielrang. In Tabel 3 geven we een aantal voorbeelden van deze betrouwbaarheidsintervallen met percentielrangen voor de Entreetoets (totaalscore) in het simpele meerniveaumodel dat we hier hanteren. Tabel 3. schattingen van de percentielrang en 90% betrouwbaarheidsinterval n ondergrens schatting bovengrens Y µ We merken op dat de breedte van de betrouwbaarheidsintervallen toeneemt naarmate de grootte van de klas afneemt, maar ook dat de breedte toeneemt als de gemiddelde score dichter bi het algemeen gemiddelde komt te liggen. Dit laatste komt door de omzetting van z-waarden in percentielrangen. Maar wellicht het meest opvallende aan Tabel 3 is de grootte van de intervallen zelf: zelfs voor een groep van 50 leerlingen en een gemiddelde score van 30 punten boven het populatiegemiddelde kunnen we eigenlik niets méér zeggen dan dat de school behoort tot het beste kwart van de populatie, maar niet tot de top vif procent, en dan nog zal deze uitspraak in 10% van de gevallen fout zin. Voor een school van 10 leerlingen met hetzelfde schoolgemiddelde ligt de ondergrens van het interval behoorlik onder de 50. Dit impliceert dat dit gemiddelde niet significant boven het populatiegemiddelde µ ligt als we eenzidig toetsen op het 5% niveau. Het voorbeeld in Tabel 3 is in bepaalde opzichten teleurstellend: de onzekerheid over wat we over het schooleffect kunnen zeggen is groot, maar rechtvaardigt zeker niet de conclusie dat we er eigenlik niets over kunnen zeggen. Neem als voorbeeld een school van 50 leerlingen met een gemiddelde dat 30 punten onder µ ligt. Het betrouwbaarheidsinterval van de percentielrang is het complement van dat in de eerste ri van Tabel 3. Het 90% betrouwbaarheidsinterval is dus (6-27): we zin er behoorlik zeker van dat deze school tot het laagste kwartiel behoort. Maar dat zal niemand verwonderen: we zeggen eigenlik dat we grote verschillen niet zondermeer aan toeval kunnen toeschriven. We moeten echter voorzichtig zin met kleine verschillen: als we scholen rangordenen naar de grootte van hun geschat schooleffect, dan kunnen we zeker niet beweren dat de 10% laagst gerangschikte overeenkomen met de 10% die in werkelikheid het laagste schooleffect hebben. En men hoort erg goed na te denken voor men deze scholen met naam en toenaam in de krant of op het internet zet, want een behoorlik aantal staat er onterecht.

6 Hier eindigt eigenlik het verhaal over de betrouwbaarheid van het meetinstrument dat we voor de scholen hanteren. Er bestaat een handige analogie met de betrouwbaarheidstheorie in de klassieke testtheorie: het schoolgemiddelde komt overeen met de geobserveerde score en de som (u + µ) komt overeen met de ware score. Het aantal leerlingen in de school komt overeen met het aantal items in een toets, en de breuk in formule (3) komt overeen met de betrouwbaarheid van de toets. Het opmerkelikste verschil met de gewone toepassingen van de klassieke testtheorie is dat de betrouwbaarheid van het meetinstrument niet voor alle scholen dezelfde is, maar afhangt van het aantal leerlingen in de school. Een heel ander verhaal, waar veel minder statistiek aan te pas komt, maar wat heel wat belangriker is, is het validiteitsvraagstuk. Als we even abstractie maken van de ellende die de verschillende schoolgroottes met zich meebrengen (dus even doen of alle klassen even groot zin), dan zin alle schatters van het schooleffect monotoon in de gemiddelde toetsscore, dit betekent, hoe groter de gemiddelde toetsscore, des te groter is de schatter van het schooleffect. Als we nu boudweg beweren dat een school met een groter gemiddelde een betere school is, zullen we ongetwifeld de wind van voren krigen. Sommige schoolleiders zullen klagen dat het nogal wiedes is dat ze lagere resultaten halen dan hun buurman, want ze krigen immers hoofdzakelik zwakke of probleemleerlingen binnen. In termen van het simpele model dat we in deze paragraaf hanteerden, moeten we zeggen dat het model veel te simplistisch is: er is geen a-selecte toewizing van leerlingen aan scholen; integendeel, er is een buitengewoon complex selectieproces waardoor leerlingen wel naar de ene en niet naar de andere school gaan. In de volgende paragraaf zetten we uiteen hoe men in schooleffectiviteitsonderzoek meestal te werk gaat om dit selectieprobleem aan te pakken. Een realistischer meerniveaumodel: correctie voor instroom-ongelikheid Omdat het uitvoeren van een aselecte toewizing van leerlingen aan scholen een onmogelikheid is, bedient men zich van statistische technieken om de onvermidelike selectie in de toewizing te neutraliseren. Een veel gebruikte techniek, die ook bi meerniveaumodellen goed is te gebruiken is de covariantie-analyse. De voornaamste kritiek op de praktik van het botweg vergeliken van gemiddelden is dat het initiële niveau van de leerlingen bi de aanvang van het onderwis systematische verschillen kan gaan vertonen tussen de scholen. Als we nu een goede indicator hebben voor dat aanvangsniveau, dan kunnen we die meenemen als covariaat. Zo n indicator zou bivoorbeeld kunnen zin de score op een intelligentietest, of (in het voortgezet onderwis) de score op eindtoets basisonderwis (de Citotoets). Stellen we zo n covariaat voor door het symbool X i (de score op de covariaat X van leerling i in school ), dan kunnen we het eenvoudige model dat gegeven is in formule (1) uitbreiden tot het volgende 1 : Y = β + β X + u + e i 0 1 i i In dit model moeten vier parameters worden geschat: de regressiecoëfficiënten β 0 en β 1 en de twee variantiecomponenten τ 2 en σ 2. Maar door het toevoegen van een covariaat gaan we eigenlik al een gedeelte van de variantie verklaren: we veronderstellen immers dat leerlingen met een hoge waarde op de covariaat ook een hoge waarde op de criteriumvariabele Y zullen halen. Indien dit zo is, dan zal de overblivende niet verklaarde variantie kleiner worden. De variantie σ 2 zal kleiner worden dan in het model zonder covariaat omdat de leerlingen binnen de klas verschillende waarden op de covariaat hebben, en de variantie van de schooleffecten zal afnemen als het gemiddeld niveau op de covariaat van school tot school verschilt. De afname van beide varianties zal in de regel niet gelikelik zin, met als gevolg dat de intraklascorrelatie niet dezelfde waarde zal hebben als in het model zonder covariaat. In de analyse van de Entreetoetsgegevens hebben we de score op de deeltoets begripend lezen (die dan ook geen deel meer uitmaakt van de totaalscore) als covariaat gebruikt. In Tabel 4 geven we voor de drie hoofdrubrieken de variantiecomponenten en de intra-klascorrelatie. In de laatste kolom is de intraklascorrelatie voor het model zonder covariaten (Tabel 1) toegevoegd om de vergeliking te vergemakkeliken. Als we Tabel 4 met Tabel 1 vergeliken, zien we duidelik dat beide variantiecomponenten sterk zin afgenomen, we hebben door toevoeging van de covariaat (waar scholen weinig controle op hebben) een groot gedeelte van de variantie verklaard. Van de resterende variantie kan nu echter een veel kleiner deel toegeschreven worden aan verschillen tussen de scholen. De intraklas-correlaties zin grosso modo gehalveerd. 1 De constante µ uit formule (1) hebben we vervangen door een meer neutraal symbool β 0 omdat in deze meer algemene modellen deze constante niet langer overeenkomt met het populatiegemiddelde

7 Tabel 4. Variantiecomponenten met gebruik van een covariaat τ 2 σ 2 100*ρ (met cov) 100*ρ (zonder cov.) Taal % 17.6% Rekenen - Wiskunde % 15.0% Studievaardigheden % 18.0% Totaal % 18.1% De verdere analyse verloopt geheel analoog met de analyse in het model zonder covariaten. Voor de schatting van het schooleffect gebruiken we nu de volgende formule: u$ = ( Y β β X ) 0 1 n ρ ( n ) 1 ρ + 1 waarin X de gemiddelde waarde is van de covariaat in school. We zien aan de formule dat de schatting van het schooleffect nu niet meer alleen gebaseerd is op het schoolgemiddelde op de toets, maar op een gecorrigeerd gemiddelde. De breuk in het rechterlid van (4) heeft dezelfde gedaante als in (3), maar de uitkomst van de breuk zal kleiner zin omdat ρ kleiner is geworden. Als we weer tabellen construeren zoals Tabel 2 en Tabel 3 zullen we zien dat het regressie-effect nog sterker wordt en de betrouwbaarheidsintervallen nog breder. En zo zin we gevangen in een soort dilemma: het gebeurt namelik heel vaak dat bi correctie voor verschillen tussen scholen de intraklas-correlatie daalt, waardoor het vergeliken van scholen onderling een steeds hacheliker onderneming wordt, maar als we niet corrigeren dan zin verschillen tussen scholen voor een gedeelte toe te schriven aan selectieverschillen, en het kan toch niemands bedoeling zin om scholen daarop af te rekenen. Maar waarop willen we ze dan eigenlik wel afrekenen? (4) De hamvraag: wat is kwaliteit? Gesteld dat men vrede heeft met de vri onnauwkeurige plaatsbepaling van de individuele scholen in de schoolpopulatie, dan is de belangrikste vraag of men de verschillen mag interpreteren als verschillen in kwaliteit. Met de resultaten van een regressieanalyse moet men uiterst voorzichtig omspringen, en eigenlik is alleen een negatieve interpretatie gerechtvaardigd: in het voorbeeld van de Entreetoets kunnen we zeggen dat de schoolvariantie die overblift na het invoeren van de covariaat niet toe te schriven is aan die covariaat, maar daaruit volgt geenszins dat deze variantie dus verschillen in kwaliteit weerspiegelt. Men kan immers altid aanvoeren dat door het invoeren van een covariaat niet alle selectieverschillen zin weggewerkt. Dit wordt in de onderzoekswereld erkend, en in het meeste schooleffectiviteitsonderzoek worden verschillende covariaten ingevoerd. Maar dit lost het probleem niet op: de conclusie dat de overblivende variantie aan verschillen in kwaliteit is toe te schriven is logisch gezien niet gerechtvaardigd, ook al kan niemand in heel Nederland nog een andere zinvolle covariaat bedenken. Men zou al een eind gevorderd zin als men het begrip kwaliteit beschouwde als een theoretisch construct, waar een min of meer heldere definitie van beschikbaar is. Dan is meteen ook duidelik wat (een onderdeel van) het wetenschappelik programma van het schooleffectiviteitsonderzoek moet zin, namelik aantonen dat de meetuitslag van de scholen (de schatting van u ) behoorlik correleert met dit construct. Dit is de kernvraag van elk wetenschappelik onderzoek: het aantonen van de constructvaliditeit van de observeerbare variabelen die men hanteert. En wat zeker belangrik is, is dat de bewislast ligt bi diegenen die beweren dat verschillen in u-maten verschillen in kwaliteit weerspiegelen, en niet bi het wetenschappelik forum, de schoolleidingen, de ouders of de politiek die misschien niet zo gauw een andere verklaring weten te verzinnen. Men kan de situatie goed vergeliken met de rechten van burgers in een rechtsstaat. Als bi een misdaad zeven personen verdacht worden, en het politieonderzoek kan zes verdachten uitsluiten (omdat ze bivoorbeeld een overtuigend alibi hebben), dan volgt daaruit geenszins de schuld van de zevende verdachte, en men kan zeker niet eisen dat die zin onschuld moet bewizen. Om de constructvaliditeit van de meetuitkomsten te onderzoeken is in ieder geval een onafhankelike maat van kwaliteit nodig, anders riskeert men in een circulaire redenering terecht te komen: een school met een lage u-waarde levert slechte kwaliteit want haar u-waarde is laag. Men dient de constructie van een kwaliteitsdefinitie niet al te licht op te vatten. We illustreren dit aan twee voorbeelden. Voorbeeld een heeft betrekking op de gehanteerde onderwismethode, voorbeeld twee gaat over de grootte van de klassen.

8 In onderwisland is de laatste aren grote aandacht besteed aan de didactiek voor het vak rekenen in het primair onderwis. In de periodieke peiling van het onderwisniveau (PPON, Janssen, Van der Schoot, Hemker en Verhelst, 1999) is aangetoond dat er duidelike verschillen zin in de leerlingprestaties al naar gelang van de op school gehanteerde rekenmethode. Men zou de bereidheid om de resultaten van didactisch onderzoek serieus te nemen en te investeren in de betere methoden als een onderdeel van de kwaliteit van de school kunnen beschouwen. Door de gebruikte methode als extra covariaat op te nemen kan men kwantificeren hoeveel procent van de tussenschoolse variantie door de verschillende methoden wordt verklaard. Maar ook hier schuilt een adderte onder het gras: aan de meetinstrumenten die in het peilingsonderzoek zin gebruikt kan men niet zomaar een neutrale status toekennen die, onafhankelik van welke methode ook, een algemene geldigheid bezit als operationalisatie van wat de leerlingen kunnen. De specifieke vorm van de vragen in de toetsen zou er kunnen voor zorgen dat bepaalde methodes bevoordeeld worden. Het tweede voorbeeld wordt ontleend aan het zeer lezenswaardig hoofdstuk van Oosterbeek en Webbink (2001) in het recent verschenen boek Het Oog der Natie: Scholen op Rapport. Men kan in een meerniveau-analyse de klassengrootte opnemen als covariaat en onderzoeken in welke mate deze covariaat de tussenschoolse variantie reduceert. Maar als deze variabele een zeer succesvolle predictor blikt te zin, moet men niet automatisch concluderen dat een klassenverkleining op een mechanische manier zal leiden tot verbetering van de prestaties. Immers, de geobserveerde variabele klassengrootte kan verward (confounded) zin met een andere causale variabele: Oosterbeek en Webbink opperen dat de aandacht die kinderen thuis krigen voor hun schoolse activiteiten wellicht een grotere rechtstreekse invloed heeft op de schoolse prestaties dan de klassengrootte per se. Als ouders die veel aandacht geven aan hun kinderen ook nog eens een voorkeur hebben voor kleine klassen, krig e automatisch een correlatie tussen klassengrootte en prestatie, ook als de klassengrootte per se er niets toe doet. Indien dit het geval zou zin leidt elke (geldverslindende) beleidsmaatregel die zorgt voor klassenverkleining tot een nulresultaat. Dit voorbeeld toont duidelik aan, ongeacht de uistheid van de hypothese van de auteurs, dat een goed uitgewerkte theorie over de determinanten van schoolse prestaties broodnodig is. De meerniveau-analyse is daarbi een nuttig analyse instrument, maar ook niet meer dan dat. Besluit De meerniveau analyse wordt in Nederland gepromoot als het geschikte instrument bi uitstek om systematische verschillen tussen scholen zichtbaar te maken. (zie bivoorbeeld Bosker, Béguin en Rekers- Mombarg, 2001) De techniek is een uitbreiding van de covariantie-analyse waarbi de residuele variantie kan worden uitgesplitst naar verschillende niveaus. De rangordening van scholen (of de schatting van het schooleffect) is essentieel gebaseerd op de gemiddelde schoolprestatie, die gecorrigeerd wordt voor verschillen in de covariaten. Dit is de meetuitslag voor de school. De betrouwbaarheid van die meetuitslag is afhankelik van de intraklascorrelatie ρ en van de schoolgrootte. Voor klassen van 25 leerlingen en een waarde van ρ van ongeveer 18% is die betrouwbaarheid Hoewel dit misschien redelik likt, hebben we laten zien dat een 90%- betrouwbaarheidsinterval van de percentielrang van een school in de verdeling van schooleffecten behoorlik breed is. De teleurstellende vinding is dat hoe meer we ons best doen om onbedoelde selectieverschillen op schoolniveau weg te werken, des te meer ρ en dus ook de betrouwbaarheid van de schooleffectscore gaat dalen. Op het gebied van de validiteit is de belangrikste vraag hoe men kan rechtvaardigen dat de residuele variantie na correctie voor instroomverschillen een valide maat is voor de kwaliteit van een school. We hebben betoogd dat de bewislast voor de geldigheid van deze uitspraak ligt bi diegenen die deze uitspraak doen en dat een onmisbaar onderdeel in de bewisvoering een onafhankelike maat (of liever gezegd theorie) van de schoolkwaliteit is. Met een paar voorbeelden hebben we laten zien hoe gecompliceerd het is om zo n theorie te bouwen. Moeten scholen dan geen verantwoording afleggen over wat ze met het geld van de gemeenschap doen? Natuurlik moeten ze dat, en het is een legitieme vraag van de politiek en van de publieke opinie om aan de wetenschap te vragen hoe dit moet. Maar de wetenschap moet niet meer beloven dan ze kan waarmaken. Dr. N. Verhelst, dr. G. Staphorsius en Ir. F. Kleintes zin alle drie verbonden aan de Citogroep.

9 Literatuurverwizingen Bosker, R., Béguin, A en Rekers-Mombarg, L. (2001). Hoe meten we de prestatie van een school? In A.B. Dikstra, S.Karsten, R. Veenstra en A.J. Visscher (red.), Het Oog der Natie: Scholen op Rapport (pp ). Assen: Van Gorcum. Janssen, J., Van der Schoot, F., Hemker, B. en Verhelst, N.D. (1999) Balans van het Reken- Wiskundeonderwis aan het Einde van de Basisschool 3. Arnhem: Cito. Oosterbeek, H. en Webbink, D. (2001). Risico s van indicatoren voor schoolkwaliteit. In A.B. Dikstra, S.Karsten, R. Veenstra en A.J. Visscher (red.), Het Oog der Natie: Scholen op Rapport (pp ). Assen: Van Gorcum. Sniders, T.A.B. en Bosker, R. (1999). Multilevel Analysis. Londen: Sage.