De grenzen van het PISA- onderzoek: the do s and don ts van schooleffectiviteitsonderzoek Martin Valcke Zelden zat het thema onderwijskwaliteit zo hard in de kern van politieke discussies als de voorbije maanden. Naast de hervorming van het secundair onderwijs, zijn er de aandacht voor oriëntatieproeven/ingangsproeven/selectieproeven voor het hoger onderwijs, de kwaliteit van leraren en de lerarenopleiding, de maximumfactuur, het al dan niet bereiken van de eindtermen van het secundair onderwijs,. Een even sterke constante in de discussies is de stelling dat het al bij al toch niet zo slecht gesteld is met het Vlaamse onderwijs als we de PISA2012- cijfers goed bekijken (Vakgroep Onderwijskunde, 2013). Vlaanderen zit namelijk voor deze driejaarlijkse internationale vergelijkende test voor wiskunde, wetenschappen en lezen net onder de wel steeds beter scorende top van Aziatische landen. Er is wel de vaststelling dat Vlaanderen voor de drie domeinen achteruit gaat ten opzichte van de vorige rondes. Er is ook de vaststelling dat de goede prestaties niet kunnen verbergen dat er grote verschillen bestaan in de prestaties binnen het Vlaamse onderwijs. Die verschillen blijken samen te hangen met studievorm (ASO, TSO, BSO), studierichtingen binnen die onderwijsvormen, sociaal- economische achtergrond en migratiestatus. De laatste jaren is de aandacht bij de PISA- test dan ook verschoven van vergelijken tussen landen (between- country comparisons) naar een analyse van de verschillen binnen Vlaanderen (within- country comparisons). Maar is PISA wel zo n goede leidraad voor een analyse van de kwaliteit van onderwijs? In hun geruchtmakend boek PISA, Power, and Policy - The emergence of global educational governance waarschuwen Meyer en Benavot (2013) voor de eenzijdige kijk op kwaliteit wanneer die door de PÏSA- bril wordt bekeken. De auteurs vallen vooral de assumptie aan dat de kwaliteit van onderwijssystemen zou kunnen bepaald worden op basis van gestandaardiseerde testen die geen enkele rekening houden met de lokale realiteit en vooral niet met de diversiteit in culturen en onderwijssystemen. Er is ook een internationaal protest van studenten tegen de aanpak die voortvloeit uit de resultaten van de PÏSA- testen: School students say no PISA distorted assessment (http://www.obessu.org/school- students- reject- distorted- pisa- assessments). In de context van dit artikel kijken we naar de Vlaamse context waar inde PISA- testen ook soms op een onvoorzichtige manier worden gebruikt. We schetsen vooral kanttekeningen bij een aantal misvattingen en ongenuanceerde conclusies die snel uit de PISA resultaten worden getrokken. Vlaanderen staat aan de wereldtop. Deze zin verbergt een wereld aan complexiteit die nauwelijks uiteengerafeld wordt in de pers. Vlaanderen presteert inderdaad goed op deze testen, maar een absolute ranking (10 de plaats voor wiskundige geletterdheid en lezen; 18 de plaats voor wetenschappelijke geletterdheid) is een foutieve voorstelling van zaken. De media- aandacht voor de PISA- resultaten versterkt een visie waarbij ranking voorop staat terwijl dit geen correcte manier aanpak van voorstellen is. Bekijken we bv. de rangschikking van de PISA 2012- scores voor wetenschappelijke geletterdheid (Vakgroep Onderwijskunde, 2013, p. 13) dan vallen meteen een aantal zaken op. Vlaanderen is geel gemarkeerd in deze lijst en valt in een groep landen die op subtop- 1
niveau presteren. Statistisch gezien doet Vlaanderen het even goed als Vietnam, Polen, Liechtenstein, en diverse anderen. Daarboven situeert zich een groep vooral Aziatische landen die het significant beter doen, maar opnieuw is het statistisch gezien niet mogelijk om te stellen dat bv. Shanghai- China (580 punten) het beter doet dan Korea (538 punten). Landen in de groene zone doen het statistisch gezien minder goed dan de lanen in de rode en witte zoen; bv. België als geheel, de Duitstalige gemeenschap, Oostenrijk. Geef toe, bekijken we de ranking vanuit deze optiek dan doet Vlaanderen het even goed als Vietnam wat minder catchy klinkt dan het beter doen dan Oostenrijk. Daar bovenop moet ook benadrukt worden dat voor het eerst in de PISA cycli waar Vlaanderen aan participeert (sinds 2000) er een significante achteruitgang is in de prestaties van Vlaamse 15- jarigen. Vlaanderen presteert uitstekend voor wiskunde (of voor lezen; of voor wetenschappen). Dit klopt niet. Daarvoor moeten we wat toelichting geven bij de aard van de PISA- testen. Dit zijn geen testen die de kennis/vaardigheden/competenties meten zoals die in de eindtermen en/of leerplannen naar voren komen. Het zijn testen die de geletterdheid meten. Dit betekent dat de PISA- testen mikken op het peilen naar de mate waarin jongeren wiskundig, talig en wetenschappelijk kunnen functioneren in de maatschappij. Bekijken we bv. even het volgende testitem uit De Meyer, Warlop & Van Camp (2013b, p.47). Het focust op financiële geletterdheid en test in dit geval een vaardigheidsniveau 4 waarbij informatie via een bewerking moet teruggevonden worden. 2
Deze wiskundige geletterdheid sluit wel aan bij de algemene eindtermen, maar gaat minder ver dan de eindtermen rond algebra, reële getallen, meetkunde, reële functies en statistiek die we terugvinden voor de tweede graad (zie http://www.ond.vlaanderen.be/curriculum/secundair- onderwijs/tweede- graad/aso/vakgebonden/wiskunde/eindtermen.htm). Voor de volledigheid geven we de definiëring van wiskundige geletterdheid weer zoals die in PISA 2012 gebruikt wordt: Het vermogen van een individu om wiskunde in verschillende contexten te gebruiken, te formuleren en te interpreteren. Dit omvat wiskundig redeneren en gebruik van wiskundige begrippen, werkwijzen, feiten en hulpmiddelen om fenomenen te beschrijven, te verklaren en te voorspellen. Wiskundige geletterdheid helpt mensen om de rol van wiskunde in het dagelijkse leven in te schatten en om gefundeerde oordelen te maken en gefundeerde beslissingen te nemen als constructieve, betrokken en reflectieve burgers. (De Meyer, Warlop & Van Camp, 2013a, p.6). Met andere woorden, de inhoudelijke kwaliteit van ons onderwijs is niet volledig te vatten door de PISA- test die overigens andere inhoudsdomeinen niet bestrijkt (vreemde talen, geschiedenis, aardrijkskunde, technisch- technologische vorming, ). In dit opzicht is het internationaal performance indicatoren- onderzoek van TIMSS (Trends in International Mathematics and Science Study http://timssandpirls.bc.edu/) een betere afspiegeling van ons Vlaams curriculum omdat de testitems gescreend worden naar de relevantie voor de Vlaamse eindtermen/leerplandoelstellingen. Ten laatste wordt in deze context opgemerkt dat de PISA- raamwerken veel complexer zijn dan wat het begrip wiskunde, lezen of wetenschappen laat vermoeden. Zo omvat de focus op lezen ook het lezen en verwerken van teksten die via digitale media worden verspreid en omvat bv. wiskunde ook probleem- oplossen en een focus op financiële geletterdheid. Vlaamse 15- jarigen presteren op wereldniveau. Let in deze uitspraak op de aanduiding van de leeftijdscategorie. PISA peilt inderdaad naar de prestaties van 15- jarigen in de 65 participerende landen. Dit heeft een aantal implicaties. Ten eerste gebeurt de sampling van de 5970 leerlingen (aantal in PISA 2012) in Vlaanderen dus niet op het niveau van scholen en klassen. Dit zijn niet de primaire stratificatievariabelen om de onderzoeks- steekproef samen te stellen. Het basiscriterium is leeftijd. Leerlingen kunnen dus uit verschillende leerjaren komen, afhankelijk van de mate waarin ze op leeftijd in een klas zitten. Uit elke school worden geen volledige klassen getest. Er worden rekening houdend met onderwijsvorm en 3
studierichting een gelijk aantal leerlingen per school bevraagd en dit gedurende twee halve dagen. Voor PISA 2012 zijn zo ongeveer 35 leerlingen van elk van de 174 betrokken scholen bevraagd. Er kunnen dus geen conclusies getrokken worden op klas- of schoolniveau; iets wat sommige scholen nochtans e- ijverig proberen te doen om zich te profileren ten opzichte van andere scholen. Ten tweede betekent de focus op 15- jarigen - de leeftijd waarbij voor alle betrokken landen er nog leerplicht/schoolplicht geldt dat we geen uitspraak kunnen doen over de kwaliteit van het secundair onderwijs als geheeld. We missen hiervoor over cruciale informatie m.b.t. de effectiviteit van het onderwijs in de derde graad. Een kwaliteitspeiling op het einde van de derde graad ontbreekt. Maar er is informatie beschikbaar die wel verontrustende signalen bevat over de kwaliteit van ons onderwijs. Zo signaleert de onderwijsinspectie dat amper 4 op de tien leerlingen in het BSO de eindtermen haalt in de derde graad secundair onderwijs (zie Statistisch jaarboek 2013-2014, http://www.ond.vlaanderen.be/curriculum/#pav). Een tweede kwaliteitsindicator is de hoge schooluitval na de tweede graad, iets wat onder de radar van de PISA testen blijft. Volgens Statistics Belgium was dit in 2013 7,5% in Vlaanderen en 17,7% in het Brusselse hoofdstedelijk gewest (http://statbel.fgov.be/nl/statistieken/cijfers/arbeid_leven/opleiding/vroegtijdig/). Volgens Eurostat cijfers 2014 is dit 8,7 % in Vlaanderen en 20,1 % in het Brusselse hoofdstedelijk gewest. Belangrijker dan het concrete cijfer is dat de cijfers ongunstiger worden sinds 2009 en dat we in vergelijking met andere landen er niet in slagen om die ongekwalificeerde uitstroom aan te pakken (zie http://epp.eurostat.ec.europa.eu/cache/ity_public/3-11042014- AP/EN/3-11042014- AP- EN.PDF). Een indirecte indicator vinden we in de opvallende stijging van het aantal zittenblijvers in de derde graad. In het vierde jaar secundair onderwijs is dit gemiddeld 5,22%; in het vijfde jaar wordt dit plots 8,21% (zie http://www.ond.vlaanderen.be/onderwijsstatistieken/2013-2014/statistischjaarboek2013-2014/publicatiestatistischjaarboek2013-2014.htm). Zo zien we dat zelfs in het ASO het aantal leerlingen dat op leeftijd aan de derde graad begint (48,16%) substantieel lager is dan het aantal dat op leeftijd begin in de tweede graad (55,33%) Een derde kwaliteitsindicator is de mate waarin het secundair onderwijs succesvol voorbereid op het hoger onderwijs. Ten eerste stellen we vast dat België (zie cijfers vorige Eurostat statistiek), het streefcijfer van 47% nog steeds niet haalt. De meest actuele cijfers verwijzen naar 42,7% van 3-34jarigen die succesvol een tertiair onderwijsdiploma hebben behaald. Daarnaast verspreidt het VSKO in Vlaanderen een opvallende tool waarmee men kan nakijken in welke mate een studiekeuze in het secundair onderwijs leidt tot succes in het hoger onderwijs (zie http://www.nieuwsblad.be/article/detail.aspx?articleid=dmf20130902_00721447). Zowel in het algemeen vormend als het technisch secundair onderwijs waar er veel studierichtingen zijn die expliciet voorbereiden op het hoger onderwijs zijn er veel keuzes die géén garanties bieden voor goede slaagkansen. Ten vierde stellen we vast dat er opvallende verschuivingen zijn in de proporties van leerlingen die zich inschrijven voor specifieke onderwijsvormen bij de overgang naar de derde graad. Zo neemt het aantal leerlingen in het TSO (van 41.688 naar 46.903) en het BSO (van 30.822 naar 41.622 lln) proportioneel toe en dit ten koste van het aandeel in het ASO (zie http://www.vlaanderen.be/nl/publicaties/detail/statistisch- jaarboek- van- het- vlaams- onderwijs- schooljaar- 2012-2013- 1, p.89-91). 4
Deze soms indirecte - kwaliteitsindicatoren van het Vlaamse secundaire onderwijs tonen aan dat er naast informatie uit internationale onderzoeken zoals PISA dringend nood is aan aanpakken die de kwaliteit van het onderwijs in de derde graad helpen analyseren. Vergeten we daarbij niet dat de eindtermen en het curriculum voor de derde graad sterk verschillen van de tweede graad, dat de onderwijsorganisatie in de derde graad sterk anders is en dat ook de betrokken leerkracht anders zijn opgeleid (academische lerarenopleiding). Het Vlaamse onderwijs scoort goed tot uitstekend. Opnieuw moeten we deze uitspraak relativeren, want ze verbergt zeer grote verschillen tussen leerlingen, afhankelijk van onderwijsvormen, studierichtingen en leerlingenkenmerken. De PISA 2012 rapporten (zie referentielijst) gaan indringend in op deze verschillen en verdienen om vanuit dit oogpunt beter bestudeerd te worden. Om te beginnen levert een nadere analyse van de Vlaamse prestaties een meer gedetailleerd beeld op van de verdeling in prestatieniveaus. De gemiddelde prestatiescore verbergt namelijk enkele vreemde kenmerken in de spreiding in scores. De Vlaamse scores tonen meer dan in landen zoals Nederland of Finland een grotere groep leerlingen die de ondergrens van niveau 2 niet bereiken (15%). Het feit dat we een relatief grote groep hebben (25%) die op niveau 5 en 6 presteren, compenseert en tegelijkertijd maskeert dit kritisch gegeven. Een ander aspect een duidelijke indicator gerelateerd aan de toenemende heterogeniteit in het secundaire onderwijslandschap is dat leerlingen met een lagere index voor sociaal- economische situatie (SES) veel lager scoren dan vergelijkbare leerlingen in andere landen. Het verschil in prestaties voor en na correctie voor SES is het grootste verschil dat we optekenen van alle landen betrokken in het onderzoek. Met andere woorden, er zitten inherente mechanismen in het onderwijs die er voor zorgen dat we het potentieel in deze leerlingen niet aanboren. In Vlaanderen vinden we dan ook één van de grootste verschillen in de prestaties van leerlingen in percentiel 10 en 90. In vergelijkbare zin, slagen Vlaamse scholen er ook niet in goed te kunnen omgaan met verschillen in thuistaal en schooltaal. Autochtone kinderen die thuis het Nederlands (of afgeleid dialect) spreken zetten bv. een wiskundige geletterdheidsscore van 549,9 neer; terwijl autochtone leerlingen die thuis een andere taal spreken slechts een score van 477,2 neer zetten. Soms wordt tegenover deze zwakke prestaties aangegeven dat de gemiddelde prestaties van onze zwakste leerlingen in vergelijking met andere landen nog steeds hoog is. Dit klopt, maar feit is dat autochtone kinderen na controle voor SES - significant hoger scoren dan kinderen van buitenlandse origine, na controle voor SES. Dit is een indicatie dat het onderwijs bij deze leerlingen systematisch niet compensatorisch optreedt. PISA test niet enkel prestaties, maar toont ook aan hoe de resultaten verklaard kunnen worden vanuit leerling-, klas- en schoolvariabelen. Het klopt inderdaad dat de focus op de kennisdomeinen in de PISA- testen slechts een deel van de informatie zijn die via een uitgebreid testinstrumentarium wordt verzameld. Er is een oudervragenlijst, een leerlingenvragenlijst en een bevraging bij de directies over de opzet van het onderwijs in hun school. Dit levert informatie op over toetsen en toetsbeleid, huiswerk, gebruik van ICT in de klas, schoolse achterstand, spijbelen, motivatie van leerlingen, attitudes t.o.v. de vakken,. In de media wordt weinig aandacht besteed aan deze extra analyses, die meestal ook pas later in een PISA- onderzoekscyclus worden gepubliceerd. Zo zien we dat Vlaamse jongeren minder intrinsiek gemotiveerd zijn voor wiskunde dan in andere landen, dat men wiskunde minder ziet als een belangrijk vak voor later, dat 5
men minder open staat voor het oplossen van wiskunde problemen, (zie Vakgroep Onderwijskunde, 2013, p.14-15). Een en ander kan interessant gekoppeld worden aan de kenmerken van de wiskundedidactiek in Vlaanderen en elders. Maar zoals hierboven aangegeven, wordt weinig ingegaan op de beschrijvende en verklarende variabelen die helpen de prestaties binnen een land/regio te verklaren. De PISA resultaten worden namelijk teveel benaderd vanuit de gemiddelde prestaties voor een kennisdomein. Tot slot In Vlaanderen kennen we geen centrale examens. In dit opzicht is Vlaanderen uniek. We kennen de negatieve gevolgen van centrale toetsen niet, zoals teaching to the test, curriculumverarming, vergelijken van scholen op deze test (zie bv. ranking Nederlandse scholen naar hun gemiddelde prestaties voor de CITO toets in het basisonderwijs http://www.rtlnieuws.nl/nieuws/special/publicatie- cito- scores- kijk- hoe- jouw- school- scoort). In die zin is de beschikbaarheid van de internationale PISA- gegevens een handig middel voor de overheid om op systeemniveau kwaliteitsindicatoren te bekomen die de kwaliteit van het Vlaamse onderwijs helpen in kaart brengen. De vraag is echter of de PISA testen wel voldoende gevoelig zijn om de eigenheid van het Vlaamse onderwijssysteem voldoende omvattend te kunnen monitoren. Naast een verkeerd gebruik van de PISA- resultaten lijkt het nodig om na te denken over een systematische monitoring van het sluitstuk van het secundair onderwijs: de derde graad. Daarbij zal toch meer aandacht nodig zijn voor de specificiteit van ons curriculum, de cultuurgebonden kenmerken van ons onderwijs en de eigenaardigheden van ons systeem (de studievormen/studierichtingen). Vertaald naar het onderwijsbeleid: een vorm van kwaliteitsmeting op het einde van het secundair onderwijs dringt zich op. Referenties Vakgroep Onderwijskunde (2013). Wiskundige geletterdheid bij 15- jarigen Overzicht van de eerste Vlaamse resultaten van PISA2012. Gent: Universiteit Gent (http://www.pisa.ugent.be/uploads/assets/106/1396273183438- KORTE%20BROCHURE%20PISA2012.pdf). Meyer, H.- D. & Benavot, A. (2013). PISA, Power, and Policy - The emergence of global educational governance. Oxford Studies in Comparative Education. Providence, Westminster: Symposium Books De Meyer, I., Warlop, N. & Van Camp, I. (2013a). Wiskundige geletterdheid bij 15- jarigen. Vlaamse resultaten van PISA2012. Gent: Universiteit Gent (http://www.pisa.ugent.be/uploads/assets/103/1394536156566- PISA2012%20rapport.pdf). De Meyer, I., Warlop, N. & Van Camp, I. (2013b). Financiële geletterdheid van 15- jarigen. Vlaamse resultaten van PISA2012. Gent: Universiteit Gent (http://www.pisa.ugent.be/uploads/assets/109/1412253762244- PISA%202012%20Fingel.pdf). 6