Het belang van externe examens Leuven Economics of Education Research, KU Leuven Top Institute for Evidence Based Education Research, Maastricht University www.econ.kuleuven.be/leer Onderwijsmiddag VGC, Brussel 29 juni 2015 1
Hoe kwaliteit onderwijs verbeteren? 2
Leerprestaties verbeteren Kwaliteit van onderwijs, zoals gemeten via leerprestaties van leerlingen op cognitieve testen, is sterk en positief gecorreleerd met economische groei van landen (Barro, 2001; Hanushek, 2005; Woessman, 2007) Hoe moeten we kwaliteit van onderwijs verder verbeteren? Niet via meer middelen voor onderwijs, want lage tot geen marginale bijdrage (Hanushek, 2003, 2004; Woessmann en West, 2006) Leerlingen in landen met meer middelen of met kleinere klassen, doen het niet noodzakelijk beter. 3
Leerprestaties verbeteren WEL door alle actoren (scholen, leraren, ouders, leerlingen) prikkels te bieden om leerprestaties te maximaliseren Vanuit de economische theorie: Prestaties worden beïnvloed door de ontvangen prikkels (incentieven) Als onderwijsinstellingen beloond worden (intrinsiek of extrinsiek) om hogere leerprestaties te bekomen, en als ze gestraft worden als ze deze niet halen, zullen leerprestaties verbeteren. 4
Leerprestaties verbeteren Beloning en straffen volgt uit principaal-agent probleem: 1. De opdrachtgever kan niet perfect de opdrachtnemer monitoren vb. leraren en ouders weten niet perfect hoeveel inspanning een lln levert vb. schooldirectie en ouders kunnen niet perfect opvolgen hoe goed een leraar de les voorbereidt, of wat hij doet in de klas 2. De belangen van de opdrachtgever en de opdrachtnemer lopen anders vb. lln zijn meer geïnteresseerd in vrije tijd dan ouders zouden willen vb. leraar en school is meer geïnteresseerd in aanvaardbare werklast dan een ouder zou wensen Accountability (verantwoordings-)systemen laten toe om beter te monitoren en principaal-agent probleem te verminderen 5
Leerprestaties verbeteren Centrale examens zijn zo n verantwoordingssysteem, maar ze maken deel uit van een breder geheel waarin drie elementen gelijktijdig spelen: Concurrentie Concurrentie = keuze voor ouders en leerlingen Autono mie Autonomie = keuze voor scholen en leraren Vb. via decentralisatie van verantwoordelijkheden Verantwoor ding verantwoording via vb centrale examens 6
Centrale examens - autonomie Autonomie van scholen gaat hand in hand met externe examens Omgekeerd: externe examens zijn een eerste vereiste voor decentraal, keuze gebaseerde systemen van autonome scholen (Woessmann, 2003) Externe examens werken immers vergelijkbaar met prijsinformatie over het onderwijssysteem: onafhankelijke en vergelijkbare informatie over schoolprestaties. Ouders kunnen deze informatie gebruiken om hun keuze te maken. 7
Centrale examens - autonomie 8
Overzicht Centrale examens om leerlingprestaties te verbeteren Evidentie Mechanisme en voordelen Nadelen 9
Evidentie In lijn met Evidence based education willen we weten en meten wat het effect is van centrale examens op onderwijsprestaties? 10
Evidentie - Hoe meten? Probleem: vaak is er geen variatie binnen een land. Oplossing: meten over landen heen; of meten binnen een land (Canada en Duitsland) 11
Centrale examens Bron: Van Ackeren et al., 2012 12
Evidentie op leerprestaties Evidentie tussen landen: 1. Leerlingen presteren substantieel en merkbaar beter in landen met externe eindexamens, dan in landen zonder (gecontroleerd voor leerling-, school-, regio-, en landspecifieke kenmerken) Blijkt in TIMSS, TIMSS-Repeat, PISA 2. De literatuur suggereert dat het effect van externe eindexamens ongeveer even groot is als een volledig jaar onderwijs (nl. 35 tot 47% van een internationale standaard afwijking in test scores). Dus een immens effect als scholen en leerlingen gevolgd worden door externe examens. 3. Zowel goede als minder goede leerlingen halen voordeel uit centrale examens Centrale examens zorgen voor gelijkere onderwijsuitkomsten voor leerlingen met verschillende achtergrond 13
Evidentie op leerprestaties Evidentie tussen landen: 4. Leraren richten zich meer op het curriculum bij centrale examens 5. Betrokkenheid en geïnformeerdheid van ouders vergroot bij centraal examen (Woessmann, 2002) Evidentie binnen een land (Canada en Duitsland) 6. Regio s met een centraal examen doen het merkbaar beter dan regio s zonder 14
Overzicht Centrale examens om leerlingprestaties te verbeteren Evidentie Mechanisme en voordelen Nadelen 15
Mechanisme Hoe komt het dat centrale examens zo n effecten generen? Leerlingen / ouders leraren scholen 16
Voordelen voor leerlingen Centrale examens bieden voor leerlingen een prikkel: Leerlingen kunnen duidelijk aantonen wat ze in hun mars hebben; Duidelijke vergelijking van prestaties over scholen heen; Via de betere monitoring ook via ouders, leraren en directies die het beste in de leerlingen naar boven willen halen 17
Voordelen voor ouders - Ouders beschikken over informatie over hun kind in vergelijking met een standaard en in vergelijking met de andere leerlingen in het systeem. Ouders weten zo of hun kind het individueel slecht doet, of als de hele klas het slecht doet (eventueel in termen van toegevoegde waarde value added). Zonder centraal examen weten ouders niet hoe de klas presteert tov andere klassen - Ouders kunnen een bewustere keuze maken voor school (vb. Niet gebaseerd op aannames of percepties) 18
Leraren Een goede toets maken is bijzonder moeilijk en tijdsintensief. Kunnen we dit wel van individuele leraren verwachten? Onderwijsinspectie stelt bijvoorbeeld in inspectieverslagen: In de proefwerken is de vraagstelling louter kennis- en toepassingsgericht. Vragen waarbij de leerlingen hun kennis in nieuwe contexten moeten aanwenden en waarbij hun inzichtelijk denken wordt aangesproken, worden zelden aangetroffen. De beperkte moeilijkheidsgraad van de proefwerken draagt er ongetwijfeld toe bij dat de leerlingen goede resultaten behalen en dat er nauwelijks tekorten zijn. In een aantal proefwerken ontbreekt de puntenverdeling, in andere proefwerken wordt de puntenverdeling wel op het niveau van de hoofdvragen maar niet op dit van de deelvragen weergegeven. Daardoor komt de transparantie in het gedrang. Dezelfde proefwerkvragen worden elk jaar hernomen. 19
Leraren - Voorbeeld het opstellen van centrale examens door CITO in Nederland Examen wordt opgesteld door groep van 4 docenten Elke docent maakt op jaarbasis 6 (!) opgaven Interne en externe screening Afname van pretest en anker op scholen Psychometrische analyse Werken met toetsmatrijzen Correctie door 2 personen - Dankzij centrale examens ervaren leraren een prikkel om de beste leermethodes boven te halen 20
Scholen - Kijk naar de value added: hoeveel leerwinst kan een school creëren? 21
Overzicht Centrale examens om leerlingprestaties te verbeteren Evidentie Mechanisme en voordelen Nadelen 22
Nadelen - Strategisch gedrag van leraren en scholen - Laag presterende leerlingen naar buitengewoon onderwijs (of andere school) sturen (Jacob, 2005) - Prikkel om te spieken (Jacob en Levitt, 2003) Goed design nodig dat strategisch gedrag minimaliseert - Teaching to the test - Maak een brede test, zodat er bijna alles onder valt - Geen evaluatie van attitudes - Laat centraal examen complementair zijn met schoolexamen - Minder aandacht van leraren aan interesses van leerlingen (Van Ackeren et al., 2012) 23
Nadelen - Duur, want een onafhankelijk instituut nodig. - Niet juist: De kosten van het implementeren moeten niet worden overschat Hoxby (2002) toont voor de VS aan dat deze kosten slechts beperkt zijn (zie ook Jürges et al., 2002) - Ranking wordt mogelijk - Juist, maar als de ranking goed geduid wordt is er m.i. geen probleem - Toon dat er betrouwbaarheidsintervallen zijn - Werk met value added - Corrigeer voor leerlingkenmerken - Meer reproductief leren - Niet juist: Nederlands voorbeeld en Vlaamse Onderwijsinspectie tonen net aan dat de kwaliteit van examens veel hoger is. 24
Besluit Invoeren centrale examens 25
Het belang van externe examens www.econ.kuleuven.be/kristof.dewitte Kristof.dewitte@kuleuven.be VGC, Brussel 29 juni 2015