Datum 28-02-2014 1 'Inspectie en krimp: Perverse effecten' Dr. A. C. (Anneke) Timmermans Rijksuniversiteit Groningen, GION/Onderwijskunde
Datum 28-02-2014 2 Overzicht Inspectie toezicht Opbrengsten van scholen Opbrengsten van kleine/krimpende scholen Andere kwaliteitsindicatoren en kleine/krimpende scholen Perverse effecten Strategisch gedrag
Datum 28-02-2014 3 Inspectie toezicht Risico-gestuurd De frequentie en intensiteit van het toezicht kan variëren tussen scholen naargelang het risico op onderpresteren (De Wolf & Verkroost, 2011; Inspectie van het Onderwijs, 2009; Ofsted, 2011; Sparrow, 2000) Effectief: - zwakke scholen hebben meer baat bij toezicht - vinger aan de pols houden Efficiënt: - minder toezicht druk bij scholen met weinig risico - vertrouwen Voorkomen dat scholen zwak of zeer zwak worden - tijdig ingrijpen
Datum 28-02-2014 4 Inspectie toezicht Inspectie van het onderwijs (2009). Risk-based inspection as of 2009: Primary and secondary education.
Datum 28-02-2014 5 Meten van opbrengsten van scholen Gemiddelde cito-score op schoolniveau Leren binnen en buiten de school (Bosker, Lam, Luyten, Steen & de Vos, 1998; Doolaard & Leseman, 2008; Gutman, Sameroff & Cole, 2003; Ten Dam & Vermunt, 2003) Invloed van factoren buiten de school zijn niet evenredig verdeeld over scholen (Hill & Rowe, 1996) Geen eerlijke vergelijking tussen scholen (Meyer, 1997; Webster, Mendro, Orsak & Weerasinghe, 1998) Zoeken naar manieren om rekening te houden met verschillen tussen scholen Beginniveau van de leerlingen Achtergrond van de leerlingen (bv. socio-economische status) Context van de school of buurt
Datum 28-02-2014 6 Meten van opbrengsten van scholen In primair onderwijs moeilijk omdat grote verscheidenheid aan (eind)toetsen geen zicht op instroomniveau van leerlingen pas recent data beschikbaar op leerling-niveau leerlingen wisselen van scholen
Datum 28-02-2014 7 Meten van opbrengsten van scholen Gegevens van Inspectie van het Onderwijs 8356 basisscholen Beschikbare variabelen Opbrengsten (2003-2009) Achtergrond van leerlingen (2007-2009) Schoolgrootte en krimp van scholen (2009) Kwaliteitsindicatoren (2003-2009)
Datum 28-02-2014 8 Meten van opbrengsten van scholen Opbrengsten na correctie voor het percentage gewichten leerlingen. Onvoldoende correctie om echt van schooleffecten te spreken Kleine scholen vaker onder gemiddeld en maar ook vaker boven gemiddeld Grotere impact van de prestaties van individuele leerlingen
Datum 28-02-2014 9 Meten van opbrengsten van scholen Opbrengsten van kleine scholen variëren ook meer tussen opeenvolgende jaren Schoolgrootte 1-100.31 101-200.37 201-300.49 301-400.55 401 en meer.60 Correlatie Selectie van 25% van de scholen
Datum 28-02-2014 10 Meten van opbrengsten van scholen Oplossingen voor meten van opbrengsten van kleine scholen Gebruiken van gegevens van opeenvolgende jaren (3) Trends moeilijker te ontdekken Minimum aantallen voor uitspraken +/- 30 leerlingen per school voor.80 betrouwbaarheid Complexe statistische modellen (shrinkage in multilevel analyse)
Opbrengsten van krimpende scholen Datum 28-02-2014 11 Krimp Frequentie Percentage Sterke krimp (>20%) 65 0,9 Krimp (>10%) 444 6,1 Geen groei en krimp 6445 88,0 Groei (>10%) 255 3,5 Sterke groei (>20%) 116 1,6 Totaal 7325 Komt relatief even vaak voor in en buiten de grote steden
Datum 28-02-2014 12 Opbrengsten van krimpende scholen
Datum 28-02-2014 13 Andere kwaliteitsindicatoren en kleine scholen Percentage voldoende op normindicatoren 1-100 101-200 Bij de aangeboden leerinhouden betrekt de school alle kerndoelen 201-300 301-400 401 en meer 83.9 90.5 92.5 94.3 94.4 De school met veel gewichtenleerlingen biedt passende leerinhouden aan 82.7 86.8 89.9 91.9 93.0 De leraren geven duidelijke uitleg van de leerstof 82.3 89.4 93.5 94.2 94.9 De leraren realiseren een taakgerichte werksfeer 82.6 90.5 94.6 95.0 96.1 De leraren volgen en analyseren systematisch de voortgang van de leerlingen 82.9 88.1 91.9 92.5 92.5 De school voert zorg planmatig uit 62.2 65.9 71.2 70.9 77.9
Datum 28-02-2014 14 Andere kwaliteitsindicatoren en krimpende scholen Percentage voldoende Sterke krimp krimp Geen krimp/ groei Groei Sterke groei Bij de aangeboden leerinhouden betrekt de school alle kerndoelen 69.2 86.3 92.1 85.5 54.3 De school met veel gewichtenleerlingen biedt passende leerinhouden aan 61.5 81.8 89.8 81.6 50.9 De leraren geven duidelijke uitleg van de leerstof 66.2 83.8 91.8 85.1 56.0 De leerlingen zijn actief betrokken bij activiteiten 66.2 86.7 92.1 93.1 48.3 De leraren volgen en analyseren systematisch de voortgang van de leerlingen 63.1 84.2 90.7 83.5 52.6 De school voert zorg planmatig uit 44.6 59.5 69.9 63.5 37.1
Datum 28-02-2014 Perverse effecten Strategisch gedrag Artificieel verhogen van de opbrengsten Teaching to the test (e.g. Jacob, 2005; Jones, 2008; Koretz, 2008) Test manipulatie (e.g. Jacob, 2005; Koretz, 2008; Swanborn et al., 2008) Aanvullende materialen, tijd Aanvullende instructie Voorzeggen antwoorden Reshaping the testpool (e. g. Cullen et al., 2006; Figlio et al., 2002; Jacob, 2005; Jones, 2008; Nichols & Berliner, 2005; Swanborn et al., 2008) Zittenblijven Verwijzen van leerlingen naar SBO Ziekte op toetsdag
Datum 28-02-2014 16 Perverse effecten Strategisch gedrag (on)verwacht onderzoek bij 257 scholen tijdens eindtoets in 2006 (Inspectie van het Onderwijs, 2006) - 5,5% afname eindtoets niet conform handleiding - Extra materialen (zoals kladpapier) - Extra inhoudelijke instructie Stijgend percentage leerlingen die niet deelnemen aan de eindtoets (Swanborn & de Wolf, 2008) - Verdrievoudiging van ziekte tijdens toetsafname van 2003 2006 - Vaker bij zeer zwakke scholen Oneerlijke vergelijkingen tussen scholen
Datum 28-02-2014 17 Perverse effecten Strategisch gedrag Opbrengsten van kleine scholen Relatief vaker zwak (maar ook sterk) Grotere impact van prestaties van individuele leerlingen op de opbrengsten Daardoor opbrengsten makkelijker artificieel te verhogen Grotere incentives voor kleine scholen?
Datum 28-02-2014 18 Overzicht Opbrengsten spelen een nadrukkelijke rol in toezicht Meten van opbrengsten van scholen is complex en extra moeilijk voor kleine/krimpende scholen Mogelijk grotere incentives voor strategisch gedrag voor kleinere scholen Slechts verbanden, nog geen verklaringen Richting van eventueel causaal verband - Lage beoordelingen op kwaliteitsindicatoren door kleine of krimpende leerling populatie? - Krimpende leerling populatie door lage beoordelingen op kwaliteitsindicatoren? (stemmen met de voeten)
Datum 28-02-2014 19 Bedankt! Dr. A.C. (Anneke) Timmermans Docent/Onderzoeker Rijksuniversiteit Groningen Faculteit Gedrags- en Maatschappijwetenschappen / onderwijskunde Grote Rozenstraat 3, 9712 TG Groningen T 050 363 5740