EVALUATIE PILOTS STIMULEREND EN GEDIFFERENTIEERD TOEZICHT PRIMAIR ONDERWIJS WERKGROEP EVALUATIE T2020

Transcriptie

1 EVALUATIE PILOTS STIMULEREND EN GEDIFFERENTIEERD TOEZICHT PRIMAIR ONDERWIJS WERKGROEP EVALUATIE T2020 januari 2016

2

3 INHOUD Samenvatting 4 Inleiding Stimulerend toezicht Wat is nieuw in de pilots De scope van dit rapport 9 2 Opzet van de pilots Vernieuwingen Selectie scholen Opzet monitoring pilot 12 3 Resultaat: antwoorden op de onderzoeksvragen Ervaringen met de verschillende werkwijzen Ervaringen met de gedifferentieerde oordelen Leerpunten Onbedoelde effecten Oordelen met het nieuwe waarderingskader 17

4 Samenvatting De inspectie vernieuwt het toezicht om scholen met basiskwaliteit te stimuleren om voortdurend te werken aan kwaliteitsverbetering. In de periode februari oktober 2015 zijn een nieuw waarderingskader en diverse nieuwe werkwijzen uitgeprobeerd op zo n 800 (voor)scholen in het primair onderwijs. Deze rapportage beschrijft de ervaringen van de scholen en de inspectie met deze pilots. Werken met een nieuw waarderingskader en gedifferentieerde oordelen Het waarderingskader is vernieuwd en kent in alle sectoren een zelfde structuur en opbouw: voor vijf kwaliteitsgebieden zijn standaarden geformuleerd die worden toegelicht in portretten. Per standaard kan een school het oordeel (zeer) zwak, voldoende of goed krijgen. Ervaringen met het nieuwe kader De overgrote meerderheid van de scholen en de inspectiemedewerkers vindt dat de standaarden en portretten een goede omschrijving geven van de onderwijspraktijk op een goede school. Ongeveer een kwart van de inspecteurs vindt dat de bruikbaarheid van het gebruikte kader kan worden verbeterd. Sommige standaarden vinden zij breed geformuleerd, waardoor sterke punten en verbeterpunten elkaar snel uitmiddelen tot een voldoende oordeel. Daarnaast wijzen zij op het belang om de standaarden zo toe te passen dat er geen verschillen ontstaan tussen inspecteurs. Gedifferentieerde oordelen In de pilots is elke standaard beoordeeld op een vierpuntsschaal: zeer zwak, zwak, voldoende en goed. Ook in het verleden hanteerde de inspectie een vierpuntsschaal. De bij de standaarden horende portretten zijn echter nu zo omschreven dat vaker onderscheid kan worden gemaakt tussen voldoende en goed. De oordelen per standaard laten een gedifferentieerd beeld zien: Schoolklimaat en Veiligheid zijn op 60 procent van de scholen als goed beoordeeld. De meeste onvoldoendes zijn gegeven voor Zicht op ontwikkeling (20 procent; 8 procent op voorscholen) en Evaluatie en verbetering (11 procent; 14 procent op voorscholen). In het algemeen herkennen de scholen zich in de oordelen en onderbouwing in de rapportage. Toch geeft per standaard zo n 15 procent van de schoolleiders na het onderzoek een ander oordeel dan de inspecteur. Voor Zicht op ontwikkeling geldt dit zelfs voor een kwart van de schoolleiders. Relatief veel schoolleiders, ib ers en leraren (circa 10 procent) zeggen dat ze het niet duidelijk vinden wanneer een standaard als voldoende of goed beoordeeld wordt. Ook op schoolniveau wordt in de pilot meer gedifferentieerd in de oordelen. In het verleden kende de inspectie alleen de oordelen voldoende (basiskwaliteit), zwak en zeer zwak. In de pilot is hier het oordeel goed aan toegevoegd. Op grond van voorlopige beslisregels heeft elke school een eindoordeel gekregen; dit is echter niet gepubliceerd. Bijna 9 procent van de scholen (die allemaal het basisarrangement hebben en houden op grond van het vigerende kader) is als goed beoordeeld; bijna 4 procent van de scholen als zwak. Op laatstgenoemde scholen is het didactisch handelen en/of zicht op ontwikkeling onvoldoende. De meeste scholen vinden het prettig dat de inspectie gedifferentieerd gaat oordelen en onderscheid maakt tussen voldoende en goed. Dit geldt zowel op standaardals op schoolniveau. Sommigen vinden de afstand tussen voldoende en goed te groot en pleiten voor een meer gedifferentieerde schaal. Een klein percentage van

5 de scholen (8 procent) is tegen gedifferentieerd oordelen. Dit zou leiden tot te veel concurrentie tussen scholen. Ervaringen met de nieuwe werkwijzen Niet alleen het kader zelf is vernieuwd. Bij de pilotonderzoeken zijn nieuwe werkwijzen gebruikt met als doel om op verschillende manieren de kwaliteitsontwikkeling van de scholen te stimuleren. Het is de bedoeling dat met de nieuwe opzet van een inspectieonderzoek meer ruimte ontstaat voor de scholen om op basis van hun eigen evaluaties de dialoog aan te gaan met de inspecteurs. Het vooraf invullen van een zelfbeoordeling, het gezamenlijk bezoeken van lessen, de dialoog met betrokkenen (directie, team, ouders en leerlingen) tijdens het onderzoek en achteraf bij het feedbackgesprek; het zijn allemaal onderdelen waarbij het team op de school nadrukkelijk wordt uitgenodigd om te reflecteren op de eigen onderwijskwaliteit en conclusies te trekken voor het vervolg in de schoolontwikkeling. De overgrote meerderheid van de medewerkers van (voor)scholen rapporteert positieve ervaringen met de diverse vernieuwingen die in de pilots zijn uitgeprobeerd. De inrichting van het onderzoek, waarbij de dag start met kennismaking met het team en gesprekken worden georganiseerd met niet alleen schoolleider en intern begeleider, maar ook met leraren, leerlingen en ouders, is positief ontvangen. Zowel inspecteurs als schoolleiders zien toegevoegde waarde in het gebruik van een vooraf ingevulde zelfbeoordeling of van eigen zelfevaluaties. Hoe de eigen evaluaties het beste kunnen worden ingezet, is nog een aandachtspunt. Zo wisten schoolleiders in de pilots niet altijd goed wat er van hen verwacht werd, terwijl inspecteurs de zelfevaluaties vaak onvoldoende vonden om een oordeel op te kunnen baseren. Dit geldt het sterkst voor didactisch handelen. Ook het gezamenlijk observeren van lessen door inspecteurs en observatoren van de (voor)school wordt positief gewaardeerd. Een aantal leraren is overigens kritisch over de waarde van lesobservaties, ongeacht de manier waarop dit gebeurt. Veel waardering krijgt het feedbackgesprek waarbij ook leraren aanwezig zijn. Wel willen veel leraren graag dat het hele team kan aanschuiven, terwijl sommige schoolleiders en inspecteurs dit niet in alle situaties gewenst vinden. Effecten Conclusies over de effecten van de vernieuwingen in het toezicht op de verbetercultuur in scholen kunnen op dit moment nog niet getrokken worden. Ook de betrouwbaarheid en validiteit van het nieuwe kader moet nog nader worden onderzocht. De verwachtingen zijn echter positief op grond van de enthousiaste reacties van het veld over een groot aantal nieuwe werkwijzen. Scholen waarderen de brede opzet van het onderzoek en de mogelijkheden om met de inspectie in dialoog te gaan over hun eigen onderwijs. Meer dan 90 procent van de betrokkenen vindt de nieuwe werkwijze een verbetering ten opzichte van het verleden. Verbeterpunten liggen in het verder uitwerken van en communiceren over het kader en het optimaal gebruik maken van zelfevaluaties, zowel als input voor de dialoog als bij het komen tot een oordeel. De verdere ontwikkeling van het toezicht is in volle gang. De ervaringen met de hier beschreven pilots zijn en worden daarbij nadrukkelijk betrokken, zoals in de nadere uitwerking van het waarderingskader en de werkwijzen die worden toegepast bij de pilot, waarbij ervaring wordt opgedaan met een bestuursgerichte aanpak.

6 Inleiding 1.1 Stimulerend toezicht Met de vernieuwing van het toezicht wil de inspectie scholen en besturen die voldoen aan de basiskwaliteitseisen stimuleren om zich verantwoordelijk te voelen voor de kwaliteit van het onderwijs, o.a. door een goede verbetercultuur (zie de Kamerbrief Toezicht in transitie van 28 maart 2014 en het rapport stimulerend en gedifferentieerd toezicht pilots 2014/2015). Meer dan 95 procent van de scholen in Nederland (97,8 procent september 2014, Onderwijsverslag 2013/2014) voldoet aan de basiskwaliteitseisen die de inspectie aanhoudt. In deze groep zijn scholen die goed onderwijs verzorgen, maar ook scholen waar op diverse onderdelen verbeteringen wenselijk zijn. In de pilotonderzoeken is gewerkt met een nieuw waarderingskader en zijn verschillende werkwijzen uitgeprobeerd om na te gaan hoe dit doel bereikt kan worden. In deze evaluatie van de pilots in het primair onderwijs, rapporteren we over de ervaringen van schoolleiders, intern begeleiders, leraren en inspecteurs (en andere inspectiemedewerkers). 1.2 Wat is nieuw in de pilots De uitgangspunten voor de pilots, die de inspectie het afgelopen jaar heeft uitgeprobeerd, zijn onder te verdelen in vier blokken: Een nieuw, gezamenlijk waarderingskader Gedifferentieerde oordelen Stimuleren boven basiskwaliteit Focus op kwaliteitszorg Figuur 1.1 Aanpassingen stimulerend toezicht Pagina 6 van 17

7 1.2.1 Een nieuw, gezamenlijk waarderingskader Het waarderingskader is vernieuwd en voor alle sectoren (vrijwel) gelijk. Uitgangspunten voor deze wijziging waren dat het nieuwe kader aan de volgende eisen zou moeten voldoen: eenvoudig en bruikbaar (i.v.m. communiceerbaarheid zo min mogelijk gelaagd) flexibel (voluit of partieel toepasbaar en mogelijkheden tot verdieping) diagnostisch kwaliteitsprofiel (ontwikkelkracht en verbeterpotentieel wegen mee in het oordeel en het vervolgtoezicht). Het Voorlopig waarderingskader dat in de pilots PO is gebruikt, is een kader waarin voor vier kwaliteitsgebieden (zie figuur 1.2; in de pilots is niet gekeken naar financieel beheer) tien standaarden zijn omschreven in portretten. Voor de pilots VVE (voor- en vroegschoolse educatie) gaat het om elf standaarden en portretten. Anders dan in de vorige waarderingskaders, zijn geen indicatoren geformuleerd De achterliggende gedachte is dat scholen meer gestimuleerd worden wanneer de verschillende aspecten van het onderwijs in samenhang bekeken worden. Figuur 1.2 Kwaliteitsgebieden De onderstaande tien standaarden zijn in de pilots meegenomen (tussen haakjes de aangepaste omschrijving voor VVE). Kwaliteitsgebied 1: Onderwijsresultaten 1.1 Cognitieve eindresultaten (resultaten in kernvakken, niet beoordeeld voor SBO) Kwaliteitsgebied 2: Onderwijsproces 2.1 Aanbod 2.2 Zicht op ontwikkeling 2.3 Didactisch handelen (educatief handelen) 2.4 Ondersteuning 2.5 Samenwerking (alleen beoordeeld voor VVE) Kwaliteitsgebied 3: Schoolklimaat en veiligheid 3.1 Schoolklimaat (klimaat) 3.2 Veiligheid Kwaliteitsgebied 4: Kwaliteitszorg en ambitie 4.1 Evaluatie en verbetering 4.2 Kwaliteitscultuur 4.3 Verantwoording en dialoog Pagina 7 van 17

8 1.2.2 Gedifferentieerde oordelen Met het geven van (meer) gedifferentieerde oordelen wil de inspectie (voor)scholen stimuleren om continu te werken aan het verbeteren van de kwaliteit van hun onderwijs. Tot nu toe werd voor het beoordelen van indicatoren ook al een vierpuntsschaal gebruikt (slecht, onvoldoende, voldoende, goed)1. In de praktijk kwamen de oordelen slecht echter sporadisch en goed duidelijk minder vaak voor. De beslisregels leidden er namelijk toe dat een goed voor de meeste indicatoren pas werd toegekend wanneer sprake was van een goede praktijk, ofwel een voorbeeld voor andere scholen. Ook in de pilots is elke standaard beoordeeld op een vierpuntsschaal: zeer zwak, zwak, voldoende en goed. De bij de standaarden horende portretten zijn echter zo omschreven dat vaker onderscheid kan worden gemaakt tussen voldoende en goed. Ook op schoolniveau wordt in de pilot meer gedifferentieerd in de oordelen. In het verleden kende de inspectie alleen de oordelen voldoende (basiskwaliteit), zwak en zeer zwak. In de pilot is hier het oordeel goed aan toegevoegd. Het eindoordeel op schoolniveau (op dezelfde vierpuntsschaal) is overigens alleen mondeling gegeven Stimuleren boven basiskwaliteit Met de nieuwe werkwijzen, die bij de pilotonderzoeken zijn gebruikt, is geprobeerd op verschillende manieren de kwaliteitsontwikkeling van de scholen te stimuleren. Het vooraf invullen van een zelfbeoordeling, het gezamenlijk bezoeken van lessen, de dialoog met betrokkenen (directie, team, ouders en leerlingen) tijdens het onderzoek en achteraf bij het feedbackgesprek; het zijn allemaal onderdelen waarbij het team op de school nadrukkelijk wordt uitgenodigd om te reflecteren op de eigen onderwijskwaliteit en, samen met de inspectie, conclusies te trekken voor het vervolg in de schoolontwikkeling. De te onderzoeken en te bespreken onderwerpen zijn daarbij niet van tevoren door de inspectie vastgelegd. Zo is bij de gesprekken gebruik gemaakt van mindmaps, waarin per standaard mogelijke onderwerpen staan vermeld. Hiermee worden leraren, ouders of leerlingen uitgenodigd om aan te geven wat zij belangrijk vinden om te bespreken. Hetzelfde geldt voor het feedbackgesprek, waarbij niet de inspecteur zijn bevindingen meldt, maar in gesprek gaat met de directie, (een deel van) het team en het bestuur Focus op kwaliteitszorg Tijdens alle onderzoeken is geprobeerd de zelfevaluatie van de school als uitgangspunt te nemen om zo het initiatief voor kwaliteitsverbetering bij de school te laten. Door de onderzoeken op verschillende manieren in te richten is gekeken naar alternatieven op dit gebied: de inspectie kijkt zelf, de inspectie en het team kijken samen, de inspectie kijkt hoe de school kijkt. Bij alle drie de varianten speelde de zelfevaluatie en de dialoog daarover een centrale rol. 1 Bij VVE: 1. Staat in de kinderschoenen: verbeteringen zijn dringend nodig 2. Enigszins ontwikkeld: verbeteringen zijn wenselijk 3. Voldoende 4. Goed ontwikkeld: een voorbeeld voor anderen 2 Behalve in Culemborg, waar het openbaar maken van eindoordelen per school gepilot is (zie rapport Stimulerend en gedifferentieerd toezicht, juni 2015). Pagina 8 van 17

9 1.3 De scope van dit rapport In het rapport Stimulerend en gedifferentieerd toezicht pilots 2014/2015 (Inspectie van het Onderwijs, 2015) heeft de inspectie in juni 2015 de eerste ervaringen met stimulerend en gedifferentieerd toezicht gerapporteerd voor alle sectoren samen. Voor het basisonderwijs ging het over 253 basisscholen en 30 voorscholen waarop enkele van de nieuwe werkwijzen zijn uitgevoerd. Het voorliggende rapport beschrijft de ervaringen met een breed scala aan nieuwe werkwijzen op 772 scholen voor primair onderwijs (waarvan 46 SBO scholen) en 30 voorscholen, die tussen 1 februari en half oktober 2015 zijn bezocht Onderzoeksvragen Om de ervaringen met de nieuwe werkwijze van het toezicht in kaart te brengen zijn de volgende onderzoeksvragen geformuleerd: 1. Hoe ervaren de diverse stakeholders3 de veranderingen in het toezicht en de verschillende vernieuwingen? Verschillen de ervaringen afhankelijk van de vernieuwing? Is er draagvlak voor deze veranderingen? 2. Hoe ervaren stakeholders de gedifferentieerde oordelen? Zijn de beoordelingen herkenbaar voor scholen? Wordt de context van de school in voldoende mate bij het oordeel betrokken? Is het voor schoolleiders duidelijk waar ze zich moeten/kunnen verbeteren? 3. Wat moet er verbeterd worden in het gedifferentieerd toezicht? 4. Zijn er onbedoelde effecten? Zijn deze gewenst of juist niet? 5. Hoe maken inspecteurs gebruik van het nieuwe waarderingskader? Hoe komen ze tot hun oordeel per standaard? Biedt het waarderingskader voldoende ruimte om op basis van hun expertise tot een oordeel te komen en rekening te houden met de specifieke situatie van de school? Geeft het waarderingskader voldoende houvast voor inspecteurs? In de juni-rapportage is een voorlopig antwoord op deze vragen geformuleerd met behulp van de tot dan toe beschikbare gegevens. In dit rapport beschrijven we eventuele wijzigingen in de bevindingen nu over veel meer scholen gegevens beschikbaar zijn. Daarnaast focussen we op verschillen tussen de verschillende vernieuwingen die de inspectie in de pilots PO heeft toegepast. Ook komen de ervaringen op de voorscholen en het speciaal basisonderwijs aan bod. Grafieken met de onderliggende data en (voorbeelden) van opmerkingen en suggesties van de betrokkenen zullen in een apart document worden gepubliceerd. 3 Stakeholders zijn bijvoorbeeld bestuurders, schoolleiders, leraren, ouders en leerlingen. In dit rapport zijn de reacties van schoolleiders, intern begeleiders, leraren en inspecteurs verwerkt. Pagina 9 van 17

10 2 Opzet van de pilots In totaal zijn 773 scholen voor primair onderwijs (727 basisscholen en 46 scholen voor speciaal basisonderwijs) en 30 voorscholen bezocht met een pilotonderzoek. Alleen (voor)scholen waar de basiskwaliteit op orde is, zijn met een pilotonderzoek bezocht. Wanneer bij scholen tijdens het pilotonderzoek toch risico s bleken te bestaan, kon het onderzoek worden omgezet naar een regulier kwaliteitsonderzoek met het huidige waarderingskader. Van deze mogelijkheid is nauwelijks gebruik gemaakt. 2.1 Vernieuwingen Tijdens de pilotonderzoeken zijn verschillende vernieuwingen uitgeprobeerd, allemaal met als doel de scholen te stimuleren tot kwaliteitsverbetering. Daarvoor zijn er tijdens deze pilot drie werkwijzen te onderscheiden: Werkwijze 1 : de inspectie kijkt zelf Uitgangspunt is de zelfbeoordeling, die door de school vooraf wordt ingevuld. Aan de hand van lesbezoeken en gesprekken, vormen de inspecteurs zich een beeld van de school. In het feedbackgesprek, vaak op een andere dag, worden de beelden in een dialoog met de directie, (een deel van) het team en het bestuur gedeeld, waarbij wordt gekeken wat de conclusies kunnen betekenen voor het vervolg in de schoolontwikkeling. Werkwijze 2: de inspectie en de school kijken samen Uitgangspunt is opnieuw de zelfbeoordeling, die door de school vooraf wordt ingevuld, waarbij nu extra aandacht wordt besteed aan de manier waarop de school zelf de kwaliteit van de lessen in beeld brengt. De lesbezoeken worden door de inspectie en mensen van de school samen uitgevoerd, waarbij de kijkwijzer van de school wordt gebruikt. Verder is er weer veel ruimte voor gesprekken en wordt na het onderzoek een feedbackgesprek gehouden. Werkwijze 3: de inspectie kijkt hoe de school kijkt. In deze werkwijze presenteert de school aan het begin van de dag de eigen kwaliteit aan de inspectie. Het beeld dat de school schetst, vormt de basis voor de agenda en de gesprekken tijdens het onderzoek. Lesbezoeken staan dan ook niet standaard op de agenda. Wel is er weer veel ruimte voor gesprekken met betrokkenen en wordt na het onderzoek een feedbackgesprek gehouden. Het doel van de pilots was overigens niet om de drie werkwijzen als geheel te testen. Het ging erom om het werken met het nieuwe kader uit te proberen en de vernieuwingen in de uitvoering van het onderzoek, zoals het invullen van een zelfbeoordeling, gezamenlijke lesbezoeken, een presentatie door de school, gesprekken met het team, ouders en leerlingen, het feedbackgesprek, een nieuwe manier van rapporteren etc. In tabel 2.1 is een overzicht te zien van de vernieuwingen, en in welke van de drie werkwijzen ze zijn uitgeprobeerd. Bij sommige onderzoeken hebben de inspecteurs combinaties van verschillende werkwijzen gebruikt als dat beter paste bij de school of de eigen agenda. Zo hebben bij werkwijze 2 ook feedbackgesprekken op een andere dag plaatsgevonden. Pagina 10 van 17

11 Tabel 2.1 Overzicht van de vernieuwingen per werkwijze Werkwijze 1: de inspectie kijkt werkwijze 2: de inspectie en de school kijken samen werkwijze 3 de inspectie kijkt hoe de school kijkt Waarderingskader 4 10 standaarden 10 standaarden 10 standaarden Openbaar eindoordeel Rapport openbaar Nee Nee Nee Ja Ja Ja Aantal scholen Aantal voorscholen 30 Zelfbeoordeling vooraf via vragenlijst inspectie via vragenlijst inspectie via zelfevaluatie school (vragenlijst inspectie facultatief) Twee inspecteurs Op de meeste scholen Op de meeste scholen Op de meeste scholen Kennismaking aan het begin van de onderzoeksdag De inspecteur maakt kennis met directie en team en informeert over doel en werkwijze van gedifferentieerd toezicht. De inspecteur maakt kennis met directie/locatieleiding en team en informeert over doel en werkwijze van gedifferentieerd toezicht De inspecteur maakt kennis met directie en team en informeert over doel en werkwijze van gedifferentieerd toezicht Lesbezoeken De inspecteurs bezoeken lessen met een nieuw lesobservatieformulier, gebaseerd op de standaarden en portretten. Inspecteurs en observatoren van de (voor)school bezoeken lessen met een door de school aangeleverd observatieformulier. De school bepaalt of op welke manier lessen worden bezocht. Presentatie door de school Nee Nee De school presenteert aan het begin van de dag de eigen kwaliteit aan de inspectie. Gesprekken met leraren, leerlingen en ouders. Aan de hand van een mindmap. Aan de hand van een mindmap Aan de hand van een mindmap Gesprek met interne begeleiding Aan de hand van een mindmap Inspecteurs en observatoren van de (voor)school brengen samen Zicht op ontwikkeling in kaart. Aan de hand van een mindmap Gesprek met Aan de hand van een Aan de hand van een Aan de hand van een 4 Op een aantal scholen met een VVE-locatie zijn 11 standaarden beoordeeld. Pagina 11 van 17

12 schoolleiding mindmap mindmap mindmap Feedbackgesprek De inspectie presenteert haar bevindingen in een powerpointpresentatie en gaat hierover in dialoog met bestuur, schoolleiding, interne begeleiding en (een delegatie van de) leraren. Het gesprek vindt plaats op een andere dag dan het schoolbezoek (uitgesteld feedbackgesprek). De inspectie presenteert haar bevindingen in een powerpointpresentatie en gaat hierover in dialoog met bestuur, schoo-/locatielleiding, interne begeleiding en (een deel van de) leraren/pedagogisch medewerkers. Het gesprek vindt plaats op de dag van het schoolbezoek De inspectie presenteert haar bevindingen in een powerpointpresentatie en gaat hierover in dialoog met bestuur, schoolleiding, interne begeleiding en (een deel van de) leraren. Het gesprek vindt plaats op de dag van het schoolbezoek Reactie van het bestuur Het bestuur voegt een reactie toe aan het inspectierapport waarin ze aangeeft op welke manier de school de huidige kwaliteit wil verbeteren. Het bestuur voegt een reactie toe aan het inspectierapport waarin ze aangeeft op welke manier de (voor)school de huidige kwaliteit wil verbeteren. Het bestuur voegt een reactie toe aan het inspectierapport waarin ze aangeeft op welke manier de school de huidige kwaliteit wil verbeteren. Inspecteurs wegen de informatie uit het schoolbezoek (gesprekken, lesobservaties en documentanalyse) om te komen tot een oordeel over de standaarden. Voor de oordeelsvorming zijn de portretten bij de standaarden het uitgangspunt. Daarnaast zijn er richtlijnen opgesteld om het verschil tussen 'onvoldoende', 'voldoende' en 'goed' vast te stellen. Ook zijn er voorlopige beslisregels voor het eindoordeel 'voldoende' of 'goed' over de onderwijskwaliteit op een school. De rapporten over de pilotonderzoeken worden openbaar gemaakt op de website van de inspectie. Het gedifferentieerde eindoordeel over de onderwijskwaliteit hebben de inspecteurs mondeling gegeven aan de school, maar het is niet opgenomen in de openbare rapporten. 2.2 Selectie scholen Voor de pilots op (speciale) basisscholen heeft de inspectie een selectie gemaakt uit de scholen met een basisarrangement die ongeveer vier jaar geleden voor het laatst zijn bezocht. De werkwijzen zijn vervolgens verdeeld over de scholen, waarbij enigszins rekening is gehouden met meer of minder stabiele eindresultaten en het beeld t.a.v. kwaliteitszorg bij het laatste onderzoek op de school. Het uitgangspunt is dat alle werkwijzen op alle geselecteerde scholen toegepast kunnen worden. 2.3 Opzet monitoring pilot Om de pilots in het primair onderwijs te monitoren is gebruik gemaakt van vragenlijsten die uitgezet zijn onder schoolleiders, leraren en intern begeleiders. Per school hebben drie leraren5 (onderbouw, middenbouw, bovenbouw) en een intern begeleider na het schoolbezoek het verzoek gekregen om een vragenlijst in te vullen. De inspectie heeft hen gevraagd hoe zij het onderzoek hebben ervaren. Ook is hen gevraagd om de school te beoordelen aan de hand van het conceptwaarderingskader. De school-/locatieleider heeft eenzelfde soort vragenlijst ontvangen en bovendien (bij werkwijze 1 en 2) een zelfbeoordeling ingevuld voorafgaand aan het onderzoek. In de voorscholen hebben we de locatieleiders na ontvangst van het conceptrapport een vragenlijst gestuurd om hen te vragen naar 5 Op de voorscholen pedagogisch medewerkers Pagina 12 van 17

13 hun ervaringen met de pilot. Ook pedagogisch medewerkers en ib ers hebben we gevraagd om een vergelijkbare enquête in te vullen. Intern zijn onder inspecteurs vragenlijsten uitgezet. Voor ruim 600 onderzoeken hebben de inspecteurs een vragenlijst ingevuld over hun ervaringen, oordeelsvorming en tijdsinvestering. Nog eens 111 inspecteurs, 31 analisten en 36 medewerkers toezicht hebben een eenmalige vragenlijst ingevuld over de ervaringen met de vernieuwingen in het algemeen. De respons was hoog met 70 tot 80 procent per doelgroep. Pagina 13 van 17

14 3 Resultaat: antwoorden op de onderzoeksvragen De pilots hebben voldoende informatie opgeleverd om de onderzoeksvragen te kunnen beantwoorden. Zoals reeds eerder opgemerkt, zijn verdere details en onderbouwingen van de hieronder gegeven resultaten, te vinden in een aparte rapportage. 3.1 Ervaringen met de verschillende werkwijzen 1. Hoe ervaren de diverse stakeholders de veranderingen in het toezicht en de verschillende onderzoeksmethodieken? Verschillen de ervaringen afhankelijk van de vernieuwing? Is er draagvlak voor deze veranderingen? School- en locatieleiders, intern begeleiders en leraren en pedagogisch medewerkers waarderen de veranderingen in het toezicht als geheel vrijwel zonder uitzondering positief 6. De meeste vernieuwingen die in de pilots zijn uitgevoerd worden ook afzonderlijk als positief ervaren en hebben draagvlak bij de (voor)scholen. De ervaringen in het regulier basisonderwijs wijken daarbij nauwelijks af van die in het speciaal basisonderwijs. Er zijn wel enkele opvallende verschillen te melden tussen scholen en voorscholen. Vrijwel alle schoolleiders vinden het zinvol om een zelfbeoordeling in te vullen en/of een eigen zelfevaluatie aan te leveren, ondanks dat dit relatief veel tijd vraagt. Ook de inspecteurs ervaren dit als nuttig, niet alleen als basis voor de dialoog, maar ook om voorafgaand aan het onderzoek zich bij de voorbereiding een beeld te vormen over de (voor)school. Inspecteurs vonden de zelfevaluaties, afhankelijk van de werkwijze, namelijk in 70 tot 80 procent bijdragen aan de oordeelsvorming. Hoe de eigen zelfevaluaties het beste kunnen worden ingezet, is echter nog een aandachtspunt. Zo wisten schoolleiders in de pilots niet altijd goed wat er van hen verwacht werd, welke informatie ze het beste konden aanleveren en hoe deze zou worden gebruikt. Inspecteurs bleken regelmatig terughoudend te zijn om het oordeel van de school over te nemen. Dit gold het sterkst voor didactisch handelen. Bij de derde werkwijze, uitgevoerd op 93 scholen, presenteert de school zich over de eigen kwaliteit aan de inspectie. Verreweg de meeste schoolleiders, ib ers en leraren zijn positief over deze nieuwe werkwijze, hoewel sommigen zich wat onzeker voelen. Over het algemeen voelen ze zich uitgedaagd en zien ze het als een kans om zichzelf goed neer te zetten. Op de scholen die bezocht zijn met werkwijze 2 hebben de inspecteurs lesbezoeken uitgevoerd samen met observanten van de school. Ze werkten daarbij met het instrument dat de school zelf gebruikt bij het observeren van leraren. Zowel schoolleiders als ib ers en leraren zijn positief over de gezamenlijke lesbezoeken en vinden het bijna allemaal een verbetering ten opzichte van de werkwijze waarbij alleen de inspecteur de lesbezoeken uitvoert. Leraren zijn daarbij wat kritischer dan schoolleiders en ib ers over het nut van gezamenlijke lesbezoeken. Maar ook bij hen geeft ruim meer dan 80 procent aan de gezamenlijke lesbezoeken een verbetering te vinden. Overigens is een aantal leraren kritisch over de waarde van lesobservaties, ongeacht de manier waarop dit gebeurt. Bij de voorscholen is dit percentage significant hoger dan bij de basisscholen. Daar geeft 20 procent van de pedagogisch medewerkers namelijk aan de kwaliteit van het educatief handelen onvoldoende te kunnen hebben laten zien. 6 Bestuurders, ouders en leerlingen zijn in deze evaluatie niet bevraagd. Pagina 14 van 17

15 Bij alle pilotonderzoeken heeft de inspectie gesprekken gevoerd met leerlingen, ouders, leraren, interne begeleiders en schoolleiders. Op de voorscholen is verder gesproken met de pedagogisch medewerkers. Scholen zijn positief over deze brede aanpak. Volgens hen draagt het bij aan communicatie en draagvlak voor kwaliteitsverbetering. Veel waardering krijgt het feedbackgesprek waarbij ook leraren aanwezig zijn. Wel willen veel leraren graag dat het hele team kan aanschuiven, terwijl sommige schoolleiders en inspecteurs dit niet in alle situaties gewenst vinden. Medewerkers van de voorscholen geven aan dat het gevaar bestaat te worden ondergesneeuwd in het feedbackgesprek omdat dit samen met de basisschool wordt gehouden, In de pilot kunnen besturen een reactie toevoegen aan het rapport. De bedoeling hiervan is om scholen en besturen er toe aan te zetten de bevindingen van het inspectieonderzoek te integreren in de eigen schoolontwikkeling. Schoolleiders vinden over het algemeen dat het (zeer) zinvol is om een reactie op het conceptrapport toe te voegen aan het rapport. Over de inrichting van het onderzoek als geheel, waarbij de dag start met kennismaking met het team en in de loop van de dag ook gesproken wordt met leraren, leerlingen en ouders, zijn de betrokkenen positief. 3.2 Ervaringen met de gedifferentieerde oordelen 2. Hoe ervaren stakeholders de gedifferentieerde oordelen? Zijn de beoordelingen herkenbaar voor schoolleiders en besturen? Wordt de context van de school in voldoende mate bij het oordeel betrokken? Is het voor schoolleiders duidelijk waar ze zich moeten/kunnen verbeteren? De oordelen per standaard laten een gedifferentieerd beeld zien: Schoolklimaat en Veiligheid zijn op 60 procent van de scholen als goed beoordeeld; op voorscholen zelfs meer dan 70 procent. De meeste onvoldoendes zijn gegeven voor Zicht op ontwikkeling (20 procent; 8 procent op voorscholen) en Evaluatie en verbetering (11 procent; 14 procent op voorscholen). Op de voorscholen zijn ook de resultaten op kernvakken en het educatief handelen relatief vaak (op 8 procent van de voorscholen) als onvoldoende beoordeeld. Op schoolniveau is bijna 9 procent (die allemaal het basisarrangement hebben en houden op grond van het vigerende kader) als goed beoordeeld; bijna 4 procent van de scholen als zwak. Op laatstgenoemde scholen is het didactisch handelen en/of zicht op ontwikkeling onvoldoende. De meeste scholen vinden het prettig dat de inspectie gedifferentieerd oordeelt en onderscheid maakt tussen voldoende en goed. Dit geldt zowel op standaard- als op schoolniveau. Het is niet bekend in hoeverre hierin meespeelt dat tijdens de pilot het oordeel op schoolniveau niet openbaar is gemaakt. Sommigen vinden de afstand tussen voldoende en goed te groot en pleiten voor een meer gedifferentieerde schaal. Een klein percentage is tegen gedifferentieerd oordelen. Dit zou leiden tot te veel concurrentie tussen scholen. Relatief veel schoolleiders, ib ers en leraren (circa 10 procent) zeggen dat ze het niet duidelijk vinden wanneer een standaard als voldoende of goed beoordeeld wordt. Het is voor hen niet duidelijk waar de grens ligt en hoe de inspectie tot een oordeel komt. Leraren denken soms dat er vastgestelde normen zijn, maar dat zij die niet kennen; anderen vinden de inspectieoordelen subjectief. Na afloop van het onderzoek zijn de meeste schoolleiders/locatieleiders, intern begeleiders en leraren/pedagogisch medewerkers het eens met het oordeel van de inspectie op de standaarden. Zo n15 procent van de schoolleiders per standaard is het niet met het inspectieoordeel eens; voor Zicht op ontwikkeling geldt dit zelfs voor een kwart van de schoolleiders. Over het algemeen vinden de (voor)scholen dat ze voldoende ruimte krijgen voor eigen inbreng, dat de inspecteurs rekening houden met de specifieke situatie van de Pagina 15 van 17

16 school en op een transparante manier te werk gaan. Een aantal leraren vindt dat er nog te weinig rekening gehouden wordt met de leerlingenpopulatie. School- en locatieleiders herkennen zich over het algemeen in de rapportage over het onderzoek en de door de inspectie benoemde verbeterpunten. Veel van hen melden dat deze punten overeenkomen met het eigen beeld van de school; anderen zeggen hun verbeterplannen na het inspectieonderzoek te hebben aangepast. Verreweg de meeste schoolleiders vinden het zinvol om hun plannen toe te voegen aan het inspectierapport. 3.3 Leerpunten 3. Wat moet er verbeterd worden in het gedifferentieerd toezicht? Naast de algehele positieve beeld over de ingezette veranderingen in het toezicht, is ook een aantal verbeterpunten te noemen. Soms betreft het slechts verfijningen van de werkwijzen in de pilots, maar er zijn ook een aantal zaken die de kwaliteit en impact van het toezicht betreffen. We noemen hier de belangrijkste: Waarderingskader en oordelen Het gebruikte concept waarderingskader levert voor te veel (voor)scholen en inspecteurs nog onduidelijkheid op over de wijze van beoordelen. Daar komt bij dat een deel van de inspecteurs sommige standaarden breed geformuleerd vinden, waardoor sterke punten en verbeterpunten elkaar kunnen uitmiddelen tot een voldoende oordeel. Daarbij is het niet altijd duidelijk op basis waarvan oordelen tot stand komen. Het ontbreekt met andere woorden nog aan een goed uitgekristalliseerde nadere operationalisatie of normering. De vraag is op welke wijze dit verbeterd kan worden, waarbij professioneel oordelen met oog voor de context van de school belangrijker is dan (te) strakke beslisregels. Scholen moeten daarbij echter vanzelfsprekend goed weten waar ze op beoordeeld worden en daar mag niet te veel verschil tussen inspecteurs in zitten. Overnemen van oordelen (over didactisch handelen) uit zelfevaluaties In veel onderzoeken vonden de inspecteurs de eigen zelfevaluaties die de scholen aanleverden onvoldoende geschikt om een gedifferentieerd oordeel over met name het didactisch handelen te kunnen geven. Voor de scholen was het niet altijd duidelijk welke eisen de inspectie stelt aan de zelfevaluatie. Als we uit willen gaan van het eigenaarschap van scholen en besturen van hun eigen kwaliteit, dan vraagt dit dat scholen een goed zelfbeeld van de kwaliteit hebben zodat de inspectie daar in het toezicht goed op kan aansluiten. We zien dat sommige scholen daar goed in slagen en andere nog niet. Daarnaast hebben we ook in deze pilot gezien dat we als inspectie nog zoeken naar goede manieren om de informatie uit de zelfevaluatie te benutten bij het onderzoek en op welke wijze die eigen oordelen van de school zich verhouden tot het oordeel van de inspecteur. Communicatie Over het algemeen zijn (voor)scholen tevreden over de communicatie van de inspectie. Toch zijn op dit punt verbeteringen belangrijk. De inspectie kan bijvoorbeeld in haar communicatie naar de scholen en besturen benadrukken dat het belangrijk is om de inspectie-informatie te delen met leraren/pedagogisch medewerkers, intern begeleiders, ouders en leerlingen. Daarnaast is het belangrijk om goed na te denken over de wijze van communiceren over de manier van oordelen en het gebruik van zelfevaluaties. Dit kan bijdragen aan realistische verwachtingen over de inspectie en het onderzoek en, nog belangrijker, aan de effectiviteit van het onderzoek. Pagina 16 van 17

17 3.4 Onbedoelde effecten 4. Zijn er onbedoelde effecten? Zijn deze gewenst of juist niet? Op dit moment is nog niet te zeggen wat de effecten van de nieuwe inspectiewerkwijze zijn op de daadwerkelijke ontwikkeling van het onderwijs op de bezochte scholen. Wel zijn de verwachtingen voornamelijk positief. Een aantal respondenten noemt in de vragenlijsten mogelijk onbedoelde ongewenste effecten: Concurrentie tussen scholen Een aantal scholen vindt dat het geven van gedifferentieerde oordelen kan leiden tot ongewenste concurrentie tussen scholen, waarbij de nadruk komt te liggen op de hoogte van de oordelen en niet op het positieve effect op de schoolontwikkeling. Beïnvloeding door zelfbeoordeling vooraf Enkele inspecteurs geven aan dat ze in hun oordeelsvorming mogelijk beïnvloed worden door de zelfbeoordeling voorafgaand aan het onderzoek. Het is lastiger om een school die zichzelf voor alle standaarden als goed beoordeelt, onvoldoendes te geven en/of geen enkele keer het oordeel goed te geven. Mogelijk zijn scholen die zich bescheiden opstellen daardoor slechter af. Adviseurs (en scholen/besturen) zouden dit effect kunnen gebruiken om de vragenlijst strategisch in te vullen. Scholen, die zichzelf op veel standaarden als goed beoordeelden, lijken ook van de inspectie vaak het oordeel goed te krijgen. Of hierbij sprake is van een oorzakelijk verband, is echter niet eenduidig vast te stellen. 3.5 Oordelen met het nieuwe waarderingskader 5. Hoe maken inspecteurs gebruik van het nieuwe waarderingskader? Hoe komen ze tot hun oordeel per standaard? Biedt het waarderingskader voldoende ruimte om op basis van hun expertise tot een oordeel te komen en rekening te houden met de specifieke situatie van de school? Geeft het waarderingskader voldoende houvast voor inspecteurs? De inspecteurs vinden dat het waarderingskader de belangrijkste kenmerken van goede scholen beschrijft. Ook vinden de meesten dat het kader voldoende ruimte biedt om op basis van expertise tot een oordeel te komen en rekening te houden met de situatie van de school. Een aantal inspecteurs merkt daarbij overigens op dat deze ruimte in het vigerende kader ook aanwezig was, maar nu meer specifiek aandacht krijgt. Voor bijna alle standaarden gaven de inspecteurs in meer dan 75 procent van de onderzoeken aan dat het zeer makkelijk, makkelijk of in ieder geval niet moeilijk was om tot een oordeel te komen. Het kader biedt daarmee voldoende houvast om te komen tot een oordeel per standaard. Alleen voor Zicht op ontwikkeling en Didactisch handelen (bij werkwijze 3) vindt circa 25 procent van de inspecteurs het moeilijk of zeer moeilijk om een oordeel te vellen. Een aantal inspecteurs vindt het nadelig dat de standaarden zo breed geformuleerd zijn. Volgens hen leidt dit tot uitmiddelen naar voldoende, terwijl er op onderdelen binnen de standaard wel verbeteringen nodig zijn. Dit kan dan nog wel worden meegenomen in de gesprekken en de rapportage, in het oordeel is dit echter niet meer te zien. Pagina 17 van 17