Werkwijze en verantwoording De Staat van het Onderwijs 2013/2014 Inleiding De inspectie doet jaarlijks verslag van de staat van het onderwijs in het Onderwijsverslag. Hierin staan ontwikkelingen in de kwaliteit van scholen en ontwikkelingen in het onderwijsstelsel centraal. De beschrijving van de ontwikkelingen is vaak gebaseerd op een analyse van wat de inspecteurs in scholen aantreffen. Maar ook gebruiken we gegevens die andere instanties verzamelen. We willen graag transparant zijn over de wijze waarop we tot bevindingen komen. Daarom vindt u op deze website informatie over de werkwijze, de gebruikte bestanden, de onderliggende cijfers en de technische onderzoeksgegevens. Voor elke sector is (binnenkort) een rapport met achterliggende analyses en gegevens beschikbaar. Informatie over de leraar (met uitzondering van heb mbo en ho) staat in een apart technisch rapport. Ook voor deel 1 van het Onderwijsverslag, de hoofdlijnen, komen een aantal technische rapporten beschikbaar. In dit document treft u een algemene verantwoording aan. Aan de orde komen de werkwijze en gebruikte gegevensbronnen. Naast deze toelichtingen vindt u op de website een aantal gegevensbestanden. Het gaat hier om de (geanonimiseerde) uitkomsten van steekproefonderzoeken, de toezichtarrangementen per school of instelling en besturen die onder aangepast financieel toezicht staan. Tot slot maken we u graag attent op een aantal datavisualisaties. Onder Infographics vindt u de grafische weergave van een aantal bevindingen uit de hoofdlijnen van het Onderwijsverslag 2013/2014. Deze infographics kunt u daar als pdf downloaden. Algemene verantwoording Toezichtarrangementen In de meeste sectoren krijgen scholen, opleidingen en afdelingen ieder schooljaar een toezichtarrangement toegekend. In de sectorhoofdstukken wordt hierover gerapporteerd. Scholen die hun onderwijs op orde hebben en voldoende opbrengsten (leerresultaten) realiseren, vallen onder het basistoezicht van de inspectie. Jaarlijks gaat de inspectie na of het basisarrangement verlengd kan worden. Hiertoe voert de inspectie een risicoanalyse uit waarbij de eindopbrengsten van de laatste drie jaar, jaarstukken en eventuele signalen worden betrokken. Staan alle lichten op groen, dan wordt het basisarrangement met een jaar verlengd. Dit betekent overigens niet dat de inspectie op alle onderdelen tevreden is over de onderwijskwaliteit. Doorgaans kennen ook de groene scholen een of meer verbeterpunten. Een basisarrangement wil zeggen dat ten minste voldaan is aan de minimale kwaliteitseisen. Als de inspectie belangrijke risico s constateert, dan wordt na een gesprek met het bestuur van de school, een kwaliteitsonderzoek gedaan op de school. Als blijkt dat de onderwijskwaliteit onvoldoende is, wordt een aangepast arrangement zwak of zeer zwak toegekend en wordt het toezicht geïntensiveerd. Dat betekent dat de inspectie er op toeziet dat de school de onderwijskwaliteit zo snel mogelijk (blijvend) verbetert. In het Onderwijsverslag wordt gerapporteerd over de toezichtarrangementen van alle scholen en opleidingen op 1 september 2014. Het aantal eenheden waarover gerapporteerd wordt kan net iets kleiner zijn dan het totaal aantal scholen in de populatie. Dit kan verschillende redenen hebben. De meest voorkomende reden is dat scholen die pas sinds korte tijd bestaan, nog geen arrangement hebben. De kwaliteit van het onderwijs Steekproefonderzoek
Elk jaar onderzoeken inspecteurs een steekproef van bekostigde scholen, vestigingen of opleidingen. Dit geldt voor elke sector, behalve het hoger onderwijs. Deze steekproeven vormen een dwarsdoorsnede van scholen en opleidingen in Nederland. Uitgangspunt is dat elke school in aanmerking komt voor de steekproef. Hoewel de invulling per sector enigszins varieert, is elke steekproef representatief voor alle scholen in Nederland op kenmerken als omvang, regionale spreiding, leerlingenpopulatie, eerdere kwaliteit etc. Non-respons komt nauwelijks voor; alleen bij calamiteiten kan men afwijken van het trekkingsplan. In sommige sectoren wordt naast een aselecte groep scholen een extra steekproef van potentieel (zeer) zwakke scholen getrokken. In de verschillende technische rapporten zijn de details van de steekproeftrekking en gegevens over de respons, omvang en nauwkeurigheid te vinden. In het Onderwijsverslag is steeds sprake van representatieve steekproeven, tenzij anders vermeld Waarderingskader Tijdens de onderzoeken op de scholen en opleidingen vinden meerdere activiteiten plaats. In elke sector geven inspecteurs oordelen op onderdelen van het waarderingskader, zoals kwaliteitszorg, didactisch handelen en zorg en begeleiding. De inspecteurs baseren zich hierbij op meerdere gegevensbronnen: schooldocumenten, leerresultaten, zorgplannen, lesobservaties, gesprekken, etc. In het algemeen geven zij oordelen op een 4-puntsschaal, lopend van slecht, via onvoldoende en voldoende naar goed. In het Onderwijsverslag zijn de oordelen op de 4-puntsschaal meestal omgezet naar een 2- puntsschaal, te weten onvoldoende en voldoende Het waarderingskader is in de loop der jaren af en toe aangepast. Voor alle sectoren geldt dat er een aantal indicatoren is, dat over de jaren heen gelijk blijft of tijdelijk met een nieuw kader meeloopt. Op deze manier is voor elke sector een overzicht mogelijk van de ontwikkeling van de kwaliteit over meerdere jaren. Voor sommige sectoren kan zo een overzicht gemaakt worden dat ruim 15 jaar teruggaat in de tijd. In een enkele sector is de wijze waarop we steekproeven trekken, de afgelopen jaren veranderd. Zo trekken we in het voortgezet onderwijs steekproeven uit alle vestigingen, terwijl dit in het verleden uit alle afdelingen van een specifieke schoolsoort was. Een vergelijking in tijd is hierdoor niet direct mogelijk. Opbrengstgericht werken Sinds 2008/2009 besteedt de inspectie in het Onderwijsverslag expliciet aandacht aan opbrengstgericht werken. De inspectie verstaat hieronder het systematisch en doelgericht werken aan het maximaliseren van prestaties. Voor het basisonderwijs en het voortgezet onderwijs is opbrengstgericht werken verschillend geoperationaliseerd aan de hand van de waarderingskaders. Voor de onderliggende indicatoren per sector kunt u de verschillende hoofdstukken en technische rapporten raadplegen. Lesobservaties Tijdens de schoolbezoeken vinden lesobservaties plaats. Tijdens deze lessen scoort de (getrainde) inspecteur meerdere indicatoren die betrekking hebben op het pedagogisch-didactische handelen van de leraar. De lesobservaties zijn niet bedoeld om een oordeel over een individuele leraar te geven. Daarvoor zouden meer lessen van dezelfde leraar geobserveerd moeten worden. Wel kan hiermee een uitspraak op schoolniveau worden gedaan. Ook zijn uitspraken over leraren in het algemeen, op stelselniveau, mogelijk. De inspecteurs komen immers bij een aselecte groep scholen alle soorten en typen docenten tegen. In het Onderwijsverslag staan oordelen over het didactisch handelen in de lessen en oordelen op schoolniveau. Als een inspecteur in driekwart of meer van de geobserveerde lessen een indicator als voldoende beoordeeld, dan is het oordeel op schoolniveau voldoende. Kenmerken van leraren In het basisonderwijs inventariseren we bij de lesobservaties ook kenmerken van de leraren, zoals het geslacht, het opleidingsniveau, werkervaring etc. Deze kenmerken gekoppeld aan de kwaliteit
van de les, maken het mogelijk uitspraken te doen over hoe bepaalde groepen leraren functioneren. Vragenlijsten In sommige sectoren krijgen scholen voorafgaand aan het schoolbezoek een digitale vragenlijst. Hierin kunnen allerlei thema s aan de orde komen. Een aantal vragen komt jaarlijks terug, een aantal vragen komt slechts eenmalig aan de orde. Zo komt de aandacht voor leerlingen steeds terug en was in het voortgezet onderwijs het beleid rond zittenblijven een specifiek thema in 2013/2014. In onderstaand overzicht staat per onderwijssoort* aangegeven welk type instrument bij de steekproefonderzoeken is ingezet. Basisonderwijs Speciaal basisonderwijs (Voortgezet) speciaal onderwijs Voortgezet onderwijs Beroepsonderwijs- en volwasseneneducatie Waarderingskader x x x x x Lesobservaties x x x x x Leraarkenmerken x Vragenlijst x x *voor het hoger onderwijs geldt dat er geen steekproefonderzoek plaatsvindt. Voor de analyses in het hoofdstuk hoger onderwijs verwijzen wij u naar het technisch rapport. In het Onderwijsverslag worden alle bevindingen uit het steekproefonderzoek op significantie getoetst bij p<.05. Deze bevindingen zijn vetgedrukt. Onderwijsresultaten Tot de onderwijsresultaten behoren de resultaten op toetsen en examens, de doorstroom en uitstroom van leerlingen en diplomarendement. De gekozen benadering verschilt enigszins per sector en is afhankelijk van de beschikbaarheid van gegevens. Zo zijn in het speciaal onderwijs en middelbaar beroepsonderwijs nauwelijks centraal geregistreerde toetsgegevens voorhanden. In het Onderwijsverslag worden gegevens geanalyseerd en gerapporteerd op leerling- en schoolniveau. De gegevens over leerlingen komen meestal uit de verschillende onderwijsnummerbestanden van DUO. Deze bestanden geven ook inzicht in kenmerken van leerlingen als etniciteit, geslacht en verblijfsduur op een school. Het is steeds beter mogelijk leerlingen langdurig te volgen in het stelsel. Voor de analyses en gerapporteerde oordelen op school- of opleidingsniveau worden de leerlinggegevens geaggregeerd of wordt van andere bestanden gebruik gemaakt (bijvoorbeeld schoolgemiddelden Eindtoets Basisonderwijs). Bij de oordelen op schoolniveau wordt in het funderend onderwijs rekening gehouden met achtergrondkenmerken van leerlingen, omdat de samenstelling van de leerlingenpopulatie grote samenhang vertoont met de bereikte resultaten. Sociale kwaliteit Onder sociale kwaliteit komen verschillende onderwerpen aan de orde die allen te maken hebben met het welzijn van de leerlingen, zoals veiligheid en sociale competenties. De gebruikte bronnen en bestanden zijn divers. Een deel van de onderwerpen komt rechtstreeks uit steekproefonderzoeken. Andere bronnen zijn een pilot-onderzoek naar sociale kwaliteit, meldingen bij de vertrouwensinspecteurs en externe bestanden. Vertrouwensinspectie Bij de vertrouwensinspecteurs komen meldingen binnen over seksuele intimidatie en seksueel misbruik, psychisch en fysiek geweld, discriminatie en radicalisering. Iedereen kan een dergelijke melding doen. Meldingen die binnen deze bovengenoemde categorieën vallen, kunnen voorgelegd worden aan de vertrouwensinspecteur. De vertrouwensinspecteur kan adviseren in het traject naar
het indienen van een formele klacht of het doen van aangifte. In het Onderwijsverslag doet de inspectie verslag van het aantal aangemaakte dossiers. De leraar Pedagogische en didactische vaardigheden De inspectie onderscheidt, op basis van de lesobservaties, algemeen didactische vaardigheden en differentiatievaardigheden. Onder algemeen didactische vaardigheden vallen het geven van een duidelijke uitleg door de leraar, het werken in een taakgerichte werksfeer en de actieve betrokkenheid van leerlingen bij de les. Alleen als al deze indicatoren voldoende zijn, voldoet een les aan de algemeen didactische vaardigheden. De invulling van differentiatievaardigheden verschilt per sector. Dit komt doordat de waarderingskaders verschillen. Als gemene deler geldt wel dat het altijd gaat om het afstemmen van het onderwijs in de klas op verschillen tussen leerlingen. Naast deze vaardigheden onderscheidt de inspectie bij het handelen van leraren ook pedagogische vaardigheden (creëert de leraar een veilige leersituatie, gaan leerlingen respectvol met elkaar en anderen om?). Bestuur, financiën en naleving Kwaliteit besturen Om zicht te krijgen op het functioneren van besturen, analyseert de inspectie de kwaliteit van de scholen die onder een bestuur vallen. Per bestuur wordt bekeken of en hoeveel (zeer) zwakke scholen een bestuur heeft en of sprake is van langdurig (zeer) zwakke scholen. Voor het basisonderwijs, het voortgezet onderwijs en het (voortgezet) speciaal onderwijs gaat het om besturen waar al sinds 1 september 2011 sprake is van de aanwezigheid van (zeer) zwakke scholen. Financiën De inspectie rapporteert over het aantal besturen onder aangepast financieel toezicht en over de waarde van de indicatoren solvabiliteit (de mate waarin besturen op langere termijn aan de verplichtingen kunnen voldoen), liquiditeit (de mate waarin besturen op kortere termijn aan hun verplichtingen kunnen voldoen) en rentabiliteit (het evenwicht tussen baten en lasten en de ontwikkeling van het eigen vermogen). Een bestuur komt onder aangepast financieel toezicht als het teveel risico neemt op het gebied van financiële continuïteit, rechtmatigheid of doelmatigheid. In het Onderwijsverslag wordt het aantal besturen gerapporteerd dat op 1 augustus 2014 onder aangepast financieel toezicht stond. Naleving wet- en regelgeving Een belangrijke taak van de inspectie is het toezicht houden op het naleven van wet- en regelgeving. Als basis zijn hiervoor meerdere bronnen: indicatoren in het waarderingskader, aangeleverde schooldocumenten en jaarverslagen en thematisch onderzoek. Overig onderwijs De inspectie houdt, naast het regulier bekostigd onderwijs, ook toezicht op niet-bekostigd onderwijs, Europese scholen, scholen in het buitenland en scholen voor nieuwkomers. Met een zekere regelmaat onderzoekt de inspectie (een steekproef van) deze scholen met een waarderingskader en kent net als in het regulier onderwijs toezichtarrangementen toe. In het Onderwijsverslag komen de belangrijkste bevindingen aan de orde. Externe bronnen en meelezers De hierboven genoemde themaonderzoeken in het Onderwijsverslag zijn vooral gebaseerd op data uit door de inspectie zelf verzameld materiaal. Daarnaast gebruikt de inspectie ook externe bronnen, zoals bestanden van DUO met kenmerken van scholen en leerlingen, bestanden van het CBS en ROA over onder meer de arbeidsmarkt en voortijdig schoolverlaten, bestanden over tevredenheid van studenten van LAKS en NSE, OECD-bestanden voor internationale vergelijkingen,
bestanden van universiteiten, etc. Waar mogelijk worden deze gegevens gekoppeld aan eigen gegevens, om zo meerwaarde te creëren zonder scholen extra te belasten. Meestal vindt de analyse en de koppeling in samenspraak met de onderzoekers van de toeleverende instantie plaats. Ieder hoofdstuk van het Onderwijsverslag wordt meegelezen en becommentarieerd door meerdere externe (wetenschappelijke) referenten. Veelal zijn dit medewerkers van universiteiten. Daarnaast worden voor een aantal thema s bijeenkomsten georganiseerd waar de bevindingen worden gepresenteerd. Jaarlijks wordt een aantal onderwerpen uitgediept tijdens presentaties op congressen, zoals bijvoorbeeld rond het thema besturen. Afrondingen In het Onderwijsverslag presenteren we veelal afgeronde percentages. Door afrondingsverschillen tellen deze niet altijd op tot 100 procent, maar soms tot 100,1 of 99,9 procent. Gegevens over de populatie ronden we af tot 1 cijfer achter de komma. Gegevens over steekproeven ronden we af op gehele getallen. De Staat van de Leerling Ook dit jaar verschijnt tegelijkertijd met het Onderwijsverslag De Staat van de Leerling. Daarin beschrijft een aantal leerlingen vanuit hun dagelijkse ervaringen op school wat ze van het huidige onderwijs vinden. Dit jaar werd de Staat van de leerling geschreven door mbo-studenten, leerlingen uit het voortgezet onderwijs en basisschoolleerlingen. Het verslag heeft mede als inspiratie gediend voor het Onderwijsverslag, maar het is het eigenstandig werk van de leerlingen en studenten. U vindt De Staat van de Leerling op de website onder het blokje Congres. De Staat van de Leraar De kwaliteit van de leraar is doorslaggevend voor de kwaliteit van het onderwijs. Maar waar staat de leraar zelf? Hoe denken leraren over hun beroep en welke opvattingen hebben ze bijvoorbeeld over de voorwaarden die nodig zijn om dat beroep goed uit te kunnen oefenen? Dit jaar heeft een groep leraren in De Staat van de Leraar verslag gedaan van de zaken die de Nederlandse leerkrachten bezig houden. Ook dit verslag is te vinden op de website onder het blokje Congres.