Betrouwbaarheid van leerlingenprognoses 2016 voor instellingen in het speciaal basisonderwijs

Transcriptie

1 PRIMAIR ONDERWIJS Betrouwbaarheid van leerlingenprognoses 2016 voor instellingen in het speciaal basisonderwijs Leerlingenramingen 2016 (vanuit laatste teljaar 2015) vergeleken met de referentieraming Datum 11 mei 2016 Status: Definitief

2 Colofon Projectnaam Ontwikkeling leerlingenprognoses voor instellingen Projectnummer Versienummer 1 Locatie Projectleiders Bjorn Koens Contactpersoon bjorn.koens@duo.nl Bijlagen Auteurs Actuele cijfers: geen Bjorn Koens, Nisan Mol, Ronic van der Hoek Leerlingen_po/

3 Inhoud Inleiding... 5 Conclusies... 6 Toelichting prognosemodel sbo... 9 Doel prognosemodel... 9 Groei- en krimpscholen in sbo... 9 Het prognosemodel sbo ten opzichte van die voor regulier bo Risico: kwetsbare betrouwbaarheid door de wet van de kleine getallen Risico ondervangen door controleren van schattingsruis Resultaat: voor schattingsruis gecontroleerd productieproces Samenhang met landelijke leerlingenprognoses Resultaten uit het verleden geen garantie voor de toekomst Betrouwbaarheid van prognosemodel sbo Toets op macroniveau fit met landelijke referentieraming Effect van sectoranalyse op leerlingenramingen op landelijk niveau Toets op instellingsniveau Omstandigheden op instellingsniveau met minder goede betrouwbaarheid tot gevolg

4 Overzicht van tabellen Tabel 1 - DUO-prognoses t.o.v. referentieraming Tabel 2 - Effect sectoranalyse op doorstroomparameters: prognoses t.o.v. een ongecorrigeerd prognosemodel Overzicht van figuren Figuur 1 - Groei- en krimpscholen als percentage van de sbo-sector (realisatie en prognose ) Figuur 2 - DUO-prognoses vóór ijking versus de landelijke referentieraming Figuur 3 - Waargenomen doorstroomparameters Figuur 4 - Bijstellingen doorstroomparameters als gevolg van herschattingen, naar schoolgrootte Figuur 5 - Een met sectoranalyse op doorstroomparameters gecorrigeerd prognosemodel versus een prognosemodel zonder sectoranalyse Figuur 6 - Effect van sectoranalyse op de leerlingenprognoses van een school met verdachte doorstroomfactoren

5 Inleiding In opdracht van OCW heeft DUO een prognosemodel ontwikkeld voor leerlingenramingen voor instellingen in het speciaal basisonderwijs (sbo). Het betreft vestigingen van sbo-instellingen. Doel is inzicht te geven in de meest elementaire vraag waar onderwijsplanning mee begint: Hoe zal de onderwijsvraag zich de komende jaren ontwikkelen en hoe is die verdeeld over de regio s in het land? De toekomstige onderwijsvraag volgt uit de verwachte ontwikkeling van de leerlingenaantallen. De leerling staat hier centraal. In deze notitie wordt het prognosemodel sbo toegelicht (p.8). In de paragrafen daarna zal nader worden ingegaan op de betrouwbaarheid van de leerlingenramingen (vanaf p.15). Ten slotte wordt toegelicht onder welke omstandigheden de betrouwbaarheid van de leerlingenprognoses van individuele instellingen minder goed kunnen zijn (p.25). In de eerste paragraaf zijn de belangrijkste conclusies beschreven over de leerlingenramingen van prognosemodel sbo. 5

6 Conclusies Doel In opdracht van OCW heeft DUO een prognosemodel ontwikkeld voor leerlingenramingen voor instellingen in het speciaal basisonderwijs. Deze prognoses geven inzicht in de meest elementaire vraag voor onderwijsplanning: Hoe zal de onderwijsvraag zich de komende jaren ontwikkelen en hoe is die verdeeld over de regio s in het land? Gegeven de landelijke meerjarige planning in de OCW-begroting is het doel, om voor de afzonderlijke sbo-instellingen een zo betrouwbaar mogelijke leerlingenraming te maken. Een leerlingenprognose die hen kan helpen bij het opstellen en uitvoeren van meerjarenbegrotingen, en meerjarige planningen voor het onderwijsaanbod gericht op de vraag in hun voedingsgebied. Uitgegaan is van de recente historie van de scholen in termen van instroom en doorstroom van leerlingen binnen de instellingen. Daarbij is rekening gehouden met regionale bevolkingsprognoses, om de verwachte leerlingendaling zo goed mogelijk toe te rekenen aan bijvoorbeeld scholen in krimpregio s. Robuuste betrouwbaarheid prognosemodel Een eerdere publicatie over de betrouwbaarheid van de leerlingenramingen van het prognosemodel-sbo sprak over een robuuste betrouwbaarheid van de prognoses. Met medeneming van de lessen die uit die analyses zijn geleerd, is de betrouwbaarheid van de geactualiseerde leerlingenprognoses naar verwachting niet wezenlijk anders dan in een eerdere jaargang van de leerlingenramingen van hetzelfde prognosemodel. Meer dan twee van de drie scholen in het speciaal basisonderwijs krimpt. De prognoses duiden erop, dat veel sbo-scholen de komende jaren geconfronteerd zullen blijven worden met leerlingendaling. Onder invloed van een verschuiving van speciaal onderwijs naar het regulier basisonderwijs, mogelijk als gevolg van de invoering van passend onderwijs, zal de leerlingendaling naar verwachting aan veel sbo-scholen aanhouden tot ca Na dat jaar zullen naar verwachting meer en meer scholen te maken gaan krijgen met de uitdagingen die samengaan met groei. Leerlingenprognoses bieden een handvat om daarop tijdig te anticiperen. Gelet op dat er nog geen realisatiecijfers beschikbaar zijn van teldatum 2016, kan nog niet worden vastgesteld hoe de leerlingenramingen van het eerste prognosejaar 2016 zich tot de gerealiseerde leerlingentelling verhouden. Als gevolg van het verschuivingseffect van speciaal onderwijs naar het regulier basisonderwijs, mogelijk als gevolg van de invoering van passend onderwijs, waarmee in de referentieraming 2016 is geraamd en dat per 6

7 definitie niet is meegenomen in het prognosemodel 1, kan dit keer niet worden vastgesteld hoe goed het prognosemodel op eigen kracht de verwachte meerjarige leerlingenontwikkeling van de landelijke referentieraming benadert. Robuuste betrouwbaarheid, geen garanties Het prognosemodel rekent met historische gegevens van de afgelopen schooljaren over instroom en doorstroom van leerlingen. Resultaten uit het verleden bieden geen garanties voor de toekomst. Daarnaast zijn prognoses per definitie onzeker. Aan de leerlingenprognoses kunnen dan ook geen rechten worden ontleend. Omstandigheden op instellingsniveau met minder goede betrouwbaarheid tot gevolg De betrouwbaarheid van de leerlingenprognoses voor afzonderlijke instellingen is verder afhankelijk van school-specifieke omstandigheden. Van invloed is de mate waarin een school secuur de leerlingenregistratie in BRON invult. Ook de betrouwbaarheid van de bevolkingsprognoses waarop de leerlingenraming is gebaseerd is van groot belang. Als voor een bepaald postcodegebied in PRIMOS een verkeerde inschatting is gemaakt van de bevolkingsontwikkeling, dan heeft dat invloed op de leerlingenramingen van scholen, waarvan leerlingen in dat postcodegebied wonen. Verder heeft analyse aangetoond dat de betrouwbaarheid van de prognoses voor kleine scholen minder goed is dan voor grotere. Prognoses voor nieuw opgerichte scholen zijn gebaseerd op sectorale gemiddelden van de doorstroomparameters. Het kan voorkomen dat zo n landelijk gemiddelde de doorstroom aan die nieuwe scholen niet goed beschrijft. Dat kan nadelige gevolgen hebben voor de betrouwbaarheid van de prognoses van zo n nieuwe school. Ook de prognoses van scholen in de buurt van zo n nieuwe vestiging kunnen minder betrouwbaar zijn: de leerlingen die de nieuwe school aantrekt kunnen immers ten koste gaan van de leerlingenaantallen van naburige scholen. Een andere omstandigheid met gevolgen voor de betrouwbaarheid van de leerlingenramingen is als een school in achterliggende jaren grillige instroom en doorstroom van leerlingen heeft gehad. Ook (naderende) omslagpunten en trendbreuken in instroom en doorstroom van leerlingen, zoals bijvoorbeeld fusies en opsplitsingen van scholen, kunnen de betrouwbaarheid van de leerlingenprognoses nadelig beïnvloeden. Betrouwbaarheid van leerlingenprognoses van scholen die onderwijs aanbieden aan asielzoekerskinderen, kunnen gevoelig zijn voor veranderingen in de aantallen asielzoekerskinderen die in hun nabijheid worden gehuisvest. 1 Dat immers rekent met gegevens uit het verleden, zoals geregistreerd in BRON-PO. 7

8 Van scholen die binnen een jaar na de laatste teldatum waarop de prognoses zijn gebaseerd ophouden te bestaan, zijn leerlingenramingen gemaakt zonder dat met deze naderende opheffing rekening is gehouden. Deze prognoses geven per definitie geen getrouw beeld van de toekomst van de school. Als een school meer dan gemiddeld specifieke leerlingengroepen heeft, zoals bijvoorbeeld zorgleerlingen, heeft dat tot gevolg dat de betrouwbaarheid van prognoses van deze scholen extra kwetsbaar is voor op die leerlingen gericht landelijk beleid. De instroom en doorstroom van leerlingen uit het verleden kunnen immers minder representatief zijn voor de verwachte dynamiek van de komende schooljaren. Het prognosemodel houdt geen rekening met grenzen van de huisvestingscapaciteit. Op die manier kunnen leerlingenprognoses voor groeischolen het verwachte leerlingenaantal overschatten, omdat de school nu eenmaal niet meer leerlingen kan huisvesten dan zijn gebouw groot is. Voor actuele gegevens wordt verwezen naar en naar 8

9 Toelichting prognosemodel sbo Uitgangspunt in het prognosemodel zijn de verwachte leerlingenaantallen, waarop de landelijke onderwijsplanning in de Rijksbegroting van het ministerie van OCW is gebaseerd. De landelijke leerlingenprognoses worden door directie KENNIS van OCW gemaakt en gepubliceerd als de referentieraming. Doel prognosemodel Feitelijk verdeelt het prognosemodel sbo de landelijk verwachte leerlingenaantallen over de vestigingen voor speciaal basisonderwijs. Gegeven de landelijke meerjarige planning in de OCW-begroting is het doel, om voor de afzonderlijke sbo-instellingen een zo betrouwbaar mogelijke leerlingenraming te maken. Een leerlingenprognose die hen kan helpen bij het opstellen en uitvoeren van meerjarenbegrotingen, en meerjarige planningen voor het onderwijsaanbod gericht op de vraag in hun voedingsgebied. Al dan niet in samenwerking of afstemming met andere scholen. Daarbij is op een fijnmazige manier 2 rekening gehouden met regionale bevolkingsprognoses, en de recente historie van de scholen in termen van instroom en doorstroom van leerlingen binnen de instellingen. Groei- en krimpscholen in sbo De laatste jaren krijgen steeds meer scholen te maken met teruglopende leerlingenaantallen. Daar zijn diverse oorzaken voor, deels zijn die schoolspecifiek, en deels overkomen ze de scholen als een niet beïnvloedbare factor van buiten. Een voorbeeld van oorzaken van teruglopende leerlingenaantallen waar scholen zelf invloed op hebben, is een afnemende populariteit van de school als sprake is van matige onderwijskwaliteit, of als de school de veiligheid van de leerlingen onvoldoende kan waarborgen. Voorbeelden van oorzaken waar een school zelf weinig aan kan doen, zijn stichting van een nieuwe school in de buurt, veranderingen in landelijk onderwijsbeleid, of onvoorzienbare incidenten. Daarnaast hebben veel scholen te maken met afnemende leerlingenaantallen onder invloed van de bevolkingsdaling onder de jeugd. De demografische trend 2 Gebruik is gemaakt van bevolkingsprognoses van ABF Research. Het betreft de PRIMOS-bevolkingsprognoses per viercijferig postcodegebied. 9

10 AANTAL INSTELLINGEN ALS % VAN DE SBO-SECTOR verschilt per regio, op sommige plaatsen groeit de bevolking onder de jeugd, zoals bijvoorbeeld in de gemeente Utrecht. Op andere krimpt die juist, zoals bijvoorbeeld in Zuid-Limburg. Maar lokaal kunnen er ook grote verschillen zijn in demografische trends. In de gemeente Utrecht bijvoorbeeld is het groeiperspectief van vinex-locatie Leidsche Rijn een heel andere dan het krimpscenario van het naburige De Meern. Binnen een afstand van hemelsbreed zo n vijf kilometer kunnen scholen met heel verschillende demografische uitdagingen te maken krijgen. Figuur 1 toont het verwachte percentage krimp- en groeischolen in de sbosector. Krimpscholen zijn scholen waarvan het (verwachte) leerlingenaantal lager is dan het jaar ervoor. Bij groeischolen neemt het (verwachte) leerlingenaantal juist toe ten opzichte van voorgaand jaar. Meer dan twee van de drie scholen krimpt. De afgelopen jaren is het aandeel krimpscholen gestaag gegroeid van ruim 61% in 2011 naar ca 72% in Onder invloed van een verschuiving van speciaal onderwijs naar regulier basisonderwijs mogelijk als gevolg van de invoering van passend onderwijs is de verwachting dat dat aandeel de komende jaren zal oplopen tot ruim drie kwart van de scholen in Het verwachte keerpunt is 2024, wanneer het aandeel groeischolen weer zal toenemen en meer en meer scholen te maken gaan krijgen met de uitdagingen die samengaan met groei. Leerlingenprognoses bieden een handvat om daarop tijdig te anticiperen. Figuur 1 - Groei- en krimpscholen als percentage van de sbo-sector (realisatie en prognose ) 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% Groei- en krimpscholen in sbo-sector 38,7%33,0%28,3%35,0%27,9% 25,6%24,2%26,9%33,7%41,4%40,4%39,1%38,4%49,8%70,4%83,2%90,6%94,6%91,2%88,9%86,2%85,9%81,8%78,8%75,1% 0% 61,3%67,0%71,7%65,0%72,1% 74,4%75,8%73,1%66,3%58,6%59,6%60,9%61,6%50,2%29,6%16,8% 9,4% 5,4% 8,8% 11,1%13,8%14,1%18,2%21,2%24,9% Krimpscholen Groeischolen 10

11 Het prognosemodel sbo ten opzichte van die voor regulier bo In termen van dynamiek in de onderwijssector verschilt de sector sbo op twee belangrijke punten met het regulier basisonderwijs (bo). Afhankelijk van hun ontwikkeling stromen leerlingen in het bo door naar een volgend leerjaar. Bij achterblijvende leeropbrengsten kunnen leerlingen een leerjaar doubleren. In het sbo is geen sprake van een doorstroom afhankelijk van leerjaren, maar van verblijfsjaren aan de instelling 3. In plaats van naar leerlingenaantallen te kijken in de verschillende leerjaren, is in prognosemodel sbo daarom de doorstroom vormgegeven door te kijken naar leerlingenaantallen in de verschillende leeftijdsgroepen. Dat is dezelfde benadering als die in de landelijke referentieraming is gevolgd. Het tweede verschil is dat leerlingen in het sbo kunnen instromen na doorverwijzing vanuit het bo. De instroom van leerlingen in het sbo is daardoor minder eenduidig dan die in bo. De leerplichtwet schrijft immers voor dat leerlingen vanaf hun vijfde naar school moeten. Het overgrote merendeel van de kinderen gaat dan naar een reguliere basisschool, een klein deel gaat rechtstreeks naar het speciaal basisonderwijs. Gaandeweg hun verblijf aan het bo zal voor een klein deel van de leerlingen besloten worden dat zij beter geholpen zijn met onderwijs aan het sbo. Deze leerlingen worden vanuit het bo doorverwezen, en stromen op latere leeftijd in in het sbo. Zo kan het dus voorkomen dat aan een sbo-instelling nieuwe leerlingen instromen op bijvoorbeeld hun zesde, zevende, achtste etc jaar. In beginsel is het mogelijk dat in het sbo leerlingen instromen in elke leeftijdsgroep. De referentieraming volgt dezelfde benadering. Voor het prognosemodel van beide sectoren betekenen deze twee verschillen, dat die voor sbo complexer is dan die voor bo. Het prognosemodel sbo telt dan ook drie keer zoveel ramingsparameters voor instroom en doorstroom dan dat voor bo. Omdat er meer ramingsparameters in het sbo-model zijn, zijn onder gelijke omstandigheden de verwachte onzekerheden rond de leerlingenramingen voor het sbo groter dan die voor het bo. Risico: kwetsbare betrouwbaarheid door de wet van de kleine getallen Op basis van de specifieke instellingskenmerken is gestreefd zoveel mogelijk maatwerk te bieden. Complicatie daarbij is, dat sbo-instellingen scholen zijn met relatief kleine leerlingenaantallen. In het algemeen is de betrouwbaarheid van prognoses van kleine aantallen een serieus punt van zorg. Het is een reden voor 3 De registratie in BRON-PO van kenmerk verblijfsjaren is echter onvoldoende betrouwbaar om daarmee de doorstroom in de sector te ramen. 11

12 instellingen als bijvoorbeeld CBS om terughoudend te zijn met het geven van dit soort prognoses, ongeacht het onderwerp. De verklaring voor het feit dat prognoses van kleine aantallen minder betrouwbaar zijn dan die van grote, is dat die prognoses tot stand komen met behulp van ramingsparameters die zijn geschat op kleine groepen leerlingen. Zo zijn vooral de ramingsparameters voor doorstroom kwetsbaar voor de wet van de kleine getallen. In deze context zegt die wet, dat de waarden van doorstroomparameters méér vertekend zijn, naarmate die doorstroom berekend is met kleinere leerlingenaantallen. Naarmate de groepen leerlingen kleiner zijn waarmee de doorstroom is geschat, bevatten die doorstroomparameters dan ook meer schattingsruis 4. De daaruit voortkomende toevallige afwijkingen omhoog of omlaag, zullen elkaar naar verwachting opheffen als de sector uit veel scholen zou bestaan met bovendien gemiddeld veel leerlingen. Echter, omdat de sector sbo naar verhouding weinig scholen telt kan niet op voorhand worden verwacht dat die toevallige afwijkingen elkaar zullen opheffen. Uiteindelijk wordt de schattingsruis doorgegeven aan de leerlingenprognoses, waardoor ze minder betrouwbaar kunnen worden. Risico ondervangen door controleren van schattingsruis Om deze problematiek te adresseren is een instrument ontwikkeld, waarin een analyse op de doorstroomparameters is gedaan. Van de meest recente schooljaren zijn daarbij voor elke doorstroomparameter alle waarnemingen geanalyseerd, van alle scholen in de sector. Tegen de achtergrond van kleine schoolgrootten in het sbo, is gekeken naar wat in de afgelopen schooljaren gangbare waarden zijn geweest voor de doorstroomparameters. Dat geeft ook inzicht in de waarden die minder gangbaar zijn, de zogenaamde uitbijters. Die uitbijters zijn verdacht van het hebben van een onevenredige hoeveelheid schattingsruis. Van elke school zijn per doorstroomparameter vijf waarnemingen beschikbaar. Elke waarneming is op plausibiliteit beoordeeld, en verdachte waarnemingen zijn nader geanalyseerd. Van elke afzonderlijke uitbijter is bekeken of hij lager of juist hoger is dan gangbaar, en vervangen met een herschatting van de doorstroomparameter. Deze schatting is afhankelijk van of de uitbijter lager of 4 Ter illustratie: de waarde van een doorstroomparameter, die is berekend met bijvoorbeeld 2 leerlingen méér dan de oorspronkelijke groepsgrootte in de noemer. De doorstroomparameter is bij een groepsomvang van bijvoorbeeld 10 wezenlijk hoger (nl 12 10=1,2) dan bij een grotere groep van 100 ( =1,02), terwijl allebei uitdrukken dat de groep twee leerlingen groter is geworden. Kleine groepsgrootte vertekent de uitkomst van de schatting van de doorstroomparameter, en daarmee zijn plausibiliteit. 12

13 hoger is dan gangbaar, en vervolgens bepaald aan de hand van wat de afgelopen schooljaren gangbare waarden zijn geweest. Op die manier worden uitbijters op maat herschat afhankelijk van instellings-specifieke kenmerken 5, en of de uitbijter lager of juist hoger dan gangbaar is. Beoogd is om, ook tijdens dit herschattingsproces, maatwerk te blijven bieden aan de vestigingen in het sbo. Resultaat: voor schattingsruis gecontroleerd productieproces Met deze sectoranalyse van de doorstroom bevat het prognosemodel sbo een instrument waarmee voor schattingsruis wordt gecontroleerd. Het instrument doet dat voor iedere waargenomen doorstroomfactor van de afgelopen schooljaren, en voor elke afzonderlijke school. Er gaat een controlerende werking van uit, waardoor leerlingenprognoses naar verwachting minder kwetsbaar worden voor willekeurige effecten van schattingsruis in de ramingsparameters. Niet voorkomen kan worden dat desondanks de leerlingenprognoses een zekere mate van schattingsruis zullen blijven behouden; onvermijdelijk is dat niet álle schattingsruis kan worden weggepoetst. In het productieproces van de leerlingenprognoses is met dit instrument voorzien in stabiliteit en continuïteit, waarbij consistentie is geborgd m.b.t. de betrouwbaarheid van toekomstige leerlingenprognoses. Doel is uiteindelijk om schoolleiders zoveel mogelijk te behoeden voor willekeurig grote verschillen in de nieuwe leerlingenprognoses in vergelijking met die van de vorige jaargang. Zijn of haar investerings- en huisvestingsplanning, of personele planning, is immers niet gediend met prognoses, die door willekeur in grote mate van de vorige kunnen verschillen. Samenhang met landelijke leerlingenprognoses Op basis van de specifieke instellingskenmerken is met het prognosemodel gestreefd zoveel mogelijk maatwerk aan de sbo-vestigingen te bieden. Daarbij zijn eerst leerlingenprognoses per instelling gemaakt. Daarna zijn die opgeteld tot een landelijk verwacht leerlingentotaal. Dat landelijke totaal is vervolgens geijkt op de referentieraming. Daarbij zijn de geconstateerde verschillen in de landelijke totalen evenredig toegerekend aan de leerlingenprognoses van de afzonderlijke scholen. Wat resteert, is het eindresultaat van publicabele leerlingenprognoses. 5 Concreet: komt het slechts incidenteel voor dat de betreffende instelling van de betreffende doorstroomparameter een uitbijter vertoont, of gebeurt dat vaker? 13

14 Resultaten uit het verleden geen garantie voor de toekomst Net als met beleggingsresultaten geldt ook voor instellingsprognoses, dat resultaten uit het verleden geen garanties bieden voor de toekomst. De prognoses zullen daarom in veel gevallen niet precies uitkomen. Er kunnen dan ook geen rechten aan worden ontleend. Zo is in de leerlingenprognoses bijvoorbeeld geen rekening gehouden met de grenzen van de huisvestingscapaciteit. Op die manier kunnen leerlingenprognoses voor groeischolen het verwachte leerlingenaantal overschatten, omdat de school nu eenmaal niet meer leerlingen kan huisvesten dan zijn jasje groot is. Deze leerlingenprognoses moeten worden beschouwd als het leerlingenpotentieel dat voor een school is verwacht, op basis van zijn recente verleden in termen van instroom en doorstroom en de verwachte lokale demografische trends. Andere oorzaken die ervoor zorgen dat leerlingenprognoses de realiteit minder goed benaderen zijn situaties waarbij instellingen betrokken zijn bij fusies of opsplitsingen, of waarbij een opheffing aanstaande is. Ook oprichting van nieuwe scholen kan ervoor zorgen dat leerlingenprognoses niet altijd uitkomen van scholen in hetzelfde voedingsgebied. De nieuwe school zoekt immers zijn plekje in het voedingsgebied en dat kan ten koste gaan van de leerlingenaantallen van andere scholen in de buurt. Ook de prognoses van die nieuwe scholen zélf zullen in veel gevallen niet precies uitkomen, omdat die leerlingenramingen zijn gemaakt op basis van de sectorale gemiddelden van de doorstroomparameters. Betrouwbaarheid van leerlingenprognoses van scholen die onderwijs aanbieden aan asielzoekerskinderen, kunnen gevoelig zijn voor veranderingen in de aantallen asielzoekerskinderen die in hun nabijheid worden gehuisvest. Bovengemiddelde gevoeligheid voor onderwerpen van landelijk onderwijsbeleid kunnen ook bijdragen aan aanvullende onzekerheden, waardoor de leerlingenprognoses niet precies kunnen uitkomen. Als een school meer dan gemiddeld specifieke leerlingengroepen heeft, zoals bijvoorbeeld zorgleerlingen, heeft dat tot gevolg dat de betrouwbaarheid van prognoses van deze scholen extra kwetsbaar is voor op die leerlingen gericht landelijk beleid. De instroom en doorstroom van leerlingen uit het verleden kunnen immers minder representatief zijn voor de verwachte dynamiek van de komende schooljaren. 14

15 Betrouwbaarheid van prognosemodel sbo In het vervolg van deze notitie zal worden ingegaan op de vraag hoe betrouwbaar de leerlingenprognoses voor vestigingen in het regulier basisonderwijs zijn. Belangrijkste maatstaf daarbij is de vraag in welke mate de prognoses van de instellingen in de praktijk zijn uitgekomen. Om daarvan een beeld te krijgen zouden de instellingsramingen van het eerste prognosejaar (2016) vergeleken moeten worden met de nog te realiseren leerlingenaantallen op teldatum 1 oktober Omdat die gegevens bij het opstellen van deze notitie nog niet beschikbaar waren, is deze analyse opgeschort. Daarom kan in deze notitie maar in zeer beperkte mate conclusies worden getrokken over de betrouwbaarheid van deze leerlingenprognoses voor instellingen in het sbo. Over eerdere leerlingenprognoses voor sbo-instellingen die het prognosemodel heeft voortgebracht, zijn eerder onderzoeksresultaten over hun betrouwbaarheid gepubliceerd. Het betreft prognoses vanuit het voorlaatste teljaar 2013, zeg maar de voorlaatste prognose van de huidige. Conclusie was dat het prognosemodel leerlingenramingen levert van robuuste betrouwbaarheid, ondanks de risico s daarvoor door het kenmerk van het speciaal basisonderwijs dat de sector naar verhouding weinig scholen telt met bovendien relatief weinig leerlingen. Naar verwachting zal de betrouwbaarheid van de huidige jaargang hier niet sterk van verschillen. Een andere indicator is een toets op macroniveau, waarbij gekeken is naar de mate waarin de optelling van alle ramingen in het prognosemodel op eigen kracht d.w.z. een tussenresultaat vóórdat zij op de landelijke referentieraming zijn geijkt een vergelijkbare ontwikkeling vertoont als die in de landelijke onderwijsplanning in de Rijksbegroting van OCW. Hierna wordt ingegaan op de toets op macroniveau, waarbij de verwachte leerlingenontwikkeling is vergeleken met die in de referentieraming. Daarbij wordt tevens ingegaan op het effect van de sectoranalyse op doorstroom. Wegens het nog niet beschikbaar zijn van de leerlingentelling van 1 oktober aanstaande, is het antwoord op de belangrijkste vraag voorlopig opgeschort. Die vraag luidt: hoe goed voorspelden de ramingen voor het eerste prognosejaar de feitelijke leerlingenaantallen? 15

16 Leerlingenaantal Toets op macroniveau fit met landelijke referentieraming De witte lijn in figuur 2 toont de optelling van alle leerlingenramingen van het prognosemodel, voordat ze zijn geijkt op de referentieraming. De gele lijn is de referentieraming 2016 voor sbo. De figuur toont de mate waarin de DUOprognoses op eigen kracht de prognoses van de referentieraming benaderen. De figuur toont een discrepantie van gemiddeld ca 10% over de twintig prognosejaren. De verklaring voor de verschillen is, dat in de referentieraming 2016 gerekend is met een verschuiving van speciaal onderwijs naar het regulier basisonderwijs, mogelijk als gevolg van de invoering van passend onderwijs. Omdat deze verschuiving (nog) niet zichtbaar is in de leerlingentellingen van de afgelopen jaren, zit dit effect (nog) niet in de leerlingenramingen van het prognosemodel voor sbo-instellingen. Daardoor is het totaal van de ramingen van het prognosemodel op eigen kracht hoger dan de referentieraming. Met het ijken van die prognoses op de referentieraming, worden de verschillen evenredig toegerekend aan de leerlingenprognoses van de afzonderlijke sbo-instellingen. Figuur 2 - DUO-prognoses vóór ijking versus de landelijke referentieraming Prognosemodel vs. referentieraming Prognosemodel 2016 Referentieraming 2016 Realisatie De volgende tabel laat de omvang zien van het ijkingseffect. In het eerste prognosejaar 2016 raamt DUO op eigen kracht 539 leerlingen meer dan de referentieraming, en worden de prognoses met gemiddeld 1,6% gecorrigeerd om uiteindelijk hetzelfde leerlingentotaal van de referentieraming te krijgen. Dat lijkt betrekkelijk veel. Niettemin zegt dit tussenresultaat van het prognoseproces 16

17 weinig over hoe het eindresultaat van het prognoseproces zal verschillen van de uiteindelijk te realiseren leerlingentellingen op 1 oktober Gemiddeld over 20 prognosejaren bedraagt de correctie a.g.v. ijking op de referentieraming een bijstelling naar beneden van 10,1%. Tabel 1 - DUO-prognoses t.o.v. referentieraming Teljaar DUO RR 2016 Verschil (DUO -/- RR2016) Verschil% tov RR ,6% ,9% ,5% ,7% ,5% ,5% ,1% ,5% ,6% ,8% ,0% ,0% ,3% ,5% ,9% ,4% ,1% ,7% ,3% ,1% Gemiddelde 10,1% Minimum 1,6% Maximum 13,0% Aantal (prognosejaren) 20 Samengevat kan worden vastgesteld, dat als gevolg van het verschuivingseffect van speciaal onderwijs naar het regulier basisonderwijs waarmee in de referentieraming 2016 is geraamd en dat per definitie niet is meegenomen in het prognosemodel 6, dit keer niet kan worden vastgesteld hoe goed het prognosemodel op eigen kracht de verwachte meerjarige leerlingenontwikkeling van de landelijke referentieraming benadert. Effect van sectoranalyse op leerlingenramingen op landelijk niveau Eerder is beschreven hoe onder invloed van de wet van de kleine getallen schattingsruis ontstaat in de ramingsparameters van het prognosemodel. Om daarvoor te controleren bevat het prognosemodel een instrument, waarin de sectorale doorstroom is geanalyseerd en waar nodig waarden van doorstroomparameters zijn herschat. Herschatting vindt plaats als waargenomen 6 Dat immers rekent met gegevens uit het verleden, zoals geregistreerd in BRON-PO. 17

18 doorstroomparameters verdacht hoog of laag zijn, een risico dat zich voordoet omdat doorstroomfactoren zijn geschat met kleine groepen leerlingen. De sectoranalyse op de doorstroomparameters is nader beschreven in de documentatie over Hoe de leerlingenramingen tot stand komen. Omdat de vertekening aan de bovenkant onbegrensd is, waar die aan de onderkant wèl een bodem heeft 7, is op voorhand verwacht dat een prognosemodel dat rekent met ruwe doorstroomfactoren tot hogere leerlingenramingen zal leiden. Hoger dan een prognosemodel, waarin uitbijters zijn herschat aan de hand van een sectoranalyse van de doorstroom. Hier wordt ingegaan op de vraag, in welke mate dat het geval is Voordat die vraag wordt beantwoord, wordt eerst ingegaan op de ruwe doorstroomparameters in het prognosemodel, en het effect van de herschattingen. Figuur 3 toont alle waargenomen doorstroomparameters. De gele puntjes tonen de uitbijters, de blauwe de gangbare waarden. Ten opzichte van de doorstroomparameters van de bo-sector, heeft het speciaal basisonderwijs minder eenduidige plausibiliteitsgrenzen. Dat komt doordat er tien doorstroomparameters zijn, waarbij in de meeste gevallen de plausibiliteitsgrenzen zijn getrokken aan de hand van de waargenomen spreiding. Dat varieert per doorstroomparameter. Bovendien hebben de doorstroomparameters van de twee oudste leeftijdscategorieën een ondergrens van nul. Op leeftijd 13 en 14 jaar is het immers gebruikelijk dat leerlingen uitstromen uit het sbo en hun opleiding vervolgen aan het voortgezet onderwijs. In die gevallen zijn doorstroomparameters van nul plausibel, en dat verklaart dat er veel puntjes in figuur 3 bij een doorstroomparameter van dichtbij nul blauw gekleurd zijn. De figuur toont dat 8,7% van alle waarnemingen een minder gangbare waarde voor de doorstroomparameters betreft, de gele puntjes in de figuur. Verder laat de gele puntenwolk zien, dat uitbijters vaker voorkomen bij kleine scholen, en de afwijking van de gangbare waarden dan ook groter is. Dat is conform verwachting, en de reden voor de ontwikkeling van het instrument om de schattingsruis in de doorstroomparameters te beteugelen. 7 Omdat negatieve leerlingenaantallen niet bestaan, heeft de doorstroomparameter een bodemwaarde van nul. 18

19 Figuur 3 - Waargenomen doorstroomparameters 5,0 4,5 Waargenomen doorstroomparameters van de waargenomen doorstroomfactoren zijn uitbijters (8,7%) Doorstroomparameter 4,0 3,5 3,0 2,5 2,0 1,5 1,0 0,5 0, Schoolgrootte (leerlingentelling 2015) Uitbijters (n= ,7%) Figuur 4 laat zien dat bij in het algemeen de bijstellingen groter zijn bij herschattingen van doorstroomparameters van de kleinere scholen. Vooral de neerwaartse bijstellingen van uitbijters aan de bovenkant zijn doorgaans groter bij kleinere scholen. Dat tonen de gele puntjes onder de nullijn. Deze bevinding spoort met de verwachting. De sectoranalyse beoogt immers ramingsruis te beheersen die veroorzaakt is door vertekening van de doorstroomparameters die met kleine groepen leerlingen zijn geschat. Eerder is opgemerkt dat die vertekening aan de onderzijde een bodem heeft, en aan de bovenzijde onbegrensd is. Figuur 4 laat op de horizontale as de schoolgroottes zien uitgedrukt in leerlingenaantallen op teldatum Op de verticale as staat de bijstelling van de herschatte doorstroomparameters. De figuur laat zien dat verdachte doorstroomparameters aan de bovenkant een grotere (neerwaartse) bijstelling hebben gehad, dan de uitbijters aan de onderkant een hogere schatting hebben gekregen. 19

20 Figuur 4 - Bijstellingen doorstroomparameters als gevolg van herschattingen, naar schoolgrootte Verandering doorstroomparameter a.g.v. herschatting (absoluut) Effect van herschattingen op de doorstroomparameters van uitbijters, naar schoolgrootte van de waargenomen doorstroomfactoren zijn herschat (8,7%) Schoolgrootte (leerlingentelling 2015) Figuur 5 toont het effect van de sectoranalyse op de landelijke leerlingenraming van het prognosemodel. De witte lijn is dezelfde als de witte lijn in figuur 2. De gele lijn toont leerlingenramingen met een prognosemodel, waarin ruwe doorstroomfactoren zonder sectoranalyse zijn doorgerekend. Zo n alternatief prognosemodel raamt iets hoger. 20

21 Figuur 5 - Een met sectoranalyse op doorstroomparameters gecorrigeerd prognosemodel versus een prognosemodel zonder sectoranalyse Leerlingenprognoses met verschillende prognosemodellen Leerlingenaantal 'Gecorrigeerd' prognosemodel (DUO) 'Ongecorrigeerd' prognosemodel Realisatie Bijgaande tabel laat zien dat op landelijk niveau het procentuele effect van de sectoranalyse op de leerlingenprognoses beperkt is. Over 20 prognosejaren bezien voorspelt een prognosemodel met ruwe doorstroomfactoren gemiddeld 1,1% hoger. 21

22 Tabel 2 - Effect sectoranalyse op doorstroomparameters: prognoses t.o.v. een ongecorrigeerd prognosemodel Teljaar 'Ongecorrigeerd' prognosemodel 'Gecorrigeerd' prognosemodel (DUO) Verschil % verschil tov gecorrigeerde prognoses ,0% ,7% ,9% ,3% ,2% ,1% ,0% ,0% ,0% ,9% ,9% ,9% ,9% ,9% ,9% ,9% ,9% ,9% ,9% ,9% Gemiddelde 1,1% Minimum 0,9% Maximum 2,7% Aantal (prognosejaren) 20 Hoewel op landelijk niveau de sectoranalyse een beperkt effect heeft, kan het effect voor sommige instellingen substantieel zijn. Met name de scholen met een of meer verdachte waarden onder de waargenomen doorstroomparameters. Ter illustratie toont figuur 6 de leerlingenprognoses van een school met vijf verdachte waarden onder de waargenomen doorstroomfactoren. Op basis van de ruwe doorstroomfactoren loopt de leerlingenraming van deze school op tot onrealistische hoogten (de gele lijn). Met herschattingen op basis van bevindingen in de sectoranalyse zijn de leerlingenprognoses beter in lijn met de getelde leerlingenaantallen van de afgelopen jaren (de witte lijn). 22

23 Figuur 6 - Effect van sectoranalyse op de leerlingenprognoses van een school met verdachte doorstroomfactoren Leerlingenaantal PM00 School voor Speciaal Basisonderwijs De Windroos - OLDENZAAL - Overijssel 13PM00 - tellingen 13PM00 - 'Gecorrigeerd' prognosemodel 13PM00 - 'Ongecorrigeerd' prognosemodel Tenslotte geldt hier ook, dat dit tussenresultaat van het prognoseproces weinig zegt, over hoe het eindresultaat van het prognoseproces zal verschillen van de uiteindelijke leerlingentellingen van aanstaande oktober. 23

24 Toets op instellingsniveau Omdat bij het schrijven van deze notitie nog geen realisatiecijfers over de leerlingentelling 2016 beschikbaar zijn, is deze analyse opgeschort. 24

25 Omstandigheden op instellingsniveau met minder goede betrouwbaarheid tot gevolg De betrouwbaarheid van de leerlingenprognoses voor scholen in het sbo is gevoelig voor de volgende omstandigheden: 1. BRON: leerlingenregistratie De betrouwbaarheid van de leerlingenprognoses is in het geding als de leerlingenregistratie in BRON geen accurate weergave is van waar de leerlingen onderwezen worden. 2. Bevolkingsprognoses voor de postcodegebieden in het voedingsgebied In omstandigheden waar bevolkingsprognoses voor een postcodegebied de bevolkingsomvang en de leeftijdssamenstelling ervan niet correct voorspellen, is de betrouwbaarheid van de leerlingenprognoses minder goed. 3. Kleine scholen In eerdere publicaties is beschreven dat de foutmarge van leerlingenprognoses voor kleine scholen groter is dan die van andere, waardoor hun betrouwbaarheid minder goed is dan die voor andere scholen. 4. Nieuwe, recent gestichte scholen De betrouwbaarheid van de leerlingenprognose is minder goed bij scholen met een korte historie in BRON, met uitzondering voor nieuwe scholen ontstaan uit fusies. Deze leerlingenprognoses zijn geraamd met sectorale gemiddelden van de doorstroomparameters. Voor sommige nieuwe scholen beschrijven die sectorale gemiddelden de doorstroom aan de school mogelijk minder goed, met mogelijke ramingsruis tot gevolg. 5. Wisselend beeld in de leerlingentellingen van achterliggende schooljaren De betrouwbaarheid van leerlingenprognoses is minder goed als de school in de achterliggende paar schooljaren een grillig verloop van de leerlingenaantallen heeft gehad. 6. Omslagpunten in de instroom en doorstroom van leerlingen aan school De betrouwbaarheid van de leerlingenprognoses is minder goed als scholen te maken hebben met (naderende) omslagen of trendbreuken in de ontwikkeling van de leerlingenaantallen. Voor zover voorzienbaar zijn verwachte omslagen in de demografische ontwikkeling wél in de leerlingenprognoses meegenomen, en hebben geen negatief effect op de betrouwbaarheid van het model. Onvoorziene veranderingen, zoals bijvoorbeeld in aantallen 25

26 asielzoekerskinderen, zijn echter niet meegenomen, en kunnen de betrouwbaarheid nadelig beïnvloeden van leerlingenprognoses van scholen die onderwijs geven aan asielzoekerskinderen. 7. Naderende opheffing Van scholen die binnen een jaar na de laatste teldatum waarop de prognoses zijn gebaseerd ophouden te bestaan, zijn leerlingenramingen gemaakt zonder dat met deze naderende opheffing rekening is gehouden. Deze prognoses geven per definitie geen getrouw beeld van de toekomst van de school. 8. Bovengemiddelde gevoeligheid voor onderwijsbeleid Betrouwbaarheid van leerlingenprognoses is minder goed als scholen bovengemiddelde gevoelig zijn voor onderwerpen van landelijk onderwijsbeleid. Zo hebben prognoses voor scholen met bijvoorbeeld bovengemiddeld veel zorgleerlingen te kampen met aanvullende onzekerheden bij veranderingen in het landelijk beleid voor die leerlingen. 9. Grenzen aan huisvestingscapaciteit Het prognosemodel houdt geen rekening met de capaciteit van de schoolgebouwen. Op die manier kunnen leerlingenprognoses voor groeischolen het verwachte leerlingenaantal overschatten, omdat de school nu eenmaal niet meer leerlingen kan huisvesten dan zijn gebouw groot is. De leerlingenprognoses geven echter wel een indruk van het potentieel van deze groeischolen. Bij een structureel hoger leerlingenpotentieel zouden de leerlingenramingen voor een schoolbestuur aanleiding kunnen zijn om met de gemeente in gesprek te gaan over de huisvestingscapaciteit. 26