Studiesucces in de G4

Transcriptie

1 Het studiesucces van roc s in Amsterdam, Den Haag, Rotterdam en Utrecht (de G4) blijft achter bij dat van de overige roc s. Waar ligt dat aan? Speelt de kwaliteit van het onderwijs en begeleiding een rol? Of moeten we het zoeken in de samenstelling van de leerlingenpopulatie? In deze studie laten we met behulp van de BRON-data met leerlinggegevens zien dat de verschillen in studiesucces in bijna alle gevallen (mbo-niveau 1, 2, 3 en 4, zowel in de bol als de bbl) volledig te verklaren zijn door populatiekenmerken. Op onderdelen behalen de roc s in de grote steden zelfs resultaten die boven het landelijk gemiddelde uitsteken. Deze resultaten roepen de actuele vraag op of we in de waardering van studieresultaten, zoals in de Benchmark van het mbo, niet meer rekening moeten houden met achtergrondkenmerken van studenten. en verspreidt kennis over het beroepsonderwijs. Ecbo doet zowel wetenschappelijk als beleids- als praktijkgericht onderzoek en vindt het belangrijk de resultaten daarvan te delen met het bve-veld. Zo levert ecbo een bijdrage aan de kennisinfrastructuur van de sector beroepsonderwijs en volwasseneneducatie. ecbo Postbus BP s-hertogenbosch Studiesucces in de G4 Populaties als verklaring voor verschillen tussen roc s uit de G4 en de overige roc s Studiesucces in de G4 Het Expertisecentrum Beroepsonderwijs (ecbo) ontwikkelt, verzamelt Jan Neuvel en Marc van der Meer Studiesucces in de G4 Jan Neuvel en Marc van der Meer

2

3 Studiesucces in de G4 Populaties als verklaring voor verschillen tussen roc s uit de G4 en de overige roc s Jan Neuvel en Marc van der Meer

4 Colofon Titel Studiesucces in de G4. Populaties als verklaring voor verschillen tussen roc s uit de G4 en de overige roc s Auteurs Jan Neuvel & Marc van der Meer Uitgave Expertisecentrum Beroepsonderwijs Mei 2014 Ontwerp Art & Design Theo van Leeuwen BNO Vormgeving Evert van de Biezen ISBN/EAN Bestellen Via info@ecbo.nl o.v.v. A00760/ecbo expertisecentrum beroepsonderwijs Expertisecentrum Beroepsonderwijs Postbus BP s-hertogenbosch info@ecbo.nl Overname van teksten, ideeën en resultaten uit deze publicatie is vrij toegestaan, mits met bronvermelding. EvdB-A00760_v1/140616

5 Inhoudsopgave Woord vooraf 5 Samenvatting 9 Resultaten 11 1 Achtergrond, doel en opzet van het onderzoek Achtergrond van het onderzoek Doel en vraagstelling De opzet van het onderzoek Leeswijzer 42 2 Studieresultaten in de bol Verhoudingen tussen opleidingsniveaus Studieresultaten: behaalde mbo-diploma s Studieduur van mbo ers met een mbo-diploma Verdere analyses om verschillen in studieresultaten te verklaren Studieresultaten in de bbl Verhoudingen tussen opleidingsniveaus Studieresultaten Studieduur gediplomeerden Discussie 127 Literatuur 133 Lijst met afkortingen 135

6 4

7 Woord vooraf In deze studie bespreken we het studierendement van de regionale opleidingencentra (roc s) in de grote steden. Daarover is het nodige te doen. Het algemene beeld is dat de studieresultaten achterblijven bij het landelijke gemiddelde, zoals volgt uit landelijke benchmarkgegevens over het hele middelbaar beroepsonderwijs (mbo). Het algemene beeld is ook dat problemen zich uitkristalliseren bij specifieke groepen leerlingen, aan de onderkant van het mbo. Daarbij komen aspecten als de vooropleiding van de leerlingen, hun sociaaleconomische en sociaal-culturele positie en leefomgeving bij elkaar. We weten uit onderzoeksgegevens dat het studierendement sterk verschilt op de verschillende niveaus in de beroepsopleidende leerweg (bol) en de beroepsbegeleidende leerweg (bbl). Ook zijn er grote verschillen in studie resultaat tussen jongens en meisjes. Daarmee zijn vooropleiding en geslacht een belangrijke voorspeller van studieresultaat. We kunnen er ook niet om heen dat sommige opleidingen in de Randstad gekenmerkt worden door een meerderheid van overwegend niet-westerse allochtone leerlingen, die soms een minder gunstige sociaaleconomische achtergrond hebben dan andere leerlingen. Binnen deze groep zijn er grote verschillen naar achtergrond en vooropleiding en ook in studieresultaten en daarnaast in het bereiken van arbeidsmarktresultaten. In verschillende studies van het Expertisecentrum Beroepsonderwijs (ecbo) is hier op basis van literatuurstudie ook aandacht aan besteed (Van Esch, 2010). 5 In de literatuur over leer- en werkloopbanen richt zich de vraagstelling vooral op de kwestie of etnische of sociaaleconomische factoren de maatschappelijke achterstand bepalen, in termen van schoolresultaten en positie op de arbeidsmarkt. Het Sociaal en Cultureel Planbureau (SCP) spreekt in algemene zin van een formidabele inhaalrace van allochtone leerlingen in de diverse vormen van onderwijs. Het gaat goed met de schoolresultaten van tweede en derde generatie etnische minderheden. Het SCP formuleert de nog bestaande achterstand aldus: Er is dus geen verschil in opleidingsniveau tussen migranten en autochtone Nederlanders die hun opleiding in Nederland hebben genoten en waarvan de ouders een gelijk opleidingsniveau hebben (SCP, 2012, pp ).

8 Naar aanleiding van een onderzoeksvraag van de roc s in de G4, presenteert ecbo in deze studie een ander perspectief op deze gegevens voor het middelbaar beroepsonderwijs. 1 Door een nauwgezette reconstructie van de leerloopbanen van groepen leerlingen die in samenstelling verschillen, wordt een preciezer beeld gegeven van factoren die studiesucces bepalen. We hebben oog voor zowel het behalen van een diploma, als voor de opstroom in de school. Daartoe werken we studiesucces uit voor vijf verschillende indicatoren: cohortresultaat, startkwalificatie, studiesucces, succesvolle opstroom en studieduur. Dit beeld nuanceert het landelijke beeld over studieresultaten en laat zien dat de scholen in de G4 op sommige punten betere resultaten behalen dan wel eens gedacht wordt. 6 We zeggen daarmee in deze studie niet dat alles goed gaat: het rendement kan over de hele linie misschien verder omhoog. En er zijn ook problemen, die ook begrepen kunnen worden door de samenstelling van de instroom in het onderwijs beter te analyseren in termen van hun cognitieve en praktische capaciteiten. In onze studie kunnen we aan de hand van een nauwgezette reconstructie van leerlingenstromen slechts de vinger leggen op groepen leerlingen die op bepaalde niveaus minder goed scoren. We merken ook op dat onze resultaten het studiecohort beschrijven van leerlingen die in de periode instroomden en pas onlangs het onderwijs hebben verlaten. De resultaten geven daarmee uiteraard geen accuraat beeld van de op- en afstroming anno Dat zal pas over geruime tijd vastgesteld kunnen worden. Per saldo is er echter geen enkele reden om scholen die naar verhouding goede resultaten behalen, naar verhouding aan de onderkant van de landelijke benchmarkladders te laten bungelen. Het vergelijken van studieresultaten voor groepen leerlingen is naar onze mening wel zinvol. Het geeft een duidelijk beeld waar het relatief goed gaat en waar nog wat te winnen is. Scholen met goede ervaringen kunnen deze ervaringen intern en met elkaar delen. Het ligt misschien ook voor de hand dat scholen met kwetsbare leerlingen op sommige punten ervaringen hebben die zinvol zijn voor anderen. Dan kan de analyse over studieloopbanen, zoals in deze studie is weergegeven, ook worden gekoppeld aan de interne begeleiding en loopbaanoriëntatie van deze leerlingen. Tevens kan op deze wijze het debat 1 Tot de G4 behoren Amsterdam, Rotterdam, Den Haag en Utrecht.

9 over de toegevoegde waarde van het mbo op een genuanceerde wijze worden gevoerd. We danken enkele respondenten in het werkveld. Ook zijn we de begeleidingscommissie erkentelijk die bestond uit vertegenwoordigers van de betrokken instellingen die onder leiding van de MBO Raad vergaderde. Dank ook aan ReflecT/Tilburg University voor de geboden mogelijkheid deze studie deels in de universitaire omgeving af te ronden. Tevens zijn we onze collega s Wil van Esch, Regina Petit, Ronald Schouten en Anneke Westerhuis dank verschuldigd voor hun bereidheid mee te denken met onze analyse. De verantwoordelijkheid voor de studie berust uiteraard bij de auteurs. Marc van der Meer en Jan Neuvel 7

10 8

11 Samenvatting Roc s bedienen een zeer heterogene studentenpopulatie. De studie rendementen verschillen ook sterk voor onderscheiden groepen studenten. Bekend is dat studieresultaten in roc s uit de G4 achterblijven bij het gemiddelde van de roc s buiten de G4. De instroom speelt hierbij een rol (Den Boer, Frietman & Overdiep, 2010). Het is niet uit te sluiten dat de kwaliteit van het onderwijs en/ of de loopbaanbegeleiding daarbij ook een verklarende rol speelt. Den Boer, Frietman en Overdiep konden daar geen uitspraak over doen. Nu het kabinet met het actieplan Focus op Vakmanschap de diplomaresultaten van instellingen onderling wil vergelijken, is het van belang de rol van die beide factoren in de verschillen tussen roc s zo nauwkeurig mogelijk vast te stellen. Op verzoek van roc s uit de G4 onderzocht ecbo de vraag naar de rol van die twee factoren. Daartoe voerden we een analyse uit waarin de studieresultaten in de G4 niet alleen zijn vergeleken met die in de overige roc s, maar waarin ook op basis van slaagpercentages in de overige roc s de te verwachten slaagpercentages voor de roc s uit de G4 zijn berekend. We hanteren de volgende redenering: als de feitelijke slaagpercentages gelijk of hoger zijn dan de verwachte slagingspercentages, is het feitelijke verschil met het studiesucces in de roc s uit de G4 hoogstwaarschijnlijk volledig te verklaren door populatieverschillen. Alleen als de feitelijke studieresultaten slaagpercentages achterblijven bij de verwachte resultaten, zal er serieus rekening moeten worden gehouden met de factor kwaliteit van het onderwijs en/of loopbaanbegeleiding. In deze studie onderzoeken we de factor onderwijs dus niet rechtstreeks, maar indirect. 9 Voor het onderzoek hebben we gebruik gemaakt van de BRON-bestanden van de Dienst Uitvoering Onderzoek (DUO). Studenten die in de periode naar het mbo zijn gegaan cohorten 2005 t/m 2007 zijn ingedeeld naar leerweg (bol en bbl) en binnen elke leerweg naar instroomniveau (niveau 1 t/m 4). Elke groep vier voor de bol en vier voor de bbl is vervolgens verder ingedeeld naar kenmerken die duidelijk samenhangen met de kans om een mbo-diploma te behalen. Dat zijn enkele persoonskenmerken van studenten

12 10 (geslacht, etnisch herkomst, woonplaats: armoedeprobleemcumulatiegebied, G4 en overig) en hun vooropleiding. Zowel voor de roc s uit de G4 als voor de overige roc s is voor elke op die kenmerken onderscheiden groepen het percentage studenten met een mbo-diploma bepaald. Dat zijn de feitelijke slaagpercentages of de feitelijke studieresultaten. In een volgende stap is op basis van de feitelijke slaagpercentages in de roc s buiten de G4 voor de roc s uit de G4 een te verwachten slaagpercentage berekend voor elk van de vier niveaus in de bol en voor elk van de vier niveaus in de bbl. In de berekening van de verwachte slaagpercentages gebruiken we het studiesucces in de roc s buiten de G4 als norm, waarbij we tegelijkertijd controleren voor de samenstelling van de leerlingenpopulaties in de G4, zoals geoperationaliseerd in de hiervoor genoemde persoonskenmerken en de vooropleiding. Als nu in de roc s uit de G4 bij voorbeeld bij studenten op niveau 2 van de bol het feitelijke percentage met een mbo-diploma gelijk of hoger is dan het voorspelde of verwachte percentage, dan kunnen we de feitelijke verschillen in studieresultaten tussen de roc s uit de G4 en de overige roc s voor bol niveau 2 hoogstwaarschijnlijk volledig toeschrijven aan een andere samenstelling van de schoolpopulatie in de G4 in vergelijking met de populatie in de overige roc s. Is het feitelijke percentage gediplomeerden daarentegen lager dan het verwachte percentage, dan is niet uit te sluiten dat de factor onderwijs mede een verklarende rol speelt in het achterblijven van de studieresultaten in de roc s uit de G4. Die kans wordt groter naar het feitelijke percentage sterker achterblijft bij het verwachte. Tot nu toe hebben we in vrij algemene termen gesproken over studie succes en het behalen van een mbo-diploma. In deze studie is studie succes evenwel in een aantal afzonderlijke, deels overlappende indicatoren geoperationaliseerd. Dat zijn: Het behalen van een mbo-diploma ongeacht het diplomaniveau: cohortresultaat. Het behalen van een startkwalificatie. Het behalen van een mbo-diploma op het niveau van instroom: opleidingsrendement. Het behalen van een mbo-diploma op een hoger niveau: opstroom succes en opstroomrendement.

13 Naast een vergelijking van de percentages gediplomeerden op die indicatoren, keken we ook naar de studieduur waarin een diploma is behaald. Resultaten De bevindingen uit eerder onderzoek, dat de studieresultaten van roc s uit de G4 achterblijven bij de resultaten van de overige roc s, worden ook in dit onderzoek bevestigd. Er zijn echter sterke nuanceringen. Op alle indicatoren is voor drie van de vier instroomniveaus in de bol gemiddeld een lager studieresultaat gevonden voor de roc s uit de G4. Voor de bbl is het beeld genuanceerder. In de roc s uit de G4 behalen op drie van de vier instroomniveaus procentueel meer bblstudenten een mbo-diploma dan in de overige roc s. Alleen op niveau 2 blijven de resultaten van de roc s uit de G4 achter bij die van de overige roc s. Voor de beantwoording van de onderzoeksvraag of achterblijvende resultaten in de roc s uit de G4 volledig zijn te verklaren door populatie verschillen tussen die roc s en de overige roc s, moeten feitelijke en verwachte percentages gediplomeerden in de roc s uit de G4 met elkaar worden vergeleken. Eerst kijken we naar de roc s uit de G4 als groep, vervolgens gaan we dat na voor de afzonderlijke roc s uit de G4. 11 Voor de roc s uit de G4 tezamen komt het feitelijke percentage bol- en bblstudenten met een mbo-diploma op bijna alle instroomniveaus (iets) hoger uit dan het verwachte percentage. De studieduur in de roc s uit de G4 tezamen is in de bol op geen van de vier opleidingsniveaus hoger dan gemiddeld in de roc s buiten de G4. In de bbl geldt dat ook voor niveau 3 en 4. Op niveau 1 en 2 van de bbl kost het studenten in roc s uit de G4 iets meer tijd om het diploma op de betreffende niveaus te behalen. Die uitkomsten wijzen erop dat het achterblijven van de feitelijke studieresultaten bij de G4 roc s ten opzichte van de roc s buiten de G4, naar alle waarschijnlijkheid volledig is toe te schrijven aan verschillen in schoolpopulaties tussen beide groepen roc s. Daarmee valt de kwaliteit van het onderwijs en/of de loopbaanbegeleiding als verklarende factor naar alle waarschijnlijkheid af. Dat wil zeggen: er zijn geen duidelijke aanwijzingen dat in de roc s uit de G4 de kwaliteit van het onderwijs structureel minder zou zijn dan in de overige roc s.

14 Als we naar de afzonderlijke roc s uit de G4 kijken, moeten we die conclusie nuanceren. Het beeld is wat wisselend, zowel tussen roc s als tussen instroomniveaus. Voor de bol tabel S.1 en voor de bbl tabel S.2 hebben we het verschil tussen de feitelijke en verwachte cohortresultaten in de vijf roc s opgenomen. Het cohortresultaat is het percentage studenten met een mbodiploma ongeacht het niveau van het diploma. Als in die indicator een verschil is te zien, dan komt dat in de meeste gevallen terug in de andere indicatoren die we in deze studie hanteren. 12 In de twee tabellen is per instroomniveau het totale aantal ingestroomde studenten opgenomen, het verschil in procentpunten als het verwachte cohortresultaat beter is dan het feitelijke en het berekende aantal studenten zonder mbo-diploma dat niet is te verklaren door populatie verschillen. De resultaten gelden voor de drie instroomcohorten 2005, tezamen, zoals steeds in deze studie is gebeurd. Deling van die aantallen door drie levert een beeld voor de afzonderlijke cohorten 2005, 2006 en 2007 op. Per instroomcohort is dan te zien hoeveel niet-gediplomeerden niet door de populatieverschillen zijn te verklaren. Ontbrekende gegevens betekenen dat het feitelijke resultaat gelijk of beter is dan het verwachte. In 2 van de 5 roc s uit de G4 ROC Mondriaan en het ROC van Amsterdam zijn de feitelijke percentages studenten die een mbo-diploma hebben gehaald op alle vier de opleidingsniveaus gelijk of hoger dan de verwachte percentages, ondanks dat die twee roc s procentueel de meeste studenten tellen in Tabel S.1 Bol: verschil feitelijke en verwachte cohortresultaat in procentpunten en aantallen studenten zonder mbo-diploma uitgesplitst naar instroomniveaus* Roc s G4 totaal aantal Niveau 1 Niveau 2 verschil totaal verschil %punt aantal aantal %punt aantal Albeda College , ,7 176 Zadkine ,0 159 ROC Mondriaan ROC Midden Nederland ROC van Amsterdam * Percentages alleen weergegeven als verwachte percentage groter is dan feitelijke percentage.

15 risicogroepen. Voor die twee roc s is er geen aanleiding om te veronderstellen dat de kwaliteit van het onderwijs in de bol minder zou zijn dan gemiddeld genomen in de roc s buiten de G4. Dat sluit niet uit dat in afzonderlijke opleidingen van die beide roc s de kwaliteit van het onderwijs en/of de loopbaanbegeleiding wel een rol kan spelen, evenals dat het geval kan zijn in afzonderlijke opleidingen in roc s buiten de G4. Van een breed of structureel probleem in de bol lijkt echter op basis van deze gegevens in die twee roc s geen sprake. De resultaten van ROC Mondriaan, die veel beter zijn dan de verwachte resultaten en vergelijkbaar met die gemiddeld in de roc s buiten de G4, doen eerder het tegenovergestelde vermoeden. Namelijk dat ze een goed antwoord hebben gevonden op de populatie die kenmerkend is voor de G4. Voor ROC Midden Nederland blijven de feitelijke cohortresultaten op de opleidingsniveaus 3 en 4 achter bij de verwachte resultaten. In procentpunten uitgedrukt is het feitelijke cohortresultaat voor beide niveaus circa 2 procentpunten lager. In deze samenvatting vertalen we deze resultaten ook in leerlingenaantallen. Kijken we naar de daaruit af te leiden aantallen studenten zonder mbo-diploma, dan gaat het in de drie instroomcohorten tezamen om 47 niveau 3 en 143 niveau 4 studenten zonder mbo-diploma, die niet uit populatieverschillen zijn te verklaren. Op cohortbasis zou een mogelijk kwaliteitsprobleem dan neerkomen op circa 15 studenten niveau 3 en circa 50 studenten op niveau 4 die daardoor geen mbo-diploma hebben gehaald. 13 totaal aantal Niveau 3 Niveau 4 verschil totaal verschil %punt aantal aantal %punt aantal , , , , ,0 143

16 Overigens hebben we nog enkele nadere analyses uitgevoerd, waarin rekening is gehouden met specifiekere onderscheidingen naar etnische herkomst in combinatie met de vooropleiding van studenten, maar die leverden geen aanwijzingen op dat die verschillen alsnog daardoor te verklaren zouden zijn. Bij Zadkine vinden we een negatief verschil tussen de feitelijke en de verwachte cohortresultaten voor de instroomniveaus 2 en 4. In beide gevallen is het verschil 3 tot 4 procentpunten. Het achterblijven van de cohortresultaten in Zadkine bij het gemiddelde cohortresultaat van roc s buiten de G4 is dus niet volledig door populatieverschillen te verklaren. Concreet betekent het dat op cohortbasis circa 50 studenten minder niveau 2 en 80 studenten minder niveau 4 geen mbo-diploma hebben gehaald. Dit is mogelijk terug te voeren op de kwaliteit van het onderwijs en/of de loopbaanbegeleiding in een aantal opleidingen op die beide niveaus. 14 Bij het Albeda College valt de balans tussen het feitelijke en verwachte cohortresultaat voor alle vier de instroomniveaus negatief uit. Er zijn echter grote verschillen tussen de vier instroomniveaus. De discrepantie is het grootst op niveau 1: bijna 11 procentpunten. Voor de drie andere niveaus blijft het verschil beperkt tot 2,7 procentpunten op niveau 2 en iets meer dan 1 procentpunt bij niveau 3 en 4. Berekenen we dat op cohortbasis aantallen delen door drie, dan zouden de populatieverschillen geen verklaring bieden voor het ontbreken van studiesucces Tabel S.2 Bbl: verschil feitelijke en verwachte cohortresultaat in procentpunten en aantallen studenten zonder mbo-diploma uitgesplitst naar instroomniveaus* Roc s G4 totaal aantal Niveau 1 Niveau 2 verschil totaal verschil %punt aantal aantal %punt aantal Albeda College ,2 247 Zadkine ,4 106 ROC Mondriaan ROC Midden Nederland ROC van Amsterdam ,1 116 * Percentages alleen weergegeven als verwachte percentage groter is dan feitelijke percentage.

17 geen mbo-diploma bij circa 150 instromers op niveau 1, circa 60 op niveau 2 en circa 20 op niveau 3 en op niveau 4. Voor de twee Rotterdamse roc s moet een extra slag om de arm worden gehouden om de negatieve balans terug te voeren op de kwaliteit van het onderwijs alleen. Onderzoek van Den Boer, Frietman en Overdiep (2011) doet vermoeden dat er een extra factor in Rotterdam speelt waarmee in dit onderzoek te weinig rekening kon worden gehouden, namelijk relatief veel studenten uit gezinnen met een lage sociaaleconomische status (SES). Daar komt voor niveau 1 van de bol nog bij dat het Albeda College in ieder geval tot ongeveer 2007 een zeer ruimhartig toelatingsbeleid kende. Wellicht dat een cumulatie van problemen als een extra verklarende factor werkt. Hiermee kon in het gebruikte analysemodel in dit onderzoek geen rekening worden gehouden. Wat betreft de bbl blijken de feitelijke cohortresultaten voor niveau 1 en 4 in alle vijf de roc s uit de G4 gelijk of beter dan de verwachte resultaten. Voor de meeste roc s uit de G4 zijn de resultaten ook beter dan gemiddeld in de roc s buiten de G4. Er is dus geen aanleiding om voor niveau 1 en 4 te veronderstellen dat de kwaliteit van het onderwijs en/of van de loopbaanbegeleiding minder zou zijn dan in de roc s buiten de G4. Dat geldt voor ROC Mondriaan en ROC Midden Nederland ook voor de instroomniveaus 2 en 3 en voor Albeda College en Zadkine voor niveau Niveau 3 Niveau 4 totaal aantal verschil totaal verschil %punt aantal aantal %punt aantal , ,8 116

18 Voor de opleidingen op niveau 2 is er in een aantal roc s wel aanleiding om naar het onderwijs te kijken. Het verwachte percentage met een mbo-diploma komt in 3 van de 5 roc s Albeda College, Zadkine en ROC van Amsterdam in de cohorten 2005 t/m 2007 hoger uit dan het feitelijke percentage. Het verschil is het grootst voor Albeda 8,2 procentpunten en in de twee andere roc s iets meer dan 3 procentpunten. Op cohortbasis, berekend voor één instroomcohort, betekent het dat de populatiekenmerken in Albeda geen verklaring bieden voor circa 80 studenten zonder mbo-diploma en in de twee andere roc s voor 30 tot 40 studenten zonder mbo-diploma. In het ROC van Amsterdam blijft het feitelijke cohortresultaat voor instromers op niveau 3 ook achter bij het verwachte resultaat. Het verschil is bijna 5 procentpunten. Dit komt op cohortbasis neer op ongeveer 40 studenten zonder mbo-diploma, waarvoor populatiekenmerken geen verklaring bieden. 16 Samengenomen zijn de bevindingen in deze studie ook methodologisch relevant, omdat ze inzicht geven in de studiestromen die onder de benchmarkresultaten schuilgaan. We denken dat de neiging om de prestaties van onderwijsinstellingen te waarderen in relatieve verschillen en rangordes zeker behulpzaam kan zijn om de problemen verder bloot te leggen die mede ten grondslag liggen aan het bereiken van studieresultaten. De aanpak waarvoor wij in deze studie kozen, kan naar ons idee ook een bijdrage leveren in de discussie over de toegevoegde waarde van opleidingen. Het berekenen van de toegevoegde waarde van opleidingen is uitermate complex, omdat onder andere rekening moet worden gehouden met populatieverschillen, de leerweg en het niveau van de opleidingen. Ten slotte hebben we nog een andere overweging. Benchmarkresultaten kunnen door bestuurders op nationaal of op instellingsniveau worden gebruikt om van te leren. Het kan uitdagend zijn te weten te komen waarom bepaalde scholen op sommige onderdelen in een benchmark wat beter of wat minder goed scoren dan andere scholen. Deze gegevens moeten echter wel voldoende in een context worden geplaatst, anders heeft het interpreteren ervan geen zin en heeft het mogelijk zelfs een averechtse werking. Sabel (2004) wijst erop dat leren door monitoring of diagnostisch leren op basis van vergelijkende ranglijsten in principe kan worden vormgegeven. Het stelt wel eisen aan het management van

19 instellingen. Het veronderstelt namelijk voldoende ruimte voor professionals om op basis van de ranglijsten beargumenteerde organisatorische veranderingen door te kunnen voeren en om eventuele achterstanden op de ranglijst in groei om te zetten. 17

20 18

21 Achtergrond, doel en opzet van het onderzoek Achtergrond van het onderzoek Het studiesucces van studenten in roc s in de vier grote steden (G4) blijft gemiddeld genomen achter bij het studiesucces van studenten uit roc s buiten de G4. Dat blijkt uit het onderzoek van Den Boer, Frietman en Overdiep (2010) waarin het studiesucces in de zes grote roc s uit de G4 is vergeleken met het gemiddelde studiesucces in de overige roc s. Studiesucces is daarbij op dezelfde manier geoperationaliseerd als het jaarresultaat, zoals dat ook is gebruikt in de Benchmark mbo. 2 Het is, kort gezegd, het percentage studenten dat in een schooljaar een mbo-diploma behaalt. In 2009 kwam het jaarresultaat voor alle roc s uit op 66,2% (Den Boer, Frietman & Overdiep, p. 5). 19 Een antwoord op de vraag waardoor het studiesucces in de roc s uit de G4 achterblijft bij dat van de andere roc s, wordt door de onderzoekers gezocht in verschillen in de samenstelling van deelnemers- of schoolpopulaties. Ze komen tot de bevinding dat de schoolpopulatie van roc s uit de G4 procentueel een grotere groep risicostudenten telt dan in andere roc s. Van een risicogroep spreken ze als het studiesucces in een groep duidelijk achterblijft bij het gemiddelde studiesucces van het mbo als geheel (roc s). Als criterium hanteren de onderzoekers een verschil in studieresultaten van 5 procentpunten. Ze trekken daarmee de grens voor risicogroepen als het jaarresultaat voor een roc uitkomt op 61,2% of lager. Het aandeel van risicogroepen in de schoolpopulatie is twee keer zo groot in de roc s uit de G4 als in de roc s buiten de G4: 48,8% om 24,4%. Terwijl het studiesucces in risicogroepen gemiddeld op 55,6% uitkomt tegenover gemiddeld 71% in de niet-risicogroepen. 2 Het jaarresultaat wordt als volgt berekend: het aantal gediplomeerden in een jaar als percentage van hetzelfde aantal gediplomeerden plus de ongediplomeerde instellingverlaters in hetzelfde jaar. Een gediplomeerde in deze context is een (examen)deelnemer die in het betreffende jaar zijn diploma heeft behaald. Eerder behaalde diploma s zijn hierbij niet relevant. Ieder individu wordt maximaal eenmaal meegeteld, ongeacht het aantal behaalde diploma s en ongeacht het niveau van de behaalde diploma s. indicatoren/jaarresultaat.html.

22 De onderzoekers trekken uit die bevindingen de volgende conclusie: De combinatie van het gegeven dat a. het jaarresultaat van de risicogroep beduidend lager ligt dan dat van de niet-risicogroep en dat b. het aandeel van de risicogroep in de G4 roc s twee keer zo groot is als dat in de overige roc s, maakt het plausibel om te veronderstellen dat het jaarresultaat van G4 roc s nadelig wordt beïnvloed door het relatief grote aandeel studenten uit risicodoelgroepen bij de G4 roc s (Den Boer, Frietman & Overdiep, 2010, p. 1). 20 De bevindingen van Den Boer e.a. waren voor het Albeda College en ROC Mondriaan aanleiding om de vraag te stellen of het achterblijven van het studiesucces in hun roc s volledig te wijten is aan verschillen in hun schoolpopulaties ten opzichte van de populaties in roc s buiten de G4, of dat de kwaliteit van hun onderwijs mede een rol speelt bij de verklaring van de verschillen in studieresultaten. Op die vraag geeft het onderzoek van Den Boer e.a. namelijk geen antwoord. Beantwoording van die vraag is urgent gegeven de geplande maatregelen in het Actieplan MBO, waarin voorstellen voor verbetering van de kwaliteit van het onderwijs en de loopbaanbegeleiding samengaan met voorstellen om de nominale studieduur van de meeste opleidingen op niveau 4 van vier naar drie jaar terug te brengen. Daaraan is ook een cascademodel voor de bekostiging gekoppeld, dat momenteel wordt ontwikkeld. In een bijeenkomst in december 2012 bij de MBO Raad is met vertegenwoordigers van de MBO Raad en vertegenwoordigers van het Albeda College en ROC Mondriaan afgesproken dat ecbo verder onderzoek uitvoert om na te gaan of de kwaliteit van onderwijs mede een rol speelt in het achter blijvende studie succes in de G4. Begin 2013 sloten Zadkine, ROC Midden Nederland en het ROC van Amsterdam zich daarbij aan en is het onderzoek gestart.

23 De landelijke discussie over toegevoegde waarde van het onderwijs Er is naar aanleiding van Focus op Vakmanschap en het Actieplan MBO de laatste jaren in het publieke debat over het middelbaar beroepsonderwijs analoog aan de discussies in andere onderwijssectoren veel aandacht voor de toegevoegde waarde van het onderwijs. Zoals bekend heeft het mbo een drievoudige kwalificatie-opdracht: diplomeren, socialiseren en voorbereiden op een vervolgstudie. In de standaard analyse over de toegevoegde waarde wordt echter vooral gekeken naar het diplomaresultaat en het jaarresultaat van de instellingen. Deze resultaten kunnen worden vergeleken aan de hand van een benchmarking techniek. Benchmarking kan in de definitie worden omschreven als het systematisch vergelijken van prestaties van verschillende delen van organisaties en hun overeenkomende diensten, processen en werkwijzen, op basis van vooraf bepaalde indicatoren, met als doel dat deze organisaties hun activiteiten kunnen verbeteren door van en met elkaar te leren (zie Van Esch, Groenenberg e.a., 2012). Prestaties kunnen vanuit verschillende perspectieven worden bekeken. Bijvoorbeeld de stand van zaken in de kwaliteit van het onderwijs. Of juist de kwaliteit van de leeropbrengst, in deze studie: het studiesucces (Van Dooren, Bouckeart & Halligan, 2010). 21 In de literatuur zijn er wel pogingen gedaan om een combinatie te vinden van product- en procesbenadering (De Bruijn, 2002). De gedachte is dat gewenste doelen en prestaties worden geformuleerd en vervolgens prestatie-indicatoren worden afgeleid, voordat wordt bezien of de beoogde prestaties zijn gerealiseerd en wat deze hebben gekost. Van Esch, Groenenberg e.a. wijzen er aan het slot van hun studie al op dat er in het mbo een ambitie is de toegevoegde waarde van opleidingen vast te stellen. In de laatste Benchmark mbo wordt genoemd dat een systeem ontbreekt op grond waarvan de toegevoegde waarde van het mbo berekend kan worden. Met toegevoegde waarde wordt gedoeld op wat de school feitelijk toevoegt aan kennis, vaardigheden en gedrag bij de deelnemers, rekening houdend met het instroomniveau. Met andere woorden: het verschil tussen wat de leerling kan en weet bij aanvang van de opleiding in vergelijking met wat de leerling kan en weet na diplomering (Van Esch, Groenenberg e.a., 2012, pp ).

24 22 Het ligt voor de hand dat de toegevoegde waarde van het onderwijs verschillende dimensies heeft. Het kan gaan om de waarde van de opleiding op de arbeidsmarkt, zoals in veel studies van het Researchcentrum voor Onderwijs en Arbeidsmarkt (ROA), het leerrendement, zoals in de analyse van het Gronings Instituut voor Onderzoek van Onderwijs (GION), zie Timmermans, Bosker e.a. (2012) of in de tijd die de leerroute in beslag neemt, zoals in Focus op Vakmanschap. In augustus 2013 ontwikkelde het ministerie van Onderwijs, Cultuur en Wetenschap (OCW) voor het eerst vijf indicatoren die de toegevoegde waarde van de instellingen in beeld moeten brengen. Deze indicatoren verwijzen naar bepaalde groepen studenten die op een bepaald niveau binnen stromen en vervolgens al dan niet gediplomeerd het stelsel weer verlaten. Zo wordt voor verschillende groepen instromers, bijvoorbeeld met een achtergrond in vmbo kader of vmbo theoretische leerweg, de slaagkans bezien. Van der Wal (2010) hanteerde in een analyse naast jaarresultaat ook toevoegde waarde als indicator van opbrengsten van het onderwijs. Van der Wal constateert voor acht instellingen in de Randstad dat ze een laag jaarresultaat hebben en een hoge toegevoegde waarde. 3 Dat is een interessante bevinding die de relevantie van onze studie ondersteunt. Gezien het aantal instellingen in de G4 dat door Van der Wal wordt genoemd, mogen we aannemen dat de G4-instellingen in deze studie allemaal of bijna allemaal vertegenwoordigd zijn in de dimensies jaarresultaat laag en toegevoegde waarde hoog. Zoals we in deze studie zullen laten zien, zegt de in de mbo-sector gehanteerde methode over het vaststellen van diplomarendementen slechts in beperkte mate iets over de toegevoegde waarde van opleidingen. Voordat we aan het einde van deze studie aan deze conclusies toe zijn, gaan we eerst in op de standaard berekeningswijze van studieresultaten. 3 In de analyse van Van der Wal kunnen we de resultaten niet herleiden tot individuele instellingen, zoals in deze studie wel het geval is.

25 1.1.1 Het landelijke beeld: studiesucces mbo-breed Er zijn twee standaardindicatoren om studieresultaten te berekenen en te vergelijken: jaarresultaten en diplomarendement. De resultaten zoals die hierboven zijn besproken, zijn gebaseerd op analyses die primair zijn bedoeld om de resultaten van afzonderlijke mbo-instellingen in kaart te kunnen brengen. Ook wij werken met een vergelijkbare eenheid van analyse, maar dan op basis van de resultaten die bereikt worden door een studentencohort, dat in een bepaald studiejaar , met de opleiding is gestart. Kort gezegd komt het erop neer dat studenten die van mbo-instelling switchen in de loop van hun schoolloopbaan in het mbo bij twee (of meer) mbo-instellingen worden meegerekend, ook als ze in een mbo-instelling geen diploma hebben gehaald. Dat heeft een negatief effect op de percentages gediplomeerden. Dat probleem wordt omzeild als we de analyses op het niveau van het mbo-veld als geheel uitvoeren. Elke student telt dan maar één keer in de berekeningen mee. Door deze meer diepgaande analyse kunnen we de resultaten van de roc s uit de G4 beter interpreteren. 23 Om te voorkomen dat een onjuist beeld ontstaat over de effectiviteit van het mbo als geheel, presenteren we hier de landelijke resultaten van het mbo voor het cohort dat in het schooljaar in het mbo is ingestroomd. De resultaten staan in tabel 1.1. Naast het totaal is ook een onderscheid gemaakt in de instroom in de bol en de bbl. In het laatste blok van de tabel totaal is in de laatste kolom te zien dat het percentage studenten, gestart in , dat een mbo-diploma haalt, ongeacht het diplomaniveau oploopt van niveau 1 naar niveau 4. Van de instromers op niveau 1 heeft 66% een mbo-diploma gehaald en dat aantal stijgt naar 76,7% bij studenten die zijn ingestroomd op niveau 4. De percentages kunnen overigens nog iets verder oplopen, omdat circa 10% van de studenten in het schooljaar nog steeds een mboopleiding volgde. Verder is in het laatste deel van de tabel te zien dat procentueel de meeste diploma s worden gehaald op het niveau waarop studenten

26 instromen, maar dat een aanzienlijk deel van de studenten die ingestroomd zijn op niveau 1 t/m 3 een diploma op een hoger niveau haalt. Zij stromen op. Omgekeerd zien we ook dat een deel van de studenten een diploma op een lager niveau als hoogste mbo-diploma haalt. De resultaten voor de bol zijn gunstiger dan voor de bbl. Dat geldt vooral bij een vergelijking van de instroom op niveau 3 en Als we onze cohortresultaten vergelijken met de analyse van de jaarresultaten, die bedoeld zijn om de resultaten op instellingsniveau in kaart te brengen, zien we dat de prestaties van het mbo als geheel iets gunstiger zijn dan wel wordt gedacht. Tegelijkertijd houdt onze benadering in dat we niet zomaar de cohortresultaten kunnen vergelijken met de jaarresultaten om afzonderlijke mbo-instellingen te vergelijken. Tabel 1.1 Studieresultaten: hoogst behaalde mbo-diploma studenten ingestroomd in het schooljaar * Totaal mbo Bol Bbl Hoogst behaalde mbo-diploma Hoogst aantal niv1 niv2 niv3 niv4 tot aantal niv1 niv2 niv ,5 23,2 5,5 1,9 66,1 niv ,1 14,2 niv ,9 38,2 19,8 11,4 71,3 niv ,1 43,9 niv ,2 5,9 30,0 39,6 75,7 niv ,2 5,1 niv ,2 4,0 8,5 65,9 78,6 niv ,1 1,1 Totaal ,7 15,0 15,4 41,0 75,0 Totaal ,2 24,9 * Analyses zijn uitgevoerd op het bewerkte BRON-bestand, dat ecbo ontvangt van DUO.

27 1.2 Doel en vraagstelling Het hoofddoel van dit onderzoek is na te gaan of verschillen in studieresultaten in de roc s uit de G4 ten opzichte van de studieresultaten in de overige roc s hoofdzakelijk zijn terug te voeren op verschillen in studentenpopulaties, of dat de kwaliteit van het onderwijs en de intake en de loopbaanbegeleiding 4 daar ook een belangrijke rol in spelen. De vraagstelling richt zich niet alleen op een verschil tussen de roc s uit de G4 als groep, waarbij gegevens van die roc s zijn geaggregeerd. De vragen zullen ook op het niveau van de vijf afzonderlijke roc s uit de G4 beantwoord worden. Enerzijds om na te kunnen gaan of er sprake is van vergelijkbare problemen in alle roc s uit de G4, anderzijds omdat het de afzonderlijke roc s er ook om gaat hun eigen resultaten te kunnen gebruiken in het te voeren beleid. 25 Het verfijnen van de vraagstelling binnen de roc s naar locaties is niet mogelijk, omdat locatiegegevens niet zijn opgenomen in de BRONbestanden. Dat is wel een probleem, omdat de roc s uit de G4 naast 4 In het vervolg beperken we ons tot de term onderwijskwaliteit waar we dat in brede zin bedoelen, dus inclusief de kwaliteit van de intake en de loopbaanbegeleiding. _ cohort Totaal behaalde mbo-diploma... Hoogst behaalde mbo-diploma niv3 niv4 tot aantal niv1 niv2 niv3 niv4 tot 4,0 0,5 65,7 niv ,2 19,5 4,9 1,3 66,0 20,1 3,9 69,0 niv ,5 40,7 20,0 8,0 70,2 53,1 11,8 70,2 niv ,2 5,7 37,4 30,7 73,9 2,9 59,7 63,8 niv ,2 3,6 7,8 65,2 76,7 22,2 13,6 68,0 Totaal ,8 18,0 17,4 32,7 72,9

28 locaties in de vier grote steden ook locaties daar buiten hebben. Ze kennen dus zowel locaties met een binnenstads, een Randstedelijk als een regionaal karakter. Op die locaties kunnen zich naar samenstelling verschillende leerlingenpopulaties bevinden. Vragen naar studieresultaten van juist de locaties in de G4, wat uit het oogpunt van de specifieke grootstedelijke problemen relevant zou zijn, is derhalve niet mogelijk. Wel kan in de analyses rekening worden gehouden met de woonplaats van de studenten: G4 of erbuiten. Woonplaats al of niet G4 en locatie al of niet G4 vallen echter niet altijd samen. 26 Naast de vraag of de verschillen in studieresultaten op het niveau van de twee groepen roc s en ook op het niveau van de afzonderlijke roc s door populatie verschillen met roc s buiten de G4, wordt die vraag verder verfijnd door rekening te houden met onderwijstypen in het mbo, vooral de leerweg bol en bbl en de vier niveaus. De vraag wordt dus voor de groep roc s uit de G4 en voor de afzonderlijke roc s ook beantwoord voor het afzonderlijke niveau in de bol en in de bbl. Dat maakt het mogelijk al enigszins gericht na te gaan waar eventuele problemen met de onderwijskwaliteit kunnen spelen. Een verdere verfijning door ook sectoren of domeinen in de vraagstelling op te nemen, zou het analysemodel te veel belasten. Zie paragraaf 1.3 voor de beschrijving van het model. Ten slotte kan de vraagstelling verder verfijnd worden door in het studieresultaat onderscheid te maken. Naast het cohortresultaat, de startkwalificatie, diplomering op het niveau van instroom en succesvolle opstroom naar een hoger niveau, wordt ook de studieduur in de analyse betrokken. Het is namelijk niet uit te sluiten dat de resultaten voor de verschillende operationaliseringen van studieresultaten kunnen verschillen. Dit wordt in de volgende paragraaf over de opzet van het onderzoek toegelicht.

29 1.3 De opzet van het onderzoek Voor een antwoord op de vraag of naast de schoolpopulatie de onderwijskwaliteit een rol speelt in het verschil in studieresultaten tussen de roc s uit de G4 en de overige roc s, zou idealiter een onderzoek nodig zijn waarin die beide factoren zijn opgenomen. Zo n opzet is gegeven de beschikbare onderzoeks budgetten niet mogelijk. Het begrip onderwijskwaliteit is te complex, niet eenduidig genoeg en vraagt van roc s te veel om het binnen het kader van dit onderzoek voldoende te kunnen operationaliseren. Evenals in het onderzoek van Den Boer, Frietman en Overdiep (2010) zijn voor de beantwoording van de onderzoeksvragen alleen bestanden beschikbaar van de Dienst Uitvoering Onderwijs (DUO), de zogenaamde BRON-bestanden. We kiezen echter voor een andere onderzoeksopzet dan Den Boer, Frietman en Overdiep, waardoor het mogelijk is toch uitspraken te doen over onderwijskwaliteit in relatie tot de verschillen in studieresultaten tussen de roc s uit de G4 en de overige roc s, zij het dat die uitspraken een indirect karakter hebben. 27 In de onderzoeksopzet van Den Boer, Frietman en Overdiep zijn twee afzonderlijke analysestappen te onderscheiden: 1 Risicogroepen bepalen: jaarresultaat of studiesucces 5 procentpunten lager dan het landelijke gemiddelde. 2 Vergelijken in welke mate risicogroepen voorkomen in roc s uit de G4 en in de overige roc s. Met die opzet is het wel aannemelijk te maken dat schoolpopulaties een rol spelen in het verschil in studieresultaten tussen de roc s uit de G4 en de overige roc s, zoals Den Boer, Frietman en Overdiep ook konden laten zien. De precieze bijdrage van schoolpopulaties is zo echter niet vast te stellen. Daardoor kunnen ook geen uitspraken worden gedaan over de onderwijskwaliteit als mogelijk verklarende factor voor die verschillen. In de onderzoeksopzet die wij kiezen, is dat wel mogelijk omdat ons analysemodel erop gericht is vast te stellen welk deel van het verschil in studieresultaten tussen roc s uit de G4 en de overige roc s toe te schrijven is aan populatieverschillen. Als de populaties de verschillen in resultaten

30 niet volledig kunnen verklaren, moet dus worden gedacht aan de kwaliteit van het onderwijs zoals we dat hiervoor in brede zin hebben omschreven Vergelijking van feitelijke en verwachte resultaten 28 In de opzet van dit onderzoek worden voor de roc s uit de G4 twee scores voor studieresultaten met elkaar vergeleken: het feitelijke percentage studenten dat een mbo-diploma heeft gehaald en het verwachte percentage. Het verwachte percentage berekenen we door de slaagkansen op een mbo-diploma in de roc s buiten de G4 toe te passen op de aantallen studenten in de roc s uit de G4. Daarbij is het percentage gediplomeerden te beschouwen als een operationalisering van de kwaliteit van het onderwijs. Als de feitelijke en de verwachte slaagkans voor de roc s uit de G4 bijna gelijk zijn, dan is het verschil in studieresultaten tussen de roc s uit de G4 en die erbuiten bijna volledig toe te schrijven aan verschillen in de schoolpopulaties en niet of nauwelijks aan de kwaliteit van het onderwijs. De berekening van het verwachte studieresultaat wordt in eerste instantie gedaan voor deelgroepen om voor verschillen in de samenstelling van de populaties te kunnen controleren. Als meer succesvolle deelgroepen sterker vertegenwoordigd zijn in de roc s buiten de G4 dan in de roc s uit de G4 en het omgekeerde zou gelden voor minder succesvolle deelgroepen, dan moeten we daar rekening mee houden. Deelgroepen worden onderscheiden op basis van kenmerken van studenten en hun (voor)opleiding. De achtergrondkenmerken in het model worden in paragraaf verantwoord en beschreven. In het kader hierna wordt het analysemodel aan de hand van een eenvoudig voorbeeld toegelicht.

31 In het fictieve voorbeeld in de tabel in dit kader zijn studenten ingedeeld naar twee achtergrondkenmerken: geslacht en etnische herkomst: autochtoon, allochtoon. In het rechterdeel van de kolom staan voor die groepen de feitelijke percentages studenten met een mbo-diploma G4 en rest van het land en de verwachte percentages voor de G4. De verhouding van de gevormde groepen verschilt sterk tussen roc s uit de G4 en de overige roc s. Zo tellen de roc s uit de G4 twee keer zoveel allochtone als autochtone mannen, terwijl in de roc s buiten de G4 vijf keer zoveel autochtone als allochtone mannen zitten. Verder verschillen de kansen op een mbo-diploma sterk tussen de vier groepen. Zo haalt van de autochtone mannen in de roc s uit de G4 71% een mbo-diploma tegenover 51% van de allochtone mannen. Wel zijn voor elk van de vier groepen de slaagkansen in de roc s uit en buiten de G4 ongeveer gelijk. Van de autochtone mannen in de roc s uit de G4 haalt 71% een mbo-diploma, voor de roc s buiten de G4 is dat 72%. Voor zover de kwaliteit van het onderwijs tot uiting komt in slaagpercentages, kunnen we stellen dat de kwaliteit van het onderwijs in de roc s uit de G4 redelijk vergelijkbaar is met de onderwijskwaliteit in de roc s buiten de G4. Immers in alle vier de onderscheiden groepen komen de slaagpercentages goed overeen. 29 Kenmerken studenten totaal aantal Roc s buiten G4 Roc s G4 Roc s G4 diploma feitelijk totaal diploma feitelijk totaal diploma verwacht aantal % aantal aantal % aantal aantal % Man autochtoon , , ,0 Man allochtoon , , ,0 Vrouw autochtoon , , ,0 Vrouw allochtoon , , ,0 Totaal , , ,1 In de tabel zijn de slaagkansen opgenomen voor autochtone en allochtone studenten. Kijken we nu in de onderste regel van de tabel naar het totaal aantal studenten, dan is er wel een groot verschil in slaagkansen: 62,4% in de roc s uit de G4 haalt een diploma tegenover 70,4% in roc s buiten de G4. Dat verschil is echter nagenoeg volledig toe te schrijven aan verschillen in de verhoudingen tussen de vier groepen studenten in de roc s uit en buiten de G4.

32 30 Het aandeel van de meer succesvolle autochtone studenten in het totale percentage geslaagden is in de roc s buiten de G4 veel groter dan in de roc s uit de G4. Voor de minder succesvolle allochtone studenten geldt het omgekeerde. Hoewel de conclusie hierboven op basis van de resultaten in de groepen was dat de kwaliteit van het onderwijs in de beide groepen roc s ongeveer gelijk is, kunnen we die conclusie niet trekken als we naar de totale percentages kijken. De slaagpercentages voor de verschillende groepen in de roc s buiten de G4, als een afgeleide van de kwaliteit van het onderwijs voor die groepen, kunnen we gebruiken om de verwachte kans op een diploma te berekenen in de roc s binnen de G4. Als vervolgens dat totale percentage niet of maar weinig verschilt van het feitelijke percentage in de roc s binnen de G4, kunnen we stellen dat de achterblijvende studieresultaten in de G4 niet te verklaren zijn door een geringere kwaliteit van het onderwijs in de roc s uit de G4, maar (bijna) volledig uit de samenstelling van de populatie. In de laatste kolommen van de tabel is dit uitgewerkt. De slaagpercentages van de roc s buiten de G4 zijn toegepast op de studentenaantallen in de afzonderlijke groepen van de roc s uit de G4. Dat levert uiteindelijk een vrijwel gelijk totaalpercentage gediplomeerden op als feitelijk is gevonden: 62,1% versus 62,4%. Daaruit is dus te concluderen dat in dit fictieve voorbeeld het verschil in feitelijke studieresultaten tussen de twee groepen roc s nagenoeg volledig is toe te schrijven aan de verschillen in de samenstelling van de populatie en niet of nauwelijks aan verschillen in de kwaliteit van het onderwijs Het gebruik van de BRON-bestanden: cohortanalyses in plaats van jaaranalyses Beperkingen van jaaranalyses Den Boer, Frietman en Overdiep (2010) gebruikten alleen het BRONbestand 2009 voor hun analyses. Daarin zijn de studieresultaten van één schooljaar in het mbo opgenomen en ook alleen de kenmerken van de in dat schooljaar gevolgde mbo-opleiding. Dat brengt een aantal beperkingen met zich mee, waardoor bepaalde analyses om verschillen tussen roc s uit de G4 en in de rest van het land in beeld te kunnen brengen en die ook te kunnen verklaren, niet mogelijk zijn. Allereerst kan geen rekening worden gehouden met de onderwijsloopbaan van studenten in het mbo. Daarmee blijven belangrijke factoren die van invloed kunnen zijn op studieresultaten buiten het zicht. Om te beginnen het switchen van mbo-instelling. Van switchers weten we dat ze minder

33 succesvol zijn dan niet-switchers. Als bepaalde roc s verhoudingsgewijs meer switchers ontvangen dan andere roc s, kan dat verschillen in studieresultaten tussen die roc s tot gevolg hebben. Min of meer hetzelfde geldt voor switchen van opleiding binnen roc s. Ook dat kan tussen roc s verschillen en dus van invloed zijn op verschillen in studiesucces. Een ander probleem is dat in jaaranalyses studenten zijn opgenomen die in verschillende schooljaren zijn ingestroomd. Een aanzienlijk aantal studenten staat zes jaar na instroom en soms nog langer ingeschreven in het mbo. In het BRON-bestand 2009 zijn dus studenten opgenomen die al in 2003 of 2004 aan een mbo-opleiding kunnen zijn begonnen, maar ook studenten die in 2008 zijn gestart. Bovendien verschilt het aandeel van instroomcohorten in een jaaranalyse heel sterk. Het laatste instroomcohort zal met 100% zijn vertegenwoordigd, terwijl uit het instroomcohort 2003 of 2004 niet meer dan zo n 10% zal zijn vertegenwoordigd. Dit hoeft geen probleem te zijn, zolang de omvang en samenstelling van de instroom jaarlijks gelijk blijft en het onderwijs in de tussentijd ook niet veel verandert. De omvang en samenstelling van de instroom zijn echter wel veranderd (Neuvel & Westerhuis, 2013) en het onderwijs heeft in de afgelopen jaren een omslag gemaakt naar competentiegericht onderwijs. De vraag is of dat in gelijke mate is gebeurd voor de roc s uit de G4 en de overige roc s. Ten slotte brengen jaaranalyses ook beperkingen met zich mee als het gaat om de studieresultaten. In jaaranalyses kan alleen het jaarresultaat worden berekend en Den Boer, Frietman en Overdiep (2010) rapporteren dan ook alleen de uitkomsten op die variabele. Het is niet mogelijk om succesvolle opstroom naar een hoger niveau dan het niveau van instroom als een variabele voor studieresultaat van roc s in de analyses op te nemen. Hetzelfde geldt voor de afstroom. Evenmin kan in jaaranalyses de studieduur als een aspect van de studieresultaten in beeld worden gebracht. 31 De meeste van die problemen en beperkingen gelden niet als in de analyses volledige instroomcohorten worden opgenomen. In dit onderzoek is ervoor gekozen om een databestand op te bouwen waarin cohorten in het mbo kunnen worden gevolgd. Dat stelt ons in staat om ook uitspraken