TECHNISCH RAPPORT SECTORHOOFDSTUK MIDDELBAAR BEROEPSONDERWIJS De Staat van het Onderwijs 2014/2015 April 2016
INHOUD Inleiding 3 Belangrijkste bevindingen en aandachtspunten 4 1 Steekproef mbo SVI bekostigde instellingen 2015 5 2 Scores SVI 2012 2013 2014 2015 bekostigd onderwijs 8 3 Scores SVI niet-bekostigd mbo 2013-2015 20 4 Verslagen van werkzaamheden nbi s 29 5 Analyse van de jaarverslagen 31 6 Opbrengsten bekostigd mbo over schooljaren 2009-2013 35 7 Populatiebeschrijving schooljaar 13/14 niet-bekostigd onderwijs mbo 44 8 Lesobservaties bekostigd mbo 49 9 Kans op stage/kans op werk SBB 55 10 Opbrengsten nbi 13/14 op basis van BRON 61 11 Groen mbo 63 12 Sectorspread middelbaar beroepsonderwijs 69
Inleiding Dit is het technisch rapport dat ten grondslag ligt aan het sectorhoofdstuk middelbaar beroepsonderwijs (mbo) van de Staat van het Onderwijs 2014/2015. In dit rapport vindt u de verantwoording van onderzoeksgegevens. Pagina 3 van 70
Belangrijkste bevindingen en aandachtspunten (zie ook sectorspread - sectorhoofdstuk middelbaar beroepsonderwijs SvhO 14/15) Wat zijn de belangrijkste bevindingen in het middelbaar beroepsonderwijs? De kwaliteit van het onderwijs, examinering en diplomering hangt sterk af van kwaliteitsborging, deze is bij een op de drie instellingen nog niet op orde. Een groeiend aantal examencommissies zorgt voor adequate borging van het examenproces en de diplomering. De meeste opleidingen hebben basiskwaliteit, wel is 12 procent zwak. Niet alle docenten beschikken over voldoende didactische vaardigheden. Instellingen hebben volop aandacht voor passend onderwijs, maar op verschillende manieren. Wat zijn de belangrijkste aandachtspunten voor het middelbaar beroepsonderwijs? Cultuurverandering binnen lerarenteams kan de onderwijskwaliteit verhogen. Bestuurders moeten hun verantwoordelijkheid nemen voor de betrouwbaarheid en objectiviteit bij examinering en diplomering, met name bij de praktijkexamens. Een gezamenlijke visie van instellingen op onderwijs verbetert het didactische handelen van docenten. Goede voorlichting, juiste plaatsing en studieloopbaanbegeleiding beperken de uitval van eerstejaarsstudenten. Pagina 4 van 70
1 Steekproef mbo SVI bekostigde instellingen 2015 In 2015 heeft bij 22 bekostigde instellingen (zie tabel 1.a) een onderzoek in het kader van de Staat van de Instelling (SVI) plaatsgevonden. Afhankelijk van het aantal opleidingen dat een instelling aanbiedt, zijn er per instelling 1-5 opleidingen (bc-codes) onderzocht middels een kwaliteitsonderzoek. De beoordelingen zijn gebaseerd op het toezichtkader BVE 2012. In totaal zijn er in 2015 95 opleidingen onderzocht. Tabel 1.a: Overzicht van steekproef SVI 2015 voor bekostigde instellingen Brin Aantal steekproefopleidingen Totaal aantal opleidingen A 5 68 B 3 11 C 3 11 D 5 73 E 4 31 F 4 22 G 3 13 H 5 81 I 4 16 J 1 3 K 4 21 L 5 89 M 5 117 N 5 57 O 5 88 P 5 79 Q 5 83 R 5 110 S 5 79 T 5 77 U 5 78 V 4 22 Totaal 95 1229 1.1 Betrouwbaarheid van de steekproef De omvang van de steekproef, uitgedrukt in aantal instellingen en aantal opleidingen is respectievelijk 22 en 95. Om met een betrouwbaarheid van 95 procent uitspraken over de populatie te doen op basis van deze steekproef, ligt de foutmarge bij instellingsscores rond de 17 procent en bij opleidingsscores rond de 10 procent. 1.2 Representativiteit van de steekproef op opleidingsniveau Om te bepalen in hoeverre de steekproef een representatief beeld geeft over het middelbaar beroepsonderwijs is gekeken naar de verdeling van de kenmerken sector, opleidingsniveau, leerweg en type instelling op landelijk niveau en de verdeling van deze kenmerken binnen de steekproef. Deze zijn getoetst met een chi-kwadraattoets. Tabel 1.2a Verdeling naar sector Landelijk (%) Landelijk (%) deelnemers Steekproef SVI 2015 (%) opleidingen Techniek 44 26 26 Groen 7 6 8 Economie 33 32 34 Zorg 15 33 32 Combi 1 3 - Pagina 5 van 70
Totaal 100 100 100 Toelichting: ruim 40 procent van de mbo-opleidingen bestaat uit techniekopleidingen. Deze opleidingen zijn vaak klein: 26 procent van de studenten in het mbo volgt een techniekopleiding. Bij de steekproeftrekking is hiermee rekening gehouden. De verdeling van de steekproefopleidingen sluit aan bij de landelijke verdeling van de studenten over de sectoren in het mbo. Tabel 1.2b Verdeling naar type instelling Landelijk (%) Steekproef SVI 2015 (%) Vakinstelling 4 3 ROC 90 90 AOC 6 7 Totaal 100 100 Toelichting: de steekproef is representatief naar type instelling. Tabel 1.2c Verdeling naar leerweg Landelijk (%) Steekproef SVI 2015 (%) BOL 57 58 BBL 43 42 Totaal 100 100 Toelichting: de steekproef is representatief naar leerweg. Tabel 1.2d Verdeling naar opleidingsniveau Landelijk (%) Steekproef SVI 2015 (%) 1 5-2 22 31 3 30 26 4 43 43 Totaal 100 100 Toelichting: Er zaten heel weinig niveau 1-opleidingen in het trekkingsbestand voor de steekproef. Een groot deel daarvan bleek tijdens de inventarisatie niet meer actief of er stonden geen, of minder dan 15 studenten ingeschreven. De overgebleven niveau 1-opleidingen zijn niet in de steekproef gekomen, omdat ze een hoog volgnummer hadden, waardoor er een andere (niveau 2) opleiding voor de steekproef is geselecteerd. De chi-kwadraattoets is niet significant, dus de steekproef is representatief naar opleidingsniveau. 1.3 Weging op opleidingsniveau In het steekproefplan is het volgende opgenomen over weging van de steekproef: De grootte van de instelling bepaalt hoeveel opleidingen er worden getrokken. Zie hiervoor de onderstaande tabel. Tabel 1.3a: Aantal te trekken opleidingen per instelling Aantal opleidingen (cp-code*niveau)* binnen de instelling Aantal te trekken opleidingen 1-4 opleidingen 1 5-10 opleidingen 2 11-20 opleidingen 3 21-75 opleidingen 4 Meer dan 75 opleidingen 5 Pagina 6 van 70
*voor de steekproef van 2015 is uitgegaan van bc-codes i.p.v. cp-codes. Omdat deze steekproef al in 2012 is bepaald, is het aantal te trekken opleidingen met de komst van de bc-code niet gewijzigd. Deze verhoudingen leiden er toe dat kleine instellingen in verhouding meer opleidingen leveren aan het stelselonderzoek dan grote instellingen. Bij de analyse van de stelselgegevens zal daarom met wegingsgewichten gewerkt moeten worden. Aan iedere instelling is een gewicht toegekend op basis van de volgende formule: gewicht = (n opl in brin x n opl in de steekproef) (n opl van alle brins in de steekproef x n getrokken opl in brin) In een voorbeeld ziet dat er als volgt uit: De totale steekproef bevat 95 opleidingen van 22 instellingen. Gezamenlijk bieden de 22 instellingen 1.229 opleidingen aan. Instelling Q biedt 83 opleidingen aan en van deze opleidingen zijn er 5 getrokken voor de steekproef. Het gewicht dat aan deze instelling wordt toegekend is dus 1.28 (83*95)/(1.229*5). In tabel 1.3b is een overzicht gemaakt van de gewichten die aan iedere instelling zijn toegekend. Tabel 1.3b: Gewichten per instelling Brin Aantal steekproefopleidingen Totaal aantal opleidingen Gewicht A 5 68 1,05 B 3 11,28 C 3 11,28 D 5 73 1,13 E 4 31,60 F 4 22,43 G 3 13,33 H 5 81 1,25 I 4 16,31 J 1 3,23 K 4 21,41 L 5 89 1,38 M 5 117 1,81 N 5 57,88 O 5 88 1,36 P 5 79 1,22 Q 5 83 1,28 R 5 110 1,70 S 5 79 1,22 T 5 77 1,19 U 5 78 1,21 V 4 22,43 De data op opleidingsniveau die in De Staat van het Onderwijs 2014/2015 worden gepresenteerd, zijn gewogen volgens bovenstaande methode. Pagina 7 van 70
2 Scores SVI 2012 2013 2014 2015 bekostigd onderwijs In dit hoofdstuk wordt een overzicht gegeven van de scores op instellings- en opleidingsniveau op basis van de SVI 2015 van bekostigde instellingen. In de tabellen wordt een vergelijking gemaakt met de uitkomsten van 2013 en 2014, zoals opgenomen in De Staat van Onderwijs 2012/2013 en 2013/2014. In alle jaren zijn de data op opleidingsniveau gewogen volgens de methode die in paragraaf 1.3 is beschreven. In de onderzoeksrapporten worden de indicatoren niet meer opgenomen, maar ten behoeve van de Staat van het Onderwijs worden deze nog wel onder water gescoord en weergegeven in de tabellen in dit rapport. Wanneer er sprake is van een significant verschil t.o.v. het voorgaande jaar, is het cijfer vetgedrukt. 2.1 Kwaliteitsborging op instellingniveau Tabel 2.1a: Kwaliteitsborging op instellingsniveau in aantallen (n 2013=24, n 2014=23, n 2015=22) 2013 2014 2015 N N N Kwaliteitsborging Goed 0 1 3 Voldoende 8 15 11 Onvoldoende 14 7 8 Slecht 2 0 0 Totaal 24 23 22 Significante verschillen in de verdeling ten opzichte van het voorafgaande jaar zijn vetgedrukt Toelichting: de verdeling van scores op kwaliteitsborging is verschillend in de opeenvolgende jaren, maar deze verschillen zijn alleen significant tussen 2013 en 2014. 2.2 Scores op de aspecten en indicatoren van kwaliteitsborging op instellingniveau Tabel 2.2a: Antal voldoende instellingen op aspecten en indicatoren van kwaliteitsborging (n 2013=24, n 2014 =23, n 2015=22) 2013 2014 2015 N N N Kwaliteitsborging 8 16 14 Sturing * 19 21 19 Plannen 19 21 19 Informatie 22 22 20 Continuïteit 22 23 20 Beoordeling * 15 21 16 Monitoring 18 22 18 Evaluatie 17 21 12 Verbetering en verankering * 11 18 17 Verbeteraanpak 18 19 16 Deskundigheidsbevordering 21 23 21 Verankering 12 18 16 Dialoog en verantwoording 23 23 21 Intern 23 23 19 Extern 23 23 19 * kernaspecten Significante verschillen ten opzichte van het voorafgaande jaar zijn vetgedrukt Toelichting: In 2014 zagen we een verbetering van de kwaliteitsborging op instellingsniveau, steeds meer instellingen hebben hun kwaliteitsborging op orde. De verschillen tussen 2014 en 2015 zijn niet significant. Dit wijst op een stabilisering van de verbetering in kwaliteitsborging die Pagina 8 van 70
in 2014 is ingezet. Verbeteringen waren vorig jaar met name zichtbaar in de beoordeling en de verankering van de kwaliteit. Steeds meer instellingen voldoen aan de eisen die hieraan worden gesteld. 2.3 Vergelijking 2012 en 2015 Tabel 2.3a Percentage voldoende instellingen op aspecten en indicatoren van kwaliteitsborging (2012 n=22, 2015 n=22. 2012 2015 % % Kwaliteitsborging 32 64 Sturing * 59 86 Plannen 59 95 Informatie 82 91 Continuïteit 95 95 Beoordeling * 50 73 Monitoring 64 90 Evaluatie 55 75 Verbetering en verankering * 50 77 Verbeteraanpak 64 80 Deskundigheidsbevordering 95 95 Verankering 50 76 Dialoog en verantwoording 91 95 Intern 95 95 Extern 91 95 * kernaspecten Significant verschil is vetgedrukt Toelichting: Bij de instellingen die in 2012 en 2015 zijn onderzocht, is de kwaliteitsborging in die periode significant verbeterd. Dit komt met name door een verbetering in de sturing. Tabel 2.3b Aantal voldoende instellingen op aspecten en indicatoren van kwaliteitsborging 2012 n=22, 2015 n=22. 2012 2015 n n Kwaliteitsborging 7 14 Sturing * 13 19 Plannen 13 19 Informatie 18 20 Continuïteit 21 20 Beoordeling * 11 16 Monitoring 14 18 Evaluatie 12 12 Verbetering en verankering * 11 17 Verbeteraanpak 14 16 Deskundigheidsbevordering 21 21 Verankering 11 16 Dialoog en verantwoording 20 21 Intern 21 19 Extern 20 19 *kernaspecten Significant verschil is vetgedrukt Tabel 2.3c: Verschil oordeel kwaliteitsborging op instellingsniveau 2012-2015 (n=22) Brin 2012 2015 A Onvoldoende Onvoldoende B Voldoende Voldoende C Voldoende Voldoende D Voldoende Onvoldoende E Voldoende Goed Pagina 9 van 70
F Onvoldoende Onvoldoende G Voldoende Onvoldoende H Onvoldoende Voldoende I Onvoldoende Onvoldoende J Slecht Onvoldoende K Onvoldoende Voldoende L Onvoldoende Voldoende M Voldoende Voldoende N Onvoldoende Voldoende O Onvoldoende Onvoldoende P Onvoldoende Voldoende Q Onvoldoende Goed R Onvoldoende Onvoldoende S Onvoldoende Voldoende T Goed Voldoende U Onvoldoende Goed V Slecht Voldoende Bron: Inspectie van het onderwijs, 2015 Toelichting: bij de helft van de instellingen is het oordeel over kwaliteitsborging op instellingsniveau in 2015 hoger dan in 2012. Bij ruim een derde is het oordeel gelijk gebleven; bij vijf instellingen betekent dit dat ze in beide jaren een onvoldoende scoren. Tabel 2.3d: Verschil oordeel kwaliteitsborging op instellingsniveau 2012-2015 (n=22) 2012 2015 Aantal instellingen Vooruitgang Slecht Onvoldoende 1 Slecht Voldoende 1 Onvoldoende Voldoende 6 Onvoldoende Goed 2 Voldoende Goed 1 Stilstand Onvoldoende Onvoldoende 5 Voldoende Voldoende 3 Achteruitgang Voldoende Onvoldoende 2 Goed Voldoende 1 Bron: Inspectie van het onderwijs, 2015 Tabel 2.3e: Oordeel kwaliteitsborging in SVI en OKV s (n=22) brin SVI1 OKV1 OKV2 SVI2 A onvoldoende onvoldoende onvoldoende B voldoende voldoende C voldoende voldoende D voldoende onvoldoende E voldoende goed F onvoldoende voldoende onvoldoende G voldoende onvoldoende H onvoldoende voldoende voldoende I slecht onvoldoende J onvoldoende onvoldoende voldoende voldoende K onvoldoende voldoende voldoende L voldoende voldoende M onvoldoende voldoende voldoende N onvoldoende voldoende onvoldoende O onvoldoende voldoende voldoende P onvoldoende voldoende goed Q onvoldoende onvoldoende onvoldoende R onvoldoende voldoende voldoende S goed voldoende T onvoldoende voldoende goed U slecht onvoldoende onvoldoende voldoende Pagina 10 van 70
2.4 Scores op de vijf kwaliteitsgebieden op opleidingsniveau Tabel 2.4a: Scores op de kwaliteitsgebieden in percentages (2013, n=95; 2014, n=98; 2015 n=95) 2013 2014 2015 % % % Onderwijsproces Goed 5 17 11 Voldoende 74 75 77 Onvoldoende 20 8 12 Slecht 0 0 0 Examinering en diplomering* Goed 4 5 4 Voldoende 45 48 66 Onvoldoende 27 42 27 Slecht 23 4 3 Opbrengsten Voldoende 81 86 88 Onvoldoende 19 14 12 Kwaliteitsborging Goed 0 3 7 Voldoende 28 50 56 Onvoldoende 47 43 37 slecht 25 4 0 Naleving wettelijke vereisten Voldoet 77 86 91 voldoet niet 23 14 9 *door afronding wijkt het percentage voldoende in deze tabel af van het percentage in tabel 2.4b en 2.6a Significante verschillen in de verdeling ten opzichte van het voorafgaande jaar zijn vetgedrukt Toelichting: het onderwijsproces is de afgelopen jaren bij geen van de opleidingen meer als slecht beoordeeld. Toch is het onderwijsproces nog bij 11 procent van de opleidingen die in 2015 zijn bezocht onvoldoende. Op het gebied van examinering en diplomering zijn de oordelen in de afgelopen 3 jaar verbeterd. Het aantal opleidingen met een slechte beoordeling van diplomering en examens is in 2014 significant gedaald ten opzichte van 2013. En het aantal voldoende opleidingen is ten opzichte van vorig jaar significant gestegen. Desondanks is de examinering en diplomering in 2015 nog bij 30 procent van de opleidingen niet op orde. Op het gebied van opbrengsten zijn er geen significante verschillen tussen de jaren; het beeld is behoorlijk constant. De kwaliteitsborging is de afgelopen jaren verbeterd. Er zijn significant minder opleidingen waar de kwaliteitsborging als slecht wordt beoordeeld. In 2015 is de kwaliteitsborging toch nog bij ruim een derde van de opleidingen onvoldoende. Voor de onderstaande tabel zijn de oordelen gehercodeerd naar voldoende (goed + voldoende) en onvoldoende (onvoldoende + slecht). Tabel 2.4b: Percentage voldoende opleidingen op de vijf kwaliteitsgebieden (2013, n=95; 2014, n=98; 2015 n=95) 2013 2014 2015 % % % Onderwijsproces 79 92 88 Examinering en diplomering 49 53 71 Opbrengsten 81 86 88 Kwaliteitsborging 28 53 63 Naleving wettelijke vereisten 77 86 91 Alle kwaliteitsgebieden voldoende 12 33 41 Significante verschillen ten opzichte van het voorafgaande jaar zijn vetgedrukt Pagina 11 van 70
Toelichting: in 2015 zijn er significante verbeteringen zichtbaar op het gebied van examinering en diplomering, kwaliteitsborging en de naleving van wettelijke vereisten. Op het gebied van het onderwijsproces was in 2014 al verbetering zichtbaar en deze heeft zich in 2015 gestabiliseerd. Daarnaast is het aandeel opleidingen dat op alle vijf de kwaliteitsgebieden voldoende scoort de afgelopen jaren toegenomen: van 12 procent in 2013, naar ruim een derde in 2014 tot 41 procent in 2015. De toename van 2014/2015 is niet significant. 2.5 Kwaliteitsgebied 1: onderwijsproces Tabel 2.5a: Percentage voldoende opleidingen op het onderwijsproces en de onderliggende aspecten en indicatoren (n 2013=95; n 2014=98; 2015 n=95) 2013 2014 2015 % % % Onderwijsproces 79 92 88 Samenhang 91 88 96 Inhoud 99 91 97 Programmering 91 95 98 Maatwerk 72 77 75 Differentiatie 72 77 75 Didactisch handelen* 99 99 96 Interactie 94 99 99 Ondersteuning en begeleiding van de leeractiviteiten 92 97 96 Feedback op de leeractiviteiten en de leerresultaten 92 90 97 Leertijd 87 87 91 Benutting 87 91 90 Werkdruk 96 95 99 Leeromgeving 96 98 100 Schoolklimaat 97 98 100 Materiële voorzieningen 99 99 98 Intake & plaatsing 93 95 99 Voorlichting 96 95 99 Intake en plaatsing 94 96 99 Studieloopbaanbegeleiding* 81 92 94 Informatievoorziening 91 94 96 Studieloopbaanbegeleiding 85 92 93 Zorg 98 99 98 Eerste- en tweedelijnszorg 98 99 98 Derdelijnszorg 99 100 100 Beroepspraktijkvorming* 97 99 95 Voorbereiding studenten en bedrijven 98 97 97 Plaatsing 100 95 100 Begeleiding door leerbedrijf 98 100 98 Begeleiding door de opleiding 89 98 92 *kernaspecten Significante verschillen ten opzichte van het voorafgaande jaar zijn vetgedrukt Toelichting: het aandeel opleidingen dat het onderwijsproces op orde heeft, is in 2015 iets gedaald ten opzichte van 2014. Deze daling is niet significant, dus het lijkt er op dat de stijging die in 2014 is ingezet stabiliseert. Opleidingen hebben zich de afgelopen jaren wel significant verbeterd op studieloopbaanbegeleiding. De samenhang van het programma is ten opzichte van vorig jaar verbeterd. 2.5.1 Samenhang differentiatie en benutting leertijd Bij opleidingen die voldoende differentiatie aanbieden mag verondersteld worden dat de benutting van de leertijd hoger ligt dan bij opleidingen die dat niet op orde hebben. Het programma sluit beter aan bij de leerbehoeften en capaciteiten van de studenten en geeft daardoor docenten de mogelijkheid om de leertijd beter te benutten. Tabel 2.5.1a: Differentiatie gekruist met benutting leertijd, percentages (n= 282) Benutting Pagina 12 van 70 Totaal
Onvoldoende Voldoende Differentiatie Onvoldoende 18,1 81,9 100 Voldoende 9,5 90,5 100 Totaal 11,7 88,3 100 Toelichting: bij opleidingen waar de differentiatie voldoende is, is ook de benutting van de leertijd vaker op orde. 2.6 Kwaliteitsgebied 2: examinering en diplomering Tabel 2.6a: Percentage voldoende opleidingen op het examinering & diplomering en de onderliggende aspecten en indicatoren (n 2013=95; n 2014=97; n 2015=94) 2013 2014 2015 % % % Examinering en diplomering 49 53 71 Exameninstrumentarium* 73 92 92 Onderscheid tussen ontwikkelgerichte toetsen en examinering 95 99 97 Dekking van het kwalificatiedossier 80 95 97 Cesuur 91 96 94 Beoordelingswijze 83 94 94 Transparantie 86 96 95 Afname en beoordeling* 86 81 78 Authentieke afname 96 99 100 Betrouwbaarheid 86 80 79 Diplomering* 56 57 75 Besluitvorming diplomering 84 87 89 Verantwoordelijkheid examencommissie 59 57 75 *kernaspecten Toelichting: in de afgelopen drie jaren is het eindoordeel over examinering en diplomering verbeterd. In 2015 is bij 71 procent van de opleidingen de examinering en diplomering op orde. Ook de diplomering, waaronder de verantwoordelijkheid van de examencommissie, is significant verbeterd ten opzichte van eerdere jaren. Het oordeel over afname en beoordeling is de afgelopen drie jaar iets afgenomen, maar deze daling is niet significant. 2.6.1 Samenhang betrouwbaarheid beoordeling en verantwoordelijkheid examencommissie Tabel 2.6b: Betrouwbaarheid afname en verantwoordelijkheid examencommissie in 2015, percentages (n=79) Verantwoordelijkheid examencommissie Onvoldoende Voldoende Totaal Betrouwbaarheid Onvoldoende 87,5 12,5 100 Voldoende 12,7 87,3 100 Totaal 27,8 72,2 100 Toelichting: Als de verantwoordelijkheid van de examencommissie voldoende is, is ook significant vaker de betrouwbaarheid van de afname en beoordeling voldoende. 2.6.2 Inkoop van examens Let op: de percentages en aantallen in de tabellen in deze paragraaf zijn ongewogen. Tabel 2.6.1a: Inkoop examens ( 2013=89; n 2014=98; n 2015=95) 2013 2014 2015 Totaal n % n % n % N % Volledig 36 40 56 57 50 53 142 50 Pagina 13 van 70
Deels 10 11 9 9 15 16 34 12 Eigen materiaal 43 48 33 34 30 32 106 38 Totaal 89 100 98 100 95 100 282 100 Toelichting: de mate van inkoop van examens verschilt over de jaren, maar deze verschillen zijn niet significant. Over de afgelopen drie jaar tezamen koopt de helft van de opleidingen de examens volledig in, 12 procent gebruikt deels eigen, deels ingekocht materiaal en bijna 40 procent van de opleidingen maakt volledig gebruik van eigen examenmateriaal. Tabel 2.6.1b: Percentage opleidingen dat als voldoende is beoordeeld op het aspect 2.1 exameninstrumentarium en onderliggende indicatoren, naar kenmerken examens (n 2013=89;, n 2014=97;, n 2015=94) Inkoop volledig Deels eigen % n % n % n 2013 Examinering en diplomering 69 36 60 10 49 43 Exameninstrumentarium* 94 36 80 10 65 43 Onderscheid tussen ontwikkelgerichte toetsen en examinering 100 36 100 10 91 43 Dekking van het kwalificatiedossier 97 36 90 10 72 43 Cesuur 100 36 90 10 88 43 Beoordelingswijze 97 36 80 10 77 43 2014 Examinering en diplomering 56 55 67 9 61 33 Exameninstrumentarium* 98 55 100 9 82 33 Onderscheid tussen ontwikkelgerichte toetsen en examinering 100 55 100 9 97 33 Dekking van het kwalificatiedossier 98 55 100 9 91 33 Cesuur 100 55 100 9 91 33 Beoordelingswijze 100 55 100 9 85 33 2015 Examinering en diplomering 70 50 60 15 72 29 Exameninstrumentarium* 98 50 100 15 79 29 Onderscheid tussen ontwikkelgerichte toetsen en examinering 98 47 100 15 93 29 Dekking van het kwalificatiedossier 100 50 100 14 93 28 Cesuur 98 50 100 15 85 27 Beoordelingswijze 100 50 100 15 80 25 *kernaspecten Significante verschillen tussen de kenmerken van de examens zijn vetgedrukt. Toelichting: De oordelen in de tabel zijn uitgesplitst naar kenmerken van de examens, namelijk volledige ingekocht examenmateriaal, deels ingekocht examenmateriaal en zelf ontwikkeld examenmateriaal. De uitkomsten laten zien dat het exameninstrumentarium van opleidingen die gebruik maken van eigen materiaal minder vaak met een voldoende wordt beoordeeld dan wanneer de opleiding examens (deels) inkoopt. Dit geldt ook voor de beoordelingswijze. Ook de dekking van het kwalificatiedossier en de cesuur zijn vaker voldoende bij (gedeeltelijke) inkoop van examens, maar deze verschillen zijn niet in ieder steekproefjaar significant. De verschillen op het eindoordeel zijn niet significant, maar laten wel een diffuser beeld zien. Tabel 2.6.1c: Percentage opleidingen dat als voldoende is beoordeeld op gebied 2 examinering en diplomering en de onderliggende aspecten naar volledige ingekochte examens (n 2013=89; n 2014=98; n 2015=95) Inkoop volledig Deels Eigen % n % N % n 2013 Examinering en diplomering 69 36 60 10 49 43 Exameninstrumentarium* 94 36 80 10 65 43 Afname en beoordeling* 97 36 90 10 81 43 Pagina 14 van 70
Diplomering* 69 36 60 10 67 43 2014 Examinering en diplomering 56 55 67 9 61 33 Exameninstrumentarium* 98 55 100 9 82 33 Afname en beoordeling* 82 55 89 9 85 33 Diplomering* 60 55 78 9 67 33 2015 Examinering en diplomering 70 50 60 15 72 29 Exameninstrumentarium* 98 50 100 15 79 29 Afname en beoordeling* 80 50 87 15 72 29 Diplomering* 72 50 60 15 79 29 *kernaspecten Significante verschillen tussen de kenmerken van de examens zijn vetgedrukt. Toelichting: in alle drie de jaren is het exameninstrumentarium bij ingekocht materiaal vaker voldoende dan bij eigen materiaal. Voor de andere aspecten geldt dat er geen significante verschillen zijn gevonden. 2.7 Kwaliteitsgebied 3: opbrengsten Tabel 2.7a: Percentage voldoende opleidingen op opbrengsten (n 2013=91, n 2014=96, n 2015=92)* 2013 2014 2015 % % % Opbrengsten 81 86 88 Rendement 81 86 88 Jaarresultaat en/of diplomaresultaat 81 86 88 *bij een aantal opleidingen zijn de opbrengsten niet beoordeeld. Toelichting: er zijn geen significante verschillen tussen de jaren (zie hoofdstuk 6 voor uitgebreidere analyses van de opbrengsten op stelselniveau). Van een aantal opleidingen konden de opbrengsten niet worden beoordeeld, omdat er nog geen uitstroom is geweest of het aantal studenten te klein is om een betrouwbaar oordeel op te baseren. 2.8 Kwaliteitsgebied 4: kwaliteitsborging op opleidingsniveau Tabel 2.8a: Percentage voldoende opleidingen op kwaliteitsborging en de onderliggende aspecten en indicatoren (2013: n =95, 2014: n=98, 2015: n=95) 2013 2014 2015 % % % Kwaliteitsborging 28 53 63 Sturing* 66 88 85 Plannen 68 89 87 Informatie 94 100 94 Continuïteit 93 96 94 Beoordeling* 53 75 71 Monitoring 73 96 85 Evaluatie 53 75 70 Verbetering en verankering* 36 60 70 Verbeteraanpak 47 74 80 Deskundigheidsbevordering 90 99 97 Verankering 39 67 73 Dialoog en verantwoording 87 93 91 Intern 90 97 96 Extern 94 97 92 Alle aspecten voldoende 27 52 63 *kernaspecten Significante verschillen ten opzichte van het voorafgaande jaar zijn vetgedrukt Pagina 15 van 70
Toelichting: De verbetering van de kwaliteitsborging van opleidingen die in 2014 is ingezet, zet zich in 2015 voort. Op een aantal onderdelen, waaronder sturing en beoordeling stabiliseert de vorig jaar ingezette groei. Het percentage opleidingen met voldoende aandacht voor dialoog en verantwoording blijft over alle jaren stabiel. Verder valt het op dat het aandeel opleidingen waarbij de monitoring en sturingsinformatie over de opleidingskwaliteit op orde is, na een stijging vorig jaar, weer significant afneemt. Er is op het gebied van kwaliteitsborging bij opleidingen nog wel verbetering mogelijk. In 2015 is de kwaliteitsborging nog steeds bij ruim een derde van de opleidingen onvoldoende. Met name op het aspect verbetering en verankering is nog wat te winnen. 2.9 Relaties tussen de kwaliteitsgebieden Om de relatie tussen kwaliteitsborging op opleidingsniveau en de oordelen op de aspecten en indicatoren van onderwijsproces en examinering en diplomering te bekijken, zijn de steekproeven van 2013, 2014 en 2015 samengenomen. Tabel 2.9a: Percentage opleidingen waar het onderwijsproces voldoende is, naar voldoende en onvoldoende kwaliteitsborging in de periode 2013-2015 (n=243) Kwaliteitsborging Zonder voldoende Met voldoende kwaliteitsborging kwaliteitsborging % % Onderwijsproces 74 100 Samenhang 86 98 Inhoud 93 99 Programmering 92 98 Maatwerk 69 81 Differentiatie 69 81 Didactisch handelen* 96 100 Interactie 95 100 Ondersteuning en begeleiding van de leeractiviteiten 92 98 Feedback op de leeractiviteiten en de leerresultaten 87 99 Leertijd 80 97 Benutting 81 98 Werkdruk 95 98 Leeromgeving 96 99 Schoolklimaat 97 100 Materiële voorzieningen 98 99 Intake & plaatsing 95 98 Voorlichting 96 98 Intake en plaatsing 95 98 Studieloopbaanbegeleiding* 79 100 Informatievoorziening 88 100 Studieloopbaanbegeleiding 81 100 Zorg 97 100 Eerste- en tweedelijnszorg 97 100 Derdelijnszorg 99 100 Beroepspraktijkvorming* 94 100 Voorbereiding studenten en bedrijven 95 100 Plaatsing 97 99 Begeleiding door leerbedrijf 98 100 Begeleiding door de opleiding 88 99 * Kernaspecten Significante verschillen zijn vetgedrukt. Toelichting: opleidingen die voldoende zijn beoordeeld op kwaliteitsborging hebben ook vaker hun onderwijsproces op orde. In vergelijking met opleidingen die onvoldoende zijn beoordeeld op kwaliteitsborging, scoren de opleidingen met voldoende kwaliteitsborging vaker voldoende op de aspecten samenhang, maatwerk, didactisch handelen, leertijd, studieloopbaanbegeleiding, zorg en beroepspraktijkvorming. Opleidingen met voldoende kwaliteitsborging scoren ook vaker voldoende op de aspecten leeromgeving en intake & plaatsing, maar deze verschillen zijn niet significant. Pagina 16 van 70
Tabel 2.9b: Percentage opleidingen waar de examinering en diplomering voldoende is, naar voldoende en onvoldoende kwaliteitsborging in de periode 2013-2015 (n=177) Kwaliteitsborging Zonder voldoende Zonder voldoende kwaliteitsborging kwaliteitsborging % % Examinering en diplomering 39 78 Exameninstrumentarium* 80 92 Onderscheid tussen ontwikkelgerichte toetsen en examinering 96 98 Dekking van het kwalificatiedossier 86 95 Cesuur 94 93 Beoordelingswijze 84 97 Transparantie 88 97 Afname en beoordeling* 71 93 Authentieke afname 98 99 Betrouwbaarheid 72 93 Diplomering* 42 85 Besluitvorming diplomering 80 94 Verantwoordelijkheid examencommissie 43 86 * kernaspecten Significante verschillen zijn vetgedrukt. Toelichting: opleidingen met voldoende kwaliteitsborging scoren ook vaker voldoende op het kwaliteitsgebied examinering en diplomering als geheel en op alle onderliggende aspecten. Met name de verantwoordelijkheid van de examencommissie is vaker met een voldoende beoordeeld, wat je ook terugziet in het aspect diplomering. 2.10 Kwaliteitsgebied 5: naleving wettelijke vereisten Tabel 2.10a: Percentage voldoende opleidingen op naleving wettelijke vereisten en de onderliggende aspecten en indicatoren (n 2013=95; n 2014=98; n 2015= 95) 2013 2014 2015 % % % Naleving wettelijke vereisten 77 85 91 5.1 Naleving wettelijke vereisten 77 85 91 5.1.1 Naleving wettelijke vereisten 77 85 91 Toelichting: het aantal opleidingen dat voldoende scoort op de naleving van wettelijke vereisten is de afgelopen jaren toegenomen. In 2015 is ruim 90 procent van de opleidingen de naleving op orde. Tabel 2.10b: Percentage opleidingen met een onvoldoende op naleving wettelijke vereisten m.b.t. schoolkosten (n 2013=95; n 2014=98; n 2015=95) 2013 2014 2015 % % % Onvoldoende schoolkosten 18,4 12,1 7,2 Toelichting: het aandeel opleidingen dat niet voldoet aan de wettelijke vereisten met betrekking tot schoolkosten is de afgelopen jaren afgenomen. De verschillen zijn echter niet significant. 2.11 Kwaliteit van taalexamens Let op: de categorie n.v.t. is niet opgenomen in de tabellen. Alleen de beoordelingen voldoende en onvoldoende (bij Nederlands op refniveau deels ) zijn weergegeven in de tabellen. Pagina 17 van 70
Er is gebruik gemaakt van ongewogen scores, omdat er relatief vaak n.v.t. is gescoord. De opleidingen die wel op dit punt beoordeeld konden worden, zijn slechts een deel van de steekproef. De overgebleven groep kan niet als representatief voor de populatie worden beschouwd. Tabel 2.11a: beoordeling van het taalexamen van een moderne vreemde taal in aantallen en percentages (n 2013=52; n 2014=55; n 2015=45; n totaal=152) 2013 2014 2015 n % n % n % Voldoende 36 69 50 91 45 100 Onvoldoende 16 31 5 9 0 0 Totaal 52 100 55 100 45 100 Tabel 2.11b: beoordeling van het taalexamen van Nederlands op refniveau in aantallen en percentages (n 2013=72; n 2014=89; n 2015=84; n totaal = 245) 2013 2014 2015 n % n % n % Voldoende 50 69 83 93 77 92 Onvoldoende 16 22 3 3 4 5 Deels 6 8 3 3 3 4 Totaal 72 100 89 100 84 100 Tabel 2.11c: beoordeling van het taalexamen van Nederlands op cefniveau in aantallen en percentages (n 2013=23; n 2014=26; n 2015=13; n totaal=62) 2013 2014 2015 n % n % n % Voldoende 17 74 23 88 21 100 Onvoldoende 6 26 3 12 0 0 Totaal 23 100 26 100 21 100 2.12 Vervolgtoezicht en tekortkomingen Tabel 2.12a: Vervolgtoezicht en tekortkomingen mbo-opleidingen in percentages (n 2013=95; n 2014=98; n 2015=95) 2013 2014 2015 % % % zwak onderwijs 16 5 12 zeer zwak onderwijs 5 3 0 onvoldoende opbrengsten 14 11 12 onvoldoende examenkwaliteit 51 47 29 niet-naleving: onvoldoende kwaliteitsborging 72 47 37 niet-naleving: andere wettelijke vereisten 23 14 9 Significante verschillen ten opzichte van het voorafgaande jaar zijn vetgedrukt. Toelichting: indien er uit het steekproefonderzoek naar voren is gekomen dat er tekortkomingen zijn in de kwaliteit van opleidingen, vindt er vervolgtoezicht plaats. Het aandeel opleidingen met zwak onderwijs is toegenomen ten opzichte van vorig jaar, maar deze toename is niet significant. Er zijn in 2015 geen opleidingen met vervolgtoezicht vanwege zeer zwak onderwijs. Het percentage opleidingen met vervolgtoezicht vanwege onvoldoende examenkwaliteit is in 2015 gedaald ten opzichte van de twee voorgaande jaren. Bij ruim een derde van de opleidingen vindt vervolgtoezicht plaats naar aanleiding van tekortkomingen in de kwaliteitsborging. Dit aandeel is afgelopen jaren sterk gedaald ten opzichte van 2013. Ook het aandeel opleidingen met tekortkomingen op het gebied van naleving van wettelijke vereisten is significant gedaald. Pagina 18 van 70
Tabel 2.12b: Patronen in vervolgtoezicht en tekortkomingen mbo-opleidingen (exclusief wettelijke vereisten) (Totaal=288) % zeer zwak onderwijs 0 zwak onderwijs 0 zeer zwak onderwijs + onvoldoende kwaliteitsborging 1 zeer zwak onderwijs + onvoldoende examenkwaliteit + onvoldoende kwaliteitsborging 2 onvoldoende opbrengsten + onvoldoende examenkwaliteit 2 onvoldoende opbrengsten + onvoldoende examenkwaliteit + onvoldoende kwaliteitsborging 2 zwak onderwijs + onvoldoende kwaliteitsborging 3 onvoldoende opbrengsten + onvoldoende kwaliteitsborging 4 onvoldoende opbrengsten 4 zwak onderwijs + onvoldoende examenkwaliteit + onvoldoende kwaliteitsborging 8 onvoldoende examenkwaliteit 8 onvoldoende kwaliteitsborging 13 onvoldoende examenkwaliteit + onvoldoende kwaliteitsborging 20 geen arrangementen * 34 Totaal 100 * Geen arrangementen betekent dat er geen tekortkomingen zijn geconstateerd. Toelichting: uit een onderzoek kan naar voren komen dat een opleiding tekortkomingen vertoont op meerdere kwaliteitsgebieden. In de bovenstaande tabel is aangegeven welke combinaties van tekortkomingen zijn voorkomen in de 288 opleidingen die zijn onderzocht in 2013, 2014 en 2015. Bij een vijfde van de opleidingen is vastgesteld dat zowel de examenkwaliteit als de kwaliteitsborging onvoldoende is. Bij ruim een derde van de opleidingen zijn geen tekortkomingen geconstateerd. Er is geen verband gevonden tussen het wel of niet hebben van vervolgtoezicht en het type, niveau, leerweg of studentenpopulatie van de opleiding. Pagina 19 van 70
3 Scores SVI niet-bekostigd mbo 2013-2015 In de onderstaande tabellen staan de uitkomsten van de SVI s in 2013, 2014 en 2015 tezamen. Er wordt geen onderscheid naar jaren gemaakt, omdat in de drie jaren geen sprake is van een representatieve steekproef. In 2013 zijn er 50 opleidingen van 31 niet-bekostigde instellingen (nbi s) onderzocht en in 2014 zijn er 21 instellingen en 34 opleidingen onderzocht. In 2015 zijn er 21 instellingen en 27 opleidingen bezocht. In totaal kunnen we nu een beeld geven van 73 instellingen en 111 opleidingen. Er is onderscheid gemaakt tussen instellingen die dagonderwijs aanbieden (voornamelijk bolopleidingen gericht op de doelgroep <23 jaar) en instellingen die dat niet doen (voornamelijk bblopleidingen gericht op de doelgroep > 23 jaar). Opleidingen van nbi s worden niet altijd beoordeeld met het gehele toezichtkader. Het komt voor dat de opbrengsten en de examinering niet zijn beoordeeld omdat de opleiding nog te kort bestaat om hierover een oordeel te geven. Voor opleidingen die onderwijs aanbieden in de derde leerweg (ovo) geldt dat zowel de opbrengsten als het onderwijsproces niet worden beoordeeld. De nadruk ligt daar op de kwaliteitsborging en de examinering. De aantallen die bij de tabellen zijn genoemd kunnen daardoor variëren. 3.1 Kwaliteitsborging op instellingsniveau Hieronder worden de scores op de kwaliteitsborging op instellingsniveau weergegeven in aantallen. Tabel 3.1a: Kwaliteitsborging op instellingsniveau (aantallen) naar type onderwijs periode 2013-2015 (n=73) Deelnemers jonger dan 23 Deelnemers van 23 jaar en ouder jaar Totaal N N N Goed 4 4 8 Voldoende 17 13 30 Onvoldoende 10 13 23 Slecht 2 10 12 Totaal 33 40 73 Significante verschillen in de verdeling zijn vetgedrukt. Toelichting: er zijn 33 instellingen die dagonderwijs aanbieden en 40 instellingen die geen dagonderwijs aanbieden. Bij deze laatste categorie is de kwaliteitsborging vaker als slecht beoordeeld. Scores op de aspecten en indicatoren van kwaliteitsborging op instellingsniveau Voor de onderstaande tabel zijn de oordelen gehercodeerd naar voldoende (goed + voldoende) en onvoldoende (onvoldoende + slecht). Tabel 3.1b: Aantal voldoende instellingen op aspecten en indicatoren van kwaliteitsborging naar type onderwijs periode 2013-2015 (n=73) Deelnemers jonger Deelnemers van 23 jaar en dan 23 jaar ouder Totaal N N N Kwaliteitsborging 21 17 38 Sturing* 28 23 51 Plannen 28 22 50 Informatie 27 29 56 Continuïteit 32 37 69 Beoordeling* 23 20 43 Monitoring 27 24 51 Evaluatie 24 22 46 Verbetering en verankering* 25 19 44 Pagina 20 van 70
Verbeteraanpak 26 21 47 Deskundigheidsbevordering 27 30 57 Verankering 25 19 44 Dialoog en verantwoording 30 34 64 Intern 30 33 63 Extern 28 32 60 *Kernaspecten Significante verschillen zijn vetgedrukt. Toelichting: instellingen die dagonderwijs aanbieden hebben vaker de sturing en verbetering en verankering van de kwaliteitsborging op orde dan instellingen die geen dagonderwijs aanbieden. 3.2 Vergelijking 2012 en 2015 Tabel 3.2a: Verschil oordeel kwaliteitsborging op instellingsniveau 2012-2015 (n=15) Brin 2012 2015 A Voldoende Voldoende B Goed Goed C Slecht Voldoende D Voldoende Onvoldoende E Onvoldoende Voldoende F Voldoende Onvoldoende G Onvoldoende Voldoende H Goed Onvoldoende I Onvoldoende Onvoldoende J Voldoende Voldoende K Voldoende Voldoende L Onvoldoende Slecht M Voldoende Voldoende N Onvoldoende Onvoldoende O Voldoende Goed Tabel 3.2b: Verschil oordeel kwaliteitsborging op instellingsniveau 2012-2015 (n=15) 2012 2015 Aantal instellingen Slecht Voldoende 1 Vooruitgang Onvoldoende Voldoende 2 Voldoende Goed 1 Onvoldoende Onvoldoende 2 Stilstand Voldoende Voldoende 4 Goed Goed 1 Onvoldoende Slecht 1 Achteruitgang Voldoende Onvoldoende 2 Goed Onvoldoende 1 Toelichting: 15 nbi s zijn zowel in 2102 als in 2015 bezocht. Bij 4 van deze instellingen is de kwaliteitsborging op instellingsniveau verbeterd. Bij 4 instellingen is de kwaliteitsborging achteruit gegaan, in één geval zelfs van goed naar onvoldoende. Zij konden het niveau van kwaliteitsborging niet behouden. Bij bijna de helft van de instellingen is het oordeel over de kwaliteitsborging gelijk gebleven. Opvallend daarbij is dat de kwaliteitsborging bij 2 van deze instellingen in 2012 onvoldoende was en in 2015 nog steeds. Blijkbaar zijn zij er niet in geslaagd het niveau van de kwaliteitsborging te verbeteren. 3.3 Scores op de vijf kwaliteitsgebieden op opleidingsniveau Tabel 3.3a: Scores op de kwaliteitsgebieden in percentages naar type onderwijs periode 2013-2015 (n=111) Type onderwijs Pagina 21 van 70
Deelnemers jonger dan 23 jaar Deelnemers van 23 jaar en ouder % % Onderwijsproces* goed 22 11 voldoende 53 50 onvoldoende 20 36 slecht 4 4 Examinering en diplomering** goed 14 2 voldoende 49 49 onvoldoende 27 27 slecht 11 22 Opbrengsten*** goed 14 0 voldoende 76 60 onvoldoende 10 40 slecht 0 0 Kwaliteitsborging**** goed 11 11 voldoende 52 27 onvoldoende 28 41 slecht 9 22 Naleving wettelijke vereisten**** voldoet 80 72 voldoet niet 20 28 *het kwaliteitsgebied onderwijsproces is beoordeeld bij 101 van de 111 opleidingen **het kwaliteitsgebied examinering en diplomering is beoordeeld bij 96 van de 111 opleidingen *** het kwaliteitsgebied opbrengsten is beoordeeld bij 36 van de 111 opleidingen ****kwaliteitsgebieden kwaliteitsborging en naleving wettelijke vereisten bij 110 van de 111 opleidingen Toelichting: opleidingen van instellingen die niet gericht zijn op dagonderwijs worden minder goed beoordeeld dat opleidingen van instellingen die daar wel op gericht zijn. In de onderstaande analyses worden de scores ingedeeld in voldoende/onvoldoende. Daar zijn de verschillen getoetst op significantie. Voor de onderstaande tabel zijn de oordelen gehercodeerd naar voldoende (goed + voldoende) en onvoldoende (onvoldoende + slecht). Tabel 3.3b: Percentage voldoende opleidingen op de vijf kwaliteitsgebieden naar type onderwijs periode 2013-2015 (n=111) Type onderwijs Deelnemers jonger dan 23 jaar Deelnemers van 23 jaar en ouder Totaal % % % Onderwijsproces* 76 61 67 Examinering en diplomering** 62 51 55 Opbrengsten*** 90 60 78 Kwaliteitsborging**** 63 38 48 Naleving wettelijke vereisten**** 80 72 75 *het kwaliteitsgebied onderwijsproces is beoordeeld bij 101 van de 111 opleidingen **het kwaliteitsgebied examinering en diplomering is beoordeeld bij 96 van de 111 opleidingen *** het kwaliteitsgebied opbrengsten is beoordeeld bij 36 van de 111 opleidingen ****kwaliteitsgebieden kwaliteitsborging en naleving wettelijke vereisten bij 110 van de 111 opleidingen Significante verschillen zijn vetgedrukt. Toelichting: Opleidingen van instellingen die dagonderwijs verzorgen hebben significant vaker hun opbrengsten en kwaliteitsborging op orde dan opleidingen van instellingen die niet gericht zijn op dagonderwijs. Ook bij de andere kwaliteitsgebieden lijkt dagonderwijs een voorsprong te hebben op niet-dagonderwijs, maar die verschillen zijn niet significant. 3.4 Kwaliteitsgebied 1: onderwijsproces Tabel 3.4a: Percentage voldoende opleidingen op het onderwijsproces en de onderliggende aspecten naar type onderwijs periode 2013-2015 (n=101)** Pagina 22 van 70
Deelnemers jonger dan 23 jaar Type onderwijs Deelnemers van 23 jaar en ouder Totaal % % % Onderwijsproces 76 61 67 Samenhang 80 70 74 Inhoud 84 71 77 Programmering 91 83 86 Maatwerk 91 79 84 Differentiatie 91 80 85 Didactisch handelen* 93 96 95 Interactie 100 96 98 Ondersteuning en begeleiding van de leeractiviteiten 93 93 93 Feedback op de leeractiviteiten en de leerresultaten 93 93 93 Leertijd 100 92 96 Benutting 100 98 99 Werkdruk 100 92 96 Leeromgeving 93 100 97 Schoolklimaat 93 100 97 Materiële voorzieningen 95 100 98 Intake & plaatsing 96 63 77 Voorlichting 95 91 93 Intake en plaatsing 95 67 80 Studieloopbaanbegeleiding* 91 73 81 Informatievoorziening 90 89 89 Studieloopbaanbegeleiding 91 75 82 Zorg 96 90 93 Eerste- en tweedelijnszorg 95 89 92 Derdelijnszorg 95 84 90 Beroepspraktijkvorming* 80 75 77 Voorbereiding studenten en bedrijven 83 87 85 Plaatsing 90 85 88 Begeleiding door leerbedrijf 86 85 86 Begeleiding door de opleiding 75 73 74 *kernaspecten ** ovo-opleidingen worden niet beoordeeld op dit gebied. Significante verschillen zijn vetgedrukt. Toelichting: opleidingen van instellingen die dagonderwijs aanbieden lijken vaker het onderwijsproces op orde te hebben dan opleidingen die daar niet op gericht zijn. Dit verschil is echter niet significant. Opleidingen in het dagonderwijs scoren wel vaker voldoende op intake & plaatsing en studieloopbaanbegeleiding. Pagina 23 van 70
3.5 Kwaliteitsgebied 2: examinering en diplomering Tabel 3.5a: percentage voldoende opleidingen op examinering en diplomering en de onderliggende aspecten en indicatoren naar type onderwijs periode 2013-2015 (n=96) Type onderwijs Deelnemers jonger dan 23 jaar Deelnemers van 23 jaar en ouder Totaal % % % Examinering en diplomering 62 51 55 Exameninstrumentarium* 78 68 72 Onderscheid tussen ontwikkelgerichte toetsen en 79 95 89 examinering Dekking van het kwalificatiedossier 86 78 81 Cesuur 85 77 80 Beoordelingswijze 85 77 80 Transparantie 89 79 83 Afname en beoordeling* 89 76 81 Authentieke afname 89 98 95 Betrouwbaarheid 89 75 80 Diplomering* 59 53 55 Besluitvorming diplomering 76 79 78 Verantwoordelijkheid examencommissie 65 52 57 *kernaspecten Significante verschillen zijn vetgedrukt. Toelichting: opleidingen van instellingen die niet gericht zijn op dagonderwijs hebben het onderscheid tussen ontwikkelgerichte toetsen en examinering vaker op orde. Daarnaast is bij opleidingen van instellingen die geen dagonderwijs bieden de authentieke afname van examens vaker voldoende. Tabel 3.5b : scores op inkoop naar type onderwijs periode 2013-2015 (n=98) Type onderwijs Deelnemers jonger dan 23 jaar Deelnemers van 23 jaar en ouder n % n % volledig 14 36 23 39 deels 6 15 3 5 n.v.t 19 49 33 56 Totaal 39 100 59 100 Toelichting: er is geen verschil in inkoop van examens naar type onderwijs. Ongeveer de helft van de opleidingen maakt gebruik van eigen examenmateriaal. De overige instellingen gebruiken volledig of deels ingekocht examenmateriaal. Tabel 3.5c: scores op examinering en diplomering uitgesplitst naar inkoop periode 2013-2015 (n=98) Inkoop Inkoop Eigen materiaal % n % N Examinering en diplomering 55 42 56 43 Exameninstrumentarium* 81 43 63 43 Afname en beoordeling* 83 42 81 43 Diplomering* 55 42 58 43 *kernaspecten Toelichting: het exameninstrumentarium lijkt vaker voldoende te zijn bij ingekocht examenmateriaal, maar het verschil is niet significant. Pagina 24 van 70
3.6 Kwaliteitsgebied 3: opbrengsten De opbrengsten zijn slechts bij 36 van de 111 opleidingen beoordeeld. Zie hoofdstuk 7 voor een uitgebreide opbrengstenanalyse van de nbi s. Zie tabel 3.3b voor de uitkomsten SVI van dit kwaliteitsgebied. 3.7 Kwaliteitsgebied 4: kwaliteitsborging op opleidingsniveau Tabel 3.7a: percentage voldoende opleidingen op kwaliteitsborging en de onderliggende aspecten en indicatoren naar onderwijstype periode 2013-2015 (n = 110) Type onderwijs Deelnemers jonger dan 23 jaar Deelnemers van 23 jaar en ouder Totaal % % % Kwaliteitsborging 63 38 48 Sturing * 83 60 70 Plannen 83 62 71 Informatie 81 75 77 Continuïteit 95 92 94 Beoordeling * 70 44 55 Monitoring 79 58 66 Evaluatie 75 52 61 Verbetering en verankering * 74 48 59 Verbeteraanpak 75 54 63 Deskundigheidsbevordering 86 82 84 Verankering 76 48 59 Dialoog en verantwoording 91 88 89 Intern 95 90 92 Extern 86 88 87 *kernaspecten Significante verschillen zijn vetgedrukt. Toelichting: opleidingen van instellingen die gericht zijn op dagonderwijs hebben de kwaliteitsborging vaker op orde dan opleidingen van instellingen die daar niet op gericht zijn. Dit verschil is vooral zichtbaar in sturing, beoordeling en verbetering en verankering. 3.8 Relatie tussen de kwaliteitsgebieden De relatie is telkens apart bekeken voor het type onderwijs. Tabel 3.8a: Percentage voldoende opleidingen op onderwijsproces (dagonderwijs) uitgesplitst naar opleidingen met onvoldoende kwaliteitsborging (n=7) en opleidingen met voldoende kwaliteitsborging (n=26), periode 2013-2015 Kwaliteitsborging Onvoldoende Voldoende % % Onderwijsproces 44 93 Samenhang 56 93 Inhoud 60 96 Programmering 80 96 Maatwerk 81 96 Differentiatie 81 96 Didactisch handelen* 88 96 Interactie 100 100 Ondersteuning en begeleiding van de leeractiviteiten 88 96 Feedback op de leeractiviteiten en de leerresultaten 88 96 Leertijd 100 100 Benutting 100 100 Werkdruk 100 100 Leeromgeving 88 96 Schoolklimaat 88 96 Materiële voorzieningen 88 100 Intake & plaatsing 88 100 Voorlichting 86 100 Intake en plaatsing 88 100 Pagina 25 van 70
Studieloopbaanbegeleiding* 75 100 Informatievoorziening 73 100 Studieloopbaanbegeleiding 73 100 Zorg 88 100 Eerste- en tweedelijnszorg 88 100 Derdelijnszorg 87 100 Beroepspraktijkvorming* 56 93 Voorbereiding studenten en bedrijven 54 96 Plaatsing 80 96 Begeleiding door leerbedrijf 75 92 Begeleiding door de opleiding 44 93 *kernaspecten Significante verschillen zijn vetgedrukt. Toelichting: de samenhang tussen onderwijsproces en kwaliteitsborging van de opleidingen van instellingen die dagonderwijs verzorgen is tamelijk hoog (r. 546). Opleidingen dagonderwijs die een voldoende hebben op onderwijsproces hebben ook vaker een voldoende op het kwaliteitsborging. Wanneer de kwaliteitsborging op orde is, zijn de volgende aspecten van onderwijsproces ook vaker op orde: - Samenhang; - Voorlichting; - Studieloopbaanbegeleiding; - Beroepspraktijkvorming. Ook bij de opleidingen van instellingen die geen dagonderwijs verzorgen zien we deze relaties terug. Tabel 3.8b: Percentage voldoende opleidingen op onderwijsproces (geen dagonderwijs) uitgesplitst naar opleidingen met onvoldoende kwaliteitsborging (n=19) en opleidingen met voldoende kwaliteitsborging (n=15), periode 2013-2015 Kwaliteitsborging Onvoldoende Voldoende % % Onderwijsproces 48 94 Samenhang 68 75 Inhoud 70 75 Programmering 78 94 Maatwerk 78 81 Differentiatie 80 81 Didactisch handelen* 95 100 Interactie 95 100 Ondersteuning en begeleiding van de leeractiviteiten 90 100 Feedback op de leeractiviteiten en de leerresultaten 90 100 Leertijd 92 94 Benutting 97 100 Werkdruk 92 94 Leeromgeving 100 100 Schoolklimaat 100 100 Materiële voorzieningen 100 100 Intake & plaatsing 53 88 Voorlichting 86 100 Intake en plaatsing 59 88 Studieloopbaanbegeleiding* 63 100 Informatievoorziening 86 94 Studieloopbaanbegeleiding 68 100 Zorg 86 100 Eerste- en tweedelijnszorg 85 100 Derdelijnszorg 81 92 Beroepspraktijkvorming* 68 94 Voorbereiding studenten en bedrijven 82 100 Plaatsing 82 94 Begeleiding door leerbedrijf 82 93 Begeleiding door de opleiding 67 88 Pagina 26 van 70
*kernaspecten Significante verschillen zijn vetgedrukt. Opleidingen van instellingen die geen dagonderwijs aanbieden en hun kwaliteitsboring op orde hebben, scoren ook vaker een voldoende op: - intake & plaatsing; - studieloopbaanbegeleiding; - beroepspraktijkvorming. Tabel 3.8c: Percentage voldoende opleidingen (dagonderwijs) op examinering en diplomering uitgesplitst naar opleidingen met onvoldoende kwaliteitsborging (n=7) en opleidingen met voldoende kwaliteitsborging (n=16), periode 2013-2015 Kwaliteitsborging Onvoldoende Voldoende % % 2 Examinering en diplomering 47 73 2.1 Exameninstrumentarium* 67 86 2.1.1 Onderscheid tussen ontwikkelgerichte toetsen en examinering 69 86 2.1.2 Dekking van het kwalificatiedossier 64 100 2.1.3 Cesuur 83 86 2.1.4 Beoordelingswijze 83 86 2.1.5 Transparantie 71 100 2.2 Afname en beoordeling* 73 100 2.2.1 Authentieke afname 71 100 2.2.2 Betrouwbaarheid 71 100 2.3 Diplomering* 40 73 2.3.1 Besluitvorming diplomering 46 95 2.3.2 Verantwoordelijkheid examencommissie 46 76 *kernaspecten Significante verschillen zijn vetgedrukt. Toelichting: er is geen significante samenhang tussen de beide kwaliteitsgebieden in totaliteit, maar wel op onderliggende aspecten/indicatoren. Opleidingen van instellingen gericht op dagonderwijs die hun kwaliteitsborging op orde hebben, hebben ook vaker een voldoende beoordeling voor: - dekking kwalificatiedossier; - transparantie; - afname en beoordeling; - diplomering; - besluitvorming diplomering. Aangezien examinering niet bij alle opleidingen is onderzocht, zijn de aantallen klein. Tabel 3.8d: Percentage voldoende opleidingen (geen dagonderwijs) op examinering en diplomering uitgesplitst naar opleidingen met onvoldoende kwaliteitsborging (n=10) en opleidingen met voldoende kwaliteitsborging (n=20), periode 2013-2015 Kwaliteitsborging Onvoldoende Voldoende % % 2 Examinering en diplomering 28 87 2.1 Exameninstrumentarium* 54 91 2.1.1 Onderscheid tussen ontwikkelgerichte toetsen en examinering 91 100 2.1.2 Dekking van het kwalificatiedossier 69 91 2.1.3 Cesuur 68 91 2.1.4 Beoordelingswijze 62 100 2.1.5 Transparantie 71 91 2.2 Afname en beoordeling* 61 100 2.2.1 Authentieke afname 97 100 2.2.2 Betrouwbaarheid 59 100 2.3 Diplomering* 31 87 2.3.1 Besluitvorming diplomering 67 96 2.3.2 Verantwoordelijkheid examencommissie 31 86 Pagina 27 van 70