TECHNISCH RAPPORT SECTORHOOFDSTUK MBO Onderwijsverslag 2013/2014 April 2015
INHOUD Inleiding 4 1 Steekproef mbo Staat van de Instelling bekostigde instellingen 2014 5 1.1 Betrouwbaarheid van de steekproef 5 1.2 Representativiteit van de steekproef op opleidingsniveau 5 1.3 Weging op opleidingsniveau 6 2 Scores Staat van de Instelling 2012, 2013 en 2014 bekostigd onderwijs 9 2.1 Kwaliteitsborging op instellingniveau 9 2.2 Scores op de vijf kwaliteitsgebieden op opleidingsniveau 11 2.3 Kwaliteitsgebied 1: onderwijsproces 13 2.3.1 Samenhang intake en plaatsing met opbrengsten 13 2.3.2 Samenhang differentiatie en benutting leertijd 14 2.4 Kwaliteitsgebied 2: examinering en diplomering 15 2.4.1 Inkoop van examens 16 2.5 kwaliteitsgebied 3: opbrengsten 17 2.6 Kwaliteitsgebied 4: kwaliteitsborging op opleidingsniveau 18 2.7 Relaties tussen de kwaliteitsgebieden 19 2.8 Kwaliteitsgebied 5: naleving wettelijke vereisten 20 2.9 Scores op de taalexamens 20 2.10 Vervolgtoezicht en tekortkomingen 21 3 Scores Staat van de Instelling niet-bekostigd middelbaar beroepsonderwijs 2012 en 2013 23 3.1 Kwaliteitsborging op instellingsniveau 23 3.2 Scores op de vijf kwaliteitsgebieden op opleidingsniveau 25 3.3 Kwaliteitsgebied 1: onderwijsproces 27 3.4 Kwaliteitsgebied 2: examinering en diplomering 28 3.5 Kwaliteitsgebied 3: opbrengsten 29 3.6 Kwaliteitsgebied 4: kwaliteitsborging op opleidingsniveau 29 3.7 Kwaliteitsgebied 5: naleving van wettelijke vereisten 29 3.8 Scores op de taalexamens 29 3.9 Vervolgtoezicht en tekortkomingen 30 4 Verslagen van werkzaamheden niet-bekostigde instellingen 31 5 Analyse van de jaarverslagen van bekostigde mbo-instellingen 33 6 Opbrengsten bekostigd mbo over 2008-2013 37 6.1 Definitie opbrengsten voor schooljaar 2012/2013 37 6.2 Startkwalificaties en hoogte van behaalde diploma 37 6.3 Prestaties in het mbo over de periode 2008/2009 2012/2012 37 6.4 Vooropleiding vo en hoogst behaalde mbo-diploma 43 6.5 Diploma s stapelen in het mbo 2012/2013 43 6.5.1 Trend in stapelen? 43 6.5.2 Welke variabelen hebben invloed op stapelen? 44 7 Opbrengsten niet-bekostigde instellingen mbo 49 7.1 Algemeen beeld 49
7.2 Diversiteit in doelgroepen en rendement 50 8 Lesobservaties bekostigd mbo 51 8.1 Indicatoren mbo lessen 2014 51 8.2 Onderwijssituaties in het mbo 52 8.3 Bevoegdheden van de docenten 54 9 Meldcode huiselijk geweld en kindermishandeling 56
Inleiding Dit is het technisch rapport dat ten grondslag ligt aan het sectorhoofdstuk mbo van het Onderwijsverslag 2013/2014. In dit rapport vindt u de verantwoording van onderzoeksgegevens in het sectorhoofdstuk mbo voor het Onderwijsverslag over het schooljaar 2013/2014. Pagina 4 van 57
1 Steekproef mbo Staat van de Instelling bekostigde instellingen 2014 In de eerste helft van 2014 heeft bij 23 bekostigde mbo-instellingen (zie tabel 1.a) een onderzoek in het kader van de Staat van de Instelling (SVI) plaatsgevonden. Afhankelijk van het aantal opleidingen dat een instelling aanbiedt, zijn er per instelling 1-5 opleidingen (bc-codes) onderzocht middels een kwaliteitsonderzoek. De beoordelingen zijn gebaseerd op het toezichtkader BVE 2012. In 2014 zijn er in totaal 98 opleidingen onderzocht. Tabel 1.a Overzicht van steekproef SVI 2014 voor bekostigde instellingen Brin Aantal steekproefopleidingen Totaal aantal opleidingen A 5 86 B 4 18 C 4 21 D 3 13 E 4 37 F 4 39 G 4 28 H 4 19 I 2 7 J 5 73 K 4 22 L 5 72 M 5 113 N 5 59 O 5 84 P 5 70 Q 5 79 R 5 116 S 5 60 T 3 13 U 4 37 V 4 44 W 4 73 Totaal 98 1.183 1.1 Betrouwbaarheid van de steekproef De omvang van de steekproef, uitgedrukt in aantal instellingen en aantal opleidingen, is respectievelijk 23 en 98. Om met een betrouwbaarheid van 95 procent uitspraken over de populatie te doen op basis van deze steekproef, ligt de foutmarge bij instellingsscores rond de 17 procent en bij opleidingsscores rond de 10 procent. 1.2 Representativiteit van de steekproef op opleidingsniveau Om te bepalen in hoeverre de steekproef een representatief beeld geeft over het middelbaar beroepsonderwijs is gekeken naar de verdeling van de kenmerken sector, opleidingsniveau, leerweg en type instelling op landelijk niveau en de verdeling van deze kenmerken binnen de steekproef. Hierbij wordt een afwijking van minder dan 10 procent gehonoreerd. Pagina 5 van 57
Tabel 1.2a Verdeling naar sector Landelijk (%) Landelijk (%) deelnemers Steekproef SVI 2014 (%) opleidingen Techniek 45 27 26 Groen 6 6 7 Economie 33 32 34 Zorg 15 32 33 Combi 1 3 - Totaal 100 100 100 Toelichting: bijna de helft van de mbo-opleidingen bestaat uit techniekopleidingen. Deze opleidingen zijn vaak klein: 27 procent van de studenten in het mbo volgt een techniekopleiding. Bij de steekproeftrekking is hiermee rekening gehouden. De verdeling van de steekproefopleidingen sluit aan bij de landelijke verdeling van de studenten over de sectoren in het mbo. Tabel 1.2b Verdeling naar type instelling Landelijk (%) Steekproef SVI 2014 (%) Vakinstelling 4 5 AOC 90 88 ROC 6 7 Totaal 100 100 Toelichting: de steekproef is representatief naar type instelling. Tabel 1.2c Verdeling naar leerweg Landelijk (%) Steekproef SVI 2014 (%) BOL 55 56 BBL 45 44 Totaal 100 100 Toelichting: de steekproef is representatief naar leerweg. Tabel 1.2d Verdeling naar opleidingsniveau Landelijk (%) Steekproef SVI 2014 (%) 1 5 3 2 23 28 3 31 25 4 41 44 Totaal 100 100 Toelichting: de steekproef is representatief naar opleidingsniveau. 1.3 Weging op opleidingsniveau De grootte van de instelling bepaalt hoeveel opleidingen er worden getrokken. Zie hiervoor de onderstaande tabel. Pagina 6 van 57
Tabel 1.3a Aantal te trekken opleidingen per instelling Aantal opleidingen (cp-code*niveau)* binnen de instelling Aantal te trekken opleidingen 1-4 opleidingen 1 5-10 opleidingen 2 11-20 opleidingen 3 21-75 opleidingen 4 Meer dan 75 opleidingen 5 *voor de steekproef van 2014 is uitgegaan van bc-codes i.p.v. cp-codes. Omdat deze steekproef al in 2012 is bepaald, is het aantal te trekken opleidingen met de komst van de bc-code niet gewijzigd. Deze verhoudingen leiden er toe dat kleine instellingen in verhouding meer opleidingen leveren aan het stelselonderzoek dan grote instellingen. Bij de analyse van de stelselgegevens zal daarom met wegingsgewichten gewerkt moeten worden. Aan iedere instelling is een gewicht toegekend op basis van de volgende formule: gewicht = (n opl in brin x n opl in de steekproef) (n opl van alle brins in de steekproef x n getrokken opl in brin) In een voorbeeld ziet dat er als volgt uit: De totale steekproef bevat 98 opleidingen van 23 instellingen. Gezamenlijk bieden de 23 instellingen 1.183 opleidingen aan. Instelling J biedt 73 opleidingen aan en van deze opleidingen zijn er 5 getrokken voor de steekproef. Het gewicht dat aan deze instelling wordt toegekend is dus 1.21 (73*98)/(1.183*5). In tabel 1.3b is een overzicht gemaakt van de gewichten die aan iedere instelling zijn toegekend. Pagina 7 van 57
Tabel 1.3b Gewichten per instelling Brin Aantal steekproefopleidingen Totaal aantal opleidingen Gewicht A 5 86 1,42 B 4 18,37 C 4 21,43 D 3 13,36 E 4 37,77 F 4 39,81 G 4 28,58 H 4 19,39 I 2 7,29 J 5 73 1,21 K 4 22,46 L 5 72 1,19 M 5 113 1,87 N 5 59,98 O 5 84 1,39 P 5 70 1,16 Q 5 79 1,31 R 5 116 1,92 S 5 60,99 T 3 13,36 U 4 37,77 V 4 44,91 W 4 73 1,51 De data op opleidingsniveau die in het Onderwijsverslag 2013/2014 worden gepresenteerd, zijn gewogen volgens de bovenstaande methode. Pagina 8 van 57
2 Scores Staat van de Instelling 2012, 2013 en 2014 bekostigd onderwijs In dit hoofdstuk wordt een overzicht gegeven van de scores op instellings- en opleidingsniveau op basis van de Staat van de Instelling (SVI) 2014 van bekostigde instellingen. In de tabellen wordt een vergelijking gemaakt met de uitkomsten van 2012 en 2013, zoals opgenomen in de Onderwijsverslagen van 2011/2012 en 2012/2013. In alle jaren zijn de data op opleidingsniveau gewogen volgens de methode die in paragraaf 1.3 is beschreven. Significante verschillen (p<0.05) zijn oranje gearceerd in de tabellen. In superscript is aangeven met welke jaren er een significant verschil is: 1 = significant t.o.v. 2012 2 = significant t.o.v. 2013 1,2 = significant t.o.v. 2012 én 2013 2.1 Kwaliteitsborging op instellingniveau Tabel 2.1a Kwaliteitsborging op instellingsniveau in percentages (n 2012=22, n 2013=24, n 2014=23, n Totaal=69) Jaar 2012 2013 2014 Totaal Kwaliteitsborging Goed 5 0 4 3 Voldoende 27 33 65 1,2 42 Onvoldoende 59 58 30 1,2 49 Slecht 9 8 0 6 Totaal 100 100 100 100 Toelichting: de jaren 2012 en 2013 laten hetzelfde beeld zien; de verschillen tussen deze jaren zijn niet significant. In 2014 zien we een stijging van het percentage instellingen met een voldoende beoordeling op de kwaliteitsborging. Pagina 9 van 57
Scores op de aspecten en indicatoren van kwaliteitsborging op instellingsniveau Tabel 2.1b Aantal instellingen dat als voldoende is beoordeeld op aspecten en indicatoren van kwaliteitsborging in 2012, 2013 en 2014 (n 2012=22, n 2013=24, n 2014=23, n Totaal=69) Jaar 2012 2013 2014 Totaal N N N N 4. Kwaliteitsborging 7 8 16 1,2 31 4.1 Sturing * 13 19 21 1 53 4.1.1 Plannen 13 19 21 1 53 4.1.2 Informatie 18 22 22 62 4.1.3 Continuïteit 21 22 23 66 4.2 Beoordeling * 11 15 21 1,2 47 4.2.1 Monitoring 14 18 22 1,2 54 4.2.2 Evaluatie 12 17 21 1 50 4.3 Verbetering en verankering * 11 11 18 1,2 40 4.3.1 Verbeteraanpak 14 18 19 51 4.3.2 Deskundigheidsbevordering 21 21 23 65 4.3.3 Verankering 11 12 18 1,2 41 4.4 Dialoog en verantwoording 20 23 23 66 4.4.1 Intern 21 23 23 67 4.4.2 Extern 20 23 23 66 *kernaspecten Toelichting: de verschillen tussen 2012 en 2013 zijn niet significant. In 2014 zien we echter wel een verbetering van de kwaliteitsborging op instellingsniveau, steeds meer instellingen hebben hun kwaliteitsborging op orde. Tabel 2.1c Percentage instellingen dat als voldoende is beoordeeld op aspecten en indicatoren van kwaliteitsborging in 2012, 2013 en 2014 (n 2012=22, n 2013=24, n 2014=23, n Totaal=69) Jaar 2012 2013 2014 Totaal % % % % 4. Kwaliteitsborging 32 33 70 1,2 45 4.1 Sturing * 59 79 91 1 77 4.1.1 Plannen 59 79 91 1 77 4.1.2 Informatie 82 92 96 90 4.1.3 Continuïteit 95 92 100 96 4.2 Beoordeling * 50 63 91 1,2 68 4.2.1 Monitoring 64 75 96 1,2 78 4.2.2 Evaluatie 55 71 91 1 72 4.3 Verbetering en verankering * 50 46 78 1,2 58 4.3.1 Verbeteraanpak 64 75 83 74 4.3.2 Deskundigheidsbevordering 95 88 100 94 4.3.3 Verankering 50 50 78 1,2 59 4.4 Dialoog en verantwoording 91 96 100 96 4.4.1 Intern 95 96 100 97 4.4.2 Extern 91 96 100 96 *kernaspecten Toelichting: in 2014 is het percentage instellingen met een voldoende kwaliteitsborging toegenomen van een derde in 2012 en 2013, naar 70 procent in 2014. Verbeteringen zijn met name zichtbaar in de sturing op kwaliteit, de beoordeling en de verankering van de kwaliteit. Steeds meer instellingen voldoen aan de eisen die hieraan worden gesteld. De dialoog en verantwoording, zowel intern als extern, is in 2014 bij alle instellingen op orde. Pagina 10 van 57
2.2 Scores op de vijf kwaliteitsgebieden op opleidingsniveau Tabel 2.2a Scores op de kwaliteitsgebieden in percentages in 2012, 2013 en 2014 (n 2012=95, n 2013=95, n 2014=98, n Totaal=288) Jaar 2012 2013 2014 Totaal % % % % 1 Onderwijsproces Goed 7 5 17 1,2 10 Voldoende 74 74 75 74 Onvoldoende 16 20 8 1 15 Slecht 3 0 0 1 2 Examinering en diplomering Goed 1 4 5 3 Voldoende 50 45 48 48 Onvoldoende 19 27 42 1,2 29 Slecht 29 23 4 1,2 20 3 Opbrengsten Voldoende 73 81 86 80 Onvoldoende 27 19 14 20 4 Kwaliteitsborging Goed 0 0 3 1 Voldoende 27 28 50 1,2 34 Onvoldoende 51 47 43 47 Slecht 22 25 4 1,2 17 5 Naleving wettelijke vereisten Voldoet 75 77 86 79 Voldoet niet 25 23 14 21 Toelichting: De kwaliteit van het onderwijsproces is in 2014 beter dan in de voorgaande twee jaren. Ondanks de verbeteringen in 2014 zijn er over de drie jaren bezien nog bij 16 (15 procent onvoldoende + 1 procent slecht) procent van de opleidingen verbeteringen nodig om het onderwijsproces op orde te krijgen. Op het gebied van examinering en diplomering zien we in de afgelopen drie jaren ook veranderingen in de oordelen. In 2014 is het aantal opleidingen met een slechte examinering en diplomering gedaald; wel zijn er nog bij 42 procent van de opleidingen tekortkomingen op dit gebied. Over de drie jaren bezien zijn er bij 49 procent van de opleidingen tekortkomingen geconstateerd. Ook op het gebied van kwaliteitsborging zijn er verbeteringen zichtbaar. In 2014 zijn er minder opleidingen waarvan de kwaliteitsborging slecht is bevonden. Desondanks is de kwaliteitsborging in 2014 bij 47 procent van de opleidingen nog steeds niet op orde. Over drie jaren bezien is dit percentage 64 procent. Het beeld over de opbrengsten en de naleving van wettelijke vereisten blijft tamelijk constant. Uit de analyses over de drie jaren blijkt dat bij 80 procent van de opleidingen de opbrengsten voldoende zijn en dat bij 79 procent de naleving wettelijke vereisten voldoende zijn. Voor de onderstaande tabel zijn de oordelen gehercodeerd naar voldoende (goed + voldoende) en onvoldoende (onvoldoende + slecht). Tabel 2.2b Percentage opleidingen dat als voldoende is beoordeeld naar kwaliteitsgebied in 2012, 2013 en 2014 (n 2012=95, n 2013=95, n 2014=98, n Totaal=288) 2012 2013 2014 Totaal % % % % 1 Onderwijsproces 81 79 92 2 84 2 Examinering en diplomering 51 49 53 51 Pagina 11 van 57
3 Opbrengsten 73 81 86 80 4 Kwaliteitsborging 27 28 53 1,2 35 5 Naleving wettelijke vereisten 75 77 86 79 Alle kwaliteitsgebieden voldoende 8 12 33 1 17 Toelichting: de uitkomsten van het steekproefonderzoek laten zien dat er kwaliteitsverbeteringen zijn op de gebieden onderwijsproces en kwaliteitsborging. In 2014 heeft 92 procent van de opleidingen een voldoende onderwijsproces tegenover 79 procent in 2013. Verder heeft 53 procent van de opleidingen in 2014 een voldoende kwaliteitszorgsysteem tegenover 27 en 28 procent in respectievelijk 2012 en 2013. Pagina 12 van 57
2.3 Kwaliteitsgebied 1: onderwijsproces Tabel 2.3a Percentage opleidingen dat als voldoende is beoordeeld op het onderwijsproces in 2012, 2013 en 2014 (n 2012=95, n 2013=95, n 2014=98, n Totaal=288) Jaar 2012 2013 2014 Totaal % % % % 1 Onderwijsproces 81 79 92 2 84 1.1 Samenhang 89 91 88 89 1.1.1 Inhoud 96 99 91 2 96 1.1.2 Programmering 89 91 95 92 1.2 Maatwerk 65 72 77 71 1.2.1 Differentiatie 65 72 77 71 1.3 Didactisch handelen* 91 99 1 99 1 96 1.3.1 Interactie 92 94 99 94 1.3.2 Ondersteuning en begeleiding van de leeractiviteiten 90 92 97 93 1.3.3 Feedback op de leeractiviteiten en de leerresultaten 82 92 90 87 1.4 Leertijd 82 87 87 85 1.4.1 Benutting 82 87 91 86 1.4.2 Werkdruk 100 96 95 97 1.5 Leeromgeving 97 96 98 97 1.5.1 Schoolklimaat 99 97 98 98 1.5.2 Materiële voorzieningen 99 99 99 99 1.6 Intake & plaatsing 80 93 1 95 1 89 1.6.1 Voorlichting 95 96 95 95 1.6.2 Intake en plaatsing 83 94 1 96 1 91 1.7 Studieloopbaanbegeleiding* 85 81 92 2 86 1.7.1 Informatievoorziening 97 91 94 94 1.7.2 Studieloopbaanbegeleiding 85 85 92 87 1.8 Zorg 95 98 99 97 1.8.1 Eerste- en tweedelijnszorg 95 98 99 97 1.8.2 Derdelijnszorg 100 99 100 100 1.9 Beroepspraktijkvorming* 96 97 99 97 1.9.1 Voorbereiding studenten en bedrijven 96 98 97 97 1.9.2 Plaatsing 96 100 95 97 1.9.3 Begeleiding door leerbedrijf 98 98 100 99 1.9.4 Begeleiding door de opleiding 85 89 98 1,2 91 *kernaspecten Toelichting: de vergelijking van de steekproefuitkomsten van 2014 met de twee voorgaande jaren laat zien dat steeds meer opleidingen hun onderwijsproces op orde hebben. Opleidingen verbeteren zich vooral op de intake en plaatsing van studenten, maar ook op de studieloopbaanbegeleiding en de begeleiding bij de bpvplaats vanuit de opleiding én het didactisch handelen van de docenten wordt vaker voldoende beoordeeld. De inhoud van de opleiding wordt in 2014 in vergelijking met 2013 iets minder vaak met een voldoende beoordeeld. 2.3.1 Samenhang intake en plaatsing met opbrengsten De laatste drie jaren is het percentage opleidingen dat voldoet aan de eisen die gesteld worden aan intake en plaatsing gestegen. Verondersteld wordt dat opleidingen waarbij de intake en plaatsing voldoende is ook de opbrengsten vaker op orde zijn dan bij opleidingen waarbij de intake en plaatsing onvoldoende is. In onderstaande kruistabel worden de oordelen (voldoende/onvoldoende) op aspect intake en plaatsing gekruist met de oordelen op het kwaliteitsgebied opbrengsten. Pagina 13 van 57
Tabel 2.3.1a Oordelen intake & plaatsing gekruist met opbrengsten (in percentages, n=279) Kwaliteitsgebied opbrengsten Onvoldoende Voldoende Totaal Intake & plaatsing Onvoldoende 42,4 57,6 100,0 Voldoende 17,3 82,7 100,0 Totaal 20,2 79,8 100,0 Toelichting: bij ongeveer 80 procent van de opleidingen zijn de opbrengsten voldoende. Bij de meeste van deze opleidingen is de intake en plaatsing ook voldoende. Een correlatietoets wijst uit dat er inderdaad een significante (p<0.05) samenhang is tussen deze oordelen. Het verband is echter vrij licht (r.199). Dit betekent dat er naast intake en plaatsing ook andere factoren zijn die invloed hebben op de opbrengsten. 2.3.2 Samenhang differentiatie en benutting leertijd Bij opleidingen die voldoende differentiatie aanbieden mag verondersteld worden dat de benutting van de leertijd hoger ligt dan bij opleidingen die dat niet op orde hebben. Het programma sluit beter aan bij de leerbehoeften en capaciteiten van de studenten en geeft daardoor docenten de mogelijkheid om de leertijd beter te benutten. Tabel 2.3.2a Differentiatie gekruist met benutting leertijd (in percentages, n=287) Benutting leertijd Onvoldoende Voldoende Totaal Differentiatie Onvoldoende 21,4 78,6 100,0 Voldoende 9,9 90,1 100,0 Totaal 13,2 86,8 100,0 Toelichting: Een correlatietoets wijst uit dat er inderdaad een significante (p<0.05) samenhang is tussen deze oordelen. Het verband is echter vrij licht (r.155). Pagina 14 van 57
2.4 Kwaliteitsgebied 2: examinering en diplomering Tabel 2.4a Percentage opleidingen waar de examinering en diplomering voldoende is in 2012, 2013 en 2014 (n 2012=93, n 2013=95, n 2014=97, n Totaal=285 ) Jaar 2012 2013 2014 Totaal % % % % 2 Examinering en diplomering 51 49 53 51 2.1 Exameninstrumentarium* 74 73 92 1,2 79 2.1.1 Onderscheid tussen ontwikkelgerichte toetsen en examinering 92 95 99 95 2.1.2 Dekking van het kwalificatiedossier 88 80 95 2 87 2.1.3 Cesuur 86 91 96 90 2.1.4 Beoordelingswijze 84 83 94 2 87 2.1.5 Transparantie 83 86 96 1,2 88 2.2 Afname en beoordeling* 71 86 1 81 79 2.2.1 Authentieke afname 97 96 99 97 2.2.2 Betrouwbaarheid 72 86 1 80 79 2.3 Diplomering* 66 56 57 60 2.3.1 Besluitvorming diplomering 83 84 87 85 2.3.2 Verantwoordelijkheid examencommissie 68 59 57 62 *kernaspecten Toelichting: het eindoordeel over de kwaliteit van de examinering en diplomering is de afgelopen 3 jaren niet verbeterd; nog steeds is dat bij de helft van de opleidingen onvoldoende. Wel zijn er op onderdelen van de examinering en diplomering verbeteringen zichtbaar. Steeds meer opleidingen hebben hun exameninstrumentarium op orde. In 2014 voldoen 9 van de 10 opleidingen aan de eisen die hieraan worden gesteld. Verbeteringen zijn vooral zichtbaar bij de dekking van het kwalificatiedossier, bij de beoordelingswijze en bij de transparantie. Bij de afname en beoordeling van de examens zagen we in 2013 een stijging t.o.v. 2012, maar deze stijging heeft zich in 2014 niet verder doorgezet. Toch is bij 8 op de 10 opleidingen dit onderdeel van de examinering en diplomering voldoende. Het percentage opleidingen met een voldoende op het aspect diplomering blijft nog steeds achter. Over de drie jaren bezien voldoet slechts 60 procent van de opleidingen aan de eisen die hieraan worden gesteld. De inspectie is bij veel opleidingen niet tevreden over de verantwoordelijkheid van de examencommissie. Pagina 15 van 57
2.4.1 Inkoop van examens Tabel 2.4.1a Scores op inkoop (n 2012 = 92, n 2013 = 89, n 2014 = 98) 2012 2013 2014 Totaal n % n % n % n % Inkoop volledig 36 39 36 40 56 57 1,2 128 46 Inkoop deels 11 12 10 11 9 9 30 11 Eigen materiaal 45 49 43 48 33 34 1,2 121 43 Totaal 92 100 89 100 98 100 279 100 Het gebruik van ingekochte examens is toegenomen (zie tabel 2.4a). In 2012 en 2013 werd er door respectievelijk 39 en 40 procent van de opleidingen gebruikt gemaakt van ingekochte examens, in 2014 is dit percentage gestegen naar 57 procent. Tabel 2.4.1b Percentage opleidingen dat als voldoende is beoordeeld op het aspect Exameninstrumentarium en onderliggende indicatoren, naar inkoop of eigen materiaal (n 2012=92, n 2013=89, n 2014=98) Inkoop Eigen Volledig Deels materiaal % n % n % n 2012 2 Examinering en diplomering 74 35 45 11 53 45 2.1 Exameninstrumentarium* 97 36 64 11 69 45 2.1.1 Onderscheid tussen ontwikkelgerichte toetsen en examinering 97 36 100 11 89 45 2.1.2 Dekking van het kwalificatiedossier 100 36 82 11 84 45 2.1.3 Cesuur 100 36 100 11 78 45 2.1.4 Beoordelingswijze 100 36 91 11 76 45 2013 2 Examinering en diplomering 69 36 60 10 49 43 2.1 Exameninstrumentarium* 94 36 80 10 65 43 2.1.1 Onderscheid tussen ontwikkelgerichte toetsen en examinering 100 36 100 10 91 43 2.1.2 Dekking van het kwalificatiedossier 97 36 90 10 72 43 2.1.3 Cesuur 100 36 90 10 88 43 2.1.4 Beoordelingswijze 97 36 80 10 77 43 2014 2 Examinering en diplomering 56 55 67 9 61 33 2.1 Exameninstrumentarium* 98 55 100 9 82 33 2.1.1 Onderscheid tussen ontwikkelgerichte toetsen en examinering 100 55 100 9 97 33 2.1.2 Dekking van het kwalificatiedossier 98 55 100 9 91 33 2.1.3 Cesuur 100 55 100 9 91 33 2.1.4 Beoordelingswijze 100 55 100 9 85 33 *Kernaspecten Toelichting: in de tabel is het eindoordeel op het kwaliteitsgebied examinering en diplomering opgenomen, evenals de beoordeling op aspect 2.1 en de onderliggende indicatoren. De oordelen zijn uitgesplitst naar kenmerken van de examens, namelijk volledige ingekocht examenmateriaal, deels ingekocht examenmateriaal en eigen ontwikkeld examenmateriaal. De uitkomsten laten zien dat het exameninstrumentarium van ingekochte examens vaker met een voldoende wordt beoordeeld dan wanneer de instelling eigen materiaal gebruikt. Dat geldt ook voor de beoordelingswijze (aspect 2.1.4). Ook voor een aantal andere indicatoren van 2.1 geldt dat het ingekochte materiaal vaker met een voldoende wordt beoordeeld dan eigen materiaal, maar niet in ieder steekproefjaar zijn de verschillen significant. Pagina 16 van 57
Het eindoordeel op de examinering en diplomering (in 2012 en 2013) wijst ook in de richting van een positievere beoordeling bij ingekochte examens, maar de verschillen zijn niet significant. Tabel 2.4.1c Percentage opleidingen dat als voldoende is beoordeeld op examinering, naar inkoop of eigen materiaal in 2012, 2013 en 2014 (n 2012 = 92, n 2013 = 89, n 2014 = 98) Inkoop Eigen Volledig Volledig materiaal % n % n % n 2012 2 Examinering en diplomering 74 35 45 11 53 45 2.1 Exameninstrumentarium* 97 36 64 11 69 45 2.2 Afname en beoordeling* 83 35 73 11 73 45 2.3 Diplomering* 77 35 64 11 69 45 2013 2 Examinering en diplomering 69 36 60 10 49 43 2.1 Exameninstrumentarium* 94 36 80 10 65 43 2.2 Afname en beoordeling* 97 36 90 10 81 43 2.3 Diplomering* 69 36 60 10 67 43 2014 2 Examinering en diplomering 56 55 67 9 61 33 2.1 Exameninstrumentarium* 98 55 100 9 82 33 2.2 Afname en beoordeling* 82 55 89 9 85 33 2.3 Diplomering* 60 55 78 9 67 33 *kernaspecten Toelichting: in alle drie de jaren is het exameninstrumentarium vaker voldoende van ingekocht materiaal, dan van eigen materiaal. Voor de andere aspecten geldt dat er geen significante verschillen zijn gevonden. 2.5 kwaliteitsgebied 3: opbrengsten Tabel 2.5a Percentage voldoende opleidingen op opbrengsten (n 2012=92, n 2013=91, n 2014=96, n Totaal=279 )* Jaar 2012 2013 2014 Totaal 3 Opbrengsten 73 81 86 80 3.1 Rendement 73 81 86 80 3.1.1 Jaarresultaat en/of diplomaresultaat 73 81 86 80 *bij een aantal opleidingen zijn de opbrengsten niet beoordeeld. Toelichting: geen significante verschillen tussen de jaren. Over de drie jaren bezien heeft 80 procent van de opleidingen voldoende opbrengsten (zie hoofdstuk 6 voor uitgebreidere analyses van de opbrengsten op stelselniveau). Pagina 17 van 57
2.6 Kwaliteitsgebied 4: kwaliteitsborging op opleidingsniveau Tabel 2.6a Percentage opleidingen dat als voldoende is beoordeeld op kwaliteitsborging in 2012, 2013 en 2014 (n 2012=95, n 2013=95, n 2014=98) Jaar 2012 2013 2014 Totaal 4 Kwaliteitsborging 27 28 53 1,2 35 4.1 Sturing* 54 66 88 1,2 68 4.1.1 Plannen 49 68 1 89 1,2 68 4.1.2 Informatie 85 94 1 100 1,2 92 4.1.3 Continuïteit 93 93 96 94 4.2 Beoordeling* 46 53 75 1,2 57 4.2.1 Monitoring 63 73 96 1,2 77 4.2.2 Evaluatie 50 53 75 1,2 59 4.3 Verbetering en verankering* 42 36 60 1,2 46 4.3.1 Verbeteraanpak 59 47 74 2 60 4.3.2 Deskundigheidsbevordering 95 90 99 2 95 4.3.3 Verankering 49 39 67 1,2 51 4.4 Dialoog en verantwoording 91 87 93 91 4.4.1 Intern 94 90 97 2 94 4.4.2 Extern 93 94 97 94 Alle aspecten voldoende 27 27 52 1,2 *kernaspecten. Toelichting: de kwaliteitsborging van opleidingen in 2014 is op een aantal aspecten verbeterd t.o.v. de voorgaande jaren. Steeds meer opleidingen slagen erin om het proces van kwaliteitsborging beter te sturen en hun kwaliteit beter te beoordelen. Ook is er een toename van het percentage opleidingen dat met een voldoende is beoordeeld op het aspect verbetering en verankering. Het percentage opleidingen met voldoende aandacht voor dialoog en verantwoording blijft stabiel: bij 9 van de 10 opleidingen is dit op orde. Echter, er zijn nog meer verbeteringen nodig. Nog steeds is bij de 40 procent van de opleidingen in 2014 de kwaliteitsborging onder de maat. Het pijnpunt ligt vooral bij de verankering. Pagina 18 van 57
2.7 Relaties tussen de kwaliteitsgebieden Om de relatie tussen kwaliteitsborging op opleidingsniveau en de oordelen op de aspecten en indicatoren van onderwijsproces en examinering en diplomering te bekijken, zijn de steekproeven van 2012, 2013 en 2014 samengenomen. Tabel 2.7a Percentage opleidingen waar het onderwijsproces voldoende is, naar (on)voldoende kwaliteitsborging in de periode 2012-2014 (n=288) Onvoldoende Voldoende kwaliteitsborging kwaliteitsborging 1 Onderwijsproces 77 96 1.1 Samenhang 86 96 1.1.1 Inhoud 94 99 1.1.2 Programmering 89 96 1.2 Maatwerk 63 86 1.2.1 Differentiatie 62 84 1.3 Didactisch handelen* 94 98 1.3.1 Interactie 92 98 1.3.2 Ondersteuning en begeleiding van de leeractiviteiten 92 95 1.3.3 Feedback op de leeractiviteiten en de leerresultaten 83 95 1.4 Leertijd 80 95 1.4.1 Benutting 81 96 1.4.2 Werkdruk 97 98 1.5 Leeromgeving 96 98 1.5.1 Schoolklimaat 97 100 1.5.2 Materiële voorzieningen 99 98 1.6 Intake & plaatsing 85 95 1.6.1 Voorlichting 94 97 1.6.2 Intake en plaatsing 87 97 1.7 Studieloopbaanbegeleiding* 80 96 1.7.1 Informatievoorziening 91 99 1.7.2 Studieloopbaanbegeleiding 82 96 1.8 Zorg 95 100 1.8.1 Eerste- en tweedelijnszorg 96 100 1.8.2 Derdelijnszorg 99 100 1.9 Beroepspraktijkvorming* 96 99 1.9.1 Voorbereiding studenten en bedrijven 96 99 1.9.2 Plaatsing 96 98 1.9.3 Begeleiding door leerbedrijf 98 100 1.9.4 Begeleiding door de opleiding 88 95 * Kernaspecten Toelichting: opleidingen met een voldoende beoordeling op kwaliteitsborging hebben ook vaker hun onderwijsproces op orde. In vergelijking met opleidingen die onvoldoende zijn beoordeeld op kwaliteitsborging, scoren de opleidingen met voldoende kwaliteitsborging vaker voldoende op de aspecten samenhang, maatwerk, leertijd, intake en plaatsing, studieloopbaanbegeleiding en Zorg. Pagina 19 van 57
Tabel 2.7b Percentage opleidingen waar de examinering en diplomering voldoende is, naar (on)voldoende kwaliteitsborging in de periode 2012-2014 (n=285) Onvoldoende kwaliteitsborging Voldoende kwaliteitsborging 2 Examinering en diplomering 40 71 2.1 Exameninstrumentarium* 73 91 2.1.1 Onderscheid tussen ontwikkelgerichte toetsen en examinering 93 98 2.1.2 Dekking van het kwalificatiedossier 84 93 2.1.3 Cesuur 89 93 2.1.4 Beoordelingswijze 81 96 2.1.5 Transparantie 84 96 2.2 Afname en beoordeling* 72 91 2.2.1 Authentieke afname 97 98 2.2.2 Betrouwbaarheid 73 91 2.3 Diplomering* 48 82 2.3.1 Besluitvorming diplomering 79 95 2.3.2 Verantwoordelijkheid examencommissie 49 84 * kernaspecten Toelichting: opleidingen met voldoende kwaliteitsborging scoren ook vaker voldoende op het kwaliteitsgebied examinering en diplomering als geheel en op alle onderliggende aspecten. Met name de verantwoordelijkheid van de examencommissie is vaker met een voldoende beoordeeld. 2.8 Kwaliteitsgebied 5: naleving wettelijke vereisten Tabel 2.8a Percentage opleidingen waar de naleving wettelijke vereisten voldoende is, in 2012, 2013 en 2014 (n 2012=95, n 2013=95, n 2014=98, n Totaal=288) Jaar 2012 2013 2014 Totaal 5 Naleving wettelijke vereisten 75 77 85 79 5.1 Naleving wettelijke vereisten 75 77 85 79 5.1.1 Naleving wettelijke vereisten 75 77 85 79 Toelichting: er lijkt een opwaartse trend te zijn in het percentage opleidingen dat voldoet aan de wettelijke vereisten, maar de verschillen tussen de jaren zijn niet significant. Over drie jaren bezien voldoen ongeveer 4 op de 5 opleidingen aan de wettelijke vereisten. 2.9 Scores op de taalexamens Let op: de categorie n.v.t. is niet opgenomen in de tabellen. Alleen de beoordelingen voldoende en onvoldoende (bij nlref deels ) zijn weergegeven in de tabellen. Er is gebruik gemaakt van ongewogen scores, omdat er relatief vaak n.v.t. is gescoord. De opleidingen die wel op dit punt beoordeeld konden worden, zijn slechts een deel van de steekproef. De overgebleven groep kan niet als representatief voor de populatie worden beschouwd. Tabel 2.9a Beoordeling van het taalexamen van een moderne vreemde taal in aantallen en percentages (n 2012=54, n 2013=52, n 2014=55 n Totaal=161) 2012 2013 2014 Totaal n % n % n % n % Voldoende 40 74 36 69 50 91 126 78 Onvoldoende 14 26 16 31 5 9 35 22 Totaal 54 100 52 100 55 100 161 100 Pagina 20 van 57
Tabel 2.9b Beoordeling van het taalexamen van Nederlands op refniveau in aantallen en percentages (n 2012=48, n 2013=72 n 2014=89, n Totaal=209) 2012 2013 2014 Totaal n % n % n % n % Voldoende 30 63 50 69 83 93 163 78 onvoldoende 8 17 16 22 3 3 27 13 Deels 10 21 6 8 3 3 19 9 Totaal 48 100 72 100 89 100% 209 100 Tabel 2.9c Beoordeling van het taalexamen van Nederlands op CEF-niveau in aantallen en percentages (n 2012=40, n 2013=23, n 2014=26, n Totaal=89) 2012 2013 2014 Totaal n % n % n % n % Voldoende 33 83 17 74 23 88 73 82 Onvoldoende 7 18 6 26 3 12 16 18 Totaal 40 100 23 100 26 100 89 100 2.10 Vervolgtoezicht en tekortkomingen Tabel 2.10a Vervolgtoezicht en tekortkomingen bekostigde mbo-opleidingen in 2012, 2013 en 2014 (in percentages, n 2012=95, n 2013=95, n 2014=98, n Totaal=288) 2012 2013 2014 Zwak onderwijs 14 16 5 1,2 Zeer zwak onderwijs 5 5 3 Onvoldoende opbrengsten 22 14 11 Onvoldoende examenkwaliteit 49 51 47 Onvoldoende kwaliteitsborging 73 72 47 1,2 Niet-naleving: andere wettelijke vereisten 25 23 14 Toelichting: indien er uit het steekproefonderzoek naar voren is gekomen dat er tekortkomingen zijn in de kwaliteit van opleidingen, vindt er vervolgtoezicht plaats. Het percentage opleidingen met vervolgtoezicht vanwege onvoldoende kwaliteitsborging is in 2014 gedaald ten opzichte van de twee voorgaande jaren. Maar nog steeds voldoen bijna de helft van de opleidingen niet aan de eisen die worden gesteld aan kwaliteitsborging. Ook bij bijna de helft van de opleidingen vindt vervolgtoezicht plaats naar aanleiding van tekortkomingen in de examenkwaliteit. Het aantal opleidingen dat heronderzocht moet worden i.v.m. onvoldoende opbrengsten lijkt af te nemen, maar de daling is nog niet significant. Wel is er een afname zichtbaar van opleidingen waarbij het onderwijsproces zwak is. In 2014 is bij 3 procent van de opleidingen vastgesteld dat niet alleen de opbrengsten onvoldoende zijn, maar dat ook het onderwijsproces zwak is: dit zijn de zeer zwakke opleidingen. Tabel 2.10b Patronen in vervolgtoezicht en tekortkomingen mbo-opleidingen (exclusief wettelijke vereisten) (n Totaal=288) Percentage Zeer zwak onderwijs 0 Zeer zwak onderwijs + onvoldoende kwaliteitsborging 1 Zwak onderwijs 1 Onvoldoende opbrengsten 2 Onvoldoende opbrengsten + onvoldoende examenkwaliteit 2 Zeer zwak onderwijs + onvoldoende examenkwaliteit + onvoldoende kwaliteitsborging 3 Zwak onderwijs + onvoldoende kwaliteitsborging 4 Pagina 21 van 57
Onvoldoende opbrengsten + onvoldoende examenkwaliteit + onvoldoende kwaliteitsborging 5 Onvoldoende opbrengsten + onvoldoende kwaliteitsborging 6 Zwak onderwijs + onvoldoende examenkwaliteit + onvoldoende kwaliteitsborging 6 Onvoldoende examenkwaliteit 8 Onvoldoende kwaliteitsborging 15 Geen arrangementen 22 Onvoldoende examenkwaliteit + onvoldoende kwaliteitsborging 24 Totaal 100 Toelichting: uit een onderzoek kan naar voren komen dat een opleiding tekortkomingen vertoond op meerdere kwaliteitsgebieden. In de bovenstaande tabel is aangegeven welke combinaties van tekortkomingen zijn voorkomen in de 288 opleidingen die zijn onderzocht in 2012, 2013 en 2014. Bij bijna een kwart van de opleidingen is vastgesteld dat zowel de examenkwaliteit als de kwaliteitsborging onvoldoende is. Bij meer dan een vijfde van de opleidingen zijn geen tekortkomingen geconstateerd. Bij zeer zwakke opleidingen blijkt ook altijd een ander kwaliteitsgebied onvoldoende te zijn. Pagina 22 van 57
3 Scores Staat van de Instelling niet-bekostigd middelbaar beroepsonderwijs 2012 en 2013 In dit hoofdstuk wordt een overzicht gegeven van de scores op instellings- en opleidingsniveau op basis van de Staat van de Instelling (SVI) 2014 van bekostigde instellingen. In de onderstaande tabellen staan de scores op instellings- en opleidingsniveau op basis van de Staat van de Instelling (SVI) in 2012, 2013 en 2014 tezamen. Er wordt geen onderscheid naar jaren gemaakt, omdat in de drie jaren geen sprake is van een representatieve steekproef. In 2012 zijn er 26 niet-bekostigde instellingen en 41 opleidingen onderzocht. In 2013 zijn er 50 opleidingen van 31 niet-bekostigde instellingen onderzocht en in 2014 zijn er 21 instellingen en 34 opleidingen onderzocht. In totaal kan er een beeld gegeven worden van 78 instellingen en 125 opleidingen. Binnen de groep niet-bekostigde instellingen is een tweedeling zichtbaar. Enerzijds bestaan er instellingen die hoofzakelijk onderwijs verzorgen voor jongeren onder de 23 jaar (dagonderwijs). Dit zijn veelal bol-opleidingen. De andere groep instellingen verzorgt voornamelijk bbl-opleidingen voor deelnemers van 23 jaar en ouder of afstandsonderwijs aan bol-studenten die ouder zijn dan 23 jaar. Opleidingen van nbi s worden niet altijd beoordeeld met het gehele kader. Het komt voor dat de opbrengsten en de examinering niet zijn beoordeeld, omdat de opleiding nog te kort bestaat om hierover een oordeel te geven. Voor opleidingen die onderwijs aanbieden in de derde leerweg (ovo) geldt dat zowel de opbrengsten als het onderwijsproces niet worden beoordeeld. De nadruk ligt daar op de kwaliteitsborging en de examinering. De aantallen die bij de tabellen zijn genoemd kunnen daardoor variëren. 3.1 Kwaliteitsborging op instellingsniveau Hieronder worden de scores op de kwaliteitsborging op instellingsniveau weergegeven in aantallen. Tabel 3.1a Beoordeling kwaliteitsborging bij niet-bekostigde instelling naar type onderwijs in de periode 2012-2014 (in aantallen, n=78) Deelnemers jonger dan 23 jaar Deelnemers van 23 jaar en ouder Totaal instellingen Goed 5 3 8 Voldoende 14 17 31 Onvoldoende 10 12 22 Slecht 4 13 17 Totaal 33 45 78 Toelichting: er zijn 33 instellingen die dagonderwijs aanbieden en 45 instellingen die geen dagonderwijs aanbieden. Bij de helft van de instellingen die tussen 2012 en 2014 zijn onderzocht, is de kwaliteitsborging op instellingsniveau niet op orde. Bij instellingen die zich richten op deelnemers onder de 23 jaar voldoet de kwaliteitsborging bij circa 60 procent van de onderzochte instellingen. De 23- plusinstellingen blijven daar met 44 procent voldoende borging bij achter. Pagina 23 van 57
Scores op de aspecten en indicatoren van kwaliteitsborging op instellingsniveau Voor de onderstaande tabel zijn de oordelen gehercodeerd naar voldoende (goed + voldoende) en onvoldoende (onvoldoende + slecht). Tabel 3.1b Aantal niet-bekostigde instellingen dat als voldoende is beoordeeld op aspecten en indicatoren van kwaliteitsborging naar type onderwijs in de periode 2012-2014 (n=78) Deelnemers jonger dan 23 jaar Deelnemers van 23 jaar en ouder Totaal instellingen N=33 N=45 N=78 4. Kwaliteitsgebied: kwaliteitsborging 19 20 39 4.1 Sturing * 26 28 54 4.1.1 Plannen 27 28 55 4.1.2 Informatie 28 34 62 4.1.3 Continuïteit 29 41 70 4.2 Beoordeling * 20 22 42 4.2.1 Monitoring 26 27 53 4.2.2 Evaluatie 21 24 45 4.3 Verbetering en verankering * 25 23 48 4.3.1 Verbeteraanpak 27 27 54 4.3.2 Deskundigheidsbevordering 27 37 64 4.3.3 Verankering 25 23 48 4.4 Dialoog en verantwoording 27 35 62 4.4.1 Intern 30 36 66 4.4.2 Extern 27 37 64 *Kernaspecten Toelichting: instellingen die dagonderwijs aanbieden voldoen vaker aan de eisen die gesteld worden aan de verbetering en verankering van de kwaliteitsborging dan instellingen die geen dagonderwijs aanbieden. Pagina 24 van 57
3.2 Scores op de vijf kwaliteitsgebieden op opleidingsniveau Tabel 3.2a Scores op de kwaliteitsgebieden in percentages naar type onderwijs in de periode 2012-2014 (n=125) Deelnemers jonger dan 23 jaar Type onderwijs Deelnemers van 23 jaar en ouder % % 1 Onderwijsproces Goed 26 7 Voldoende 51 49 Onvoldoende 19 31 Slecht 5 14 2 Examinering en diplomering* Goed 18 4 Voldoende 47 46 Onvoldoende 29 28 Slecht 6 21 3 Opbrengsten** Goed 9 0 Voldoende 73 55 Onvoldoende 18 45 Slecht 0 0 4 Kwaliteitsborging Goed 12 7 Voldoende 49 33 Onvoldoende 26 31 Slecht 14 28 5.1 Naleving wettelijke vereisten Voldoet 70 56 Voldoet niet 30 44 *het kwaliteitsgebied examinering en diplomering is beoordeeld bij 105 van de 125 opleidingen ** het kwaliteitsgebied opbrengsten is beoordeeld bij 42 van de 125 opleidingen Toelichting: opleidingen van instellingen die niet gericht zijn op dagonderwijs worden minder goed beoordeeld dan opleidingen van instellingen die daar wel op gericht zijn. In de onderstaande analyses worden de scores ingedeeld in voldoende/onvoldoende. Daar zijn de verschillen getoetst op significantie. Voor de onderstaande tabel zijn de oordelen gehercodeerd naar voldoende (goed + voldoende) en onvoldoende (onvoldoende + slecht). Pagina 25 van 57
Tabel 3.2b Percentage opleidingen dat als voldoende is beoordeeld op de vijf kwaliteitsgebieden naar type onderwijs in de periode 2012-2014 (n=125) Type onderwijs Deelnemers jonger dan 23 jaar Deelnemers van 23 jaar en ouder Totaal opleidingen % % % 1 Onderwijsproces 77 55 63 2 Examinering en diplomering* 65 51 55 3 Opbrengsten** 82 55 69 4 Kwaliteitsborging 60 41 48 5 Naleving wettelijke vereisten 70 56 60 *het kwaliteitsgebied examinering en diplomering is beoordeeld bij 105 van de 125 opleidingen ** het kwaliteitsgebied opbrengsten is beoordeeld bij 42 van de 125 opleidingen Toelichting: Opleidingen van instellingen die dagonderwijs verzorgen hebben vaker hun onderwijsproces en kwaliteitsborging op orde dan opleidingen van instellingen die niet gericht zijn op dagonderwijs. Ook bij de andere kwaliteitsgebieden zien we dat dagonderwijs een voorsprong heeft op niet-dagonderwijs, maar die verschillen zijn niet significant. De verschillen in opbrengsten zijn hier niet significant, hetgeen te maken heeft met de kleine aantallen (n= 42). In de opbrengstanalyses (H7) zien we wel dat studenten die dagonderwijs hebben gevolgd vaker een diploma behalen dan studenten die geen dagonderwijs hebben gevolgd. Pagina 26 van 57
3.3 Kwaliteitsgebied 1: onderwijsproces Tabel 3.3a Percentage opleidingen dat als voldoende is beoordeeld op het onderwijsproces naar type onderwijs in de periode 2012-2014 (n = 117) Type onderwijs Deelnemers jonger dan 23 jaar Deelnemers van 23 jaar en ouder Totaal opleidingen percentage percentage percentage 1 Onderwijsproces 77 55 63 1.1 Samenhang 72 66 68 1.1.1 Inhoud 79 69 73 1.1.2 Programmering 88 77 81 1.2 Maatwerk 86 68 74 1.2.1 Differentiatie 86 68 74 1.3 Didactisch handelen* 93 93 93 1.3.1 Interactie 100 99 99 1.3.2 Ondersteuning en begeleiding van de leeractiviteiten 91 96 94 1.3.3 Feedback op de leeractiviteiten en de leerresultaten 93 89 90 1.4 Leertijd 100 89 93 1.4.1 Benutting 100 92 95 1.4.2 Werkdruk 100 89 93 1.5 Leeromgeving 93 99 97 1.5.1 Schoolklimaat 93 100 97 1.5.2 Materiële voorzieningen 100 99 99 1.6 Intake & plaatsing 95 51 68 1.6.1 Voorlichting 95 85 89 1.6.2 Intake en plaatsing 95 54 69 1.7 Studieloopbaanbegeleiding* 91 62 73 1.7.1 Informatievoorziening 93 84 87 1.7.2 Studieloopbaanbegeleiding 90 63 73 1.8 Zorg 95 84 89 1.8.1 Eerste- en tweedelijnszorg 95 83 88 1.8.2 Derdelijnszorg 95 83 88 1.9 Beroepspraktijkvorming* 81 79 80 1.9.1 Voorbereiding studenten en bedrijven 83 87 86 1.9.2 Plaatsing 93 83 87 1.9.3 Begeleiding door leerbedrijf 88 84 86 1.9.4 Begeleiding door de opleiding 71 71 71 *kernaspecten * ovo-opleidingen worden niet beoordeeld op dit gebied. Toelichting: opleidingen van instellingen die dagonderwijs aanbieden hebben vaker het onderwijsproces op orde dan opleidingen van instellingen die daar niet opgericht zijn. Deze opleidingen voldoen vaker aan de eisen die gesteld worden aan: - maatwerk; - leertijd; - intake en plaatsing; - studieloopbaanbegeleiding. Het schoolklimaat is vaker met een voldoende beoordeeld bij opleidingen die geen dagonderwijs aanbieden. Pagina 27 van 57
3.4 Kwaliteitsgebied 2: examinering en diplomering Tabel 3.4a Percentage opleidingen dat als voldoende is beoordeeld op examinering en diplomering in de periode 2012-2014 (n=105) Type onderwijs Deelnemers jonger dan 23 jaar Deelnemers van 23 jaar en ouder Totaal opleidingen 2 Examinering en diplomering 65 51 55 2.1 Exameninstrumentarium* 82 74 76 2.1.1 Onderscheid tussen ontwikkelgerichte toetsen en examinering 84 90 88 2.1.2 Dekking van het kwalificatiedossier 91 79 83 2.1.3 Cesuur 84 81 82 2.1.4 Beoordelingswijze 84 81 82 2.1.5 Transparantie 94 81 85 2.2 Afname en beoordeling* 94 77 83 2.2.1 Authentieke afname 94 93 93 2.2.2 Betrouwbaarheid 94 77 83 2.3 Diplomering* 62 52 55 2.3.1 Besluitvorming diplomering 78 77 77 2.3.2 Verantwoordelijkheid examencommissie 67 54 58 *kernaspecten Toelichting: opleidingen van instellingen die gericht zijn op dagonderwijs hebben de afname en beoordeling van de examinering vaker op orde dan opleidingen van instellingen die niet gericht zijn op dagonderwijs. Ook de betrouwbaarheid van de afname en beoordeling is beter georganiseerd bij deze opleidingen. Tabel 3.4b Scores op inkoop naar type onderwijs in de periode 2012-2014 (n=105) Type onderwijs Deelnemers jonger dan 23 jaar Deelnemers van 23 jaar en ouder n % n % Volledig 14 41 27 38 Deels 3 9 3 4 N.v.t 17 50 41 58 Totaal 34 100 71 100 Toelichting: Er bestaan geen verschillen naar type onderwijs. Ongeveer de helft van de opleidingen gebruikt eigen examenmateriaal. De andere helft maakt gebruik van volledig of deels ingekocht examenmateriaal. Tabel 3.4c Percentage opleidingen dat als voldoende is beoordeeld op examinering en diplomaring, naar inkoop of eigen materiaal in de periode 2012-2014 (n=105) Inkoop Inkoop Eigen materiaal % n % n 2 Examinering en diplomering 56 43 51 51 2.1 Exameninstrumentarium* 86 44 65 51 2.2 Afname en beoordeling* 86 43 78 51 2.3 Diplomering* 56 43 53 51 *kernaspecten Toelichting: net als bij bekostigde instellingen geldt ook voor de niet-bekostigde instellingen dat het exameninstrumentarium van ingekocht materiaal vaker met een Pagina 28 van 57
voldoende is beoordeeld dan bij eigen ontwikkeld examenmateriaal. Er bestaan geen significante verschillen in de afname en beoordeling en diplomering. 3.5 Kwaliteitsgebied 3: opbrengsten De opbrengsten zijn slechts beoordeeld bij 42 van de 125 opleidingen. Zie hoofdstuk 7 voor een uitgebreide opbrengstanalyse van de nbi s. Zie tabel 3.2b voor de uitkomsten van de SVI van dit kwaliteitsgebied. 3.6 Kwaliteitsgebied 4: kwaliteitsborging op opleidingsniveau Tabel 3.6a Percentage opleidingen dat als voldoende is beoordeeld op aspecten en indicatoren van kwaliteitsborging naar type onderwijs in de periode 2012-2014 (n =124) Type onderwijs Deelnemers jonger dan 23 jaar Deelnemers van 23 jaar en ouder Totaal opleidingen % % % 4 Kwaliteitsborging 60 41 48 4.1 Sturing * 79 64 69 4.1.1 Plannen 80 64 69 4.1.2 Informatie 83 75 78 4.1.3 Continuïteit 88 89 88 4.2 Beoordeling * 63 44 51 4.2.1 Monitoring 76 60 65 4.2.2 Evaluatie 68 50 56 4.3 Verbetering en verankering * 77 51 60 4.3.1 Verbeteraanpak 80 60 67 4.3.2 Deskundigheidsbevordering 80 85 83 4.3.3 Verankering 78 50 59 4.4 Dialoog en verantwoording 84 81 82 4.4.1 Intern 90 83 85 4.4.2 Extern 83 84 83 *kernaspecten Toelichting: opleidingen van instellingen die gericht zijn op dagonderwijs hebben vaker hun kwaliteitsborging op orde dan opleidingen van instellingen die daar niet op gericht zijn. Het verschil heeft betrekking op verbetering en verankering. 3.7 Kwaliteitsgebied 5: naleving van wettelijke vereisten Zie tabel 3.2b. 3.8 Scores op de taalexamens Tabel 3.8a Beoordeling van het taalexamen van een moderne vreemde taal in aantallen en percentages periode 2012-2014 (n=42) n percentage Voldoende 31 74 Onvoldoende 11 26 Totaal 42 100 Pagina 29 van 57
Tabel 3.8b Beoordeling van het taalexamen van Nederlands op refniveau in aantallen en percentages periode 2012-2014 (n =73) n percentage Voldoende 43 59 Onvoldoende 17 23 Deels 13 18 Totaal 73 100 3.9 Vervolgtoezicht en tekortkomingen Tabel 3.9a Vervolgtoezicht en tekortkomingen niet-bekostigde mbo-opleidingen in aantallen en percentages (n=125) Type onderwijs Deelnemers jonger dan 23 jaar Deelnemers van 23 jaar en ouder percentage percentage Zwak onderwijs 5 4 Zeer zwak onderwijs 14 30 Onvoldoende opbrengsten 5 15 Onvoldoende examenkwaliteit 35 49 Onvoldoende kwaliteitsborging 40 59 Niet-naleving: andere wettelijke vereisten 30 44 *zeer zwak en onvoldoende opbrengsten (op basis van 42 opleidingen): vanwege kleine aantallen is het verschil niet significant. ** onvoldoende examenkwaliteit (op basis van 105 opleidingen) Toelichting: opleidingen van instellingen die niet gericht zijn op dagonderwijs krijgen vaker vervolgtoezicht vanwege onvoldoende kwaliteitsborging dan opleidingen van instellingen die daar wel op gericht zijn. Ook bij de andere tekortkomingen zijn er verschillen zichtbaar naar type onderwijs, maar vanwege de variëteit in aantallen zijn de verschillen niet significant. Pagina 30 van 57
4 Verslagen van werkzaamheden niet-bekostigde instellingen De verslagen van werkzaamheden (vvw) van de niet-bekostigde instellingen (nbi s) waarbij er in 2013 en in 2014 een onderzoek in het kader van de Staat van de Instelling (SVI) heeft plaatsgevonden, zijn beoordeeld met behulp van een vragenlijst door inspecteurs/analisten. Hieronder volgen de resultaten. Tabel 4a Informatie over de omvang van de instellingen (n=55) 1. Bevat het verslag informatie over de omvang van de instelling? n percentage Nee 49 89 Ja 6 11 Toelichting: slechts weinig instellingen rapporteren in het verslag van werkzaamheden over de omvang van de instelling. Tabel 4b Informatie over aantal onderwerpen (n = 55) 2. Bevat het verslag informatie over de volgende onderwerpen? n percentage Aantal vsv ers Ja 16 29 Nee 39 71 Rendementen van Ja 37 67 opleidingen Nee 18 33 De afhandeling van klachten Ja 49 89 Nee 6 11 Toelichting: in het merendeel van de verslagen is wel informatie opgenomen over de rendementen van opleidingen en de afhandeling van klachten, echter weinig instellingen besteden aandacht aan het aantal vsv ers. Een van de redenen hiervoor is dat er nbi s zijn die alleen onderwijs verzorgen aan volwassenen die niet binnen de definitie van vsv er vallen. Tabel 4c Beoordeling van onderwijskwaliteit (n = 55) 3. Bevat het verslag een beoordeling van de onderwijskwaliteit? n percentage Ja 26 47 Nee 29 53 Toelichting: in iets minder dan de helft van de verslagen wordt een beoordeling gegeven van de onderwijskwaliteit. Tabel 4d Beoordeling met onafhankelijke deskundigen (n=26) 4. Vindt de beoordeling plaats met inzet van onafhankelijke deskundigen? n percentage Ja 5 19 Nee 17 65 Onbekend 4 15 Pagina 31 van 57
Toelichting: bij 26 instellingen is in het verslag wel informatie te vinden over een beoordeling van de onderwijskwaliteit. Bij slechts vijf van deze instellingen wordt gerapporteerd over de inzet van onafhankelijke deskundigen hierbij. Veel instellingen beoordelen zelf hun onderwijskwaliteit. Tabel 4e Voorgenomen beleid/verbetermaatregelen (n=26) 5. Bevat het verslag verbetermaatregelen/voorgenomen beleid op basis van de uitkomsten van de beoordeling? N Percentage Ja 20 77 Nee 2 8 N.v.t 4 15 Toelichting: 20 van de 26 instellingen hebben in hun verslag informatie opgenomen over voorgenomen beleid of verbetermaatregelen naar aanleiding van de beoordeling van hun onderwijskwaliteit. Tabel 4f Beoordeling van examenkwaliteit (n=55) 6. Bevat het verslag een beoordeling van de examenkwaliteit? N Percentage Ja 19 35 Nee 36 65 Toelichting: bij een derde van de instellingen wordt in het verslag van werkzaamheden aandacht besteed aan de beoordeling van de examenkwaliteit. Tabel 4h Beoordeling met onafhankelijke deskundigen (n=19) 7. Vindt de beoordeling plaats met inzet van onafhankelijke deskundigen? N Percentage Ja 5 26 Nee 10 53 Onbekend 4 21 Toelichting: een kwart van de instellingen (n=5) die in hun jaarverslag aandacht besteden aan een beoordeling van de examenkwaliteit, geeft aan hiervoor gebruik te maken van onafhankelijke deskundigen. De meeste instellingen beoordelen dus zelf hun examenkwaliteit. Tabel 4i Voorgenomen beleid/verbetermaatregelen (n=19) 8. Bevat het verslag verbetermaatregelen/voorgenomen beleid op basis van de uitkomsten van de beoordeling? N Percentage Ja 14 74 Nee 2 11 N.v.t 3 16 Toelichting: van de 19 instellingen die in hun jaarverslag aandacht besteden aan een beoordeling van de examenkwaliteit, geven 14 aan dat ze op basis daarvan verbetermaatregelen hebben geformuleerd en/of beleid hebben gemaakt. Pagina 32 van 57