ONDERZOEK NAAR KWALITEITSVERBETERING MBO OP INSTELLINGS- EN OPLEIDINGSNIVEAU

Transcriptie

1 ONDERZOEK NAAR KWALITEITSVERBETERING MBO OP INSTELLINGS- EN OPLEIDINGSNIVEAU ROC A12 Onderwijsassistent, Veiligheid en vakmanschap (Aankomend medewerker grondoptreden), Ondernemer detailhandel, Plaats : Ede BRIN nummer : 25PM Onderzoeksnummer : Datum onderzoek : 17 mei 9 juni 2016 Datum vaststelling : 14 oktober 2016 Rapport Onderzoek naar kwaliteitsverbetering ROC A12

2

3 INHOUD 1 Inleiding Conclusie en vervolg Conclusie Vervolg Resultaten opleiding Onderwijsassistent Veiligheid en vakmanschap (Aankomend medewerker grondoptreden) Ondernemer detailhandel... 9 Bijlage Bijlage I Normering kwaliteitsgebieden... 12

4

5 1 Inleiding In dit rapport staan de uitkomsten van de drie onderzoeken naar kwaliteitsverbetering, die de Inspectie van het Onderwijs tussen 17 mei en 20 mei 2016 heeft uitgevoerd bij ROC A12. De inspectie baseert zich op het Toezichtkader bve 2012 en het Addendum 2015 (zie Aanleiding onderzoeken naar kwaliteitsverbetering De aanleiding voor de onderzoeken naar kwaliteitsverbetering is het vervolgtoezicht, zoals is opgenomen in het rapport van de onderzoeken naar kwaliteitsverbetering (vastgesteld op 30 januari 2015). We hebben een onderzoek naar kwaliteitsverbetering uitgevoerd bij de volgende opleidingen. Gebied opbrengsten Gebied Kwaliteitsborging Leerweg, niveau, locatie Niet onderzocht 93500, Onderwijsassistent leerweg bol, niveau 4, locatie Gruttostraat 10 te Velp Niet onderzocht 95081, Veiligheid en vakmanschap (Aankomend medewerker grondoptreden) , Ondernemer detailhandel Leerweg bol, niveau 2, locatie Reehorsterweg 80 te Ede Leerweg bol, niveau 4, locatie Gruttostraat 10 te Velp Onderwijsassistent, We hebben de kwaliteitsborging onderzocht. Tijdens het onderzoek naar kwaliteitsverbetering in november 2014, dat is uitgevoerd naar aanleiding van de Staat van de instelling, is namelijk geconstateerd dat er wederom sprake was van niet-naleving van de wet op het gebied van kwaliteitsborging (WEB, art ). Veiligheid en vakmanschap (Aankomend medewerker grondoptreden), We hebben de kwaliteitsborging onderzocht. Tijdens het onderzoek naar kwaliteitsverbetering in november 2014, dat is uitgevoerd naar aanleiding van de Staat van de instelling, is namelijk geconstateerd dat er wederom sprake was van niet-naleving van de wet op het gebied van kwaliteitsborging (WEB, art ). Ondernemer detailhandel, We hebben de opbrengsten en de kwaliteitsborging onderzocht. Tijdens het onderzoek naar kwaliteitsverbetering in november 2014, dat is uitgevoerd naar aanleiding van de Staat van de instelling, is namelijk geconstateerd dat er wederom sprake was van onvoldoende opbrengsten en niet-naleving van de wet op het gebied van kwaliteitsborging (WEB, art ). Om ons een beeld te vormen van de kwaliteitsverbeteringen hebben we informatie over de instelling en opleidingen geanalyseerd. Op locatie zijn documenten onderzocht en gesprekken gevoerd. Er is onder andere gesproken met studenten, docenten en het management. In dit rapport starten we met de conclusie van de onderzoeken naar kwaliteitsverbetering en geven we aan wat het vervolg is (hoofdstuk 2). Daarna lichten we de onderzoeken naar kwaliteitsverbetering op opleidingsniveau toe (hoofdstuk 3). Onderzoek naar kwaliteitsverbetering mbo ROC A12 pagina 5 van 12

6 2 Conclusie en vervolg In dit hoofdstuk staat de conclusie van de onderzoeken naar kwaliteitsverbetering en beschrijven we het vervolg. De toelichting op de beoordeling staat in hoofdstuk Conclusie Onderzoeken naar kwaliteitsverbetering opleidingsniveau Onderwijsassistent, We concluderen dat bij de opleiding Onderwijsassistent het kwaliteitsgebied kwaliteitsborging voldoende is. Veiligheid en vakmanschap (Aankomend medewerker grondoptreden), We concluderen dat bij de opleiding Veiligheid en vakmanschap (Aankomend medewerker grondoptreden) het kwaliteitsgebied kwaliteitsborging voldoende is. Ondernemer detailhandel, We concluderen dat bij Ondernemer detailhandel het kwaliteitsgebied kwaliteitsborging wederom onvoldoende is. De opbrengsten zijn onvoldoende. Bij deze opleiding is sprake van onvoldoende opbrengsten en niet-naleving van de wet op het gebied van kwaliteitsborging (WEB, art ). 2.2 Vervolg Vervolgtoezicht naar aanleiding van de onderzochte opleidingen We voeren bij twee opleidingen geen vervolgtoezicht uit, omdat we alle kwaliteitsgebieden als voldoende hebben beoordeeld. Bij een opleiding voeren we wel vervolgtoezicht uit, omdat we niet alle kwaliteitsgebieden als voldoende hebben beoordeeld. Het vervolgtoezicht richt zich op de geconstateerde tekortkomingen binnen de onvoldoende kwaliteitsgebieden. In onderstaand schema is het vervolgtoezicht te lezen. Ondernemer detailhandel, Beoordeling Toezichtvorm Vervolgtoezicht Niveau opbrengsten is onvoldoende*. Kwaliteitsborging voldoet niet aan de eisen en is onvoldoende. Aangepast toezicht vanwege onvoldoende opbrengsten. Aangepast toezicht vanwege niet-naleving van van de WEB. Na circa een jaar onderzoek naar kwaliteitsverbetering. Circa een jaar na het definitieve rapport beoordelen wij de kwaliteitsborging opnieuw. * Het oordeel van de opbrengsten heeft betrekking op alle opleidingen binnen de bc-id. In het vervolgtoezicht voor opbrengsten worden alle bijbehorende opleidingen betrokken. Onderzoek naar kwaliteitsverbetering mbo ROC A12 pagina 6 van 12

7 3. Resultaten opleiding In dit hoofdstuk lichten wij het resultaat van de onderzoeken naar kwaliteitsverbetering bij de opleidingen toe. We geven per gebied aan wat het oordeel is (goed, onvoldoende, voldoende, slecht) en verantwoorden ons over het oordeel op het niveau van de onderliggende aspecten. 4.1 Onderwijsassistent Het onderzoek naar kwaliteitsverbetering bij Onderwijsassistent, 93500, niveau 4, leerweg bol, locatie Gruttostraat Velp richtte zich op de kwaliteitsborging. Het onderzoek naar kwaliteitsverbetering leidt tot de volgende beoordeling: Kwaliteitsgebied Goed Voldoende Onvoldoende 4. Kwaliteitsborging Slecht Kwaliteitsgebied Aspect Gebied 4: Kwaliteitsborging 4.1 Sturing* 4.2 Beoordeling* 4.3 Verbetering en verankering* 4.4 Dialoog en verantwoording Voldoende Onvoldoende De aspecten met een * zijn kernaspecten, zie bijlage I voor normering per gebied. Beschouwing Algemeen Tijdens voorgaand onderzoek is geconstateerd dat de kwaliteitsborging onvoldoende was. We hebben ons binnen dit gebied alleen gericht op de aspecten, die tijdens voorgaand onderzoek als onvoldoende zijn beoordeeld. De voldoende oordelen hebben we overgenomen. Kwaliteitsborging voldeed niet, omdat niet voldaan was aan het aspect Verbetering en verankering. Het verandertraject was nog niet afgerond. Het team had diverse verbetermaatregelen getroffen, maar nog geen verantwoording afgelegd over de kwaliteit conform de A12 kwaliteitssystematiek. Het risico bestond dat verbeteringen eenmalig werden ingezet en geen blijvende kwaliteitsverbetering tot gevolg hadden. Hierna lichten we alleen de aspecten toe, die tijdens dit onderzoek opnieuw zijn onderzocht en beoordeeld. Kwaliteitsborging De kwaliteitsborging beoordelen we als voldoende. Aan alle aspecten is voldaan. We lichten alleen het aspect toe, dat opnieuw is onderzocht. De verbetering en verankering beoordelen we als voldoende. We hebben vastgesteld dat het team gerichte verbetermaatregelen heeft getroffen en zich in Onderzoek naar kwaliteitsverbetering mbo ROC A12 pagina 7 van 12

8 voldoende mate heeft verantwoord over de kwaliteit volgens het vastgestelde kwaliteitszorgsysteem. Het team had al voldoende zicht op de voortgang van de doelstellingen die worden gemonitord via de teamthermometer. Hieruit blijkt onder andere dat de tevredenheid is verbeterd en ook de jaarresultaten licht zijn gestegen. Dit schooljaar hebben de teamleiding en de locatiedirecteur samen met het onderwijsteam het teamplan geëvalueerd. Hierdoor is er zicht op welke acties zijn afgerond en welke nog niet. Ook is gebleken dat de gesprekken die zijn opgenomen in de kwaliteitskalender zijn gevoerd. Van de vastgestelde cyclus gaat een sturende werking uit, omdat het team zich op gezette tijden moet verantwoorden aan de locatiedirecteur en het college van bestuur over de voortgang en realisatie van gestelde doelen. Wat beter kan is de wijze waarop de voortgang en realisatie van acties en doelstellingen worden geregistreerd. De kwaliteitsslag heeft ertoe bijgedragen dat het team zich bewust is van de eigen verantwoordelijkheid voor de kwaliteit. De teamleiding bewaakt en stimuleert dat er volgens het kwaliteitszorgsysteem wordt gewerkt. Het team voelde zich al verantwoordelijk voor de eigen kwaliteit, maar kijkt nu gerichter met elkaar terug om na te gaan of acties zijn afgerond. Dat het reflecteren meer een vanzelfsprekendheid is dan voorheen, blijkt onder andere uit het feit dat de teamleden tijdens de diverse overleggen met elkaar nagaan of de gemaakte afspraken worden nageleefd, de voortgang van lopende zaken bespreekt en nieuwe actiepunten vastlegt. Deze informatie wordt gebruikt om na te gaan of de ingezette actie heeft geleid tot kwaliteitsverbetering en om bij te sturen indien daar aanleiding voor is. 4.2 Veiligheid en vakmanschap (Aankomend medewerker grondoptreden) Het onderzoek naar kwaliteitsverbetering bij de opleiding Veiligheid en vakmanschap (Aankomend medewerker grondoptreden), 95081, niveau 2, locatie Reehorsterweg 80, Ede richtte zich op de kwaliteitsborging. Het onderzoek naar kwaliteitsverbetering leidt tot de volgende beoordeling: Kwaliteitsgebied Goed Voldoende Onvoldoende 4. Kwaliteitsborging Slecht Kwaliteitsgebied Aspect Gebied 4: Kwaliteitsborging 4.1 Sturing* 4.2 Beoordeling* 4.3 Verbetering en verankering* 4.4 Dialoog en verantwoording Voldoende Onvoldoende De aspecten met een * zijn kernaspecten, zie bijlage I voor normering per gebied. Beschouwing Algemeen Tijdens voorgaand onderzoek is geconstateerd dat de kwaliteitsborging onvoldoende was. We hebben ons binnen dit gebied alleen gericht op de aspecten, die tijdens voorgaand onderzoek als onvoldoende zijn beoordeeld. De voldoende oordelen hebben we overgenomen. Onderzoek naar kwaliteitsverbetering mbo ROC A12 pagina 8 van 12

9 Kwaliteitsborging voldeed niet, omdat niet voldaan was aan het aspect Verbetering en verankering. Het verandertraject was nog niet afgerond. Het team had diverse verbetermaatregelen getroffen, maar had nog geen verantwoording afgelegd over de kwaliteit conform de A12 kwaliteitssystematiek. Het risico bestond dat verbeteringen eenmalig werden ingezet en geen blijvende kwaliteitsverbetering tot gevolg hadden. Hierna lichten we alleen de aspecten toe, die tijdens dit onderzoek opnieuw zijn onderzocht en beoordeeld. Kwaliteitsborging De kwaliteitsborging beoordelen we als voldoende. Aan alle aspecten is voldaan. We lichten alleen het aspect toe, dat opnieuw is onderzocht. De verbetering en verankering beoordelen we als voldoende. We hebben tijdens dit onderzoek naar kwaliteitsverbetering vastgesteld dat het team zich in voldoende mate heeft verantwoord over de kwaliteit volgens het vastgestelde kwaliteitszorgsysteem. Het team had al voldoende zicht op de voortgang van de doelstellingen via de teamthermometer. Hieruit blijkt onder andere dat de rendementen de afgelopen jaren sterk zijn gestegen en de tevredenheid ruim voldoende is. Dit schooljaar hebben de teamleiding en de locatiedirecteur samen met het onderwijsteam het teamplan geëvalueerd. Hierdoor is er zicht op welke acties zijn afgerond en welke nog niet. Ook is gebleken dat de gesprekken die zijn opgenomen in de kwaliteitskalender zijn gevoerd. Van de vastgestelde cyclus gaat een sturende werking uit, omdat het team zich op gezette tijden moet verantwoorden aan de locatiedirecteur en het college van bestuur over de voortgang en realisatie van gestelde doelen. Wat beter kan is de wijze waarop de voortgang en realisatie van acties en doelstellingen worden geregistreerd. Het team is zich nog meer bewust van de eigen verantwoordelijkheid voor de kwaliteit. Er vinden diverse overleggen plaats die ervoor zorgen dat de teamleden op de hoogte zijn van de ingezette koers, van de ontwikkelingen intern en extern en van de stand van zaken. Dit zorgt voor draagvlak. Wel verdient de wijze waarop de uitkomsten van de reflectie worden geregistreerd de aandacht. Het positieve resultaat van alle inspanningen is dat het zicht van het team op de onderwijskwaliteit verder is aangescherpt, omdat het team planmatig en structureel zicht houdt op de voortgang en de realisatie van de acties. Zo gaat het team systematisch na of de doelstellingen die zijn opgenomen in de eigen plannen zijn behaald. De gesprekken die zijn gepland en zijn vastgelegd in de kwaliteitskalender zorgen ervoor dat het team zich op vaste momenten verantwoordt over de kwaliteit. Dit zorgt ervoor dat er zicht is of doelstellingen zijn behaald en er adequaat bijgestuurd kan worden. 4.3 Ondernemer detailhandel Het onderzoek naar kwaliteitsverbetering bij Ondernemer detailhandel, 90290, niveau 4, leerweg bol, locatie Gruttostraat te Velp richtte zich op de opbrengsten en de kwaliteitsborging. Het onderzoek naar kwaliteitsverbetering leidt tot de volgende beoordeling: Kwaliteitsgebied Goed Voldoende Onvoldoende 3. Opbrengsten 4. Kwaliteitsborging Slecht Onderzoek naar kwaliteitsverbetering mbo ROC A12 pagina 9 van 12

10 Kwaliteitsgebied Voldoende Onvoldoende Aspect Gebied 3: Opbrengsten 3.1 Rendement Gebied 4: Kwaliteitsborging 4.1 Sturing* 4.2 Beoordeling* 4.3 Verbetering en verankering* 4.4 Dialoog en verantwoording De aspecten met een * zijn kernaspecten, zie bijlage I voor normering per gebied. Beschouwing Algemeen Tijdens voorgaand onderzoek is geconstateerd dat de opbrengsten en de kwaliteitsborging onvoldoende waren. We hebben ons binnen deze gebieden alleen gericht op de aspecten, die tijdens voorgaand onderzoek als onvoldoende zijn beoordeeld. De voldoende oordelen hebben we overgenomen. Het gebied Opbrengsten voldeed niet, omdat het jaarresultaat met 57,1 procent en het diplomaresultaat met 61,5 procent onvoldoende waren. Het gebied Kwaliteitsborging voldeed niet, omdat niet voldaan was aan het aspect verbetering en verankering. De systematiek van verantwoording van onderwijskwaliteit was nog niet ontwikkeld en ingebed in de organisatie. Hierdoor kon het team geen specifieke verantwoording over de kwaliteit afleggen en kon de borging van de verbetermaatregelen niet expliciet gemaakt worden. Hierna lichten we alleen de aspecten toe, die tijdens dit onderzoek opnieuw zijn onderzocht en beoordeeld. Opbrengsten De opbrengsten zijn onvoldoende, omdat het jaarresultaat (30 procent) en het diplomaresultaat (37,5 procent) onder de norm liggen. De opbrengsten zijn verder gedaald ten opzichte van de vorige beoordeling. Het team heeft te maken met een groep studenten, die veel verzuimt en op den duur uitvalt. Door de heersende groepsdynamiek wordt het verzuim versterkt. Het team heeft maatregelen genomen door de regels aan te scherpen en de begeleiding te intensiveren. Of dit effect heeft, zal moeten blijken. Voor deze beoordeling, gebaseerd op de BRON-gegevens zijn de resultaten van de bc 151, niveau 4 gebruikt. De opleidingen die betrokken zijn bij het bepalen van de opbrengsten zijn: Bc-id: 151 Niveau:4 Crebocode: Opleiding (uitstroom): Ondernemer Detailhandel Kwaliteitsborging De kwaliteitsborging beoordelen we als onvoldoende, omdat niet voldaan is aan verbetering en verankering. We lichten alleen het aspect toe, dat opnieuw is onderzocht. Onderzoek naar kwaliteitsverbetering mbo ROC A12 pagina 10 van 12

11 De verbetering en verankering beoordelen we als onvoldoende, omdat de systematiek van verantwoording nog onvoldoende effectief en verankerd is. We zien dat er nog geen cyclische werking is die leidt van beoordeling, via analyse van tekorten naar verbeteracties. De verantwoording over de onderwijskwaliteit is onvoldoende. Het team zit nog volop in het proces om hier op goede wijze vorm aan te geven. Het team heeft wel stappen gezet om met behulp van de uitkomsten van de monitoring en de zelfevaluaties een vertaling naar verbeteracties te maken. Maar tot een specifieke verantwoording over de kwaliteit van het onderwijs heeft dit nog niet geleid en kan het team de borging van de verbetermaatregelen onvoldoende expliciet maken. Wel voelt het team zich meer verantwoordelijk voor de eigen kwaliteit en heeft stappen gezet om de eigen doelen te evalueren. Ook is gebleken dat de gesprekken die zijn opgenomen in de kwaliteitskalender zijn gevoerd. Echter het team gaat onvoldoende na of de ingezette acties hebben geleid tot kwaliteitsverbetering. Onderzoek naar kwaliteitsverbetering mbo ROC A12 pagina 11 van 12

12 Bijlage Bijlage I Normering kwaliteitsgebieden De normering per gebied is per januari 2015 aangepast (zie het Toezichtkader bve 2012 en het Addendum 2015). De normering heeft betrekking op de toezichtperiode De normen Op basis van het onderzoek spreekt de inspectie oordelen uit waarvoor zij gebruikmaakt van een normering. Deze bestaat uit twee stappen: 1. Een normering per aspect: per aspect wordt een beschrijving gegeven. Indicatoren en portretten zijn daarvoor indicerend en richtinggevend. 2. Een normering per kwaliteitsgebied. Voor de beoordeling van de opbrengsten is gebruikgemaakt van onderstaande norm. Voor een oordeel voldoende moet ten minste aan één van de twee normen zijn voldaan. Normering opbrengsten Niveau Jaarresultaat (%) Diplomaresultaat (%) 1 60,7 45,1 2 56,5 45,2 3 65,3 67,3 4 64,2 67,3 Voor de normering van het gebied Kwaliteitsborging zijn drie kernaspecten benoemd. De kernaspecten zijn 4.1 Sturing, 4.2 Beoordeling en 4.3 Verbetering en verankering. Normering Kwaliteitsborging Goed Aan alle aspecten is voldaan. De elementen in het portret worden op een uitstekende wijze uitgevoerd. Voldoende Aan alle kernaspecten is voldaan. Er wordt voor het grootste deel aan de omschrijving van de portretten voldaan, waaronder de essentiële onderdelen. Onvoldoende Aan twee of drie aspecten is niet voldaan. Slecht Aan alle vier de aspecten is niet voldaan. Onderzoek naar kwaliteitsverbetering mbo ROC A12 pagina 12 van 12