KWALITEITSONDERZOEK MBO

Transcriptie

1 KWALITEITSONDERZOEK MBO ROC Tilburg Plaats : Tilburg BRIN nummer : 25 LZ Onderzoeksnummer : Datum onderzoek : 7 december 2015 en 26 september 2016 Datum vaststelling : 27 januari /14

2 Inhoudsopgave 1 Inleiding Conclusie en vervolgtoezicht Conclusie Vervolg Resultaten van het onderzoek... 4 Bijlage... 9 Bijlage I Normering kwaliteitsgebieden... 9

3 1 Inleiding In dit rapport staan de uitkomsten van het kwaliteitsonderzoek, dat de Inspectie van het Onderwijs op 7 december 2015 en op 26 september 2016 heeft uitgevoerd bij NCVB Bedrijfsopleidingen (hierna: NCVB), onderdeel van Onderwijsgroep Tilburg. Dit onderzoek heeft betrekking op het middelbaar beroepsonderwijs. De inspectie baseert zich op het Toezichtkader bve 2012 en het Addendum 2015 (zie Aanleiding voor dit kwaliteitsonderzoek In het onderzoek Staat van de instelling bij ROC Tilburg, waarvan het rapport op 1 juli 2015 is vastgesteld, werd een opleiding onderzocht die uitgevoerd werd door NCVB. Daarbij hebben we geconstateerd dat de door NCVB uitgevoerde opleidingen kort voor het onderzoek de kwaliteitsborgingssystematiek van ROC Tilburg volgden. Daarnaast concludeerden we dat de kwaliteit van de opleidingen die worden uitgevoerd door NCVB in hoge mate afhankelijk is van de betrokkenheid van de bedrijven. Beide constateringen waren redenen waarom we aanvullend toezicht nodig achtten om de kwaliteit van een andere representatieve opleiding te bepalen. De opleiding is in overleg met de instelling gekozen, het onderzoek is door de inspectie uitgevoerd. Dit onderzoek in december 2015 richtte zich in eerste instantie op het onderwijsproces op locatie te Nieuwegein. Omdat tijdens dat onderzoek mogelijke risico s voor de examinering en diplomering werden gesignaleerd, is het onderzoek aangehouden. Na overleg met het college van bestuur is het onderzoek uitgesteld tot 26 september 2016 op locatie te Tilburg. Het uitstel is verleend zodat we na de zomervakantie ook de meest recente examens en diplomering konden beoordelen. De keerzijde van het uitstel is dat de bevindingen van ons onderzoek naar het onderwijsproces driekwart jaar oud zijn, immers dit kwaliteitsgebied is niet opnieuw onderzocht. In het onderzoek naar kwaliteitsverbetering dat in het eerste kwartaal van 2017 zal plaatsvinden, wordt opnieuw vastgesteld wat de kwaliteit van het onderwijsproces is. De volgende opleiding is onderzocht: Gebied Gebied Opbrengsten Onderwijsproces Niet 92662, onderzocht Maatschappelijke zorg (Persoonlijk begeleider speciale doelgroepen) Gebied Examinering en diplomering 92662, Maatschappelijke zorg (Persoonlijk begeleider speciale doelgroepen) Leerweg, niveau, locaties leerweg bbl, niveau 4, locatie: opleidingsinstituut DJI, Nieuwegein locatie: NCVB Bedrijfsopleidingen, Tilburg Tijdens het kwaliteitsonderzoek hebben we informatie over de instelling en opleiding geanalyseerd. Op de locatie in Nieuwegein zijn onderwijsactiviteiten geobserveerd, documenten onderzocht en gesprekken gevoerd. Er is gesproken met studenten, docenten, praktijkopleider, examencommissie, kwaliteitszorgmedewerkers en het management. Op de locatie te Tilburg is gesproken met docenten betrokken bij de examinering, met een praktijkopleider, een BPV-begeleider, constructeurs, de examencommissie en met de directie en kwaliteitszorgmedewerker. Rapport kwaliteitsonderzoek mbo ROC Tilburg NCVB Bedrijfsopleidingen pagina 1 van 9

4 In dit rapport starten we met de conclusie van het kwaliteitsonderzoek en geven we aan wat het vervolg is (hoofdstuk 2). Vervolgens is het resultaat van het kwaliteitsonderzoek beschreven (hoofdstuk 3). De normering van de onderzochte kwaliteitsgebieden is als bijlage opgenomen. Rapport kwaliteitsonderzoek mbo ROC Tilburg NCVB Bedrijfsopleidingen pagina 2 van 9

5 2 Conclusie en vervolgtoezicht In dit hoofdstuk staat de conclusie van het kwaliteitsonderzoek en beschrijven we het vervolg. De toelichting op de beoordeling staat in hoofdstuk Conclusie We concluderen dat bij de opleiding Maatschappelijke zorg (Persoonlijk begeleider speciale doelgroepen) het kwaliteitsgebied onderwijsproces onvoldoende is. Het kwaliteitsgebied examinering en diplomering is voldoende. Bij deze opleiding zullen we vervolgtoezicht uitvoeren, vanwege een onvoldoende oordeel voor het onderwijsproces. In onderstaande paragraaf is aangegeven wat het vervolgtoezicht inhoudt. 2.2 Vervolg We voeren bij deze opleiding vervolgtoezicht uit, omdat we niet alle kwaliteitsgebieden als voldoende hebben beoordeeld. Het vervolgtoezicht richt zich op de geconstateerde tekortkomingen binnen het onvoldoende kwaliteitsgebied. In onderstaand schema is het vervolgtoezicht te lezen. Maatschappelijke zorg (Persoonlijk begeleider speciale doelgroepen) Beoordeling Toezichtvorm Vervolgtoezicht Kwaliteit onderwijsproces is onvoldoende Aangepast toezicht vanwege zwak onderwijs. Eerste kwartaal 2017 een onderzoek naar kwaliteitsverbetering. Rapport kwaliteitsonderzoek mbo ROC Tilburg NCVB Bedrijfsopleidingen pagina 3 van 9

6 3 Resultaten van het onderzoek In dit hoofdstuk lichten wij het resultaat van het kwaliteitsonderzoek toe. We geven per gebied aan wat het oordeel is (goed, voldoende, onvoldoende, slecht) en verantwoorden ons hierover. Het oordeel per gebied is gebaseerd op de beoordeling van de onderliggende aspecten. Daarna verantwoorden ons over het oordeel per onderzocht gebied. Het kwaliteitsonderzoek bij de opleiding Maatschappelijke zorg (Persoonlijk begeleider speciale doelgroepen), 92662, niveau 4, bbl, locaties Nieuwegein en Tilburg heeft geleid tot de volgende oordelen. Kwaliteitsgebied Goed Voldoende Onvoldoende 1. Onderwijsproces 2. Examinering en diplomering Slecht Kwaliteitsgebied Voldoende Onvoldoende Aspect Gebied 1: Onderwijsproces Programma 1.1 Samenhang 1.2 Maatwerk Leren in de onderwijsinstelling 1.3 Didactisch handelen* 1.4 Leertijd 1.5 Leeromgeving Begeleiding 1.6 Intake & plaatsing 1.7 Studieloopbaanbegeleiding* 1.8 Zorg Leren in de beroepspraktijk 1.9 Beroepspraktijkvorming* Gebied 2: Examinering en diplomering 2.1 Exameninstrumentarium* 2.2 Afname en beoordeling* 2.3 Diplomering* De aspecten met een * zijn kernaspecten, zie bijlage I voor normering per gebied. Beschouwing Algemeen Tijdens het onderzoek hebben we vastgesteld dat de opleiding voor de studenten een belangrijke meerwaarde heeft. Er is volgens alle betrokkenen sprake van een zichtbare gedragsverandering zowel op het professionele vlak als in de persoonlijke ontwikkeling van de studenten. Vanuit de justitiële instellingen waar zij werkzaam zijn wordt aangegeven dat de opleiding een kwaliteitsimpuls betekent voor het dagelijkse professionele handelen binnen de complexe context van de inrichtingen. Hierbij heeft de deskundigheid van de docenten en praktijkopleiders een belangrijke toegevoegde waarde voor de studenten. Wel constateren we dat er een grote afstand is tussen NCVB en de uitvoering van deze opleiding. Rapport kwaliteitsonderzoek mbo ROC Tilburg NCVB Bedrijfsopleidingen pagina 4 van 9

7 Onderwijsproces Het onderwijsproces beoordelen we als onvoldoende omdat niet is voldaan aan de kernaspecten studieloopbaanbegeleiding en beroepspraktijkvorming. Daarnaast is het aspect intake en plaatsing als onvoldoende beoordeeld. Het programma kent voldoende samenhang en biedt voldoende maatwerk. De samenhang is voldoende omdat het kwalificatiedossier leidend is in de opbouw van het onderwijsprogramma. Het zogenaamde spoorboekje biedt voldoende inzicht in de opbouw en samenhang en is voor de studenten de leidraad tijdens de studie. De instelling bewaakt zorgvuldig dat alle elementen uit het vigerende kwalificatiedossier in de opleiding aan bod komen. Maatwerk is een sterk punt daarbij omdat de diverse werkervaring en vooropleiding van de studenten gebruikt worden om het programma op maat te maken. Het gevolg is dat er verschillende vrijstellingen worden verleend en dat de studieduur efficiënt wordt ingericht. De instelling biedt hiermee een aantrekkelijk en passend studieaanbod voor deze doelgroep. Het didactisch handelen, de leertijd en leeromgeving beoordelen we als voldoende. Het didactisch handelen is voldoende omdat de pedagogisch-didactische aanpak van de docenten goed aansluit bij de doelgroep van volwassen beroepsbeoefenaars met, veelal, een ruime werkervaring. De leeractiviteiten zijn gestructureerd en de wijze van instrueren en begeleiden is afgestemd op deze doelgroep. Voor de studenten is het doel, nut en samenhang van de leeractiviteiten duidelijk. In de lessen is waarneembaar dat docenten deskundig zijn en effectief gebruik maken van een uitgebreid repertoire aan activerende werkvormen. De studenten zijn actief betrokken bij het leerproces. Hierdoor worden studenten uitgenodigd tot zelf nadenken, reflectie en probleemoplossend gedrag. Een sterk punt is dat de projectopdrachten vaak gekoppeld zijn aan de dagelijkse werksituatie waardoor er sprake is van betekenisvol onderwijs. De leertijd is voldoende omdat deze efficiënt besteed wordt en er voldoende aandacht is voor afwisseling van activiteiten tijdens de lesdag. De leeromgeving is voldoende. De interactie tussen de docenten en de student en de studenten onderling is respectvol en effectief. Ook zijn de studenten positief over de sfeer tijdens de lessen en over de bereikbaarheid van de leslocatie. Datzelfde geldt voor de lessen en het contact met de docenten. Er is oprecht aandacht voor elkaar en dat ondersteunt het leerproces. De zorg beoordelen we als voldoende, maar de intake en plaatsing en de studieloopbaanbegeleiding voldoen niet. De intake is onvoldoende omdat selectie van de studenten door de werkgever wordt uitgevoerd. NCVB neemt die informatie bij plaatsing over en voert alleen een administratieve controle uit. NCVB gaat niet zelf na of de opleiding passend is voor de student en neemt daarin niet de verantwoordelijkheid voor de intake als onderwijsinstelling zoals de WEB voorschrijft. Pas bij de start van de opleiding komt NCVB voor studenten in beeld. In augustus 2015 heeft NCVB besloten dat zij meer grip wil krijgen op de intake en plaatsing. Daarbij speelt de verificatie van informatie die door de werkgever verzameld is ten behoeve van de intake een belangrijke rol. Het effect van deze maatregel hebben wij tijdens ons onderzoek nog niet kunnen waarnemen. De studieloopbaanbegeleiding is onvoldoende omdat de verantwoordelijkheid voor het volgen van de voortgang voornamelijk bij de studenten zelf is belegd. De docent heeft weliswaar gesprekken met studenten maar deze zijn meer gericht op de ontwikkeling per vakgebied dan op de gehele schoolloopbaan. Door het Rapport kwaliteitsonderzoek mbo ROC Tilburg NCVB Bedrijfsopleidingen pagina 5 van 9

8 ontbreken van een systematische monitoring en evaluatie is het zicht op de individuele studievoortgang niet goed mogelijk. Hierdoor komt tijdige bijsturing vanuit de instelling niet in alle gevallen tot stand. De zorg is voldoende omdat we wel hebben geconstateerd dat als er extra zorg nodig is, de instelling doorverwijst naar het zorgsysteem van de werkgever. De beroepspraktijkvorming is onvoldoende omdat de opleiding in onvoldoende mate de uitvoering van de gemaakte afspraken tussen studenten en leerbedrijven volgt en bewaakt. Daarnaast draagt de opleiding geen/weinig zorg voor reflectie op de leerervaringen. Het contact met en bezoek aan de leerbedrijven door de bpvcoördinator/begeleider van de opleiding vindt sporadisch plaats. Hierdoor missen studenten en praktijkopleiders de kritische reflectie op de voortgang van het leren in de beroepspraktijkvorming (bpv). Ook heeft de opleiding weinig zicht op de kwaliteit van de begeleiding door de praktijkopleiders. Examinering en diplomering De examinering en diplomering te Tilburg beoordelen we als voldoende. Aan alle aspecten is voldaan. Het oordeel over de instellingsexamens Nederlandse taal (generieke eisen) telt voor deze opleiding mee in het eindoordeel van de inspectie over de examenkwaliteit van de opleiding. Het oordeel telt mee vanaf het jaar van centrale examinering. Het exameninstrumentarium voldoet, omdat het aansluit op de uitstroomeisen en voldoet aan de toetstechnische eisen. De beroepsgerichte examinering bestaat uit zes praktijkobservaties die op de bpvplaats worden afgenomen; de examenstof sluit daarbij nauw aan op de te verrichten dagelijkse werkzaamheden. De dekking is voldoende. Alle praktijkobservaties moeten met een voldoende zijn afgesloten waardoor ook alle werkprocessen met een voldoende zijn beoordeeld. De cesuur en de beoordelingswijze zijn helder voor zowel studenten als beoordelaars omdat het examenmateriaal duidelijk van opzet is. Toch zal met ingang van het volgende studiejaar gebruik gemaakt gaan worden van ingekocht materiaal omdat de instelling wil aansluiten bij de landelijke trend en omdat het ministerie aangeeft dat inkoop de voorkeur heeft. Het exameninstrumentarium voor Nederlandse taal en Engels sluit aan op de uitstroomeisen en voldoet aan de toetstechnische eisen. Het examenmateriaal is zelf ontwikkeld en is voldoende. De vaardigheden voor lezen en luisteren Nederlands worden centraal geëxamineerd. De overige onderdelen zijn, evenals het examenmateriaal voor Engels, zelf ontwikkeld en zijn voldoende. De examenprocessen van afname en beoordeling zijn voldoende deugdelijk verlopen. Binnen de justitiële instellingen gelden strikte voorschriften en randvoorwaarden die ook hun weerslag hebben op de uitvoering van de examens. De borging door NCVB van de uitvoering van de examenprocessen is daarop afgestemd en ook de beoordeling is door voldoende waarborgen omgeven om de betrouwbaarheid te garanderen. Ten eerste wordt de student, die zelf in zijn dagelijkse praktijk mentor is van een aantal gedetineerden, beoordeeld door de praktijkopleider, waarbij ook de leidinggevende van de praktijkopleider nauw betrokken is. Na elke lesmodule vindt er een praktijkobservatie plaats gedurende circa vier weken. Voorafgaand aan het Rapport kwaliteitsonderzoek mbo ROC Tilburg NCVB Bedrijfsopleidingen pagina 6 van 9

9 opgaan voor de casus, bijvoorbeeld Kan de zelfstandigheid van de patiënt/gedetineerde bevorderen, is de student al in een oefensituatie beoordeeld door de werkgever. Pas na voldoende resultaat wordt door de bpv-begeleider van de opleiding toestemming gegeven voor een praktijkobservatie in de examensituatie. Deze praktijkobservatie gebeurt op basis van een casus die vooraf besproken wordt tussen praktijkopleider en bpv-begeleider. Elke casus kent drie fasen: observeren, opstellen van een behandelplan en het naleven daarvan door de gedetineerde. Het behandelplan is strikt geheim, volgens voorschriften van het Ministerie van Veiligheid en Justitie, en mag de justitiële instelling niet verlaten. De bpv-begeleider neemt kennis van een geanonimiseerde versie van het behandelplan en beoordeelt dat plan eveneens. De geheimhouding geldt ook tijdens de opvolging van het behandelplan, daardoor mag gedurende deze periode geen beoordelaar van de opleiding aanwezig zijn. De praktijkopleider beoordeelt en de voortgang en uitvoering van de praktijkobservatie wordt regelmatig besproken met de leidinggevende van de praktijkopleider. Ten tweede wordt elke praktijkobservatie, overeenkomstig voorschrift, op het examenformulier gedocumenteerd en gedetailleerd toegelicht. Ten derde vindt ter afronding van de praktijkobservatie een gesprek plaats tussen praktijkbeoordelaar, bpv-begeleider en student. Op basis van dit gesprek en de informatie in de examenformulieren besluit de bpv-begeleider of de afname en de beoordeling adequaat zijn uitgevoerd. Daarbij heeft hij vetorecht, waar tot dusver nog geen gebruik van hoefde te worden gemaakt. Bij twijfel wordt de situatie voorgelegd aan de examencommissie. Ten vierde wordt de deskundigheid van de praktijkopleiders geborgd doordat zij, voorafgaand aan hun inzet als beoordelaar, een training volgen bij NCVB. De bpvbegeleider controleert die deskundigheid bij zijn bezoek op de werkplek en actualiseert deze zo nodig. Ten vijfde beleggen de bpv-begeleiders voor deze opleiding, een zestal personen, onderling zes maal per jaar intervisiebijeenkomsten waar de wijze van beoordeling wordt besproken. Ook de examenprocessen van afname en beoordeling van Nederlandse taal en Engels verlopen voldoende deugdelijk. De taaldocenten maken binnen het bredere verband van ROC Tilburg deel uit van een examenpool voor de beide talen. Ook is er onderling veel informatie-uitwisseling en zijn er intervisiebijeenkomsten. Aan de hand van de opnames die van elk examen worden gemaakt scherpen de docenten onderling de beoordelingsdeskundigheid op. De diplomering is voldoende deugdelijk en geborgd. De examencommissie ziet, in samenwerking met de centrale examencommissie, voldoende toe op de kwaliteit van de examinering van de opleiding. Zij heeft tevens zicht op de achterliggende informatie, zoals de totstandkoming van de beoordelingen met de onderbouwingen en de bezoekrapporten van de bpv-begeleiders. Hierbij wordt, zowel voor het begeleidings- als het examineringsonderdeel, nagegaan wat tijdens deze bezoeken aan de orde is geweest. Bij de talen wordt de relatie tussen de behaalde resultaten bij het instellingsexamen en het centrale examen geanalyseerd. Daarnaast zijn er item-analyses voor de theorie-examens. Tevens worden alle dossiers gecontroleerd. De examencoördinator/hoofd van het examenbureau speelt bij de bewaking van de voorgenomen acties een centrale rol. De examencommissie houdt ook zicht op de beoordelingsdeskundigheid van de praktijkopleiders. Wanneer een praktijkopleider, in een enkel geval, niet op de training verschijnt wordt er contact opgenomen met de directie van de justitiële instelling en volgt zo nodig nadere instructie. De examencommissie voert binnen de kwaliteitscyclus jaarlijks een zelfevaluatie uit. Tevens is er vorig jaar een externe audit uitgevoerd in het kader van een instellingsbreed onderzoek naar het functioneren van de examenorganisatie. Naar aanleiding hiervan zijn diverse verbeteringen doorgevoerd, zoals een betere integratie en kennisuitwisseling met de Rapport kwaliteitsonderzoek mbo ROC Tilburg NCVB Bedrijfsopleidingen pagina 7 van 9

10 examenorganisatie via onder meer de examencoördinatoren, intensivering van de bezoeken van de bpv-begeleiders, aanpassingen in het exameninstrumentarium, vereenvoudiging van diverse examineringsprocessen en het beter benutten van enquêteresultaten. Ook is er, zoals reeds vermeld, besloten tot inkoop van examenmateriaal om de kwaliteit van het examenmateriaal beter te kunnen borgen. Tevens zal er dan een examengesprek zijn tussen bpv-begeleider en praktijkopleider om het zicht op de afname en beoordeling te kunnen verstevigen. Rapport kwaliteitsonderzoek mbo ROC Tilburg NCVB Bedrijfsopleidingen pagina 8 van 9

11 Bijlage Bijlage I Normering kwaliteitsgebieden De normering per gebied is per januari 2015 aangepast (zie het Toezichtkader bve 2012 en het Addendum 2015). De normering heeft betrekking op de toezichtperiode De normen Op basis van het onderzoek spreekt de inspectie oordelen uit waarvoor zij gebruikmaakt van een normering. Deze bestaat uit twee stappen: 1. Een normering per aspect: per aspect wordt een beschrijving gegeven. Indicatoren en portretten zijn daarvoor indicerend en richtinggevend. 2. Een normering per kwaliteitsgebied. Voor de normering van het gebied Onderwijsproces zijn drie kernaspecten benoemd. De kernaspecten zijn: aspect 1.3 Didactisch handelen, aspect 1.7 Studieloopbaanbegeleiding en aspect 1.9 Beroepspraktijkvorming. Normering Onderwijsproces Goed Aan acht van de negen aspecten is voldaan. Aan alle kernaspecten is voldaan. De elementen in het portret worden op een uitstekende wijze uitgevoerd. Voldoende Aan zeven van de negen aspecten is voldaan. Aan alle kernaspecten is voldaan. Er wordt voor het grootste deel aan de omschrijving van de portretten van deze indicatoren voldaan, waaronder de essentiële onderdelen. Onvoldoende Aan één of meer kernaspecten is niet voldaan. Aan drie tot acht van de aspecten is niet voldaan. Slecht Aan geen van de aspecten is voldaan. Bij het gebied Examinering en diplomering zijn alle aspecten als kernaspect benoemd. Normering Examinering en diplomering Goed Aan alle drie de aspecten is voldaan. De elementen in het portret worden op een uitstekende wijze uitgevoerd. Voldoende Aan alle drie de aspecten is voldaan. Er wordt voor het grootste deel aan de omschrijving van de portretten voldaan, waaronder de essentiële onderdelen. Onvoldoende Aan één of twee aspecten is niet voldaan. Slecht Aan geen van de drie aspecten is voldaan. Rapport kwaliteitsonderzoek mbo ROC Tilburg NCVB Bedrijfsopleidingen pagina 9 van 9