ONDERZOEK NAAR KWALITEITSVERBETERING MBO OPLEIDINGSNIVEAU. Middenkaderfunctionaris bouw en infra (uitstroom Middenkaderfunctionaris bouw)

Transcriptie

1 ONDERZOEK NAAR KWALITEITSVERBETERING MBO OPLEIDINGSNIVEAU ROC Ter AA te Helmond Financiële beroepen (Financieel administratief medewerker) Juridisch medewerker Middenkaderfunctionaris bouw en infra (uitstroom Middenkaderfunctionaris bouw) Juli 2015

2 BRIN: 25LJ Onderzoeksnummer: Onderzoek uitgevoerd: 30 april 2015 Conceptrapport verzonden op: 25 juni 2015 Rapport vastgesteld te Utrecht op: 15 juli 2015

3 INHOUD 1 Inleiding Conclusie en vervolg Conclusie Vervolg Resultaten opleidingen Juridisch medewerker Financiële beroepen Middenkader functionaris bouw en infra... 9 Bijlage Bijlage I Normering kwaliteitsgebied... 11

4

5 1 Inleiding In dit rapport staan de uitkomsten van de drie onderzoeken naar kwaliteitsverbetering, die de Inspectie van het Onderwijs op 30 april 2015 heeft uitgevoerd bij ROC Ter AA. De inspectie baseert zich op het Toezichtkader bve 2012 en het Addendum 2015 (zie Aanleiding onderzoeken naar kwaliteitsverbetering De aanleiding voor de onderzoeken naar kwaliteitsverbetering is het vervolgtoezicht, zoals is opgenomen in de rapporten van het onderzoek naar kwaliteitsverbetering. We hebben een onderzoek naar kwaliteitsverbetering uitgevoerd bij de volgende opleidingen. Gebied Opbrengsten Gebied Onderwijsproces, Kwaliteitsborging en Wettelijke vereisten Gebied Examinering en diplomering Niet onderzocht Niet onderzocht 94890, Juridisch medewerker Niet onderzocht 93200, Financiële beroepen (Financieel administratief medewerker) Niet onderzocht 94051, Middenkaderfunctionaris bouw en infra (uitstroom Middenkaderfunctionaris bouw) Niet onderzocht Niet onderzocht Leerweg, niveau, locatie leerweg bol niveau 4, locatie Keizerin Marialaan, Helmond leerweg bol niveau 3, locatie Keizerin Marialaan 2, Helmond leerweg bol niveau 4, locatie Keizerin Marialaan 2, Helmond Juridisch medewerker We hebben de examinering en diplomering onderzocht. De aanleiding voor het onderzoek naar kwaliteitsverbetering is het vervolgtoezicht, zoals is opgenomen in het rapport van het kwaliteitsonderzoek (vastgesteld 10 juli 2014). Financiele beroepen (Financieel administratief medewerker) We hebben de kwaliteitsborging onderzocht. De aanleiding voor het onderzoek naar kwaliteitsverbetering is het vervolgtoezicht, zoals is opgenomen in het rapport van het onderzoek naar kwaliteitsverbetering (vastgesteld 11 juli 2014). Er was sprake van niet-naleving van de wet op het gebied van kwaliteitsborging (WEB, art ). Middenkaderfunctionaris bouw en infra (uitstroom Middenkaderfunctionaris bouw) We hebben de kwaliteitsborging onderzocht. De aanleiding voor het onderzoek naar kwaliteitsverbetering is het vervolgtoezicht, zoals is opgenomen in het rapport van het onderzoek naar kwaliteitsverbetering (vastgesteld 11 juli 2014). Er was sprake van niet-naleving van de wet op het gebied van kwaliteitsborging (WEB, art ). Onderzoek naar kwaliteitsverbetering mbo ROC Ter AA pagina 1 van 11

6 Om ons een beeld te vormen van de kwaliteitsverbetering hebben we informatie over de instelling en opleidingen geanalyseerd. Op locatie zijn documenten onderzocht en gesprekken gevoerd. Er is gesproken met het management en de directie. In dit rapport starten we met de conclusie van de onderzoeken naar kwaliteitsverbetering en geven we aan wat het vervolg is (hoofdstuk 2). Vervolgens lichten we de onderzoeken naar kwaliteitsverbetering op opleidingsniveau toe (hoofdstuk 3). Onderzoek naar kwaliteitsverbetering mbo ROC Ter AA pagina 2 van 11

7 2 Conclusie en vervolg In dit hoofdstuk staat de conclusie van de onderzoeken naar kwaliteitsverbetering en beschrijven we het vervolg. 2.1 Conclusie Onderzoeken naar kwaliteitsverbetering opleidingsniveau Juridisch medewerker, We concluderen dat bij de opleiding het kwaliteitsgebied examinering en diplomering voldoende is. Financiële beroepen (Financieel administratief medewerker), We concluderen dat bij de opleiding het kwaliteitsgebied kwaliteitsborging voldoende is. Middenkaderfunctionaris bouw en infra (uitstroom Middenkaderfunctionaris bouw), We concluderen dat bij de opleiding het kwaliteitsgebied kwaliteitsborging voldoende is. De toelichting op de beoordeling per onderzochte opleiding staat in hoofdstuk Vervolg Vervolgtoezicht naar aanleiding van de onderzochte opleidingen We voeren bij deze opleidingen geen vervolgtoezicht uit, omdat we de onderzochte kwaliteitsgebieden als voldoende hebben beoordeeld Onderzoek naar kwaliteitsverbetering mbo ROC Ter AA pagina 3 van 11

8 Onderzoek naar kwaliteitsverbetering mbo ROC Ter AA pagina 4 van 11

9 3. Resultaten opleidingen In dit hoofdstuk lichten wij het resultaat van het onderzoek naar kwaliteitsverbetering bij de opleiding toe. We geven per gebied aan wat het oordeel is (goed, voldoende, onvoldoende, slecht) en verantwoorden ons over het oordeel op het niveau van de onderliggende aspecten. 3.1 Juridisch medewerker Het onderzoek naar kwaliteitsverbetering bij Juridisch medewerker, 94890, niveau 4, bol, locatie Helmond richtte zich op de examinering en diplomering. Het onderzoek naar kwaliteitsverbetering leidt tot de volgende beoordeling: Kwaliteitsgebied Goed Voldoende Onvoldoende 2. Examinering en diplomering Slecht Kwaliteitsgebied Voldoende Aspect Gebied 2: Examinering en diplomering 2.1 Exameninstrumentarium* 2.2 Afname en beoordeling* 2.3 Diplomering* Onvoldoende De aspecten met een * zijn kernaspecten, zie bijlage I voor normering per gebied. Beschouwing Algemeen Tijdens voorgaand onderzoek is geconstateerd dat de examinering en diplomering onvoldoende waren. De toelichting hierna sluit daar bij aan. Examinering en diplomering De examinering en diplomering beoordelen we als voldoende. Aan alle aspecten is voldaan. Examinering en diplomering voldeed niet in het vorige onderzoek. De aspecten exameninstrumentarium, afname en beoordeling en diplomering waren als onvoldoende beoordeeld. Het exameninstrumentarium was onvoldoende vanwege tekortkomingen in de dekking en de transparantie van het ingezette beroepsgerichte exameninstrumentarium. De afname en beoordeling waren eveneens onvoldoende, omdat de de betrouwbaarheid van de beoordeling in de reële beroepspraktijk onvoldoende was. De besluitvorming tot diplomering was onvoldoende omdat de examencommissie zich onvoldoende vergewiste van de deugdelijkheid van de exameninstrumenten en de afname en beoordeling in de praktijk. Een aantal bevindingen was ten tijde van het onderzoek in 2014 reeds onderkend door de opleiding zelf. Verbetertrajecten waren op enkele onderdelen op dat moment al in gang gezet. Het exameninstrumentarium voldoet nu, omdat het aansluit op de uitstroomeisen en voldoet aan de toetstechnische eisen. De wijze waarop de kadertoetsen worden Onderzoek naar kwaliteitsverbetering mbo ROC Ter AA pagina 5 van 11

10 ingezet is aangepast. Per student wordt een examenproject (proeve) gemaakt op basis van de bpv-plaats waar deze proeve wordt afgenomen. Zodoende is vast te stellen of een werkproces op het juiste beheersingsniveau wordt geëxamineerd. Bovendien wordt het stappenplan proeve van bekwaamheid nu correct toegepast. Daarin staat duidelijk aangegeven op welk moment een onderdeel van de proeve wordt afgetoetst en onder welke omstandigheden. De examenprocessen van afname en beoordeling zijn ook voldoende deugdelijk. De kwaliteit van de beoordeling van de proeve van bekwaamheid is nu geborgd. Er is voldoende informatie beschikbaar met betrekking tot het verloop van de beoordeling in de praktijk. De bedrijfsassessor en de praktijkbegeleider maken gebruik van een checklist om het examenproces te stroomlijnen en de schoolassessor woont beoordelingen in de beroepspraktijk steekproefsgewijs bij. Op die manier wordt de beoordeling gemonitord en kan waar nodig gericht worden gestuurd op de betrouwbaarheid ervan. Het docententeam gaat op basis van deze beoordelingen met elkaar in gesprek om de gezamenlijke lijn daarin te bewaken en op die manier een gelijkwaardige beoordeling voor zo ver als mogelijk te garanderen. In de uitslagprotocollen is nu ook een duidelijke verantwoording opgenomen over de beoordeling per werkproces. De diplomering is voldoende deugdelijk en geborgd. Waar ten tijde van het vorige onderzoek de diplomering en daarbij behorende taken waren belegd in de opleidingsteams, is dat nu niet meer het geval. De inrichting en werkwijze van de nieuwe instellingsexamencommissie hebben ervoor gezorgd dat de vorig jaar geconstateerde tekortkomingen nu zijn opgelost. Er is grip op de kwaliteit van examinering en op de deskundigheid van de betrokkenen. De taken en verantwoordelijkheden van de betrokkenen in de examenorganisatie zijn helder vastgelegd in de digitale procesarchitectuur Examinering en de betrokkenen, waaronder de instellingsexamencommissie, zijn geschoold. Ook wordt voorzien continue (her)scholing. De vaststelling van de examenplannen en de examens is een zorgvuldig proces, waarbij alle examens vóór inzet geanalyseerd en vastgesteld zijn door de centrale constructie- en vaststellingsgroep. De individuele examenprojecten worden door de kerndocenten van de opleiding namens de instellingsexamencommissie vastgesteld. In de nieuwe werkwijze is ook opgenomen dat de teams een inhoudelijke check doen op de afname en beoordeling en de instellingsexamencommissie ook zelf planmatig bijwoningen uitvoert. Het examenbureau en de teams checken de examendossiers alvorens het dossier wordt aangeboden aan de instellingsexamencommissie. Hierdoor zijn er voldoende garanties ingebouwd voor deugdelijke diplomering. Onderzoek naar kwaliteitsverbetering mbo ROC Ter AA pagina 6 van 11

11 3.2 Financiële beroepen Het onderzoek naar kwaliteitsverbetering bij Financiële beroepen (Financieel administratief medewerker), 93200, niveau 3, bol, locatie Keizerin Marialaan 2, Helmond richtte zich op de kwaliteitsborging. Het onderzoek naar kwaliteitsverbetering leidt tot de volgende beoordeling: Kwaliteitsgebied Goed Voldoende Onvoldoende 4. Kwaliteitsborging Slecht Gebied 4: Kwaliteitsborging 4.1 Sturing* 4.2 Beoordeling* 4.3 Verbetering en verankering* 4.4 Dialoog en verantwoording De aspecten met een * zijn kernaspecten, zie bijlage I voor normering per gebied. Beschouwing Algemeen Tijdens voorgaand onderzoek is geconstateerd dat de kwaliteitsborging onvoldoende was. We hebben ons binnen dit gebied alleen gericht op de aspecten die tijdens voorgaand onderzoek als onvoldoende zijn beoordeeld. De toelichting hierna sluit daar bij aan. De voldoende oordelen van het vorige onderzoek hebben we overgenomen. Kwaliteitsborging De kwaliteitsborging beoordelen we als voldoende. Aan alle aspecten is voldaan. De beoordeling is inmiddels weer van voldoende kwaliteit. De conclusie van het onderzoek naar kwaliteitsverbetering in 2014 was dat de kwaliteitsborging niet voldeed, omdat de beoordeling onvoldoende was. Het ging daarbij vooral om de tekortschietende kwaliteit van de evaluatie. Een samenhangende analyse van de beschikbare monitorings- en auditgegevens ontbrak, waardoor er geen duidelijk zicht op de gerealiseerde kwaliteit van de opleiding was. Dit had als gevolg dat verbeteracties onvoldoende richting zouden hebben. We hebben geconstateerd dat het Business College heeft ingezet op verbetering van de kwaliteit van de evaluatie. Daartoe zijn verschillende maatregelen genomen. De monitoring wordt meer gestructureerd aangepakt en de informatiebronnen zijn uitgebreid met extra gesprekken met studenten en lesobservaties door de teamleider. Het hele team is betrokken bij de uitvoering van de verbetermaatregelen. Het Business College is gaan werken met een nieuw format voor het teamjaarplan op geaggregeerd niveau. Op basis van het teamjaarplan van het Business College wordt per team een actieplan opgesteld en worden speerpunten benoemd. Per kwartaal wordt de voortgang per team bepaald aan de hand van de gerealiseerde acties. Naast de gebruikelijke informatiebronnen zijn sinds het vorige onderzoek lesobservaties ingevoerd en worden gesprekken met studenten periodiek Onderzoek naar kwaliteitsverbetering mbo ROC Ter AA pagina 7 van 11

12 georganiseerd. Tijdens studiedagen wordt tijd besteed aan evaluatie van diverse thema s. De scholing tijdens studiedagen wordt afgestemd op de verbeterpunten van de opleiding. In de overleggen komen de resultaten van audits aan de orde. De bevindingen en aanbevelingen leiden op die manier tot eventuele verbeteracties ten behoeve van andere opleidingen. De overlegstructuur, de inrichting van het teamjaarplan en de monitoring, de studiedagen en de aansluiting op de verantwoordingscyclus dragen ertoe bij dat er voldoende uitwisseling is tussen het management en de teams en de verschillende teams onderling, waardoor mogelijke verbeterpunten breder opgepakt kunnen worden. Onderzoek naar kwaliteitsverbetering mbo ROC Ter AA pagina 8 van 11

13 3.3 Middenkader functionaris bouw en infra Het onderzoek naar kwaliteitsverbetering bij Middenkader functionaris bouw en infra (94051), niveau 4, bol locatie Keizerin Marialaan 2, Helmond richtte zich op de kwaliteitsborging. Het onderzoek naar kwaliteitsverbetering leidt tot de volgende beoordeling: Kwaliteitsgebied Goed Voldoende Onvoldoende 4. Kwaliteitsborging Slecht Kwaliteitsgebied Voldoende Aspect Gebied 4: Kwaliteitsborging 4.1 Sturing* 4.2 Beoordeling* 4.3 Verbetering en verankering* 4.4 Dialoog en verantwoording Onvoldoende De aspecten met een * zijn kernaspecten, zie bijlage I voor normering per gebied. Beschouwing Wij beoordelen de kwaliteitsborging bij de opleiding Middenkaderfunctionaris bouw en infra als voldoende. Tijdens voorgaand onderzoek is geconstateerd dat de kwaliteitsborging onvoldoende was, omdat de beoordeling niet voldeed. We hebben ons om die reden bij dit onderzoek vooral gericht op het aspect beoordeling. Bij het onderzoek naar kwaliteitsverbetering in 2014 beoordeelden we het aspect beoordeling als onvoldoende. De reflectie op de bereikte resultaten was nog onvoldoende expliciet. Daardoor ontbrak een duidelijk vertrekpunt voor de verbeteractiviteiten, die wel degelijk in gang waren gezet. De beoordeling is thans wel voldoende. Omdat de andere aspecten ook nog steeds voldoende zijn, is daarmee de gehele kwaliteitsborging voldoende. Al snel na het onderzoek naar de Staat van Instelling in 2013 is voor de opleiding een verbetertraject gestart aan de hand van de methodiek van MBO Beter. Dat traject is inmiddels afgerond. Het doorlopen van het traject heeft geleid tot een scherp en kritisch zelfbeeld. Aan de hand van dit zelfbeeld zijn initiatieven in gang gezet om verdere verbeteringen te realiseren. Voor deze verbeteringen bestaat een breed draagvlak. Door het intensieve en frequente overleg over de verbeteracties wordt de voortgang scherp bewaakt en wordt waar nodig bijgestuurd. Het intensieve overleg leidt tot een grote betrokkenheid van alle medewerkers en een bekrachtiging van het bestaande draagvlak. Het teamjaarplan vervult in dit traject een belangrijke rol. Daarin staan de acties vermeld en aan de hand daarvan wordt de voortgang bewaakt. Recent is de vormgeving van dat instrument aangepast. Niet langer worden alle elementen uit het inspectiekader benoemd, maar er wordt een duidelijke selectie gemaakt van die elementen die relevant zijn in verband met gesignaleerde knelpunten. Wij denken dat de doorgevoerde prioritering de sturende waarde van het teamjaarplan zal Onderzoek naar kwaliteitsverbetering mbo ROC Ter AA pagina 9 van 11

14 vergroten. Een volgende stap kan zijn om in het teamjaarplan explicieter de aanleiding voor het initiëren van verbeteractiviteiten te vermelden. Daarmee kan meer nog dan thans de gemeenschappelijke probleemperceptie worden versterkt en de evaluatie een meer opbrengstgericht karakter krijgen. Onderzoek naar kwaliteitsverbetering mbo ROC Ter AA pagina 10 van 11

15 Bijlage Bijlage I Normering kwaliteitsgebied De normering per gebied is per januari 2015 aangepast (zie het Toezichtkader bve 2012 en het Addendum 2015). De normering heeft betrekking op de toezichtperiode De normen Op basis van het onderzoek spreekt de inspectie oordelen uit waarvoor zij gebruikmaakt van een normering. Deze bestaat uit twee stappen: 1. Een normering per aspect: per aspect wordt een beschrijving gegeven. Indicatoren en portretten zijn daarvoor indicerend en richtinggevend. 2. Een normering per kwaliteitsgebied. Voor de beoordeling van de opbrengsten is gebruikgemaakt van onderstaande norm. Voor een oordeel voldoende moet ten minste aan één van de twee normen zijn voldaan. Normering opbrengsten Niveau Jaarresultaat (%) Diplomaresultaat (%) 1 60,7 45,1 2 56,5 45,2 3 65,3 67,3 4 64,2 67,3 Bij het gebied Examinering en diplomering zijn alle aspecten als kernaspect benoemd. Normering Examinering en diplomering Goed Aan alle drie de aspecten is voldaan. De elementen in het portret worden op een uitstekende wijze uitgevoerd. Voldoende Aan alle drie de aspecten is voldaan. Er wordt voor het grootste deel aan de omschrijving van de portretten voldaan, waaronder de essentiële onderdelen. Onvoldoende Aan één of twee aspecten is niet voldaan. Slecht Aan geen van de drie aspecten is voldaan. Voor de normering van het gebied Kwaliteitsborging zijn drie kernaspecten benoemd. De kernaspecten zijn 4.1 Sturing, 4.2 Beoordeling en 4.3 Verbetering en verankering. Normering Kwaliteitsborging Goed Aan alle aspecten is voldaan. De elementen in het portret worden op een uitstekende wijze uitgevoerd. Voldoende Aan alle kernaspecten is voldaan. Er wordt voor het grootste deel aan de omschrijving van de portretten voldaan, waaronder de essentiële onderdelen. Onvoldoende Aan twee of drie aspecten is niet voldaan. Slecht Aan alle vier de aspecten is niet voldaan. Onderzoek naar kwaliteitsverbetering mbo ROC Ter AA pagina 11 van 11