ONDERZOEK NAAR KWALITEITSVERBETERING MBO OP INSTELLINGS- EN OPLEIDINGSNIVEAU. Nationale Handelsacademie te Panningen

Transcriptie

1 ONDERZOEK NAAR KWALITEITSVERBETERING MBO OP INSTELLINGS- EN OPLEIDINGSNIVEAU Nationale Handelsacademie te Panningen Administratief medewerker (Secretarieel medewerker) Particuliere beveiliging (Beveiliger) Doktersassistent Verzorgende-IG BRIN: 25RJ Onderzoeksnummer: en Onderzoek uitgevoerd: 10 t/m 11 februari 2016 Conceptrapport verzonden op: 14 maart 2016 Rapport vastgesteld te Utrecht op: 14 april 2016

2

3 INHOUD 1 Inleiding Conclusie en vervolg Conclusie Vervolg Resultaten kwaliteitsborging op instellingsniveau Resultaten opleiding Administratief medewerker (Secretarieel medewerker) Particuliere beveiliging (Beveiliger) Doktersassistent Verzorgende-IG Bijlage Bijlage I Normering kwaliteitsgebieden Zienswijze... 19

4

5 1 Inleiding In dit rapport staan de uitkomsten van de vijf onderzoeken naar kwaliteitsverbetering, die de Inspectie van het Onderwijs op 10 en 11 februari 2016 heeft uitgevoerd bij de Nationale Handelsacademie (hierna: NHA). De inspectie baseert zich op het Toezichtkader bve 2012 en het Addendum 2015 (zie Aanleiding onderzoeken naar kwaliteitsverbetering De aanleiding voor de onderzoeken naar kwaliteitsverbetering is het vervolgtoezicht, zoals is opgenomen in het rapport van de Staat van de instelling (vastgesteld op 17 december 2014). We hebben de kwaliteitsborging op instellingsniveau onderzocht, omdat tijdens de Staat van de instelling is geconstateerd dat de instelling niet voldeed aan de wettelijke vereiste op het gebied van kwaliteitsborging (WEB, art ). Daarnaast hebben we onderzoeken naar kwaliteitsverbetering uitgevoerd bij de volgende opleidingen. Gebied Opbrengsten niet onderzocht niet onderzocht niet onderzocht niet onderzocht Gebied Onderwijsproces en Kwaliteitsborging 90472, Administratief medewerker (Secretarieel medewerker) 94850, Particuliere beveiliging (Beveiliger) 91310, Doktersassistent 95530, Verzorgende- IG Gebied Examinering en diplomering 90472, Administratief medewerker (Secretarieel medewerker) 94850, Particuliere beveiliging (Beveiliger) 91310, Doktersassistent 95530, Verzorgende- IG Leerweg, niveau, locatie leerweg ovo (derde leerweg), niveau 2, locatie Industrieterrein 37 te Panningen leerweg ovo (derde leerweg), niveau 2, locatie Industrieterrein 37 te Panningen leerweg ovo (derde leerweg), niveau 4, locatie Industrieterrein 37 te Panningen leerweg ovo (derde leerweg), niveau 3, locatie Industrieterrein 37 te Panningen Administratief medewerker (Secretarieel medewerker), We hebben de examinering en diplomering en de kwaliteitsborging onderzocht, omdat tijdens de Staat van de instelling is geconstateerd dat er sprake was van onvoldoende examenkwaliteit en niet-naleving van de wet op het gebied van kwaliteitsborging (WEB, art ). Particuliere beveiliging (Beveiliger), We hebben het onderwijsproces en de kwaliteitsborging onderzocht, omdat tijdens de Staat van de instelling is geconstateerd dat er sprake was van zwak onderwijs en niet-naleving van de wet op het gebied van kwaliteitsborging (WEB, art ). Doktersassistent, We hebben kwaliteitsborging onderzocht, omdat tijdens de Staat van de instelling is geconstateerd dat er sprake was van niet-naleving van de wet op het gebied van kwaliteitsborging (WEB, art ). Onderzoek naar kwaliteitsverbetering mbo Nationale Handelsacademie pagina 1 van 19

6 Verzorgende-IG, We hebben kwaliteitsborging onderzocht, omdat tijdens de Staat van de instelling is geconstateerd dat er sprake was van niet-naleving van de wet op het gebied van kwaliteitsborging (WEB, art ). Om ons een beeld te vormen van de kwaliteitsverbeteringen hebben we informatie over de instelling en opleidingen geanalyseerd. Tevens hebben we telefonische interviews afgenomen met studenten en bpv-bedrijven. Op locatie zijn documenten onderzocht en gesprekken gevoerd. Er is onder andere gesproken met docenten, leden van de examencommissie, het management en de directie. In dit rapport starten we met de conclusie van de onderzoeken naar kwaliteitsverbetering en geven we aan wat het vervolg is (hoofdstuk 2). Daarna volgt de toelichting op de beoordeling van de kwaliteitsborging op instellingsniveau (hoofdstuk 3). Vervolgens lichten we de onderzoeken naar kwaliteitsverbetering op opleidingsniveau toe (hoofdstuk 4). Onderzoek naar kwaliteitsverbetering mbo Nationale Handelsacademie pagina 2 van 19

7 2 Conclusie en vervolg In dit hoofdstuk staat de conclusie van de onderzoeken naar kwaliteitsverbetering en beschrijven we het vervolg. De toelichting op de beoordeling staat in de hoofdstukken 3 en Conclusie Onderzoek naar kwaliteitsverbetering kwaliteitsborging instellingsniveau We concluderen dat de kwaliteitsborging op instellingsniveau bij de Nationale Handelsacademie verbeterd is ten aanzien van sturing en beoordeling maar op het gebied van verbetering en verankering onvoldoende is. Hiermee is niet voldaan aan de wettelijke vereiste op het gebied van kwaliteitsborging (WEB, art ). Onderzoeken naar kwaliteitsverbetering opleidingsniveau Administratief medewerker (Secretarieel medewerker), We concluderen dat bij Administratief medewerker (Secretarieel medewerker) het kwaliteitsgebied examinering en diplomering voldoende is en het gebied kwaliteitsborging onvoldoende is. Bij deze opleiding is sprake van niet-naleving van de wet op het gebied van kwaliteitsborging (WEB, art ). Particuliere beveiliging (Beveiliger), We concluderen dat bij Particuliere beveiliging (Beveiliger) het kwaliteitsgebied onderwijsproces voldoende is en het gebied kwaliteitsborging onvoldoende is. Bij deze opleiding is sprake van niet-naleving van de wet op het gebied van kwaliteitsborging (WEB, art ). Doktersassistent, We concluderen dat bij Doktersassistent het kwaliteitsgebied kwaliteitsborging onvoldoende is. Bij deze opleiding is sprake van niet-naleving van de wet op het gebied van kwaliteitsborging (WEB, art ). Verzorgende-IG, We concluderen dat bij Verzorgende-IG het kwaliteitsgebied kwaliteitsborging onvoldoende is. Bij deze opleiding is sprake van niet-naleving van de wet op het gebied van kwaliteitsborging (WEB, art ). 2.2 Vervolg Vervolg onderzoek naar kwaliteitsverbetering kwaliteitsborging instellingsniveau We voeren vervolgtoezicht uit naar de kwaliteitsborging van de instelling, omdat niet voldaan is aan de wettelijke vereiste (WEB, art ). De instelling krijgt de gelegenheid de kwaliteitsborging te verbeteren. Over een jaar zullen we de kwaliteitsborging opnieuw onderzoeken en beoordelen. Onderzoek naar kwaliteitsverbetering mbo Nationale Handelsacademie pagina 3 van 19

8 Vervolgtoezicht naar aanleiding van de onderzochte opleidingen We voeren bij vier opleidingen vervolgtoezicht uit, omdat we niet alle kwaliteitsgebieden als voldoende hebben beoordeeld. Het vervolgtoezicht richt zich op de geconstateerde tekortkomingen binnen het onvoldoende kwaliteitsgebied. In onderstaand schema is het vervolgtoezicht te lezen , Administratief medewerker (Secretarieel medewerker) 94850, Particuliere beveiliging (Beveiliger) 91310, Doktersassistent 95530, Verzorgende-IG Beoordeling Toezichtvorm Vervolgtoezicht Kwaliteitsborging voldoet niet aan de eisen en is onvoldoende. Aangepast toezicht vanwege niet-naleving van van de WEB. Circa een jaar na het definitieve rapport beoordelen wij de kwaliteitsborging opnieuw. Onderzoek naar kwaliteitsverbetering mbo Nationale Handelsacademie pagina 4 van 19

9 3 Resultaten kwaliteitsborging op instellingsniveau In dit hoofdstuk informeren wij u over de beoordeling van de kwaliteitsborging op instellingsniveau en onderbouwen wij ons oordeel. De normering van het kwaliteitsgebied kwaliteitsborging staat in bijlage I. De kwaliteitsborging van NHA beoordelen we als onvoldoende. Dit oordeel is gebaseerd op de beoordeling van de onderliggende aspecten. Kwaliteitsgebied Goed Voldoende Onvoldoende 4. Kwaliteitsborging Slecht Aspecten Voldoende Onvoldoende 4.1 Sturing* 4.2 Beoordeling* 4.3 Verbetering en verankering* 4.4 Dialoog en verantwoording De aspecten met een * zijn kernaspecten, zie bijlage I voor normering per gebied. Beschouwing Algemeen Tijdens voorgaand onderzoek is geconstateerd dat de kwaliteitsborging onvoldoende was, omdat niet voldaan was aan de aspecten sturing, beoordeling en verbetering en verankering. De sturing voldeed niet om verschillende redenen. Ten eerste was er sprake van onvoldoende capaciteit, was er geen overzicht van verantwoordelijkheidstoedeling en was er onvoldoende continuïteit in de aansturing. Ten tweede ontbrak de samenhang tussen het strategisch meerjarenplan, het jaarplan NHA en het mbojaarplan. Ten derde waren de doelen niet voldoende concreet. De beoordeling voldeed niet, omdat verwerking van gegevens over het onderwijs en de opleidingen niet voldoende plaatsvond. Van monitoringsgegevens was geen analyse en herleiding naar opleiding, tijdperiode en representativiteit beschikbaar. Hierdoor beschikte NHA niet over een eenduidig beeld van de eigen kwaliteit en de samenhang tussen onderwijs en examinering. De verbetering en verankering voldeed niet omdat het verschillende tekortkomingen vertoonde. De centrale aansturing van de verbeteringen en het monitoren van de voortgang van het plan misten consistentie in aanpak en voortgang. Ook bracht de uitvoering niet de voortgang die men bij het begin van de veranderingen voor ogen had. Daarnaast was de wijze waarop verzamelde gegevens vervolgens werden geanalyseerd en gericht werden gebruikt door het management, nog onvoldoende uitgekristalliseerd in de organisatie. Tot slot waren de rol, taken en verantwoordelijkheden van de centrale examencommissie en clusterexamencommissies niet duidelijk belegd en was de deskundigheid van een van de clusterexamencommissies onvoldoende. Hierna lichten we alleen de aspecten toe, die tijdens dit onderzoek opnieuw zijn onderzocht en beoordeeld. Kwaliteitsborging De kwaliteitsborging op instellingsniveau bij NHA is beoordeeld als onvoldoende, omdat niet voldaan is aan verbetering en verankering. De aspecten sturing en beoordeling zijn wel voldoende verbeterd. Onderzoek naar kwaliteitsverbetering mbo Nationale Handelsacademie pagina 5 van 19

10 De sturing beoordelen we als voldoende. De instelling heeft ten eerste voorwaarden geschapen voor sturing door de capaciteit uit te breiden en verantwoordelijkheden toe te delen. Er zijn namelijk meer en deskundige personen aangetrokken, waardoor er nu sprake is van voldoende capaciteit voor de aansturing. Ook zijn de taken, bevoegdheden en verantwoordelijkheden van alle verschillende functionarissen vastgelegd en met de betrokkenen besproken. We hebben gezien dat mensen elkaar nu ook onderling daarop aanspreken. Ten tweede is de overlegen samenwerkingsstructuur aangepast waardoor nu meer dan voorheen in samenhang doelstellingen benoemd en uitgewerkt kunnen worden. De Onderwijscommissie, een recent gestart overlegorgaan waarin de teamleiders van de clusters ook zitting hebben, moet ervoor zorgen dat uit de veelheid van informatiebronnen analyses worden gemaakt aan de hand waarvan NHA kan bepalen of bijsturing nodig is. Ten derde zijn er faciliteiten beschikbaar gekomen om docenten meer te betrekken bij de kwaliteit van de opleidingen. We concluderen kortom dat er nu sprake is van voldoende garanties voor continuïteit in de aansturing. Om de sturing eenduidig vorm te kunnen geven heeft NHA de missie en visie bepaald. NHA beschikt nu over een duidelijke visie en heeft deze gebruikt om te bepalen waaraan prioriteit gegeven moet worden. Dit heeft ertoe geleid dat doelstellingen en normen opnieuw zijn geformuleerd en vastgesteld. Deze zijn vervolgens weer toegekend aan de verschillende organisatieonderdelen (bureaus en clusters) die NHA onderscheidt. De doelstellingen zijn voor een deel gericht op de inrichting van het kwaliteitszorgsysteem en voor een deel op verbetering van de kwaliteit van de opleidingen. De doelstellingen sluiten aan op eerder geconstateerde tekortkomingen, ontwikkelambities en een sterkte-zwakteanalyse. We zien nu voldoende samenhang tussen de visie en de doelstellingen. Naar aanleiding van kwartaalbesprekingen constateerde NHA in de loop van het afgelopen jaar dat de doelstellingen soms te globaal waren geformuleerd om bruikbaar te kunnen zijn voor de sturing. In het jaarplan van 2016 is dat euvel verholpen: daarin zijn meetbare doelstellingen en bijbehorende acties opgenomen. We constateren dat de instelling nu in staat is om concrete doelstellingen te formuleren. De beoordeling beoordelen we als voldoende, omdat NHA in staat is gebleken een betrouwbaar beeld van de onderwijskwaliteit te creëren, hoewel de beoordeling van de realisatie van de gestelde doelen daaraan gering heeft bijgedragen. Het beeld over de onderwijskwaliteit is opgebouwd uit gegevens over tevredenheid van studenten, bedrijven en rendementsgegevens. Voor deze monitoringsgegevens zijn, met uitzondering van de opbrengsten, ook normen bepaald. Normen voor rendementsgegevens zullen naar verwachting dit jaar worden vastgesteld. De normen zijn bedoeld en gebruikt om te bepalen of de kwaliteit van de opleidingen voldoende is. Afgelopen jaar zijn op verschillende momenten analyses gemaakt van de beschikbare gegevens. Wanneer de gegevens daartoe aanleiding gaven, is aanvullend ook per opleiding een analyse gemaakt. Aansluitend daarop zijn twee externe audits en een interne audit uitgevoerd. De uitkomsten van de eigen analyses zijn vervolgens vergeleken met de audituitkomsten. Dit is onder andere gebeurd op het thema examenkwaliteit, de kwaliteit van de beroepspraktijkvorming en de kwaliteit van de sturing. Op basis van de analyses en de uitkomsten van de audits zijn tussentijds onder andere wijzigingen aangebracht in de organisatiestructuur en zijn de mogelijkheden voor samenwerking tussen docenten uitgebreid. Onderzoek naar kwaliteitsverbetering mbo Nationale Handelsacademie pagina 6 van 19

11 Aan het eind van 2015 zijn rapportages opgesteld door de verschillende bureaus en clusters waarin is teruggeblikt op de uitgevoerde acties en is bepaald of aan de normen is voldaan. Tot slot is ook nog een zelfreflectie opgesteld aan de hand van het toezichtkader van de inspectie waarin NHA zichzelf de maat heeft genomen en heeft teruggekeken naar alle verbeteracties. Kortom: NHA heeft dankzij genormeerde monitoringsgegevens, verschillende analyses en audits een betrouwbaar beeld van de onderwijskwaliteit opgesteld. Verder constateren we dat de beoordelingen aanleiding zijn geweest voor tussentijdse bijsturing, zijn gebruikt om prioriteiten te stellen en input zijn geweest voor het opstellen van het jaarplan voor De verbetering en verankering beoordelen we als onvoldoende om twee redenen. Als eerste is de verbeteraanpak nog onvoldoende systematisch, hoewel de voortgang van de verbeteracties in het afgelopen jaar regelmatig is bewaakt. Het is namelijk nodig dat NHA meetinstrumenten hanteert die passen bij de verbeterdoelen. Naar aanleiding van een aantal tussentijdse wijzigingen in de systematiek is nagelaten om terug te blikken op de oorspronkelijke verbeterdoelen, bijvoorbeeld door het uitvoeren van specifieke controles. Overigens zijn een aantal expliciete controles wel gepland voor 2016 en daarmee laat NHA zien deze omissie zelf ook te hebben gezien. We zien nu onvoldoende samenhang tussen de verbeterdoelen zoals opgenomen in het jaarplan 2015 en de voortgangsverslagen zoals die zijn opgenomen in de verschillende kwartaalrapportages. Tot deze conclusie is NHA ook zelf gekomen. In de zelfreflectie constateerde de instelling dat de beoordeling van de onderwijskwaliteit effectiever kan door het instrumentarium te verbeteren. Daarom zal de beoordeling in 2016 ook worden uitgevoerd aan de hand van kritische prestatie-indicatoren (kpi s). De onvolledigheid van de nieuwe meetsystematiek is de tweede reden waarom verbetering en verankering niet voldoende is. De instelling heeft de kpi s die recent zijn opgesteld nog niet gekoppeld aan meetinstrumenten. Ook de relatie tussen de doelstellingen in het jaarplan 2016 en de kpi s is nog niet gelegd. Hierbij kan NHA naar verwachting profiteren van de afstemming tussen de recent ingestelde onderwijscommissie, examencommissie en toetscommissie die als expliciete taak is meegegeven aan deze commissies. Bovenstaande neemt niet weg dat we een aantal verbeteringen hebben geconstateerd ten opzichte van ons vorige onderzoek. Die willen we dan ook niet onvermeld laten. De voormalige clusterexamencommissies hebben plaatsgemaakt voor een instellingsbrede examencommissie welke een deel van haar taken delegeert aan de toetscommissie. De werking van deze nieuwe commissies hebben wij nog niet volledig kunnen vaststellen omdat deze zeer recent geïnstalleerd zijn. Wat ons echter vertrouwen geeft zijn de voorgenomen doelen en acties van deze commissies waarin ook bevindingen- en evaluaties van de voormalige clusterexamencommissies zijn meegenomen. Een voorbeeld hiervan zijn de uitkomsten van bijwoningen van examenafnames. Een forse verbetering is de prioriteit die is gegeven aan het uitvoeren van verbeteracties. Dat heeft er ook voor gezorgd dat er weinig vertraging is opgetreden in de uitvoering ervan. Maar het belangrijkste is dat verschillende verbeteracties hebben geleid tot de gewenste verbeteringen. In het volgende hoofdstuk gaan we daar dieper op in. Onderzoek naar kwaliteitsverbetering mbo Nationale Handelsacademie pagina 7 van 19

12 4 Resultaten opleiding In dit hoofdstuk lichten wij het resultaat van de kwaliteitsonderzoeken bij de opleidingen toe. We geven per gebied aan wat het oordeel is (goed, voldoende, onvoldoende, slecht) en verantwoorden ons over het oordeel op het niveau van de onderliggende aspecten. 4.1 Administratief medewerker (Secretarieel medewerker) Het onderzoek naar kwaliteitsverbetering bij Administratief medewerker (Secretarieel medewerker), 90472, niveau 2, derde leerweg, locatie Panningen richtte zich op de examinering en diplomering en de kwaliteitsborging. Het onderzoek naar kwaliteitsverbetering leidt tot de volgende beoordeling: Kwaliteitsgebied Goed Voldoende Onvoldoende 2. Examinering en diplomering 4. Kwaliteitsborging Slecht Kwaliteitsgebied Voldoende Onvoldoende Aspect Gebied 2: Examinering en diplomering 2.1 Exameninstrumentarium* 2.2 Afname en beoordeling* 2.3 Diplomering* Gebied 4: Kwaliteitsborging 4.1 Sturing* 4.2 Beoordeling* 4.3 Verbetering en verankering* 4.4 Dialoog en verantwoording De aspecten met een * zijn kernaspecten, zie bijlage I voor normering per gebied. Beschouwing Algemeen Tijdens voorgaand onderzoek is geconstateerd dat de examinering en diplomering slecht was en de kwaliteitsborging onvoldoende was. We hebben ons binnen deze gebieden alleen gericht op de aspecten die tijdens voorgaand onderzoek als onvoldoende zijn beoordeeld. De voldoende oordelen hebben we overgenomen. De examinering en diplomering voldeed niet, omdat niet voldaan was aan de aspecten exameninstrumentarium, afname en beoordeling en diplomering. Het beroepsgerichte exameninstrumentarium voldeed niet, omdat de onderliggende opdrachten van de ingekochte kadertoets niet door de instelling waren geconstrueerd en vastgesteld en omdat de inzet van het criterium gericht interview tot veel onduidelijkheden leidde. Hierdoor was niet geborgd dat de opdrachten qua complexiteit en omvang de vereisten uit het kwalificatiedossier dekken. Afname en beoordeling voldeed niet, omdat de beoordeling van het examen niet voldoende onafhankelijk was en de deskundigheid van de beoordelaars onvoldoende geborgd was. Onderzoek naar kwaliteitsverbetering mbo Nationale Handelsacademie pagina 8 van 19

13 Diplomering voldeed niet, omdat de examencommissie zich onvoldoende vergewiste van de inhoud en kwaliteit van te construeren opdrachten van de kadertoetsing en onvoldoende zicht had op de kwaliteit van de beoordeling. De sturing voldeed niet, omdat een degelijke planvorming ontbrak en de continuïteit in het cluster Economie en Veiligheid onvoldoende was. De beoordeling voldeed niet, omdat beschikbare monitoringsgegevens onvoldoende gestructureerd werden geanalyseerd waardoor er geen betrouwbare beoordeling van de onderwijskwaliteit kon worden opgesteld. De verbetering en verankering voldeed niet, omdat de systematiek voor planning, monitoring en evaluatie onvoldoende samenhangend was en de verbeteraanpak niet effectief was. De opleiding Administratief medewerker (Secretarieel medewerker) wordt evenals de opleiding Particuliere beveiliging (Beveiliger) uitgevoerd onder verantwoordelijkheid van het cluster Economie en Veiligheid. Voor alle opleidingen van dit cluster bestaat een vergelijkbare inhoud en uitvoering van de kwaliteitsborging. De beschouwing en oordelen over de kwaliteitsborging van deze opleidingen zijn gelijk. Examinering en diplomering De examinering en diplomering beoordelen we als voldoende. Aan alle aspecten is voldaan. Het exameninstrumentarium voldoet, omdat het aansluit op de uitstroomeisen en voldoet aan de toetstechnische eisen. De instelling koopt kadertoetsen in. De examenopdrachten zijn geconstrueerd en vastgesteld onder verantwoordelijkheid van de examencommissie en voldoen qua inhoud en complexiteit aan de eisen uit het kwalificatiedossier. Het eerdere criterium gerichte interview is komen te vervallen en heeft plaatsgemaakt voor een verantwoordingsverslag welke alleen bedoeld is om de betrouwbaarheid van de examinering vast te stellen maar welke niet meetelt voor de bepaling van het cijfer. De examenprocessen van afname en beoordeling zijn voldoende deugdelijk. De beoordeling is nu voldoende onafhankelijk en wordt uitgevoerd door deskundige beoordelaars. Bij de examinering zijn nu zowel een praktijkbeoordelaar als een assessor van NHA betrokken. Na afronding van de bpv neemt de praktijkbeoordelaar, die bij voorkeur niet de praktijkbegeleider is, de examens af. Een positief punt hierbij is dat de beoordelingscriteria voor de praktijkbeoordelaar veel houvast geven voor het bepalen van het oordeel. De deskundigheid van de praktijkbeoordelaar wordt voorafgaand aan de examinering beoordeeld door de examencommissie op basis van een ingestuurd curriculum vitae. Hierbij wordt ook de ervaring met betrekking tot examinering meegewogen. Bij het eindgesprek van de bpv doet de bpv-docent ook een check op de deskundigheid van de praktijkbeoordelaar en na afloop van het examen vindt er een verantwoordingsgesprek plaats. Dit gesprek vindt plaats tussen de student, de praktijkbeoordelaar en een assessor waarbij de assessor erop let of het examen voldoende betrouwbaar is afgenomen en of de praktijkbeoordelaar voldoende deskundig heeft geoordeeld. De assessor moet vervolgens de examencommissie adviseren over de vaststelling van een voldoende betrouwbare afname en beoordeling. Punt van aandacht hierbij is dat het van de assessor veel moed kan vragen om, tegen het advies van de examencommissie en de bpv-docent in, de deskundigheid van de praktijkbeoordelaar te betwisten. Onderzoek naar kwaliteitsverbetering mbo Nationale Handelsacademie pagina 9 van 19

14 De diplomering is voldoende deugdelijk en geborgd. Wij hebben gezien dat er al diverse verbeteringen door de voormalige clusterexamencommissie zijn doorgevoerd met betrekking tot de examinering. Zo is naar aanleiding van het vorige inspectierapport de beroepsgerichte examinering opnieuw onder de loep genomen. Positief hierbij is dat verbetermaatregelen breder zijn uitgevoerd dan alleen bij de opleiding die eerder met een onvoldoende is beoordeeld. Daarnaast voert de examencommissie nu steekproeven uit bij de beroepsgerichte examinering waardoor zij zicht heeft op de kwaliteit van de beoordeling. Ook wordt door middel van scholingen aan de deskundigheid van de assessoren en praktijkbeoordelaars gewerkt. Kwaliteitsborging De kwaliteitsborging beoordelen we als onvoldoende, omdat er nog onvoldoende verankering van de onderwijskwaliteit is gerealiseerd. De sturing beoordelen we als voldoende. Sinds het vorige onderzoek heeft het cluster Economie en Veiligheid gestuurd op het realiseren van verbeteringen in de bpv-begeleiding, de kwaliteit van de feedback op ingeleverd werk van studenten en versterking van het team. Dit waren de prioriteiten in het afgelopen jaar. Er is en wordt fors ingezet op de kwaliteit, capaciteit en deskundigheden van de medewerkers, onder andere door heldere instructies en procesbeschrijvingen met ze te bespreken, en er wordt door de teamleider gestuurd op het werken volgens vastgestelde procedures en formats. Er is momenteel voldoende continuïteit in onderwijsgevend en leidinggevend personeel. De ingezette acties bij de opleidingen Secretarieel medewerker en Beveiliger hebben tegelijkertijd een positief effect gehad op de andere opleidingen van het cluster. Daarnaast is, op basis van het jaarplan 2015, uitvoering gegeven aan een aantal doelen. De formulering kan worden versterkt door acties, verantwoordelijken en wijze van meting toe te voegen. In het jaarplan dat voor 2016 is opgesteld, is dit overigens al helderder. De plannen worden gedragen door de medewerkers. De beoordeling beoordelen we als voldoende, omdat het cluster voldoende zicht heeft op de kwaliteit van het onderwijs. Om dat te bereiken maakt het cluster gebruik van audits die met medewerking van onafhankelijke deskundigen zijn opgesteld en tevredenheidsgegevens van studenten en bedrijven. Ook zijn er regelmatig contacten tussen bpv-docenten en praktijkbegeleiders van de stagebedrijven en assessoren om de kwaliteit van de bpv te bespreken. De teamleider maakt hiervan soms nadere analyses die worden meegenomen in de kwartaalrapportages. De plannen en rapportages worden gebruikt om te evalueren en te reflecteren met de coördinator mbo en de manager onderwijs. Hiermee heeft het cluster voldoende evaluatieve informatie van externen en belanghebbenden over de kwaliteit van onderwijs en examinering. Daarnaast rapporteert het cluster in kwartaalrapportages in hoeverre monitoringsgegevens aanleiding zijn om nieuwe verbeterdoelen op te stellen en wat de stand van zaken is rondom de uitvoering van verbeteracties. De verbetering en verankering beoordelen we als onvoldoende om twee redenen. Als eerste is de verbeteraanpak die in 2015 is gehanteerd nog onvoldoende samenhangend. Daarvoor is namelijk nodig dat het cluster meetinstrumenten hanteert die passen bij de verbeterdoelen. Naar aanleiding van een aantal tussentijdse wijzigingen in de systematiek is nagelaten om terug te blikken op de oorspronkelijke verbeterdoelen, bijvoorbeeld door het uitvoeren van specifieke controles. Onderzoek naar kwaliteitsverbetering mbo Nationale Handelsacademie pagina 10 van 19

15 Overigens zijn een aantal expliciete controles, zoals het bijwonen van bpvgesprekken en de voor-/nameting van het scholingsaanbod voor assessoren, wel gepland voor 2016 en daarmee laat het cluster zien deze omissie zelf ook te hebben gezien. We zien nu onvoldoende samenhang tussen de verbeterdoelen zoals opgenomen in het jaarplan 2015 en de voortgangsverslagen zoals die zijn opgenomen in de kwartaalrapportages van het cluster. De onvolledigheid van de nieuwe meetsystematiek is de tweede reden waarom verbetering en verankering niet voldoende is. Voor het cluster zijn de kpi s die recent zijn opgesteld nog niet gekoppeld aan meetinstrumenten. Ook de relatie tussen de doelstellingen in het jaarplan 2016 en de kpi s is nog niet gelegd. Gebeurt dat wel, dan zal de opleiding beter zicht krijgen op wat effectief is voor de kwaliteit van haar onderwijs en examinering. Nu loopt het cluster echter nog het risico dat veranderingen onvoldoende effect hebben. Dit neemt niet weg dat het cluster verbetermaatregelen heeft getroffen die passen bij de uitkomsten van het vorige inspectierapport. Op het gebied van deskundigheidsbevordering zijn grote stappen gezet, met als gevolg dat er deskundige medewerkers worden ingezet wiens taken, verantwoordelijkheden en bevoegdheden duidelijk zijn omschreven in het kwaliteitskader. Door scholingsmomenten, gezamenlijk overleg en de docentendagen staan de taken alsmede de plannen en verbeteracties continu op de agenda. Het cluster kan de kwaliteit van de opleidingen verder versterken door feedback op de kwaliteit van de uitvoering te organiseren. 4.2 Particuliere beveiliging (Beveiliger) Het onderzoek naar kwaliteitsverbetering bij Particuliere beveiliging (Beveiliger), 94850, niveau 2, derde leerweg, locatie Panningen richtte zich op het onderwijsproces en de kwaliteitsborging. Het onderzoek naar kwaliteitsverbetering leidt tot de volgende beoordeling: Kwaliteitsgebied Goed Voldoende Onvoldoende 1. Onderwijsproces 4. Kwaliteitsborging Slecht Kwaliteitsgebied Voldoende Aspect Gebied 1: Onderwijsproces Programma 1.1 Samenhang 1.2 Maatwerk Leren in de onderwijsinstelling 1.3 Didactisch handelen* 1.4 Leertijd 1.5 Leeromgeving Begeleiding 1.6 Intake & plaatsing 1.7 Studieloopbaanbegeleiding* 1.8 Zorg Leren in de beroepspraktijk 1.9 Beroepspraktijkvorming* Gebied 4: Kwaliteitsborging Onvoldoende Onderzoek naar kwaliteitsverbetering mbo Nationale Handelsacademie pagina 11 van 19

16 Kwaliteitsgebied Voldoende Onvoldoende Aspect 4.1 Sturing* 4.2 Beoordeling* 4.3 Verbetering en verankering* 4.4 Dialoog en verantwoording De aspecten met een * zijn kernaspecten, zie bijlage I voor normering per gebied. Beschouwing Algemeen Tijdens voorgaand onderzoek is geconstateerd dat het onderwijsproces en de kwaliteitsborging onvoldoende waren. We hebben ons binnen deze gebieden alleen gericht op de aspecten die tijdens voorgaand onderzoek als onvoldoende zijn beoordeeld. De voldoende oordelen hebben we overgenomen. Het onderwijsproces voldeed niet, omdat niet voldaan was aan het aspect beroepspraktijkvorming (bpv). De voorbereiding van de bpv, zowel bij de student als het leerbedrijf, was onvoldoende. Daarnaast kregen studenten vanuit de opleiding nauwelijks begeleiding. De sturing voldeed niet, omdat een degelijke planvorming ontbrak en de continuïteit in het cluster Economie en Veiligheid onvoldoende was. De beoordeling voldeed niet, omdat beschikbare monitoringsgegevens onvoldoende gestructureerd werden geanalyseerd waardoor er geen betrouwbare beoordeling van de onderwijskwaliteit kon worden opgesteld. De verbetering en verankering voldeed niet, omdat de systematiek voor planning, monitoring en evaluatie onvoldoende samenhangend was en de verbeteraanpak niet effectief was. De opleiding Particuliere beveiliging (Beveiliger) wordt evenals de opleiding Administratief medewerker (Secretarieel medewerker) uitgevoerd onder verantwoordelijkheid van het cluster Economie en Veiligheid. Voor alle opleidingen van dit cluster bestaat een vergelijkbare inhoud en uitvoering van de kwaliteitsborging. De beschouwing en oordelen over de kwaliteitsborging van deze opleidingen zijn gelijk. Onderwijsproces Het onderwijsproces beoordelen we als voldoende. Aan alle aspecten is voldaan. De beroepspraktijkvorming beoordelen we als voldoende, omdat zowel de voorbereiding als de begeleiding ervan adequaat is vormgegeven en zodanig wordt uitgevoerd dat studenten daar baat bij hebben. Studenten en bedrijven zijn tevreden over de begeleiding van NHA. De bpv-docent van NHA voert ter voorbereiding van de bpv een startgesprek met de student en de praktijkbegeleider van het bedrijf. In dat startgesprek worden onder andere afspraken gemaakt over het gebruik van het handboek bpv en het logboek. Tussentijds is er regelmatig telefonisch en per overleg tussen de student en de bpv-docent over de opdrachten en het logboek. NHA is goed bereikbaar voor vragen, zowel voor de bedrijven als de studenten. De bpv-docent is daarnaast betrokken bij de beoordeling en er is altijd een eindgesprek ter afsluiting van de bpv. Het cluster zet voor de bpv-begeleiding docenten in met ervaring in begeleiding en kennis van de opleiding. Onderzoek naar kwaliteitsverbetering mbo Nationale Handelsacademie pagina 12 van 19

17 Kwaliteitsborging De kwaliteitsborging beoordelen we als onvoldoende, omdat er nog onvoldoende verankering van de onderwijskwaliteit is gerealiseerd. De opleiding Beveiliger valt net als de opleiding Secretarieel medewerker onder het cluster Economie en Veiligheid. We hebben geconstateerd dat de kwaliteitsborging van beide opleidingen gelijk is. Kortheidshalve wordt hierbij naar paragraaf 4.1 verwezen. 4.3 Doktersassistent Het onderzoek naar kwaliteitsverbetering bij Doktersassistent, 91310, niveau 3, derde leerweg, locatie Panningen richtte zich op de kwaliteitsborging. Het onderzoek naar kwaliteitsverbetering leidt tot de volgende beoordeling: Kwaliteitsgebied Goed Voldoende Onvoldoende 4. Kwaliteitsborging Slecht Aspecten Voldoende Onvoldoende 4.1 Sturing* 4.2 Beoordeling* 4.3 Verbetering en verankering* 4.4 Dialoog en verantwoording De aspecten met een * zijn kernaspecten, zie bijlage I voor normering per gebied. Beschouwing Algemeen Tijdens voorgaand onderzoek is geconstateerd dat de kwaliteitsborging onvoldoende was. De beoordeling voldeed niet, omdat de beoordeling van de onderwijskwaliteit nog onvoldoende regelmatig en betrouwbaar plaatsvond. Het gestructureerd analyseren en beoordelen van de beschikbare gegevens over de kwaliteit van onderwijs en examinering op vaste momenten en in relatie tot de jaarplannen was nog niet geïmplementeerd. Verder was er nog een aandachtspunt voor de verbetering en verankering: de kwaliteitszorgcyclus kon meer consciëntieus worden doorlopen. De verschillende fasen van kwaliteitszorg waren in essentie aanwezig en aan elkaar gerelateerd. Maar de tijdigheid en volledigheid van planvorming en de systematiek van beoordelen konden beter op elkaar worden afgestemd. Hierbij speelde ook dat, hoewel het cluster in de ontwikkeling van de kwaliteitsborging het verst was gevorderd, het nog niet volledig kon aansluiten op het instellingsbrede perspectief, aangezien dat nog niet was uitontwikkeld. Aangezien we tijdens de uitvoering van dit onderzoek zagen dat de instellingsbrede systematiek van de kwaliteitsborging was gewijzigd en uitgebreid, hebben we ons onderzoek ook gericht op het aspect verbetering en verankering. De opleiding Doktersassistent wordt evenals de opleiding Verzorgende-IG uitgevoerd onder verantwoordelijkheid van het cluster Zorg en Welzijn. Onderzoek naar kwaliteitsverbetering mbo Nationale Handelsacademie pagina 13 van 19

18 Voor alle opleidingen van dit cluster bestaat een vergelijkbare inhoud en uitvoering van de kwaliteitsborging. De beschouwing en oordelen over de kwaliteitsborging van deze opleidingen zijn gelijk. Kwaliteitsborging De kwaliteitsborging beoordelen we als onvoldoende, omdat er nog onvoldoende verankering van de onderwijskwaliteit is gerealiseerd. De beoordeling beoordelen we als voldoende. Voor een eigen beoordeling van het onderwijsproces is inmiddels sprake van een meer systematische werkwijze. Voor de opleidingen Verzorgende-IG en Doktersassistent wordt de uitvoering van het onderwijs gemonitord. Dit gebeurt met behulp van uitkomsten uit tevredenheidsonderzoek, zogenaamde tips en tops uit de verslagen van studenten, bevindingen van studieloopbaanbegeleiders, tevredenheidsonderzoek onder docenten en in- en externe audits die organisatiebreed zijn uitgevoerd. Instellingbreed is een norm bepaald voor de uitkomsten van tevredenheidsonderzoek onder studenten en die is ook voor de opleidingen gehanteerd. Alle resultaten onder deze norm zijn in het vizier en dienen als uitgangspunt voor verbeterplannen. De teamleider stuurt op beleidsafspraken en het werken volgens vastgestelde procedures en formats. De verbetering en verankering beoordelen we als onvoldoende om twee redenen. Als eerste is de verbeteraanpak die in 2015 is gehanteerd nog onvoldoende samenhangend. Daarvoor is namelijk nodig dat het cluster meetinstrumenten hanteert die passen bij de verbeterdoelen. Naar aanleiding van een aantal tussentijdse wijzigingen in de systematiek is nagelaten om terug te blikken op de oorspronkelijke verbeterdoelen, bijvoorbeeld door het uitvoeren van specifieke controles. Ook zijn dergelijke controles nog niet opgenomen in het jaarplan van 2016 voor cluster Zorg en Welzijn. We zien nu onvoldoende samenhang tussen de verbeterdoelen zoals opgenomen in het jaarplan 2015 en de voortgangsverslagen zoals die zijn opgenomen in de kwartaalrapportages van het cluster. De onvolledigheid van de nieuwe meetsystematiek is de tweede reden waarom verbetering en verankering niet voldoende is. Voor het cluster zijn de kpi s die recent zijn opgesteld nog niet gekoppeld aan meetinstrumenten. Ook de relatie tussen de doelstellingen in het jaarplan 2016 en de kpi s is nog niet gelegd. Gebeurt dat wel, dan zal de opleiding beter zicht krijgen op wat effectief is voor de kwaliteit van haar onderwijs en examinering. Nu loopt het cluster echter nog het risico dat veranderingen onvoldoende effect hebben. Dit neemt niet weg dat het cluster verbetermaatregelen heeft getroffen. De opleidingen in dit cluster hebben de beginfase van de opleiding verbeterd door startbijeenkomsten te organiseren waar informatie verstrekt wordt en studenten elkaar kunnen ontmoeten. Op het gebied van deskundigheidsbevordering zijn ook stappen gezet: de teamleider voert jaargesprekken met docenten, waarin zowel de kwalitatieve als kwantitatieve gegevens van de tevredenheidsonderzoeken worden gebruikt. Er is geïnvesteerd in het versterken van het eigenaarschap, hierdoor ontstaat een gerichte focus op de onderwijskwaliteit. Onderzoek naar kwaliteitsverbetering mbo Nationale Handelsacademie pagina 14 van 19

19 4.4 Verzorgende-IG Het onderzoek naar kwaliteitsverbetering bij Verzorgende-IG, 95530, niveau 4, derde leerweg, locatie Panningen richtte zich op de kwaliteitsborging. Het onderzoek naar kwaliteitsverbetering leidt tot de volgende beoordeling: Kwaliteitsgebied Goed Voldoende Onvoldoende 4. Kwaliteitsborging Slecht Aspecten Voldoende Onvoldoende 4.1 Sturing* 4.2 Beoordeling* 4.3 Verbetering en verankering* 4.4 Dialoog en verantwoording De aspecten met een * zijn kernaspecten, zie bijlage I voor normering per gebied. Beschouwing Algemeen Tijdens voorgaand onderzoek is geconstateerd dat de kwaliteitsborging onvoldoende was. De beoordeling voldeed niet, omdat de beoordeling van de onderwijskwaliteit nog onvoldoende regelmatig en betrouwbaar plaatsvond. Het gestructureerd analyseren en beoordelen van de beschikbare gegevens over de kwaliteit van onderwijs en examinering op vaste momenten en in relatie tot de jaarplannen was nog niet geïmplementeerd. Verder was er nog een aandachtspunt voor de verbetering en verankering: de kwaliteitszorgcyclus kon meer consciëntieus worden doorlopen. De verschillende fasen van kwaliteitszorg waren in essentie aanwezig en aan elkaar gerelateerd. Maar de tijdigheid en volledigheid van planvorming en de systematiek van beoordelen konden beter op elkaar worden afgestemd. Hierbij speelde ook dat hoewel het cluster in de ontwikkeling van de kwaliteitsborging het verst was gevorderd, het nog niet volledig kon aansluiten op het instellingsbrede perspectief, aangezien dat nog niet was uitontwikkeld. Aangezien we tijdens de uitvoering van dit onderzoek zagen dat de instellingsbrede systematiek van de kwaliteitsborging was gewijzigd en uitgebreid, hebben we ons onderzoek ook gericht op het aspect verbetering en verankering. De opleiding Verzorgende-IG wordt evenals de opleiding Doktersassistent uitgevoerd onder verantwoordelijkheid van het cluster Zorg en Welzijn. Voor alle opleidingen van dit cluster bestaat een vergelijkbare inhoud en uitvoering van de kwaliteitsborging. De beschouwing en oordelen over de kwaliteitsborging van deze opleidingen zijn gelijk. Onderzoek naar kwaliteitsverbetering mbo Nationale Handelsacademie pagina 15 van 19

20 Kwaliteitsborging De kwaliteitsborging beoordelen we als onvoldoende, omdat er onvoldoende verbetering en verankering is gerealiseerd. De opleiding Verzorgende-IG valt net als de opleiding Doktersassistent onder het cluster zorg en Welzijn. We hebben geconstateerd dat de kwaliteitsborging van beide opleidingen gelijk is. Kortheidshalve wordt hierbij naar paragraaf 4.3 verwezen. Onderzoek naar kwaliteitsverbetering mbo Nationale Handelsacademie pagina 16 van 19

21 Bijlage Bijlage I Normering kwaliteitsgebieden De normering per gebied is per januari 2015 aangepast (zie het Toezichtkader bve 2012 en het Addendum 2015). De normering heeft betrekking op de toezichtperiode De normen Op basis van het onderzoek spreekt de inspectie oordelen uit waarvoor zij gebruikmaakt van een normering. Deze bestaat uit twee stappen: 1. Een normering per aspect: per aspect wordt een beschrijving gegeven. Indicatoren en portretten zijn daarvoor indicerend en richtinggevend. 2. Een normering per kwaliteitsgebied. Voor de normering van het gebied Onderwijsproces zijn drie kernaspecten benoemd. De kernaspecten zijn: aspect 1.3 Didactisch handelen, aspect 1.7 Studieloopbaanbegeleiding en aspect 1.9 Beroepspraktijkvorming. Normering Onderwijsproces Goed Aan acht van de negen aspecten is voldaan. Aan alle kernaspecten is voldaan. De elementen in het portret worden op een uitstekende wijze uitgevoerd. Voldoende Aan zeven van de negen aspecten is voldaan. Aan alle kernaspecten is voldaan. Er wordt voor het grootste deel aan de omschrijving van de portretten van deze indicatoren voldaan, waaronder de essentiële onderdelen. Onvoldoende Aan één of meer kernaspecten is niet voldaan. Aan drie tot acht van de aspecten is niet voldaan. Slecht Aan geen van de aspecten is voldaan. Bij het gebied Examinering en diplomering zijn alle aspecten als kernaspect benoemd. Normering Examinering en diplomering Goed Aan alle drie de aspecten is voldaan. De elementen in het portret worden op een uitstekende wijze uitgevoerd. Voldoende Aan alle drie de aspecten is voldaan. Er wordt voor het grootste deel aan de omschrijving van de portretten voldaan, waaronder de essentiële onderdelen. Onvoldoende Aan een of twee aspecten is niet voldaan. Slecht Aan geen van de drie aspecten is voldaan. Onderzoek naar kwaliteitsverbetering mbo Nationale Handelsacademie pagina 17 van 19

22 Voor de normering van het gebied Kwaliteitsborging zijn drie kernaspecten benoemd. De kernaspecten zijn 4.1 Sturing, 4.2 Beoordeling en 4.3 Verbetering en verankering. Normering Kwaliteitsborging Goed Aan alle aspecten is voldaan. De elementen in het portret worden op een uitstekende wijze uitgevoerd. Voldoende Aan alle kernaspecten is voldaan. Er wordt voor het grootste deel aan de omschrijving van de portretten voldaan, waaronder de essentiële onderdelen. Onvoldoende Aan twee of drie aspecten is niet voldaan. Slecht Aan alle vier de aspecten is niet voldaan. Onderzoek naar kwaliteitsverbetering mbo Nationale Handelsacademie pagina 18 van 19

23 Zienswijze Hierbij maakt de Nationale Handels Academie B.V. gebruik van de gelegenheid om haar zienswijze te geven op het onderzoeksrapport Staat van Instelling, zoals vastgesteld op 14 april Nationale Handels Academie B.V. kijkt terug op een prettig verlopen proces. De Inspectie van het Onderwijs heeft zich meedenkend opgesteld tijdens het onderzoeksproces, hetgeen ons verbeterproces zeker ten goede is gekomen. Het onderzoek bevestigt het feit dat de NHA sinds het vorige onderzoek forse verbeterslagen heeft gemaakt. Deze zijn ook door de inspectie gesignaleerd. Verdere verbeteringen ten aanzien van het aspect verbetering en verankering zijn reeds ingevoerd, om de laatste kanttekening vanuit de Inspectie van het Onderwijs weg te nemen. Met deze brief geven wij aan akkoord te gaan met de wijzigingen in het inspectierapport d.d. 14 april Wij zien uw volgende toetsing in 2017 met vertrouwen tegemoet. Onderzoek naar kwaliteitsverbetering mbo Nationale Handelsacademie pagina 19 van 19