ONDERZOEK NAAR KWALITEITSVERBETERING MBO OP INSTELLINGS- EN OPLEIDINGSNIVEAU. Koning Willem 1 College te s-hertogenbosch

Transcriptie

1 ONDERZOEK NAAR KWALITEITSVERBETERING MBO OP INSTELLINGS- EN OPLEIDINGSNIVEAU Koning Willem 1 College te s-hertogenbosch BRIN: Onderzoeknummers: 04FO , , , en Onderzoek uitgevoerd: t/m Conceptrapport verzonden op: Rapport vastgesteld te Utrecht op: 27 augustus /5

2

3 INHOUD 1 Inleiding Conclusie en vervolg Conclusie Vervolg Resultaten kwaliteitsborging op instellingsniveau Resultaten opleiding Manager transport en logistiek (Manager transport en logistiek), Helpende zorg & welzijn, Manager handel (Filiaalmanager), Installeren (Monteur koudetechniek), Bijlage Bijlage I Normering kwaliteitsgebieden /5

4

5 1 Inleiding In dit rapport staan de uitkomsten van de vijf onderzoeken naar kwaliteitsverbetering, die de Inspectie van het Onderwijs van 1 juni 2015 tot en met 11 juni 2015 heeft uitgevoerd bij Koning Willem 1 College. De inspectie baseert zich op het Toezichtkader bve 2012 en het Addendum 2015 (zie Aanleiding onderzoeken naar kwaliteitsverbetering De aanleiding voor het onderzoek naar kwaliteitsverbetering is het oordeel en het vervolgtoezicht, zoals is opgenomen in het rapport van de Staat van de instelling MBO Koning Willem 1 College (vastgesteld op 14 januari 2014). We hebben de kwaliteitsborging op instellingsniveau onderzocht, omdat tijdens de Staat van de instelling is geconstateerd dat de instelling niet voldeed aan de wettelijke vereiste op het gebied van kwaliteitsborging (WEB, art ). Daarnaast hebben we een onderzoek naar kwaliteitsverbetering uitgevoerd bij de volgende opleidingen. Gebied Onderwijsproces, Kwaliteitsborging en Wettelijke vereisten 91870, Manager transport en logistiek (Manager transport en logistiek) Niet onderzocht 93492, Manager handel (Filiaalmanager) 94274, Installeren (Monteur koudetechniek) Gebied Examinering en diplomering 91870, Manager transport en logistiek (Manager transport en logistiek) 92640, Helpende zorg & welzijn 93492, Manager handel (Filiaalmanager) Leerweg, niveau, locatie leerweg bol, niveau 4, Onderwijsboulevard 3 te 's- Hertogenbosch leerweg bol, niveau 2, Onderwijsboulevard 3 te 's Hertogenbosch leerweg bbl, niveau 4, Vlijmenseweg 2 te 's- Hertogenbosch Niet onderzocht leerweg bbl, niveau 2, Onderwijsboulevard 3 te 's- Hertogenbosch Manager transport en logistiek (Manager transport en logistiek), We hebben de examinering en diplomering en de kwaliteitsborging onderzocht, omdat tijdens de Staat van de instelling is geconstateerd dat er sprake was van slechte examenkwaliteit en niet-naleving van de wet op het gebied van kwaliteitsborging (WEB, art ). Helpende zorg & welzijn, We hebben de examinering en diplomering onderzocht, omdat tijdens de Staat van de instelling is geconstateerd dat er sprake was van slechte examenkwaliteit. Manager handel (Filiaalmanager), We hebben het onderwijsproces, de examinering en diplomering en de kwaliteitsborging onderzocht, omdat tijdens de Staat van de instelling is geconstateerd dat er sprake was van zwak onderwijs, slechte examenkwaliteit en niet-naleving van de wet op het gebied van kwaliteitsborging (WEB, art ). Onderzoek naar kwaliteitsverbetering mbo Koning Willem 1 College Pagina 1 van 18

6 Installeren (Monteur koudetechniek), We hebben de kwaliteitsborging onderzocht, omdat tijdens de Staat van de instelling is geconstateerd dat er sprake was van niet-naleving van de wet op het gebied van kwaliteitsborging (WEB, art ). Om ons een beeld te vormen van de kwaliteitsverbetering hebben we informatie over de instelling en opleidingen geanalyseerd. Op locatie zijn documenten onderzocht en gesprekken gevoerd. Er is onder andere gesproken met vertegenwoordigers van de afdelingsdirecteuren, Dienst Examinering (DEX), Dienst Governance & Control (DGC) en het College van Bestuur (CvB). In dit rapport starten we met de conclusie van de onderzoeken naar kwaliteitsverbetering en geven we aan wat het vervolg is (hoofdstuk 2). Daarna volgt de toelichting op de beoordeling van de kwaliteitsborging op instellingsniveau (hoofdstuk 3). Vervolgens lichten we de onderzoeken naar kwaliteitsverbetering op opleidingsniveau toe (hoofdstuk 4). Onderzoek naar kwaliteitsverbetering mbo Koning Willem 1 College Pagina 2 van 18

7 2 Conclusie en vervolg In dit hoofdstuk staat de conclusie van de onderzoeken naar kwaliteitsverbetering en beschrijven we het vervolg. De toelichting op de beoordeling staat in de hoofdstukken 3 en Conclusie Onderzoek naar kwaliteitsverbetering kwaliteitsborging instellingsniveau We concluderen dat de kwaliteitsborging op instellingsniveau bij Koning Willem 1 College voldoende is. Hiermee is voldaan aan de wettelijke vereiste op het gebied van kwaliteitsborging (WEB, art ). Onderzoeken naar kwaliteitsverbetering opleidingsniveau Manager transport en logistiek (Manager transport en logistiek), We concluderen dat bij de opleiding Manager transport en logistiek de kwaliteitsgebieden examinering en diplomering en kwaliteitsborging voldoende zijn. Helpende zorg & welzijn, We concluderen dat bij de opleiding Helpende zorg & welzijn het kwaliteitsgebied examinering en diplomering voldoende is. Manager handel (Filiaalmanager), We concluderen dat bij de opleiding Manager handel (Filiaalmanager) de kwaliteitsgebieden onderwijsproces, examinering en diplomering en kwaliteitsborging voldoende zijn. Installeren (Monteur koudetechniek), We concluderen dat bij de opleiding Installeren (Monteur koudetechniek) het kwaliteitsgebied kwaliteitsborging voldoende is. 2.2 Vervolg Vervolg onderzoek naar kwaliteitsverbetering kwaliteitsborging instellingsniveau We voeren geen vervolgtoezicht uit naar de kwaliteitsborging van de instelling, omdat de instelling voldoet aan de wettelijke vereiste (WEB, art ). Onderzoeken naar kwaliteitsverbetering opleidingsniveau Manager transport en logistiek (manager transport en logistiek), We voeren bij de opleiding Manager transport en logistiek geen vervolgtoezicht uit, omdat we de onderzochte kwaliteitsgebieden examinering en diplomering en kwaliteitsborging als voldoende hebben beoordeeld. Helpende zorg & welzijn, We voeren bij de opleiding Helpende zorg & welzijn geen vervolgtoezicht uit, omdat we het onderzochte kwaliteitsgebied examinering en diplomering als voldoende hebben beoordeeld. Onderzoek naar kwaliteitsverbetering mbo Koning Willem 1 College Pagina 3 van 18

8 Manager handel (Filiaalmanager), We voeren bij de opleiding Manager handel (Filiaalmanager) geen vervolgtoezicht uit, omdat we de onderzochte kwaliteitsgebieden onderwijsproces, examinering en diplomering en kwaliteitsborging als voldoende hebben beoordeeld. Installeren (Monteur koudetechniek), bbl We voeren bij de opleiding Installeren (Monteur koudetechniek) geen vervolgtoezicht uit, omdat we het onderzochte kwaliteitsgebied kwaliteitsborging als voldoende hebben beoordeeld. Onderzoek naar kwaliteitsverbetering mbo Koning Willem 1 College Pagina 4 van 18

9 3 Resultaten kwaliteitsborging op instellingsniveau In dit hoofdstuk informeren wij u over de beoordeling van de kwaliteitsborging op instellingsniveau en onderbouwen wij ons oordeel. De normering van het kwaliteitsgebied kwaliteitsborging staat in bijlage 1. De kwaliteitsborging van Koning Willem 1 College beoordelen we als voldoende. Dit oordeel is gebaseerd op de beoordeling van de onderliggende aspecten. Kwaliteitsgebied Goed Voldoende Onvoldoende 4. Kwaliteitsborging Slecht Aspecten Voldoende Onvoldoende 4.2 Beoordeling* 4.3 Verbetering en verankering* De aspecten met een * zijn kernaspecten, zie bijlage I voor normering per gebied. Beschouwing Algemeen Tijdens voorgaand onderzoek is geconstateerd dat de kwaliteitsborging onvoldoende was, omdat niet voldaan was aan de aspecten beoordeling en verbetering en verankering. Alleen deze aspecten zijn opnieuw onderzocht en beoordeeld. De beoordeling voldeed niet, omdat meer informatie beschikbaar zou moeten zijn over (essentiële elementen van) het onderwijsproces en de examinering De verankering voldeed niet, omdat als belangrijke tekortkomingen werden gesignaleerd deze niet altijd leidde tot verbeterplannen met concrete acties die passend waren op de geconstateerde tekortkomingen. Omdat de monitoring van de afname en beoordeling van examinering in de beroepspraktijk niet geborgd was, ontbrak het aan voldoende zicht op het kwaliteit van examinering. Kwaliteitsborging De kwaliteitsborging op instellingsniveau bij Koning Willem 1 College is beoordeeld als voldoende. Aan alle (kern)aspecten is voldaan. De beoordeling beoordelen we als voldoende. Onderdelen van het kwaliteitszorgsysteem zijn zodanig aangepast en met elkaar geïntegreerd, dat het informatie geeft over essentiële elementen van het onderwijsproces en de examinering. De instelling had destijds een start gemaakt met de kwaliteitsmonitor Bone-bve. Inmiddels wordt jaarlijks van iedere afdeling de kwaliteit van één opleiding gemonitord met de kwaliteitsmonitor Bone-bve. De regie van de kwaliteitsmonitor is belegd bij DGC. De kwaliteit van de overige opleidingen wordt door middel van een checklist gemonitord. De uitkomsten hiervan tezamen met de beschikbare informatie uit het dashboard, themaonderzoeken en interne audits wordt geanalyseerd en opgenomen in het afdelingsjaarplan van de betreffende afdeling. Ook de andere ondersteunende diensten zijn nauw betrokken bij de uitvoering en analyse van de kwaliteitsmonitoring waardoor het breed gedragen wordt binnen de instelling. Het afdelingsjaarplan is zodanig vernieuwd dat het in de huidige opzet inzicht geeft op de analyses, de resultaatafspraken, de actieplannen, het scholingsplan en het formatieplan. Onderzoek naar kwaliteitsverbetering mbo Koning Willem 1 College Pagina 5 van 18

10 Voorts is het afdelingsjaarplan gekoppeld aan de planning & control cyclus van de instelling. Het afdelingsjaarplan wordt ook geanalyseerd door de stafdiensten en wordt tezamen met de kwartaalrapportages en managementreview op systematische wijze meerdere malen per jaar besproken met het CvB. Daarnaast is taakverdeling tussen de afdelingen en stafdiensten aangepast en is de intentie uitgesproken om afdelingsdirecteuren van grote afdelingen in de toekomst te ondersteunen met teamleiders. De vernieuwde taakverdeling tussen de subexamencommissies en DEX heeft er toe geleid dat de monitoring van de afname en beoordeling van de examinering in de beroepspraktijk voldoende geborgd is. Dit alles in ogenschouw nemende, tezamen met de waargenomen positieve ervaringen maakt dat er nu sprake is van een krachtig en effectief kwaliteitszorgsysteem. De opleidingen worden regelmatig en betrouwbaar beoordeeld en er is voldoende zicht op voortgang en realisatie van de gestelde doelen. De verbetering en verankering beoordelen we als voldoende. In het vernieuwde afdelingsjaarplan worden zowel collegebrede- als afdelingsspecifieke informatie en afspraken vastgelegd. Een belangrijke verbetering is de analyse van wat gerealiseerd is in relatie tot de vooruitblik op wat de afdeling wil bereiken. Dit in samenhang met de analyses van de ondersteunende diensten maakt dat actieplannen passend zijn bij de geconstateerde tekortkomingen en verankerd zijn in de planning en control cyclus van de instelling. De vernieuwde taakverdeling heeft ertoe geleid dat DEX in de rol van kritische vriend de afdelingen/sub-examencommissies ondersteunt in het maken van keuzes en het verantwoorden hierover. Met het doel om de logistieke complexiteit van de examinering te reduceren houdt DEX zicht op verschillen in de taakvolwassenheid van de sub-examencommissies en adviseert zij de centrale examencommissie. Door het positioneren van regiegroepengericht op beleidsontwikkeling in de instelling zijn ondersteunende diensten beter in staat om ondersteuning te bieden bij de verschillende bedrijfsprocessen en wordt er nu gerichter gewerkt aan kwaliteitsverbeteringen. Dit alles in ogenschouw nemende, tezamen met de waargenomen positieve ervaringen van de gesproken functionarissen, maakt dat de verbetermaatregelen passend zijn bij de geconstateerde tekortkomingen. De taakverdeling tussen de afdelingen en de diensten is voldoende bekend en is voldoende verankerd. Onderzoek naar kwaliteitsverbetering mbo Koning Willem 1 College Pagina 6 van 18

11 4. Resultaten opleiding In dit hoofdstuk lichten wij het resultaat van de kwaliteitsonderzoeken bij de opleidingen toe. We geven per gebied aan wat het oordeel is (goed, onvoldoende, voldoende, slecht) en verantwoorden ons over het oordeel op het niveau van de onderliggende aspecten. 4.1 Manager transport en logistiek (Manager transport en logistiek), Het onderzoek naar kwaliteitsverbetering bij Manager transport en logistiek, 91870, niveau 4, bol, locatie Onderwijsboulevard te s-hertogenbosch richtte zich op de examinering en diplomering en de kwaliteitsborging. Het onderzoek naar kwaliteitsverbetering leidt tot de volgende beoordeling: Kwaliteitsgebied Goed Voldoende Onvoldoende 2. Examinering en diplomering 4. Kwaliteitsborging Slecht Kwaliteitsgebied Voldoende Aspect Gebied 2: Examinering en diplomering 2.1 Exameninstrumentarium* 2.2 Afname en beoordeling* 2.3 Diplomering* Gebied 4: Kwaliteitsborging 4.2 Beoordeling* 4.3 Verbetering en verankering* Onvoldoende De aspecten met een * zijn kernaspecten, zie bijlage I voor normering per gebied. Beschouwing Algemeen Tijdens voorgaand onderzoek is geconstateerd dat de examinering en diplomering en de kwaliteitsborging onvoldoende waren. We hebben ons binnen deze gebieden alleen gericht op de aspecten, die tijdens voorgaand onderzoek als onvoldoende zijn beoordeeld. De voldoende oordelen hebben we overgenomen. De examinering en diplomering voldeed niet, omdat niet voldaan werd aan de aspecten exameninstrumentarium, afname en beoordeling en diplomering. Het exameninstrumentarium voldeed niet aan de uitstroom- en de toetstechnische eisen. De schoolexamen opdrachten waren ontwikkelingsgericht in plaats van kwalificerend. Voor een groot aantal schoolexamenopdrachten was de toetsvorm niet passend, waardoor de dekkingsgraad voor de kerntaken 1 en 2 onvoldoende was. Het examen Nederlands werd onvoldoende beoordeeld omdat de beoordelingscriteria van de taalvaardigheden niet overeen kwamen met het vereiste CEF-niveau. De tweede moderne vreemde taal Duits werd onvoldoende beoordeeld omdat het niveau van de toetsen niet passend was voor het CEF niveau. Het oordeel van de talen telde niet mee in het oordeel over het exameninstrumentarium. Onderzoek naar kwaliteitsverbetering mbo Koning Willem 1 College Pagina 7 van 18

12 De afname en beoordeling was niet deugdelijk omdat er geen sprake was van gelijke beoordeling in gelijke situaties. De diplomering was niet deugdelijk en geborgd omdat de sub-examencommissie onvolledig zicht had op de afname van de examenopdrachten en de praktijkexamenopdrachten in het bijzonder. De kwaliteitsborging voldeed niet, omdat niet voldaan was aan de aspecten beoordeling en verbetering en verankering. De beoordeling voldeed niet omdat deze nog onvoldoende informatie over de kwaliteit van de opleiding opleverde. De verbetering en verankering voldeed niet omdat de verbetermaatregelen niet passend waren bij de geconstateerde tekortkomingen. Ook had de sub-examencommissie de examenkwaliteit onvoldoende geborgd. Hierna lichten we alleen de aspecten toe, die tijdens dit onderzoek opnieuw zijn onderzocht en beoordeeld. Examinering en diplomering De examinering en diplomering beoordelen we als voldoende. Aan alle aspecten is voldaan. Het exameninstrumentarium sluit aan op de uitstroomeisen en voldoet aan de toetstechnische eisen. Er is een duidelijk onderscheid tussen de ontwikkelgerichte toetsing en de examinering. De opleiding heeft een gefundeerd verbetertraject ontwikkeld en ingezet om examens die niet dekkend waren voor de beoogde werkprocessen anders vorm te geven. De fasering van het verbetertraject is daarbij afgestemd op de mogelijkheden die het examenprogramma biedt. Een eerste deel van de opdrachten is zodanig aangepast dat de dekking van het kwalificatiedossier nu voldoende is. De opleiding zal in het volgende schooljaar de overige examenopdrachten verbeteren. Het examen Nederlands voldoet, omdat dit nu overeenkomt met het vereiste CEF-niveau. Ook het niveau van de toetsen van de tweede moderne vreemde taal Duits is nu passend bij het CEF-niveau. De examenprocessen van afname en beoordeling zijn voldoende deugdelijk. Gelijkwaardige afnamecondities voor examinering worden beschreven en gewaarborgd. Door scholing wordt de deskundigheid van de assessoren bevorderd. Dit kan voor de assessoren in de praktijk nog worden verbeterd, omdat niet alle assessoren aan de aangeboden scholing deelnemen. De diplomering is voldoende deugdelijk en geborgd. De examens worden geëvalueerd. De analyse van de examenresultaten kan nog worden verbeterd. Er vinden vanuit de sub-examencommissie bijwoningen van de examinering in de praktijk en in de school plaats. De examencommissie geeft aan het aantal bijwoningen nog te zullen vergroten. Verder worden de examendossiers in opdracht van de examencommissie steekproefsgewijs op inhoud en volledigheid gecontroleerd. De kwaliteitsborging beoordelen we als voldoende. Aan alle aspecten is voldaan. We lichten alleen de aspecten toe, die opnieuw zijn onderzocht. Onderzoek naar kwaliteitsverbetering mbo Koning Willem 1 College Pagina 8 van 18

13 De beoordeling beoordelen we als voldoende. Er vindt nu monitoring plaats naar aanleiding van de in het jaarplan van de afdeling mobiliteit en logistiek gestelde doelen. Deze monitoring levert adequate informatie op over de kwaliteit van de opleiding(en). Er heeft een externe audit van de opleiding Manager transport en logistiek plaatsgevonden. De resultaten van de monitoring en de audit zijn in kaart gebracht en geanalyseerd. De verbetering en verankering beoordelen we als voldoende. Naar aanleiding van de analyse van de resultaten worden adequate verbetermaatregelen geformuleerd in het nieuwe jaarplan. Dit gebeurt volgens een vastgelegde systematiek. De subexamencommissie heeft de examenkwaliteit voldoende geborgd. Er is zicht op de examinering in de school en in de praktijk. Verder vindt er adequate bevordering van de deskundigheid van alle bij de examinering betrokkenen plaats. Onderzoek naar kwaliteitsverbetering mbo Koning Willem 1 College Pagina 9 van 18

14 4.2 Helpende zorg & welzijn, Het onderzoek naar kwaliteitsverbetering bij Helpende zorg & welzijn, 92640, niveau 2, bol, locatie Onderwijsboulevard te s-hertogenbosch richtte zich op de examinering en diplomering. Het onderzoek naar kwaliteitsverbetering leidt tot de volgende beoordeling: Kwaliteitsgebied Goed Voldoende Onvoldoende 2. Examinering en diplomering Slecht Kwaliteitsgebied Voldoende Aspect Gebied 2: Examinering en diplomering 2.1 Exameninstrumentarium* 2.2 Afname en beoordeling* 2.3 Diplomering* Onvoldoende De aspecten met een * zijn kernaspecten, zie bijlage I voor normering per gebied. Beschouwing Algemeen Tijdens voorgaand onderzoek is geconstateerd dat de examinering en diplomering onvoldoende was. We hebben ons binnen dit gebied alleen gericht op aspecten die tijdens voorgaand onderzoek als onvoldoende zijn beoordeeld. De examinering en diplomering voldeed niet, omdat niet voldaan was aan de aspecten exameninstrumentarium, afname en beoordeling en diplomering. Het exameninstrumentarium voldeed niet aan de uitstroom- en de toetstechnische eisen. De toetsvorm was onvoldoende afgestemd op de vereisten en zorgde er onvoldoende voor dat kennis, vaardigheden en houding in een goede balans passend werden beoordeeld. Daarbij voldeden de cesuur en de beoordelingswijze niet. De richtlijnen in het exameninstrumentarium boden onvoldoende waarborg voor een zo objectief mogelijke en betrouwbare beoordeling. De subexamencommissie vergewiste zich in onvoldoende mate van de afname en beoordeling van de examenopdrachten in de praktijk. Hierdoor had de subexamencommissie haar verantwoordelijkheid in onvoldoende mate geborgd. Hierna lichten we alleen de aspecten toe, die tijdens dit onderzoek opnieuw zijn onderzocht en beoordeeld. Examinering en diplomering De examinering en diplomering beoordelen we als voldoende. Aan alle aspecten is voldaan. Het exameninstrumentarium sluit aan op de uitstroomeisen en voldoet aan de toetstechnische eisen. Het beroepsgerichte exameninstrumentarium is geheel vernieuwd. De methodemix bestaat uit twee proeven van bekwaamheid (pvb) en twee kennistoetsen. Het exameninstrumentarium is passend bij de taakcomplexiteit en dekt de kerntaken en de werkprocessen. De cesuur voldoet. Onderzoek naar kwaliteitsverbetering mbo Koning Willem 1 College Pagina 10 van 18

15 Om het oordeel voldoende en goed te kunnen onderscheiden is aanpassing van de beoordelingsformulieren gewenst. De beoordelingsinstructies zijn aangepast en maken een objectieve beoordeling mogelijk. De examenprocessen van afname en beoordeling zijn deugdelijk. Het afnemen van de pvb van kerntaak 1 in de beroepspraktijk in combinatie met het afnemen van de pvb van kerntaak 2 en de theorietoetsen op de instelling maakt dat kennis, vaardigheden en houding in een goede balans en passend beoordeeld worden. Uit de gesprekken die gevoerd zijn met de beoordelaars en de examendossiers die ingezien zijn blijkt dat de beoordeling op een deskundige wijze tot stand gekomen is en op een passende wijze onderbouwd is, waarbij de beoordeling van goed en excellent nog inzichtelijker kan worden onderbouwd. De diplomering is voldoende deugdelijk en geborgd. Uit het onderzoek blijkt dat de sub-examencommissie deskundig is en kennis heeft van alle aspecten van het examenproces. Dit in combinatie met de centrale examencommissie en de facilitering door het examenbureau en de Dienst examinering (DEX), maakt dat de examencommissie als geheel voldoende functioneert. De sub-examencommissie heeft zicht op de afname en beoordeling van de pvb die afgenomen wordt in de beroepspraktijk en de pvb en theorietoetsen die op de instelling afgenomen worden. De pvb die afgenomen wordt in de beroepspraktijk wordt steekproefsgewijs bijgewoond en de bevindingen hiervan worden geëvalueerd. Het verder versterken van de resultatenanalyse is een volgende stap. De verantwoordelijkheidsverdeling tussen de sub-examencommissie en DEX is zodanig aangepast dat de kwaliteit van het exameninstrumentarium en examendossiers op een deugdelijke wijze is geborgd. Alle leden van de subexamencommissie en beoordelaars zijn geschoold. Voorts is geborgd dat alleen deskundige beoordelaars ingezet worden. Het vernieuwde exameninstrumentarium tezamen met de vergrote deskundigheid van alle bij de examinering betrokken functionarissen, de interne checks and balances en een goede facilitering staat garant voor een deugdelijke en voldoende geborgde examinering en diplomering. Onderzoek naar kwaliteitsverbetering mbo Koning Willem 1 College Pagina 11 van 18

16 4.3 Manager handel (Filiaalmanager), Het onderzoek naar kwaliteitsverbetering bij Manager handel, 93492, niveau 4, bbl, locatie Vlijmenseweg te s-hertogenbosch richtte zich op het onderwijsproces, de examinering en diplomering en de kwaliteitsborging. Het onderzoek naar kwaliteitsverbetering leidt tot de volgende beoordeling: Kwaliteitsgebied Goed Voldoende Onvoldoende 1. Onderwijsproces 2. Examinering en diplomering 4. Kwaliteitsborging Slecht Kwaliteitsgebied Voldoende Onvoldoende Aspect Gebied 1: Onderwijsproces Programma 1.1 Samenhang 1.2 Maatwerk Leren in de onderwijsinstelling 1.3 Didactisch handelen* 1.4 Leertijd 1.5 Leeromgeving Begeleiding 1.6 Intake & plaatsing 1.7 Studieloopbaanbegeleiding* 1.8 Zorg Leren in de beroepspraktijk 1.9 Beroepspraktijkvorming* Gebied 2: Examinering en diplomering 2.1 Exameninstrumentarium* 2.2 Afname en beoordeling* 2.3 Diplomering* Gebied 4: Kwaliteitsborging 4.1 Sturing* 4.2 Beoordeling* 4.3 Verbetering en verankering* 4.4 Dialoog en verantwoording De aspecten met een * zijn kernaspecten, zie bijlage I voor normering per gebied. Beschouwing Algemeen Tijdens voorgaand onderzoek is geconstateerd dat het onderwijsproces, de examinering en diplomering en de kwaliteitsborging onvoldoende waren. We hebben ons binnen deze gebieden alleen gericht op aspecten die tijdens voorgaand onderzoek als onvoldoende zijn beoordeeld. De voldoende oordelen hebben we overgenomen. Het onderwijsproces voldeed niet, omdat niet voldaan was aan de aspecten maatwerk en studieloopbaanbegeleiding. De examinering en diplomering voldeed niet, omdat niet voldaan was aan de aspecten exameninstrumentarium, afname en beoordeling en diplomering. Onderzoek naar kwaliteitsverbetering mbo Koning Willem 1 College Pagina 12 van 18

17 De kwaliteitsborging voldeed niet, omdat niet voldaan was aan de aspecten beoordeling en verbetering en verankering. In tegenstelling tot voorheen is de directiepositie van deze afdeling de afgelopen twee jaar zonder wisselingen verlopen. Dat heeft rust en duidelijkheid gegeven bij het team. Wel zijn er binnen het team nog personele wisselingen gaande. Maar het team heeft het elan weer te pakken en werkt gestructureerd aan het verbeteren van de opleiding. Het team heeft duidelijke keuzes gemaakt in haar verbeteraanpak. In het afgelopen jaar is de prioriteit vooral gelegd bij het opzetten van een georganiseerde begeleiding en de ontwikkeling van het exameninstrumentarium. Maatwerk stond vooralsnog niet op de verbeteragenda, dat komt in een volgende verbeterronde aan bod. Hierna lichten we alleen de aspecten toe, die tijdens dit onderzoek opnieuw zijn onderzocht en beoordeeld. Onderwijsproces Het onderwijsproces beoordelen we als voldoende. Aan alle kernaspecten is voldaan, behalve maatwerk, dat omwille van prioritering nog niet is opgepakt ter verbetering. De studieloopbaanbegeleiding is sterk verbeterd. In eerste instantie is de nadruk gelegd op het beter structureren van de begeleiding op het bestrijden van ongeoorloofd verzuim. Studenten en bedrijven namen de schooldag namelijk niet altijd serieus. Dat is nu niet meer aan de orde ook omdat de schooldag nu weer als waardevol wordt ervaren. Dit jaar is de studieloopbaanbegeleiding verder geïmplementeerd en heeft het team scholing gevolgd om de student beter te kunnen begeleiden. Het effect is dat studenten zich absoluut niet meer aan hun lot overgelaten voelen zoals twee jaar geleden aan de orde was. De studenten ervaren nu meer structuur in de begeleiding en dat geeft rust. De rol van de mentor en de bpv-consulent is duidelijker ingevuld. Studenten worden begeleid op school en tijdens de bpv. Het carrousel-model geeft de mogelijkheid om knelpunten uit de opleiding of de stage te bespreken en het bpvbezoek wordt gebruikt om de voortgang van de individuele student te monitoren. De mentor is op de hoogte van de voortgang van studenten en heeft een beeld van eventuele knelpunten. Examinering en diplomering De examinering en diplomering beoordelen we als voldoende. Aan alle aspecten is voldaan. We lichten alleen de aspecten toe, die opnieuw zijn onderzocht. Het exameninstrumentarium voldoet, omdat het aansluit op de uitstroomeisen en voldoet aan de toetstechnische eisen. Het team verdient een compliment voor de ontwikkeling van het instrumentarium dat geleid heeft tot zeer degelijke en uitgebreide proeves. De keuze om kerntaak 1 in school af te nemen en 2 tot en met 4 in de praktijk is een logische keuze. De gekozen examenmix is waardevol. Ook het exameninstrumentarium Moderne vreemde taal Engels is door ons onderzocht en voldoet. De eerder geconstateerde aandachtspunten zijn verholpen. De afname en beoordeling voldoet aan de basiskwaliteit, maar de betrouwbaarheid van de oordelen van de praktijkbeoordelaar kan nog beter. Er wordt voldoende aan de voorkant geregeld om de kwaliteit te waarborgen, maar een deel van de eisen heeft tot nog toe een vrijblijvend karakter. Zo is het geen eis dat de beoordelaar in de praktijk een andere is dan de opleider. Ook is de training voor praktijkbeoordelaars (nog) geen verplichting. Praktijkbeoordelaars ervaren bij beide de ruimte om hierin eigen keuzes te maken. Onderzoek naar kwaliteitsverbetering mbo Koning Willem 1 College Pagina 13 van 18

18 Bij grotere bedrijven met meerdere afdelingen zijn er vaak wel meerdere functionarissen betrokken bij het opleiden en beoordelen, maar dit leidt niet automatisch tot meer deskundigheid van beoordelen. De sub-examencommissie heeft onderzoek gedaan naar de betrouwbaarheid van de oordelen van de praktijkbeoordelaars. Dit heeft geleid tot aanscherping van de procedure Afname praktijkexamens en steekproefsgewijze bijwoningen van de afname van de examinering in de beroepspraktijk. De diplomering is voldoende omdat het proces deugdelijk verloopt en voldoende geborgd is. De sub-examencommissie heeft voldoende beeld van de kwaliteit van de examinering. Het is waardevol dat de sub-examencommissie per toets(moment) vaststelt of er onregelmatigheden waren en of de toets vastgesteld kan worden. Ook heeft de sub-examencommissie zicht op zaken die beter kunnen zoals de afname en beoordeling in de praktijk. Onderzoek was gestart en leidde tot de uitkomst dat steekproeven in de toekomst onontbeerlijk zijn. De maatregelen zijn inmiddels getroffen. De sub-examencommissie, c.q. de voorzitter handelt slagvaardig. We willen meegeven alert te blijven op gezamenlijke/gedeelde besluitvorming van de leden en voorzitter van de sub-examencommissie. Kwaliteitsborging De kwaliteitsborging beoordelen we als voldoende. Aan alle kernaspecten is voldaan. We lichten alleen de aspecten toe, die opnieuw zijn onderzocht. De beoordeling beoordelen we als voldoende. Het team heeft nu zicht op de kwaliteit van het onderwijsproces en de examinering en stelt zichzelf eisen om de kwaliteit te verbeteren. Dat is een groot verschil met een paar jaar terug. Op opleidingsniveau is er een scan gemaakt op alle aspecten van het toezichtkader van de inspectie en van een oordeel voorzien. Een gedeelte is verkregen door het uitzetten van vragenlijsten bij studenten, docenten en het werkveld. De respons van de laatste groep was niet hoog genoeg om betrouwbaar te zijn. De gegevens zijn geanalyseerd en in het jaarplan zijn de actieplannen geformuleerd die opgepakt worden. Ook hier zien we dat het team duidelijke keuzes maakt waardoor er geen discussie is over prioriteiten. Naast deze formele wijze van evaluatie past het team, met name onder studenten, ook een meer informele evaluatie toe. Hierdoor heeft het team een voldoende beeld van wat er leeft onder studenten. Het is wel goed dit meer informeel gevormde beeld te toetsen. Op onderdelen hebben wij gemerkt dat de beelden niet volledig aansluiten op de ervaring van studenten. Als het team de formele en informele evaluatie aan elkaar toets, zal zij nog beter in staat zijn om de juiste keuzes te maken in actieplannen en prioriteiten. De verbetering en verankering beoordelen we als voldoende. De actieplannen zijn duidelijk belegd per expertteam. Dat team moet zich aan de directie verantwoorden over de voortgang en het uiteindelijke resultaat. De directeur houdt het overzicht over de verbeteringen en stuurt waar nodig bij. Behaalde resultaten die positief uitpakken worden waar mogelijk uitgerold naar andere opleidingen. De geschetste wijze van handelen getuigt van een gestructureerde aanpak van kwaliteitszorg en is voldoende verankerd. Onderzoek naar kwaliteitsverbetering mbo Koning Willem 1 College Pagina 14 van 18

19 4.4 Installeren (Monteur koudetechniek), Het onderzoek naar kwaliteitsverbetering bij Installeren (Monteur koudetechniek, 94274, niveau 2 bbl, locatie Onderwijsboulevard te s-hertogenbosch richtte zich op verbeteren en verankeren als onderdeel van de kwaliteitsborging. Het onderzoek naar kwaliteitsverbetering leidt tot de volgende beoordeling: Kwaliteitsgebied Goed Voldoende Onvoldoende Slecht 4. Kwaliteitsborging Kwaliteitsgebied Voldoende Aspect Gebied 4: Kwaliteitsborging 4.3 Verbetering en verankering* De aspecten met een * zijn kernaspecten, zie bijlage I voor normering per gebied. Beschouwing Onvoldoende Algemeen Tijdens voorgaand onderzoek is geconstateerd dat de kwaliteitsborging onvoldoende was, met name het aspect verbetering en verankering. Dit aspect voldeed niet omdat de verbetermaatregelen onvoldoende aansloten op de uitkomsten van de beoordelingen in het licht van de gestelde doelen. We hebben ons in het onderzoek alleen gericht op dit aspect. Kwaliteitsborging De kwaliteitsborging beoordelen we nu als voldoende. Aan alle aspecten is voldaan. We lichten alleen het aspect toe dat opnieuw is onderzocht. De verbetering en verankering beoordelen we als voldoende. Docenten werken aan verbeterpunten die enerzijds voortvloeien uit het teamplan en anderzijds uit eigen evaluaties en bevindingen. Onder begeleiding van de senior beleidsmedewerker en in overleg met de afdelingsdirecteur, worden er prioriteiten gesteld. Het bepalen van verbeterpunten gaat nu veel beter omdat er nieuwe sturingsinstrumenten zijn ingevoerd, zoals het teamplan. Monitoring en evaluatie is versterkt door het inzetten van het instrument BONE-BVE en aansluitend het gebruik van de checklist kwaliteit opleiding. Hiermee krijgen het management en het team ieder jaar een aangescherpt beeld van de kwaliteit van onderwijs, examinering en kwaliteitsborging en daarmee ook oog voor wat er aan verbeteringen nodig is. Het management heeft docenten zorgvuldig betrokken bij het doorvoeren van verbetering van de kwaliteitsborging. Via onder andere studiedagen is draagvlak ontstaan voor een meer gestructureerde kwaliteitsborging binnen de opleiding. Het team ervaart de voordelen van deze meer structurele inrichting van de kwaliteitsborging. Vooral omdat de genomen maatregelen geleid hebben tot het beoogde effect. Onderzoek naar kwaliteitsverbetering mbo Koning Willem 1 College Pagina 15 van 18

20 Onderzoek naar kwaliteitsverbetering mbo Koning Willem 1 College Pagina 16 van 18

21 Bijlage Bijlage I Normering kwaliteitsgebieden De normering per gebied is per januari 2015 aangepast (zie het Toezichtkader bve 2012 en het Addendum 2015). De normering heeft betrekking op de toezichtperiode De normen Op basis van het onderzoek spreekt de inspectie oordelen uit waarvoor zij gebruikmaakt van een normering. Deze bestaat uit twee stappen: 1. Een normering per aspect: per aspect wordt een beschrijving gegeven. Indicatoren en portretten zijn daarvoor indicerend en richtinggevend. 2. Een normering per kwaliteitsgebied. Voor de normering van het gebied Onderwijsproces zijn drie kernaspecten benoemd. De kernaspecten zijn: aspect 1.3 Didactisch handelen, aspect 1.7 Studieloopbaanbegeleiding en aspect 1.9 Beroepspraktijkvorming. Normering Onderwijsproces Goed Aan acht van de negen aspecten is voldaan. Aan alle kernaspecten is voldaan. De elementen in het portret worden op een uitstekende wijze uitgevoerd. Voldoende Aan zeven van de negen aspecten is voldaan. Aan alle kernaspecten is voldaan. Er wordt voor het grootste deel aan de omschrijving van de portretten van deze indicatoren voldaan, waaronder de essentiële onderdelen. Onvoldoende Aan één of meer kernaspecten is niet voldaan. Aan drie tot acht van de aspecten is niet voldaan. Slecht Aan geen van de aspecten is voldaan. Bij het gebied Examinering en diplomering zijn alle aspecten als kernaspect benoemd. Normering Examinering en diplomering Goed Aan alle drie de aspecten is voldaan. De elementen in het portret worden op een uitstekende wijze uitgevoerd. Voldoende Aan alle drie de aspecten is voldaan. Er wordt voor het grootste deel aan de omschrijving van de portretten voldaan, waaronder de essentiële onderdelen. Onvoldoende Aan een of twee aspecten is niet voldaan. Slecht Aan geen van de drie aspecten is voldaan. Onderzoek naar kwaliteitsverbetering mbo Koning Willem 1 College Pagina 17 van 18

22 Voor de normering van het gebied Kwaliteitsborging zijn drie kernaspecten benoemd. De kernaspecten zijn 4.1 Sturing, 4.2 Beoordeling en 4.3 Verbetering en verankering. Normering Kwaliteitsborging Goed Aan alle aspecten is voldaan. De elementen in het portret worden op een uitstekende wijze uitgevoerd. Voldoende Aan alle kernaspecten is voldaan. Er wordt voor het grootste deel aan de omschrijving van de portretten voldaan, waaronder de essentiële onderdelen. Onvoldoende Aan twee of drie aspecten is niet voldaan. Slecht Aan alle vier de aspecten is niet voldaan. Onderzoek naar kwaliteitsverbetering mbo Koning Willem 1 College Pagina 18 van 18