ONDERZOEK NAAR KWALITEITSVERBETERING MBO OP INSTELLINGS- EN OPLEIDINGSNIVEAU. ROC Friese Poort

Transcriptie

1 ONDERZOEK NAAR KWALITEITSVERBETERING MBO OP INSTELLINGS- EN OPLEIDINGSNIVEAU ROC Friese Poort Plaats : Leeuwarden BRIN nummer : 08PG Onderzoeksnummer : en Datum onderzoek : 31 oktober t/m 10 november 2016 Datum vaststelling : 20 december 2016

2

3 INHOUD 1 Inleiding Conclusie en vervolg Conclusie Vervolg Resultaten kwaliteitsborging op instellingsniveau Resultaten opleiding Mediavormgever (Art & Design KC GOC) Applicatie- en mediaontwikkeling (Applicatieontwikkelaar) Timmerman ICT-medewerker (Medewerker beheer ICT) Bijlage Bijlage I Normering kwaliteitsgebieden... 18

4

5 1 Inleiding In dit rapport staan de uitkomsten van de vijf onderzoeken naar kwaliteitsverbetering die de Inspectie van het Onderwijs van 31 oktober tot en met 10 november 2016 heeft uitgevoerd bij ROC Friese Poort. De inspectie baseert zich op het Toezichtkader bve 2012 en het Addendum 2015 (zie Aanleiding onderzoek naar kwaliteitsverbetering De aanleiding voor het onderzoek naar kwaliteitsverbetering is het vervolgtoezicht, zoals is opgenomen in het rapport van het onderzoek naar de Staat van de instelling (vastgesteld op 21 september 2015). In dezelfde periode en in samenhang met het onderzoek naar kwaliteitsverbetering zijn kwaliteitsonderzoeken uitgevoerd bij vijf opleidingen. Voor drie van de vijf opleidingen geldt dat deze zijn uitgevoerd bij opleidingen in de herziene kwalificatiestructuur, die verwant zijn aan de opleidingen waarop het onderzoek naar kwaliteitsverbetering betrekking heeft. Dit rapport en het rapport kwaliteitsonderzoek zijn aan elkaar gerelateerd. De uitkomsten van de kwaliteitsonderzoeken zijn opgenomen in het rapport Kwaliteitsonderzoek mbo met dezelfde vaststellingsdatum. We hebben de kwaliteitsborging op instellingsniveau onderzocht, omdat tijdens de Staat van de instelling is geconstateerd dat de instelling niet voldeed aan de wettelijke vereiste op het gebied van kwaliteitsborging (WEB, art ). Daarnaast hebben we een onderzoek naar kwaliteitsverbetering uitgevoerd bij de volgende opleidingen. Gebied Gebied Examinering Leerweg, niveau, locatie Kwaliteitsborging en diplomering Niet onderzocht Mediavormgever (Art & Design KC GOC) leerweg bol, niveau 4, locatie Splitting 21-23, Drachten Niet onderzocht Applicatie- en mediaontwikkeling Leerweg bol, niveau 4, locatie Espelerlaan 74, Emmeloord (Applicatieontwikkelaar) Timmerman Niet onderzocht leerweg bbl, niveau 2, locatie Splitting 21-23, Drachten ICT-medewerker (Medewerker beheer ICT) ICT-medewerker (Medewerker beheer ICT) leerweg bbl, niveau 3, locatie Wilaardeburen 1, Leeuwarden We hebben bij de opleidingen Mediavormgever, Applicatieontwikkelaar en Medewerker beheer ICT de examinering en diplomering onderzocht omdat tijdens de Staat van de instelling is geconstateerd dat er sprake was van onvoldoende examenkwaliteit. We hebben bij de opleidingen Timmerman en Medewerker beheer ICT de kwaliteitsborging onderzocht omdat tijdens de Staat van de instelling is geconstateerd dat er sprake was van niet-naleving van de wet op het gebied van kwaliteitsborging (WEB, art ). Om ons een beeld te vormen van de kwaliteitsverbeteringen hebben we informatie over de instelling en opleidingen geanalyseerd. Onderzoek naar kwaliteitsverbetering mbo - ROC Friese Poort Pagina 1 van 18

6 Op locatie zijn documenten onderzocht en gesprekken gevoerd. Er is onder andere gesproken met docenten, examencommissies, het management en het college van bestuur. In het kader van ons oordeel over kwaliteitsborging op instellingsniveau hebben we ook de kwaliteitsborging bij de opleidingen Medewerker evenementenorganisatie en Pedagogisch werk onderzocht en de bevindingen betrokken bij het oordeel. In dit rapport starten we met de conclusie van de onderzoeken naar kwaliteitsverbetering en geven we aan wat het vervolg is (hoofdstuk 2). Daarna volgt de toelichting op de beoordeling van de kwaliteitsborging op instellingsniveau (hoofdstuk 3). Vervolgens lichten we de onderzoeken naar kwaliteitsverbetering op opleidingsniveau toe (hoofdstuk 4). De normering is als bijlage I toegevoegd aan dit rapport. Onderzoek naar kwaliteitsverbetering mbo - ROC Friese Poort Pagina 2 van 18

7 2 Conclusie en vervolg In dit hoofdstuk staat de conclusie van de onderzoeken naar kwaliteitsverbetering en beschrijven we het vervolg. De toelichting op de beoordeling staat in hoofdstuk de hoofdstukken 3 en Conclusie Onderzoek naar kwaliteitsverbetering kwaliteitsborging instellingsniveau We concluderen dat de kwaliteitsborging op instellingsniveau bij ROC Friese Poort voldoende is. Hiermee is voldaan aan de wettelijke vereiste op het gebied van kwaliteitsborging (WEB, art ). Onderzoeken naar kwaliteitsverbetering opleidingsniveau Mediavormgever (Art & Design KC GOC), We concluderen dat bij Mediavormgever (Art & Design KC GOC) het kwaliteitsgebied examinering en diplomering voldoende is. Applicatie- en mediaontwikkeling (Applicatieontwikkelaar), We concluderen dat bij Applicatie- en mediaontwikkeling (Applicatieontwikkelaar) het kwaliteitsgebied examinering en diplomering voldoende is. Timmerman, We concluderen dat bij Timmerman het kwaliteitsgebied kwaliteitsborging voldoende is. ICT-medewerker (Medewerker beheer ICT), We concluderen dat bij ICT-medewerker (Medewerker beheer ICT) het kwaliteitsgebied examinering en diplomering voldoende en kwaliteitsgebied kwaliteitsborging onvoldoende is. Bij deze opleiding is sprake van niet-naleving van de wet op het gebied van kwaliteitsborging (WEB, art ) 2.2 Vervolg Vervolg onderzoek naar kwaliteitsverbetering kwaliteitsborging instellingsniveau We voeren geen vervolgtoezicht uit naar de kwaliteitsborging van de instelling, omdat de instelling voldoet aan de wettelijke vereiste (WEB, art ). Vervolgtoezicht naar aanleiding van de onderzochte opleidingen We voeren bij drie opleidingen geen vervolgtoezicht uit, omdat we alle kwaliteitsgebieden als voldoende hebben beoordeeld. Bij één opleiding voeren we wel vervolgtoezicht uit, omdat we niet alle kwaliteitsgebieden als voldoende hebben beoordeeld. Het vervolgtoezicht richt zich op de geconstateerde tekortkomingen binnen het onvoldoende kwaliteitsgebied. Onderzoek naar kwaliteitsverbetering mbo - ROC Friese Poort Pagina 3 van 18

8 In onderstaand schema is het vervolgtoezicht te lezen. ICT-medewerker (Medewerker beheer ICT) crebo Beoordeling Toezichtvorm Vervolgtoezicht Kwaliteitsborging voldoet niet aan de eisen en is onvoldoende. Aangepast toezicht vanwege niet-naleving van van de WEB. Circa een jaar na het definitieve rapport beoordelen wij de kwaliteitsborging opnieuw. Onderzoek naar kwaliteitsverbetering mbo - ROC Friese Poort Pagina 4 van 18

9 3 Resultaten kwaliteitsborging op instellingsniveau In dit hoofdstuk informeren wij u over de beoordeling van de kwaliteitsborging op instellingsniveau en onderbouwen wij ons oordeel. De normering van het kwaliteitsgebied kwaliteitsborging staat in bijlage I. De kwaliteitsborging van ROC Friese Poort beoordelen we als voldoende. Dit oordeel is gebaseerd op de beoordeling van de onderliggende aspecten. Kwaliteitsgebied Goed Voldoende Onvoldoende 4. Kwaliteitsborging Slecht Aspecten Voldoende Onvoldoende 4.1 Sturing* 4.2 Beoordeling* 4.3 Verbetering en verankering* 4.4 Dialoog en verantwoording De aspecten met een * zijn kernaspecten, zie bijlage I voor normering per gebied. Beschouwing Algemeen Tijdens voorgaand onderzoek is geconstateerd dat de kwaliteitsborging onvoldoende was, omdat niet voldaan was aan de aspecten beoordeling en verbetering en verankering. Alleen deze aspecten zijn opnieuw onderzocht en beoordeeld. De beoordeling voldeed niet, omdat de beoordeling over de examenkwaliteit tekortschoot en omdat de beoordeling in het algemeen onvoldoende diepgang kende. Een beschrijving van de beoogde effecten van de inspanning en uitvoering door het team ontbraken. De verbetering en verankering voldeed evenmin. Ten eerste werden taken, bevoegdheden en verantwoordelijkheden niet uitgevoerd zoals beschreven waardoor gerichte verbeteracties niet altijd werden ondernomen. Ten tweede was er onvoldoende sprake van een kritische houding ten opzichte van teamplannen en zelfevaluaties. Ten derde was er onvoldoende sprake van een inhoudelijke systematiek van borging van kwaliteit. Hierna lichten we alleen de aspecten toe die tijdens dit onderzoek opnieuw zijn onderzocht en beoordeeld. Kwaliteitsborging De kwaliteitsborging op instellingsniveau bij ROC Friese Poort is beoordeeld als voldoende. Aan alle aspecten is voldaan. De beoordeling is voldoende omdat wij deze voldoende betrouwbaar achten. Op het gebied van examinering beschikt de instelling nu over een integraal beeld van de gerealiseerde kwaliteit, omdat quick scans en op een later moment audits zijn uitgevoerd. Deze in- en externe beoordelingen geven een betrouwbaar beeld. De teams en de examencommissies hebben de uitkomsten uit de quick scans en audits gebruikt om te bepalen voor welke opleidingen verbetermaatregelen getroffen moesten worden. Daarnaast is een stuurgroep aangesteld om de verbeteractiviteiten te monitoren en bij te sturen waar nodig. Onderzoek naar kwaliteitsverbetering mbo - ROC Friese Poort Pagina 5 van 18

10 De audits en de daarop volgende verbeteractiviteiten hebben ertoe geleid dat de kwaliteit van de examinering fors is verbeterd. Tijdens onze onderzoeken bij de opleidingen hebben we dat kunnen vaststellen. Tijdens het vorige onderzoek constateerden we ook dat zelfevaluaties van de onderwijskwaliteit onvoldoende diepgang kenden. Nu hebben we gezien dat in zelfevaluaties, mede dankzij een nieuw format, zowel de bevindingen van een team als uitkomsten uit metingen bij elkaar gebracht zijn. Daardoor geven zelfevaluaties voldoende houvast om meetbare doelstellingen en verbeteracties te formuleren. Dit resultaat is ook het gevolg van een cultuurverandering. Teams zijn in toenemende mate verantwoordelijk voor het ter hand nemen van verbeteracties en dus voor de gerealiseerde kwaliteit. Het benoemen van examencoördinatoren en taakhouders voor verschillende onderwerpen heeft het eigenaarschap van teams gestimuleerd en zorgt voor eenheid in de instelling. De verbetering en verankering beoordelen we als voldoende. Alle drie de oorzaken voor de tekortkoming zijn in voldoende mate weggenomen. Het oordeel van de inspectie bij de Staat van de Instelling is aanleiding geweest voor de instelling om de examenorganisatie en de examenprocessen ingrijpend te wijzigen. Taken, bevoegdheden en verantwoordelijkheden zijn naar aanleiding van het vorige onderzoek onder de loep genomen, aangescherpt en aangevuld. Dit heeft er bijvoorbeeld toe geleid dat op het gebied van examinering heldere beschrijvingen van de rol van vaststellingscommissie (per domein), examencommissie (per vestiging) en examencoördinator (per team) zijn geformuleerd. We hebben gezien dat taken voldoende tot goed worden uitgevoerd en dat er geen verbeteracties zijn blijven liggen. Intensief overleg en afstemming tussen deze commissies en functionarissen en de Centrale Dienst Onderwijs en Kwaliteit hebben ook gezorgd voor een toename in de deskundigheid en borging van de examenkwaliteit. Niet alleen op het gebied van examinering maar ook voor het onderwijs is een ontwikkeling gaande van elkaar aanspreken op gemaakte afspraken en van verantwoording afleggen op basis van teamplannen en metingen. We hebben gezien dat de kritische houding ten opzichte van evaluaties en teamplannen is gegroeid. Er zijn wel onderlinge verschillen in de mate waarin teams daarin ondersteuning nodig hebben van het management, centrale dienst en/of externen. Het bestuur heeft de verschillen in beeld en heeft hiervoor ook een doelstelling in de kaderbrief 2017 opgenomen. Ook zien we verschillen in de mate waarin opleidingsmanagers feedback geven aan het team over het formuleren van doelstellingen, het in kaart brengen van resultaten en het bepalen van vervolgacties. De mate van eigenaarschap en de ondersteuning van het management sluiten doorgaans goed op elkaar aan. De quick scans en audits zijn zeer behulpzaam geweest voor het kritisch beschouwen van de gerealiseerde kwaliteit. De toegevoegde waarde daarvan constateerden we al tijdens het vorig onderzoek en hebben we opnieuw kunnen vaststellen. De inhoudelijke systematiek van de borging van de kwaliteit is nu voldoende. We hebben gezien dat de huidige verbeteraanpak leidt tot meer structuur en vaste afspraken binnen teams en effect heeft. De structuur en afspraken tussen de verschillende opleidingsteams op het niveau van het domein (vestiging overstijgend) is ook zodanig verbeterd dat teams nu van elkaar leren. Onderzoek naar kwaliteitsverbetering mbo - ROC Friese Poort Pagina 6 van 18

11 Nieuwe formats voor het teamplan en de zelfevaluatie waarin de pdca-cyclus is verwerkt hebben aan de borging een positieve bijdrage geleverd. Teams worden nu gestimuleerd om meetbare doelstellingen uit te werken in activiteiten en de effecten na afronding te meten en te beschrijven. Ook in de zelfevaluatie is nu opgenomen dat het team de eigen bevindingen vergelijkt met resultaten van metingen om zo tot een betrouwbaar beeld te komen. Daarnaast hebben we gezien dat de doelen en de voortgang van de verbeteractiviteiten met regelmaat besproken worden. Dit gebeurt niet alleen in het licht van uitvoering van activiteiten maar in toenemende mate ook in het licht van de beoogde effecten. Zowel op het niveau van teams als voor de gehele instelling zijn doelstellingen in toenemende mate, maar nog niet over de gehele linie, zo geformuleerd dat achteraf beoordeeld kan worden of beoogde effecten ook zijn behaald. Scholing en onderlinge uitwisseling hebben daartoe geleid. Omdat dit een recente aanvulling is, blijft monitoring hiervan wenselijk. Het college van bestuur heeft dat ook geconstateerd en dit vervolgens in de kaderbrief voor 2017 opgenomen. Onderzoek naar kwaliteitsverbetering mbo - ROC Friese Poort Pagina 7 van 18

12 4 Resultaten opleiding In dit hoofdstuk lichten wij het resultaat van de kwaliteitsonderzoeken bij de opleidingen toe. We geven per gebied aan wat het oordeel is (goed, voldoende, onvoldoende, slecht) en verantwoorden ons over het oordeel op het niveau van de onderliggende aspecten. 4.1 Mediavormgever (Art & Design KC GOC) Het onderzoek naar kwaliteitsverbetering bij Mediavormgever (Art & Design), 90412, niveau 4, bol, locatie Splitting te Drachten richtte zich op de examinering en diplomering. Het onderzoek naar kwaliteitsverbetering leidt tot de volgende beoordeling: Kwaliteitsgebied Goed Voldoende Onvoldoende 2. Examinering en diplomering Slecht Kwaliteitsgebied Voldoende Aspect Gebied 2: Examinering en diplomering 2.1 Exameninstrumentarium* 2.2 Afname en beoordeling* 2.3 Diplomering* De aspecten met een * zijn kernaspecten, zie bijlage I voor normering per gebied. Onvoldoende Beschouwing Algemeen Tijdens voorgaand onderzoek is geconstateerd dat de examinering en diplomering onvoldoende was. Examinering en diplomering voldeed niet, omdat niet voldaan was aan de aspecten exameninstrumentarium, afname en beoordeling en diplomering. Het exameninstrumentarium voldeed niet omdat het onvoldoende aansloot op de uitstroomeisen en niet voldeed aan de toetstechnische eisen. Het onderscheid tussen ontwikkeling en examinering en de cesuur waren niet duidelijk. De beoordelingswijze waarborgde geen objectieve beoordeling. De examenprocessen van afname en beoordeling voldeden niet, omdat deze onvoldoende betrouwbaar waren. De diplomering voldeed niet, omdat deze onvoldoende deugdelijk en geborgd was. et interne toezicht op de kwaliteit van de examinering kende onvoldoende diepgang. De verantwoordelijkheid van de examencommissie met betrekking tot de kwaliteit van het exameninstrumentarium, de afname en de beoordeling bleken bij deze opleiding niet afdoende. Het oordeel van de inspectie bij de Staat van de Instelling is aanleiding geweest voor de instelling om de examenorganisatie en de examenprocessen ingrijpend te wijzigen. Het team van de opleiding Mediavormgever heeft dit, met ondersteuning van de onderwijskundigen in het domein Beeld, Kunst en Creatie en de Centrale Dienst van ROC Friese Poort, actief opgepakt. Er zijn grote stappen vooruit gezet in de verbetering van de kwaliteit van de examinering. Het team voelt zich verantwoordelijk voor de kwaliteit van de examinering en ziet zichzelf nu als eigenaar van het proces. Onderzoek naar kwaliteitsverbetering mbo - ROC Friese Poort Pagina 8 van 18

13 Er is geïnvesteerd in het vergroten van kennis door scholing van docenten, assessoren en leden van de examencommissie. Er wordt nu binnen de school geëxamineerd met ingekochte examenproducten. Het eerder gegeven oordeel van de inspectie en de door de opleiding opgezette verbeteringen hebben instellingsbreed geleid tot kennisdeling en verbeteringen. Hierna lichten we de aspecten toe. Examinering en diplomering De examinering en diplomering beoordelen we als voldoende. Aan alle aspecten is voldaan. Het oordeel over de instellingsexamens Nederlandse taal (generieke eisen) telt voor deze opleiding mee in het eindoordeel van de inspectie over de examenkwaliteit van de opleiding. Het oordeel telt mee vanaf het jaar van centrale examinering. Het exameninstrumentarium voldoet, omdat het aansluit op de uitstroomeisen en voldoet aan de toetstechnische eisen. De keuze is gemaakt om het beroepsgerichte examenmateriaal niet langer in eigen beheer te ontwikkelen maar in te kopen. Deze exameninstrumenten zijn eerder door de inspectie onderzocht en voldoende bevonden. Het instrumentarium is ongewijzigd ingezet. Het opleidingsteam heeft goede contacten met de leverancier waardoor de wensen ten aanzien van het instrumentarium eenvoudig ingebracht kunnen worden. Ook het werkveld is daarbij betrokken. Tijdens het onderzoek van de Staat van de Instelling is al vastgesteld dat het exameninstrumentarium voor Nederlandse taal en Engels voldoet. Door de examinering op school is er een duidelijke scheiding tussen de opleidingsgerichte beroepspraktijkvorming (bpv) en de examinering. De studenten kennen het onderscheid tussen opleiden en examineren. De cesuur is duidelijk en eenduidig. Alle betrokkenen, constructeurs, vaststellers en beoordelaars, zijn geschoold en tijdens verschillende bijeenkomsten geïnformeerd over de nieuwe wijze van examineren, de organisatie van het examen, de beoordelingscriteria en de wijze van beoordelen. Daardoor hebben zij een helder beeld van hoe het examen eruit ziet, hoe het wordt uitgevoerd en beoordeeld. Het werkveld is tevens geïnformeerd over de gewijzigde opzet. De examenprocessen van afname en beoordeling zijn voldoende deugdelijk verlopen. Alle werkprocessen uit het kwalificatiedossier worden geëxamineerd, er zijn beoordelingsvoorschriften voor borging van een voldoende objectieve beoordeling. De prestatie-indicatoren uit de werkprocessen zijn opgenomen in de beoordelingsformulieren en worden gehanteerd. De instructies bij het ingekochte instrumentarium worden gevolgd. Een beoordelaar van school zijnde niet de begeleidend docent neemt met een onafhankelijke beoordelaar uit het werkveld de examens af. Blijkens de documenten in de examendossiers vindt de beoordeling van de studenten nauwkeurig en onderbouwd plaats. De bevindingen van examenkandidaten, assessoren en de werkveldvertegenwoordiger bij evaluaties worden ingezet bij de verdere ontwikkeling van de examinering. Uit geanalyseerde enquêtes en gesprekken met studenten blijkt dat zij tevreden zijn over de procesbegeleiding tijdens het examen en dat ze goed op de hoogte zijn van de beoordelingscriteria. De diplomering is voldoende deugdelijk en geborgd. De examencommissie functioneert naar behoren. De commissie vergewist zich zowel van de kwaliteit van de exameninstrumenten als van de beoordeling van de examens. Voor de vaststelling van de examens is er een aparte vaststellingscommissie. Onderzoek naar kwaliteitsverbetering mbo - ROC Friese Poort Pagina 9 van 18

14 De examencommissie voert de in het instellingsbrede Plan van aanpak verbetering examinering opgenomen evaluaties uit. De analyses van die evaluaties worden vervolgens gebuikt om, indien nodig, verbeteringen aan te brengen. Steekproefsgewijs vinden er bijwoningen plaats door een lid van de examencommissie. Daartoe wordt een checklist gehanteerd. De dossiers worden steekproefsgewijs onderzocht om na te gaan of de beoordeling deugdelijk is geweest. De onderzochte dossiers waren volledig en overzichtelijk. Zowel de leden van de examencommissie als de externe assessoren zijn geschoold. Kortom, de examencommissie heeft zicht en grip op de examinering en neemt haar verantwoordelijkheid. 4.2 Applicatie- en mediaontwikkeling (Applicatieontwikkelaar) Het onderzoek naar kwaliteitsverbetering bij Applicatie- en mediaontwikkeling (Applicatieontwikkelaar), 95311, niveau 4, bol, locatie Emmeloord richtte zich op de examinering en diplomering. Het onderzoek naar kwaliteitsverbetering leidt tot de volgende beoordeling: Kwaliteitsgebied Goed Voldoende Onvoldoende 2. Examinering en diplomering Slecht Kwaliteitsgebied Voldoende Aspect Gebied 2: Examinering en diplomering 2.1 Exameninstrumentarium* 2.2 Afname en beoordeling* 2.3 Diplomering* De aspecten met een * zijn kernaspecten, zie bijlage I voor normering per gebied. Onvoldoende Beschouwing Algemeen Tijdens voorgaand onderzoek is geconstateerd dat de examinering en diplomering onvoldoende was. We hebben ons bij het onderzoek naar kwaliteitsverbetering binnen dit gebied alleen gericht op de aspecten, die tijdens voorgaand onderzoek als onvoldoende zijn beoordeeld. Het voldoende oordeel voor diplomering hebben we overgenomen. Het kwaliteitsgebied examinering en diplomering voldeed niet, omdat niet voldaan was aan de aspecten exameninstrumentarium en afname en beoordeling. Het exameninstrumentarium voldeed niet omdat het onvoldoende aansloot op de uitstroomeisen en niet voldeed aan toetstechnische eisen waaronder de cesuur. Afname en beoordeling voldeed niet omdat de examenprocessen voor het beroepsgerichte deel onvoldoende deugdelijk waren verlopen. Zo ontbraken gegevens omtrent de beoordeling in de examendossiers en verliep de beoordeling niet in alle gevallen conform het voorschrift bij de proeve. Het inspectieoordeel bij de Staat van de Instelling is aanleiding geweest voor de instelling om de examenorganisatie en de examenprocessen ingrijpend te wijzigen. Het opleidingsteam ICT heeft dit actief opgepakt en grote stappen vooruit gezet in de verbetering van de kwaliteit van de examinering. Het team voelt zich verantwoordelijk voor de kwaliteit van de examinering en ziet zichzelf als eigenaar van het proces. Onderzoek naar kwaliteitsverbetering mbo - ROC Friese Poort Pagina 10 van 18

15 Scholingen en overleggen hebben plaatsgevonden voor het vergroten van kennis bij docenten/assessoren en bij leden van de examencommissie. De keuze is gemaakt om het beroepsgerichte examenmateriaal niet langer in eigen beheer te ontwikkelen maar in te kopen, en faciliteiten zijn gerealiseerd voor het binnen de school examineren door middel van de ingekochte examenprojecten. De instelling heeft in de zomer van dit jaar een audit op de examinering laten uitvoeren. Daarin is geconstateerd dat de kwaliteit van de examinering en diplomering voldoende is. Hierna lichten we alleen de aspecten toe, die tijdens dit onderzoek opnieuw zijn onderzocht en beoordeeld. Examinering en diplomering De examinering en diplomering beoordelen we als voldoende. Aan alle aspecten is voldaan. Het oordeel over de instellingsexamens Nederlandse taal (generieke eisen) telt voor deze opleiding mee in het eindoordeel van de inspectie over de examenkwaliteit van de opleiding. Het oordeel telt mee vanaf het jaar van centrale examinering. Het exameninstrumentarium voldoet, omdat het aansluit op de uitstroomeisen en voldoet aan de toetstechnische eisen. De exameninstrumenten worden voor het beroepsgerichte deel ingekocht bij een externe leverancier. Deze exameninstrumenten zijn eerder door de inspectie onderzocht en voldoende bevonden. Vaststelling van de exameninstrumenten vindt plaats door een vaststellingscommissie. Het instrumentarium is ongewijzigd ingezet. Studenten (en hun ouders) en beoordelaars zijn tijdens verschillende bijeenkomsten geïnformeerd over de nieuwe wijze van examineren: over de organisatie van het examen nu deze binnen de school plaatsvindt, over de beoordelingscriteria en over de wijze van beoordelen. Ook de leerbedrijven zijn geïnformeerd over de gewijzigde gang van zaken. Een vertegenwoordiger van het werkveld heeft de afname bijgewoond om zo kennis te nemen van de nieuwe werkwijze. De opleiding is voornemens om in het komende jaar de betrokkenheid van het bedrijfsleven bij de examineren te voort te zetten. Het exameninstrumentarium voor Nederlandse taal en Engels sluit aan op de uitstroomeisen en voldoet aan de toetstechnische eisen. Dit is al vastgesteld tijdens het onderzoek naar de Staat van de Instelling. De examenprocessen van afname en beoordeling zijn voldoende deugdelijk verlopen. De instructies bij het ingekochte instrumentarium worden gevolgd. Standaard wordt nu gewerkt met twee assesoren: één assessor uit het opleidingsteam; de tweede assessor is veelal afkomstig van een andere locatie van ROC Friese Poort. De beoordeling van de studenten vindt nauwkeurig plaats en wordt onderbouwd. Dat blijkt uit de documenten in de examendossiers. De onderzochte dossiers waren volledig en overzichtelijk gevuld. Team en examencommissie hebben actief feedback verzameld over het nieuwe examenproces. De bevindingen van examenkandidaten, assessoren en de werkveldvertegenwoordiger worden ingezet bij de verdere ontwikkeling van de examinering. Onderzoek naar kwaliteitsverbetering mbo - ROC Friese Poort Pagina 11 van 18

16 4.3 Timmerman Het onderzoek naar kwaliteitsverbetering bij Timmerman, 94920, niveau 2, bbl, locatie Splitting te Drachten richtte zich op de kwaliteitsborging. Het onderzoek naar kwaliteitsverbetering leidt tot de volgende beoordeling: Kwaliteitsgebied Goed Voldoende Onvoldoende 4. Kwaliteitsborging Slecht Kwaliteitsgebied Voldoende Aspect Gebied 4: Kwaliteitsborging 4.1 Sturing* 4.2 Beoordeling* 4.3 Verbetering en verankering* 4.4 Dialoog en verantwoording De aspecten met een * zijn kernaspecten, zie bijlage I voor normering per gebied. Onvoldoende Beschouwing Algemeen Tijdens voorgaand onderzoek is geconstateerd dat de kwaliteitsborging onvoldoende was. We hebben ons binnen dit gebied alleen gericht op de aspecten, die tijdens voorgaand onderzoek als onvoldoende zijn beoordeeld. De voldoende oordelen hebben we overgenomen. De kwaliteitsborging voldeed niet, omdat niet voldaan was aan de aspecten sturing en verbetering en verankering. De sturing voldeed niet omdat het teamplan geen wezenlijk onderdeel van de sturing vormde. Het was zeer beperkt van opzet en kende weinig diepgang. De verbetering en verankering voldeed niet, omdat onvoldoende zichtbaar was dat het team actief op basis van evaluatie en verkregen informatie via monitoring samenhangende verbetermaatregelen nam. Het zelfkritisch vermogen van het team was beperkt en daardoor werd de mogelijkheid van samenhangende en systematische kwaliteitszorg door het team onvoldoende benut. Het oordeel van de inspectie bij de Staat van de Instelling is aanleiding geweest voor de instelling om de inhoud en de processen van de kwaliteitsborging ingrijpend te wijzigen. Het team van de opleiding Timmerman heeft dit, met ondersteuning van de dienst Onderwijs en Kwaliteit in het domein Bouw-Infra, en de Centrale Dienst van ROC Friese Poort, actief opgepakt. Er zijn grote stappen vooruit gezet in de verbetering van de kwaliteitsborging. Het team voelt zich verantwoordelijk voor de kwaliteitsborging en ziet zichzelf nu als eigenaar van de inhoud en de processen. Het team ziet nu de importantie van kwaliteitsborging. Er is geïnvesteerd in het vergroten van kennis op dit terrein. Het teamplan is nu de motor voor de kwaliteit in het team. Het eerder gegeven oordeel van de inspectie en de door de opleiding opgezette verbeteringen hebben instellingsbreed geleid tot kennisdeling en verbeteringen. Hierna lichten we alleen de aspecten toe, die tijdens dit onderzoek opnieuw zijn onderzocht en beoordeeld. Onderzoek naar kwaliteitsverbetering mbo - ROC Friese Poort Pagina 12 van 18

17 Kwaliteitsborging De kwaliteitsborging beoordelen we als voldoende. Aan alle aspecten is voldaan. De sturing beoordelen we als voldoende. Er is een teamplan dat een wezenlijk onderdeel vormt van de sturing. Er is een duidelijke koppeling met het visiedocument Vakkracht , het domein activiteitenplan van september 2016 en de zelfevaluatie. De zelfevaluatie is ingericht volgens het inspectiekader. Het teamplan vermeldt specifieke doelen en sturingsinformatie en wordt vertaald in een activiteitenlijst die elke maand in het vakgroepoverleg wordt besproken en geactualiseerd. Het teamplan en de activiteitenlijst zijn ook onderwerp van het teamoverleg. Door middel van de jaarkalender kwaliteitszorg en de activiteitenlijst wordt bewaakt dat verbeteractiviteiten ook daadwerkelijk plaatsvinden. De aandachtspunten uit een recente audit worden opgenomen in het teamplan, waardoor het integraal onderdeel uitmaakt van de verbeteractiviteiten. Jaarlijks is er een teamdag waarin het teamplan wordt geëvalueerd en doelen worden gesteld voor het volgende schooljaar. De opleidingsmanager bewaakt en monitort in samenwerking met het hoofd Onderwijs en Kwaliteit het geheel. Het teamplan is onderwerp van bespreking in overleggen met zowel de medewerkers als ook met de vestigingsdirecteur. De taken en verantwoordelijkheden zijn vastgelegd in het teamjaarplan, waardoor het gezamenlijk streven naar kwaliteit wordt bereikt. Aldus ziet het team zichzelf als eigenaar van de kwaliteitsborging. De verbetering en verankering beoordelen we als voldoende. De verbetering en verankering is recent ingezet. Het is voldoende zichtbaar dat het team actief op basis van evaluatie en verkregen informatie via monitoring samenhangende verbetermaatregelen neemt. Analyses van resultaten van de Job-monitor, specifieke onderzoeken onder studenten van de opleiding, gesprekken met ouders, informatie uit bijeenkomsten van de Onderwijsadviesraad (waarin het werkveld is vertegenwoordigd), het bpv-onderzoek, de evaluaties van de examens, het werkveldonderzoek, de zelfevaluaties, de tevredenheidsenquête van het personeel, de evaluatie van het onderwijsprogramma en de audit worden gebruikt om te komen tot een geconcretiseerde verbeteraanpak. Als voorbeeld hiervan heeft het team aangetoond dat de opleiding nu voldoende mogelijkheden voor maatwerk biedt. Het tempo en de inhoud waren gericht op de reguliere programmering en de opleiding liet daarmee kansen liggen. Tijdens het huidige onderzoek naar kwaliteitsverbetering is gebleken dat, mede naar aanleiding van cao-afspraken in deze sector, het beleid ten aanzien van maatwerk is aangepast. Er zijn curricula ontwikkeld voor niveau 2 en 3. Daardoor kunnen studenten nu instromen op het niveau passend bij hun vooropleiding. We zien dat het kritisch vermogen van het team gegroeid is en dat daardoor de mogelijkheid van samenhangende systematische kwaliteitszorg door het team voldoende wordt benut. Er is veel aandacht voor deskundigheidsbevordering. Docenten voeren collegiale visitaties uit en de opleidingsmanager bezoekt lessen ter bevordering van de deskundigheid en bewustwording van het docententeam. Dit heeft een positief effect op de samenwerking. We hebben gezien dat de huidige verbeteraanpak leidt tot meer structuur en vaste afspraken binnen het team. Er is een cultuur van verbeteren in het team. De verbetercyclus is voldoende ontwikkeld en geëxpliciteerd in het teamjaarplan. Het team beseft dat kwaliteitsborging een dynamisch proces is dat altijd nog beter kan. Onderzoek naar kwaliteitsverbetering mbo - ROC Friese Poort Pagina 13 van 18

18 4.4 ICT-medewerker (Medewerker beheer ICT) Het onderzoek naar kwaliteitsverbetering bij ICT-medewerker (Medewerker beheer ICT) 95070, richtte zich op de examinering en diplomering en de kwaliteitsborging. Het onderzoek naar kwaliteitsverbetering heeft geleid tot de volgende beoordeling: Kwaliteitsgebied Goed Voldoende Onvoldoende 2. Examinering en diplomering 4. Kwaliteitsborging Slecht Kwaliteitsgebied Voldoende Onvoldoende Aspect Gebied 2: Examinering en diplomering 2.1 Exameninstrumentarium* 2.2 Afname en beoordeling* 2.3 Diplomering* Gebied 4: Kwaliteitsborging 4.1 Sturing* 4.2 Beoordeling* 4.3 Verbetering en verankering* 4.4 Dialoog en verantwoording De aspecten met een * zijn kernaspecten, zie bijlage I voor normering per gebied. Beschouwing Algemeen In het onderzoek naar de Staat van de instelling voldeed het gebied examinering en diplomering niet omdat alle drie de aspecten van dit gebied onvoldoende waren. Het exameninstrumentarium voor het beroepsgerichte deel voldeed niet, omdat de relatie van opdrachten en beoordelingscriteria met kerntaken, werkprocessen en prestatie-indicatoren van het kwalificatiedossier ontbrak. Bovendien was er een onevenwichtige en onvolledige dekking van het kwalificatiedossier. Voorts bleek er geen cesuur per kerntaak en geen cesuur per werkproces te zijn benoemd. Ten aanzien van het aspect afname en beoordelen waren onder andere op de beoordelingsformulieren bij de beroepsgerichte opdrachten de beoordelingscriteria niet opgenomen en waren dezelfde beoordelingscriteria geldig voor alle opdrachten, waardoor de beoordeling niet passend geënt was op de eisen van het kwalificatiedossier. Ten aanzien van het instrumentarium voor Nederlands waren er aandachtspunten voor de toetstechnische eisen voor wat betreft de vaardigheden schrijven, spreken en gesprekken voeren. Er ging onvoldoende aandacht uit naar het inhoudelijk aansluiten van de taalopdracht op de beroepsgerichte opdracht en de beoordeling was voor zowel de taalvaardigheid als het beroepsgerichte deel voor de student onvoldoende helder. De examenprocessen van afname en beoordeling voldeden niet, omdat het onduidelijk en niet herleidbaar was hoe de beoordelaars tot hun oordeel kwamen. Ook ontbraken de oordelen bij de opdrachten of waren de oordelen niet onderbouwd. Tenslotte was de diplomering onvoldoende, omdat de invulling van de verantwoordelijkheid van de examencommissie hiaten liet zien. De subexamencommissie had onvoldoende zicht op de kwaliteit van de uitvoering van het examen. Zo bleken zowel de verificatie als de steekproefsgewijze dossiercontrole louter op proces en volledigheid ingericht en leidden deze niet tot opmerkingen aan of door de examencommissie. Onderzoek naar kwaliteitsverbetering mbo - ROC Friese Poort Pagina 14 van 18

19 De kwaliteitsborging voldeed niet omdat niet voldaan was aan de aspecten sturing, beoordeling en verbetering en verankering. De sturing voldeed niet omdat de plannen weinig specifiek waren en onvoldoende aansloten bij gehanteerde informatiebronnen. Het beoogde effect - het waarom van genoemde resultaten - ontbrak en ook het plan van aanpak was beperkt beschreven. De beoordeling voldeed niet omdat de - binnen ROC Friese Poort gebruikelijke - Evaluaties onder studenten geen onderdeel waren van de werkwijze om systematisch informatie te verzamelen en was de representativiteit van andere evaluaties beperkt. De verbetering en verankering was onvoldoende omdat de samenhang van bevindingen, gegevensanalyse en eigen beoordelingen nog niet leidden tot gerichte en samenhangende verbeteringen. De onderzochte opleiding is expliciet gericht op bedrijfsgerichte trajecten voor Defensie. Voor de ontwikkeling van onderwijs en afstemming met de opdrachtgever is ROC Friese Poort, met zes andere roc's, vertegenwoordigd in het zogeheten Paars Partnerschap. In dat kader verzorgt het team onder andere de opleiding Medewerker beheer ICT. Door de eisen die aan de defensiemedewerkers worden gesteld ten aanzien van de operationele inzetbaarheid, is voor deze opleiding een systematiek ontwikkeld die een grote mate van flexibiliteit combineert met opleiden voor het diploma. Het team opereert deels op de locatie Leeuwarden van ROC Friese Poort en deels op de defensielocaties in Garderen/Stroe. De lessen worden gegeven op de defensielocatie evenals de beroepsgerichte examenprojecten. Hierna lichten we alleen de aspecten toe, die tijdens dit onderzoek opnieuw zijn onderzocht en beoordeeld. Examinering en diplomering De examinering en diplomering beoordelen we als voldoende. Het exameninstrumentarium voldoet omdat het voldoende aansluit op de uitstroomeisen en voldoet aan de toetstechnische eisen. De keuze is gemaakt om het beroepsgerichte examenmateriaal niet langer in eigen beheer te ontwikkelen maar in te kopen. Het instrument is reeds eerder door de inspectie beoordeeld en voldoende bevonden. Het team heeft de cesuur verscherpt en een cesuurbepaling toegevoegd, waardoor een meer betrouwbare beoordeling wordt gewaarborgd. Dit in overleg met de leverancier die de feedback ter harte heeft genomen en heeft doorgevoerd in het materiaal. Ook het exameninstrumentarium van Nederlands wordt nu voor alle vaardigheden ingekocht bij externe leveranciers. Ook deze instrumenten zijn eerder door de inspectie beoordeeld en voldoen. De examenprocessen van afname en beoordeling zijn deugdelijk verlopen. Het beroepsgerichte examen is een simulatie. Vóór de afname en beoordeling worden studenten, assessoren en rolspelers geïnformeerd. Men heeft voor de beroepsgerichte examinering een examenweek ingericht. Alle examens worden door twee beoordelaars beoordeeld, waarvan één van een andere vestiging van ROC Friese Poort, zodat de objectiviteit van de beoordeling geborgd wordt. De opleiding is van plan om in de toekomst ook met beoordelaars uit het werkveld het examen af te nemen. Een aantal werkveldbeoordelaars is hiervoor al opgeleid. De diplomering is voldoende deugdelijk en geborgd. Het uitvoeren van steekproeven is een van de taken van de examencommissie. Onderzoek naar kwaliteitsverbetering mbo - ROC Friese Poort Pagina 15 van 18

20 In 2015 zijn er twee steekproeven uitgevoerd op de locatie waar de examens worden afgenomen, zodat men zicht heeft op het proces van afname en beoordelen. Deze hebben geen tekortkomingen aan het licht gebracht. De examencommissie heeft de regels omtrent de diploma-aanvraag verscherpt, er vinden verschillende controles op compleetheid van het dossier plaats. De examencommissie voert een steekproef op de dossiers uit en kijkt daarbij ook naar de inhoudelijke onderbouwing van de beoordeling. De examenorganisatie is instellingsbreed gereorganiseerd, naar aanleiding van een uitgebreide audit van de examinering. De taken en verantwoordelijkheden van de vaststellings- en de examencommissie zijn nu helder. Er is gekozen voor een examencommissie die samengesteld is uit leden van andere opleidingen zodat de onafhankelijkheid geborgd wordt. De betrokkenen zijn geschoold en er is een examencoördinator voor elk team benoemd. Hierdoor zijn de processen van verificatie en diplomering voldoende geborgd. Er rest echter nog een aandachtspunt. Doordat de student vaak eerst zijn beroepsgerichte examens afsluit en niet op elk moment het centrale examen van Nederlands en rekenen kan doen, ontstaat er een gat van een aantal maanden voordat de student de centrale examens voor Nederlands kan afleggen en het diploma ontvangt. Men is zich hiervan bewust en wil dit opvangen door de studieloopbaanbegeleider en de student samen de opleiding twee jaar van te voren te plannen, zodat de generieke examens ook tijdig ingepland worden en niet het sluitstuk vormen. Kwaliteitsborging De kwaliteitsborging beoordelen we als onvoldoende. De aspecten sturing en beoordeling voldoen. Het aspect verbetering en verankering voldoet niet. De sturing beoordelen we als voldoende. Er is een teamplan waarin de teamdoelen en het teamactiviteitenplan is opgenomen. De basis voor het teamplan vormt de zelfevaluatie. Het vorige teamplan ( ) bestond uit verschillende verbeterplannen. Het teamplan is een integraal plan dat het team voldoende houvast biedt voor de sturing. Een aandachtspunt is dat de samenhang met het vestigingsplan en domeinplan duidelijker in het teamactiviteitenplan zichtbaar gemaakt kan worden. De beoordeling beoordelen we als voldoende. In het afgelopen jaar heeft het team gewerkt aan een nieuwe en gestructureerde opzet van de kwaliteitszorg. Er is gekozen voor twee cycli, een grote en een kleine cyclus. In de kleine cyclus wordt vooral de kleine kwaliteit geborgd. Hierin worden na de evaluatie van de lesweken en de panelgesprekken vaak direct oplossingen en verbeteringen doorgevoerd in het programma en de lessen. Door de opzet van het onderwijsprogramma, een week intensief les en dan twee weken niet, en door de korte lijnen binnen het team werkt dit goed. Binnen de grote cyclus is er meer afstand, ruimte en tijd om vanuit een visie het onderwijs te sturen, te evalueren, te beoordelen en te analyseren. Het team heeft een duidelijk teamplan, dat regelmatig wordt geëvalueerd in de teamvergaderingen. Door middel van onder andere een uitvoeringskalender monitort en toetst men systematisch de voortgang van de verbeteractiviteiten. De verbetering en verankering beoordelen we als onvoldoende. De verbetering en verankering is in dit vernieuwde team recent ingezet. We hebben gezien dat de huidige aanpak tot meer structuur leidt. De afgelopen periode heeft de focus gelegen op verbetering van zowel de examenkwaliteit als op het borgen van de onderwijskwaliteit. Voor deze twee gebieden moesten grote stappen gezet worden. Onderzoek naar kwaliteitsverbetering mbo - ROC Friese Poort Pagina 16 van 18

21 Nu het effect hiervan is dat de basis voor een groot gedeelte op orde is, zal moeten blijken hoe deze basiskwaliteit geborgd kan worden en hoe het team zal handelen om de verdere verbeteringen te bewerkstelligen. Naast het feit dat het team is vernieuwd, is er ook een nieuwe opleidingsmanager. De taken, bevoegdheden en verantwoordelijkheden van de teamleden zijn beschreven en bekend. Door de kwaliteitszorg te beschrijven in een kleine en grote cyclus kan het team verbeteringen planmatiger doorvoeren. Het team dwingt zichzelf als het ware om niet voor alle problemen ad hoc een verbetering (kleine cyclus) door te voeren, maar afstand te nemen en te bezien of er een structurele verbetering doorgevoerd moet worden (grote cyclus). Het is echter te vroeg om het effect van van de nieuwe cyclus van verbetering en verankering vast te kunnen stellen. Met name de verankering en inbedding van de verbetercyclus in het team is nog niet vast te stellen. Met het voortschrijden van de tijd zal moeten blijken of het team de kwaliteitscyclus doorloopt zoals voorgenomen. Onderzoek naar kwaliteitsverbetering mbo - ROC Friese Poort Pagina 17 van 18

22 Bijlage Bijlage I Normering kwaliteitsgebieden De normering per gebied is per januari 2015 aangepast (zie het Toezichtkader bve 2012 en het Addendum 2015). De normering heeft betrekking op de toezichtperiode De normen Op basis van het onderzoek spreekt de inspectie oordelen uit waarvoor zij gebruikmaakt van een normering. Deze bestaat uit twee stappen: 1. Een normering per aspect: per aspect wordt een beschrijving gegeven. Indicatoren en portretten zijn daarvoor indicerend en richtinggevend. 2. Een normering per kwaliteitsgebied. Bij het gebied Examinering en diplomering zijn alle aspecten als kernaspect benoemd. Normering Examinering en diplomering Goed Aan alle drie de aspecten is voldaan. De elementen in het portret worden op een uitstekende wijze uitgevoerd. Voldoende Aan alle drie de aspecten is voldaan. Er wordt voor het grootste deel aan de omschrijving van de portretten voldaan, waaronder de essentiële onderdelen. Onvoldoende Aan een of twee aspecten is niet voldaan. Slecht Aan geen van de drie aspecten is voldaan. Voor de normering van het gebied Kwaliteitsborging zijn drie kernaspecten benoemd. De kernaspecten zijn 4.1 Sturing, 4.2 Beoordeling en 4.3 Verbetering en verankering. Normering Kwaliteitsborging Goed Aan alle aspecten is voldaan. De elementen in het portret worden op een uitstekende wijze uitgevoerd. Voldoende Aan alle kernaspecten is voldaan. Er wordt voor het grootste deel aan de omschrijving van de portretten voldaan, waaronder de essentiële onderdelen. Onvoldoende Aan twee of drie aspecten is niet voldaan. Slecht Aan alle vier de aspecten is niet voldaan. Onderzoek naar kwaliteitsverbetering mbo ROC Friese Poort Pagina 18 van 18