KWALITEITSONDERZOEKEN MBO Roc van Twente te Hengelo Medewerker marketing en communicatie (Medewerker evenementenorganisatie) Middenkaderfunctionaris bouw en infra (Middenkaderfunctionaris Bouw) Februari 2016 BRIN: 27YU Onderzoeksnummer: 285751 Onderzoek uitgevoerd: 1 tot en met 7 december 2015 Conceptrapport verzonden op: 8 februari 2016 Rapport vastgesteld te Utrecht op: 16 maart 2016
Inhoudsopgave 1 Inleiding... 1 2 Conclusie en vervolgtoezicht... 3 2.1 Conclusie... 3 2.2 Vervolg... 3 3 Resultaten van de onderzoeken... 4 4.1 Medewerker marketing en communicatie (Medewerker evenementenorganisatie)... 4 4.2 Middenkaderfunctionaris bouw en infra (Middenkaderfunctionaris Bouw)... 7 Bijlage... 9 Bijlage I Normering kwaliteitsgebieden... 9
1 Inleiding In dit rapport staan de uitkomsten van de kwaliteitsonderzoeken, die de Inspectie van het Onderwijs op 1 en 7 december 2015 heeft uitgevoerd bij ROC Twente. Dit onderzoek heeft betrekking op het middelbaar beroepsonderwijs. De inspectie baseert zich op het Toezichtkader bve 2012 en het Addendum 2015 (zie www.onderwijsinspectie.nl). Aanleiding voor deze kwaliteitsonderzoeken In het onderzoek Staat van de instelling, waarvan het rapport op 15 oktober 2014 is vastgesteld, bleek er sprake te zijn van risico's. In het vervolgtoezicht is opgenomen dat bij twee a select gestoken opleidingen de kwaliteitsgebieden examinering en diplomering en kwaliteitsborging worden onderzocht. Wij gaan bij deze opleidingen na of de verbeteringen instellingsbreed zijn doorgevoerd. Gebied Kwaliteitsborging 90534, Medewerker marketing en communicatie (Medewerker evenementenorganisatie) 94051, Middenkaderfunctionaris bouw en infra (Middenkaderfunctionaris Bouw) Gebied Examinering en diplomering 90534, Medewerker marketing en communicatie (Medewerker evenementenorganisatie) 94051, Middenkaderfunctionaris bouw en infra (Middenkaderfunctionaris Bouw) Leerweg, niveau, locatie Leerweg bol, niveau 4, Gieterij 200, Hengelo Leerweg bol, niveau 4, Gieterij 200, Hengelo Tijdens de kwaliteitsonderzoeken hebben we informatie over de opleidingen geanalyseerd. Op locatie zijn documenten onderzocht en gesprekken gevoerd. Er is gesproken met studenten, docenten, management en de directie. In dit rapport starten we met de conclusie van de kwaliteitsonderzoeken en geven we aan wat het vervolg is (hoofdstuk 2). Vervolgens is het resultaat van de kwaliteitsonderzoeken beschreven (hoofdstuk 3). De normering van de kwaliteitsgebieden is als bijlage opgenomen. Rapport kwaliteitsonderzoek mbo ROC van Twente pagina 1 van 9
2 Conclusie en vervolgtoezicht In dit hoofdstuk staat de conclusie van de kwaliteitsonderzoeken en beschrijven we het vervolg. De toelichting op de beoordeling staat in hoofdstuk 3. 2.1 Conclusie Medewerker marketing en communicatie (Medewerker evenementenorganisatie) We concluderen dat bij de opleiding Medewerker marketing en communicatie (Medewerker evenementenorganisatie) het kwaliteitsgebied kwaliteitsborging voldoende is. Het kwaliteitsgebied examinering is evenwel onvoldoende. Bij deze opleiding zullen we vervolgtoezicht uitvoeren, vanwege onvoldoende examenkwaliteit. In onderstaande paragraaf is aangegeven wat het vervolgtoezicht inhoudt. Middenkaderfunctionaris bouw en infra (Middenkaderfunctionaris Bouw) We concluderen dat bij Middenkaderfunctionaris bouw en infra (Middenkaderfunctionaris Bouw) de kwaliteitsgebieden examinering en diplomering en kwaliteitsborging voldoende zijn. 2.2 Vervolg We voeren bij de opleiding Medewerker marketing en communicatie (Medewerker evenementenorganisatie) vervolgtoezicht uit, omdat we niet alle kwaliteitsgebieden als voldoende hebben beoordeeld. Het vervolgtoezicht richt zich op de geconstateerde tekortkomingen binnen het onvoldoende kwaliteitsgebied. In onderstaand schema is het vervolgtoezicht te lezen. 90534, Medewerker marketing en communicatie (Medewerker evenementenorganisatie) Beoordeling Toezichtvorm Vervolgtoezicht Kwaliteit examinering is onvoldoende. Aangepast toezicht vanwege onvoldoende examenkwaliteit. De inspectie meldt het oordeel aan de minister. De instelling ontvangt een waarschuwing. Na de in de waarschuwingsbrief opgenomen termijn volgt een onderzoek naar kwaliteitsverbetering. Rapport kwaliteitsonderzoek mbo ROC van Twente pagina 3 van 9
3 Resultaten van de onderzoeken In dit hoofdstuk lichten wij het resultaat van de kwaliteitsonderzoeken bij de opleidingen toe. We geven per gebied aan wat het oordeel is (goed, onvoldoende, voldoende, slecht) en verantwoorden ons hierover. Het oordeel per gebied is gebaseerd op de beoordeling van de onderliggende aspecten. Daarna verantwoorden ons over het oordeel per onderzocht gebied. 3.1 Medewerker marketing en communicatie (Medewerker evenementenorganisatie) Het kwaliteitsonderzoek bij Medewerker marketing en communicatie (Medewerker evenementenorganisatie), 90534, niveau 4, bol, locatie Gieterij 200 Hengelo heeft geleid tot de volgende oordelen. Kwaliteitsgebied Goed Voldoende Onvoldoende 2. Examinering en diplomering 4. Kwaliteitsborging Slecht Kwaliteitsgebied Voldoende Onvoldoende Aspect Gebied 2: Examinering en diplomering 2.1 Exameninstrumentarium* 2.2 Afname en beoordeling* 2.3 Diplomering* Gebied 4: Kwaliteitsborging 4.1 Sturing* 4.2 Beoordeling* 4.3 Verbetering en verankering* 4.4 Dialoog en verantwoording De aspecten met een * zijn kernaspecten, zie bijlage I voor normering per gebied. Beschouwing Algemeen De opleiding heeft een turbulente fase achter de rug. Sinds de komst van de huidige teamleider, begin 2015, is de focus meer op kwaliteitsverbetering van het primaire proces komen te liggen. We hebben geconstateerd dat er veel veranderingen zijn ingezet die het team met grote inzet en betrokkenheid uitvoert. Examinering en diplomering De examinering en diplomering beoordelen we als onvoldoende, omdat niet voldaan is aan afname en beoordeling en diplomering. Hierna volgt een toelichting per aspect. Het exameninstrumentarium van de proeves van bekwaamheid voldoet, omdat het voldoende aansluit op de uitstroomeisen en voldoet aan de toetstechnische eisen. De ingekochte proeves worden ongewijzigd ingezet en zijn eerder door de inspectie beoordeeld en voldoende bevonden. Het onderscheid tussen het leren in de beroepspraktijkvorming (bpv) en het moment van examineren kan nog wel beter worden aangebracht Vanwege de lange duur van het organiseren van een evenement, dat onderdeel uitmaakt van de proeve en min of meer al start tijdens de stage, bestaat het gevaar dat voor de student niet voldoende duidelijk is wat in de voorbereiding van een evenement nog behoort bij het leren of al behoort bij de proeve. Rapport kwaliteitsonderzoek mbo ROC Twente pagina 4 van 9
Voor de exameninstrumentaria voor Nederlands (generiek), Engels (generiek en beroepsgericht) en Spaans (beroepsgericht) zien wij aandachtspunten met betrekking tot de de toetstechnische eisen. De cesuur van deze examens is onvoldoende helder. Niet duidelijk is hoe op onderdelen de puntentoedeling geschiedt en hoe tot het eindcijfer wordt gekomen. Daarnaast wordt het niveau voor de generieke eisen van de toetsen Engels bij spreken en gesprekken voeren te hoog geëxamineerd. Hierbij is het beroepsgerichte niveau aangehouden. Dat niveau is echter hoger dan de generieke vereisten. Hierdoor kan een student onterecht een onvoldoende krijgen op deze vaardigheden voor de generieke vereisten. De beroepsspecifieke taalexamens wegen in het examenplan van de opleiding zwaar mee in de totale beoordeling. Dit onderstreept het belang van een adequaat instrumentarium. De examenprocessen van afname en beoordeling voldoen niet, omdat deze op diverse aspecten onvoldoende deugdelijk zijn verlopen bij zowel de praktijkexamens als bij de examens van talen. Tijdens een criteriumgericht interview, wat na afloop van de proeve wordt gehouden tussen student, praktijkbeoordelaar en een examinator van de opleiding, wordt het definitieve oordeel bepaald. De examinator van de opleiding heeft hierbij een doorslaggevende stem. Omdat de beoordelingsformulieren slechts zeer beperkt of onvolledig worden ingevuld, is onvoldoende navolgbaar of de beoordeling op de juiste gronden en objectief tot stand is gekomen. Gedegen verslaglegging van de navolgbaarheid van het oordeel is van belang, omdat bij de praktijkexamens de beoordelaar in de praktijk vaak ook de praktijkopleider is. Ook speelt hierbij, zoals bij het aspect exameninstrumentarium aangegeven, dat de voorbereidingen voor het organiseren van een evenement al tijdens de stage starten. Bij de afname en beoordeling van spreken en gesprekken voeren is bij Nederlands en Engels slechts één beoordelaar betrokken. Dit is vaak de docent die de student eveneens heeft lesgegeven. Hierdoor is prake van onvoldoende objectiviteit waardoor afbreuk wordt gedaan aan de betrouwbaarheid. Bij Spaans wordt weliswaar een opname van spreken en gesprekken voeren gemaakt, maar deze wordt niet actief gebruikt om de betrouwbaarheid van de beoordeling te toetsen. Aangezien bij dit vak de kwaliteit van het exameninstrumentarium niet voldoet en de betrokken docent zowel de ontwikkelaar als de beoordelaar is en de enige docent Spaans binnen het team, is dit kwetsbaar. De diplomering voldoet niet, omdat deze onvoldoende deugdelijk en geborgd is. De examencommissie komt op basis van een dossier tot een diplomeringsbesluit. Dit dossier is gecontroleerd op volledigheid, maar onvoldoende op juistheid en volledigheid. Dit bleek uit een veelheid aan omissies in de beoordelingsformulieren, varierend van een niet ingevulde datum tot vrijwel lege beoordelingsformulieren. Dit geldt vooral voor de proeves en examenprojecten. Hierdoor kan de examencommissie geen betrouwbaar besluit nemen. De examencommissie heeft bij de diplomavaststelling aanvullende mondelinge informatie van de beoordelaars gehad, maar achteraf is niet vast te stellen wat deze informatie inhield en in hoeverre dit de omissies in de dossiers dekt. De examencommissie heeft bovengenoemde tekorten voor het merendeel in beeld en heeft hierop verbeteringen ingezet voor de examinering in 2016. Het was tijdens de uitvoering van het onderzoek echter nog niet mogelijk om vast te stellen of deze verbeteringen ook tot het gewenste effect leiden. Rapport kwaliteitsonderzoek mbo ROC Twente pagina 5 van 9
Kwaliteitsborging De kwaliteitsborging beoordelen we als voldoende, aan alle aspecten is voldaan. Hierna volgt een toelichting per aspect. De sturing beoordelen we als voldoende. Er zijn op structurele basis doelen voor de opleiding geformuleerd. Het team vertaalt daarbij de doelen uit het collegeplan naar het Team Activiteiten Plan en voegt activiteiten toe passend bij de ontwikkeling van het team. Het effect is dat het team een goed beeld heeft van de doelen waaraan zij wil werken. We zien in de diverse plannen duidelijk de centraal vastgestelde doelen op onderwijs- en examenkwaliteit terugkomen. Aandachtspunt voor het Team Activiteiten Plan is het voldoende specifiek en meetbaar formuleren van de doelen. De beoordeling beoordelen we als voldoende. De opleiding beoordeelt regelmatig en betrouwbaar de voortgang en de realisatie van de gestelde doelen. Voortgangsbesprekingen binnen het team en tussen management en directie geven het team voordurend een beeld van de voortgang van de ingezette verbeteracties. De externe audit wordt gebruikt om de voortgang van verbeteracties te beoordelen. Deze audit kan aan kracht winnen door op onderdelen kritischer te zijn. Bijvoorbeeld op het gebied van de examinering lijkt de audit te weinig diepgaand en kritisch te zijn geweest. De verbetering en verankering beoordelen we als voldoende. Het team neemt indien nodig verbetermaatregelen die passen bij de uitkomsten van de beoordelingen in het licht van de gestelde doelen. Hierbij zien we dat het team bezig is met een algehele kwaliteitsverbetering. Een deel van de effecten van de verbeteringen op het primaire proces moet nog aangetoond worden. Daarbij denken wij vooral aan eerder genoemde examenkwaliteit. De taken en verantwoordelijkheden met betrekking tot de kwaliteit zijn duidelijk belegd; het hele team geeft blijk van kwaliteitsbewustzijn en eigenaarschap. Dit uit zich bijvoorbeeld in collegiale intervisie met betrekking tot de didactische kwaliteit. De dialoog en verantwoording beoordelen we als voldoende. Er is een voldoende functionerende dialoog over de kwaliteit met belanghebbenden. Met studenten wordt in panels overleg gevoerd over de kwaliteit van de opleiding. Met het bedrijfsleven vindt dit overleg vooral via de bedrijfsadviesraden plaats. Daarnaast leveren de bedrijven evaluatieve gegevens na afloop van een bpv-periode. De opleiding is van plan om ook alumni te betrekken bij de evaluatie van de kwaliteit van de opleiding. Rapport kwaliteitsonderzoek mbo ROC Twente pagina 6 van 9
3.2 Middenkaderfunctionaris bouw en infra (Middenkaderfunctionaris Bouw) Het kwaliteitsonderzoek bij Middenkaderfunctionaris bouw en infra (Middenkaderfunctionaris Bouw), 94051, niveau 4, bol, locatie Gieterij 200 Hengelo heeft geleid tot de volgende oordelen. Kwaliteitsgebied Goed Voldoende Onvoldoende 2. Examinering en diplomering 4. Kwaliteitsborging Slecht Kwaliteitsgebied Voldoende Aspect Gebied 2: Examinering en diplomering 2.1 Exameninstrumentarium* 2.2 Afname en beoordeling* 2.3 Diplomering* Gebied 4: Kwaliteitsborging 4.1 Sturing* 4.2 Beoordeling* 4.3 Verbetering en verankering* 4.4 Dialoog en verantwoording De aspecten met een * zijn kernaspecten, zie bijlage I voor normering per gebied. Onvoldoende Beschouwing Algemeen Het team stelt zich open en nieuwsgierig op om innovaties in het werkveld te integreren in het onderwijsaanbod. Daarnaast wordt bewust aansluiting gezocht met aanverwante opleidingen, zoals werktuigbouwkunde en elektrotechniek, om concreet invulling te geven aan en te investeren in duurzaamheid. Examinering en diplomering De examinering en diplomering beoordelen we als voldoende, aan alle aspecten is voldaan. Hierna volgt een toelichting per aspect. Het beroepsgerichte exameninstrumentarium en het exameninstrumentarium Nederlands voldoen, omdat het aansluit op de uitstroomeisen en voldoet aan de toetstechnische eisen. Zowel voor de vier kerntaken als voor Nederlands is duidelijk aangegeven op grond van welke examens het diploma wordt verstrekt. Bij de beroepsgerichte examens merken we echter op dat de weging van de proeve en het eindgesprek verduidelijking behoeft, zodat voor alle betrokkenen zichtbaar is op welke wijze het oordeel onvoldoende, voldoende of goed tot stand komt. De examenprocessen van afname en beoordeling zijn voldoende deugdelijk verlopen. Het beroepsgerichte examen wordt op een betrouwbare wijze afgenomen. Elke kerntaak wordt eerst beoordeeld door een beoordelaar in de praktijk, waarna tijdens het eindgesprek door twee andere beoordelaars het definitieve oordeel wordt gegeven. Ook bij de examens Nederlands worden de vastgestelde procedures gevolgd en is sprake van een tweede beoordelaar. De diplomering is voldoende deugdelijk en geborgd. Rapport kwaliteitsonderzoek mbo ROC Twente pagina 7 van 9
De examencommissie stelt voor de beroepsgerichte onderdelen van het examen en voor Nederlands op deugdelijke wijze vast of de student geslaagd is. En ziet hier voldoende op toe. Engels telt bij het onderzochte cohort nog niet mee in het eindoordeel van de inspectie met betrekking tot examinering. Wij zien bij Engels wel een aandachtspunt. Op de resultatenlijst behorende bij de diploma s van het onderzochte cohort is ten onrechte vermeld, dat voldaan is aan het genoemde CEFniveau. Met het gebruikte exameninstrumentarium kan namelijk het vermelde niveau niet worden vastgesteld. Kwaliteitsborging De kwaliteitsborging beoordelen we als voldoende, aan alle aspecten is voldaan. Hierna volgt een toelichting per aspect. De sturing beoordelen we als voldoende. De doelstellingen voor de korte en langere termijn zijn vastgelegd in het collegeplan en in het Team Activiteiten Plan. We zien in de diverse plannen duidelijk de centraal vastgestelde doelen op onderwijs- en examenkwaliteit terugkomen. Het team heeft voor ogen waar het met de opleiding naartoe wil. Er is echter sprake van een veelheid aan activiteiten in het Team Activiteiten Plan. Wat daarbij beter kan is het aanbrengen van prioriteiten en de formulering van de doelen. Dit helpt bij het houden van focus. De beoordeling beoordelen we als voldoende. De opleiding monitort regelmatig en met betrokkenheid van onafhankelijke deskundigen de kwaliteit van het onderwijs. Het team heeft over het geheel genomen voldoende zicht op de kwaliteit van het onderwijsleerproces. Er worden op jaarbasis diverse metingen uitgevoerd die op college- en teamniveau besproken worden. We hebben gezien dat de uitkomsten van deze metingen aanleiding zijn voor het team om te reflecteren en verbeteractiviteiten af te spreken. Een onafhankelijk bureau heeft in april 2015 een audit uitgevoerd; een aantal aanbevelingen zijn door het team opgepakt en nader uitgewerkt. De verbetering en verankering beoordelen we als voldoende. De samenhang tussen de geconstateerde tekortkomingen en de verbeteracties zijn in voldoende mate aanwezig. De taken en verantwoordelijkheden met betrekking tot kwaliteitszorg zijn beschreven en bekend in het team. De invulling van de kwaliteitscyclus en het periodiek aan de orde stellen van de voortgang is een werkend geheel. Wel is er een aandachtspunt. De vaststelling van de voortgang van verbeterpunten kan beter. Dit is mede een gevolg van het missen van scherpte in de formulering van de doelen en de wijze waarop de doelen behaald dienen te worden. De dialoog en verantwoording beoordelen we als voldoende. Er is een voldoende functionerende dialoog over de kwaliteit van onderwijs en examinering met interne en externe belanghebbenden. De dialoog tussen het team en de studenten is open en laagdrempelig. De contacten met extern belanghebbenden zijn divers. Er vinden werkveldbijeenkomsten plaats. Daarnaast vinden met het bedrijfsleven gesprekken plaats over het onderwijs en vaktechnische ontwikkelingen. De opleiding werkt samen met een hogeschool met betrekking tot de doorstroom naar een hboopleiding. Rapport kwaliteitsonderzoek mbo ROC Twente pagina 8 van 9
Bijlage Bijlage I Normering kwaliteitsgebieden De normering per gebied is per januari 2015 aangepast (zie het Toezichtkader bve 2012 en het Addendum 2015). De normering heeft betrekking op de toezichtperiode 2015-2016. De normen Op basis van het onderzoek spreekt de inspectie oordelen uit waarvoor zij gebruikmaakt van een normering. Deze bestaat uit twee stappen: 1. Een normering per aspect: per aspect wordt een beschrijving gegeven. Indicatoren en portretten zijn daarvoor indicerend en richtinggevend. 2. Een normering per kwaliteitsgebied. Bij het gebied Examinering en diplomering zijn alle aspecten als kernaspect benoemd. Normering Examinering en diplomering Goed Aan alle drie de aspecten is voldaan. De elementen in het portret worden op een uitstekende wijze uitgevoerd. Voldoende Aan alle drie de aspecten is voldaan. Er wordt voor het grootste deel aan de omschrijving van de portretten voldaan, waaronder de essentiële onderdelen. Onvoldoende Aan één of twee aspecten is niet voldaan. Slecht Aan geen van de drie aspecten is voldaan. Voor de normering van het gebied Kwaliteitsborging zijn drie kernaspecten benoemd. De kernaspecten zijn 4.1 Sturing, 4.2 Beoordeling en 4.3 Verbetering en verankering. Normering Kwaliteitsborging Goed Aan alle aspecten is voldaan. De elementen in het portret worden op een uitstekende wijze uitgevoerd. Voldoende Aan alle kernaspecten is voldaan. Er wordt voor het grootste deel aan de omschrijving van de portretten voldaan, waaronder de essentiële onderdelen. Onvoldoende Aan twee of drie aspecten is niet voldaan. Slecht Aan alle vier de aspecten is niet voldaan. Rapport kwaliteitsonderzoek mbo ROC Twente pagina 9 van 9