ONDERZOEK NAAR KWALITEITSVERBETERING MBO OPLEIDINGSNIVEAU Gilde Opleidingen te Roermond Manager transport en logistiek (Manager transport en logistiek) Veiligheid en vakmanschap (Aankomend medewerker grondoptreden)
BRIN: 25LT Onderzoeksnummer: 285364 Onderzoek uitgevoerd in: 23-11-2015 t/m 24-11-2015 Rapport verzonden op: 15 februari 2016 Rapport vastgesteld te Utrecht op: 15 februari 2016
INHOUD 1 Inleiding... 1 2 Conclusie en vervolg... 2 2.1 Conclusie... 2 2.2 Vervolg... 2 3. Resultaten opleiding... 3 3.1 Manager transport en logistiek (Manager transport en logistiek)... 3 3.2 Veiligheid en vakmanschap (Aankomend medewerker grondoptreden)... 6 Bijlage... 9 Bijlage I Normering kwaliteitsgebieden... 9
1 Inleiding In dit rapport staan de uitkomsten van de twee onderzoeken naar kwaliteitsverbetering, die de Inspectie van het Onderwijs van 23 november 2015 tot en met 24 november 2015 heeft uitgevoerd bij Gilde Opleidingen. De inspectie baseert zich op het Toezichtkader bve 2012 en het Addendum 2015 (zie www.onderwijsinspectie.nl). Aanleiding onderzoeken naar kwaliteitsverbetering De aanleiding voor de onderzoeken naar kwaliteitsverbetering is het vervolgtoezicht, zoals is opgenomen in het rapport van de Staat van de instelling (vastgesteld op 20 juni 2014). We hebben een onderzoek naar kwaliteitsverbetering uitgevoerd bij de volgende opleidingen. Gebied Opbrengsten Gebied Kwaliteitsborging Gebied Examinering en diplomering Leerweg, niveau, locatie Niet onderzocht 91870, Manager transport en logistiek (Manager transport en logistiek) 91870, Manager transport en logistiek (Manager transport en logistiek) Leerweg bol, niveau 4, locatie Hagerhofweg 15, Venlo Niet onderzocht 95081, Veiligheid en vakmanschap (Aankomend medewerker grondoptreden) 95081, Veiligheid en vakmanschap (Aankomend medewerker grondoptreden) Leerweg bol, niveau 2, locatie Kasteel Hillenraedtstraat 1, Roermond Manager transport en logistiek (Manager transport en logistiek), 91870 We hebben de examinering en diplomering en de kwaliteitsborging onderzocht, omdat tijdens de Staat van de instelling is geconstateerd dat er sprake was van onvoldoende examenkwaliteit en niet-naleving van de wet op het gebied van kwaliteitsborging (WEB, art. 1.3.6). We hebben de opbrengsten niet onderzocht, terwijl dit tijdens de Staat van de instelling wel onvoldoende was. Hier hebben we echter al een onderzoek naar gedaan. Tijdens dit onderzoek, in juli 2015, bleek dat er nu sprake is van voldoende opbrengsten. Veiligheid en vakmanschap (Aankomend medewerker grondoptreden), 95081 We hebben de examinering en diplomering en de kwaliteitsborging onderzocht, omdat tijdens de Staat van de instelling is geconstateerd dat er sprake was van onvoldoende examenkwaliteit en niet-naleving van de wet op het gebied van kwaliteitsborging (WEB, art. 1.3.6). Om ons een beeld te vormen van de kwaliteitsverbeteringen hebben we informatie over de instelling en opleidingen geanalyseerd. Op locatie zijn documenten onderzocht en gesprekken gevoerd. Er is onder andere gesproken met studenten, docenten, het management en de directie. In dit rapport starten we met de conclusie van de onderzoeken naar kwaliteitsverbetering en geven we aan wat het vervolg is (hoofdstuk 2). Vervolgens lichten we de onderzoeken naar kwaliteitsverbetering op opleidingsniveau toe (hoofdstuk 3). Onderzoek naar kwaliteitsverbetering mbo Gilde Opleidingen pagina 1 van 9
2 Conclusie en vervolg In dit hoofdstuk staat de conclusie van de onderzoeken naar kwaliteitsverbetering en beschrijven we het vervolg. De toelichting op de beoordeling staat in hoofdstuk 3. 2.1 Conclusie Onderzoeken naar kwaliteitsverbetering opleidingsniveau Manager transport en logistiek (Manager transport en logistiek), 91870 We concluderen dat bij Manager transport en logistiek de kwaliteitsgebieden examinering en diplomering en kwaliteitsborging voldoende zijn. Veiligheid en vakmanschap (Aankomend medewerker grondoptreden), 95081 We concluderen dat bij Veiligheid en vakmanschap de kwaliteitsgebieden examinering en diplomering en kwaliteitsborging voldoende zijn. 2.2 Vervolg Vervolgtoezicht naar aanleiding van de onderzochte opleidingen We voeren bij de twee opleidingen geen vervolgtoezicht uit, omdat we alle onderzochte kwaliteitsgebieden als voldoende hebben beoordeeld. Onderzoek naar kwaliteitsverbetering mbo Gilde Opleidingen pagina 2 van 9
3. Resultaten opleiding In dit hoofdstuk lichten wij het resultaat van de kwaliteitsonderzoeken bij de opleidingen toe. We geven per gebied aan wat het oordeel is (goed, onvoldoende, voldoende, slecht) en verantwoorden ons over het oordeel op het niveau van de onderliggende aspecten. 3.1 Manager transport en logistiek (Manager transport en logistiek) Het onderzoek naar kwaliteitsverbetering bij Manager transport en logistiek, 91870, niveau 4, bol, locatie Venlo, richtte zich op de examinering en diplomering en de kwaliteitsborging. Het onderzoek naar kwaliteitsverbetering leidt tot de volgende beoordeling: Kwaliteitsgebied Goed Voldoende Onvoldoende 2. Examinering en diplomering 4. Kwaliteitsborging Slecht Kwaliteitsgebied Voldoende Aspect Gebied 2: Examinering en diplomering 2.1 Exameninstrumentarium* 2.2 Afname en beoordeling* 2.3 Diplomering* Gebied 4: Kwaliteitsborging 4.1 Sturing* 4.2 Beoordeling* 4.3 Verbetering en verankering* 4.4 Dialoog en verantwoording De aspecten met een * zijn kernaspecten, zie bijlage 1 voor normering per gebied. Beschouwing Onvoldoende Algemeen Tijdens voorgaand onderzoek is geconstateerd dat de examinering en diplomering en de kwaliteitsborging onvoldoende waren. We hebben ons binnen deze gebieden alleen gericht op aspecten, die tijdens voorgaand onderzoek als onvoldoende zijn beoordeeld. De voldoende oordelen hebben we overgenomen. Examinering en diplomering voldeed niet, omdat niet voldaan was aan de aspecten exameninstrumentarium (beroepsgericht), afname en beoordeling en diplomering. De toetsvorm was niet passend en de dekking van de werkprocessen was niet voldoende. Beoordelingscriteria ontbraken en de cesuur borgde onvoldoende dat minimaal de kritische criteria behaald zouden moeten zijn. De examinering vond te weinig in samenspraak met het veld plaats en was onvoldoende authentiek. De examencommissie had niet voldoende zicht en grip op de examinering. Kwaliteitsborging voldeed niet, omdat niet voldaan was aan de aspecten beoordeling en verbetering en verankering. De evaluatie van de kwaliteit van de opleiding was niet voldoende en de verankering sloot te weinig aan bij de kwaliteitszorg op sectorniveau. De opleiding Manager transport en logistiek is het afgelopen jaar overgegaan van de sector economie naar de sector techniek. De opleiding Manager transport en Onderzoek naar kwaliteitsverbetering mbo Gilde Opleidingen pagina 3 van 9
logistiek werkt nauw samen met het (eu)regionale bedrijfsleven. Het Centrum voor Logistiek Vakmanschap (CLV) heeft hier nog een extra stimulans aan gegeven. Studenten die we spraken zijn tevreden over hun opleiding. Sinds maart 2015 is er een nieuwe teammanager voor de opleiding Manager transport en logistiek aangesteld. Deze heeft ingezet op een concreet en gedragen teamplan en heeft maatregelen getroffen om de tekorten zoals tijdens de Staat van de instelling gesignaleerd, op te lossen. Het teamplan is een levend document; het wordt regelmatig door het team bijgewerkt en aangevuld. De teammanager monitort het plan. Docenten zien het teamplan als een gezamenlijke verantwoordelijkheid en afspraken op basis van dit teamplan worden nagekomen. Er is sprake van een andere mindset van het team. Eerder ging het team er zonder meer vanuit dat procedures werden gevolgd, nu worden procedures daadwerkelijk toegepast en gecontroleerd. Het team heeft de afgelopen tijd interne en externe begeleiding gehad om de verbeteracties met name op het gebied van examinering uit de Staat van de Instelling tijdig te kunnen realiseren. Binnen de sector techniek zijn er naast de centrale examencommisie subexamencommissies per opleiding. Examinering en diplomering De examinering en diplomering beoordelen we als voldoende. Dit onderzoek richtte zich op het exameninstrumentarium, de afname en beoordeling en de diplomering. We lichten alleen de aspecten toe, die opnieuw zijn onderzocht. Het exameninstrumentarium voldoet, omdat het aansluit op de uitstroomeisen en voldoet aan de toetstechnische eisen. We hebben alleen het beroepsgerichte instrumentarium beoordeeld. De door het team geconstrueerde examens dekken nu alle kerntaken en werkprocessen uit het kwalificatiedossier. De grote hoeveelheid werkprocessen worden veelal in aparte examens geëxamineerd. Dit maakt dat er veel examens zijn en dat de totale set van examens een complex geheel vormt, waar de opleiding overigens wel goed zicht op heeft. Inmiddels werkt het team met een mix van toetsvormen (schriftelijk, mondeling, praktijk) die passen bij het werkproces dat wordt geëxamineerd. De cesuur ligt op een dusdanig niveau dat de student aan de vereisten van het kwalificatiedossier, inclusief de wezenlijke criteria, voldoet. Hiermee is de cesuur nu voldoende. De examens kennen een duidelijke beoordelingswijze en de beoordelingscriteria zijn eveneens helder. Voor de beoordelaar zijn er handvatten voor het beoordelen van elk beoordelingscriterium. Bij elk criterium moet een toelichting worden opgenomen. Ook voor de student en de praktijkopleider is er een duidelijke instructie bij elk examen opgesteld. De transparantie is hiermee voldoende geborgd. De afname en beoordeling van de examens zijn voldoende deugdelijk verlopen. De authenticiteit van de examinering is nu voldoende. Een aanzienlijk deel (circa 60 procent) van de examens vindt in de praktijk plaats. De beoordeling vindt plaats door praktijkbeoordelaars. Mede hierdoor is ook de samenspraak met het veld voldoende verbeterd. De betrouwbaarheid van de beoordeling is voldoende geborgd. Het lukt weliswaar in veel gevallen niet om vanuit de opleiding bij de praktijkexamens een tweede beoordelaar in te zetten, maar er worden andere instrumenten ingezet om de betrouwbaarheid van de afname te borgen. Zo organiseert de opleiding voorafgaand aan de examinering instructiebijeenkomsten voor de praktijkbeoordelaars van bedrijven waarin het examen wordt Onderzoek naar kwaliteitsverbetering mbo Gilde Opleidingen pagina 4 van 9
doorgesproken. Er is bovendien een uitgebreid beoordelingsformulier met instructie voor de praktijkopleiders beschikbaar wat bijdraagt aan een uniforme beoordeling. Bij een aantal praktijkexamens wordt met de zogenaamde STAR-methodiek gewerkt om de invulling van de examenopdracht per bedrijf in de beroepspraktijk vast te stellen. Zowel het opleidingsteam als het bedrijf moeten deze vooraf goedkeuren. Verder is de praktijkbeoordelaar onafhankelijk in die zin dat de beoordelaar niet ook de praktijkbegeleider is. Tot slot maakt de opleiding elk jaar een abc-analyse van de leerbedrijven waarbij wordt beoordeeld welke bedrijven geschikt zijn voor het examineren van bepaalde werkprocessen. De diplomering is voldoende deugdelijk en geborgd. De (sub)examencommissie van de opleiding Manager transport en logistiek heeft momenteel voldoende zicht op de kwaliteit van het exameninstrumentarium en op de deskundigheid van betrokkenen bij de examinering. In de afgelopen periode heeft een extern bureau de examencommissie geschoold en bijgestaan in het vaststellen van alle examens van de opleiding Manager transport en logistiek. Daarnaast heeft het bureau scholingen op het gebied van examinering verzorgd, zowel individueel als voor het team en de sector. Alle teamleden hebben een uitgebreide scholing op het gebied van examinering gevolgd. Voor alle subexamencommissies zijn er bovendien scholingsbijeenkomsten examinering geweest. Vervolgscholing voor de subexamencommissies is al gepland. De (sub)examencommissie heeft ook voldoende zicht gekregen op de afname en beoordeling. Leden van de examencommissie bezoeken steekproefsgewijs bedrijven gedurende de examenperiode om de kwaliteit van de afname(condities) en boordeling te verifiëren. De steekproef is momenteel in omvang relatief beperkt, maar omvat een uitgebreide set beoordelingsformulieren. Hier valt nog winst te boeken. Door de steekproef te richten op wat de examencommissie echt wil weten over de afname en beoordeling, kan wellicht een uitgebreidere en efficiëntere steekproef worden genomen. De examencommissie maakt daarnaast analyses van de examenresultaten van de generieke vakken, van deelnemersenquêtes en van enquêtes van bpv-bedrijven. Eventuele aandachtspunten uit deze informatiebronnen worden opgenomen in het teamplan. Vervolgens worden de hieruit voortvloeiende acties gemonitord bij de besprekingen van het teamplan. Kwaliteitsborging De kwaliteitsborging beoordelen we als voldoende. Dit onderzoek richtte zich op de beoordeling en verbetering en verankering. We lichten alleen de aspecten toe, die opnieuw zijn onderzocht. De beoordeling beoordelen we als voldoende. Zowel op sectorniveau als teamniveau heeft een interne audit (zelfevaluatie) plaatsgevonden waarbij een externe onafhankelijke deskundige is betrokken. Aan een structurele jaarlijkse evaluatieplanning wordt gewerkt. De evaluaties geven een oordeel over de kwaliteit van de opleiding inclusief de kwaliteit van de examinering. Verbeteracties vanuit de evaluaties komen vervolgens terug in het teamplan. Het team vergadert wekelijks onder voorzitterschap van de teammanager. Er wordt gewerkt met een vaste agenda waarbij de stand van zaken van acties uit het teamplan een terugkerend agendapunt is. Docenten voelen zich verantwoordelijk voor de kwaliteit en het teamplan. Het teamplan kan wel nog aan scherpte winnen, door de beoogde resultaten van acties concreter te beschrijven en door expliciet bij elke actie aan te geven wie deze actie oppakt en wie eindverantwoordelijk is. Onderzoek naar kwaliteitsverbetering mbo Gilde Opleidingen pagina 5 van 9
De verbetering en verankering beoordelen we als voldoende. De verankering is nu voldoende omdat we zien dat de kwaliteitszorg van de opleiding in voldoende mate aansluit bij de sectorale aanpak. Zaken op het gebied van onderwijs, kwaliteitszorg en examinering worden maandelijks afgestemd in een expertgroep op Gilde-niveau waarin alle sectoren vertegenwoordigd zijn. Sectoren koppelen hieruit naar de opleidingsteams terug. Er is in voldoende mate vastgelegd wie waarvoor verantwoordelijk is en hoe de systematiek van kwaliteitszorg is. Bureau Onderwijs ondersteunt de teams hierbij. Taken en verantwoordelijkheden van de (sub)examencommissies en teams zijn vastgelegd. Doordat de teammanager voorzitter is van de subexamencommissie en ook lid is van de centrale examencommissie, vindt uitwisseling en verbinding tussen opleiding en sector plaats. 3.2 Veiligheid en vakmanschap (Aankomend medewerker grondoptreden) Het onderzoek naar kwaliteitsverbetering bij Veiligheid en vakmanschap, 95081, niveau 2, bol, locatie Roermond, richtte zich op de examinering en diplomering en de kwaliteitsborging. Het onderzoek naar kwaliteitsverbetering leidt tot de volgende beoordeling: Kwaliteitsgebied Goed Voldoende Onvoldoende 2. Examinering en diplomering 4. Kwaliteitsborging Slecht Kwaliteitsgebied Voldoende Aspect Gebied 2: Examinering en diplomering 2.1 Exameninstrumentarium* 2.2 Afname en beoordeling* 2.3 Diplomering* Gebied 4: Kwaliteitsborging 4.1 Sturing* 4.2 Beoordeling* 4.3 Verbetering en verankering* 4.4 Dialoog en verantwoording De aspecten met een * zijn kernaspecten, zie bijlage 1 voor normering per gebied. Beschouwing Onvoldoende Algemeen Tijdens voorgaand onderzoek is geconstateerd dat de examinering en diplomering en de kwaliteitsborging onvoldoende waren. We hebben ons binnen deze gebieden alleen gericht op aspecten, die tijdens voorgaand onderzoek als onvoldoende zijn beoordeeld. De voldoende oordelen hebben we overgenomen. Examinering en diplomering voldeed niet, omdat niet voldaan was aan diplomering. De examencommissie had onvoldoende zicht op de afname en beoordeling en op de deskundigheid van de betrokkenen. Kwaliteitsborging voldeed niet, omdat niet voldaan was aan de aspecten beoordeling en verbetering en verankering. De evaluaties waren van onvoldoende kwaliteit. Bovendien ontbrak het aan het systematisch vastleggen van kwaliteitszorgaspecten. Onderzoek naar kwaliteitsverbetering mbo Gilde Opleidingen pagina 6 van 9
De studenten bij de opleiding Veiligheid en vakmanschap (Aankomend medewerker grondoptreden) zijn enthousiast over het gestructureerde karakter van de opleiding en de fysieke uitdagingen die de opleiding hen biedt. Gilde Opleidingen heeft, na enige onzekerheid, ook weer voor de komende jaren van Defensie de opdracht gekregen om opleidingsplaatsen voor twee opleidingen (niveau 2 en 3) aan te bieden. De quota verschillen per jaar. In studiejaar 2016-2017 betreft het 25 deelnemers niveau 2 GROP en 18 deelnemers niveau 3 GROP. De verantwoordelijkheid van zowel het onderwijs als de examinering is sinds de Staat van de instelling meer bij het team gelegd. Van docenten wordt verwacht dat zij meedenken over verbeteracties binnen de genoemde gebieden. Het teamplan is ook op deze wijze vormgegeven. De teammanager heeft per thema een contactpersoon binnen het team aangesteld. Docenten met deze rol brengen aan de teammanager verslag uit over ontwikkelingen binnen hun thema en hebben een taak waar het gaat om het verbeteren van hun thema. Het teamplan is vanuit de docenten vormgegeven. De doelen op sectorniveau zijn pas naderhand, in overleg met het team, toegevoegd. Deze werkwijze startte als pilot voor de hele sector en wordt nu ook bij andere teams op dezelfde wijze toegepast. Examinering en diplomering De examinering en diplomering beoordelen we als voldoende. Dit onderzoek richtte zich op diplomering. We lichten alleen het aspect toe, dat opnieuw is onderzocht. De diplomering is voldoende deugdelijk en geborgd. De examencommissie heeft inmiddels voldoende zicht op de deskundigheid van de bij de examinering betrokken personen, zoals beoordelaars, en heeft middels steekproeven zicht op de kwaliteit van de afname en beoordeling. Hiermee zijn de tekorten die tijdens de Staat van de instelling vastgesteld werden, verholpen. De diverse teams die onder deze examencommissie vallen, zijn op het gebied van examinering geschoold door een extern bureau. De examencommissie heeft hierdoor zicht gekregen op de kennis en vaardigheden van de betrokkenen bij de examinering binnen de school en kan gerichter sturen op vervolgscholing. Van de steekproeven die de examencommissie uitvoert om zicht te krijgen op de afname en beoordeling worden analyses gemaakt. De steekproeven worden op alle typen examens uitgevoerd, zodat er in de breedte zicht is op de examinering. In ieder geval worden er analyses gemaakt van de examenresultaten van de algemeen vormende vakken en van de deelnemersenquêtes. Waar dat relevante informatie omtrent examinering oplevert, volgt terugkoppeling naar de teamleider en naar de betreffende docent(en), zodat vervolgstappen kunnen worden gezet. Op deze wijze is een aantal verbeteracties ingezet, zoals het verbeteren van de communicatie naar studenten rondom examinering en het centraal roosteren van de examinering. Kwaliteitsborging De kwaliteitsborging beoordelen we als voldoende. Dit onderzoek richtte zich op beoordeling en verbetering en verankering. We lichten alleen de aspecten toe, die opnieuw zijn onderzocht. De beoordeling beoordelen we als voldoende. Inmiddels zijn onafhankelijke deskundigen bij de beoordeling betrokken en zijn zowel op opleidingsniveau als op sectorniveau audits van voldoende kwaliteit uitgevoerd. Deze audits geven een oordeel over de stand van zaken van de kwaliteitsgebieden en inzicht in verbetermogelijkheden. Mede door de inzet van onafhankelijke deskundigen is de kwaliteit van de audits verbeterd. De beoordeling van de realisatie van teamdoelen gebeurt in de teamvergaderingen. Door de betrokkenheid van het team bij het Onderzoek naar kwaliteitsverbetering mbo Gilde Opleidingen pagina 7 van 9
opstellen van het teamplan is het frequent bespreken van de stand van zaken van teamdoelen een logisch agendapunt op de teamvergaderingen. Het team is hierdoor meer gestructureerd gaan werken aan onderwijskwaliteit in de breedte. Studenten wordt gevraagd naar hun mening over onderwijs en examinering en de uitkomsten hiervan worden geanalyseerd. Verbetering is hier mogelijk door aan de studenten terug te koppelen wat er met hun inbreng gedaan is. De verbetering en verankering beoordelen we als voldoende. Na de Staat van de instelling heeft de opleiding de verankering voldoende verbeterd. Inmiddels is de systematiek van de kwaliteitsborging duidelijk vormgegeven en er wordt ook volgens deze systematiek gewerkt. Taken en rollen zijn vastgelegd en binnen het team zijn, zoals eerder aangegeven, contactpersonen aangesteld voor bepaalde thema s. In het teamplan kan de individuele verantwoordelijkheid nog worden aangescherpt, zodat op individueel niveau duidelijk is wie eindverantwoordelijk is. Nu is dat in een aantal gevallen nog het hele team. Onderzoek naar kwaliteitsverbetering mbo Gilde Opleidingen pagina 8 van 9
Bijlage Bijlage I Normering kwaliteitsgebieden De normering per gebied is per januari 2015 aangepast (zie het Toezichtkader bve 2012 en het Addendum 2015). De normering heeft betrekking op de toezichtperiode 2015-2016. De normen Op basis van het onderzoek spreekt de inspectie oordelen uit waarvoor zij gebruikmaakt van een normering. Deze bestaat uit twee stappen: 1. Een normering per aspect: per aspect wordt een beschrijving gegeven. Indicatoren en portretten zijn daarvoor indicerend en richtinggevend. 2. Een normering per kwaliteitsgebied. Bij het gebied Examinering en diplomering zijn alle aspecten als kernaspect benoemd. Normering Examinering en diplomering Goed Aan alle drie de aspecten is voldaan. De elementen in het portret worden op een uitstekende wijze uitgevoerd. Voldoende Aan alle drie de aspecten is voldaan. Er wordt voor het grootste deel aan de omschrijving van de portretten voldaan, waaronder de essentiële onderdelen. Onvoldoende Aan een of twee aspecten is niet voldaan. Slecht Aan geen van de drie aspecten is voldaan. Voor de normering van het gebied Kwaliteitsborging zijn drie kernaspecten benoemd. De kernaspecten zijn 4.1 Sturing, 4.2 Beoordeling en 4.3 Verbetering en verankering. Normering Kwaliteitsborging Goed Aan alle aspecten is voldaan. De elementen in het portret worden op een uitstekende wijze uitgevoerd. Voldoende Aan alle kernaspecten is voldaan. Er wordt voor het grootste deel aan de omschrijving van de portretten voldaan, waaronder de essentiële onderdelen. Onvoldoende Aan twee of drie aspecten is niet voldaan. Slecht Aan alle vier de aspecten is niet voldaan. Onderzoek naar kwaliteitsverbetering mbo Gilde Opleidingen pagina 9 van 9