ONDERZOEK NAAR KWALITEITSVERBETERING MBO OP OPLEIDINGSNIVEAU Beroepsopleidingen Procesindustrie (BEPRO) te s-gravenhage Assistent operator (Basisoperator) Allround operator (Operator B) KWALITEITSONDERZOEK MBO Operator C (Operator C) BRIN: 26ED Onderzoeksnummers: 285527 en 288102 Onderzoek uitgevoerd: 17 november 2015 Conceptrapport verzonden op: 25 januari 2016 Rapport vastgesteld te Utrecht op: 1 maart 2016
INHOUD 1 Inleiding... 1 2 Conclusie en vervolg... 3 2.1 Conclusie... 3 2.2 Vervolg... 3 3.1 Assistent operator (Basis operator)... 4 3.2 Allround operator (Operator B)... 5 3.3 Operator C (Operator C)... 6 Bijlage... 7 Bijlage I Normering kwaliteitsgebieden... 7
1 Inleiding In dit rapport staan de uitkomsten van het aangehouden onderzoek naar kwaliteitsverbetering, dat de Inspectie van het Onderwijs op 17 november 2015 heeft uitgevoerd bij Beroepsopleidingen Procesindustrie (Bepro). De inspectie baseert zich op het Toezichtkader bve 2012 en het Addendum 2015 (zie www.onderwijsinspectie.nl). Aanleiding onderzoeken naar kwaliteitsverbetering en kwaliteitsonderzoek (Operator C) De aanleiding voor het onderzoek naar kwaliteitsverbetering en het kwaliteitsonderzoekis het vervolgtoezicht, zoals is opgenomen in het rapport van de Staat van de instelling (vastgesteld op 3 december 2013). Tijdens het onderzoek naar kwaliteitsverbetering van 9 februari tot en met 5 maart 2015 (onderzoeksnummers 280450 en 283340, definitief rapport dd 9 juni 2015) is vastgesteld dat geen oordeel over het kwaliteitsgebied examinering en diplomering kon worden bepaald. Er was onvoldoende informatie beschikbaar om tot een valide oordeel over dit kwaliteitsgebied te komen. Binnen de gestelde verbetertermijn kon nog niet volgens de nieuwe werkwijze worden geëxamineerd. Daarom hebben wij ons oordeel over het kwaliteitsgebied examinering en diplomering opgeschort en het onderzoek aangehouden. Afgesproken is dat een half jaar na het rapport examinering en diplomering alsnog zou worden onderzocht. We hebben het aangehouden onderzoek naar kwaliteitsverbetering op het gebied van examinering en diplomering uitgevoerd bij de volgende opleidingen. Gebied Examinering en diplomering Leerweg, niveau, locatie 95688, Assistent operator (Basis operator) leerweg bbl, niveau 1, locatie incompany 90012, Allround operator (Operator B) leerweg bbl, niveau 3, locatie incompany 90240, Operator C (Operator C) (kwaliteitsonderzoek) leerweg bbl, niveau 4, locatie incompany Assistent operator (Basis operator), crebo 95688 en Allround operator (Operator B), crebo 90012 We hebben de examinering en diplomering onderzocht, omdat tijdens de Staat van de instelling is geconstateerd dat er sprake was van onvoldoende examenkwaliteit. Operator C (Operator C), crebo 90240 We hebben de examinering en diplomering onderzocht, omdat tijdens de Staat van de instelling is geconstateerd dat er geen oordeel kon worden gegeven over de kwaliteit van de examinering en diplomering. Om ons een beeld te vormen van de kwaliteitsverbeteringen hebben we informatie over de instelling en opleiding geanalyseerd. Op locatie zijn documenten Onderzoek naar kwaliteitsverbetering mbo Bepro Pagina 1 van 7
onderzocht en gesprekken gevoerd. Er is onder andere gesproken met verschillende examenfunctionarissen, de examencommissie en de directie. In dit rapport starten we met de conclusies van de aangehouden onderzoeken naar kwaliteitsverbetering en het kwaliteitsonderzoek en geven we aan wat het vervolg is (hoofdstuk 2). Daarna volgt de toelichting op de beoordeling betreffende het gebied examinering en diplomering op opleidingsniveau (hoofdstuk 3). Onderzoek naar kwaliteitsverbetering mbo Bepro Pagina 2 van 7
2 Conclusie en vervolg In dit hoofdstuk staat de conclusie van de onderzoeken naar kwaliteitsverbetering en beschrijven we het vervolg. 2.1 Conclusie Onderzoek naar kwaliteitsverbetering opleidingsniveau Assistent operator (Basis operator), crebo 95688, Allround operator (Operator B), crebo 90012 en Operator C (operator C), crebo 90240 We concluderen dat bij deze opleidingen het kwaliteitsgebied examinering en diplomering voldoende is. 2.2 Vervolg Vervolg onderzoek naar aanleiding van de onderzochte opleidingen We voeren bij deze opleidingen geen vervolgtoezicht uit, omdat we het onderzochte kwaliteitsgebied als voldoende hebben beoordeeld. Onderzoek naar kwaliteitsverbetering mbo Bepro Pagina 3 van 7
3 Resultaten opleiding In dit hoofdstuk lichten wij het resultaat van het onderzoek bij de opleidingen toe. We geven van het onderzochte kwaliteitsgebied aan wat het oordeel is (goed, voldoende, onvoldoende, slecht) en verantwoorden ons over het oordeel op het niveau van de onderliggende aspecten. 3.1 Assistent operator (Basis operator) Het onderzoek naar kwaliteitsverbetering bij Assistent operator (Basis operator), crebo 95688, niveau 1, bbl, richtte zich op de examinering en diplomering. Het onderzoek naar kwaliteitsverbetering leidt tot de volgende beoordeling. We hebben ons binnen het gebied examinering en diplomering alleen gericht op aspecten, die tijdens voorgaand onderzoek als onvoldoende zijn beoordeeld. De voldoende oordelen hebben we overgenomen. Kwaliteitsgebied Goed Voldoende Onvoldoende 2. Examinering en diplomering Slecht Kwaliteitsgebied Voldoende Aspect Gebied 2: Examinering en diplomering 2.1 Exameninstrumentarium* 2.2 Afname en beoordeling* 2.3 Diplomering* De aspecten met een * zijn kernaspecten, zie bijlage I voor normering per gebied. Onvoldoende Beschouwing Algemeen Tijdens voorgaand onderzoek is geconstateerd dat het kwaliteitsgebied examinering en diplomering niet voldoende was. De examinering en diplomering is eerder als slecht beoordeeld, omdat niet voldaan werd aan de aspecten afname en beoordeling en diplomering. Bij de afname en beoordeling was de betrouwbaarheid tijdens de uitvoering van het examen onvoldoende geborgd. De diplomering voldeed niet omdat de examencommissie hier onvoldoende zicht op had en te weinig bijstuurde op de betrouwbaarheid van de examinering. Examinering en diplomering De examinering en diplomering is nu voldoende. De afname en boordeling beoordelen we als voldoende. Er is sprake van een authentieke realistische beroepssituatie en de beoordeling is deugdelijk. Daarbij is sprake van een onafhankelijke beoordeling van de uitvoering van de opdrachten. Het exameninstrumentarium voor Nederlands is eerder door ons beoordeeld en voldoende bevonden. De beoordeling grijpt ook aan op de werkprocessen en leidt tot een oordeel op de betreffende kerntaken. Onderzoek naar kwaliteitsverbetering mbo Bepro Pagina 4 van 7
De projectleiders van de verschillende incompany trajecten hebben de opdracht om afgenomen toetsen te screenen op volledigheid en correctheid om te voorkomen dat de secretaris van de examencommmissie pas aan het eind van het traject onvolkomenheden ontdekt. Dit continue proces verhoogt de betrokkenheid van de docenten en de projectleider bij de examinering. De beoordeling van het examen is gedegen en geborgd. De beoordelaars zijn of worden door Bepro getraind in het beoordelen en het werken met het exameninstrumentarium. Indien de kwaliteit van de beoordeling aanleiding is voor bijsturing heeft de examencommissie dit vroegtijdig in de gaten en neemt zo nodig passende maatregelen. De diplomering beoordelen we als voldoende. De examencommissie heeft voldoende zicht op de kwaliteit van examinering en borgt een deugdelijke diplomering. Basis hiervoor is de hernieuwde samenstelling en duidelijke positionering van de examencommissie. Daarnaast is er nu een beschrijving van relevante taken, bevoegdheden en verantwoordelijkheden van examenfunctionarissen. De examencommissie heeft daarbij een onafhankelijke positie in de Bepro-organisatie. Bovendien heeft examinering nu een volwaardige status naast het onderwijsproces. Dit is duidelijk voor studenten en medewerkers. Er wordt door de examencommissie gecontroleerd en bijgestuurd en dat was in het verleden niet of minder gebruikelijk. We constateren dat de medewerkers nog moeten wennen aan deze nieuwe werkwijze. De 'controlemechanismen' van de examencommissie zijn opgenomen in het ontwikkelde 'plan van toezicht'. Hierin zijn activiteiten en monitoringsinstrumenten (voor alle fases van de examinering en diplomering) geformaliseerd. In dit plan zijn ook activiteiten opgenomen die bijdragen aan de ontwikkeling van de deskundigheid van de examencommissie. Daarbij gaat het zowel om de uitvoering van de taken als om het op de hoogte zijn van relevante ontwikkelingen op het terrein van examinering en diplomering. Er is ook periodiek afstemming tussen examinering en onderwijs om consequenties van examinering met onderwijsverantwoordelijken te kunnen bespreken. De diplomering is deugdelijk, er is sprake van een 100 procent controle van de examendossiers, zowel op juistheid als volledigheid, voorafgaand aan examinering en een steekproefsgewijze verificatie van de inhoudelijke beoordeling. De examencommissie heeft haar verantwoordelijkheid genomen door in voorkomende gevallen de diplomering aan te houden in verband met onvoldoende deugdelijke bewijsvoering in relatie tot de kwaliteit van de uitgevoerde examinering. 3.2 Allround operator (Operator B) Het onderzoek naar kwaliteitsverbetering bij Allround operator (Operator B), crebo 90012, niveau 3, bbl, richtte zich op de examinering en diplomering. Het onderzoek naar kwaliteitsverbetering leidt tot de volgende beoordeling. We hebben ons binnen het gebied examinering en diplomering alleen gericht op aspecten, die tijdens voorgaand onderzoek als onvoldoende zijn beoordeeld. De voldoende oordelen hebben we overgenomen. Onderzoek naar kwaliteitsverbetering mbo Bepro Pagina 5 van 7
Kwaliteitsgebied Goed Voldoende Onvoldoende 2. Examinering en diplomering Slecht Kwaliteitsgebied Voldoende Aspect Gebied 2: Examinering en diplomering 2.1 Exameninstrumentarium* 2.2 Afname en beoordeling* 2.3 Diplomering* De aspecten met een * zijn kernaspecten, zie bijlage I voor normering per gebied. Onvoldoende Beschouwing Omdat de aanleiding en de bevindingen, conclusies en oordelen overeenkomen met de resultaten van het onderzoek bij de opleiding Assistent operator (Basis operator), verwijzen we kortheidshalve voor de beschouwing naar de betreffende tekst in paragraaf 3.1. 3.3 Operator C (Operator C) Het onderzoek naar kwaliteitsverbetering bij Operator C (Operator C), crebo 90240, niveau 4, bbl, richtte zich op de examinering en diplomering. Het onderzoek naar kwaliteitsverbetering leidt tot de volgende beoordeling. We hebben ons binnen het gebied examinering en diplomering alleen gericht op aspecten, die tijdens voorgaand onderzoek als onvoldoende zijn beoordeeld. De voldoende oordelen hebben we overgenomen. Kwaliteitsgebied Goed Voldoende Onvoldoende 2. Examinering en diplomering Slecht Kwaliteitsgebied Voldoende Aspect Gebied 2: Examinering en diplomering 2.1 Exameninstrumentarium* 2.2 Afname en beoordeling* 2.3 Diplomering* De aspecten met een * zijn kernaspecten, zie bijlage I voor normering per gebied. Onvoldoende Beschouwing Tijdens voorgaand onderzoek is geconstateerd dat het kwaliteitsgebied examinering en diplomering niet te beoordelen was, omdat er niet geëxamineerd en gediplomeerd was. Tijdens het huidige onderzoek is geconstateerd dat de examencommissie heeft gediplomeerd. Omdat de bevindingen, conclusies en oordelen overeenkomen met de resultaten van het onderzoek bij de opleiding Assistent operator (Basis operator), verwijzen we kortheidshalve voor de beschouwing naar de betreffende tekst in paragraaf 3.1. Onderzoek naar kwaliteitsverbetering mbo Bepro Pagina 6 van 7
Bijlage Bijlage I Normering kwaliteitsgebieden De normering per gebied is per januari 2015 aangepast (zie het Toezichtkader bve 2012 en het Addendum 2015). De normering heeft betrekking op de toezichtperiode 2015-2016. De normen Op basis van het onderzoek spreekt de inspectie oordelen uit waarvoor zij gebruikmaakt van een normering. Deze bestaat uit twee stappen: 1. Een normering per aspect: per aspect wordt een beschrijving gegeven. Indicatoren en portretten zijn daarvoor indicerend en richtinggevend. 2. Een normering per kwaliteitsgebied. Bij het gebied Examinering en diplomering zijn alle aspecten als kernaspect benoemd. Normering Examinering en diplomering Goed Aan alle drie de aspecten is voldaan. De elementen in het portret worden op een uitstekende wijze uitgevoerd. Voldoende Onvoldoende Slecht Aan alle drie de aspecten is voldaan. Er wordt voor het grootste deel aan de omschrijving van de portretten voldaan, waaronder de essentiële onderdelen. Aan een of twee aspecten is niet voldaan. Aan geen van de drie aspecten is voldaan. Onderzoek naar kwaliteitsverbetering mbo Bepro Pagina 7 van 7