ONDERZOEK NAAR KWALITEITSVERBETERING MBO OPLEIDINGSNIVEAU Summa College te Eindhoven Meubelmaker/(scheeps)interieurbouwer (Meewerkend leidinggevende meubelindustrie/(scheeps)- interieurbouw) december 2014
BRIN: 25 MB Onderzoeksnummer: 278547 Onderzoek uitgevoerd in: oktober 2014 Conceptrapport verzonden op: 21 november 2014 Rapport vastgesteld te Utrecht op: 12 december 2014
INHOUD 1 Inleiding... 3 2 Conclusie en vervolg... 5 2.1 Conclusie... 5 2.2 Vervolg... 5 3 Resultaten... 7 Bijlagen... 9 Bijlage I Normering kwaliteitsgebied... 9 Bijlage II Beoordeling indicatoren Meubelmaker/(scheeps)interieurbouwer (Meewerkend leidinggevende meubelindustrie/(scheeps)interieurbouw)... 10 Onderzoek naar kwaliteitsverbetering mbo Summa College pagina 1 van 10
Onderzoek naar kwaliteitsverbetering mbo Summa College pagina 2 van 10
1 Inleiding De Inspectie van het Onderwijs voerde in oktober 2014 een onderzoek naar kwaliteitsverbetering uit bij het Summa College. Dit onderzoek heeft betrekking op de kwaliteit van de examinering en diplomering. De volgende opleiding is onderzocht: Gebied Examinering en diplomering 94591, Meubelmaker/(scheeps)interieurbouwer (Meewerkend leidinggevende meubelindustrie/ (scheeps)interieurbouw) Leerweg, niveau, locatie leerweg bol niveau 4, locatie De Run 4250, Veldhoven De aanleiding voor dit onderzoek naar kwaliteitsverbetering is het oordeel zoals dit is opgenomen in het rapport van de Staat van de instelling (vastgesteld op 3 juli 2013). Er waren toen tekortkomingen geconstateerd in de kwaliteit van de examinering en diplomering en de opbrengsten. De opbrengsten van bc135 zijn reeds in een eerder stadium onderzocht en als voldoende beoordeeld. In het onderhavige onderzoek naar kwaliteitsverbetering hebben wij ons specifiek gericht op de aspecten die eerder met een onvoldoende waren beoordeeld. Er zijn geen aanwijzingen het oordeel bij te stellen van de eerder als voldoende beoordeelde aspecten. Wij hebben gesprekken gevoerd met docenten en management. Daarnaast hebben we documenten onderzocht. Ook maakte een gesprek met het college van bestuur deel uit van het onderzoek naar kwaliteitsverbetering. In hoofdstuk 2 leest u de conclusie en het vervolg voor de instelling. De resultaten van het onderzoek naar kwaliteitsverbetering kunt u lezen in hoofdstuk 3. De inspectie heeft zich bij haar onderzoek gebaseerd op het Toezichtkader bve 2012. Dit is te vinden op www.onderwijsinspectie.nl. Hier is ook de werkwijze te vinden die de inspectie gebruikt bij onderzoeken naar kwaliteitsverbetering. De normering is als bijlage I toegevoegd aan dit rapport. Onderzoek naar kwaliteitsverbetering mbo Summa College pagina 3 van 10
Onderzoek naar kwaliteitsverbetering mbo Summa College pagina 4 van 10
2 Conclusie en vervolg In dit hoofdstuk geven we aan welke conclusie we trekken uit het onderzoek naar kwaliteitsverbetering en beschrijven wij het vervolg. 2.1 Conclusie Het onderzoek naar kwaliteitsverbetering heeft geleid tot het oordeel voldoende voor het kwaliteitsgebied examinering en diplomering. 2.2 Vervolg Het onderzoek naar kwaliteitsverbetering heeft geleid tot het oordeel voldoende voor het onderzochte kwaliteitsgebied. Dat betekent dat de inspectie geen aanleiding heeft vervolgtoezicht uit te voeren of voor deze opleiding afspraken te maken met het college van bestuur. Onderzoek naar kwaliteitsverbetering mbo Summa College pagina 5 van 10
Onderzoek naar kwaliteitsverbetering mbo Summa College pagina 6 van 10
3 Resultaten In dit hoofdstuk geven we het oordeel over het onderzochte kwaliteitsgebied. Daarna geven we hierop een toelichting. Het onderzoek naar kwaliteitsverbetering heeft geleid tot de volgende oordelen. Kwaliteitsgebied Goed Voldoende Onvoldoende 2. Examinering en diplomering Slecht Oordeel per aspect Hieronder geven we het oordeel over de aspecten van de onderzochte kwaliteitsgebieden weer. De oordelen over de aspecten die tijdens vorig onderzoek als voldoende zijn beoordeeld, zijn overgenomen. Een detaillering van het oordeel vindt u in bijlage III. Daarin is de beoordeling van de onderzochte indicatoren weergegeven. Kwaliteitsgebied Voldoende Aspect Gebied 2: Examinering en diplomering 2.1 Exameninstrumentarium* 2.2 Afname en beoordeling* 2.3 Diplomering* Onvoldoende De aspecten met een * zijn kernaspecten, zie bijlage 1 voor normering per gebied. Beschouwing Algemeen De examinering was vorig jaar onvoldoende omdat de exameninstrumenten onvoldoende waren. Er is toen geconstateerd dat de dekking tekortschoot, veroorzaakt door een niet adequate inzet van het criteriumgerichte interview. Ook de cesuur voldeed niet. Examinering en diplomering De examinering en diplomering beoordelen we als voldoende. Dit onderzoek richtte zich op het exameninstrumentarium. Het exameninstrumentarium voldoet aan de uitstroomeisen en toetstechnische eisen. De examenproducten, met alle verbeteringen, zullen pas bij het eerstkomende examenmoment worden ingezet. Het exameninstrumentarium is verbeterd. De kwalificerende examinering bestaat nu uit twee proeven van bekwaamheid (een op school en een in de beroepspraktijk) en een portfolio assessment. Hiermee worden de werkprocessen met de juiste toetsvorm getoetst, zodat de dekking voldoet. Het examen is met deze verbetering in het vorige schooljaar reeds ingezet. Als aandachtspunt geldt wel dat op transparante wijze vooraf moet worden vastgesteld of de proeve van bekwaamheid volledig op de praktijkplaats kan worden afgenomen. Ook verdient de controle op een adequate onderbouwing van de als onvoldoende beoordeelde werkprocessen aanscherping. Onderzoek naar kwaliteitsverbetering mbo Summa College pagina 7 van 10
Naast de dekking is ook de cesuur verbeterd. Een student kan nu alleen slagen als aan alle werkprocessen is voldaan. Ook zijn er kritische prestatie-indicatoren bij de werkprocessen aangegeven. De informatie over de cesuur is in de diverse examendocumenten op elkaar afgestemd, zodat er geen sprake meer is van tegenstrijdigheden. Hierbij merken we op dat de wijzigingen in de cesuurbepaling nog niet waren doorgevoerd bij de in het vorig schooljaar ingezette examens. Het in dit opzicht verbeterde examenmateriaal is al wel vastgesteld door de examencommissie, maar nog niet ingezet. Dat zal pas later in dit schooljaar gebeuren. Tot dusver is slechts ten dele verbeterd examenmateriaal ingezet. Wij zien weinig risico rondom de inzet van de verbeterde examenproducten. De examencommissie hanteert een afdoende werkwijze om haar verantwoordelijkheid te kunnen nemen ten aanzien van de kwaliteit van de examinering, zoals we bij ons vorige onderzoek constateerden. Die handelwijze zien wij ook terug bij de aanpak van de verbeteringen die zijn doorgevoerd. Wij hebben er daarom vertrouwen in dat het verbeterde materiaal ook op adequate wijze zal worden ingezet en komen daarmee tot het oordeel voldoende. Onderzoek naar kwaliteitsverbetering mbo Summa College pagina 8 van 10
Bijlagen Bijlage I Normering kwaliteitsgebied De normen Op basis van het onderzoek spreekt de inspectie oordelen uit waarbij zij gebruik maakt van een normering. Deze bestaat uit: 1. Een normering per indicator: wanneer wordt voldaan aan de indicator? Hiervoor gebruikt de inspectie portretten: de aangetroffen situatie voldoet aan de indicator indien deze over het geheel genomen voldoet aan de beschrijving in het portret. Het gaat hier om een weging van het geheel met hantering van toleranties. 2. Een normering per aspect. 3. Een normering per kwaliteitsgebied. Deze normering wordt hieronder toegelicht. Bij het gebied Examinering en diplomering zijn alle aspecten als kernaspect aangegeven. Normering Examinering en diplomering Goed Aan alle standaarden is voldaan. De elementen in het portret worden op een uitstekende wijze uitgevoerd. Voldoende Aan alle standaarden is voldaan. Er wordt voor het grootste deel aan de omschrijving van de portretten van deze indicatoren voldaan, waaronder de essentiële onderdelen. Onvoldoende Aan één standaard is niet voldaan. Slecht Aan twee of drie standaarden is niet voldaan. Onderzoek naar kwaliteitsverbetering mbo Summa College pagina 9 van 10
Bijlage II Beoordeling indicatoren Meubelmaker/(scheeps)interieurbouwer (Meewerkend leidinggevende meubelindustrie/(scheeps)interieurbouw) Gebied 2: Examinering en diplomering Voldoende Onvoldoende Aspecten Indicatoren 2.1 Exameninstrumentarium* 2.1.1 Onderscheid tussen ontwikkelgerichte toetsen en examinering 2.1.2 Dekking van het kwalificatiedossier 2.1.3 Cesuur 2.1.4 Beoordelingswijze 2.1.5 Transparantie 2.2 Afname en 2.2.1 Authentieke afname beoordeling* 2.2.2 Betrouwbaarheid 2.3 Diplomering* 2.3.1 Besluitvorming diplomering 2.3.2 Verantwoordelijkheid examencommissie Onderzoek naar kwaliteitsverbetering mbo Summa College pagina 10 van 10