SPECIFIEK ONDERZOEK MBO Tweede fase: Kwaliteit examinering en diplomering

Transcriptie

1 SPECIFIEK ONDERZOEK MBO Tweede fase: Kwaliteit examinering en diplomering Alfa-College Plaats : Groningen BRIN nummer : 25LU Onderzoeksnummer : Datum onderzoek : 20 juni, 4 en 7 juli 2017 Datum vaststelling : 21 december /16

2

3 Inhoudsopgave 1 Inleiding Conclusie en vervolgtoezicht Conclusie Vervolg Resultaten van het onderzoek... 3 Bijlage... 6 Bijlage I Normering kwaliteitsgebied... 6

4 1 Inleiding In dit rapport staan de uitkomsten van de tweede fase van een specifiek onderzoek, dat de Inspectie van het Onderwijs op 20 juni en 4 en 7 juli 2017 heeft uitgevoerd bij de opleidingen Handel van het Alfa-College, locatie Boumaboulevard te Groningen. Het gaat hierbij om een specifiek onderzoek in de zin van artikel 15 van de Wet op het Onderwijstoezicht. De inspectie baseert zich bij dit onderzoek op het Toezichtkader bve 2012 inclusief de beleidsregel van 5 september 2016 en het Addendum 2015 (zie Aanleiding De aanleiding voor deze tweede fase van het specifiek onderzoek wordt gevormd door de bevindingen die zijn gedaan tijdens de eerste fase van het specifiek onderzoek dat op 30 januari en 3 februari 2017 bij uw instelling is uitgevoerd naar aanleiding van signalen met betrekking tot de kwaliteit van het onderwijs binnen de afdeling Handel aan de Boumaboulevard te Groningen. Zoals vermeld in de brief Afhandeling eerste fase specifiek onderzoek van 5 april 2017, kenmerk v1/25lu/dw, is naar aanleiding van deze bevindingen afgesproken om als tweede fase van dit specifiek onderzoek een onderzoek uit te voeren naar de kwaliteit van de examinering en diplomering, het sociaal klimaat en de kwaliteitsborging binnen de opleidingen Handel. In dit rapport wordt uitsluitend ingegaan op de resultaten op het gebied van de examinering en diplomering. Over de bevindingen op het gebied van het sociaal klimaat en de kwaliteitsborging informeren wij u per brief na afronding van de derde fase van het specifiek onderzoek. De volgende opleidingen zijn onderzocht: Gebied Examinering en diplomering, cohort Verkoopspecialist (Verkoopspecialist detailhandel) cohort cohort cohort Verkoopspecialist cohort Manager handel (Filiaalmanager) cohort cohort Manager retail cohort Leerweg, niveau, locatie leerweg bol/bbl niveau 3, locatie Boumaboulevard 573, 9723 ZS Groningen leerweg bol/bbl niveau 3, locatie Boumaboulevard 573, 9723 ZS Groningen leerweg bol/bbl niveau 4, locatie Boumaboulevard 573, 9723 ZS Groningen leerweg bol/bbl niveau 4, locatie Boumaboulevard 573, 9723 ZS Groningen Tijdens de tweede fase van het specifiek onderzoek hebben we informatie over de instelling en opleidingen geanalyseerd. Op locatie zijn documenten onderzocht en gesprekken gevoerd. Er is gesproken met de locatie examencommissie, docenten, de sector examencommissie, het management, medewerkers planning en control en het college van bestuur. In dit rapport starten we met de conclusie van het onderzoek en geven we aan wat het vervolg is (hoofdstuk 2). Vervolgens is het resultaat van het onderzoek beschreven (hoofdstuk 3). Rapport tweede fase specifiek onderzoek mbo Alfa-College pagina 1 van 6

5 2 Conclusie en vervolgtoezicht In dit hoofdstuk staat de conclusie van de tweede fase van het specifiek onderzoek en beschrijven we het vervolg. De toelichting op de beoordeling staat in hoofdstuk Conclusie De tweede fase van het specifiek onderzoek naar de kwaliteit van de examinering en diplomering vond plaats bij de opleidingen: Verkoopspecialist (Verkoopspecialist detailhandel), crebo Verkoopspecialist, crebo Manager handel (Filiaalmanager), crebo Manager retail, crebo We concluderen dat bij de onderzochte opleidingen het kwaliteitsgebied examinering en diplomering onvoldoende is. Bij deze opleidingen zullen we vervolgtoezicht uitvoeren, vanwege onvoldoende examenkwaliteit. In onderstaande paragraaf is aangegeven wat het vervolg inhoudt. 2.2 Vervolg We voeren bij bovengenoemde opleidingen vervolgtoezicht uit op het gebied van de examinering en diplomering, omdat we dit kwaliteitsgebied als onvoldoende hebben beoordeeld. In onderstaand schema is het vervolgtoezicht te lezen. Het vervolgtoezicht geldt voor opleidingen die onderzocht zijn binnen het betreffende kwaliteitsgebied, zoals vermeld in de tabel in hoofdstuk 1. Beoordeling Toezichtvorm Vervolgtoezicht Kwaliteit examinering en diplomering is onvoldoende. Aangepast toezicht vanwege onvoldoende examenkwaliteit. De inspectie meldt het oordeel aan de minister. De instelling ontvangt een waarschuwing. Na de in de waarschuwingsbrief opgenomen termijn volgt een herstelonderzoek We hanteren daarbij het Onderzoekskader mbo Rapport tweede fase specifiek onderzoek mbo Alfa-College pagina 2 van 6

6 3 Resultaten van het onderzoek In dit hoofdstuk lichten wij het resultaat van de tweede fase van het specifiek onderzoek toe. We geven aan wat het oordeel is (goed, voldoende, onvoldoende, slecht) en verantwoorden ons hierover. Het oordeel is gebaseerd op de beoordeling van de onderliggende aspecten. De tweede fase van het specifiek onderzoek bij de opleidingen Verkoopspecialist (Verkoopspecialist detailhandel), crebo Verkoopspecialist, crebo Manager handel (Filiaalmanager), crebo Manager retail, crebo locatie Bouwmaboulevard 573, Groningen, heeft geleid tot het volgende oordeel. Kwaliteitsgebied Goed Voldoende Onvoldoende 2. Examinering en diplomering Slecht Kwaliteitsgebied Voldoende Onvoldoende Aspect Gebied 2: Examinering en diplomering 2.1 Exameninstrumentarium* 2.2 Afname en beoordeling* 2.3 Diplomering* Beschouwing Algemeen De bevindingen tijdens de eerste fase van het specifiek onderzoek dat de inspectie in januari-februari 2017 bij het Alfa-college uitvoerde, gaven aanleiding om als tweede fase van dit onderzoek de gebieden examinering en diplomering, kwaliteitsborging en sociaal klimaat te onderzoeken. Bij de uitvoering van dit onderzoek (20 juni en 4 juli 2017) is het accent gelegd op het kwaliteitsgebied examinering en diplomering, omdat het onderzoeksteam bij het controleren van de examendossiers op ernstige problemen en tekortkomingen stuitte. Om risico s met betrekking tot de diplomawaarde uit te sluiten is een extra onderzoeksdag op 7 juli 2017 ingelast. Gezien de ernst van de constateringen is in de tweede fase van het specifiek onderzoek op 25 september 2017 de examinering en diplomering bij opleidingen Handel op twee andere locaties van het Alfa-college onderzocht op vergelijkbare risico s. Uit dossieronderzoek en gesprekken blijkt dat er inmiddels voldoende maatregelen getroffen zijn om de kwaliteit van de examinering en diplomering op die locaties te borgen. Examinering en diplomering De examinering en diplomering beoordelen we als onvoldoende, omdat niet voldaan is aan afname en beoordeling en besluitvorming diplomering en verantwoordelijkheid examencommissie. Het exameninstrumentarium voldoet, omdat het aansluit op de uitstroomeisen en voldoet aan de toetstechnische eisen. Het materiaal is ingekocht en eerder goedgekeurd door de inspectie. Rapport tweede fase specifiek onderzoek mbo Alfa-College pagina 3 van 6

7 De examenprocessen van afname en beoordeling voldoen niet, omdat deze onvoldoende deugdelijk zijn verlopen. De aandacht voor het onderdeel afname en beoordeling blijft achter, hierdoor is de conclusie dat zowel het management als de examencommissies geen zicht hebben op de wijze waarop in de beroepspraktijk examens worden afgenomen. Het ontbreekt aan steekproeven en een bijbehorend plan om de kwaliteit van de beoordelingen vast te stellen. Hierdoor is onduidelijk of studenten op dezelfde manier beoordeeld worden. Verder wordt het examenmateriaal niet ingezet zoals bedoeld. Alle proeves dienen met twee beoordelaars uitgevoerd te worden, zoals in het examenmateriaal beschreven. Dit gebeurt echter niet. Slechts sporadisch is er een tweede beoordelaar ingezet. De schoolexaminator is alleen aanwezig bij het eindgesprek en heeft geen zicht op de feitelijke prestatie van de student op het examenmoment. Ook is er onvoldoende zicht op de kwaliteit van de beoordelaars. Zo ontbreekt het aan een gerichte scholing voor beoordelaars die bijvoorbeeld door de opleiding georganiseerd wordt. De wijze van invullen van beoordelingen is onvoldoende onder de controle van de opleiding en de examencommissies. Beoordelaars die beoordelingen niet goed invullen, worden hier niet op gecontroleerd of aangesproken. Optellingen bij beoordelingen kloppen niet altijd, ook dit wordt niet gesignaleerd door de opleiding of hersteld. Het ontbreekt daarnaast veelal aan toelichtingen bij beoordelingen, terwijl het examenmateriaal dit wel voorschrijft. Bedrijven waar studenten examen afleggen zijn wel allemaal goedgekeurde leerbedrijven. Ook is er recentelijk een checklist ontwikkeld om te beoordelen of de examenplaats geschikt is. Bij Engels worden beoordelingen uitgevoerd door de docent die lesgeeft. Dit vormt een aandachtspunt. Wel worden er opnames gemaakt van het mondeling Engels en Nederlands. De examens Nederlands generiek worden door een andere docent van de vakgroep beoordeeld. De diplomering voldoet niet, omdat deze onvoldoende deugdelijk en geborgd is. In de bewaking van de kwaliteit van de examinering heeft het Alfa-College afgelopen jaar eigen onderzoek uitgevoerd waarbij verschillende onvolkomenheden op het gebied van examinering aan het licht kwamen. Dit heeft geleid tot een verbeterplan en de uitvoering van een externe audit in het voorjaar van Zo is afgelopen jaar geïnvesteerd in het verhelderen van de taken en verantwoordelijkheden van zowel de LEC (locatie examen commissie) als de SEC (sectorexamen commissie). Toch leiden alle maatregelen ter verbetering nog niet tot een deugdelijke borging van de examinering. De LEC diplomeert en voert steekproeven uit op de examendossiers, het is echter niet duidelijk wat deze controles opleveren omdat er veel slordigheden over het hoofd worden gezien. Dit vormt een risico. Het streven van de examencommissies is vooral om dossiers op orde te krijgen en deze op compleetheid te controleren, maar het ontbreekt in de eigen werkwijze nog aan transparantie en betrouwbaarheid. Zo ontbreken in de examendossiers nogal eens documenten en is bij examens in de beroepspraktijk geen tweede beoordelaar ingezet. De examencommissies hebben onvoldoende zicht op de totstandkoming van de beoordelingen. Dit blijkt bijvoorbeeld uit optellingen van cijfers die soms bijgewerkt zijn door beoordelaars. De deskundigheid van leden van examencommissies en teamleden is wel versterkt op het gebied van wet- en regelgeving, examenorganisatie en procedures. Daarnaast is de werkwijze van de SEC en de LEC aangepast. Dit blijkt echter nog geen garantie voor een foutloze gang van zaken. Zo vindt er nog onvoldoende toetsing plaats op de kennis van medewerkers die in de totale examenprocedure een rol vervullen. Er wordt wel veel aandacht besteed aan het opvolgen van gemaakte afspraken uit protocollen, maar de effecten hiervan zijn nog onvoldoende zichtbaar. We constateren dat de ingezette aanpassingen leiden tot meer bewustzijn over de noodzaak van correcte en transparante examinering en diplomering. Zo heeft het team veel inspanning geleverd om de examendossiers Rapport tweede fase specifiek onderzoek mbo Alfa-College pagina 4 van 6

8 voor de geplande diplomeringsdatum op orde te krijgen. De omvang van het probleem was echter te groot en de tijdspanne te kort om over de volle breedte resultaten te boeken. Voor een uiteindelijke systematische borging van de totale kwaliteit van de examinering is dus meer tijd nodig. Rapport tweede fase specifiek onderzoek mbo Alfa-College pagina 5 van 6

9 Bijlage Bijlage I Normering kwaliteitsgebied De normering per gebied is per januari 2015 aangepast (zie het Toezichtkader bve 2012 en het Addendum 2015). De normen Op basis van het onderzoek spreekt de inspectie oordelen uit waarvoor zij gebruikmaakt van een normering. Deze bestaat uit twee stappen: 1. Een normering per aspect: per aspect wordt een beschrijving gegeven. Indicatoren en portretten zijn daarvoor indicerend en richtinggevend. 2. Een normering per kwaliteitsgebied. Bij het gebied Examinering en diplomering zijn alle aspecten als kernaspect benoemd. Normering Examinering en diplomering Goed Aan alle drie de aspecten is voldaan. De elementen in het portret worden op een uitstekende wijze uitgevoerd. Voldoende Aan alle drie de aspecten is voldaan. Er wordt voor het grootste deel aan de omschrijving van de portretten voldaan, waaronder de essentiële onderdelen. Onvoldoende Aan één of twee aspecten is niet voldaan. Slecht Aan geen van de drie aspecten is voldaan. Rapport tweede fase specifiek onderzoek mbo Alfa-College pagina 6 van 6