ROC Tilburg. Kwaliteitsonderzoek. Inspectie van het onderwijs

Transcriptie

1 ROC Tilburg Kwaliteitsonderzoek Inspectie van het onderwijs Datum vaststelling: 13 december 2018

2 Samenvatting In de periode van 18 september tot en met 1 oktober 2018 hebben wij bij de drie hiernaast vermelde opleidingen een onderzoek uitgevoerd naar de kwaliteit van de examinering en diplomering. Deze opleidingen zijn onderdeel van de School voor Commerciële Dienstverlening van ROC Tilburg. We voerden dit onderzoek uit omdat we een signaal ontvingen over de gang van zaken op deze School bij de examens in Daar kwam bij dat wij bij het vierjaarlijks onderzoek bij ROC Tilburg (eind 2017) ook bij andere opleidingen/scholen van ROC Tilburg tekorten in de examenkwaliteit hebben geconstateerd. Onze conclusie is dat het gebied Examinering en diplomering bij alle drie onderzochte opleidingen van onvoldoende niveau is. Bij twee van de drie onderzochte opleidingen komt dit omdat de examencommissie de kwaliteit van de examinering en diplomering te weinig kan garanderen. Bij één opleiding is daarnaast ook de afname en beoordeling onvoldoende. Bestuur: Onderwijsgroep Tilburg Bestuursnummer: BRIN: 25LZ Onderzochte opleidingen: Verkoopspecialist, 25155, bol, niveau 3 Verkoper, 25167, bbl, niveau 2 Ondernemer detailhandel, 90290, bol, niveau 4 Onderzoeksnummer: Wat moet beter? De examencommissie moet maatregelen nemen om beter zicht te hebben en grip te krijgen op de kwaliteit van de examinering en diplomering. Verder moet de overdracht van informatie over de examinering en diplomering verbeteren. Nu weet men te weinig van elkaars rol en verantwoordelijkheden. Vervolg Wij voeren in september 2019 herstelonderzoeken uit bij de drie onderzochte opleidingen. Voorafgaand hieraan voeren we in het voorjaar 2019 een gesprek met het bestuur en de directie over de voortgang van de verbeteractiviteiten. INSPECTIE VAN HET ONDERWIJS - KWALITEITSONDERZOEK 2/15

3 Inhoudsopgave 1. Samenvatting 0 2. Opzet van het onderzoek 4 3. Hoofdconclusie en vervolg 6 4. Resultaten onderzoek opleiding Verkoopspecialist 8 5. Resultaten onderzoek opleiding Verkoper Resultaten onderzoek opleiding Ondernemer Detailhandel Reactie van het bestuur 14 INSPECTIE VAN HET ONDERWIJS - KWALITEITSONDERZOEK 3/15

4 2. Opzet van het onderzoek Dit onderzoek voeren we uit omdat wij een signaal ontvingen over de gang van zaken bij de examens 2018 bij de School voor Commerciële Dienstverlening. Daar kwam bij dat wij bij het vierjaarlijks onderzoek bij ROC Tilburg (eind 2017) ook bij andere opleidingen/scholen van ROC Tilburg tekorten in de examenkwaliteit hebben geconstateerd. We hebben daarom besloten een kwaliteitsonderzoek naar risico s uit te voeren om vast te stellen of er sprake is van tekortkomingen in de kwaliteit van de examinering en diplomering. We hebben hiervoor de volgende drie opleidingen onderzocht: - Verkoopspecialist, 25155, bol, niveau 3 - Verkoper, 25167, bbl, niveau 2 - Ondernemer detailhandel, 90290, bol, niveau 4. We hebben voor deze opleidingen gekozen omdat hiermee een spreiding van de onderwijsniveaus en bol/bbl bereikt wordt. Hierdoor ontstaat een representatief beeld voor de School voor Commerciële Dienstverlening. Werkwijze Wij vormen onze oordelen door de onderwijspraktijk van de opleiding te toetsen aan de standaarden uit het Onderzoekskader 2017 middelbaar beroepsonderwijs. We hebben bij de onderzochte opleidingen het kwaliteitsgebied Examinering en Diplomering onderzocht. Dit kwaliteitsgebied omvat de volgende standaarden: ED 1 Kwaliteitsborging examinering en diplomering ED 2 Exameninstrumentarium ED 3 Afname en beoordeling. Het onderzoek bestond uit een aantal centraal uitgevoerde onderzoeksactiviteiten en uit onderzoeksactiviteiten bij de drie onderzochte opleidingen. De centraal uitgevoerde onderzoeksactiviteiten bestonden uit: documentenanalyse een gesprek met het college van bestuur (samen met de controller Kwaliteit, een externe auditor en de directeur van de School voor Commerciële Dienstverlening) gesprekken met de Decentrale Examencommissie (DEC), de Centrale Examencommissie (CEC) en het Examenbureau. Op opleidings-/schoolniveau hebben we eveneens documenten geanalyseerd en daarnaast gesprekken gevoerd met surveillanten, beoordelaars en de directeur en coördinatoren van de School voor Commerciële Dienstverlening. Ook hebben we telefonisch gesproken met oud-studenten en hun ouders. Leeswijzer In hoofdstuk 2 staat de opzet van het onderzoek. In hoofdstuk 3 geven we de hoofdconclusies van de onderzoeken en het INSPECTIE VAN HET ONDERWIJS - KWALITEITSONDERZOEK 4/15

5 vervolgtoezicht. De hoofdstukken 4, 5 en 6 gaan verder in op de resultaten van de onderzoeken bij de drie onderzochte opleidingen. In hoofdstuk 7 is de mogelijkheid voor een reactie van het bestuur op het onderzoek en het rapport opgenomen. Overzicht onderzochte standaarden Onderzocht Examinering en diplomering ED1 Kwaliteitsborging examinering en diplomering ED2 Exameninstrumentarium ED3 Afname en beoordeling INSPECTIE VAN HET ONDERWIJS - KWALITEITSONDERZOEK 5/15

6 3. Hoofdconclusie en vervolg In dit hoofdstuk geven we de oordelen weer van de uitgevoerde onderzoeken bij de school voor Commerciële Dienstverlening gebaseerd op de bevindingen uit de verschillende onderzoeksactiviteiten. Wij concluderen dat het gebied Examinering en diplomering bij alle drie onderzochte opleidingen van onvoldoende niveau is, omdat bij alle drie de opleidingen de kwaliteitsborging van de examinering en diplomering onvoldoende is. Hiermee voldoen de opleidingen niet aan de Regeling standaarden examenkwaliteit mbo. De Decentrale Examencommissie (DEC) van de School voor Commerciële Dienstverlening heeft onvoldoende maatregelen getroffen om zicht en grip te hebben op de kwaliteit van de examinering en diplomering. Daardoor kan zij de kwaliteit van de examinering en van de instellingsexamens onvoldoende borgen. Dit blijkt onder meer uit het gegeven dat zij te weinig zicht heeft op de deskundigheid en onafhankelijkheid van de beoordelaars en examinatoren. Ook heeft de commissie te weinig zicht op de wijze waarop de afname en beoordeling plaatsvindt. Controle hierop vindt vooral plaats door de administratieve processen te checken, maar niet op de onderliggende beoordelingsprocessen. Hierdoor kan de commissie niet garanderen dat er gelijkwaardige afnamecondities en beoordelingsmomenten zijn voor studenten.ook heeft (of benut) zij te weinig mogelijkheden voor het signaleren van risico's en het treffen van passende maatregelen om de risico's te beperken. Daarnaast constateren wij dat bij één van de onderzochte opleidingen naast de kwaliteitsborging ook de afname en beoordeling onvoldoende is. Bij de andere twee onderzochte opleidingen hebben we de afname en beoordeling wél als voldoende beoordeeld. INSPECTIE VAN HET ONDERWIJS - KWALITEITSONDERZOEK 6/15

7 3.1. Afspraken over vervolgtoezicht Tekortkoming Wat verwachten wij van het bestuur? Wat doen wij? 25155, bol, niveau 3 Verkoopspecialist Het kwaliteitsgebied Examinering en diplomering is onvoldoende omdat Kwaliteitsborging examinering en diplomering (ED1) en de Afname en beoordeling (ED3) onvoldoende zijn. Er wordt niet voldaan aan de Regeling standaarden examenkwaliteit mbo Het bestuur zorgt dat de Examinering en diplomering voldoet aan de wettelijke eisen. De inspectie meldt het oordeel aan de minister. De instelling ontvangt een waarschuwing. In het voorjaar 2019 voeren wij een voortgangsgesprek. In september 2019 volgt een herstelonderzoek , bbl,niveau 2 Verkoper Het kwaliteitsgebied Examinering en diplomering is onvoldoende omdat Kwaliteitsborging examinering en diplomering (ED1) onvoldoende is. Er wordt niet voldaan aan de Regeling standaarden examenkwaliteit mbo Het bestuur zorgt dat de Examinering en diplomering voldoet aan de wettelijke eisen. De inspectie meldt het oordeel aan de minister. De instelling ontvangt een waarschuwing. In het voorjaar 2019 voeren wij een voortgangsgesprek. In september 2019 volgt een herstelonderzoek , bol, niveau 4 Ondernemer detailhandel Het kwaliteitsgebied Examinering en diplomering is onvoldoende omdat Kwaliteitsborging examinering en diplomering (ED1) onvoldoende is. Er wordt niet voldaan aan de Regeling standaarden examenkwaliteit mbo Het bestuur zorgt dat de Examinering en diplomering voldoet aan de wettelijke eisen. De inspectie meldt het oordeel aan de minister. De instelling ontvangt een waarschuwing. In het voorjaar 2019 voeren wij een voortgangsgesprek. In september 2019 volgt een herstelonderzoek. INSPECTIE VAN HET ONDERWIJS - KWALITEITSONDERZOEK 7/15

8 4. Resultaten onderzoek opleiding Verkoopspecialist In dit hoofdstuk geven we de oordelen en de conclusie weer van het onderzoek bij de opleiding Verkoopspecialist, 25155, bol, niveau Examinering en diplomering Het gebied Examinering en diplomering bij de opleiding Verkoopspecialist is onvoldoende. Alle standaarden zijn als onvoldoende beoordeeld. De examencommissie borgt onvoldoende de kwaliteit, het exameninstrumentarium wordt onvoldoende eenduidig gehanteerd en de afname en beoordeling wordt niet gegarandeerd. Er wordt daardoor niet voldaan aan de Regeling standaarden examenkwaliteit mbo Kwaliteitsborging examinering en diplomering: te weinig zicht en grip Wij concluderen dat de examencommissie haar wettelijke, borgende taak onvoldoende kan waarmaken. Wij zien bij deze opleiding duidelijk naar voren komen dat de DEC de examendossiers wel op de administratieve processen controleert, maar niet voldoende checkt of de examinering en beoordeling herleidbaar is en klopt. Dit komt omdat zij beperkt zicht heeft op de kwaliteit van de afname en de beoordeling van de examens. De commissie weet onvoldoende van de praktijk van de examinering, van de deskundigheid van de beoordelaars en van de inhoudelijke juistheid van beoordelingen. Een voorbeeld hiervan is het examen van de profielkerntaak p2-k1. Dit bestaat uit zes werkprocessen, waarvan er drie niet daadwerkelijk zijn geëxamineerd. De commissie heeft niet geconstateerd dat dit nietafgenomen examens zijn, en heeft ze afgetekend. Ook heeft de examencommissie niet geconstateerd dat er een verkeerde examenvorm (kennistoets voor een verkoopgesprek) is toegepast. Exameninstrumentarium: inzet niet conform de voorschriften Wij concluderen dat het exameninstrumentarium aansluit op de uitstroomeisen en voldoet aan de toetstechnische eisen. We beoordelen ED2 daarom als voldoende. De examens voor Nederlands schrijven zijn roc-breed ontwikkeld en INSPECTIE VAN HET ONDERWIJS - KWALITEITSONDERZOEK 8/15

9 vastgesteld. Deze examens zijn op zich van voldoende kwaliteit. De kwaliteit van deze examens kan echter nog verbeterd worden door helder te omschrijven wat de beoordelingscriteria precies zijn en hoe de examens moeten worden afgenomen. Dit komt de eenduidigheid van de beoordelingen ten goede. De examens spreken en gesprekken voeren zijn door het team zelf ontwikkeld en vastgesteld door de DEC. Deze examens voldoen. Afname en beoordeling: risico s voor eerlijk verloop De afname en beoordeling is onvoldoende deugdelijk en betrouwbaar. In de eerste plaats was er in het afgelopen examenjaar sprake van het niet aanwezig zijn van examens, het ontbreken van surveillanten en onduidelijkheden in het examenrooster. Dit heeft risico's opgeleverd voor gelijke afnamecondities voor studenten en voor een eerlijk verloop van de examens. Daarnaast hebben wij in het onderzoek geconstateerd dat er niet-afgenomen examens zijn afgetekend, en er dus studenten zijn die op onderdelen niet geëxamineerd zijn. INSPECTIE VAN HET ONDERWIJS - KWALITEITSONDERZOEK 9/15

10 5. Resultaten onderzoek opleiding Verkoper In dit hoofdstuk geven wij de oordelen en de resultaten van het onderzoek bij de opleiding Verkoper, 25167, bbl, niveau Examinering en diplomering Het gebied Examinering en diplomering bij de opleiding Verkoper is onvoldoende, omdat de examencommissie te weinig zicht en grip heeft op de examenprocessen en daardoor de kwaliteit onvoldoende kan borgen. Er wordt daardoor niet voldaan aan de Regeling standaarden examenkwaliteit mbo Kwaliteitsborging examinering en diplomering: te weinig zicht en grip Wij concluderen dat de examencommissie haar wettelijke, borgende taak onvoldoende kan waarmaken. Dit komt omdat zij beperkt zicht heeft op de kwaliteit van de afname en de beoordeling van de examens. De commissie weet onvoldoende van de praktijk van de examinering, van de deskundigheid van de beoordelaars en van de inhoudelijke juistheid van beoordelingen. Exameninstrumentarium: ingekochte en zelfontwikkelde examens voldoen Het exameninstrumentarium is voldoende, omdat het aansluit op de uitstroomeisen en voldoet aan de toetstechnische eisen. De opleiding koopt de beroepsgerichte examens in. Deze exameninstrumenten zijn eerder door de inspectie goedgekeurd en worden ongewijzigd ingezet. De examens voor Nederlands schrijven zijn roc-breed ontwikkeld en vastgesteld. Deze examens zijn als voldoende beoordeeld. De kwaliteit van deze examens kan echter nog verbeterd worden door nog duidelijker te omschrijven wat de beoordelingscriteria precies zijn en hoe de examens moeten worden afgenomen. Dit komt de eenduidigheid van de beoordelingen ten goede. De examens spreken en gesprekken voeren zijn door het team zelf ontwikkeld en vastgesteld door de DEC. Ook deze examens voldoen. Afname en beoordeling: betrouwbaarheid niet in het geding INSPECTIE VAN HET ONDERWIJS - KWALITEITSONDERZOEK 10/15

11 Wij beoordelen de inrichting en uitvoering van het examenproces als voldoende, maar wel als kwetsbaar. Die kwetsbaarheid heeft te maken met de eerdere constateringen over de examencommissie, met name wat betreft het gebrek aan zicht op deskundigheid van de beoordelaars en gebrek aan zicht over de gang van zaken bij examens in de praktijk. Wij concluderen desondanks dat de betrouwbaarheid van de afname en beoordeling in het afgelopen examenjaar niet daadwerkelijk in het geding is geweest. Het team heeft zich binnen haar mogelijkheden ingezet om zoveel mogelijk tot een betrouwbare en gelijkwaardige beoordeling te komen. Zo zijn bij het examen in de beroepspraktijk twee beoordelaars betrokken. Bij de taalexamens vinden opnames plaats die bij twijfel worden voorgelegd aan een andere taaldocent. De borging van deze taalexamens zou nog verbeterd kunnen worden door bijvoorbeeld steekproefsgewijs tweede beoordelingen te laten plaatsvinden. Door de heldere onderbouwing van de oordelen in de examendossiers is er bovendien gerichte, controleerbare informatie over de toegekende waardering beschikbaar. INSPECTIE VAN HET ONDERWIJS - KWALITEITSONDERZOEK 11/15

12 6. Resultaten onderzoek opleiding Ondernemer Detailhandel In dit hoofdstuk geven wij de oordelen en resultaten van het onderzoek bij de opleiding Ondernemer detailhandel, 90290, bol, niveau Examinering en diplomering Het gebied Examinering en diplomering bij de opleiding Ondernemer detailhandel is onvoldoende, omdat de examencommissie te weinig zicht en grip heeft op de examenprocessen en daardoor de kwaliteit onvoldoende kan borgen. Er wordt daardoor niet voldaan aan de Regeling standaarden examenkwaliteit mbo Kwaliteitsborging examinering en diplomering: te beperkt zicht en grip Wij concluderen dat de examencommissie haar wettelijke, borgende taak onvoldoende kan waarmaken. Dit komt omdat zij beperkt zicht heeft op de kwaliteit van de afname en de beoordeling van de examens. De commissie weet onvoldoende van de praktijk van de examinering, van de deskundigheid van de beoordelaars en van de inhoudelijke juistheid van beoordelingen. Exameninstrumentarium: ingekocht en eigen materiaal voldoet Het exameninstrumentarium is voldoende, omdat het aansluit bij de uitstroomeisen en voldoet aan de toetstechnische eisen. De opleiding gebruikt voor de beroepsgerichte examens deels ingekocht materiaal dat is goedgekeurd door de inspectie. Voor de theorie-examens heeft het team zelf examens ontwikkeld die kwalitatief aan de eisen voldoen. De examens voor Nederlands schrijven zijn roc-breed ontwikkeld en vastgesteld. De kwaliteit van deze examens is voldoende. De kwaliteit kan echter nog verbeterd worden door helder te omschrijven wat de beoordelingscriteria precies zijn en hoe de examens moeten worden afgenomen. Dit komt de eenduidigheid van de beoordelingen ten goede. De examens spreken en gesprekken voeren zijn door het team zelf ontwikkeld en vastgesteld door de DEC. Deze examens voldoen ook. INSPECTIE VAN HET ONDERWIJS - KWALITEITSONDERZOEK 12/15

13 Afname en beoordeling: betrouwbaarheid niet in het geding Wij beoordelen de inrichting en uitvoering van het examenproces als voldoende, maar wel als kwetsbaar. Die kwetsbaarheid heeft te maken met de eerdere constateringen over de examencommissie, met name wat betreft het gebrek aan zicht op deskundigheid van de beoordelaars en gebrek aan zicht over de gang van zaken bij examens in de praktijk. Wij concluderen desondanks dat de betrouwbaarheid van de afname en beoordeling in het afgelopen examenjaar niet daadwerkelijk in het geding is geweest. Er is wel sprake geweest van een aantal slordigheden (zoals het afnemen van verkeerde examens Nederlands en Engels), maar die slordigheden zijn op tijd ontdekt door het team en in samenspraak met de examencommissie hersteld. Het team heeft zich binnen haar mogelijkheden ingezet om zoveel mogelijk tot een betrouwbare en gelijkwaardige beoordeling te komen. Zo zijn bij het examen in de beroepspraktijk twee beoordelaars betrokken. Bij de taalexamens vinden opnames plaats die zo nodig worden doorgesproken in het team. De borging van de taalexamens zou nog verbeterd kunnen worden door bijvoorbeeld steekproefsgewijs tweede beoordelingen te laten plaatsvinden. De oordelen zijn bovendien helder onderbouwd in de examendossiers. Dit maakt het mogelijk te controleren of de oordelen inderdaad terecht zijn. INSPECTIE VAN HET ONDERWIJS - KWALITEITSONDERZOEK 13/15

14 7. Reactie van het bestuur We geven u de mogelijkheid een beleidsreactie op te nemen in dit hoofdstuk in het rapport. U kunt hierin aangeven op welke wijze u de bevindingen uit het onderzoek betrekt bij de verdere ontwikkeling van uw bestuurlijke kwaliteitszorg en de onderwijskwaliteit. INSPECTIE VAN HET ONDERWIJS - KWALITEITSONDERZOEK 14/15

15 Inspectie van het Onderwijs Postbus 2730, 3500 GS Utrecht T-algemeen T-loket (voor vragen)