ONDERZOEK NAAR KWALITEITSVERBETERING MBO. ROC Aventus te Apeldoorn

Transcriptie

1 ONDERZOEK NAAR KWALITEITSVERBETERING MBO ROC Aventus te Apeldoorn Leisure & hospitality (Leisure & hospitality assistant) definitief februari 2013 H /1

2 Plaats: Apeldoorn BRIN: 27DV Onderzoeksnummer: Kenmerk: HB Onderzoek uitgevoerd in: November 2012 Conceptrapport verzonden op: 14 januari 2013 Rapport vastgesteld te Utrecht op: 1 februari 2013

3 INHOUD 1 Inleiding Conclusie en vervolg Conclusie Vervolg Resultaten Leisure & hospitality (Leisure & hospitality assistant) Oordeel per aspect Beschouwing...5 Bijlagen...7 Bijlage I Normeringen kwaliteitsgebied...7 Bijlage II Beoordeling indicatoren Leisure & hospitality (Leisure & hospitality assistant)...8

4

5 1 Inleiding De Inspectie van het Onderwijs voerde op 6 november 2012 een onderzoek naar kwaliteitsverbetering uit bij ROC Aventus. Dit onderzoek had betrekking op de kwaliteit van de examinering van de volgende opleiding: Opleiding Leisure & hospitality (Leisure & hospitality assistant), niveau 2, bol, locatie Apeldoorn De aanleiding voor dit onderzoek is het volgende. In het kwaliteitsonderzoek uitgevoerd op 8 maart 2011 bleek er sprake te zijn van tekortkomingen in de kwaliteit van de examinering. Geconstateerd is daarbij dat er sprake was van onvoldoende examenkwaliteit. Het exameninstrumentarium, zowel beroepsgericht als de talen Nederlands en Engels, was van onvoldoende kwaliteit. Daarnaast waren de borging van de deskundigheid en de borging van de integrale examenkwaliteit onvoldoende. Hoewel de integrale examenkwaliteit tijdens het vorige onderzoek onvoldoende geborgd was, wordt hier in verband met de conversie van het vorige (Toezichtkader bve 2009) naar het huidige toezichtkader (Toezichtkader bve 2012) bij dit onderzoek geen aandacht aan besteed. Ook zijn aspecten en indicatoren die in het kwaliteitsonderzoek in 2011 voldoende waren nu niet weer onderzocht. Tijdens het onderzoek bij de instelling zijn gesprekken gevoerd met medewerkers, docenten en management en zijn aanvullend documenten onderzocht. In hoofdstuk 2 leest u de conclusies waaronder ook het (eventuele) vervolg van het toezicht voor de instelling. De toelichting op de resultaten van het onderzoek naar kwaliteitsverbetering kunt u lezen in hoofdstuk 3. De inspectie heeft zich bij haar onderzoek gebaseerd op het Toezichtkader bve Dit is te vinden op Hier is ook de werkwijze te vinden die de inspectie gebruikt bij onderzoeken naar kwaliteitsverbetering. De normering is als bijlage I toegevoegd aan dit rapport. Rapport onderzoek naar kwaliteitsverbetering mbo ROC Aventus pagina 1 van 8

6 Rapport onderzoek naar kwaliteitsverbetering mbo ROC Aventus pagina 2 van 8

7 2 Conclusie en vervolg In dit hoofdstuk geven we aan welke conclusie we trekken uit het onderzoek naar kwaliteitsverbetering en, indien van toepassing, het vervolg. 2.1 Conclusie Het onderzoek naar kwaliteitsverbetering bij Leisure & hospitality (Leisure & hospitality assistant) heeft geleid tot het volgende oordeel: Kwaliteitsgebied Voldoende Onvoldoende 1. Examinering en diplomering 2.2 Vervolg De beoordeling leidt niet tot vervolgtoezicht. Rapport onderzoek naar kwaliteitsverbetering mbo ROC Aventus pagina 3 van 8

8 Rapport onderzoek naar kwaliteitsverbetering mbo ROC Aventus pagina 4 van 8

9 3 Resultaten Leisure & hospitality (Leisure & hospitality assistant) In dit hoofdstuk vermelden we het oordeel over het kwaliteitsgebied en geven we tevens een toelichting op het oordeel. 3.1 Oordeel per aspect Hieronder geven we het oordeel op de aspecten per kwaliteitsgebied weer. In bijlage II is de beoordeling van de onderzochte indicatoren van de betreffende aspecten per kwaliteitsgebied opgenomen. Kwaliteitsgebied Voldoende Aspect Gebied 2: Examinering en diplomering 2.1 Exameninstrumentarium* 2.2 Afname en beoordeling* 2.3 Diplomering* De aspecten met een * zijn kernaspecten, zie bijlage 1 voor normering per gebied. 3.2 Beschouwing Onvoldoende Algemeen De in het kwaliteitsonderzoek vastgestelde tekortkomingen zijn bij het beroepsgerichte deel grotendeels verholpen. Als aandachtspunt geldt echter dat het management zich beter dient te vergewissen van de deskundigheid van de externe beoordelaars. De exameninstrumenten van diverse taalvaardigheden Nederlands en Engels voldoen nog steeds niet aan de eisen. Dit oordeel telt op dit moment niet mee in de beoordeling van de examinering van de opleiding. Examinering en diplomering De examenkwaliteit van het beroepsgerichte deel is voldoende. Deze examinering bestaat uit twee proeven van bekwaamheid, één per kerntaak. De beroepsgerichte examens worden afgenomen in het bedrijf waar de student zijn beroepspraktijkervaring opdoet. De opdrachten worden door de praktijkbeoordelaar van het bpv-bedrijf beoordeeld. In een eindgesprek tussen student, praktijkbeoordelaar en schoolbeoordelaar worden vervolgens de beoordelingen en de producten besproken. Het eindgesprek heeft geen beoordelend, maar een borgend karakter. De schoolbeoordelaar bepaalt het eindoordeel over het examenresultaat. De beoordeling van de examenresultaten is met deze aanpak voor een groot deel extern belegd en dat is van belang voor de vormgeving van het toezicht van het management. De opleiding heeft het afgelopen jaar veel geïnvesteerd in verbeteracties naar aanleiding van de resultaten van het onderzoek in Zo zijn de cesuurbepalingen leesbaarder en aangescherpt en is de instructie voor de beoordelaars en student nu helder beschreven. In het exameninstrumentarium staat duidelijk waar de student op beoordeeld wordt en welke criteria de beoordelaar daarbij dient te hanteren. Ook is er een onderlegger met criteria waaraan de onderbouwing moet voldoen. Tevens is per kerntaak aangegeven welke onderdelen als kritisch gelden en altijd voldoende moeten zijn. Met de genoemde verbeteringen voldoet het beroepsgerichte exameninstrumentarium aan de uitstroomeisen en aan de toetstechnische eisen. Rapport onderzoek naar kwaliteitsverbetering mbo ROC Aventus pagina 5 van 8

10 Bij een aantal taalvaardigheden voldoen de exameninstrumenten niet aan de eisen. Het instrumentarium voor Nederlands en Engels is deels ingekocht bij Malmberg en wordt ongewijzigd ingezet: de taalvaardigheden lezen en luisteren voor beide talen zijn eerder met een voldoende beoordeeld. De kwaliteit van het ingekochte exameninstrumentarium schrijven Engels (CEF A1 niveau) is bij het huidige onderzoek beoordeeld en is eveneens voldoende. De kwaliteit van het zelf ontwikkelde deel van Nederlands is onvoldoende omdat de beoordelingswijze niet voldoet. De kwaliteit van het zelf ontwikkelde deel van Engels (spreken en gesprekken voeren) is eveneens onvoldoende. De dekking, de cesuur (bij spreken), de beoordelingswijze en de transparantie voldoen niet. De waardering voor Nederlands en Engels weegt nu nog niet mee in het oordeel. De afname, beoordeling en diplomering zijn in het kwaliteitsonderzoek in 2011 als voldoende beoordeeld. Dat gold echter niet voor de borging van de deskundigheid van de bij de examinering betrokken personen. Op dit gebied is een aantal acties uitgevoerd. De deskundigheid van de bij examinering betrokken teamleden is in kaart gebracht. Door het teammanagement zijn de te vervullen rollen afgestemd op de competenties van de betrokkenen. Waar nodig is in aanvullende scholing voorzien. Het management vergewist zich nu op adequate wijze van de deskundigheid van de bij examinering betrokken teamleden. Dat geldt echter niet voor de deskundigheid van de externe beoordelaars in de beroepspraktijk. Met het gewijzigde exameninstrumentarium zijn tot dusver drie studenten geëxamineerd. De beoordelaars werden vooraf geïnformeerd over het examenproces en wat er van hen verwacht werd bij het examen. Zij ondertekenden daarnaast een formulier dat de uitleg heeft plaatsgevonden en begrepen is. Een dergelijke verklaring borgt echter niet of de betrokkene ook werkelijk beschikt over de vereiste beoordelingsdeskundigheid. Hier ligt een verbeterpunt, zeker gezien het gekozen examenmodel. Het teammanagement heeft aangegeven dat inmiddels besloten is om bij de nieuwe examenronde de praktijkbeoordeling steekproefsgewijs te gaan onderzoeken via bijwoning van de examenafname. Als aandachtspunt geldt ook dat de examendossiers niet altijd compleet en inzichtelijk zijn. Rapport onderzoek naar kwaliteitsverbetering mbo ROC Aventus pagina 6 van 8

11 Bijlagen Bijlage I Normeringen kwaliteitsgebied De normen Op basis van het onderzoek spreekt de inspectie oordelen uit waarbij zij gebruik maakt van een normering. Deze bestaat uit: 1. Een normering per indicator: wanneer wordt voldaan aan de indicator? Hiervoor gebruikt de inspectie portretten: de aangetroffen situatie voldoet aan de indicator indien deze over het geheel genomen voldoet aan de beschrijving in het portret. Het gaat hier om een weging van het geheel met hantering van toleranties. 2. Een normering per aspect. 3. Een normering per kwaliteitsgebied. Deze normering wordt hieronder toegelicht. Bij het gebied Examinering en diplomering zijn alle aspecten als kernaspect aangegeven. Normering Examinering en diplomering Goed Aan alle standaarden is voldaan. De elementen in het portret worden op een uitstekende wijze uitgevoerd. Voldoende Aan alle standaarden is voldaan. Er wordt voor het grootste deel aan de omschrijving van de portretten van deze indicatoren voldaan, waaronder de essentiële onderdelen. Onvoldoende Aan één standaard is niet voldaan. Slecht Aan twee of drie standaarden is niet voldaan. Rapport onderzoek naar kwaliteitsverbetering mbo ROC Aventus pagina 7 van 8

12 Bijlage II Beoordeling indicatoren Leisure & hospitality (Leisure & hospitality assistant) In onderstaande tabel is de score weergegeven van de indicatoren waarnaar een onderzoek heeft plaatsgevonden. Wanneer er geen score is vermeld betekent dit dat er geen aanwijzingen waren dat het oordeel van het eerdere onderzoek onderzocht moest worden. Gebied 2: Examinering en diplomering Voldoende Onvoldoende Aspecten Indicatoren 2.1 Exameninstrumentarium* Onderscheid tussen ontwikkelgerichte toetsen en examinering Dekking van het kwalificatiedossier Cesuur Beoordelingswijze Transparantie 2.2 Afname en Authentieke afname beoordeling* Betrouwbaarheid 2.3 Diplomering* Besluitvorming diplomering Verantwoordelijkheid examencommissie De aspecten met een * zijn kernaspecten Rapport onderzoek naar kwaliteitsverbetering mbo ROC Aventus pagina 8 van 8