ONDERZOEK NAAR KWALITEITSVERBETERING MBO Rijn IJssel Allround grimeur definitief december 2012
Plaats: Arnhem BRIN: 25LF Onderzoeksnummer: Kenmerk: 127766 H3478441/MB/25LF Onderzoek uitgevoerd in: september 2012 Conceptrapport verzonden op: 9 november 2012 Rapport vastgesteld te Utrecht op: 18 december 2012
INHOUD 1 Inleiding...1 2 Conclusie en vervolg...3 2.1 Conclusie...3 2.2 Vervolg...3 3 Resultaten...5 3.1 Oordeel per aspect...5 3.2 Beschouwing...5 Bijlagen...7 Bijlage I Normeringen kwaliteitsgebied/kwaliteitsgebieden...7 Bijlage II Beoordeling indicatoren Allround grimeur...8
1 Inleiding De Inspectie van het Onderwijs voerde op 13 september 2012 een onderzoek naar kwaliteitsverbetering uit bij Rijn IJssel. Dit onderzoek had betrekking op de kwaliteit van de examinering en diplomering van de volgende opleiding: Opleiding(en) - 91210, Allround grimeur, niveau 4, bol, Thorbeckestraat 6, Arnhem De aanleiding voor dit onderzoek is het volgende. In het onderzoek uitgevoerd in april 2011 bleek er sprake te zijn van tekortkomingen in de kwaliteit van de examinering. Geconstateerd is daarbij dat er sprake was van onvoldoende examenkwaliteit. Het exameninstrumentarium voldeed niet aan de uitstroomeisen en niet aan de toetstechnische eisen. De examencommissie had onvoldoende zicht op het verloop van de afname en de beoordeling van examens en de examenkwaliteit was onvoldoende geborgd. Ook was de deskundigheid van de betrokkenen onvoldoende in kaart gebracht. Hoewel de integrale examenkwaliteit tijdens het vorige onderzoek onvoldoende was, wordt hier in verband met de conversie van het vorige (Toezichtkader bve 2009) naar het huidige toezichtkader (Toezichtkader bve 2012) bij dit onderzoek geen aandacht aan besteed. Tijdens het onderzoek naar de verbetering van de examenkwaliteit bij de instelling zijn gesprekken gevoerd met docenten, management en de decentrale examencommissie en zijn aanvullend documenten onderzocht. In hoofdstuk 2 leest u de conclusies waaronder ook het vervolg van het toezicht voor de instelling. De resultaten van het onderzoek naar kwaliteitsverbetering kunt u lezen in hoofdstuk 3. De inspectie heeft zich bij haar onderzoek gebaseerd op het Toezichtkader bve 2012. Dit is te vinden op www.onderwijsinspectie.nl. Hier is ook de werkwijze te vinden die de inspectie gebruikt bij onderzoeken naar kwaliteitsverbetering. De normering is als bijlage I toegevoegd aan dit rapport. Onderzoek naar kwaliteitsverbetering mbo Rijn IJssel pagina 1 van 8
Onderzoek naar kwaliteitsverbetering mbo Rijn IJssel pagina 2 van 8
2 Conclusie en vervolg In dit hoofdstuk geven we aan welke conclusie we trekken uit het onderzoek naar kwaliteitsverbetering en, indien van toepassing, het vervolg. 2.1 Conclusie Het onderzoek naar kwaliteitsverbetering bij Allround grimeur heeft geleid tot het volgende oordeel: Kwaliteitsgebied Voldoende Onvoldoende 2. Examinering en diplomering 2.2 Vervolg De beoordeling leidt niet tot vervolgtoezicht. Onderzoek naar kwaliteitsverbetering mbo Rijn IJssel pagina 3 van 8
Onderzoek naar kwaliteitsverbetering mbo Rijn IJssel pagina 4 van 8
3 Resultaten In dit hoofdstuk vermelden we het oordeel over het kwaliteitsgebied en geven we tevens een toelichting op het oordeel. 3.1 Oordeel per aspect Hieronder geven we het oordeel op de aspecten per kwaliteitsgebied weer. In bijlage II is de beoordeling van de onderzochte indicatoren van de betreffende aspecten per kwaliteitsgebied opgenomen. Kwaliteitsgebied Voldoende Aspect Gebied 2: Examinering en diplomering 2.1 Exameninstrumentarium* 2.2 Afname en beoordeling* 2.3 Diplomering* Onvoldoende De aspecten met een * zijn kernaspecten, zie bijlage 1 voor normering per gebied. 3.2 Beschouwing Examinering en diplomering Voor deze opleiding is sprake van voldoende examenkwaliteit. Ten eerste voldoet het exameninstrumentarium aan de basiskwaliteit. Na het vorige onderzoek is het beroepsgerichte instrumentarium volledig aangepast. De drie kwalificerende opdrachten dekken alle werkprocessen en kerntaken. Elke opdracht heeft een evenwichtige cesuur en er is een duidelijke instructie voor zowel student als assessor. Door de vernieuwde opzet zijn de eerdere tekorten van deze beroepsgerichte examinering verdwenen en zijn dekking, cesuur, beoordelingswijze en transparantie op orde. Wel zijn de exameninstrumenten voor Nederlands en Engels onvoldoende. Het examenmateriaal van Nederlands is niet aangepast, waardoor de tekortkomingen uit het vorige onderzoek nog van kracht zijn. Met ingang van 2012-2013 wordt geen gebruik meer gemaakt van dit examenmateriaal, maar worden nieuw ontwikkelde en ingekochte examens gebruikt. We beoordelen de dekking in de exameninstrumenten Engels voor de taalvaardigheden schrijven en spreken als onvoldoende. De opdrachten sluiten onvoldoende aan bij het gewenste taalniveau en de beoordelingscriteria zijn niet concreet genoeg. Daarnaast ontbreekt in de exameninstrumenten voor de taalvaardigheden gesprekken voeren, schrijven en spreken essentiële informatie. Dit leidt tot een onvoldoende op transparantie. De afname en beoordeling zijn voldoende. De uitvoering van het examen vindt voor twee van de drie opdrachten op school plaats. Een werkproces wordt in de beroepspraktijk uitgevoerd. De resultaten van deze examenopdrachten worden door twee assessoren beoordeeld. De betrokken assessoren/beoordelaars zijn geschoold. Tot slot is de diplomering deugdelijk en geborgd. De examencommissie had bij het vorige onderzoek geen zicht op de afname en beoordeling. De wijziging van de examenorganisatie, waarbij de subexamencommissies zijn vervangen door één Onderzoek naar kwaliteitsverbetering mbo Rijn IJssel pagina 5 van 8
decentrale examencommissie (DEC), heeft ervoor gezorgd dat de procesgang rondom examinering is aangescherpt. Studenten vullen na afloop van de examinering evaluatieformulieren in, die door de DEC worden geanalyseerd en geëvalueerd. De DEC volgt en bewaakt de voortgang van de examinering en de diplomering. Onderzoek naar kwaliteitsverbetering mbo Rijn IJssel pagina 6 van 8
Bijlagen Bijlage I Normeringen kwaliteitsgebied/kwaliteitsgebieden De normen Op basis van het onderzoek spreekt de inspectie oordelen uit waarbij zij gebruik maakt van een normering. Deze bestaat uit: 1. Een normering per indicator: wanneer wordt voldaan aan de indicator? Hiervoor gebruikt de inspectie portretten: de aangetroffen situatie voldoet aan de indicator indien deze over het geheel genomen voldoet aan de beschrijving in het portret. Het gaat hier om een weging van het geheel met hantering van toleranties. 2. Een normering per aspect. 3. Een normering per kwaliteitsgebied. Deze normering wordt hieronder toegelicht. Bij het gebied Examinering en diplomering zijn alle aspecten als kernaspect aangegeven. Normering examinering en diplomering bij een onderzoek kwaliteitsverbetering Voldoende Aan alle indicatoren is voldaan. Er wordt voor het grootste deel aan de omschrijving van de portretten voldaan, waaronder de essentiële onderdelen. Onvoldoende Aan één of meer standaarden is niet voldaan. Afwijkingen Voor alle beoordelingen geldt dat in bijzondere omstandigheden de inspectie onderbouwd van de normering af kan wijken. Onderzoek naar kwaliteitsverbetering mbo Rijn IJssel pagina 7 van 8
Bijlage II Beoordeling indicatoren Allround grimeur In onderstaande tabel is de score weergegeven van de indicatoren waarnaar een onderzoek heeft plaatsgevonden. Wanneer er geen score is vermeld, betekent dit dat er geen aanwijzingen waren dat het oordeel van het eerdere onderzoek onderzocht moest worden. Gebied 2: Examinering en diplomering Voldoende Onvoldoende Aspecten Indicatoren 2.1 Exameninstrumentarium* 2.1.1 Onderscheid tussen n.v.t. ontwikkelgerichte toetsen en examinering 2.1.2 Dekking van het kwalificatiedossier 2.1.3 Cesuur 2.1.4 Beoordelingswijze 2.1.5 Transparantie 2.2 Afname en 2.2.1 Authentieke afname beoordeling* 2.2.2 Betrouwbaarheid 2.3 Diplomering* 2.3.1 Besluitvorming diplomering 2.3.2 Verantwoordelijkheid examencommissie De aspecten met een * zijn kernaspecten Onderzoek naar kwaliteitsverbetering mbo Rijn IJssel pagina 8 van 8