ONDERZOEK NAAR KWALITEITSVERBETERING MBO OPLEIDINGSNIVEAU ROC Zadkine te Rotterdam Optiek (Opticien/Manager) Juni, 2014
BRIN: 25LP Onderzoeksnummer: 276633 Onderzoek uitgevoerd in: Juni, 2014 Conceptrapport verzonden op: 17 juli 2014 Rapport vastgesteld te Utrecht op: 17 september 2014
INHOUD 1 Inleiding... 1 2 Conclusie en vervolg... 2 2.1 Conclusie... 2 2.2 Vervolg... 2 3 Resultaten... 3 Bijlagen... 6 Bijlage I Normering kwaliteitsgebieden... 6 Bijlage II Beoordeling indicatoren Optiek (Opticien/Manager)... 7
1 Inleiding De Inspectie van het Onderwijs voerde in juni 2014 een onderzoek naar kwaliteitsverbetering uit bij ROC Zadkine. Dit onderzoek heeft betrekking op de kwaliteit van de examinering en diplomering en de kwaliteitsborging. De volgende opleiding is onderzocht: Gebied Kwaliteitsborging 93652, Optiek (Opticien/Manager) Gebied Examinering en diplomering 93652, Optiek (Opticien/Manager) Leerweg, niveau, locatie leerweg bol, niveau 4, locatie Marconiestraat 16, Rotterdam Zadkine West De aanleiding voor het onderzoek naar kwaliteitsverbetering is het vervolgtoezicht zoals is opgenomen in het rapport van de Staat van de instelling dat op 19 maart 2013 is vastgesteld. In dat onderzoek zijn tekortkomingen in de kwaliteit van de examinering en diplomering en kwaliteitsborging geconstateerd. Bij de examinering van de opleiding Opticien/Manager waren tekortkomingen in de cesuur en de diplomering geconstateerd. Bij de kwaliteitsborging waren zowel de sturing, de beoordeling als de verbetering en verankering als onvoldoende beoordeeld. In dit onderzoek naar kwaliteitsverbetering hebben wij ons specifiek gericht op de indicatoren die eerder met een onvoldoende waren beoordeeld. Er zijn geen aanwijzingen het oordeel bij te stellen van de eerder als voldoende beoordeelde aspecten en indicatoren. Wij hebben gesprekken gevoerd met docenten, de examencommissie en het management. Daarnaast hebben we documenten onderzocht. Ook maakte een gesprek met het college van bestuur deel uit van het onderzoek naar kwaliteitsverbetering. In hoofdstuk 2 leest u de conclusie waaronder ook het eventuele vervolg voor de instelling. De resultaten van het onderzoek naar kwaliteitsverbetering kunt u lezen in hoofdstuk 3. De inspectie heeft zich bij haar onderzoek gebaseerd op het Toezichtkader bve 2012. Dit is te vinden op www.onderwijsinspectie.nl. Hier is ook de werkwijze te vinden die de inspectie gebruikt bij onderzoeken naar kwaliteitsverbetering. De normering is als bijlage I toegevoegd aan dit rapport. Onderzoek naar kwaliteitsverbetering mbo 25LP ROC Zadkine pagina 1 van 7
2 Conclusie en vervolg In dit hoofdstuk geven we aan welke conclusie we trekken uit het onderzoek naar kwaliteitsverbetering en, indien van toepassing, het vervolg. 2.1 Conclusie Het onderzoek naar kwaliteitsverbetering heeft geleid tot het oordeel voldoende voor de onderzochte kwaliteitsgebieden. Dat betekent dat de inspectie geen aanleiding heeft vervolgonderzoek uit te voeren of afspraken met het college van bestuur te maken voor deze opleiding. 2.2 Vervolg De beoordeling leidt niet tot vervolgtoezicht. Onderzoek naar kwaliteitsverbetering mbo 25LP ROC Zadkine pagina 2 van 7
3 Resultaten In dit hoofdstuk geven we het oordeel over de onderzochte kwaliteitsgebieden. Daarna geven we hierop een toelichting. Het onderzoek naar kwaliteitsverbetering heeft geleid tot de volgende oordelen: Kwaliteitsgebied Goed Voldoende Onvoldoende 2. Examinering en diplomering 4. Kwaliteitsborging Slecht Oordeel per aspect Hieronder geven we het oordeel over de aspecten van de onderzochte kwaliteitsgebieden weer. De oordelen over de aspecten die tijdens vorig onderzoek als voldoende zijn beoordeeld, zijn overgenomen. Een detaillering van het oordeel vindt u in bijlage II. Daarin is de beoordeling van de nu onderzochte indicatoren weergegeven. Kwaliteitsgebied Voldoende Aspect Gebied 2: Examinering en diplomering 2.1 Exameninstrumentarium* 2.2 Afname en beoordeling* 2.3 Diplomering* Gebied 4: Kwaliteitsborging 4.1 Sturing* 4.2 Beoordeling* 4.3 Verbetering en verankering* 4.4 Dialoog en verantwoording Onvoldoende De aspecten met een * zijn kernaspecten, zie bijlage I voor normering per gebied. Beschouwing Algemeen Na het onderzoek naar de Staat van de instelling is zowel instellingsbreed als bij deze opleiding een aantal verbeteracties ingezet om de kwaliteit te verbeteren en te borgen. Deze acties hebben zichtbaar effect gehad. Het kwaliteitsbewustzijn in het team is verbeterd en de kwaliteitsborging wordt nu systematisch vormgegeven. Examinering en diplomering Bij het onderzoek naar de Staat van de instelling was geconstateerd dat de cesuur van de proeven op kerntaakniveau en niet op werkprocesniveau lag. Daarnaast waren kerntaak 2 en kerntaak 4 in een proeve opgenomen en kenden geen afzonderlijke cesuur. De besluitvorming door de examencommissie was onvoldoende gebaseerd op eigen verificaties. De examinering is nu als voldoende beoordeeld. De in het vorige onderzoek geconstateerde tekortkomingen zijn opgelost. Het team heeft de exameninstrumenten aangepast, waarmee de eerder geconstateerde tekortkomingen in de cesuur zijn verholpen. Onderzoek naar kwaliteitsverbetering mbo 25LP ROC Zadkine pagina 3 van 7
De proeve van kerntaak 2 en 4 zijn gesplitst, waardoor niet meer onderling gecompenseerd kan worden. Er zijn kwalificerende examens voor kerntaak 5 ontwikkeld en er is een verantwoorde procedure ontwikkeld voor het bepalen van de cesuur, zowel voor de individuele examens als voor het examen als geheel. Alle nieuwe examens zijn vastgesteld, maar deze zijn nog niet allemaal ingezet. Het team heeft een bewuste keuze gemaakt om bij alle deelnemers van eenzelfde cohort dezelfde examens af te nemen. Aangezien er flexibel geëxamineerd wordt, betekent dit dat wijzigingen per cohort worden doorgevoerd. Ook de besluitvorming diplomering en de verantwoordelijkheid examencommissie zijn nu als voldoende beoordeeld. Aan de hand van het verbeterplan examenproces voor de optiek opleidingen en deskundigheidsbevordering van de diverse betrokkenen waaronder de examencommissie, zijn diverse verbeterslagen gerealiseerd. Het docententeam maakt vaststellingslijsten en geeft hierop aan welke studenten recht hebben op een diploma. Dit stuurt zij naar de examencommissie, die op basis van overzichtslijsten voorin de examendossiers checkt of de deelnemers aan alle diploma eisen voldoen. Ook voert zij steekproefsgewijs checks uit op de dossiers. Er is een examenadviseur aangesteld binnen het cluster, die naast deskundigheidsbevordering en advisering over onder andere de constructie en vaststelling van examens, ook secretaris is van de examencommissie. De examencommissie vergewist zich met gepaste grondigheid en frequentie van de kwaliteit van de examinering. Dit doet zij onder andere door steekproefsgewijze bijwoning van examens in de praktijk, het monitoren van de afname van proeves op school en het uitvoeren van diverse evaluaties bij praktijkassessoren, assessoren van school en studenten. De verzamelde informatie wordt geanalyseerd en besproken in de examencommissie om waar nodig verbetermaatregelen te nemen. Kwaliteitsborging Bij het onderzoek naar de Staat van de instelling was geconstateerd dat het teamjaarplan onvoldoende concreet was. De beoordeling bij de zelfevaluatie was te mild en er werd geen concrete normering bij gehanteerd. Bovendien waren verbeteracties niet in plannen vastgelegd. De kwaliteitsborging is nu als voldoende beoordeeld. De sturing, beoordeling en de verbetering en verankering zijn nu voldoende. Het team werkt volgens de instellingsbrede systematiek met een teamplan waarin kritische prestatieindicatoren (kpi s) zijn geformuleerd die aansluiten bij het managementcontract van de clusterdirecteur en de teamleider. Hiermee zijn de normen die worden nagestreefd vastgelegd. Het team werkt aan de hand van een jaaractiviteitenplanning waarin de diverse onderwerpen en acties uit het teamplan terugkomen, uitgezet binnen het schooljaar. Het is duidelijk wie wanneer welke actie dient te realiseren. De voortgang van de diverse (verbeter)plannen wordt besproken tijdens studiedagen, teamoverleg en voortgangsgesprekken van de teamleider en clusterdirecteur en wordt bijgehouden in de plannen en voortgangsrapportages. De onderwijskwaliteit wordt gemonitord middels de voortgangsrapportages waarin de realisatie van de kpi s is aangegeven aan de hand van de informatie uit de scorecard (het managementinformatiesysteem), panelgesprekken en diverse tevredenheidsmetingen. De resultaten van de panelgesprekken met deelnemers komen in het volgende panelgesprek weer aan de orde, om zichtbaar te maken wat er gebeurd is met hun input en te beoordelen of verbeterpunten voldoende zijn opgepakt. Hiermee heeft het team voldoende betrouwbare en representatieve Onderzoek naar kwaliteitsverbetering mbo 25LP ROC Zadkine pagina 4 van 7
informatie over de onderwijskwaliteit, welke zij aantoonbaar gebruikt om de kwaliteit van het onderwijs te beoordelen en te analyseren op risico s. De kpi s geven hierbij de na te streven norm aan. Voor geconstateerde risico s en tekortkomingen formuleert het team verbeteracties in het teamplan en/of verbeterplan examenprocessen, welke regelmatig in de examencommissie of met het team besproken worden. De geformuleerde verbetermaatregelen zijn inhoudelijk passend bij de geconstateerde tekortkomingen. Reeds afgeronde acties verdwijnen naar beneden op de actielijst. Aan het eind van het schooljaar wordt de gehele lijst nog eens doorgelopen om te bepalen of het beoogde effect bereikt is en om transparant te maken wat het team heeft gerealiseerd het afgelopen schooljaar. Onderzoek naar kwaliteitsverbetering mbo 25LP ROC Zadkine pagina 5 van 7
Bijlagen Bijlage I Normering kwaliteitsgebieden De normen Op basis van het onderzoek spreekt de inspectie oordelen uit waarbij zij gebruikmaakt van een normering. Deze bestaat uit: 1. Een normering per indicator: wanneer wordt voldaan aan de indicator? Hiervoor gebruikt de inspectie portretten: de aangetroffen situatie voldoet aan de indicator indien deze over het geheel genomen voldoet aan de beschrijving in het portret. Het gaat hier om een weging van het geheel met hantering van toleranties. 2. Een normering per aspect. 3. Een normering per kwaliteitsgebied. Deze normering wordt hieronder toegelicht. Bij het gebied Examinering en diplomering zijn alle aspecten als kernaspect aangegeven. Normering Examinering en diplomering Goed Aan alle standaarden is voldaan. De elementen in het portret worden op een uitstekende wijze uitgevoerd. Voldoende Aan alle standaarden is voldaan. Er wordt voor het grootste deel aan de omschrijving van de portretten van deze indicatoren voldaan, waaronder de essentiële onderdelen. Onvoldoende Aan één standaard is niet voldaan. Slecht Aan twee of drie standaarden is niet voldaan. Voor de normering van het gebied Kwaliteitsborging zijn drie kernaspecten benoemd. De kernaspecten zijn 4.1 Sturing, 4.2 Beoordeling en 4.3 Verbetering en verankering. Deze kernaspecten moeten alle drie voldoende zijn om een voldoende beoordeling te krijgen. Bij één of meer onvoldoende kernaspecten is de kwaliteitsborging onvoldoende. Normering Kwaliteitsborging Goed Aan alle aspecten is voldaan. Aan alle indicatoren is voldaan. De elementen in het portret worden op een uitstekende wijze uitgevoerd. Voldoende Aan alle kernaspecten is voldaan. Aan alle indicatoren van deze aspecten is voldaan. Er wordt voor het grootste deel aan de omschrijving van de portretten van deze indicatoren voldaan, waaronder de essentiële onderdelen. Onvoldoende Aan twee aspecten is niet voldaan. Aan één of twee kernaspecten is niet voldaan. Slecht Aan drie of vier aspecten is niet voldaan. Onderzoek naar kwaliteitsverbetering mbo 25LP ROC Zadkine pagina 6 van 7
Bijlage II Beoordeling indicatoren Optiek (Opticien/Manager) Gebied 2: Examinering en diplomering Voldoende Onvoldoende Aspecten Indicatoren 2.1 Exameninstrumentarium* 2.1.1 Onderscheid tussen ontwikkelgerichte toetsen en examinering 2.1.2 Dekking van het kwalificatiedossier 2.1.3 Cesuur 2.1.4 Beoordelingswijze 2.1.5 Transparantie 2.2 Afname en 2.2.1 Authentieke afname beoordeling* 2.2.2 Betrouwbaarheid 2.3 Diplomering* 2.3.1 Besluitvorming diplomering 2.3.2 Verantwoordelijkheid examencommissie Gebied 4: Kwaliteitsborging Voldoende Onvoldoende Aspecten Indicatoren 4.1 Sturing * 4.1.1 Plannen 4.1.2 Informatie 4.1.3 Continuïteit 4.2 Beoordeling * 4.2.1 Monitoring 4.2.2 Evaluatie 4.3 Verbetering en 4.3.1 Verbeteraanpak verankering * 4.3.2 Deskundigheidsbevordering 4.3.3 Verankering 4.4 Dialoog en 4.4.1 Intern verantwoording 4.4.2 Extern De aspecten met een * zijn kernaspecten Onderzoek naar kwaliteitsverbetering mbo 25LP ROC Zadkine pagina 7 van 7