ONDERZOEK NAAR KWALITEITSVERBETERING MBO OPLEIDINGSNIVEAU. ROC Aventus te Apeldoorn. Medewerker sociale zekerheid

Transcriptie

1 ONDERZOEK NAAR KWALITEITSVERBETERING MBO OPLEIDINGSNIVEAU ROC Aventus te Apeldoorn Medewerker sociale zekerheid Januari /8

2 BRIN: 27DV Onderzoeksnummer: Onderzoek uitgevoerd in: november 2014 Conceptrapport verzonden op: 17 december 2014 Rapport vastgesteld te Utrecht op: 27 januari 2015

3 INHOUD 1 Inleiding Conclusie en vervolg Conclusie Vervolg Resultaten... 5 Bijlagen... 7 Bijlage I Normering kwaliteitsgebieden... 7 Bijlage II Beoordeling indicatoren Medewerker sociale zekerheid /8

4

5 1 Inleiding De Inspectie van het Onderwijs voerde in november 2014 een onderzoek naar kwaliteitsverbetering uit bij ROC Aventus. Dit onderzoek heeft betrekking op de kwaliteit van de examinering en diplomering. De volgende opleiding is onderzocht: Gebied Examinering en diplomering Leerweg, niveau, locatie Medewerker sociale zekerheid leerweg bol, niveau 4, locatie Laan van de Mensenrechten 500, Apeldoorn De aanleiding voor dit onderzoek naar kwaliteitsverbetering is het oordeel zoals dit is opgenomen in het rapport van de Staat van de instelling (vastgesteld op 11 juli 2013). Er zijn toen tekortkomingen geconstateerd in de kwaliteit van de examinering en diplomering. De tekortkomingen in de kwaliteit van examinering en diplomering betroffen de deugdelijkheid en borging van de diplomering door de examencommissie. De examencommissie had onvoldoende zicht op de examinering en de kwaliteit van examinering werd onvoldoende geborgd. Daarnaast voldeden de mondelinge examens Nederlands niet aan de toetstechnische eisen. In het onderhavige onderzoek naar kwaliteitsverbetering hebben wij ons specifiek gericht op de aspecten die eerder met een onvoldoende waren beoordeeld. Er zijn geen aanwijzingen het oordeel bij te stellen van de eerder als voldoende beoordeelde aspecten. Wij hebben gesprekken gevoerd met leden van de sub- en sectorexamencommissie en het management. Daarnaast hebben we documenten onderzocht. In hoofdstuk 2 leest u de conclusie en het vervolg voor de instelling. De resultaten van het onderzoek naar kwaliteitsverbetering kunt u lezen in hoofdstuk 3. De inspectie heeft zich bij haar onderzoek gebaseerd op het Toezichtkader bve Dit is te vinden op Hier is ook de werkwijze te vinden die de inspectie gebruikt bij onderzoeken naar kwaliteitsverbetering. De normering is als bijlage I toegevoegd aan dit rapport. Onderzoek naar kwaliteitsverbetering mbo ROC Aventus pagina 1 van 8

6 Onderzoek naar kwaliteitsverbetering mbo ROC Aventus pagina 2 van 8

7 2 Conclusie en vervolg In dit hoofdstuk geven we aan welke conclusie we trekken uit het onderzoek naar kwaliteitsverbetering en beschrijven wij het vervolg. 2.1 Conclusie Het onderzoek naar kwaliteitsverbetering heeft geleid tot het oordeel voldoende voor het kwaliteitsgebied examinering en diplomering. 2.2 Vervolg Gezien bovenstaande conclusie is er geen sprake van vervolgtoezicht op het kwaliteitsgebied examinering en diplomering. Onderzoek naar kwaliteitsverbetering mbo ROC Aventus pagina 3 van 8

8 Onderzoek naar kwaliteitsverbetering mbo ROC Aventus pagina 4 van 8

9 3 Resultaten In dit hoofdstuk geven we het oordeel over de onderzochte kwaliteitsgebieden. Daarna geven we hierop een toelichting. Het onderzoek naar kwaliteitsverbetering heeft geleid tot de volgende oordelen. Kwaliteitsgebied Goed Voldoende Onvoldoende 2. Examinering en diplomering Slecht Oordeel per aspect Hieronder geven we het oordeel over de aspecten van de onderzochte kwaliteitsgebieden weer. De oordelen over de aspecten die tijdens vorig onderzoek als voldoende zijn beoordeeld, zijn overgenomen. Een detaillering van het oordeel vindt u in bijlage II. Daarin is de beoordeling van de onderzochte indicator weergegeven. Kwaliteitsgebied Voldoende Aspect Gebied 2: Examinering en diplomering 2.1 Exameninstrumentarium* 2.2 Afname en beoordeling* 2.3 Diplomering* Onvoldoende De aspecten met een * zijn kernaspecten, zie bijlage I voor normering per gebied. Beschouwing Algemeen Het opleidingsteam voor de opleiding - en dan met name de sub-examencommissie - heeft op belangrijke punten verbeteringen aangebracht in de borging van het examenproces. Er is sprake van een duidelijke regie op de uitvoering van het examen. De sub-examencommissie is nu in staat haar verantwoordelijkheid te nemen, doordat de werkwijze verder vorm en inhoud heeft gekregen. Hierdoor is de kwaliteit van examinering en diplomering nu voldoende. Examinering en diplomering De examinering en diplomering beoordelen we als voldoende. Dit onderzoek richtte zich op de diplomering. De diplomering is nu geborgd. De sub-examencommissie heeft op verschillende momenten zicht op de uitvoering van examinering. Zo wordt het examen van elke student voorafgegaan door een inhoudelijke beoordeling van de examenafspraken die de student heeft opgesteld. Hiermee heeft de examencommissie vroeg in het proces zicht op de complexiteit en omvang van de opdrachten die de student tijdens zijn examenperiode zal gaan uitvoeren. Naast een toets op de inhoudelijk kant van het examen beschouwt de sub-examencommissie ook de procesmatige kant van het examen, zoals doorlooptijd, deskundigheid van de beoordelaar en een formele scheiding tussen bpv-periode en examenperiode. Tijdens het examen heeft de sub-examencommissie zicht op de totstandkoming van het oordeel door controle van het ingevulde beoordelingsprotocol aan de hand van het logboek van de student. Onderzoek naar kwaliteitsverbetering mbo ROC Aventus pagina 5 van 8

10 In dit logboek is - in samenhang met de gemaakte examenafspraken - verwoord hoe de student invulling heeft gegeven aan de verschillende examenopdrachten. Ook de steekproefsgewijze aanwezigheid bij de presentatie aan het slot van het examen geeft de sub-examencommissie aanvullende informatie over het tot stand komen van het oordeel. Daarnaast maakt men systematisch gebruik van een examenprotocol waarin opgenomen is welke verschillende stappen door welke functionarissen moeten worden genomen. Dit afgetekende protocol maakt deel uit van het examendossier net als het proces-verbaal (van afname). Tot slot worden door zowel de sub- als de sectorexamencommissie steekproeven gehouden, waarbij afnames worden bijgewoond. De sub-examencommissie neemt haar verantwoordelijkheid door de beschikbare informatie te evalueren en heeft naar aanleiding daarvan aandachtspunten voor verbetering gezien. Zo kunnen de logboeken van de student nog specifieker worden ingevuld en zijn nog niet alle beoordelaars even specifiek in hun beoordelingsverantwoording. Samenvattend vergewist de sub-examencommissie zich zowel vooraf als tijdens en na de afname van de kwaliteit van de uitvoering van het examen en voert zij adequaat regie op de beheersing en ontwikkeling van de kwaliteit van examinering. Daarnaast is geconstateerd dat de tekortkomingen van het examen Nederlands, onderdeel spreken, zijn opgepakt. Eerder was er sprake van het ontbreken van afnamecondities, beoordelingscriteria en cesuur mede door de integratie met een deel van het beroepsgerichte examen. Momenteel zijn deze examens van elkaar gescheiden en maakt men voor het onderdeel spreken gebruik van ingekocht examenmateriaal van Deviant, dat eerder door de inspectie als voldoende is beoordeeld. Er is bij de uitvoering sprake van een dubbele beoordeling (tijdens de afname of met video-opnamen). De hiervoor genoemde werkwijze met processenverbaal en steekproeven is ook onverkort van toepassing op deze examens. Onderzoek naar kwaliteitsverbetering mbo ROC Aventus pagina 6 van 8

11 Bijlagen Bijlage I Normering kwaliteitsgebieden De normen Op basis van het onderzoek spreekt de inspectie oordelen uit waarbij zij gebruik maakt van een normering. Deze bestaat uit: 1. Een normering per indicator: wanneer wordt voldaan aan de indicator? Hiervoor gebruikt de inspectie portretten: de aangetroffen situatie voldoet aan de indicator indien deze over het geheel genomen voldoet aan de beschrijving in het portret. Het gaat hier om een weging van het geheel met hantering van toleranties. 2. Een normering per aspect. 3. Een normering per kwaliteitsgebied. Deze normering wordt hieronder toegelicht. Bij het gebied Examinering en diplomering zijn alle aspecten als kernaspect aangegeven. Normering Examinering en diplomering Goed Aan alle standaarden is voldaan. De elementen in het portret worden op een uitstekende wijze uitgevoerd. Voldoende Aan alle standaarden is voldaan. Er wordt voor het grootste deel aan de omschrijving van de portretten van deze indicatoren voldaan, waaronder de essentiële onderdelen. Onvoldoende Aan één standaard is niet voldaan. Slecht Aan twee of drie standaarden is niet voldaan. Onderzoek naar kwaliteitsverbetering mbo ROC Aventus pagina 7 van 8

12 Bijlage II Beoordeling indicatoren Medewerker sociale zekerheid Gebied 2: Examinering en diplomering Voldoende Onvoldoende Aspecten Indicatoren 2.1 Exameninstrumentarium* Onderscheid tussen ontwikkelgerichte toetsen en examinering Dekking van het kwalificatiedossier Cesuur Beoordelingswijze Transparantie 2.2 Afname en Authentieke afname beoordeling* Betrouwbaarheid 2.3 Diplomering* Besluitvorming diplomering Verantwoordelijkheid examencommissie De aspecten met een * zijn kernaspecten Onderzoek naar kwaliteitsverbetering mbo ROC Aventus pagina 8 van 8