ONDERZOEK NAAR KWALITEITSVERBETERING MBO OPLEIDINGSNIVEAU Rijn IJssel te Arnhem Administratief medewerker (Bedrijfsadministratief medewerker) Juni 2014 3280511/7
BRIN: 25LF Onderzoeksnummer: 275600 Onderzoek uitgevoerd in: maart 2014 Conceptrapport verzonden op: 29 april 2014 Rapport vastgesteld te Utrecht op: 18 juni 2014
INHOUD 1 Inleiding... 1 2 Conclusie en vervolg... 3 2.1 Conclusie... 3 2.2 Vervolg... 3 3 Resultaten... 5 Bijlagen... 9 Bijlage I Normering kwaliteitsgebieden... 9 Bijlage II Overzicht bc-id... 11 Bijlage III Beoordeling indicatoren Administratief medewerker, 90471... 12 3280511/7
1 Inleiding De Inspectie van het Onderwijs voerde op 20 en 24 maart 2014 een onderzoek naar kwaliteitsverbetering uit bij Rijn IJssel. Dit onderzoek heeft betrekking op de kwaliteit van het onderwijsproces, de kwaliteit van de examinering en diplomering, de opbrengsten en de kwaliteitsborging. De volgende opleiding is onderzocht: Gebied Opbrengsten bc003 Gebied Onderwijsproces, Kwaliteitsborging en Wettelijke vereisten 90471 Administratief medewerker (Bedrijfsadministratief medewerker) Gebied Examinering en diplomering 90471 Administratief medewerker (Bedrijfsadministratief medewerker) Leerweg, niveau, locatie bol, niveau 2, Apeldoornseweg 210 Arnhem De aanleiding voor het onderzoek naar kwaliteitsverbetering is het vervolgtoezicht zoals is opgenomen in het rapport van de Staat van de instelling dat op 28 januari 2013 is vastgesteld. In het onderzoek zijn tekortkomingen in de kwaliteit van het onderwijsproces, de kwaliteit van de examinering en diplomering, de kwaliteitsborging en de opbrengsten geconstateerd en was er sprake van zeer zwak onderwijs, slechte examenkwaliteit en niet-naleving van de wettelijke vereisten op het gebied van kwaliteitsborging. De onderwijskwaliteit was onvoldoende omdat er tekortkomingen waren geconstateerd bij samenhang, maatwerk, didactisch handelen, leertijd en studieloopbaanbegeleiding. Een uitgewerkt curriculum waarin de koppeling met het kwalificatiedossier werd gelegd ontbrak, er was te weinig afwisseling tussen theorie en praktijk en de leerstof was niet evenwichtig verdeeld over de twee leerjaren. Ook was er geen sprake van maatwerk in de zin van versnelling van het traject. Daarnaast waren de verschillen tussen de docenten onderling groot door het ontbreken van een gezamenlijk gedragen onderwijsvisie en waren de lessen te weinig stimulerend en uitdagend voor de studenten. Door gebrek aan eenduidig en daadkrachtig handhaven van orde en regels, ging bovendien veel leertijd verloren. Tenslotte was de studieloopbaanbegeleiding onder de maat omdat op dit gebied afspraken over een uniforme aanpak eveneens ontbraken, ook met betrekking tot de informatie die werd verzameld tijdens de intake. Van begeleidingsactiviteiten tijdens de beroepspraktijkvorming vond onvoldoende verslaglegging plaats. De examinering en diplomering was slecht omdat er tekortkomingen waren geconstateerd bij het exameninstrumentarium (beoordelingswijze en transparantie) en de afname en beoordeling (betrouwbaarheid). Bij de beoordelingswijze kwam het scoremodel voor de werkprocessen niet overeen met de competenties en prestatie-indicatoren uit het kwalificatiedossier. Daarnaast konden de beoordelingen niet onderbouwd worden en waren ze niet herleidbaar tot het beoordelingsschema. De transparantie voldeed niet omdat de informatie uit de verschillende informatiedragers sterk van elkaar afweken. Tenslotte werd niet gelijk beoordeeld in gelijke gevallen door grote onduidelijkheid over de exacte vorm en beoordeling van de kwalificerende toetsen. Onderzoek naar kwaliteitsverbetering mbo - Rijn IJssel pagina 1 van 13
Ook de kwaliteitsborging was slecht door onvoldoende sturing, beoordeling en verbetering en verankering. Het teamplan op opleidingsniveau voldeed niet omdat het te veel activiteitgerichte onderwerpen bevatte en geen relatie kende met het sectorplan. Door het ontbreken van concrete doelen in het teamplan werd doelgericht handelen bemoeilijkt waardoor ook geen evaluatie kon plaatsvinden. Bovendien werden geen onafhankelijke deskundigen betrokken bij de beoordeling van de kwaliteit. Als laatste was de verbetering en verankering onvoldoende doordat tijdens de strategische heroriëntatie de organisatie nog volop in beweging was. In dit onderzoek naar kwaliteitsverbetering hebben wij ons specifiek gericht op de indicatoren die eerder met een onvoldoende waren beoordeeld. Aanvullend daarop hebben wij de kwaliteit van het leraarschap onderzocht. Er zijn geen aanwijzingen het oordeel bij te stellen van de eerder als voldoende beoordeelde aspecten en indicatoren. Wij hebben gesprekken gevoerd met studenten, docenten, examencommissie en management. Daarnaast hebben we documenten onderzocht en onderwijsactiviteiten geobserveerd. Ook maakte een gesprek met de directie deel uit van het onderzoek naar kwaliteitsverbetering. In hoofdstuk 2 leest u de conclusie waaronder ook het eventuele vervolg voor de instelling. De resultaten van het onderzoek naar kwaliteitsverbetering kunt u lezen in hoofdstuk 3. De inspectie heeft zich bij haar onderzoek gebaseerd op het Toezichtkader bve 2012. Dit is te vinden op www.onderwijsinspectie.nl. Hier is ook de werkwijze te vinden die de inspectie gebruikt bij onderzoeken naar kwaliteitsverbetering. De normering is als bijlage I toegevoegd aan dit rapport. Onderzoek naar kwaliteitsverbetering mbo - Rijn IJssel pagina 2 van 13
2 Conclusie en vervolg In dit hoofdstuk geven we aan welke conclusie we trekken uit het onderzoek naar kwaliteitsverbetering en, indien van toepassing, het vervolg. 2.1 Conclusie Het onderzoek naar kwaliteitsverbetering heeft geleid tot het oordeel voldoende voor het kwaliteitsgebied onderwijsproces, examinering en diplomering en kwaliteitsborging. De opbrengsten zijn onvoldoende. Hierdoor vindt vervolgtoezicht plaats vanwege onvoldoende opbrengsten. In de volgende paragraaf is het vervolg uitgewerkt. 2.2 Vervolg In onderstaand schema is het vervolgtoezicht te lezen. Administratief medewerker (Bedrijfsadministratief medewerker), 90471 Beoordeling Toezichtvorm Vervolgtoezicht Niveau opbrengsten is onvoldoende*. Aangepast toezicht vanwege onvoldoende opbrengsten*. Na circa een jaar onderzoek naar kwaliteitsverbetering. * Het oordeel van de opbrengsten betreft de opleidingen binnen de bc-id, zie bijlage II voor het overzicht waaruit blijkt op welke opleidingen dit oordeel van toepassing is. In het vervolgtoezicht voor opbrengsten worden alle bijbehorende opleidingen betrokken. Onderzoek naar kwaliteitsverbetering mbo - Rijn IJssel pagina 3 van 13
Onderzoek naar kwaliteitsverbetering mbo - Rijn IJssel pagina 4 van 13
3 Resultaten In dit hoofdstuk geven we het oordeel over de onderzochte kwaliteitsgebieden. Daarna geven we hierop een toelichting. Het onderzoek naar kwaliteitsverbetering heeft geleid tot de volgende oordelen. Kwaliteitsgebied Goed Voldoende Onvoldoende 1. Onderwijsproces 2. Examinering en diplomering 3. Opbrengsten 4. Kwaliteitsborging Slecht Oordeel per aspect Hieronder geven we het oordeel over de aspecten van de onderzochte kwaliteitsgebieden weer. De oordelen over de aspecten die tijdens vorig onderzoek als voldoende zijn beoordeeld, zijn overgenomen. Een detaillering van het oordeel vindt u in bijlage III. Daarin is de beoordeling van de onderzochte indicatoren weergegeven. Kwaliteitsgebied Voldoende Onvoldoende Aspect Gebied 1: Onderwijsproces Programma 1.1 Samenhang 1.2 Maatwerk Leren in de onderwijsinstelling 1.3 Didactisch handelen* 1.4 Leertijd 1.5 Leeromgeving Begeleiding 1.6 Intake & plaatsing 1.7 Studieloopbaanbegeleiding* 1.8 Zorg Leren in de beroepspraktijk 1.9 Beroepspraktijkvorming* Gebied 2: Examinering en diplomering 2.1 Exameninstrumentarium* 2.2 Afname en beoordeling* 2.3 Diplomering* Gebied 3: Opbrengsten 3.1 Rendement Gebied 4: Kwaliteitsborging 4.1 Sturing* 4.2 Beoordeling* 4.3 Verbetering en verankering* 4.4 Dialoog en verantwoording Gebied 5: Naleving wettelijke vereisten 5.1 Naleving wettelijke vereisten Gebied 6: Kwaliteit leraarschap 6.1 Didactisch handelen 6.2 Betrokkenheid leraren 6.3 Professionalisering De aspecten met een * zijn kernaspecten, zie bijlage I voor normering per gebied. Onderzoek naar kwaliteitsverbetering mbo - Rijn IJssel pagina 5 van 13
Beschouwing Algemeen De opleiding Bedrijfsadministratief medewerker heeft intensief gewerkt aan verbeteringen gericht op studentenbegeleiding, teamontwikkeling, didactiek, examinering en sturing. De leden van het relatief kleine team hebben daarin een positieve ontwikkeling doorgemaakt en bijgedragen aan het verbeterproces. Het team voelt zich inmiddels thuis op de huidige locatie en maakt gebruik van de voordelen van de kleinschaligheid. Onderwijsproces De kwaliteit van het onderwijsproces is voldoende. De aspecten samenhang, didactisch handelen, leertijd en studieloopbaanbegeleiding die tijdens het vorige onderzoek niet voldoende waren, voldoen nu aan de vereisten. Wat betreft de samenhang is middels de opleidingsgids en de wegwijzer van de sector voldoende duidelijk dat het onderwijsprogramma gekoppeld is aan het kwalificatiedossier. De opleiding heeft bewuste keuzes gemaakt om het onderwijs zo effectief mogelijk te programmeren en de opbouw van stage en school binnen de opleiding verder te optimaliseren. Zo werkt de opleiding tijdens de beroepspraktijkvorming en op school nu met materiaal van de Stichting Praktijkleren. Ook heeft de opleiding geen schoolleerbedrijf meer, maar maakt gebruik van simulaties tijdens lessituaties ingekocht bij Stichting praktijkleren. Ook bij didactisch handelen leiden de verbeteringen tot een voldoende. Zo hanteren alle docenten een afgesproken structuur tijdens de lessen en gebruiken zij passende werkvormen. Alle studenten worden actief betrokken bij de lesactiviteit. Over het algemeen heerst er een taakgerichte werksfeer. Deze verbeteringen zijn tot stand gekomen doordat de docenten meer als team opereren en een gezamenlijke onderwijsvisie hebben ontwikkeld onder begeleiding van een extern bureau. De kwaliteit van het leraarschap is voldoende. Er is gestart met het in kaart brengen van de pedagogische en didactische vaardigheden van docenten en er zijn afspraken gemaakt over ontwikkeltrajecten zowel individueel als voor het team. Deze inventarisatie en afspraken zijn het begin van een totaal proces dat is ingezet met als beoogd resultaat verdere verbetering van het onderwijsproces. Het gegroeide bewustzijn heeft als gevolg dat er door de docenten een begin gemaakt is met het aanbrengen van veranderingen in didactische aanpak tijdens de lessen. Studieloopbaanbegeleiding is voldoende. De invulling van de studieloopbaanbegeleiding is voor beide leerjaren belegd bij één docent. Zij wordt ondersteund en indien nodig vervangen door collega s waardoor er continuiteit is in de begeleiding. De studieloopbaanbegeleider heeft beschikking over gegevens met betrekking tot de studievoortgang. Wij hebben geconstateerd dat de functionaliteit van de digitale omgeving N@tschool steeds verder wordt uitgebreid. Op het moment van onderzoek is ook de cijferregistratie gereed voor ingebruikname, waardoor de studenten en docenten inzage hebben in de studievoortgang. De informatie uit de intake wordt overgedragen aan de studieloopbaanbegeleider en opgenomen in het pedagogisch dossier. Van de gesprekken tussen student en studieloopbaanbegeleider worden verslagen gemaakt. Ook de verslaglegging van de begeleidingsactiviteiten van de bpv heeft structureel vorm gekregen. Daardoor hebben de docenten en studenten goed zicht op de studievoortgang en kan op tijd worden ingegrepen als dat nodig blijkt. Onderzoek naar kwaliteitsverbetering mbo - Rijn IJssel pagina 6 van 13
Maatwerk schiet nog tekort. De opleiding biedt voor de studenten die dat nodig hebben te weinig mogelijkheden om af te wijken van het regulier lesaanbod. Alle studenten volgen hetzelfde programma dat ze binnen dezelfde tijd moeten afronden. Wel is het zo dat studenten zelfstandig verder kunnen werken in de lesmethode. Dit leidt in enkele gevallen tot studieverrijking maar niet tot studieversnelling. Studenten die een hoger niveau aankunnen van bijvoorbeeld Nederlands krijgen op het hogere niveau de methode aangeboden en werken zelfstandig. De docenten begeleiden naar individuele behoefte en soms in groepjes maar hier is geen sprake van een gestructureerde werkwijze. Ook de benutting van leertijd is onvoldoende. Er zijn vernieuwde huis en gedragsregels die eenduidig optreden tegen ordeverstoring in school en tijdens de lessen bewerkstelligen. Wij hebben geconstateerd dat docenten studenten niet altijd aanspreken op het overtreden van regels waardoor ruimte ontstaat voor discussie en verschillen. Hierdoor gaat leertijd verloren. Examinering en diplomering De examinering en diplomering is voldoende. Het examenmateriaal, dat ongewijzigd wordt ingezet, is ingekocht bij de Stichting Praktijkleren en is eerder door de inspectie als voldoende beoordeeld. Hiermee zijn de tekorten bij de beoordelingswijze en de transparantie opgelost en zijn deze voldoende. Wat betreft de betrouwbaarheid van de beoordeling, heeft de opleiding ingezet op het trainen van assessoren; zowel de schoolassessoren als de beoordelaars uit de praktijk. Bovendien worden de examens beoordeeld door twee beoordelaars. Met deze maatregelen is de betrouwbaarheid nu voldoende. Door de examinering uit de beroepspraktijkvorming te halen en in simulatie plaats te laten vinden, heeft de opleiding een bewuste keuze gemaakt om tijdelijk iets in te boeten op de authenticiteit, maar daarmee beter grip te krijgen op de betrouwbaarheid van de beoordeling. De opleiding is voor de toekomst op zoek naar een meer gemengde vorm van examinering. Hiermee toont de opleiding aan dat de kwaliteit van examinering en het borgen daarvan hoog op de agenda staat. Opbrengsten De opbrengsten zijn met een jaarresultaat van 55,2 procent onvoldoende. Het diplomaresultaat van 59,3 procent is voldoende. Voor de beoordeling van de opbrengsten, gebaseerd op de BRON-gegevens 2012-2013 zijn de resultaten van de bc-id 003, niveau 2 gebruikt. In bijlage II is te zien welke opleidingen hierbij betrokken zijn. Kwaliteitsborging De verbeteringen die het team heeft ingezet op het gebied van kwaliteitsborging leiden tot een voldoende. De verbeteringen zijn vooraf gegaan door aan analyse, in het kader van het Rijn IJsselproject Focus op kwaliteit, van mogelijke oorzaken van tekortkomingen. Hieruit zijn focusgebieden en ambities geformuleerd die weer in grote lijnen terugkomen in het teamplan. Het team van deze opleiding maakt gebruik van het format teamplan dat Rijn IJssel breed is ingezet. Hiermee is eveneens de relatie tussen team- en sectordoelen (en daarmee ook strategische doelen van Rijn IJssel) gewaarborgd. Bovendien zijn de doelen meetbaar geformuleerd. Hiermee heeft het management voldoende concreet materiaal in handen om de evaluatie vorm te kunnen geven en zicht te houden op het halen van de (verbeter)doelen. Externen maken structureel deel uit van het proces van kwaliteitszorg en -borging; in dit geval doordat zij betrokken zijn bij de beoordeling van de kwaliteit van de examinering. Onderzoek naar kwaliteitsverbetering mbo - Rijn IJssel pagina 7 van 13
Tenslotte is met het vastleggen van de nieuwe organisatiestructuur (tijdens de heroriëntatie die Rijn IJssel breed plaatsvond) en invoering van procedures een goed werkend systeem neergezet, waardoor de verankering nu ook voldoende is. Hierdoor is het kwaliteitsbewustzijn in het team duidelijk aanwezig en blijft men werken aan de kwaliteit van het onderwijs. Onderzoek naar kwaliteitsverbetering mbo - Rijn IJssel pagina 8 van 13
Bijlagen Bijlage I Normering kwaliteitsgebieden De normen Op basis van het onderzoek spreekt de inspectie oordelen uit waarbij zij gebruikmaakt van een normering. Deze bestaat uit: 1. Een normering per indicator: wanneer wordt voldaan aan de indicator? Hiervoor gebruikt de inspectie portretten: de aangetroffen situatie voldoet aan de indicator indien deze over het geheel genomen voldoet aan de beschrijving in het portret. Het gaat hier om een weging van het geheel met hantering van toleranties. 2. Een normering per aspect. 3. Een normering per kwaliteitsgebied. Deze normering wordt hieronder toegelicht. Voor de normering van het gebied Onderwijsproces zijn drie kernaspecten benoemd. De kernaspecten zijn: aspect 1.3 Didactisch handelen, aspect 1.7 Studieloopbaanbegeleiding en aspect 1.9 Beroepspraktijkvorming. Normering Onderwijsproces Goed Aan acht van de negen aspecten is voldaan. Aan alle kernaspecten is voldaan; daarbij is tevens aan alle indicatoren voldaan. De elementen in het portret worden op een uitstekende wijze uitgevoerd. Voldoende Aan zeven van de negen aspecten is voldaan. Aan alle kernaspecten is voldaan. Voor elk aspect aan alle indicatoren is voldaan, daarbij mag 1 indicator onvoldoende zijn als een aspect meer dan 2 indicatoren omvat. Er wordt voor het grootste deel aan de omschrijving van de portretten van deze indicatoren voldaan, waaronder de essentiële onderdelen. Onvoldoende Aan één of meer kernaspecten is niet voldaan. Aan drie, vier of vijf aspecten is niet voldaan. Slecht Aan geen van de kernaspecten is voldaan. Aan zes of meer aspecten is niet voldaan. Voor de beoordeling van de opbrengsten is gebruikgemaakt van onderstaande norm. Voor een oordeel voldoende moet ten minste aan één van de twee normen zijn voldaan. Niveau Jaarresultaat Diplomaresultaat 1 60,7 45,1 2 56,5 45,2 3 65,3 67,3 4 64,2 67,3 Onderzoek naar kwaliteitsverbetering mbo - Rijn IJssel pagina 9 van 13
Bij het gebied Examinering en diplomering zijn alle aspecten als kernaspect aangegeven. Normering Examinering en diplomering Goed Aan alle standaarden is voldaan. De elementen in het portret worden op een uitstekende wijze uitgevoerd. Voldoende Aan alle standaarden is voldaan. Er wordt voor het grootste deel aan de omschrijving van de portretten van deze indicatoren voldaan, waaronder de essentiële onderdelen. Onvoldoende Aan één standaard is niet voldaan. Slecht Aan twee of drie standaarden is niet voldaan. Voor de normering van het gebied Kwaliteitsborging zijn drie kernaspecten benoemd. De kernaspecten zijn 4.1 Sturing, 4.2 Beoordeling en 4.3 Verbetering en verankering. Deze kernaspecten moeten alle drie voldoende zijn om een voldoende beoordeling te krijgen. Bij één of meer onvoldoende kernaspecten is de kwaliteitsborging onvoldoende. Normering Kwaliteitsborging Goed Aan alle aspecten is voldaan. Aan alle indicatoren is voldaan. De elementen in het portret worden op een uitstekende wijze uitgevoerd. Voldoende Aan alle kernaspecten is voldaan. Aan alle indicatoren van deze aspecten is voldaan. Er wordt voor het grootste deel aan de omschrijving van de portretten van deze indicatoren voldaan, waaronder de essentiële onderdelen. Onvoldoende Aan twee aspecten is niet voldaan. Aan één of twee kernaspecten is niet voldaan. Slecht Aan drie of vier aspecten is niet voldaan. Voor het gebied kwaliteit leraarschap wordt geen (eind)oordeel gegeven. Op de aspecten en indicatoren wordt wel een oordeel gegeven, er zijn geen kernaspecten benoemd. Onderzoek naar kwaliteitsverbetering mbo - Rijn IJssel pagina 10 van 13
Bijlage II Overzicht bc-id Hieronder is voor de onderzochte bc-id aangegeven welke opleidingen betrokken zijn bij het bepalen van de opbrengsten. bc003 Niveau: 2 Crebo: Opleiding: 90471 Bedrijfs administratief medewerker 90472 Secretarieel medewerker Onderzoek naar kwaliteitsverbetering mbo - Rijn IJssel pagina 11 van 13
Bijlage III Beoordeling indicatoren Administratief medewerker, 90471 Gebied 1: Onderwijsproces Voldoende Onvoldoende Aspecten Indicatoren Programma 1.1 Samenhang 1.1.2 Programmering 1.2 Maatwerk 1.2.1 Differentiatie Leren in de onderwijsinstelling 1.3 Didactisch 1.3.1 Interactie handelen* 1.3.2 Ondersteuning en begeleiding van de leeractiviteiten 1.4 Leertijd 1.4.1 Benutting Begeleiding 1.7 Studieloopbaanbegeleiding* 1.7.2 Studieloopbaanbegeleiding Onderzoek naar kwaliteitsverbetering mbo - Rijn IJssel pagina 12 van 13
Gebied 2: Examinering en diplomering Voldoende Onvoldoende Aspecten Indicatoren 2.1 Examenin- 2.1.4 Beoordelingswijze Strumentarium* 2.1.5 Transparantie 2.2 Afname en beoordeling* 2.2.2 Betrouwbaarheid Gebied 3: Opbrengsten Voldoende Onvoldoende Aspecten Indicatoren 3.1 Rendement 3.1.1 Rendement Gebied 4: Kwaliteitsborging Voldoende Onvoldoende Aspecten Indicatoren 4.1 Sturing * 4.1.1 Plannen 4.2 Beoordeling * 4.2.2 Evaluatie 4.3 Verbetering en verankering* 4.3.3 Verankering Gebied 6: Kwaliteit leraarschap Voldoende Onvoldoende Aspecten Indicatoren 6.1 Didactisch 6.1.1 Interactie handelen 6.1.2 Ondersteuning en begeleiding leeractiviteiten 6.1.3 Feedback op leeractiviteiten en leerresultaten 6.2 Betrokkenheid 6.2.1 Ruimte voor docenten leraren 6.2.2 Invulling door docenten 6.2.3 Bewaking en verbetering door docenten 6.3 Professionalisering 6.3.1 Concept van docenten professionalisering 6.3.2 Inzicht in kwaliteit docenten 6.3.3 Inzicht in scholingsbehoeften 6.3.4 Bekwame en bevoegde docenten 6.3.5 Verbetering en borging kwaliteit docenten De aspecten met een * zijn kernaspecten Onderzoek naar kwaliteitsverbetering mbo - Rijn IJssel pagina 13 van 13