KWALITEITSONDERZOEK MBO

KWALITEITSONDERZOEK MBO ROC Nova College te Haarlem Opleidingen Maatschappelijke Zorg niveau 3 en 4 Crebonummers 92650, 92660, 92661 en 92662 Februari 2013

BRIN: 25PX Onderzoeksnummer: 128012 Kenmerk: Onderzoek uitgevoerd in: HB 3495794-v1/25PX/BJ November 2012 Conceptrapport verzonden op: 14 januari 2013 Rapport vastgesteld te Utrecht op: 15 februari 2013 Rapport kwaliteitsonderzoek mbo ROC Nova College Pagina 2 van 20

Inhoudsopgave 1 Inleiding...5 2 Conclusie en vervolgtoezicht...7 2.1 Conclusie...7 2.2 Vervolgtoezicht...7 3 Resultaten van het onderzoek...9 3.1 Oordeel Maatschappelijke zorg...9 Bijlagen... 15 Bijlage I Normeringen kwaliteitsgebieden... 15 Bijlage II Overzicht cp-codes... 17 Bijlage III Beoordeling indicatoren opleidingen Maatschappelijke zorg (92650, 92660, 92661, 92662)... 19 Rapport kwaliteitsonderzoek mbo ROC Nova College Pagina 3 van 20

Rapport kwaliteitsonderzoek mbo ROC Nova College Pagina 4 van 20

1 Inleiding De Inspectie van het Onderwijs voerde op 19 en 20 november 2012 een kwaliteitsonderzoek uit bij ROC Nova College. Dit onderzoek had betrekking op het mbo-onderwijs. De aanleiding voor dit kwaliteitsonderzoek is het volgende. In het onderzoek Staat van de instelling, waarvan het rapport op 9 juli 2012 is vastgesteld, bleek er mogelijk sprake te zijn van risico s bij onderstaande opleidingen. Bij deze opleidingen is sprake van onvoldoende opbrengsten terwijl er nog geen vertrouwenwekkende analyse van aanpak voor deze situatie is ontwikkeld. Wij hebben bij Maatschappelijke zorg (crebo 92650, 92660, 92661, 92662) een kwaliteitsonderzoek uitgevoerd om vast te stellen of er daadwerkelijk sprake is van tekortkomingen. Dit onderzoek richtte zich op het onderwijsproces, de examinering en diplomering, en de opbrengsten. De volgende opleidingen zijn onderzocht: cpcode 1 ovd24 ovd 24 ovd24 ovd 24 Gebied Onderwijsproces 92650, Maatschappelijke zorg (Medewerker maatschappelijke zorg niveau 3) 92660, Maatschappelijke zorg (Medewerker maatschappelijke zorg niveau 4) 92661 Maatschappelijke zorg ( Persoonlijk begeleider gehandicaptenzorg) 92662 Maatschappelijke zorg (Persoonlijk begeleider specifieke doelgroepen) Gebied Examinering en Leerweg, niveau, diplomering locatie 92650, Maatschappelijke leerweg bol/bbl niveau 3, zorg (Medewerker locatie Planetenlaan 5 maatschappelijke zorg Haarlem niveau 3) - leerweg bol/bbl niveau 3, locatie Planetenlaan 5 Haarlem 92661 Maatschappelijke zorg ( Persoonlijk begeleider gehandicaptenzorg) 92662 Maatschappelijke zorg (Persoonlijk begeleider specifieke doelgroepen) leerweg bol/bbl niveau 4, locatie Planetenlaan 5 Haarlem leerweg bol/bbl niveau 4, locatie Planetenlaan 5 Haarlem De informatie over de instelling die bij de inspectie aanwezig is, zoals het jaarverslag, financiële gegevens, opbrengstgegevens, uitkomsten tevredenheidonderzoek en signalen is geanalyseerd en is aangevuld met een onderzoek op uw instelling. Tijdens dit onderzoek zijn gesprekken gevoerd met studenten, docenten en management, zijn aanvullend documenten onderzocht en zijn onderwijsactiviteiten geobserveerd. Ook maakte een gesprek met het college van bestuur deel uit van het onderzoek. Het onderzoek richtte zich zowel op de opleidingen op niveau 3 als niveau 4. De uitvoering van het onderwijs op beide niveaus is sterk met elkaar verweven. Omdat in het onderzoek geen substantiële verschillen in kwaliteit zijn vastgesteld, is de rapportage van het onderzoek op beide niveaus volledig geïntegreerd. De resultaten van het kwaliteitsonderzoek hebben geleid tot het bepalen van het eventuele vervolgtoezicht. De inspectie heeft zich bij het onderzoek gebaseerd op het Toezichtkader bve 2012. Dit is te vinden op www.onderwijsinspectie.nl. De normering is als bijlage I toegevoegd aan dit rapport. Rapport kwaliteitsonderzoek mbo ROC Nova College Pagina 5 van 20

In hoofdstuk 2 leest u de conclusies waaronder ook het vervolgtoezicht voor de instelling. De resultaten van het kwaliteitsonderzoek vindt u in hoofdstuk 3. Rapport kwaliteitsonderzoek mbo ROC Nova College Pagina 6 van 20

2 Conclusie en vervolgtoezicht In dit hoofdstuk geven we aan welke conclusie we trekken uit het kwaliteitsonderzoek van de opleidingen en wat het vervolgtoezicht inhoudt. 2.1 Conclusie Het kwaliteitsonderzoek bij Maatschappelijke zorg (92650, 92660, 92661 en 92662) heeft geleid tot de volgende oordelen: Kwaliteitsgebied Goed Voldoende Onvoldoende 1. Onderwijsproces 2. Examinering en diplomering 3. Opbrengsten Slecht Het oordeel leidt ertoe dat we vervolgtoezicht uitvoeren. In paragraaf 2.2 wordt de aard van dit vervolgtoezicht nader uitgewerkt. De kwaliteit van het onderwijsproces en de examinering zijn voldoende. De opbrengsten liggen evenwel onder de inspectienorm. 2.2 Vervolgtoezicht In onderstaand schema is het vervolgtoezicht te lezen. Maatschappelijke zorg, 92650, 92660,92661, 92662, Planetenlaan 5 Haarlem Beoordeling Toezichtvorm Vervolgtoezicht Niveau opbrengsten is onvoldoende*. Aangepast toezicht vanwege onvoldoende opbrengsten*. Na circa een jaar onderzoek naar kwaliteitsverbetering*. * Het oordeel van de opbrengsten betreft de opleidingen binnen de cp-code, zie bijlage II voor het overzicht waaruit blijkt op welke opleidingen dit oordeel van toepassing is. In het vervolgtoezicht voor opbrengsten worden alle bijbehorende opleidingen betrokken. Het vervolgtoezicht betreft de opbrengsten. De vorm van het onderzoek zal in overeenstemming worden gebracht met de reikwijdte ervan. Rapport kwaliteitsonderzoek mbo ROC Nova College Pagina 7 van 20

3 Resultaten van het onderzoek In dit hoofdstuk vermelden we de oordelen over de kwaliteitsgebieden en geven we tevens een toelichting op deze oordelen. 3.1 Oordeel Maatschappelijke zorg Het kwaliteitsonderzoek bij Maatschappelijke zorg, inclusief de de uitstroomrichtingen Persoonlijk begeleider gehandicaptenzorg en Persoonlijk begeleider specifieke doelgroepen, 92650, 92660, 92661, 92662, niveau 3/4, locatie Planetenlaan Haarlem heeft geleid tot de volgende oordelen: Kwaliteitsgebied Goed Voldoende Onvoldoende 1. Onderwijsproces 2. Examinering en diplomering 3. Opbrengsten Slecht Het kwaliteitsgebied opbrengsten is niet voldoende. Om die reden vindt aangepast toezicht plaats vanwege onvoldoende opbrengsten. Oordeel per aspect Hieronder geven we het oordeel over de aspecten van de drie kwaliteitsgebieden weer. In bijlage III is de beoordeling van de onderliggende indicatoren van de betreffende aspecten per kwaliteitsgebied opgenomen. De oordelen gelden voor alle genoemde opleidingen. Er zijn geen substantiële kwalitatieve verschillen tussen de opleidingen aangetroffen. Kwaliteitsgebied Voldoende Onvoldoende Aspect Gebied 1: Onderwijsproces Programma 1.1 Samenhang 1.2 Maatwerk Leren in de onderwijsinstelling 1.3 Didactisch handelen* 1.4 Leertijd 1.5 Leeromgeving Begeleiding 1.6 Intake & plaatsing 1.7 Studieloopbaanbegeleiding* 1.8 Zorg Leren in de beroepspraktijk 1.9 Beroepspraktijkvorming* Gebied 2: Examinering en diplomering 2.1 Exameninstrumentarium* 2.2 Afname en beoordeling* 2.3 Diplomering* Gebied 3: Opbrengsten 3.1 Rendement De aspecten met een * zijn kernaspecten, zie bijlage I voor normering per gebied. Rapport kwaliteitsonderzoek mbo ROC Nova College Pagina 9 van 20

Beschouwing Algemeen Op grond van het onderzoek komt de inspectie tot een positief oordeel over de kwaliteit van het onderwijs en de examinering. De opbrengsten van de onderzochte opleidingen blijven evenwel onder de inspectienorm. De kwaliteitsborging was niet expliciet onderdeel van het onderzoek, daarover spreekt de inspectie dan ook geen oordeel uit. Tijdens het onderzoek is vastgesteld dat er bij de start van de opleidingen in 2007 verschillende zaken niet voldoende waren uitgewerkt. Dit heeft ertoe geleid dat in de beginjaren onnodig veel uitval heeft plaatsgevonden. Inmiddels is de structuur en de inhoud van de opleidingen beter en duidelijker uitgewerkt. De doorwerking daarvan in de rendementscijfers laat echter nog op zich wachten. Ondanks de gerealiseerde verbeteringen is de zorg voor studenten met extra ondersteuningsbehoefte onvoldoende. De voor deze studenten noodzakelijke ondersteuning wordt namelijk niet planmatig uitgevoerd. Onderwijsproces Het onderwijsproces is op vrijwel alle onderdelen positief beoordeeld. Alleen het aspect zorg is onvoldoende. Het gaat daarbij om studenten die zonder extra ondersteuning een vergrote kans hebben de opleiding zonder diploma te verlaten. Er is wel een duidelijke systematiek om te komen tot een detectie van mogelijke zorgstudenten. En de opleidingen beschikken ook over voorzieningen om extra steun te bieden, zowel op het gebied van sociaal-emotionele zorgbehoeften als bij meer cognitieve zorgbehoeften. De extra ondersteuning die wordt geboden kent echter geen zichtbare planmatige aanpak. De inhoud, de duur en het beoogde resultaat van de extra ondersteuning worden niet op voorhand vastgesteld en er zijn geen vooraf bepaalde evaluatiemomenten. Naast deze onvoldoende zijn er enkele aandachtspunten. Hoewel de intake al duidelijk is geïntensiveerd en beter is gestructureerd, blijken er nog steeds studenten in te stromen met een vertekend beroepsbeeld. De huidige vorm van intake leidt niet bij alle potentiële studenten tot correctie van onjuiste verwachtingen over inhoud van opleiding en beroep. Daar komt bij dat een deel van de bij de intake betrokken docenten een bindende afwijzing niet als reële optie zien. Aandacht verdient verder de positie van het vak rekenen in het programma. Vooral de wijze waarop het onderhoud aan rekenvaardigheden momenteel plaatsvindt, verdient nadere doordenking om problemen aan het eind van de opleidingen te voorkomen. Tot slot is er de verhouding tussen de verschillende didactische werkvormen. Het komt nu nog voor dat bij enkele groepen er een sterke concentratie van zelfstudieachtige onderwijsactiviteiten op één dag plaatsvindt. Dit leidt tot demotivatie bij een deel van de studenten. Deze op- en aanmerkingen nemen niet weg dat het onderwijs op een goede manier is georganiseerd en wordt uitgevoerd. Rapport kwaliteitsonderzoek mbo ROC Nova College Pagina 10 van 20

De structuur van de opleidingen is voor iedereen helder vastgelegd in een routeplanner, die vooral de studenten veel houvast biedt bij de planning van hun activiteiten en het behouden van een overzicht over hun vorderingen. Tijdens de lessen is er sprake van een grote betrokkenheid van studenten en worden verschillende werkvormen ingezet. Studenten krijgen heldere feedback op hun inspanningen en prestaties. De beroepspraktijkvorming verloopt goed met een intensief contact tussen school en bpv-organisatie, een duidelijke reflectie op de bpv-activiteiten binnen de school en een goede begeleiding op de werkplek. De studieloopbaanbegeleiding is afgelopen jaar gestroomlijnd. Studenten en docenten weten daarbij wat er van hen wordt verwacht. De begeleiding levert een impuls aan een goede studievoortgang en zorgt voor een tijdige detectie van studieproblemen. Examinering en diplomering De kwaliteit van de examinering is op alle onderdelen positief bevonden en overall als goed beoordeeld. De instelling heeft een duidelijk onderscheid gemaakt tussen de opgenomen ontwikkelgerichte toetsen en examinering van de opleidingen. Op grond van de informatie in de opleidingsgids weten de studenten welke beoordelingen meetellen voor het behalen van het diploma. Het exameninstrumentarium bestaat uit een combinatie van beroepsprestaties of proeves van bekwaamheid (PvB), reflectieverslagen en assessmentgesprekken. Het exameninstrumentarium is ingekocht bij het Consortium Beroepsonderwijs (CBO). Dit materiaal is eerder door de inspectie onderzocht en voldoende bevonden Hoewel de dekking op basis van het CBO materiaal 100% is heeft het team nog twee kennistoetsen opgenomen in het examenplan. Deze toetsen zijn aan de hand van een centraal gemaakte checklist vastgesteld door de examencommissie. De afname en beoordeling van de beroepsprestaties en de PvB hebben plaats in het bpv bedrijf door de praktijkbegeleider. Er is regelmatig overleg tussen de studieloopbaanbegeleider (SLB er) van de student en de werkbegeleider in het bpv bedrijf, ook over de wijze van beoordeling. Het kwalificerende - reflectieverslag wordt beoordeeld door de SLB er. Twee onafhankelijke deskundigen voeren het assessmentgesprek en beoordelen dit gesprek aan de hand van het beoordelingsvoorschrift. Op grond van de gevoerde gesprekken en onderzoek van de examendossiers hebben we geconstateerd dat afname en beoordeling verlopen zoals beoogd. De betrouwbaarheid van de beoordeling en de deskundigheid van de beoordelaars is mede geborgd doordat: - alle assessoren de basistraining van het CBO gevolgd hebben; - assessoren met elkaar regelmatig de gemaakte beoordelingen bespreken; - er steekproefsgewijs op het bpv bedrijf een gesprek gevoerd wordt over de gegeven beoordeling; - er themabijeenkomsten zijn met als onderwerp de beoordelingslijsten en Rapport kwaliteitsonderzoek mbo ROC Nova College Pagina 11 van 20

- steekproefsgewijs een lid van de examencommissie aanwezig is bij het assessmentgesprek. De examencommissie baseert zich bij de besluitvorming over diplomering op de examenresultaten met gebruikmaking van een checklist en het toetsplan. De SLB er checkt de volledigheid van het examendossier. Zowel de opleidingsmanager als de medewerker kwaliteitszorg controleren onafhankelijk van elkaar en steekproefsgewijs de volledigheid ervan. De examencommissie vergewist zich met gepaste grondigheid en frequentie van de kwaliteit van examinering en diplomering. Dit gebeurt onder andere door het steekproefsgewijze bijwonen van assessmentgesprekken, door het inzetten van deskundige interne en externe assessoren en door regelmatig zowel op uitvoerend als beleidsniveau gesprekken te voeren met vertegenwoordigers van het werkveld. Daarnaast maakt de examencommissie gebruik van centraal ontwikkelde instrumenten zoals het jaarexamenprogramma en leiden de uitkomsten van de zelfevaluatie tot verbetering. Zo zijn er examenleiders aangesteld om meer grip te krijgen op het verloop van de examenprocessen. Hoewel niet meetellend voor de formele beoordeling hebben wij ons een beeld gevormd van de kwaliteit van het exameninstrumentarium voor Nederlands en Engels. Het exameninstrumentarium Nederlands is voldoende. De examens lezen en luisteren worden ingekocht bij Bureau ICE en de examens schrijven bij Deviant. Dit materiaal is eerder door de inspectie onderzocht en voldoende bevonden. De examens spreken en gesprekken voeren zijn door de eigen docenten geconstrueerd. De examencommissie heeft deze vastgesteld. Deze examens zijn door ons met een voldoende beoordeeld. Aandacht verdient nog de vermelding met wie de gesprekken gevoerd worden en op welke wijze de opnames van de gesprekken gebruikt en bewaard worden. Ook het exameninstrumentarium Engels is voldoende. De examens lezen en luisteren worden ingekocht bij Bureau ICE en de examens schrijven bij Deviant. Dit materiaal is eerder door de inspectie onderzocht en voldoende bevonden. De examens spreken en gesprekken voeren zijn door de eigen docenten geconstrueerd. De examencommissie heeft deze vastgesteld. Deze examens zijn door ons met een voldoende beoordeeld. Aandacht verdient nog de omschrijving van de beoordelingscriteria in de toetsmatrijs en het instructieblad. Deze zijn niet volledig met elkaar in overeenstemming. Inmiddels heeft de examencommissie dit ook geconstateerd en heeft de opdracht gegeven tot verbetering van deze examens. Opbrengsten De opbrengsten voor niveau 3 zijn met een jaarresultaat van 55.6 procent en een diplomaresultaat van 56,3 procent onvoldoende. De opbrengsten voor de gezamenlijke niveau 4 opleidingen zijn met een jaarrendement en een diplomarendement van respectievelijk 37.5 procent en 40.9 procent eveneens onvoldoende. Voor de beoordeling van de opbrengsten, gebaseerd op de BRON-gegevens 2010-2011 zijn de resultaten van de cp-code ovd 23, niveau 3 en niveau 4 gebruikt. In bijlage II is te zien welke opleidingen hierbij betrokken zijn. De beschikbare gegevens over het studiejaar 2011-2012 wijzen in de richting van een stijging van de rendementen. Rapport kwaliteitsonderzoek mbo ROC Nova College Pagina 12 van 20

De gegevens zoals die door de school aan ons beschikbaar zijn gesteld laten evenwel geen eenduidige vergelijking toe met de cijfers waarover de inspectie beschikt. Dat is de reden waarom deze niet konden worden meegenomen in de beoordeling. Rapport kwaliteitsonderzoek mbo ROC Nova College Pagina 13 van 20

Bijlagen Bijlage I Normeringen kwaliteitsgebieden De normen Op basis van het onderzoek spreekt de inspectie oordelen uit waarvoor zij gebruik maakt van een normering. Deze bestaat uit: 1. Een normering per indicator: wanneer wordt voldaan aan de indicator? Hiervoor gebruikt de inspectie portretten: de aangetroffen situatie voldoet aan de indicator indien deze over het geheel genomen voldoet aan de beschrijving in het portret. Het gaat hier om een weging van het geheel met hantering van toleranties. 2. Een normering per aspect. 3. Een normering per kwaliteitsgebied. Voor de normering van het Onderwijsproces zijn drie kernaspecten benoemd. De kernaspecten zijn: aspect 1.3 Didactisch handelen, aspect 1.7 Studieloopbaanbegeleiding en aspect 1.9 Beroepspraktijkvorming. Normering Onderwijsproces Goed Aan acht van de negen aspecten is voldaan. Aan alle kernaspecten is voldaan; daarbij is tevens aan alle indicatoren voldaan. De elementen in het portret worden op een uitstekende wijze uitgevoerd. Voldoende Aan zeven van de negen aspecten is voldaan. Aan alle kernaspecten is voldaan. Voor elk aspect aan alle indicatoren is voldaan, daarbij mag 1 indicator onvoldoende zijn als een aspect meer dan 2 indicatoren omvat. Er wordt voor het grootste deel aan de omschrijving van de portretten van deze indicatoren voldaan, waaronder de essentiële onderdelen. Onvoldoende Aan één of meer kernaspecten is niet voldaan. Aan drie, vier of vijf aspecten is niet voldaan. Slecht Aan geen van de kernaspecten is voldaan. Aan zes of meer aspecten is niet voldaan. Voor de beoordeling van de opbrengsten is gebruik gemaakt van onderstaande norm. Voor een oordeel voldoende moet tenminste aan één van de twee normen zijn voldaan. Niveau Jaarresultaat Diplomaresultaat 1 60,7 45,1 2 56,5 45,2 3 65,3 67,3 4 64,2 67,3 Bij het gebied Examinering en diplomering zijn alle aspecten als kernaspect aangegeven. Rapport kwaliteitsonderzoek mbo ROC Nova College Pagina 15 van 20

Normering Examinering en diplomering Goed Aan alle standaarden is voldaan. De elementen in het portret worden op een uitstekende wijze uitgevoerd. Voldoende Aan alle standaarden is voldaan. Er wordt voor het grootste deel aan de omschrijving van de portretten van deze indicatoren voldaan, waaronder de essentiële onderdelen. Onvoldoende Aan één standaard is niet voldaan. Slecht Aan twee of drie standaarden is niet voldaan. Rapport kwaliteitsonderzoek mbo ROC Nova College Pagina 16 van 20

Bijlage II Overzicht cp-codes Hieronder is per onderzochte cp-code aangegeven welke opleidingen betrokken zijn bij het bepalen van de opbrengsten. Overzicht cp-codes Cp-code: ovd24 Niveau: 3 en 4 Crebo: 92650 92661 92662 Opleiding: Maatschappelijke zorg (Medewerker maatschappelijke zorg) Maatschappelijke zorg (Persoonlijk begeleider gehandicaptenzorg) Maatschappelijke zorg (Persoonlijk begeleider specifieke doelgroepen) Rapport kwaliteitsonderzoek mbo ROC Nova College Pagina 17 van 20

Bijlage III Beoordeling indicatoren opleidingen Maatschappelijke zorg (92650, 92661, 92662) Gebied 1: Onderwijsproces Voldoende Onvoldoende Aspecten Indicatoren Programma 1.1 Samenhang 1.1.1 Inhoud 1.1.2 Programmering 1.2 Maatwerk 1.2.1 Differentiatie Leren in de onderwijsinstelling 1.3 Didactisch 1.3.1 Interactie handelen* 1.3.2 Ondersteuning en begeleiding van de leeractiviteiten 1.3.3 Feedback op de leeractiviteiten en de leerresultaten 1.4 Leertijd 1.4.1 Benutting 1.4.2 Werkdruk 1.5 Leeromgeving 1.5.1 Schoolklimaat 1.5.2 Materiële voorzieningen Begeleiding 1.6 Intake & 1.6.1 Voorlichting Plaatsing 1.6.2 Intake en plaatsing 1.7 Studieloopbaan- 1.7.1 Informatievoorziening begeleiding* 1.7.2 Studieloopbaanbegeleiding 1.8 Zorg 1.8.1 Eerste- en tweedelijnszorg 1.8.2 Derdelijnszorg Leren in de beroepspraktijk 1.9 Beroepspraktijkvorming* 1.9.1 Voorbereiding studenten en bedrijven 1.9.2 Plaatsing 1.9.3 Begeleiding door het bedrijf 1.9.4 Begeleiding door de opleiding Gebied 2: Examinering en diplomering Voldoende Onvoldoende Aspecten Indicatoren 2.1 Examen- 2.1.1 Onderscheid tussen instrumentarium* ontwikkelgerichte toetsen en examinering 2.1.2 Dekking van het kwalificatiedossier 2.1.3 Cesuur 2.1.4 Beoordelingswijze 2.1.5 Transparantie 2.2 Afname en 2.2.1 Authentieke afname beoordeling* 2.2.2 Betrouwbaarheid 2.3 Diplomering* 2.3.1 Besluitvorming diplomering 2.3.2 Verantwoordelijkheid examencommissie Rapport kwaliteitsonderzoek mbo ROC Nova College Pagina 19 van 20

Gebied 3: Opbrengsten Voldoende Onvoldoende Aspecten Indicatoren 3.1 Rendement 3.1.1 Jaarresultaat en/of diplomaresultaat Rapport kwaliteitsonderzoek mbo ROC Nova College Pagina 20 van 20