KWALITEITSONDERZOEK MBO Rapport stelselonderzoek ROC TOP Particuliere beveiliging

Transcriptie

1 KWALITEITSONDERZOEK MBO Rapport stelselonderzoek 2017 ROC TOP Particuliere beveiliging Plaats : Amsterdam BRIN nummer : 30RM Onderzoeksnummer : Datum onderzoek : 3 en 7 maart 2017 Datum vaststelling : 7 juli 2017

2

3 Inhoudsopgave 1. Inleiding Conclusie en vervolg Afspraken over het vervolgtoezicht Resultaten Particuliere beveiliging Onderwijsproces Examinering en diplomering Onderwijsresultaten Kwaliteitszorg en ambitie Onderzoek naar overige wettelijke vereisten Bijlage I Bijlage II... 12

4

5 1. Inleiding Wat voor onderzoek heeft de inspectie gedaan? De inspectie voert dit onderzoek uit om in De Staat van het Onderwijs te kunnen rapporteren over de ontwikkelingen in het middelbaar beroepsonderwijs. Het onderzoek richt zich op de volgende vraag: voldoet de opleiding op de onderzochte gebieden en standaarden aan de basiskwaliteit, en daarmee aan de wettelijke eisen? We doen geen uitspraak over de kwaliteit van de opleiding als geheel. Voor het onderzoek is een aselecte steekproef getrokken van opleidingen. Bij ROC TOP onderzochten we de in onderstaande tabel opgenomen opleidingen. Voor deze onderzoeken zijn separate rapporten opgesteld. In hoofdstuk 2 en 3 zijn de bevindingen van één van deze opleidingen opgenomen. De volgende opleidingen zijn onderzocht: Opleidingen/Kwalificaties Leerweg, niveau, locatie 94850, 25407, Beveiliger leerweg bbl, niveau2, locatie Vlaardingenlaan 15 te Amsterdam 91370, 25488, Sociaal-cultureel werker Leerweg bol, niveau 4, locatie De Donge, Dongestraat 8 te Amsterdam Dit rapport heeft in detail betrekking op de volgende opleidingen en onderzoeksonderdelen: Gebied Onderwijsresultaten Gebied Onderwijsproces, Schoolklimaat Kwaliteitszorg en ambitie en Wettelijke vereisten Gebied Examinering en diplomering Leerweg, niveau, locatie bc165 Particuliere beveiliging (Beveiliger) ; Particuliere beveiliging Particuliere beveiliging (Beveiliger) leerweg bbl, niveau 2, locatie Vlaardingenlaan 15 te Amsterdam Werkwijze We gebruiken bij dit onderzoek het nieuwe waarderingskader (onderdeel van het onderzoekskader mbo 2017), dus inclusief de daarin opgenomen standaarden en normering. We onderzochten vijf kwaliteitsgebieden: onderwijsproces, examinering en diplomering, schoolklimaat, onderwijsresultaten, kwaliteitszorg en ambitie. We onderzochten daarbij dertien standaarden. We hebben vervolgens een oordeel gegeven over tien standaarden. In het kader van het kwaliteitsgebied Onderwijsproces wordt bij de standaard OP1 (Onderwijsprogramma) in ieder geval ingegaan op onze bevinden op het gebied van loopbaanoriëntatie en begeleiding omdat dit thema deel uitmaakt van de Staat van het Onderwijs De standaarden Ontwikkeling en begeleiding (OP2), Veiligheid (SK1) en Leerklimaat (SK2) hebben we wel onderzocht maar voorzien we niet van een oordeel. Bij de opleiding Sociaal-cultureel werker onderzochten en beoordeelden we de meldingen verzuim en vsv. Bij beide opleidingen hebben we ook de schoolkosten onderzocht. Rapport kwaliteitsonderzoek mbo - ROC TOP Pagina 1 van 12

6 Voor het onderzoek analyseerden we alle bij ons beschikbare informatie over de betreffende opleidingen en vulden dit aan met onderzoeken op locatie. Op locatie zijn onderwijsactiviteiten geobserveerd, documenten onderzocht en gesprekken gevoerd. Er is onder andere gesproken met studenten, docenten, onderwijscoördinator en de onderwijsmanager. Ook is met het college van bestuur gesproken. Leeswijzer Hierna volgt eerst de conclusie en het vervolg van het onderzoek (hoofdstuk 2). Hoofdstuk 3 geeft voor de opleiding de resultaten van het onderzoek weer. Rapport kwaliteitsonderzoek mbo - ROC TOP pagina 2 van 12

7 2. Conclusie en vervolg Vervolgtoezicht naar aanleiding van de onderzochte opleiding We voeren bij de opleiding Beveiliger vervolgtoezicht uit, omdat we niet alle standaarden als voldoende hebben beoordeeld. Het vervolgtoezicht richt zich op de geconstateerde tekortkomingen binnen de volgende kwaliteitsgebieden: - Onderwijsproces, standaard Beroepspraktijkvorming - Examinering en diplomering, de standaard Kwaliteitsborging examinering en diplomering - Kwaliteitszorg en ambitie, standaarden Kwaliteitszorg en Verantwoording en dialoog - Onderwijsresultaten Uit het onderzoek bij de opleiding Particulier beveliging blijkt dat er sprake is van zeer zwak onderwijs op basis van het waarderingskader We hebben vervolgens de bevindingen op dit gebied ook met het waarderingskader mbo 2012 beoordeeld. Hieruit blijkt dat de onderwijsresultaten voldoende zijn, het onderwijsproces blijft echter onvoldoende. 2.1 Afspraken over het vervolgtoezicht In onderstaand schema zijn de afspraken en het vervolgtoezicht opgenomen: Particuliere beveiliging, 94850, Beoordeling Herstelopdracht Datum gereed Vervolgtoezicht Standaard Beroepspraktijkvorming (OP7) is onvoldoende. Er wordt niet voldaan aan artikel tweede lid en derde lid van de WEB. De onderwijsresultaten van de opleiding Particuliere Beveiliging, 94850, 25407, zijn onvoldoende. Hiermee wordt niet voldaan aan artikel 7.2.7, eerste lid en artikel van de WEB Het bestuur zorgt ervoor dat de beroepspraktijkvorming bij de opleiding Particuliere Beveiliging voldoet en dat de onderwijsresultaten voldoen aan de norm. Eén jaar na publicatie van het definitieve rapport. Eén jaar na vaststelling van het rapport voeren wij een herstelonderzoek uit. Rapport kwaliteitsonderzoek mbo - ROC TOP pagina 3 van 12

8 Particuliere beveiliging, 94850, Beoordeling Herstelopdracht Datum gereed Vervolgtoezicht Kwaliteitsborging examinering en diplomering (ED1) is onvoldoende. Er wordt niet voldaan aan artikel van de WEB. Het bestuur zorgt ervoor dat de kwaliteitsborging examinering en diplomering voldoende is. Zie hersteltermijn zoals is opgenomen in de waarschuwingsbrief De inspectie meldt het oordeel aan de minister. De instelling ontvangt een waarschuwing. Na de in de waarschuwingsbrief opgenomen hersteltermijn volgt een herstelonderzoek. Het gebied Kwaliteitszorg en ambitie (standaarden Kwaliteitszorg en Verantwoording en dialoog), is onvoldoende. Er wordt niet voldaan aan artikel van de WEB. Het bestuur zorgt ervoor dat het stelsel van kwaliteitszorg alsmede de verantwoording aan en dialoog met interne en externe belanghebbenden bij de opleiding Particuliere Beveiliging voldoende is. Twee jaar na publicatie van het definitieve rapport. Wij vertrouwen erop dat het bestuur binnen de afgesproken termijn de tekorten herstelt. Het bestuur informeert de inspectie over het herstel van de geconstateerde tekortkomingen. Hierna wordt het vervolg bepaald. Rapport kwaliteitsonderzoek mbo - ROC TOP pagina 4 van 12

9 3. Resultaten In dit hoofdstuk lichten wij het resultaat van het kwaliteitsonderzoek van de opleiding toe. We geven per gebied en per beoordeelde standaard aan wat het oordeel is (voldoende of onvoldoende) en geven aan waar sprake is van een waardering goed. Het oordeel per gebied is gebaseerd op de beoordeling van de onderliggende standaarden. Omdat we bij het gebied onderwijsproces niet alle standaarden onderzocht hebben, is een waardering goed voor het gebied niet aan de orde. We verantwoorden ons over het oordeel per onderzocht gebied en per standaard. 3.1 Particuliere beveiliging Het kwaliteitsonderzoek bij Particuliere beveiliging, 22169/94850, niveau 2, bbl, locatie Vlaardingenlaan 15 te Amsterdam heeft geleid tot de onderstaande oordelen Onderwijsproces OP Onderwijsproces OP1 Onderwijsprogramma OP3 Didactisch handelen OP7 Beroepspraktijkvorming Onvoldoende O V G Het onderwijsprogramma voldoet Het onderwijsprogramma van de opleiding Particuliere beveiliging dekt de eisen van het kwalificatiedossier. De inrichting van de opleiding kenmerkt zich door de verschillende instroommomenten in het schooljaar. Zo is het beroepsgerichte onderwijsprogramma uit onafhankelijke modules opgebouwd waardoor studenten tussentijds kunnen instromen. Daarnaast werkt de student een individueel traject door bij de generieke vakken, gebaseerd op het beginniveau van de student. In positieve zin valt de uitwerking van Loopbaanoriëntatie- en begeleiding (lob) op. De studenten reflecteren in de burgerschapslessen op de vijf dimensies van lob en leggen dit vast in hun portfolio dat later in het examendossier opgenomen wordt. De opleiding heeft lob in de lessen op school belegd. Op de werkplek wordt gewerkt aan de opdrachtenmap voor de bpv. Het didactisch handelen is op orde Het didactisch handelen van de docenten in de lessen is passend bij het niveau van de student. Mede hierdoor zijn de leersituaties over het algemeen effectief, want we zien dat studenten actief meedoen aan de lessen. We zien echter wel verschillen in aanpak tussen docenten in de manier waarop zij les geven. Binnenkort gaat het team bij elkaar lessen observeren met behulp van een onlangs vastgestelde kijkwijzer. Dit kan helpen om de verschillen tussen de lessen te verkleinen en de effectiviteit van de lessen te vergroten. Rapport kwaliteitsonderzoek mbo - ROC TOP pagina 5 van 12

10 De beroepspraktijkvorming moet beter De beroepspraktijkvorming (bpv) is onvoldoende. Het team geeft zelf onvoldoende invulling aan de begeleiding van de beroepspraktijkvorming. Hiermee wordt niet voldaan aan tweede lid en artikel derde lid van de WEB. We hebben vervolgens de bevindingen op deze standaard met het waarderingskader mbo 2012 beoordeeld. Hieruit blijkt dat de standaard beroepspraktijkvorming ook volgens het waarderingskader 2012 onvoldoende is. Deze onvoldoende blijkt uit twee bevindingen. Enerzijds ontbreekt het aan begeleiding door het bpv-bedrijf. Anderzijds heeft dit te maken door het gebrek aan zicht en begeleiding op de bpv door de opleiding zelf. Dit lichten wij hieronder nader toe. Het gebrek aan begeleiding door het bpv-bedrijf blijkt uit het volgende. Bij deze opleiding is er sprake van voornamelijk één stagebedrijf. De bpv-begeleider van dit bedrijf moet zorg dragen voor voldoende dagelijkse begeleiding en opleiding van de student op de werkvloer. Hiervan is echter geen sprake. De hoofdpraktijkopleider van het bpv-bedrijf staat als bpv-begeleider op de praktijkovereenkomst vermeld. Maar deze persoon bezoekt de student niet op de feitelijke werkplek, noch onderhoudt hij contact met een collega van de student op de feitelijke werkplek. Daarnaast is de bpv in de meeste gevallen voor de studenten feitelijk gewoon werk. Studenten hebben zelden gelegenheid om tijdens werktijd aan hun opleiding te werken en daarbij behorende leeractiviteiten uit te voeren. Ook blijkt dat een deel van de opdrachten op de werkplek vaak niet uitvoerbaar is, omdat de werkzaamheden daar niet bij aansluiten. De werkgever van deze bbl studenten probeert dit deels te ondervangen door middel van een aanvullende activiteit, mobiele surveillance. Deze oplossing volstaat echter niet altijd. Een beeld van de ontwikkeling die de student op de bpv-werkplek feitelijk doormaakt, ontbreekt. Hoewel de docenten tijdens de lessen wel met de student spreken over het verloop van de bpv, is er geen direct zicht op de prestaties van de student in de praktijk. Er is weliswaar een praktijkopleider vanuit het beveiligersbedrijf dat de student plaatst op een te beveiligen locatie, maar deze praktijkopleider heeft zelden toegang tot de feitelijke werkplek van de student in verband met beveiligingsvoorschriften. Op die manier is er geen sprake van begeleiding die in staat is om de student op de werkplek te zien functioneren en direct te sturen op diens ontwikkeling. Wel beoordeelt de praktijkopleider op afstand de gemaakte bpv-opdrachten van de studenten. We constateren dat er wel sprake is van voldoende verbinding tussen de beroepspraktijk en het onderwijs dat in de lessen wordt aangeboden. Docenten vragen regelmatig naar ervaringen die studenten hebben opgedaan bij hun werkplek. De contacten met het (regionaal) bedrijfsleven bestaan vooral uit de contacten met het bpv-bedrijf en de het bedrijf die de begeleiding uitvoert. Daarnaast zijn er contacten met de gemeente Amsterdam. Het team is voornemens met meerdere partijen contacten te leggen. Rapport kwaliteitsonderzoek mbo - ROC TOP pagina 6 van 12

11 3.1.2 Examinering en diplomering ED Examinering en diplomering Onvoldoende O V G ED1 Kwaliteitsborging examinering en diplomering ED2 Exameninstrumentarium ED3 Afname en beoordeling *De beoordeling van het gebied examinering en diplomering is tevens uitgevoerd op basis van het waarderingskader mbo Een overzicht hiervan treft u aan in bijlage II. Examencommissie in ontwikkeling De centrale examencommissie borgt de kwaliteit van de examinering en diplomering onvoldoende. De examencommissie heeft onvoldoende zicht op de afname en beoordeling. Hierdoor is de examencommissie onvoldoende in staat om vast te stellen dat de studenten voldoen aan de voorwaarden voor het verkrijgen van het diploma. Hierdoor wordt niet voldaan aan de examenstandaarden, waarnaar verwezen wordt in artikel van de WEB. We zien daarbij echter wel dat de examencommissie in ontwikkeling is. Zo is de besluitvorming met betrekking tot de diplomering recent aangepast en voldoet dit nu aan de gestelde eisen. De examendossiers die zijn ingezien zijn dan ook compleet. Ook blijkt dat er recentelijk is geïnvesteerd in het verbeteren van de logistieke processen omtrent de schriftelijke examinering. Daarbij is tevens de professionalisering van de daarbij betrokken medewerkers meegenomen. In het jaarverslag van de examencommissie is ook te lezen dat de volgende stap het op orde brengen van het zicht op de afname en beoordeling is. Ook de deskundigheid van de beoordelaars zal hierbij meegenomen worden. Bij deze opleiding heeft het team zelf voldoende zicht op de afname en beoordeling van het examen gecreëerd. Daarnaast wordt het beroepsgerichte deel van het examen uitgevoerd door Stichting Vakexamens voor de Particuliere Beveiligingsorganisaties (SVPB). De examencommissie wordt over de resultaten van deze examinering echter niet geïnformeerd. De exameninstrumenten voldoen Het exameninstrumentarium sluit aan op de uitstroomeisen en voldoet aan de toetstechnische eisen. Het beroepsgerichte examen is eerder als voldoende door ons beoordeeld. De instellingsexamens Nederlands (schrijven, spreken en gesprekken voeren) zijn door ROC TOP zelf ontwikkeld. Deze zijn van voldoende kwaliteit. Deugdelijke afname en beoordeling van examens De afname en beoordeling van de examens verlopen deugdelijk. De SVPB is namelijk verantwoordelijk voor de uitvoering van het beroepsgerichte examen. Zoals hierboven is aangegeven heeft het team zelf de afname en beoordeling van de instellingsexamens Nederlands voldoende weten te borgen. Zo worden mondelinge examens van Nederlands afgenomen door twee beoordelaars. Indien er slechts één beoordelaar wordt ingezet wordt het examen opgenomen. De opleiding zorgt er op deze manier voor dat de afname en beoordeling voldoende betrouwbaar is en dat er een extra beoordeling mogelijk is bij twijfel over het oordeel. Dit laatste gebeurt soms ook proactief door de examinator zelf en dus niet alleen wanneer een student pas hiertoe initiatief neemt. Rapport kwaliteitsonderzoek mbo - ROC TOP pagina 7 van 12

12 3.1.3 Onderwijsresultaten OR Onderwijsresultaten OR1 Studiesucces OR3 Vervolgsucces Onvoldoende O V G Niet beoordeeld Onderwijsresultaten voldoen niet aan de norm Het driejaarsgemiddelde is berekend over het schooljaar tot en met schooljaar Het driejaarsgemiddelde jaarresultaat is 64,9, het diplomaresultaat 65,1 en het startersrresultaat is 75,0. Hiermee zijn het jaarresultaat en het startersresultaat onder de norm. Het studiesucces is daarmee onvoldoende. Met deze resultaten voldoet de opleiding op basis van de nieuwe norm (onderzoekskader 2017) niet aan de eisen van de artikelen en van de Wet educatie en beroepsonderwijs. Immers, een beroepsopleiding moet zorgen voor een goede organisatie en kwaliteit van het onderwijsprogramma en de examinering. En tevens zodanig ingericht zijn dat studenten de kwalificatie en de daarbij behorende keuzedelen binnen de vastgestelde studieduur kunnen bereiken. In bijlage I staan de opleidingen die betrokken zijn bij het bepalen van de onderwijsresultaten. Wanneer het studiesucces gelet op de nieuwe normering onvoldoende is kijken we bij dit onderzoek ook naar de oude normering op basis van het het geldende Toezichtskader bve Het diplomaresultaat over is boven de oude norm. Uitgaande van de oude normering zou het studiesucces derhalve voldoende zijn. Het jaarresultaat is 61,9% en het diplomaresultaat is 61,1%. In bijlage II is het overzicht opgenomen. Uit de eigen analyse blijkt dat de onvoldoende onderwijsresultaten met name te wijten zijn aan de bol-opleiding. Deze opleiding hebben wij niet onderzocht. Bij de onderwijsresultaten kunnen wij het onderscheid tussen de opleidingsvarianten niet maken. Tijdens het vervolgtoezicht zullen we de analyse en verbeteracties van de onderwijsresultaten voor de gehele bc-code betrekken Kwaliteitszorg en ambitie KA Kwaliteitszorg en ambitie KA1 Kwaliteitszorg KA2 Kwaliteitscultuur KA3 Dialoog en verantwoording Onvoldoende O V G Kwaliteitszorg nog in de kinderschoenen De opleiding heeft geen volwaardig stelsel van kwaliteitszorg en verbetert op basis daarvan het onderwijs niet systematisch. Hiermee wordt niet voldaan aan artikel uit de WEB. Ten tijde van het onderzoek was een interim-manager recentelijk gestart met als belangrijkste opdracht de kwaliteitszorg binnen deze bbl-opleiding in te richten. Om in de woorden van het team te blijven, de kwaliteitszorg staat nog in de kinderschoenen. Tegelijkertijd is er een opleidingscoördinator aangesteld die afkomstig is van de bol-opleiding Particuliere beveiliging. Daar is men al wat Rapport kwaliteitsonderzoek mbo - ROC TOP pagina 8 van 12

13 verder met het implementeren van de kwaliteitszorg. De coördinator brengt de opgedane ervaring mee om nu ook het bbl-team verder te helpen. Het team is nog niet betrokken geweest bij het bepalen van doelen voor de opleiding. Er is wel een teamplan, maar dit is een document dat is afgeleid van de bol-variant. De zaken die hierin staan beschreven zijn dan ook niet direct herleidbaar naar de bbl-opleiding. Binnenkort vindt een teamdag plaats waarin men met elkaar aan de slag gaat met eigen teamplan bbl voor schooljaar Dit is een volgende stap in het traject in het kader van de implementatie van kwaliteitszorg binnen het team. Monitoring en evaluatie vindt nog niet genoeg plaats. Zo heeft er nog geen interne audit plaatsgevonden vanuit de instellingsbrede kwaliteitszorgsystematiek bij deze opleiding. Evenmin is er een gedegen zelfevaluatie gemaakt door het team. Ook worden studenten tijdens de opleiding nog niet structureel bevraagd over de kwaliteit van het onderwijs. Dit gebeurt pas na het behalen van het diploma. De Job-enquête is niet afgenomen in de bbl-opleiding. Desalniettemin krijgen wij geen signalen van grote ontevredenheid van de studenten. Korte lijnen kenmerkend voor de kwaliteitscultuur De opleiding kent een functionele kwaliteitscultuur en werkt transparant en integer. Uit de manier waarop het team omgegaan is met de enorme groei van het aantal studenten blijkt dat het team zich verantwoordelijk voelt voor de kwaliteit van de eigen opleiding. Door de korte, informele, lijnen tussen de docenten is men erin geslaagd om met elkaar deze nieuwe situatie beheersbaar te houden. Waar mogelijk probeert het team verbeteringen aan te brengen in de kwaliteit. Dit gebeurt echter nog vooral vanuit een adhoc-aanpak. Zoals gezegd moet de meer systematische werkwijze die hierbij past nog worden ingevoerd. Het team ziet hier het nut van in, wat getuigt van een open houding. De verandering die plaats heeft gevonden in de aansturing van de opleiding, leidt er ook toe dat men zich meer bewust aan het worden is van de rol die ieder teamlid vervult in de organisatie. Het onderwijskundig leiderschap komt parallel hieraan ook meer tot ontwikkeling, maar heeft nog wel wat tijd nodig. In het kader van de professionalisering van de medewerkers wordt gewerkt met scholingen die instellingsbreed worden georganiseerd. Docenten hebben een training gevolgd over differentiatie in het lesgeven. Het middenmanagement is geschoold in managementvaardigheden. Men werkt toe naar een werkwijze waarin per individuele medewerker de professionaliseringsactiviteiten worden ingevuld. De dialoog met belanghebbenden moet beter De opleiding betrekt echter nog in onvoldoende mate interne en externe deskundigen bij het bekijken van de kwaliteit van de opleiding. Hiermee wordt niet voldaan aan artikel eerste lid, eerste lid, van de WEB. De interim manager legt verantwoording af aan het cvb. Hij is met een specifieke opdracht aangesteld voor de duur van 6 maanden. De dialoog met vertegenwoordigers uit het beroepenveld beperkt zich tot het overleg dat een teamlid met de praktijkopleider van het bpv-bedrijf voert. De opleiding geeft zelf aan dat deze kring verbreed moet worden en gaat op zoek naar nieuwe gesprekspartners. De opleiding legt verantwoording af over de behaalde doelen en resultaten en voert daarover intern de dialoog met studenten. Rapport kwaliteitsonderzoek mbo - ROC TOP pagina 9 van 12

14 3.1.5 Onderzoek naar overige wettelijke vereisten Naast het onderzoek naar kwaliteit hebben wij gekeken of bij de opleiding voldaan wordt aan de wettelijke vereisten met betrekking tot schoolkosten en wettelijke bijdragen. Schoolkosten/wettelijke bijdragen De opleiding voldoet wel aan de eisen gesteld in artikel van de WEB. Rapport kwaliteitsonderzoek mbo - ROC TOP pagina 10 van 12

15 Bijlage I Bc-id overzicht In deze bijlage is per onderzochte bc-id aangegeven welke opleidingen betrokken zijn bij het bepalen van de onderwijsresultaten. bc165 Niveau: Crebo: Opleiding: Particuliere beveiliging (Beveiliger) Particuliere beveiliging Rapport kwaliteitsonderzoek mbo - ROC TOP pagina 11 van 12

16 Bijlage II Oordeel op basis van waarderingskader mbo 2012 Particuliere Beveiliging, Kwaliteitsgebied Goed Voldoende Onvoldoende 1. Onderwijsproces 2. Examinering en diplomering 3. Opbrengsten Slecht Kwaliteitsgebied Voldoende Onvoldoende Aspect Gebied 1: Onderwijsproces Leren in de beroepspraktijk 1.9 Beroepspraktijkvorming Gebied 2: Examinering en diplomering 2.1 Exameninstrumentarium 2.2 Afname en beoordeling 2.3 Diplomering* Gebied 3: Opbrengsten 3.1 Rendement Rapport kwaliteitsonderzoek mbo - ROC TOP pagina 12 van 12