RAPPORTAGE TOEZICHT KWALITEIT EXAMINERING EN KWALITEITSBORGING Examenorganisatie SVPB

Transcriptie

1 RAPPORTAGE TOEZICHT KWALITEIT EXAMINERING EN KWALITEITSBORGING 2013 Examenorganisatie SVPB Plaats : Houten Kenmerk : v1/BJ Datum onderzoek : 11, 28 en 29 oktober 2013 Datum vaststelling : 5 december 2013

2 INHOUDSOPGAVE 1 INLEIDING Achtergrond van het toezicht op examenorganisatie SVPB HET ONDERZOEK Onderzoeksopzet CONCLUSIE EN VERVOLG Conclusie TOELICHTING OP DE BEOORDELING Oordeel kwaliteitsborging op instellingsniveau Risico s op relevante indicatoren Resultaat onderzoek examinering Particuliere beveiliging (Beveiliger en Coördinator beveiliging)... 7 Bijlagen Bijlage I Bijlage II p. 1 van 11

3 1 INLEIDING 1.1 Achtergrond van het toezicht op examenorganisatie SVPB Onderwijsinstellingen zijn verplicht de examinering van de wettelijke beroepsvereisten, behorende bij het kwalificatiedossier van de opleiding particulier beveiliger en coördinator beveiliging, uit te laten voeren bij de examenorganisatie Stichting Vakexamens voor de Particuliere Beveiligingsorganisaties, kortweg SVPB. Deze verplichting is weergegeven in artikel van de WEB en de WPBR en de bijbehorende Regeling (artikel 5) particuliere beveiligingsorganisaties en recherchebureaus. In genoemde Regeling staat vermeld dat een particuliere beveiliger alleen door een particuliere beveiligingsorganisatie met beveiligingswerkzaamheden mag worden belast als hij in het bezit is van het SVPB/ECABO-diploma Beveiliger niveau 2. In de brief van 15 november 2012 heeft het Ministerie van Veiligheid en Justitie, wederom, een verzoek gedaan aan de Inspectie van het Onderwijs om op basis van artikel 8 van de Wet particuliere beveiligingsorganisaties en recherchebureaus en artikel 5 van de Regeling Particuliere beveiligingsorganisatie en recherchebureaus toezicht te houden op de SVPB. 1.1 Onderzoekkader Sinds 1 januari 2012 is een nieuw geïntegreerd toezichtkader (onderwijs, examinering en kwaliteitsborging) voor de sector bve door de Minister van OCW vastgesteld. Op voorstel van de inspectie en afgeleid van het toezichtkader bve heeft het Ministerie van Veiligheid en Justitie het toezichtkader SVPB 2013 vastgesteld. Het toezichtkader SVPB bestaat uit twee kwaliteitsgebieden, Examinering en Kwaliteitsborging. De overige gebieden uit het toezichtkader bve 2012, Onderwijsproces, Opbrengsten en Naleving wettelijke vereisten, zijn niet van toepassing. SVPB is een examenorganisatie waar geen onderwijs wordt verzorgd; de organisatie heeft geen crebolicenties. Daardoor valt het SVPB niet onder de Wet educatie en beroepsonderwijs. Uitgaande van de twee gebieden Examinering en Kwaliteitsborging zullen wij, net als bij het reguliere toezicht, een uitspraak doen aan de hand van de aspecten en indicatoren binnen de onderscheiden gebieden. Binnen het gebied Examinering gaat het om de aspecten: - Exameninstrumentarium met de indicatoren o Onderscheid tussen ontwikkelingsgerichte toetsen en examinering o Dekking van het kwalificatiedossier o Cesuur o Beoordelingswijze o Transparantie - Afname en beoordeling met de indicatoren o Authentieke afname o Betrouwbaarheid - Diplomering met de indicatoren o Besluitvorming diplomering o Verantwoordelijkheid examencommissie p. 2 van 11

4 Dit laatste betreft het uitreiken van het diploma op basis van de wettelijke beroepsvereisten. Het gaat hier niet om het mbo diploma. Binnen het gebied Kwaliteitsborging gaat het om de aspecten: - Sturing met de indicatoren o Plannen o Informatie o Continuïteit - Beoordeling met de indicatoren o Monitoring o Evaluatie - Verbeteringen, verankering met de indicatoren o Verbeteraanpak o Deskundigheidsbevordering o Verankering - Dialoog en verantwoording o Intern o Extern Voor wat betreft de normering zijn, op dialoog en verantwoording na, alle bovengenoemde aspecten kernaspecten. Dat wil zeggen dat deze alle voldoende moeten zijn voor het eindoordeel. 1.2 Sanctie Op grond van het toezichtkader SVPB is het volgende sanctietraject afgesproken tussen het Ministerie van Veiligheid en Justitie en de Inspectie van het Onderwijs. Op het moment dat het gebied Kwaliteitsborging niet voldoet zal de inspectie middels een rapport hiervan melding doen bij het Ministerie van Veiligheid en Justitie. Er zal worden aangeven dat van proportioneel toezicht (één van de pijlers van het huidige toezichtkader) geen sprake kan zijn en dat na een herstelperiode van een jaar heronderzoek plaatsvindt. Indien de kwaliteit voldoet, zal de inspectie op dit gebied na drie jaar opnieuw onderzoek doen. Indien het gebied Examinering niet voldoende is, vindt eveneens melding plaats bij genoemd ministerie. Het is bij dit gebied aan het ministerie van Veiligheid en Justitie om te beslissen welke sanctie zij oplegt aan SVPB. Het definitieve rapport zal op basis van hoor en wederhoor op de website van de inspectie gepubliceerd worden en aangeboden aan het Ministerie van Veiligheid en Justitie. p. 3 van 11

5 2 HET ONDERZOEK 2.1 Onderzoeksopzet De Inspectie van het Onderwijs voerde in oktober 2013 toezicht uit bij de Stichting Vakexamens voor de Particuliere Beveiligingsorganisaties, SVPB. Dit onderzoek heeft betrekking op de kwaliteit van de examinering en kwaliteitsborging. De examenorganisatie SVPB is gevestigd in Houten. SVPB heeft een examenlocatie in Amersfoort waar zowel theorie- als praktijkexamens plaatsvinden. Daarnaast heeft SVPB op diverse plaatsen in het land examenaccomodaties van Creboingeschreven onderwijsinstellingen geregistreerd zodat hier ook theorie- en praktijkexamens kunnen worden afgenomen. Het onderzoek heeft tot doel om de stand van de kwaliteitsborging van de organisatie en de examinering te bepalen en om de risico's voor de examinering in te schatten. Het toezicht op de SVPB vindt, op verzoek van het Ministerie van Veiligheid en Justitie, elke drie jaar plaats. De informatie over de instelling die bij de inspectie aanwezig is, zoals documenten met betrekking tot examinering en kwaliteitsborging, uitkomsten van tevredenheidonderzoeken zijn geanalyseerd en aangevuld met een onderzoek op de instelling. Tijdens het onderzoek zijn gesprekken gevoerd met examenontwikkelaars, examenvaststellers, examinatoren, de examencommissie en de directie. Daarnaast zijn aanvullend documenten onderzocht en zijn examenactiviteiten, zowel theoretisch als praktisch, geobserveerd. De examinering en kwaliteitsborging van de volgende opleidingen zijn onderzocht: BC-ID Gebied Kwaliteitsborging Gebied Examinering en diplomering Eca , Particuliere beveiliging (Beveiliger) 94850, Particuliere beveiliging (Beveiliger) Eca , Particuliere beveiliging (Coördinator beveiliging) 90550, Particuliere beveiliging (Coördinator beveiliging) De resultaten van het onderzoek naar kwaliteitsborging leiden, in combinatie met de resultaten van het kwaliteitsonderzoek examinering, tot een oordeel. Het resultaat zal voorgelegd worden aan het Ministerie van Veiligheid en Justitie. In hoofdstuk 3 leest u de conclusie en het eventuele vervolgtoezicht voor de instelling. De resultaten van het onderzoek naar kwaliteitsborging, de resultaten van de analyse en de resultaten van het kwaliteitsonderzoek examinering vindt u in hoofdstuk 4. p. 4 van 11

6 3 CONCLUSIE EN VERVOLG In dit hoofdstuk geven we aan welke conclusie we trekken uit het onderzoek en wat het vervolgtoezicht voor u inhoudt. Het vervolgtoezicht is bepaald op basis van het onderzoek naar kwaliteitsborging en het kwaliteitsonderzoek examinering en de analyse van risico s. 3.1 Conclusie Op basis van de resultaten uit het toezicht op de kwaliteitsborging en de examinering komen wij tot de conclusie dat de kwaliteitsborging bij Stichting Vakexamens voor de Particuliere Beveiligingsorganisaties voldoende is. Voorts concluderen we dat er geen risico s zijn voor de kwaliteit van de examinering. Het oordeel dat de kwaliteitsborging voldoende is, gecombineerd met de constatering dat er geen risico s zijn voor de kwaliteit van de examinering, leidt er toe dat we geen aanvullend vervolgtoezicht uitvoeren. Voor het toezicht op de kwaliteitsborging en examinering hebben we het examenproces van twee opleidingen onderzocht. p. 5 van 11

7 4 TOELICHTING OP DE BEOORDELING In dit hoofdstuk geven we een toelichting op de beoordeling. 4.1 Oordeel kwaliteitsborging op instellingsniveau Het onderzoek naar kwaliteitsborging heeft geleid tot het volgende oordeel: Kwaliteitsgebied Voldoende Onvoldoende 4. Kwaliteitsborging Hieronder geven we het oordeel van de aspecten van het kwaliteitsgebied kwaliteitsborging weer. Een detaillering van het oordeel vindt u in bijlage I. Daarin is de beoordeling van de onderliggende indicatoren per aspect opgenomen. Gebied 4: Kwaliteitsborging Voldoende Aspect 4.1 Sturing * 4.2 Beoordeling * 4.3 Verbetering en verankering * 4.4 Dialoog en verantwoording De aspecten met een * zijn kernaspecten. Onvoldoende Beschouwing De kwaliteitsborging op instellingsniveau wordt als voldoende beoordeeld en valt, wat betreft de scope van dit onderzoek, samen met de kwaliteitsborging van de examinering van de onderzochte opleidingen. SVPB heeft tijdens het onderzoek aangetoond dat het proces van examinering een stevig fundament kent van kwaliteitcyclische processen. Beleids- en jaarplannen beschrijven de positionering en primaire activiteiten van de organisatie. Het examenprogramma wordt jaarlijks bij- en vastgesteld op grond van actuele wijzigingen in wet- en regelgeving, de resultaten van examenevaluaties, audits en tevredenheidonderzoeken. SVPB onderhoudt structureel contacten met de branche en onderwijsinstellingen, enerzijds met het oog op verantwoording en verbetering van de geleverde kwaliteit, anderzijds met als doel belanghebbenden te informeren over relevante ontwikkelingen. SVPB communiceert op haar website open over behaalde resultaten en binnengekomen klachten en bezwaren. In hoofdstuk 4.3 wordt de kwaliteitsborging specifieker toegelicht, gerelateerd aan de examenprocessen van de onderzochte opleidingen. 4.2 Risico s op relevante indicatoren Bij het bepalen van de risico s hebben we, in samenhang met de toezichthistorie, gekeken naar de kwaliteit van de examinering, de tevredenheid van examenkandidaten en medewerkers en de stabiliteit van organisatie en management. Het onderzoek heeft geleid tot de volgende risicobepaling: Mate van risico's Geen Enkele Veel p. 6 van 11

8 - Kwaliteit examinering. Wij zien geen risico s voor de kwaliteit van de examinering. Er is sprake van een transparant en solide examenproces waarbij, naar het oordeel van de branche, een passende balans is gevonden tussen theorie- en praktijkexamens. De afname en beoordeling verlopen deugdelijk en zo objectief mogelijk. - Tevredenheid examenkandidaten en medewerkers. Wij zien geen risico s voor de tevredenheid van examenkandidaten en medewerkers. De examencommissie wijst a-select theorie- en praktijkexamens aan waarvan de kandidaten worden benaderd voor het invullen van een tevredenheidenquête. Kandidaten wordt gevraagd naar hun mening over de informatievoorziening, de fysieke condities tijdens het examen, de rol en houding van de examenfunctionaris en de communicatie over de uitslag. Over het algemeen zijn kandidaten tevreden over bovengenoemde examenonderdelen. Wij hebben geen resultaten gezien van medewerkerstevredenheidonderzoeken. Wij zien hier echter geen risico. Tijdens het onderzoek tekenden wij van examinatoren en overige medewerkers op dat zij met plezier bij de SVPB werken, waarbij zij duidelijkheid, ruimte en professionaliteit ervaren in het werkklimaat. - Stabiliteit organisatie en management. Wij zien geen risico s voor de stabiliteit van de organisatie en het management. Op de korte of middellange termijn zijn hierin geen of weinig veranderingen te verwachten. Een kern van directieleden en ondersteunende functionarissen is al diverse jaren verbonden aan de SVPB. Men beschikt over voldoende examenfunctionarissen, waarvan een deel eveneens diverse jaren werkzaam is voor de organisatie. 4.3 Resultaat onderzoek examinering Particuliere beveiliging (Beveiliger en Coördinator beveiliging) Het kwaliteitsonderzoek bij Particuliere beveiliging (Beveiliger), 94850, niveau 2 en bij Particuliere beveiliging (Coördinator beveiliging), 90550, niveau 3, heeft geleid tot de volgende oordelen: Kwaliteitsgebied Voldoende Onvoldoende 2. Examinering en diplomering 4. Kwaliteitsborging p. 7 van 11

9 Oordeel per aspect Hieronder geven we het oordeel over de aspecten van de twee kwaliteitsgebieden weer. In bijlage II is de beoordeling van de onderliggende indicatoren van de betreffende aspecten per kwaliteitsgebied opgenomen. Kwaliteitsgebied Voldoende Aspect Gebied 2: Examinering en diplomering 2.1 Exameninstrumentarium* 2.2 Afname en beoordeling* 2.3 Diplomering* Gebied 4: Kwaliteitsborging 4.1 Sturing* 4.2 Beoordeling* 4.3 Verbetering en verankering* 4.4 Dialoog en verantwoording De aspecten met een * zijn kernaspecten. Onvoldoende Beschouwing Algemeen De SVPB is er in geslaagd voor de opleidingen Beveiliger en Coördinator beveiliging een solide examenprogramma neer te zetten. De verhouding theorie-examens praktijkexamens is naar het oordeel van de SVPB en de branche evenwichtig en beroepsrelevant. Het waarborgen van gelijkwaardige examencondities, mede ingegeven door de grote spreiding van examenlocaties en examinatoren, heeft de continue aandacht van de SVPB en borgt men door programma s van eisen aan examenlocaties, controle daarop en uniforme beoordelingsinstrumenten. Examinering en diplomering De examinering en diplomering beoordelen wij als voldoende. Het examenproces kenmerkt zich door transparantie, adequate voorzieningen in de vorm van goed geoutilleerde examenlocaties en een zorgvuldige beoordeling. In vergelijking met de uitkomsten van het inspectieonderzoek van 2011 heeft de SVPB met de exameneisen een duidelijke relatie weten te leggen tussen de kerntaken en de werkprocessen uit het kwalificatiedossier. De kerntaken worden dan ook volledig gedekt in het examenprogramma. De exameneisen zijn vertaald in diverse theorie- en praktijkexamens die realistisch en beroepsrelevant zijn. Een commissie van deskundigen ontwikkelt de examenopgaven gezamenlijk aan de hand van een door de examencommissie vastgestelde toetsmatrijs. Er zijn diverse redenen voor de SVPB om tot wijziging of ontwikkeling van examenopgaven te komen. De aanleiding kan gelegen zijn in veranderingen in wet- en regelgeving, uit evaluaties van geconstateerde knelpunten in huidige examenopdrachten of overige evaluatiegegevens bijvoorbeeld opgemaakt uit de processen verbaal. SVPB informeert de onderwijsinstelling over veranderingen in wettelijke vereisten. De instellingen krijgen een half jaar de tijd om de nieuwe of gewijzigde informatie in het onderwijsprogramma op te nemen, alvorens de SVPB die opneemt in de examenopgaven. De afname van mondelinge praktijkexamens en de beoordeling ervan verloopt zorgvuldig en gedegen. Examinatoren maken hierbij gebruik van de STARRmethode. Bij de praktijkexamens zijn twee examinatoren betrokken. Het examenbureau is gemandateerd om de diplomeerbaarheid van kandidaten vast te stellen. De examencommissie neemt het resultaat over, waarbij steekproefsgewijs beoordelingsresultaten worden onderzocht die (sterk) afwijken van het gemiddelde. p. 8 van 11

10 SVPB legt zich toe op een zorgvuldige communicatie met de onderwijsinstellingen over de examenuitslag. Om de onderwijsorganisaties in de gelegenheid te stellen een beoordeling op kerntaakniveau vast te stellen, heeft de SVPB een rekenmodel ontwikkeld waarmee de vertaling gemaakt kan worden van de examenonderdelen naar de afzonderlijke kerntaken. Kwaliteitsborging De kwaliteit van het praktijkexamenproces wordt op diverse manieren geborgd. Twee maal per jaar worden alle examinatoren geaudit. De feedback wordt met de examinatoren besproken, waarbij de bevindingen op schrift worden gesteld en ondertekend door beide partijen. De slagingspercentages per examinator worden bijgehouden en besproken indien hier aanleiding toe is. Het verloop van het examenproces wordt vastgelegd middels een proces verbaal. De verzamelde processen-verbaal worden door de adviseur ontwikkeling geanalyseerd en zo nodig vertaald naar een voorstel tot bijstelling voor een bepaald onderdeel van het examenproces. Er is sprake van een bewuste toewijzing van examinatoren aan bepaalde examenonderdelen: expertise met het betreffende examenonderdeel is een criterium voor toewijzing. SVPB spant zich in om de interne en externe communicatie adequaat te verzorgen. Intern vindt jaarlijks een bijeenkomst voor examenfunctionarissen plaats. Het doel van deze dag is informatie-uitwisseling en borging van gelijkwaardige examencondities door afstemming en overleg. Kandidaten kunnen zich ondermeer voorbereiden op de examens met behulp van modelexamens op de website. Vorig jaar is de SVPB gestart met regionale bijeenkomsten met de onderwijsinstellingen ter bespreking van nieuwe ontwikkelingen en de samenwerking. SVPB onderhoudt daarnaast structureel contacten met de branche, enerzijds met het oog op verantwoording en verbetering van de geleverde kwaliteit, anderzijds met als doel belanghebbenden te informeren over relevante ontwikkelingen. Wij constateren dat het primaire proces, het verzorgen van de examinering van de twee onderzochte opleidingen, berust op een werkend kwaliteitssysteem. Gedurende het kalenderjaar worden diverse resultaten verzameld en geanalyseerd wat in de maand februari resulteert in een overall -analyse op grond waarvan examenprocessen worden bijgesteld en examenprogramma s worden verbeterd en vastgesteld. p. 9 van 11

11 Bijlagen Bijlage I Beoordeling aspecten en indicatoren Kwaliteitsborging instellingsbreed Gebied 4: Kwaliteitsborging Voldoende Onvoldoende Aspecten Indicatoren 4.1 Sturing * Plannen Informatie Continuïteit 4.2 Beoordeling * Monitoring Evaluatie 4.3 Verbeteringen Verbeteraanpak verankering * Deskundigheidsbevordering Verankering 4.4 Dialoog en Intern verantwoording Extern De aspecten met een * zijn kernaspecten. p. 10 van 11

12 Bijlage II Beoordeling aspecten en indicatoren kwaliteitsgebied Examinering Particuliere beveiliging (Beveiliger) en Particuliere beveiliging (Coördinator beveiliging) Gebied 2: Examinering en diplomering Voldoende Onvoldoende Aspecten Indicatoren 2.1 Examen Onderscheid tussen instrumentarium* ontwikkelgerichte toetsen en examinering Dekking van het kwalificatiedossier Cesuur Beoordelingswijze Transparantie 2.2 Afname en Authentieke afname beoordeling* Betrouwbaarheid 2.3 Diplomering* Besluitvorming diplomering Verantwoordelijkheid examencommissie p. 11 van 11