ROC Eindhoven ONDERZOEK KWALITEIT EXAMINERING 2007-2008 Amersfoort, juni 2008
Rapportage kwaliteit examinering ROC Eindhoven 2007-2008 p.2 van 35
VASTSTELLING RAPPORT Dit rapport bevat de resultaten van het onderzoek naar de kwaliteit van de examinering dat op 15, 17, 22 en 24 april 2008 plaatsvond bij het ROC Eindhoven. Het rapport is vastgesteld op 26 juni 2008 Reproductie van het rapport zonder toestemming van de inspectie of de school vindt niet plaats anders dan in zijn volledige vorm. Rapportage kwaliteit examinering ROC Eindhoven 2007-2008 p.3 van 35
Rapportage kwaliteit examinering ROC Eindhoven 2007-2008 p.4 van 35
INHOUDSOPGAVE SAMENVATTING 7 1 INLEIDING 9 2 KWALITEIT EXAMINERING BIJ BFHT 11 3 KWALITEIT EXAMINERING BIJ BOUWKUNDE EN BOUWTECHNIEK, AFBOUW EN AFWERKINGSTECHNIEK, HOUT-MEUBEL, INT. AFWERKING 15 4 KWALITEIT EXAMINERING BIJ HANDEL MARKETING EN MODE 17 5 KWALITEIT EXAMINERING BIJ UITERLIJKE VERZORGING 21 6 KWALITEIT EXAMINERING BIJ AUTOBRANCHE EN MOBILITEIT, TRANSPORT EN LOGISTIEK 23 7 KWALITEIT EXAMINERING BIJ WERKTUIGBOUW EN ELEKTROTECHNIEK EN INSTALLATIETECHNIEK 25 8 KWALITEIT EXAMINERING BIJ SCHOOL VOOR DE ZORGSECTOR 29 9 CONCLUSIES EN VERVOLGTOEZICHT 33 BIJLAGE 1: STANDAARDEN EN NORMERING 35 Rapportage kwaliteit examinering ROC Eindhoven 2007-2008 p.5 van 35
Rapportage kwaliteit examinering ROC Eindhoven 2007-2008 p.6 van 35
SAMENVATTING Het onderzoek naar de kwaliteit van de examens bij ROC Eindhoven vond plaats op 15, 17, 22 en 24 april 2008. De examinering van de volgende opleidingen is van voldoende kwaliteit: BFHT, locatie Sterrenlaan 10 te Eindhoven Zelfstandig werkend medewerker toeristische informatie (10392) BOL Broodbakker (10501) BBL Handel Marketing en Mode, locatie Sterrenlaan 6 te Eindhoven Groepsleider magazijn (10011) BBL Verkoopspecialist (90380) BOL Autobranche en Mobiliteit, Transport en Logistiek, locatie Fredrikalaan 60a te Eindhoven Eerste autoschadehersteller (10200) BBL Voertuigtechnicus (90790) BOL School voor de zorgsector, locatie Eindhoven Verzorgende (10427) BOL Bouwkunde en Bouwtechniek, Afbouw en Afwerkingstechniek, Hout-Meubel, Int.afwerk, locatie Ruysdaelbaan 7 te Eindhoven Timmerkracht (90370) BBL Uiterlijke Verzorging, locatie Sterrenlaan 4 te Eindhoven Kapper (91170) BBL Bij deze opleidingen vindt geen vervolgonderzoek plaats. De opleidingen kunnen overigens op grond van de aselecte steekproeftrekking opnieuw onderzocht worden. De examinering van de volgende opleidingen is van onvoldoende kwaliteit. Werktuigbouw en Elektrotechniek en Installatietechniek, locatie Fredrikalaan 60a te Eindhoven Aspirant-lasser (10127) BBL Middenkaderfunctionaris automatiseringselektronica (MK-AEC) (10232) BOL Het exameninstrumentarium van beide opleidingen voldoet niet aan de uitstroom- en toetstechnische eisen. De borging van de examinering is onvoldoende. Volgend jaar zal een onderzoek plaatsvinden naar de kwaliteitsverbetering van de examinering bij deze opleidingen. Over de uitvoering zullen te zijner tijd nadere afspraken gemaakt worden. Van deze constateringen van onvoldoende examenkwaliteit 2007-2008 wordt melding gemaakt aan de minister van OCW. Rapportage kwaliteit examinering ROC Eindhoven 2007-2008 p.7 van 35
Rapportage kwaliteit examinering ROC Eindhoven 2007-2008 p.8 van 35
1 INLEIDING Opzet onderzoek Het onderzoek is gebaseerd op het Toezichtkader examinering BVE 2007-2008 en de hierin opgenomen standaarden en normering. Uitgangspunt voor het onderzoek bij het ROC Eindhoven waren de zelfbeoordelingen examinering die de instelling per afdeling had opgesteld voor de te onderzoeken opleidingen. Op locatie vonden gesprekken plaats met constructeurs, vaststellers, beoordelaars, vertegenwoordigers uit de examencommissies en het management. Tijdens deze gesprekken werd relevante documentatie onderzocht. Ter afsluiting vond een gesprek plaats met het college van bestuur en vertegenwoordigers van de sectoren. Het exameninstrumentarium van een deel van de opleidingen is onderzocht. De voorlopige uitkomsten van de productbeoordeling zijn tijdens het bezoek besproken. Het gehele of een deel van het exameninstrumentarium van de opleidingen Broodbakker, Groepsleider magazijn, Eerste autoschadehersteller, Timmerkracht en Voertuigtechnicus werd niet onderzocht, omdat het is ingekocht bij door KCE erkende examenleveranciers. Onderzochte eindtermgerichte opleidingen Crebo Naam opleiding Leerweg 10392 Zelfstandig werkend BOL medewerker toeristische informatie Deelkwalificatie(s) Eigen product: 51382, 51386, 51388, 51390, 51391 10501 Broodbakker BBL Inkoop: 51910, 51914, 51915 10011 Groepsleider magazijn BBL Eigen product: 50061 10200 Eerste autoschadehersteller BBL Inkoop: 50029, 50060, 50067 BBL Inkoop: 55009, 55010 10127 Aspirant-lasser BBL Eigen product: 50328, 50378, 50434, 50516 Exameneenheid en locatie BFHT, locatie Sterrenlaan 10 te Eindhoven BFHT, locatie Sterrenlaan 10 te Eindhoven Handel Marketing en Mode, locatie Sterrenlaan 6 te Eindhoven Autobranche en Mobiliteit, Transport en Logistiek, locatie Fredrikalaan 60a te Eindhoven Werktuigbouw en Elektrotechniek en Installatietechniek locatie Fredrikalaan 60a Rapportage kwaliteit examinering ROC Eindhoven 2007-2008 p. 9 van 35
10232 Middenkaderfunctionaris automatiserings elektronica (MK-AEC) BOL Eigen product: 50859, 50868, 50869, 50871 10427 Verzorgende BOL Eigen product: 51565, 51571, 51574, 51576, 56273 te Eindhoven Werktuigbouw en Elektrotechniek en Installatietechniek, locatie Fredrikalaan 60a te Eindhoven School voor de zorgsector, locatie Eindhoven Onderzochte competentiegerichte opleidingen Crebo Naam opleiding, naam uitstroom Leerweg Exameneenheid en locatie 90370 Timmerkracht Inkoop: BBL Bouwkunde en Bouwtechn., Afbouw en Afwerkingstechni ek, Hout-Meubel, Int.afwerk, locatie Ruysdaelbaan 7 te Eindhoven 90380 Verkoopspecialist Eigen product: BOL 91170 Kapper Eigen product: BBL Handel Marketing en Mode, locatie Sterrenlaan 6 te Eindhoven Uiterlijke Verzorging, locatie Sterrenlaan 4 te Eindhoven 90790 Voertuigtechnicus Inkoop: BOL Autobranche en Mobiliteit, Transport en Logistiek, locatie Fredrikalaan 60a te Eindhoven Rapportage kwaliteit examinering ROC Eindhoven 2007-2008 p. 10 van 35
2 KWALITEIT EXAMINERING BIJ BFHT 2.1. Beoordeling opleidingen bij BFHT Standaard 1 Vertrouwen beroepenveld 2 Tevredenheid deelnemer 3 Deskundigheid betrokkenen 4 Instrumentarium: uitstroomeisen 5 Instrumentarium: toetstechnisch 6 Transparantie processen 7 Borging processen 8 Wettelijke vereisten 10392 Zelfstandig werkend medewerker V V V V V G G V toeristische informatie BOL 10501 Broodbakker BBL V V V V V G G V O = onvoldoende/ V = voldoende/ G = goed 2.2 Beschouwing Algemeen beeld De examinering van de opleidingen Zelfstandig werkend medewerker toeristische informatie en Broodbakker is van voldoende kwaliteit. Het beroepenveld heeft voldoende vertrouwen in de examinering van de opleidingen en is voldoende betrokken bij de examinering. Deelnemers zijn tevreden over de examinering. De betrokkenen bij examinering zijn deskundig. De examenonderzoeken, zoals toetsen, proeven van bekwaamheid of andere soorten onderzoeken, voldoen inhoudelijk en qua niveau aan de uitstroomeisen. Ook voldoet het exameninstrumentarium aan de toetstechnische eisen. De examinering is transparant en goed geborgd en voldoet aan de wettelijke vereisten. Toelichting beoordeling exameninstrumentarium Toelichting beoordeling exameninstrumentarium Broodbakker Brood en Banket koopt het volledige exameninstrumentarium van de onderzochte opleiding Broodbakker in bij het Nederlands Bakkerij Centrum in Wageningen. Het exameninstrumentarium is van voldoende kwaliteit. Rapportage kwaliteit examinering ROC Eindhoven 2007-2008 p. 11 van 35
Beoordeling exameninstrumentarium Zelfstandig werkend medewerker toeristische informatie 10392 BOL Standaard 4. Het exameninstrumentarium voldoet inhoudelijk aan de uitstroomeisen 5. Het exameninstrumentarium voldoet aan toetstechnische kwaliteitseisen 51382 Engels 2 V V 52386 Communicatie G V 51388 Spaans 1 V V 51390 Duits 1 G V 51391 Engels 1 G V O = onvoldoende/ V = voldoende/ G = goed Het exameninstrumentarium voldoet aan de uitstroomeisen en aan de toetstechnische eisen. Toelichting beoordeling examineringsprocessen Het beroepenveld heeft voldoende vertrouwen in de kwaliteit van de examinering. Het exameninstrumentarium voor de opleiding Broodbakker wordt volledig ingekocht bij een door KCE erkende leverancier. De afnemer, het Nederlands Bakkerij Centrum, garandeert betrokkenheid van het beroepenveld bij de afname van de examens. Het beroepenveld voor Toerisme en Recreatie is door de instelling van de arbeidsmarktcommissie niet alleen betrokken bij de uitvoering van de examens, maar ook bij de inhoudelijke kant van de examens. Daarnaast is er ook een intensief contact met de bpv-bedrijven via stagebezoeken en de leermeesteravonden. Het verzamelen van expliciete informatie over het vertrouwen van het beroepenveld is een aandachtspunt. Het management neemt aan dat uit de betrokkenheid van vertegenwoordigers uit het beroepenveld ook blijkt dat zij vertrouwen hebben in en tevreden zijn over de kwaliteit van de examinering zonder dit onderwerp expliciet aan de orde te stellen. De deelnemer is tevreden over de kwaliteit van de examinering. Dit blijkt uit verschillende enquêtes (ODIN, steekproef na elke toets) die zijn voorgelegd aan de deelnemers. Daarnaast voert het management van de opleidingen overleg met klassenvertegenwoordigers. De betrokkenen bij examinering zijn voldoende deskundig. Brood en Banket koopt het volledige exameninstrumentarium van de onderzochte opleiding in bij Rapportage kwaliteit examinering ROC Eindhoven 2007-2008 p. 12 van 35
de SLEBB. De afname van examenproducten wordt ingekocht bij het Nederlands Bakkerij Centrum in Wageningen. Ook bij Toerisme en Recreatie zijn de betrokkenen bij examinering voldoende deskundig. Alle docenten hebben scholing gevolgd met betrekking tot toetsconstructie en vaststelling van examens. De externe beoordelaars worden via Kenwerk geschoold. Surveillanten volgen eenmaal per jaar een workshop. De transparantie en borging van de examinering van de opleidingen Zelfstandig werkend medewerker toeristische informatie en Broodbakker zijn goed. De procedures, taken, bevoegdheden en verantwoordelijkheden zijn helder vastgelegd in het Handboek examinering. Betrokkenen zijn goed op de hoogte van wat zij moeten doen. Alle procedures worden aantoonbaar gevolgd en regelmatig geëvalueerd en waar nodig bijgesteld. De opleidingen voldoen aan de wettelijke vereisten rondom examinering. Rapportage kwaliteit examinering ROC Eindhoven 2007-2008 p. 13 van 35
Rapportage kwaliteit examinering ROC Eindhoven 2007-2008 p. 14 van 35
3 KWALITEIT EXAMINERING BIJ BOUWKUNDE EN BOUWTECHNIEK, AFBOUW EN AFWERKINGSTECHNIEK, HOUT-MEUBEL, INT. AFWERKING 3.1. Beoordeling opleiding bij Bouwkunde en Bouwtechniek, Afbouw en Afwerkingstechniek, Hout-Meubel, Int. afwerking Standaard 1 Vertrouwen beroepenveld 2 Tevredenheid deelnemer 3 Deskundigheid betrokkenen 4 Instrumentarium: uitstroomeisen 5 Instrumentarium: toetstechnisch 6 Transparantie processen 7 Borging processen 8 Wettelijke vereisten 90370 Timmerkracht BBL V V V V V V V V O = onvoldoende/ V = voldoende/ G = goed 3.2 Beschouwing Algemeen beeld De examinering van de opleiding Timmerkracht is van voldoende kwaliteit. Het beroepenveld heeft vertrouwen in de kwaliteit van de examinering. Deelnemers zijn tevreden over de examinering. De betrokkenen bij examinering zijn deskundig. De producten zijn ingekocht bij een door KCE erkende examenleverancier. De examinering is voldoende transparant en geborgd en voldoet aan de wettelijke vereisten. Toelichting beoordeling exameninstrumentarium Het volledige exameninstrumentarium van de onderzochte opleiding Timmerkracht wordt ingekocht bij Fundeon. Het exameninstrumentarium is van voldoende kwaliteit. Toelichting beoordeling examineringsprocessen Het beroepenveld heeft voldoende vertrouwen in de examinering. ROC Eindhoven doet periodiek onderzoek naar het vertrouwen van het beroepenveld in de examinering. Daarnaast is er ook een intensief contact met de bpvbedrijven via stagebezoeken en leermeesteravonden. De deelnemers zijn volgens de meest actuele onderzoeksgegevens voldoende tevreden over de kernpunten van de examinering van de opleiding. Bovendien Rapportage kwaliteit examinering ROC Eindhoven 2007-2008 p. 15 van 35
is er een start gemaakt met lunchgesprekken met deelnemers voor meer gedetailleerde informatie over onder andere de examenprocessen. De betrokkenen bij examinering zijn voldoende deskundig. Techniek koopt het volledige exameninstrumentarium van de onderzochte opleiding in bij Fundeon. Ook afname van examenproducten wordt ingekocht. De transparantie en borging van de examineringsprocessen zijn voldoende. In het handboek examinering voor examinering zijn de procedures en beschrijvingen van taken en verantwoordelijkheden van betrokkenen helder weergegeven. Voor de deelnemers is de examinering inzichtelijk gemaakt in de Onderwijs- en Examenregelingen van de opleiding. Voor de opleiding is een contract met de examenleverancier aanwezig. In het teamoverleg en de examencommissie wordt aandacht besteed aan de kwaliteit van de ingekochte toetsen en er vindt periodiek overleg plaats met een vertegenwoordiger van Fundeon. De examinering van de opleiding voldoet aan de wettelijke vereisten. Rapportage kwaliteit examinering ROC Eindhoven 2007-2008 p. 16 van 35
4 KWALITEIT EXAMINERING BIJ HANDEL MARKETING EN MODE 4.1. Beoordeling opleidingen bij Handel Marketing en Mode 1 2 3 4 5 6 7 8 Vertrouwen beroepenveld Tevredenheid deelnemer Deskundigheid betrokkenen Instrumentarium: uitstroomeisen Instrumentarium: toetstechnisch Transparantie processen Borging processen Wettelijke vereisten 10011 Groepsleider magazijn BBL V V V V V V V V 90380 Verkoopspecialist BOL V V V V V V V V O = onvoldoende/ V = voldoende/ G = goed 4.2 Beschouwing Algemeen beeld De examinering van de opleidingen Groepsleider Magazijn en Verkoopspecialist is van voldoende kwaliteit. Het beroepenveld heeft vertrouwen in de kwaliteit van de examinering. Deelnemers zijn tevreden over de examinering. De betrokkenen bij examinering zijn deskundig. De examenonderzoeken, zoals toetsen, proeven van bekwaamheid of andere soorten onderzoeken, voldoen inhoudelijk en qua niveau aan de uitstroomeisen. Ook voldoet het exameninstrumentarium aan de toetstechnische eisen. De examinering is voldoende transparant en geborgd en voldoet aan de wettelijke vereisten. Toelichting beoordeling exameninstrumentarium Handel, Marketing en Mode koopt voor de opleiding Groepsleider Magazijn het exameninstrumentarium van de deelkwalificaties Leidinggeven, Voorraadbeheer, Kwaliteits-, Milieu- en Arbozorg en Personeel Groothandel en Textielhandel in bij KC Handel. Het exameninstrumentarium van deze deelkwalificaties is van voldoende kwaliteit. Rapportage kwaliteit examinering ROC Eindhoven 2007-2008 p. 17 van 35
Beoordeling exameninstrumentarium Groepsleider Magazijn 10011 BBL Standaard 4. Het exameninstrumentarium voldoet inhoudelijk aan de uitstroomeisen 5. Het exameninstrumentarium voldoet aan toetstechnische kwaliteitseisen 50061 Moderne Vreemde Taal B Engels V V O = onvoldoende/ V = voldoende/ G = goed Deelkwalificatie Moderne Vreemde Taal B Engels 50061 Het exameninstrumentarium voldoet aan de inhoudelijke uitstroomeisen en aan toetstechnische kwaliteitseisen. Toelichting beoordeling exameninstrumentarium Verkoopspecialist Het exameninstrumentarium voldoet aan de inhoudelijke uitstroomeisen en aan de toetstechnische kwaliteitseisen. Toelichting beoordeling examineringsprocessen Het beroepenveld is door de instelling van de arbeidsmarktcommissie en de daaruit voortkomende werkgroep examinering niet alleen betrokken bij de uitvoering van de examens, maar ook bij de ontwikkeling van de examens. Daarnaast is het beroepenveld betrokken via de bpv, het participeren in examens op school en het opstellen en vaststellen van toetsen. Het verzamelen van meer expliciete informatie over het vertrouwen van het beroepenveld is een aandachtspunt. De deelnemer is tevreden over de kwaliteit van de examinering. Dit blijkt uit verschillende enquêtes (ODIN, na elk assessment en via KC Handel) die zijn voorgelegd aan de deelnemers. De betrokkenen bij de examinering zijn voldoende deskundig. De binnenschoolse beoordelaars zijn door het ROC met behulp van externe bureaus geschoold (assessorentraining). De externe beoordelaars zijn via KC Handel geschoold. Aandachtspunt is het beschrijven van de competenties van de constructeurs en vaststellers van de examens. De deskundigheid van het huidige vaststellingsteam is gebaseerd op een ruime ervaring in het ontwikkelen en vaststellen van examens. Rapportage kwaliteit examinering ROC Eindhoven 2007-2008 p. 18 van 35
De examinering is transparant en geborgd. De procedures, taken, bevoegdheden en verantwoordelijkheden zijn helder vastgelegd. Door de examencommissie wordt toegezien op het verloop van de examenprocedures door middel van rapportages uit de vaststellingscommissie en informatie vanuit het team. De opleidingen voldoen aan de wettelijke vereisten rondom examinering. Rapportage kwaliteit examinering ROC Eindhoven 2007-2008 p. 19 van 35
Rapportage kwaliteit examinering ROC Eindhoven 2007-2008 p. 20 van 35
5 KWALITEIT EXAMINERING BIJ UITERLIJKE VERZORGING 5.1. Beoordeling opleidingen bij Uiterlijke Verzorging Standaard 1 Vertrouwen beroepenveld 2 Tevredenheid deelnemer 3 Deskundigheid betrokkenen 4 Instrumentarium: 5 Instrumentarium: 6 Transparantie processen 7 Borging processen 8 Wettelijke vereisten 91170 Kapper BBL G V G G G G G V O = onvoldoende/ V = voldoende/ G = goed 5.2 Beschouwing Algemeen beeld De kwaliteit van de examinering van de opleiding Kapper is goed. Het vertrouwen van het beroepenveld, de tevredenheid van de deelnemer, de deskundigheid van betrokkenen, het exameninstrumentarium, de transparantie en borging van de examinering varieert bij deze opleiding tussen voldoende en goed. De opleidingen voldoen aan de wettelijke vereisten rondom examinering. Toelichting beoordeling exameninstrumentarium Kapper Het exameninstrumentarium van de onderzochte opleiding voldoet goed aan de uitstroomeisen en de toetstechnische kwaliteitseisen. De kwaliteit van de exameninstrumenten en de examenafname wordt regelmatig geëvalueerd en, waar nodig, bijgesteld. Toelichting beoordeling examineringsprocessen Het beroepenveld heeft veel vertrouwen in de kwaliteit van de examinering van de opleiding Kapper. Het beroepenveld is intensief betrokken middels de arbeidsmarktcommissie en treedt op als assessor bij de examinering. Uit het onderzoek onder de bpv-bedrijven blijkt een ruime meerderheid tevreden tot zeer tevreden over het niveau van de beginnend beroepsbeoefenaar. De aanbevelingen, voortkomend uit de evaluatie van de proeve van bekwaamheid, zijn overgenomen door de arbeidsmarktcommissie. Rapportage kwaliteit examinering ROC Eindhoven 2007-2008 p. 21 van 35
De deelnemer is voldoende tevreden over de kwaliteit van de examinering van de opleiding Kapper. De meest recente JOB-Odin resultaten (Job-Odin4) zijn gemiddeld positief. Uit de analyse van de schriftelijke enquête (juni 2007) onder de studenten haarverzorging komen nog verbetermogelijkheden naar voren. Uitkomsten zijn in passende vorm teruggekoppeld naar studenten. De betrokkenen bij examinering zijn in hoge mate deskundig. De deskundigheid van constructeurs en vaststellers is gebaseerd op regelmatige bijscholing en ervaring. Assessoren zijn getraind in de nieuwe competentiegerichte wijze van examineren. Om uitwisseling van informatie en kennis te bevorderen is de inzet van assessoren uit het beroepenveld een speerpunt. De examencommissie evalueert regelmatig op basis van de informatie uit examenprocessen en de functioneringsgesprekken de deskundigheid van de betrokkenen. De transparantie en borging van de examinering van de opleiding Kapper zijn goed. Alle procedures worden aantoonbaar gevolgd en regelmatig onderzocht, geëvalueerd en waar nodig bijgesteld. Bij de evaluatie van de competentie gerichte examinering is de arbeidbeidsmarktcommissie betrokken. De examinering van de opleiding Kapper voldoet aan de wettelijke eisen. Rapportage kwaliteit examinering ROC Eindhoven 2007-2008 p. 22 van 35
6 KWALITEIT EXAMINERING BIJ AUTOBRANCHE EN MOBILITEIT, TRANSPORT EN LOGISTIEK 6.1. Beoordeling opleidingen bij Autobranche en Mobiliteit, Transport en Logistiek Standaard 1 Vertrouwen beroepenveld 2 Tevredenheid deelnemer 3 Deskundigheid betrokkenen 4 Instrumentarium: 5 Instrumentarium: 6 Transparantie processen 7 Borging processen 8 Wettelijke vereisten 10200 Eerste autoschadehersteller BBL V V V V V V V V 90790 Voertuigtechnicus BOL V V V V V V V V O = onvoldoende/ V = voldoende/ G = goed 6.2 Beschouwing Algemeen beeld De examinering van de opleidingen Eerste autoschadehersteller en Voertuigtechnicus is van voldoende kwaliteit. Het beroepenveld heeft vertrouwen in de kwaliteit van de examinering. Deelnemers zijn tevreden over de examinering. De betrokkenen bij examinering zijn deskundig. De producten zijn alle ingekocht bij VOC. De examinering is voldoende transparant en geborgd en voldoet aan de wettelijke vereisten. Toelichting beoordeling exameninstrumentarium Het exameninstrumentarium van de opleidingen Eerste autoschadehersteller en Voertuigtechnicus wordt ingekocht bij VOC. Het exameninstrumentarium is van voldoende kwaliteit. Rapportage kwaliteit examinering ROC Eindhoven 2007-2008 p. 23 van 35
Toelichting beoordeling examineringsprocessen Het beroepenveld heeft voldoende vertrouwen in de examinering. De opleidingen voeren regelmatig onderzoek uit naar het vertrouwen van het beroepenveld in examinering via bpv-enquêtes. Daarnaast is er ook een intensief contact met de bpv-bedrijven via stagebezoeken, de leermeesteravonden, via de arbeidsmarktcommissie en de participatie van enkele docenten in landelijke organen. De deelnemers zijn voldoende tevreden over de kwaliteit van de examinering; o.a. over de voorlichting, inhoud, afname, beoordeling en inzage in gemaakt werk. Dit blijkt uit verschillende enquêtes (ROC Spiegel, JOB ODIN, online enquête) die zijn voorgelegd aan de deelnemers. Tevens houden de opleidingen structureel panelgesprekken met deelnemers. De betrokkenen bij de examinering zijn voldoende deskundig. Docenten zijn, evenals buitenschoolse beoordelaars, door Innovam opgeleid tot gecertificeerde assessoren. Leermeesters worden bijgeschoold tijdens de leermeesterbijeenkomsten die zowel door de instelling als door Innovam georganiseerd worden. De selectie van de betrokkenen van de toetsconstructiegroep en het vaststellingsteam is gebaseerd op scholing en ruime ervaring. De examinering is transparant en geborgd. De procedures, taken, bevoegdheden en verantwoordelijkheden zijn helder vastgelegd in het handboek examinering. Vanuit de examencommissie en subcommissies wordt toegezien op het verloop van de examenprocedures door middel van rapportages uit de vaststellingscommissie en informatie vanuit de diverse teams. De opleidingen voldoen aan de wettelijke vereisten rondom examinering. Rapportage kwaliteit examinering ROC Eindhoven 2007-2008 p. 24 van 35
7 KWALITEIT EXAMINERING BIJ WERKTUIGBOUW EN ELEKTROTECHNIEK EN INSTALLATIETECHNIEK 7.1. Beoordeling opleidingen bij Werktuigbouw en Elektrotechniek en Installatietechniek Standaard 1 Vertrouwen beroepenveld 2 Tevredenheid deelnemer 3 Deskundigheid betrokkenen 4 Instrumentarium: uitstroomeisen 5 Instrumentarium: toetstechnisch 6 Transparantie processen 7 Borging processen 8 Wettelijke vereisten 10127 Aspirant-lasser BBL G V V O O V O V 10232 Middenkaderfunctionaris G V V O O V O V automatiseringselektronica (MK-AEC) BOL O = onvoldoende/ V = voldoende/ G = goed 7.2 Beschouwing Algemeen beeld De kwaliteit van de examinering van de opleidingen Aspirant-lasser en Middenkaderfunctionaris automatiseringselektronica is onvoldoende. De exameninstrumenten voldoen niet aan de uitstroomeisen en aan de toetstechnische eisen. De examinering is onvoldoende geborgd. Het vertrouwen van het beroepenveld in de kwaliteit van de examinering is goed en de tevredenheid van de deelnemer over de kwaliteit van de examinering is voldoende. De betrokkenen bij examinering zijn deskundig. De opleidingen voldoen aan de wettelijke vereisten rondom examinering. Rapportage kwaliteit examinering ROC Eindhoven 2007-2008 p. 25 van 35
Toelichting beoordeling exameninstrumentarium Beoordeling exameninstrumentarium Aspirant-lasser 10127 BBL Standaard 4. Het exameninstrumentarium voldoet inhoudelijk aan de uitstroomeisen 5. Het exameninstrumentarium voldoet aan toetstechnische kwaliteitseisen 50328 Extra-functioneel niveau 1 O V 50378 Basisvaardigheden metaal V V 50434 Maatschappelijk cultureel niveau 1 O O 50516 Booglassen MIG/MAG 1 V V O = onvoldoende/ V = voldoende/ G = goed Toelichting beoordeling exameninstrumentarium Aspirant-lasser Deelkwalificatie: Extra-functioneel niveau 1 50328 Het exameninstrumentarium voldoet inhoudelijk niet aan de uitstroomeisen. Voor het merendeel van de eindtermen is gekozen voor toetsen in de vorm van meerkeuze vragen. Deze toetsvorm past niet bij de activiteiten genoemd in de eindtermen. Het exameninstrumentarium voldoet aan toetstechnische kwaliteitseisen. De informatie en de beoordelingscriteria sluiten aan bij de aangeboden toetsvorm. Deelkwalificatie: Maatschappelijk cultureel niveau 1 50434 Het exameninstrumentarium voldoet inhoudelijk niet aan de uitstroomeisen Voor toetsing van de eindtermen is gekozen voor toetsen in de vorm van meerkeuze vragen en een beoordeling in de bpv. Binnen de bpv ontbreken opdrachtformuleringen. De toetsen met meerkeuze vragen passen niet bij de activiteiten genoemd in de eindtermen en kunnen daarom, afzonderlijk van de beoordeling in de bpv, niet als een volwaardig exameninstrument worden gezien. Het exameninstrumentarium voldoet niet aan toetstechnische kwaliteitseisen. Voor de beoordeling in de bpv ontbreken de beoordelingscriteria. De exameninstrumenten van de deelkwalificaties Basisvaardigheden metaal 50378 en Booglassen MIG/MAG 1 50516 voldoen aan de uitstroom- en de toetstechnische eisen. Rapportage kwaliteit examinering ROC Eindhoven 2007-2008 p. 26 van 35
Beoordeling exameninstrumentarium Middenkaderfunctionaris automatiserings elektronica (MK-AEC) 10232 BOL Standaard 4. Het exameninstrumentarium voldoet inhoudelijk aan de uitstroomeisen 5. Het exameninstrumentarium voldoet aan toetstechnische kwaliteitseisen 50859 Algemene vaardigheden middenkaderfunctionaris elektrotechniek 50868 Service verlenen aan moderne communicatieapparatuur 50869 Ontwerpen en modificeren besturingselectronica 50871 Projectmanagement automatiserings elektronica O = onvoldoende/ V = voldoende/ G = goed V O O V V O V V Deelkwalificatie: Service verlenen aan moderne communicatieapparatuur 50868 Het exameninstrumentarium voldoet inhoudelijk niet aan de uitstroomeisen. De deelkwalificatie wordt geëxamineerd met behulp van een examen-mix bestaande uit schriftelijke toetsen, meetopdrachten en een beoordeling op eindtermenniveau in de bpv. De inhoudelijke beoordeling van de bpv vindt plaats op basis van een verslag. De schriftelijke toetsen en de meetopdrachten zijn relevant voor de inhoud van de eindtermen, maar deze toetsvormen passen niet bij alle activiteiten genoemd in de eindtermen. Bovendien hebben de meetopdrachten niet een uitgesproken kwalificerend karakter, maar eerder een opleidend karakter. Uit de aangeboden documenten blijkt namelijk onvoldoende sturing op de gewenste inhoud van de verslagen, waardoor het exameninstrument onvolledig is in relatie tot de eindtermen. Het exameninstrumentarium voldoet niet aan toetstechnische kwaliteitseisen. De beoordeling in de bpv vindt plaats op eindtermenniveau, maar onderliggende criteria om tot deze beoordeling te komen ontbreken. Het tot stand komen van het totale eindcijfer van deze deelkwalificatie is niet transparant, wat mede wordt veroorzaakt door het niet-kwalificerende karakter van de meetopdrachten. Rapportage kwaliteit examinering ROC Eindhoven 2007-2008 p. 27 van 35
Deelkwalificatie: Ontwerpen en modificeren besturingselectronica 50869 Het exameninstrumentarium voldoet inhoudelijk niet aan de uitstroomeisen De deelkwalificatie wordt geëxamineerd met behulp van een examen-mix bestaande uit schriftelijke toetsen en practicumopdrachten. De schriftelijke toetsen en de meetopdrachten zijn relevant voor de inhoud van de eindtermen, maar niet dekkend voor alle activiteiten genoemd in de eindtermen. Bovendien hebben de meetopdrachten niet een uitgesproken kwalificerend karakter, maar eerder een opleidend karakter. Hierdoor is het exameninstrument onvolledig in relatie tot de eindtermen. Het exameninstrumentarium voldoet aan toetstechnische kwaliteitseisen. De informatie en de beoordelingscriteria sluiten aan bij de aangeboden exameninstrumenten. De exameninstrumenten van de overige deelkwalificaties van deze opleiding voldoen aan de uitstroom- en de toetstechnische eisen. Toelichting beoordeling examineringsprocessen Het beroepenveld heeft veel vertrouwen in de kwaliteit van de examinering van de opleidingen. De samenwerking met het beroepenveld is intensief, specifiek gericht op clusters van opleidingen en gebaseerd op wederzijdse belangen. De examinering wordt besproken in diverse branchecommissies. Mede in opdracht van deze branchecommissies wordt examinering van de opleidingenclusters geënquêteerd. De bevindingen worden middels overleggen, nieuwsbrieven en een jaarverslag teruggekoppeld aan het belanghebbende beroepenveld. De deelnemer is voldoende tevreden over de kwaliteit van de examinering van beide opleidingen. De meest recente JOB-Odin resultaten (Job-Odin4) zijn gemiddeld positief. Ook uit overige gegevens blijkt tevredenheid. De deskundigheid van de betrokkenen bij examinering is voldoende. De vereiste criteria voor de deskundigheid van de betrokkenen bij examinering zijn geformuleerd in het handboek examinering. Door middel van inventarisatie in de teams is de aanwezige deskundigheid van betrokkenen in kaart gebracht en vastgesteld. Gelet op de opmerkingen geplaatst bij het exameninstrumentarium van de deelkwalificaties Extra-functioneel niveau 1, Maatschappelijk cultureel niveau 1, Service verlenen aan moderne communicatieapparatuur en Ontwerpen en modificeren besturingselectronica is de deskundigheid nog wel een aandachtspunt. De transparantie van de examineringsprocessen is voldoende. In het handboek voor examinering zijn de procedures en beschrijvingen van taken en verantwoordelijkheden van betrokkenen helder weergegeven. De examineringprocessen zijn onvoldoende geborgd. De vaststellingsprocedure filtert de tijdens de productaudit geconstateerde onvolkomenheden onvoldoende uit de examenproducten. Vanuit de examencommissie wordt wel toegezien op het verloop van de examenprocedures door middel van evaluaties van de toetsperiodes en informatie uit de kwaliteitszorgcyclus. De opleiding voldoet aan de wettelijke vereisten rondom examinering. Rapportage kwaliteit examinering ROC Eindhoven 2007-2008 p. 28 van 35
8 KWALITEIT EXAMINERING BIJ SCHOOL VOOR DE ZORGSECTOR 8.1. Beoordeling opleiding bij School voor de Zorgsector Standaard 1 Vertrouwen beroepenveld 2 Tevredenheid deelnemer 3 Deskundigheid betrokkenen 4 Instrumentarium: 5 Instrumentarium: 6 Transparantie processen 7 Borging processen 8 Wettelijke vereisten 10427 Verzorgende BOL V V V V V V V V O = onvoldoende/ V = voldoende/ G = goed 8.2 Beschouwing Algemeen beeld De examinering van de opleiding Verzorgende is van voldoende kwaliteit. Het beroepenveld is betrokken bij de opleiding en heeft vertrouwen in de examinering van de opleiding. De deelnemers zijn tevreden over de examinering. De betrokkenen bij de examinering zijn deskundig. De examenonderzoeken, zoals toetsen, werkstukken en bpv-opdrachten, voldoen inhoudelijk en qua niveau aan de uitstroomeisen. Ook voldoet het exameninstrumentarium aan de toetstechnische eisen. De examinering is voldoende transparant en geborgd en voldoet aan de wettelijke vereisten. Toelichting beoordeling exameninstrumentarium Rapportage kwaliteit examinering ROC Eindhoven 2007-2008 p. 29 van 35
Beoordeling exameninstrumentarium Verzorgende 10427 BOL Standaard 4. Het exameninstrumentarium voldoet inhoudelijk aan de uitstroomeisen 5. Het exameninstrumentarium voldoet aan toetstechnische kwaliteitseisen 51571 Kraamverzorging V V 51574 Verzorgen van verstandelijk gehandicapten V V 51576 Verzorgen chronisch zieken, lichamelijk V V gehandicapten, revalideren 56273 Zorg voor ouderen V V O = onvoldoende/ V = voldoende/ G = goed Het exameninstrumentarium voldoet aan de inhoudelijke uitstroomeisen en aan toetstechnische kwaliteitseisen. De beoordelingscriteria, ontstaan door ontleding van de eindtermen, vormen een aandachtspunt. Voor de beoordeling in de bpv is een meer expliciete uitwerking van beoordelingsaspecten binnen de criteria wenselijk. Toelichting beoordeling examineringsprocessen Het beroepenveld heeft voldoende vertrouwen in de examinering. Uit de ROC Spiegel blijkt dat het beroepenveld tevreden is over de examinering van de opleiding. Het beroepenveld is, door het regelmatig voeren van tactisch overleg met opleidingscoördinatoren van zorgorganisaties, niet alleen betrokken bij de uitvoering van de examens, maar ook bij de ontwikkeling van de examens. Naast het tactisch overleg voert de opleiding ook operationeel overleg met werkbegeleiders uit de zorgorganisaties. Ook is het beroepenveld betrokken bij het opstellen en vaststellen van toetsen. De deelnemers zijn voldoende tevreden over de kwaliteit van de examinering; o.a. over de voorlichting, inhoud, afname, beoordeling en inzage in gemaakt werkt. Dit blijkt uit verschillende enquêtes (ROC Spiegel, JOB ODIN) die zijn voorgelegd aan de deelnemers. Rapportage kwaliteit examinering ROC Eindhoven 2007-2008 p. 30 van 35
De betrokkenen bij de examinering zijn voldoende deskundig. Alle docenten hebben scholing gevolgd met betrekking tot toetsconstructie. Daarnaast hebben alle binnenschoolse beoordelaars ook een assessorentraining gevolgd. Buitenschoolse beoordelaars worden nauwkeurig geselecteerd door de opleiding. De deskundigheid van de vaste toetsconstructiegroep is gebaseerd op scholing, vakinhoudelijke kennis en ruime ervaring in het ontwikkelen van examens. De inzet van de betrokkenen van het huidige vaststellingsteam is gebaseerd op een ruime kennis van en ervaring met het vaststellen van examens. De examinering is transparant en geborgd. De procedures, taken, bevoegdheden en verantwoordelijkheden zijn helder vastgelegd. Vanuit de examencommissie wordt toegezien op het verloop van de examenprocedures door middel van rapportages uit de vaststellingscommissie en informatie vanuit het team. De opleiding voldoet aan de wettelijke vereisten rondom examinering. Rapportage kwaliteit examinering ROC Eindhoven 2007-2008 p. 31 van 35
Rapportage kwaliteit examinering ROC Eindhoven 2007-2008 p. 32 van 35
9 CONCLUSIES EN VERVOLGTOEZICHT De examinering van de onderzochte opleidingen is van voldoende kwaliteit: BFHT, locatie Sterrenlaan 10 te Eindhoven Zelfstandig werkend medewerker toeristische informatie (10392) BOL Broodbakker (10501) BBL Handel Marketing en Mode, locatie Sterrenlaan 6 te Eindhoven Groepsleider magazijn (10011) BBL Verkoopspecialist (90380) BOL Autobranche en Mobiliteit, Transport en Logistiek, locatie Fredrikalaan 60a te Eindhoven Eerste autoschadehersteller (10200) BBL Voertuigtechnicus (90790) BOL School voor de zorgsector, locatie Eindhoven Verzorgende (10427) BOL Bouwkunde en Bouwtechn., Afbouw en Afwerkingstechniek, Hout-Meubel, Int.afwerk, locatie Ruysdaelbaan 7 te Eindhoven Timmerkracht (90370) BBL Uiterlijke Verzorging, locatie Sterrenlaan 4 te Eindhoven Kapper (91170) BBL Bij deze opleidingen vindt geen vervolgonderzoek plaats. De opleidingen kunnen overigens op grond van de aselecte steekproeftrekking opnieuw onderzocht worden. De examinering van de volgende opleidingen is van onvoldoende kwaliteit. Werktuigbouw en Elektrotechniek en Installatietechniek, locatie Fredrikalaan 60a te Eindhoven Aspirant-lasser (10127) BBL Middenkaderfunctionaris automatiseringselektronica (MK-AEC) (10232) BOL Het exameninstrumentarium van beide opleidingen voldoet niet aan de uitstroom- en toetstechnische eisen. De borging van de examinering is onvoldoende. Volgend jaar zal een onderzoek plaatsvinden naar de kwaliteitsverbetering van de examinering bij deze opleiding. Over de uitvoering zullen te zijner tijd nadere afspraken gemaakt worden. Van deze constateringen van onvoldoende examenkwaliteit 2007-2008 wordt melding gemaakt aan de minister van Onderwijs Cultuur en Wetenschappen. Rapportage kwaliteit examinering ROC Eindhoven 2007-2008 p. 33 van 35
Rapportage kwaliteit examinering ROC Eindhoven 2007-2008 p. 34 van 35
BIJLAGE 1: STANDAARDEN EN NORMERING De standaarden en normering zijn opgenomen in de Regeling standaarden examens beroepsonderwijs 2007-2008, gepubliceerd in de staatscourant 29 april 2008. DOMEIN A: VALIDERING DOOR BELANGHEBBENDEN Standaard 1: Het beroepenveld heeft vertrouwen in de kwaliteit van de examinering. Standaard 2: De deelnemer is tevreden over de kwaliteit van de examinering. DOMEIN B: DESKUNDIGHEID VAN BETROKKENEN Standaard 3: De betrokkenen bij examinering zijn deskundig. DOMEIN C: EXAMENINSTRUMENTARIUM Standaard 4: Het exameninstrumentarium voldoet inhoudelijk aan de uitstroomeisen. Standaard 5: Het exameninstrumentarium voldoet aan toetstechnische kwaliteitseisen. DOMEIN D: PROCESSEN Standaard 6: De examineringsprocessen zijn transparant. Standaard 7: De examineringsprocessen zijn geborgd. DOMEIN E: WETTELIJKE VEREISTEN Standaard 8: De instelling voldoet aan de wettelijke vereisten rondom examinering. De kwaliteit van de examinering is voldoende, wanneer zes van de acht standaarden minimaal voldoende zijn, waaronder in elk geval standaarden 4, 5 en 8. Voor een toelichting op de standaarden en de normering, zie het document Toezichtkader examinering 2007-2008 (te vinden op www.onderwijsinspectie.nl). Rapportage kwaliteit examinering ROC Eindhoven 2007-2008 p. 35 van 35