ROC de Leijgraaf ONDERZOEK KWALITEIT EXAMINERING

Transcriptie

1 ROC de Leijgraaf ONDERZOEK KWALITEIT EXAMINERING Utrecht, april 2011

2 p. 2 van 41

3 Vaststelling rapport Dit rapport bevat de resultaten van het onderzoek naar de kwaliteit van de examinering dat op 7 december 2010 en 15 februari 2011 plaatsvond bij Stichting Regionaal Opleidingen Centrum de Leijgraaf (hierna: ROC de Leijgraaf) te Oss. Het rapport is vastgesteld op 7 april Dit rapport mag alleen in zijn volledige vorm vermenigvuldigd worden zonder toestemming van de inspectie of de instelling. p. 3 van 41

4 p. 4 van 41

5 Inhoudsopgave Samenvatting 7 1 Inleiding Regeling standaarden examenkwaliteit mbo Onderzochte opleidingen Inkoop Toezicht op talen en Leren, Loopbaan en Burgerschap Uitgebreide informatie over het onderzoek Onderbouwing van de beoordeling 10 2 Kwaliteit examinering bij Economie en Bedrijf Algemeen beeld Exameninstrumenten (standaard 3 en 4) Afname, beoordeling en diplomering (standaard 5) Vertrouwen beroepenveld (standaard 1), deskundigheid betrokkenen (standaard 2) en borging kwaliteit (standaard 6) Naleving wettelijke vereisten (standaard 7) 18 3 Kwaliteit examinering bij Techniek en Samenleving Algemeen beeld Exameninstrumenten (standaard 3 en 4) Afname, beoordeling en diplomering (standaard 5) Vertrouwen beroepenveld (standaard 1), deskundigheid betrokkenen (standaard 2) en borging kwaliteit (standaard 6) Naleving wettelijke vereisten (standaard 7) 24 4 Conclusies en vervolgtoezicht 25 Bijlage 1 Examenstandaarden en normering 27 Bijlage 2 Exameninstrumenten talen competentiegerichte opleidingen 33 Bijlage 3 Situatie voorafgaand aan herstel 41 p. 5 van 41

6 p. 6 van 41

7 Samenvatting Dit rapport bevat de resultaten van het onderzoek naar de kwaliteit van de examinering dat op 7 december 2010 en 15 februari 2011 is uitgevoerd bij ROC de Leijgraaf. Resultaat van het onderzoek De Inspectie van het Onderwijs (hierna: inspectie) heeft voor het onderzoek naar de kwaliteit van de examinering een aselecte steekproef van opleidingen getrokken. De beoordeling per onderzochte opleiding staat in tabel 0.1. Tabel 0.1 Beoordeling examenkwaliteit bij ROC de Leijgraaf Standaard Vertrouwen beroepenveld Borging deskundigheid Inhoudelijke uitstroomeisen Toetstechnische kwaliteit Afname, beoordeling, diplomering /4 3/4 Borging examinering Naleving wettelijke eisen Nederlands standaard 3 en 4 Moderne vreemde talen standaard 3 en 4 Eindoordeel: voldoende of onvoldoende examenkwaliteit Economie en Bedrijf Secretarieel medewerker, BBL V V V V V V V - - V Horeca-ondernemer/-manager, BOL V V V V V V V - - V Beveiliger, BBL V V V V V V V - - V Financiële beroepen (Assistentaccountant), BOL V V V V V V V O O V Manager handel (Filiaalmanager), BBL V V V V V V V O V V Leisure & hospitality (Leisure & hospitality assistant), BOL Techniek en Samenleving V V V V V V V V V V Allround meubelmaker, BBL V V V V V V V - - V Allround operator (Allround operator productietechniek), BBL V V V V V V V O O V Operator (Voedingsoperator), BBL V V V V V V V O - V O = onvoldoende / V = voldoende / - = n.v.t. p. 7 van 41

8 Exameneenheid: Economie en Bedijf De examinering van de onderzochte opleidingen binnen Economie en Bedrijf is van voldoende kwaliteit. De examinering van de deelkwalificaties 55112, Veiligheidsnetwerk 2, 55113, Beveiliging van gebouwen en eigendommen 2 en 55114, Werken binnen wettelijke kaders 2 van de opleiding Beveiliger, BBL wordt uitgevoerd door de examenorganisatie SVPB. Deze examenorganisatie valt onder het directe toezicht van het ministerie van Veiligheid en Justitie en voert in opdracht de examinering van de wettelijke beroepsvereisten uit. Op haar beurt heeft dit ministerie het toezicht voor wat betreft de opleiding Beveiliger overgedragen aan de Inspectie van het Onderwijs. SVPB ontwikkelt het exameninstrumentarium en voert de afname en beoordeling uit van deze deelkwalificaties en neemt het besluit of de deelkwalificaties met goed gevolg zijn afgerond. Voor dit deel is de onderwijsinstelling niet verantwoordelijk en dat betekent dat er in de tabel met scores niet van toepassing is opgenomen. De inspectie heeft de examenkwaliteit bij SVPB onderzocht en geconstateerd dat de examinering in overeenstemming is met de exameneisen die integraal onderdeel uitmaken van het eindtermendocument. Alle beoordelingen in dit rapport voor de opleiding Beveiliger, BBL hebben daarom betrekking op het deel waarvoor ROC de Leijgraaf zelfstandig en in eigen beheer de examens ontwikkelt en uitvoert. Exameneenheid: Techniek en Samenleving De examinering van de onderzochte opleidingen binnen Techniek en Samenleving is van voldoende kwaliteit. Beoordelingskader inclusief normering Het onderzoek is uitgevoerd aan de hand van de examenstandaarden en de bijbehorende normering, die zijn vastgesteld in de ministeriële 'Regeling standaarden examenkwaliteit mbo' (zie bijlage 1). De examenkwaliteit is voldoende wanneer vijf van de zeven standaarden voldoende zijn, waaronder in elk geval standaard 3, 4, 5 en 7. Maximaal twee van de standaarden 1, 2 en 6 mogen onvoldoende zijn om tot een voldoende eindoordeel te komen. Het oordeel voor de talen (CEF en referentieniveau) telt dit onderzoeksjaar niet mee in het eindoordeel van de opleiding. Vervolgtoezicht bij voldoende examenkwaliteit Bij de opleidingen waarvan de examenkwaliteit voldoende is, is het onderzoeksjaar hierbij afgerond. p. 8 van 41

9 1 Inleiding In het middelbaar beroepsonderwijs is de onderwijsinstelling verantwoordelijk voor de examenkwaliteit van de beroepsopleidingen. De inspectie houdt binnen de sector bve toezicht op de kwaliteit van deze examinering. 1.1 Regeling standaarden examenkwaliteit mbo De examenkwaliteit is beoordeeld aan de hand van de zeven standaarden, die in het Toezichtkader bve 2009 staan. Daarnaast is de Aanvulling voor 2010 op het Toezichtkader bve 2009 als kader gebruikt. De standaarden en de normering zijn vastgesteld in de ministeriële 'Regeling standaarden examenkwaliteit mbo'. In bijlage 1 staan de examenstandaarden met de bijbehorende criteria en portretten. In de portretten is beschreven wanneer toereikend aan een criterium is voldaan. 1.2 Onderzochte opleidingen Voor het onderzoek naar de kwaliteit van examinering is een aselecte steekproef getrokken uit het aanbod van eindtermgerichte en/of competentiegerichte opleidingen (zie tabel 1.1). Tabel 1.1 Onderzochte opleidingen bij ROC de Leijgraaf Crebo Naam opleiding Leerweg Deelkwalificaties* Exameneenheid en plaatsnaam bezochte locatie Secretarieel medewerker BBL Economie en Bedrijf, Oss Horeca-ondernemer/- manager BOL Economie en Bedrijf, Oss Beveiliger BBL Allround meubelmaker BBL Allround operator (Allround operator productietechniek) BBL Operator (Voedingsoperator) BBL Financiële beroepen (Assistent-accountant) BOL Manager handel (Filiaalmanager) BBL Leisure & hospitality BOL (Leisure & hospitality assistant) * alleen van toepassing bij eindtermgerichte opleidingen Economie en Bedrijf, Oss Techniek en Samenleving, Oss Techniek en Samenleving, Oss Techniek en Samenleving, Oss Economie en Bedrijf, Oss Economie en Bedrijf, Oss Economie en Bedrijf, Oss Oorspronkelijk zat ook deelkwalificatie van de opleiding Secretarieel medewerker in het onderzoek. Tijdens het vervolgonderzoek bleek echter, dat deze deelkwalificatie niet langer actief was. Het onderzoek naar deze deelkwalificatie is daarom gestaakt. Daarnaast bleek dat voor de opleiding Pedagogisch werk (Pedagogisch medewerker 3 kinderopvang) crebo 92620, geen diplomering plaatsvindt, noch in de afgelopen periode, p. 9 van 41

10 noch in de komende zes maanden. Voor deze opleiding is geen vervangende opleiding geselecteerd. 1.3 Inkoop De instelling heeft tijdens de inventarisatiefase aangegeven of er sprake is van (deel)inkoop van en/of -diensten bij een leverancier en zo ja, wat er wordt ingekocht. Het (deels) ingekochte exameninstrumentarium wordt bij de onderwijsinstelling onderzocht, aangezien de leveranciers geen toezichtobject zijn voor de inspectie. 1.4 Toezicht op talen en Leren, Loopbaan en Burgerschap Bij de competentiegerichte opleidingen waarvan de deelnemers gestart zijn in cohort 2007 of later, onderzoekt de inspectie de voor Nederlands en de moderne vreemde talen. Daarnaast is bij deze opleidingen ook de verantwoording over Leren, Loopbaan en Burgerschap (ook wel: LLB) onderzocht. Voor het toezicht op talen is naast het Toezichtkader bve, ook de brief van de staatssecretaris van OCW van 22 december 2008 (kenmerk BVE/2008/88699) en de brief van 29 januari 2010 (kenmerk BVE/Stelsel ) van toepassing. Voor het toezicht op LLB is het brondocument Leren, Loopbaan en Burgerschap 2007 van toepassing. De instelling levert een verantwoordingsdocument aan voor LLB. 1.5 Uitgebreide informatie over het onderzoek Uitgebreide informatie over de standaarden, de normering, het toezicht op talen, de werkwijze bij inkoop en de opzet van het onderzoek treft u onder andere aan in: het Toezichtkader bve 2009; de Aanvulling voor 2010 op het Toezichtkader bve 2009; het brondocument Leren, Loopbaan en Burgerschap 2007 (inclusief het addendum Nederlands in het kader van burgerschap 2007); de brief van de staatssecretaris van OCW van 22 december 2008 (kenmerk BVE/2008/88699); de brief van de staatssecretaris van OCW van 29 januari 2010 (kenmerk BVE/Stelsel ); Wet Referentieniveaus; website inspectie: Onderbouwing van de beoordeling De resultaten van het onderzoek naar de examenkwaliteit zijn gebaseerd op de aangeleverde zelfbeoordeling inclusief de onderliggende documenten, het onderzoek naar de en de gesprekken met vertegenwoordigers van de instelling. De voorlopige bevindingen van het onderzoek zijn ter afsluiting van het bezoek teruggekoppeld aan het college van bestuur. In deze rapportage leest u de onderbouwing van het eindoordeel per opleiding. De conclusies van het onderzoek en, indien van toepassing, het vervolgtoezicht staan in het laatste hoofdstuk vermeld. p. 10 van 41

11 2 Kwaliteit examinering bij Economie en Bedrijf In dit hoofdstuk staat de toelichting van de inspectie op de beoordeling van de examenkwaliteit per onderzochte opleiding. Indien het oordeel onvoldoende is, wordt onderbouwd op welke bevindingen dit oordeel is gebaseerd. 2.1 Algemeen beeld In tabel 2.1 staat de beoordeling per onderzochte opleiding. Tabel 2.1 Examenkwaliteit onderzochte opleidingen Economie en Bedrijf Standaard Vertrouwen beroepenveld Borging deskundigheid Inhoudelijke uitstroomeisen Toetstechnische kwaliteit Afname, beoordeling, diplomering /4 3/4 Borging examinering Naleving wettelijke eisen Nederlands standaard 3 en 4 Moderne vreemde talen standaard 3 en 4 Eindoordeel: voldoende of onvoldoende examenkwaliteit Secretarieel medewerker, BBL V V V V V V V - - V Horeca-ondernemer/-manager, BOL V V V V V V V - - V Beveiliger, BBL V V V V V V V - - V Financiële beroepen (Assistentaccountant), BOL V V V V V V V O O V Manager handel (Filiaalmanager), BBL V V V V V V V O V V Leisure & hospitality (Leisure & hospitality assistant), BOL O = onvoldoende / V = voldoende / - = n.v.t. V V V V V V V V V V Algemene opmerking De examinering van de deelkwalificaties 55112, Veiligheidsnetwerk 2, 55113, Beveiliging van gebouwen en eigendommen 2 en 55114, Werken binnen wettelijke kaders 2 van de opleiding Beveiliger, BBL is uitgevoerd door de examenorganisatie SVPB. Voor dit deel is de onderwijsinstelling niet verantwoordelijk en daarom is bij deze deelkwalificaties niet van toepassing opgenomen. De inspectie heeft de examenkwaliteit voor deze deelkwalificaties bij SVPB onderzocht en geconstateerd dat de examinering in overeenstemming is met het eindtermendocument. Alle beoordelingen voor de opleiding Beveiliger, BBL hebben daarom betrekking op het deel waarvoor ROC de Leijgraaf zelfstandig en in eigen beheer de examens ontwikkelt en uitvoert. Toelichting bij beoordeling examenkwaliteit p. 11 van 41

12 De examinering van alle onderzochte opleidingen binnen Economie en Bedrijf is van voldoende kwaliteit. De voldoen aan de uitstroomeisen en aan de toetstechnische eisen. De examenprocessen van afname, beoordeling en diplomering verlopen deugdelijk en de integrale examenkwaliteit is voldoende geborgd. Het beroepenveld heeft vertrouwen in de examenkwaliteit. Betrokkenen bij de examinering zijn deskundig. De onderzochte opleidingen voldoen aan alle wettelijke vereisten rondom examinering. Bij de drie onderzochte competentiegerichte opleidingen zijn ook de voor Nederlands en moderne vreemde taal (Engels) beoordeeld. Voor de opleiding Financiële beroepen (Assistent-accountant) zijn de eindoordelen voor de examens Nederlands en Engels onvoldoende. Voor de opleiding Manager handel (Filiaalmanager) is het eindoordeel voor het examen Nederlands onvoldoende. Voor het examen Engels is het eindoordeel voldoende. De die de opleiding Leisure & hospitality (Leisure & hospitality assistant) inzet voor Nederlands en Engels zijn van voldoende kwaliteit. 2.2 Exameninstrumenten (standaard 3 en 4) De zijn beoordeeld op de standaarden over de uitstroomeisen (standaard 3) en de toetstechnische eisen (standaard 4). Bij de uitstroomeisen beoordeelt de inspectie de dekkingsgraad en cesuur. Bij de toetstechnische eisen beoordeelt de inspectie de informatie voor de deelnemer, de afnamecondities en de beoordelingsvoorschriften Secretarieel medewerker, BBL Conclusie Het exameninstrumentarium voldoet aan de uitstroomeisen en aan de toetstechnische eisen. Deze conclusie is gebaseerd op de beoordeling van drie onderzochte deelkwalificaties. In tabel 2.2 ziet u een overzicht van de beoordeling op het niveau van de deelkwalificaties. De toelichting op deze beoordeling vindt u onder de tabel. Tabel 2.2 Beoordeling deelkwalificaties Secretarieel medewerker Standaard Inhoudelijke uitstroomeisen Toetstechnische kwaliteit Zakelijke communicatie MVT 2-keuzetaal 1 V V Zakelijke communicatie 2 V V p. 12 van 41

13 50211 Bedrijfsorientatie 2 V V O = onvoldoende / V = voldoende / - = n.v.t. Toelichting beoordeling deelkwalificatie Zakelijke communicatie MVT 2-keuzetaal 1, Zakelijke communicatie 2 en Bedrijfsorientatie 2 De voldoen zowel aan de inhoudelijke uitstroomeisen als aan de toetstechnische eisen. De dekkingsgraad en de cesuur zijn voldoende. De informatie voor de deelnemer en de afnamecondities zijn voldoende. Er zijn duidelijke beoordelaarsinstructies en overzichtelijke beoordelingsschema s Horeca-ondernemer/-manager. BOL Conclusie Het exameninstrumentarium voldoet aan de uitstroomeisen en aan de toetstechnische eisen. Deze conclusie is gebaseerd op de beoordeling van de onderzochte deelkwalificaties. In tabel 2.3 ziet u een overzicht van de beoordeling op het niveau van de deelkwalificaties. De toelichting op deze beoordeling vindt u onder de tabel. Tabel 2.3 Beoordeling deelkwalificaties Horeca-ondernemer/-manager Standaard Inhoudelijke uitstroomeisen Toetstechnische kwaliteit Operationeel bedrijfsmanagement V V Vaktechniek in de receptie V V Vaktechniek restaurant 1B V V Vaktechniek restaurant 1A V V O = onvoldoende / V = voldoende / - = n.v.t. Toelichting beoordeling deelkwalificaties Operationeel bedrijfsmanagement, Vaktechniek in de receptie, Vaktechniek restaurant 1B en Vaktechniek restaurant 1A Het beroepsgerichte exameninstrument voldoet zowel aan de inhoudelijke uitstroomeisen als aan de toetstechnische eisen. De dekkingsgraad en de cesuur zijn voldoende. De informatie voor de deelnemer, de afnamecondities en het beoordelingsvoorschrift zijn voldoende. ROC de Leijgraaf koopt het beroepsgerichte examenmateriaal in bij Kenwerk en zet het onveranderd in. Tijdens eerder onderzoek van de inspectie bij deze examenleverancier is p. 13 van 41

14 dit materiaal onderzocht en als voldoende beoordeeld. Het oordeel is overgenomen in dit rapport Beveiliger, BBL Conclusie Het exameninstrumentarium voldoet aan de uitstroomeisen en aan de toetstechnische eisen. Deze conclusie is gebaseerd op de beoordeling van de vier onderzochte deelkwalificaties. In tabel 2.4 ziet u een overzicht van de beoordeling op het niveau van de deelkwalificaties. De toelichting op deze beoordeling vindt u onder de tabel. Tabel 2.4 Beoordeling deelkwalificaties Beveiliger Standaard Inhoudelijke uitstroomeisen Toetstechnische kwaliteit Maatschappelijk culturele vorming 2 V V Veiligheidsnetwerk Beveiliging van gebouwen en eigendommen Werken binnen wettelijke kaders O = onvoldoende / V = voldoende / - = n.v.t. Toelichting beoordeling deelkwalificatie Maatschappelijk culturele vorming 2 Het beroepsgerichte exameninstrument voldoet zowel aan de inhoudelijke uitstroomeisen als aan de toetstechnische eisen. De dekkingsgraad en de cesuur zijn voldoende. De informatie voor de deelnemer, de afnamecondities en het beoordelingsvoorschrift zijn voldoende. ROC de Leijgraaf koopt het beroepsgerichte examenmateriaal in bij de Stichting Praktijkleren en zet het ongewijzigd in. Tijdens eerder onderzoek van de inspectie bij deze examenleverancier is dit materiaal onderzocht en als voldoende beoordeeld. Het oordeel is overgenomen in dit rapport. Toelichting beoordeling deelkwalificaties Veiligheidsnetwerk 2, Beveiliging van gebouwen en eigendommen 2 en Werken binnen wettelijke kaders 2 De inspectie heeft de examenkwaliteit van deze deelkwalificaties bij SVPB onderzocht en geconstateerd dat de examinering in overeenstemming is met het eindtermendocument. Voor dit deel is de onderwijsinstelling niet verantwoordelijk en dat betekent dat er in de tabel met scores niet van toepassing is opgenomen. p. 14 van 41

15 93211 Financiële beroepen (Assistent-accountant), BOL Conclusie en toelichting beroepsgerichte Het exameninstrumentarium voldoet inhoudelijk aan de uitstroomeisen en aan de toetstechnische kwaliteitseisen. De dekkingsgraad en de cesuur zijn voldoende. De informatie voor de deelnemer, de afnamecondities en het beoordelingsvoorschrift zijn eveneens voldoende. Conclusie en toelichting talen De opleiding Financiële beroepen (Assistent-accountant is een mbo-opleiding op niveau 4. De inspectie heeft de voor Nederlands en Engels van de onderzochte opleiding op CEF-niveau onderzocht. Voor deze opleiding zijn de eindoordelen voor de examens Nederlands en Engels onvoldoende. Voor Nederlands geldt dat met name de examens schrijven, spreken en gesprekken voeren tekort schieten. Spreken wordt in het geheel niet geëxamineerd. Gesprekken voeren haalt het vereiste niveau B2 niet, het is te veel een standaardgesprek. De samenvattingsopdracht voor schrijven is te summier en de criteria uit het CEF-raamwerk zijn onvoldoende verwerkt. De examens voor lezen en luisteren zijn voldoende. Voor Engels geldt dat de examens voor lezen, luisteren en spreken te kort zijn om een goed beeld te krijgen van het niveau van de examenkandidaat. Ook de vaardigheid gesprekken voeren krijgt weinig aandacht binnen het examen, maar is wel voldoende. Het examen schrijven voldoet aan de eisen. In bijlage 2 staan de tabellen met daarin de oordelen Manager handel (Filiaalmanager), BBL Conclusie en toelichting beroepsgerichte Het exameninstrumentarium voldoet inhoudelijk aan de uitstroomeisen en aan de toetstechnische kwaliteitseisen. De dekkingsgraad en de cesuur zijn voldoende. De informatie voor de deelnemer, de afnamecondities en het beoordelingsvoorschrift zijn eveneens voldoende. Economie en Bedrijf koopt het beroepsgerichte exameninstrumentarium in bij KC Handel. Deze zijn eerder door de inspectie bij deze examenleverancier onderzocht en in orde bevonden. Omdat Economie en Bedrijf deze examens ongewijzigd inzet, wordt dit oordeel overgenomen in dit rapport. Conclusie en toelichting talen De opleiding Manager handel (Filiaalmanager) is een mbo-opleiding op niveau 4. De inspectie heeft de voor Nederlands en Engels van de onderzochte opleiding op CEF-niveau onderzocht. Voor de opleiding Manager handel (Filiaalmanager) is het eindoordeel voor het examen Nederlands onvoldoende. Voor het examen Engels is het eindoordeel voldoende. Voor Nederlands geldt dat er geen examens voor spreken en gesprekken voeren zijn uitgevoerd. Het examen schrijven is onvoldoende omdat het beoordelingsvoorschrift te veel gericht is op de inhoud. De andere criteria uit het CEF-raamwerk komen onvoldoende aan bod. De examens voor lezen en luisteren voldoen aan de eisen. De examens die binnen de opleiding Filiaalmanager voor Engels worden ingezet voldoen aan de eisen. Deze examens worden ingekocht bij examenleverancier KC Handel. Deze examens zijn eerder door de inspectie onderzocht en in orde bevonden. p. 15 van 41

16 Omdat ROC de Leijgraaf deze examens onveranderd inzet, worden de oordelen uit het leveranciersonderzoek overgenomen in dit rapport. In bijlage 2 staan de tabellen met daarin de oordelen Leisure & hospitality (Leisure & hospitality assistant), BOL Conclusie en toelichting beroepsgerichte Het exameninstrumentarium voldoet inhoudelijk aan de uitstroomeisen en aan de toetstechnische kwaliteitseisen. De dekkingsgraad en de cesuur zijn voldoende. De informatie voor de deelnemer, de afnamecondities en het beoordelingsvoorschrift zijn eveneens voldoende. Conclusie en toelichting talen De opleiding Leisure & hospitality (Leisure & hospitality assistant) is een mboopleiding op niveau 2. De inspectie heeft de voor Nederlands en Engels van de onderzochte opleidingen op CEF-niveau onderzocht. De die de opleiding Leisure & hospitality (Leisure & hospitality assistant), inzet voor Nederlands en Engels voldoen aan de uitstroomeisen en aan de toetstechnische eisen. Deze examens worden ingekocht bij de examenleverancier Deviant. De inspectie heeft deze examens tijdens eerder onderzocht bij deze exameleverancier en voldoende bevonden Omdat ROC de Leijgraaf deze examens ongewijzigd inzet, worden de oordelen uit het leveranciersonderzoek overgenomen in dit rapport. In bijlage 2 staan de tabellen met daarin de oordelen. 2.3 Afname, beoordeling en diplomering (standaard 5) De deugdelijkheid van de afname, de beoordeling en de diplomering is beoordeeld op het niveau van de opleiding. Als er geen opleidingen zijn gespecificeerd, dan is de onderstaande conclusie met bijbehorende toelichting van toepassing op alle onderzochte opleidingen. Conclusie en toelichting De onderzochte opleidingen voldoen aan de eisen van deze standaard. De afname, de beoordeling en de diplomering verlopen deugdelijk. Procedures met betrekking tot de afname, de beoordeling en de diplomering zijn beschreven in het handboek. Het examenbureau, in opdracht van de examencommissie, controleert de uitvoering van de processen onder andere door steekproefsgewijs protocollen en proces-verbalen op te vragen en enquêtes uit te zetten. De deelnemers zijn tevreden over de afname en beoordeling van de examens, over de verstrekte informatie en over de gegeven instructies en opdrachten. De voorzitter van de examencommissie en de managers voeren per team eens per jaar een panelgesprek met de deelnemers, waarin ook examinering aan de orde komt. Ook via deze gesprekken houdt de examencomissie zicht op de deugdelijkheid van de afname en de beoordeling. Het examenbureau analyseert de resultaten van examens en voert steekproefsgewijs een tweede beoordeling uit. Het hoofd van het examenbureau rapporteert over opmerkelijkheden aan de examencommissie. Het examenbureau gaat na wanneer een deelnemer diplomagerechtigd is en of het examendossier compleet is en rapporteert hierover aan de teams. Een lid van de examencommissie zit de vaststellingsvergadering van het team voor. De diplomering verloopt deugdelijk. p. 16 van 41

17 Leren, Loopbaan en Burgerschap Economie en Bedrijf heeft in een verantwoordingsdocument vastgelegd hoe zij de examinering voor de zeven kerntaken van het brondocument Leren, Loopbaan en Burgerschap heeft ingericht. 2.4 Vertrouwen beroepenveld (standaard 1), deskundigheid betrokkenen (standaard 2) en borging kwaliteit (standaard 6) Het vertrouwen van het beroepenveld, de deskundigheid van de betrokkenen en de borging van de examenkwaliteit is beoordeeld op het niveau van de opleidingen. Als er geen opleidingen zijn gespecificeerd, dan zijn de onderstaande conclusies met bijbehorende toelichting van toepassing op alle onderzochte opleidingen. Conclusie en toelichting vertrouwen van het beroepenveld (standaard 1) De onderzochte opleidingen voldoen aan de eisen van deze standaard. Het beroepenveld heeft voldoende vertrouwen in de examenkwaliteit. Economie en Bedrijf houdt zicht op de wensen en het vertrouwen van het beroepenveld door de examinering regelmatig te bespreken tijdens het brancheregio-overleg en tijdens klankbordgroepen en leermeestersbijeenkomsten. Recent is in de regio een Vereniging van opleiders opgericht, onder voorzitterschap van een vertegenwoordiger van een bank. Verschillende bedrijven uit het bank- en verzekeringswezen hebben daarin zitting. ROC de Leijgraaf wordt door deze vereniging uitgenodigd en verantwoordt zich over haar beleid. ROC de Leijgraaf gebruikt dit gremium ook om zicht te houden op het vertrouwen dat het beroepenveld in de examinering heeft. Het beroepenveld is betrokken bij de totstandkoming en het uitvoeren van de proeves, onder andere door het inzetten van assessoren. Met het beroepenveld worden de proeves geëvalueerd. Daarnaast vindt regelmatig een enquête plaats onder de bpvbedrijven. Conclusie en toelichting deskundigheid van betrokkenen (standaard 2) De onderzochte opleidingen voldoen aan de eisen van deze standaard. De betrokkenen zijn deskundig. Betrokkenen zoals assessoren (binnen- en buitenschools), constructeurs en leden van de vaststellingscommissie zijn of worden geschoold. De examencommissie vergewist zich van de deskundigheid van de betrokkenen bij de examinering, onder meer via steekproeven door de vaststellingscommissie (die examenproducten op toetstechnische eisen controleert) en via interne audits waarin ook de deskundigheid van betrokkenen wordt onderzocht. Economie en Bedrijf heeft in het scholingsplan opgenomen dat de assessoren opnieuw zullen worden opgeleid, nu de eerste driejarige bevoegdheden verlopen. Praktijkopleiders zijn en worden opgeleid door KC Handel. De deskundigheid van de leermeesters van de horecaopleidingen wordt door Kenwerk bevorderd. Daarnaast zorgen de docenten er tijdens de BPV-bezoeken voor dat de praktijkopleiders voldoende zijn toegerust om deskundig te kunnen beoordelen. De examens die in de praktijk worden afgenomen, worden met de beoordelende praktijkopleiders voor- en nabesproken. Conclusie en toelichting borging van examinering (standaard 6) p. 17 van 41

18 De onderzochte opleidingen voldoen aan de eisen van deze standaard. De examinering is voldoende geborgd. Bij Economie en Bedrijf vindt regelmatig een interne audit plaats naar de integrale examenkwaliteit. De audits worden uitgevoerd door auditoren van andere afdelingen. De laatste audit dateert van november Naar aanleiding van deze audit is onder meer het examenhandboek gereviseerd. Met ingang van dit jaar kiest Economie en Bedrijf ervoor om de verantwoordelijkheid voor de kwaliteit van de examinering en de borging ervan nadrukkelijker bij de onderwijsteams te leggen. Binnen de resultaatverantwoordelijke teams is een regisseursrol ingesteld voor examinering. Deze regisseurs hebben regelmatig overleg met een lid van de examencommissie. In dit overleg worden de kwaliteit van de examens en de kwaliteit van de examineringsprocessen geëvalueerd. 2.5 Naleving wettelijke vereisten (standaard 7) De inspectie beoordeelt of de instelling de eisen rondom examinering naleeft, zoals die in de WEB zijn opgenomen. Conclusie en toelichting De opleidingen voldoen aan aan de wettelijke vereisten betreffende: informatie over het examen (in OER of ander document)(art en art van de Wet educatie en beroepsonderwijs); de examencommissie (waar onder art en art vijfde lid van de Wet educatie en beroepsonderwijs); de commissie van beroep examens (art en art van de Wet educatie en beroepsonderwijs); de openbare verantwoording (art van de Wet educatie en beroepsonderwijs). p. 18 van 41

19 3 Kwaliteit examinering bij Techniek en Samenleving In dit hoofdstuk staat de toelichting van de inspectie op de beoordeling van de examenkwaliteit per onderzochte opleiding. Indien het oordeel onvoldoende is, wordt onderbouwd op welke bevindingen dit oordeel is gebaseerd. 3.1 Algemeen beeld In tabel 3.1 staat de beoordeling per onderzochte opleiding. Tabel 3.1 Examenkwaliteit onderzochte opleidingen Techniek en Samenleving Standaard Vertrouwen beroepenveld Borging deskundigheid Inhoudelijke uitstroomeisen Toetstechnische kwaliteit Afname, beoordeling, diplomering /4 3/4 Borging examinering Naleving wettelijke eisen Nederlands standaard 3 en 4 Moderne vreemde talen standaard 3 en 4 Eindoordeel: voldoende of onvoldoende examenkwaliteit Allround meubelmaker BBL V V V V V V V - - V Allround operator (Allround operator productietechniek) BBL V V V V V V V O O V Operator (Voedingsoperator) BBL V V V V V V V O - V O = onvoldoende / V = voldoende / - = n.v.t. Toelichting bij beoordeling examenkwaliteit De examinering van de onderzochte opleidingen binnen Techniek en Samenleving is van voldoende kwaliteit. De voldoen aan de uitstroomeisen en aan de toetstechnische eisen. De examenprocessen van afname, beoordeling en diplomering verlopen voldoende deugdelijk en de integrale examenkwaliteit is geborgd. Het beroepenveld heeft vertrouwen in de examenkwaliteit en betrokkenen bij de examinering zijn deskundig. De onderzochte opleidingen voldoen aan alle wettelijke vereisten rondom examinering. Bij de twee onderzochte competentiegerichte opleidingen zijn ook de voor Nederlands beoordeeld. Deze voldoen niet aan de uitstroomeisen en niet aan de toetstechnische eisen omdat drie van de vijf taalvaardigheden niet volgens het CEF-kader zijn geëxamineerd. Voor de opleiding Allround operator geldt daarnaast dat de twee andere taalvaardigheden in het geheel niet zijn geëxamineerd. Van de opleiding Allround operator zijn de van de twee verplichte moderne vreemde talen (Engels en Duits) onderzocht. Deze p. 19 van 41

20 voldoen niet aan de uitstroomeisen en niet aan de toetstechnische eisen omdat voor het onderzochte cohort geen examens zijn ingezet. 3.2 Exameninstrumenten (standaard 3 en 4) De zijn beoordeeld op de standaarden over de uitstroomeisen (standaard 3) en de toetstechnische eisen (standaard 4). Bij de uitstroomeisen beoordeelt de inspectie de dekkingsgraad en cesuur. Bij de toetstechnische eisen beoordeelt de inspectie de informatie voor de deelnemer, de afnamecondities en de beoordelingsvoorschriften Allround meubelmaker, BBL Conclusie Het exameninstrumentarium voldoet aan de uitstroomeisen en aan de toetstechnische eisen. Deze conclusie is gebaseerd op de beoordeling van drie onderzochte deelkwalificaties. In tabel 3.2 ziet u een overzicht van de beoordeling van de opleiding Allround meubelmaker op het niveau van de deelkwalificaties. De toelichting op deze beoordeling vindt u onder de tabel. Tabel 3.2 Beoordeling deelkwalificaties Allround meubelmaker Standaard Inhoudelijke uitstroomeisen Toetstechnische kwaliteit Ondersteunende vorming houtberoepen 3 V V Productietechniek allround meubelmaker V V Procesbeheersing allround meubelmaker V V O = onvoldoende / V = voldoende / - = n.v.t. Toelichting beoordeling deelkwalificaties Ondersteunende vorming houtberoepen 3, Productietechniek allround meubelmaker en Procesbeheersing allround meubelmaker De voldoen zowel aan de inhoudelijke uitstroomeisen als aan de toetstechnische eisen. De dekkingsgraad en de cesuur zijn voldoende. De informatie voor de deelnemer, de afnamecondities en het beoordelingsvoorschrift zijn voldoende. ROC de Leijgraaf koopt het examenmateriaal in bij de Stichting Hout en Meubel en zet het ongewijzigd in. Tijdens eerder onderzoek van de inspectie bij deze examenleverancier is dit materiaal onderzocht en als voldoende beoordeeld. Dit oordeel is overgenomen in dit rapport. p. 20 van 41

21 90011 Allround operator (Allround operator productietechniek), BBL Conclusie beroepsgerichte exameninstrumentarium Het exameninstrumentarium voldoet inhoudelijk aan de uitstroomeisen en aan de toetstechnische kwaliteitseisen. De dekkingsgraad en de cesuur zijn voldoende. De informatie voor de deelnemer, de afnamecondities en het beoordelingsvoorschrift zijn eveneens voldoende. Aandachtspunt: De beoordelingscriteria kunnen in sommige gevallen verder worden uitgewerkt. Conclusie en toelichting en talen De opleiding Allround operator (Allround operator productietechniek) is een mboopleiding op niveau 3. De inspectie heeft de voor Nederlands, Engels en Duits van de onderzochte opleiding op CEF-niveau onderzocht. Het eindoordeel voor het examen Nederlands is voor de opleiding Allround operator (Allround operator productietechniek) onvoldoende. De vaardigheden lezen en luisteren zijn niet geëxamineerd, terwijl de kwalificatiedossiers dit wel voorschrijven. De vaardigheden spreken, gesprekken voeren en schrijven zijn weliswaar geëxamineerd, maar niet volgens de juiste CEF-criteria en zijn daarom onvoldoende. Voor opleiding Allround operator is examinering in Engels en Duits vanuit het kwalificatiedossier verplicht, daarom zijn deze twee talen ook door de inspectie onderzocht. Engels en Duits blijken in het geheel niet te zijn geëxamineerd. De examens voor de vijf vaardigheden van beide talen zijn daarom van onvoldoende kwaliteit. In bijlage 2 staan de tabellen met daarin de oordelen Operator (Voedingsoperator) BBL Conclusie beroepsgerichte exameninstrumentarium Het exameninstrumentarium voldoet inhoudelijk aan de uitstroomeisen en aan de toetstechnische kwaliteitseisen. De dekkingsgraad en de cesuur zijn voldoende. De informatie voor de deelnemer, de afnamecondities en het beoordelingsvoorschrift zijn eveneens voldoende. Conclusie en toelichting en talen De opleiding Operator (Voedingsoperator) is een mbo-opleiding op niveau 2. De inspectie heeft de voor Nederlands van de onderzochte opleiding op CEF-niveau onderzocht. Bij de opleiding Voedingsoperator zijn voor Nederlands de vaardigheden lezen en luisteren geëxamineerd met examens van Bureau ICE. Deze examens zijn eerder door de inspectie met een voldoende beoordeeld. De inspectie neemt dit oordeel over in dit rapport. Voor de vaardigheden spreken, gesprekken voeren en schrijven ontbreken de examenopdrachten. Deze drie vaardigheden zijn niet geëxamineerd en daarom van onvoldoende examenkwaliteit. In bijlage 2 staat de tabel met daarin de oordelen. 3.3 Afname, beoordeling en diplomering (standaard 5) De deugdelijkheid van de afname, de beoordeling en de diplomering is beoordeeld op het niveau van de opleiding. Als er geen opleidingen zijn gespecificeerd, dan is de onderstaande conclusie met bijbehorende toelichting van toepassing op alle onderzochte opleidingen. p. 21 van 41

22 Conclusie en toelichting De onderzochte opleidingen voldoen aan de eisen van deze standaard. De afname, de beoordeling en de diplomering verlopen deugdelijk. Procedures met betrekking tot de afname, de beoordeling en de diplomering zijn beschreven in het handboek. De examencommissie houdt zicht op het deugdelijke verloop van de examinering via rapportages van de subexamencommissies. In de examencommissie zitten twee opleidingscoördinatoren vanuit de bedrijven. Ook zij informeren de examencommissie over het verloop van de examinering binnen hun bedrijven. Leden van de examencommissie wonen steekproefsgewijs examens bij en bespreken het verloop met de examinatoren. Docenten van de afdeling wonen steekproefsgewijs afnames bij de examenleveranciers bij en koppelen via de subexamencommissie hun bevindingen terug. Het examenbureau van de afdeling Techniek en Samenleving archiveert de verslagen van de (sub)examencommissies. De beoordelingen worden binnen de subexamencommissies besproken. Wanneer daartoe aanleiding is, wordt de examencommissie geïnformeerd. De diplomering verloopt deugdelijk. Voor de opleiding Allround meubelmaker geldt, dat de proeve door de Stichting Hout & Meubel wordt afgenomen, de overige examens door ROC de Leijgraaf zelf. Tijdens eerder onderzoek heeft de inspectie geconcludeerd dat de processen van afname en beoordeling van de proeve bij Stichting Hout en Meubel deugdelijk zijn. Voor de opleiding Allround operator is er een aandachtspunt: Bij het diplomeren op grond van EVC moet een examencommissie ook nagaan of de bewijzen voor Nederlands, moderne vreemde talen en LLB in orde zijn. Er is een diploma op basis van EVC afgegeven. Hierbij is deze controle niet optimaal uitgevoerd. Leren, Loopbaan en Burgerschap Techniek en Samenleving heeft in een verantwoordingsdocument vastgelegd hoe zij de examinering voor de zeven kerntaken van het brondocument Leren, Loopbaan en Burgerschap heeft ingericht. 3.4 Vertrouwen beroepenveld (standaard 1), deskundigheid betrokkenen (standaard 2) en borging kwaliteit (standaard 6) Het vertrouwen van het beroepenveld, de deskundigheid van de betrokkenen en de borging van de examenkwaliteit is beoordeeld op het niveau van de opleidingen. Als er geen opleidingen zijn gespecificeerd, dan zijn de onderstaande conclusies met bijbehorende toelichting van toepassing op alle onderzochte opleidingen. Conclusie en toelichting vertrouwen van het beroepenveld (standaard 1) De onderzochte opleidingen voldoen aan de eisen van deze standaard. Het beroepenveld heeft voldoende vertrouwen in de examenkwaliteit. De examencommissie van Techniek en Samenleving onderzoekt eens in de twee jaar of het beroepenveld voldoende vertrouwen heeft in de examinering met een enquête naar de bpv-bedrijven. Recent zijn de eerste resultaten bekend geworden. Over het geheel genomen heeft het beroepenveld vertrouwen in de examinering door Techniek en Samenleving. Ook volgt de examencommissie de resultaten van de MBO-kaart om na te gaan of het afnemende beroepenveld tevreden is over de kwaliteit van de gediplomeerden van het ROC. De examencommissie bespreekt de tevredenheid van het beroepenveld tijdens het overleg met samenwerkingsverbanden zoals de Oss Industriële Kring. Leden van de examencommissie wonen steekproefsgewijs examens bij en bespreken dan het verloop van de examens met de externe examinatoren. Ook via deze p. 22 van 41

23 contacten vormt de examencommissie zich een beeld van het vertrouwen dat het beroepenveld heeft in de examinering. Het vertrouwen van het beroepenveld blijkt daarnaast uit het feit dat externen deelnemen aan de (sub)examencommissies. Zo hebben twee externe opleidingscoördinatoren zitting in de examencommissie. Techniek en Samenleving kent een Raad van Advies, bestaande uit vertegenwoordigers van verschillende bedrijven en samenwerkingsverbanden. Ook binnen de Raad van Advies wordt het vertrouwen van het beroepenveld regelmatig geëvalueerd. Techniek en Samenleving is zich marktgericht aan het organiseren en beweegt zich richting resultaatverantwoordelijke teams. Een van de taken van de resultaatverantwoordelijke teams is het rechtstreekse contact met de toeleverende scholen en het bedrijfsleven. Op teamniveau worden platforms geformeerd bestaande uit een vertegenwoordiging van het team, de bedrijven en het vmbo. Conclusie en toelichting deskundigheid van betrokkenen (standaard 2) De onderzochte opleidingen voldoen aan de eisen van deze standaard. De betrokkenen zijn deskundig. Assessoren (binnen- en buitenschools) zijn of worden geschoold. Er is een ontwikkelings- en (na)scholingsprogramma op het gebied van competentiegericht examineren. Techniek en Samenleving kiest ervoor om differentiatie aan te gaan brengen en niet iedereen meer te scholen als assessor, maar een keuze te maken op basis van de competenties en wensen van de docenten. In de examencommissie zitten twee externe opleidingscoördinatoren die binnen hun bedrijven de examinatoren aan het werk zien. Zij hebben zicht op de deskundigheid van de examinatoren en koppelen daarover terug in de examencommissie. Daarnaast wonen docenten steekproefsgewijs de afname door de examenleverancier bij, onder meer om zich een beeld te vormen van de deskundigheid van de externe examinatoren. Ook stellen de docenten zich op de hoogte van de deskundigheid via de feedback van de deelnemers na de examens. Docenten koppelen hun bevindingen terug aan de subexamencommissies, die op hun beurt de gegevens verwerken. Wanneer daartoe aanleiding is, informeert de afdeling de betreffende examenleverancier. Buitenschoolse examinatoren en praktijkopleiders zijn en worden opgeleid door de Stichting Hout & Meubel en door de Vapro. Daarnaast zorgen de docenten er tijdens de BPV-bezoeken voor dat de praktijkopleiders voldoende zijn toegerust om deskundig te kunnen beoordelen. De examens die in de praktijk worden afgenomen worden met de beoordelende praktijkopleiders voor- en nabesproken. Examinatoren die de gewenste deskundigheid niet hebben, worden niet meer ingezet. Conclusie en toelichting borging van examinering (standaard 6) De onderzochte opleidingen voldoen aan de eisen van deze standaard. De examinering is voldoende geborgd. Bij Techniek en Samenleving vindt regelmatig een interne audit plaats met betrekking tot de integrale examenkwaliteit, uitgevoerd door auditoren van andere afdelingen. De laatste audit dateert van juni Mede naar aanleiding van deze audit worden techniekbreed nu dezelfde processen doorgevoerd en zijn afdelingsbrede afspraken gemaakt over het administreren. p. 23 van 41

24 3.5 Naleving wettelijke vereisten (standaard 7) De inspectie beoordeelt of de instelling de eisen rondom examinering naleeft, zoals die in de WEB zijn opgenomen. Conclusie en toelichting De onderzochte opleidingen voldoen aan de wettelijke vereisten betreffende: informatie over het examen (in OER of ander document)(art en art van de Wet educatie en beroepsonderwijs); de examencommissie (waaronder art en art vijfde lid van de Wet educatie en beroepsonderwijs); de commissie van beroep examens (art en art van de Wet educatie en beroepsonderwijs); de openbare verantwoording (art van de Wet educatie en beroepsonderwijs). p. 24 van 41

25 4 Conclusies en vervolgtoezicht De inspectie heeft op 7 december 2010 en 15 februari 2011 een onderzoek naar de examenkwaliteit uitgevoerd bij ROC de Leijgraaf. Dit onderzoek leidt tot de volgende conclusie. Voldoende examenkwaliteit De kwaliteit van examinering van de onderstaande onderzochte opleidingen is voldoende: Secretarieel medewerker, BBL; Horeca-ondernemer/-manager, BOL; Beveiliger, BBL; Allround meubelmaker, BBL; Allround operator (Allround operator productietechniek), BBL; Operator (Voedingsoperator), BBL; Financiële beroepen (Assistent-accountant), BOL; Manager handel (Filiaalmanager), BBL; Leisure & hospitality (Leisure & hospitality assistant), BOL. De inspectie voert geen vervolgtoezicht uit, aangezien de examenkwaliteit bij deze onderzochte opleidingen voldoende is. p. 25 van 41

26 p. 26 van 41

27 Bijlage 1 Examenstandaarden en normering De standaarden Onderstaand worden 7 standaarden voor de examenkwaliteit gegeven. Bij elk van deze standaarden is een portret gevoegd. Deze portretten zijn zodanig opgebouwd dat wordt aangegeven wanneer toereikend aan een standaard wordt voldaan. Indien een standaard meer criteria omvat, wordt bij elk afzonderlijk criterium een portret gevoegd. Standaard 1: Het beroepenveld heeft vertrouwen in de examenkwaliteit Criterium: Vertrouwen beroepenveld examinering Een opleiding scoort 'voldoende' op dit criterium wanneer de examinering overeenkomt met het volgende portret. Het representatieve beroepenveld heeft voldoende vertrouwen in de kwaliteit van de examinering. De examencommissie vergewist zich met een gepaste frequentie en grondigheid van de voldoende mate van vertrouwen van het beroepenveld in de kwaliteit van de examinering. Zij treft zo nodig maatregelen om het vertrouwen van het beroepenveld in de kwaliteit van de examinering te verbeteren en ziet toe op de effectiviteit daarvan. Het vertrouwen kan onder andere worden opgemaakt uit een representatief onderzoek, uit ervaringsgegevens die voortkomen uit de betrokkenheid van het beroepenveld bij de constructie en/of afname van de examens, of uit de gebleken tevredenheid van het beroepenveld over de kwaliteit van de net gediplomeerde nieuwe werknemer. Standaard 2: De deskundigheid van betrokkenen is geborgd Criterium: Borging deskundigheid Een opleiding scoort 'voldoende' op dit criterium wanneer de examinering overeenkomt met het volgende portret. De examencommissie vergewist zich met een gepaste frequentie en grondigheid van de deskundigheid van de betrokkenen bij examinering, bijvoorbeeld aan de hand van gegevens uit de constructie en vaststelling van, de beoordeling en afname van examens en deelnemerevaluaties. Zij ziet erop toe dat betrokkenen, zowel binnenschools als buitenschools, voldoen aan de door haar vastgestelde vereisten inzake de gewenste deskundigheid voor examinering. Zij maakt voor zichzelf inzichtelijk in welke mate de betrokkenen aan de deskundigheidscriteria voldoen, treft zo nodig verbetermaatregelen en ziet toe op de effectiviteit daarvan. Er zijn wel elementen in de deskundigheid die verbeterd kunnen worden, maar er vallen als gevolg hiervan geen grote gaten in de examinering. p. 27 van 41

28 Standaard 3: Het exameninstrumentarium voldoet inhoudelijk aan de uitstroomeisen Criterium 1: Dekkingsgraad Een opleiding scoort 'voldoende' op dit criterium wanneer de examinering overeenkomt met het volgende portret. De dekken de kwalificatievereisten die zijn aangegeven in het eindtermendocument of het kwalificatiedossier zodanig af dat recht wordt gedaan aan het integrale kwalificatieprofiel. Van een toereikende dekking is alleen sprake indien de examinering uitgaat van een toetsvorm die past bij het beheersingsniveau van de vereisten. Uitgangspunt voor de beoordeling van dekkingsgraad is dat alle vereisten uit het kwalificatiedossier onderdeel zijn van het examenprogramma. Er wordt over het geheel van het examen genomen geëxamineerd op het vereiste kwalificatieniveau. Eindtermgerichte opleiding Minimaal 75% van de eindtermen van de deelkwalificatie is geëxamineerd met examens die qua inhoud en qua toetsvorm passen bij de eindtermen van de deelkwalificatie. Daarnaast is 100% van de eventuele, relevante wettelijke beroepsvereisten opgenomen in de examinering. Competentiegerichte opleiding 1e generatie kwalificatiedossier Alle kerntaken en de bijbehorende relevante competenties (optellend tot minimaal 75% van de competenties) zijn geëxamineerd met examens die qua inhoud en qua toetsvorm passen bij die kerntaken en competenties. Daarnaast is 100% van de eventuele, relevante wettelijke beroepsvereisten opgenomen in de examinering. Competentiegerichte opleiding 2e generatie kwalificatiedossier Minimaal 75% van de werkprocessen per kerntaak is geëxamineerd met examens die qua inhoud en qua toetsvorm passen bij de werkprocessen. Daarnaast is 100% van de eventuele, relevante wettelijke beroepsvereisten opgenomen in de examinering. Criterium 2: Cesuur Een opleiding scoort 'voldoende' op dit criterium wanneer de examinering overeenkomt met het volgende portret. Eindtermgerichte opleiding o De cesuur van ieder exameninstrument ligt op een niveau waarop de deelnemer gemiddeld voldoet aan de vereisten die in de examinering zijn verwerkt. Dit niveau kan zijn aangegeven als 'voldoende' als ondergrens. o Er is sprake van een evenwichtige, niet oneigenlijke puntentoekenning die recht doet aan het belang van de eindtermen. o Er is bij een deelkwalificatie sprake van een weging van de opdrachten/toetsen onderling die geen afbreuk doet aan de gehanteerde cesuur. o De cesuur voor de zak/slaagbeslissing ten aanzien van het diploma is dat alle deelkwalificaties die verplicht zijn voor het behalen van het diploma, met gunstig gevolg moeten zijn afgelegd. p. 28 van 41

29 Competentiegerichte opleiding gericht op 1e generatie kwalificatiedossier o De cesuur van ieder exameninstrument ligt op een niveau waarop de deelnemer gemiddeld voldoet aan de vereisten die in de examinering zijn verwerkt. Dit niveau kan zijn aangegeven als 'voldoende' als ondergrens. o Er is sprake van een evenwichtige, niet oneigenlijke puntentoekenning die recht doet aan het belang van de competenties en kerntaken. o Er is sprake van een weging van de opdrachten/toetsen onderling die geen afbreuk doet aan de bovengenoemde cesuur. Competentiegerichte opleiding gericht op 2e generatie kwalificatiedossier o De cesuur van ieder exameninstrument ligt op een niveau waarop de deelnemer gemiddeld voldoet aan de vereisten die in de examinering zijn verwerkt. Dit niveau kan zijn aangegeven als 'voldoende' als ondergrens. o Er is sprake van een evenwichtige, niet oneigenlijke puntentoekenning die recht doet aan het belang van de werkprocessen. o Er is sprake van een weging van de opdrachten/toetsen onderling die geen afbreuk doet aan de gehanteerde cesuur. Standaard 4: Het exameninstrumentarium voldoet aan de toetstechnische eisen Criterium 1: Informatie deelnemer Een opleiding scoort 'voldoende' op dit criterium wanneer de examinering overeenkomt met het volgende portret. De bevatten voldoende informatie op grond waarvan de deelnemer weet wat er in het examen van hem verwacht wordt en welke punten hij waarmee kan behalen. De deelnemer weet wanneer hij wat moet doen om een voldoende te behalen. Dit betekent dat de beschrijving van een opdracht en/of gewenst resultaat, de beoordelingscriteria, de wijze van beoordeling en de cesuurbepaling bekend zijn voor de deelnemer. Criterium 2: Afnamecondities Een opleiding scoort 'voldoende' op dit criterium wanneer de examinering overeenkomt met het volgende portret. De bevatten voldoende informatie op grond waarvan voor de deelnemer en de beoordelaar duidelijk is onder welke omstandigheden een examen moet worden afgenomen. De te treffen voorbereidingen, de toegestane hulpmiddelen, de omschrijving van de context/setting van de examenopdracht en de inrichting van de examenlocatie zijn bekend voor de deelnemer en de beoordelaar. p. 29 van 41

30 Criterium 3: Beoordelingsvoorschrift Een opleiding scoort 'voldoende' op dit criterium wanneer de examinering overeenkomt met het volgende portret. De zijn voorzien van een beoordelingsvoorschrift waaruit de beoordelaar duidelijk kan opmaken op grond waarvan een antwoord of prestatie van een deelnemer met een bepaalde (deel)score moet worden gewaardeerd. Er is beschreven hoe een zo objectief mogelijke beoordeling tot stand komt. Dit betekent dat het exameninstrumentarium de volgende zaken bevat: een inhoudelijk correct antwoordmodel of een beoordelingsschema (met beoordelingscriteria). een scoringsvoorschrift dat beschrijft welke antwoorden goed, gedeeltelijk goed en welke als fout moeten worden beschouwd, inclusief daarbij behorende waardering (punten). een beschrijving van hoe eventuele deelwaarderingen leiden tot een eindwaardering. een beoordelaarsinstructie met algemene richtlijnen over de wijze waarop de prestaties van deelnemers beoordeeld moeten worden. Standaard 5: De examenprocessen van afname, beoordeling en diplomering zijn deugdelijk Criterium 1: De afname Een opleiding scoort 'voldoende' op dit criterium wanneer de examinering overeenkomt met het volgende portret. De afname verloopt deugdelijk. De examencommissie vergewist zich met een gepaste frequentie en grondigheid van het verloop van de afname van examens, bijvoorbeeld aan de hand van processen verbaal en/of deelnemerevaluaties. De examencommissie maakt voor zichzelf inzichtelijk of het examenproces naar wens verloopt, en analyseert wat mogelijke oorzaken zijn als processen niet naar wens verlopen. Criterium 2: De beoordeling Een opleiding scoort 'voldoende' op dit criterium wanneer de examinering overeenkomt met het volgende portret. De beoordeling verloopt deugdelijk. De examencommissie vergewist zich met een gepaste frequentie en grondigheid van de beoordeling van examens, bijvoorbeeld aan de hand van resultatenanalyses, deelnemerevaluaties en gegevens uit (steekproefsgewijze) dubbele beoordelingen, op grond waarvan zij voor zichzelf inzichtelijk maakt of de beoordeling naar wens verloopt. Ook houdt zij bij wanneer zij beoordelingsresultaten aanpast en tot welke verbeteracties deze correcties leiden of hebben geleid. De examencommissie analyseert wat mogelijke oorzaken zijn als de beoordelingen niet naar wens verlopen. Criterium 3: Diplomering en/of certificering Een opleiding scoort 'voldoende' op dit criterium wanneer de examinering overeenkomt met het volgende portret. Diploma's en certificaten worden op deugdelijke gronden afgegeven. De examencommissie vergewist zich daarvan. De examencommissie kan zich desgevraagd verantwoorden over haar besluiten in deze. p. 30 van 41

31 Standaard 6: De examenkwaliteit is voldoende geborgd Criterium: Kwaliteitsborging Een opleiding scoort 'voldoende' op dit criterium wanneer de examinering overeenkomt met het volgende portret. De examencommissie vergewist zich met een gepaste frequentie en grondigheid van de integrale kwaliteit van de examinering. Zij doet dit met medewerking van onafhankelijke deskundigen. De examencommissie legt van de uitkomsten van deze beoordeling verantwoording af aan belanghebbenden, treft zo nodig verbetermaatregelen en ziet toe op de effectiviteit daarvan. Standaard 7: De instelling voldoet aan de wettelijke vereisten rondom examinering Criterium: Naleving wettelijke vereisten Een opleiding scoort 'voldoende' op dit criterium wanneer de examinering overeenkomt met het volgende portret. De opleiding voldoet aan de wettelijke vereisten betreffende: informatie over het examen (in OER of ander document) (art en art van de Wet educatie en beroepsonderwijs); de examencommissie (waar onder art en art , vijfde lid van de Wet educatie en beroepsonderwijs); de commissie van beroep examens (art en art van de Wet educatie en beroepsonderwijs); de openbare verantwoording (art van de Wet educatie en beroepsonderwijs). p. 31 van 41

32 p. 32 van 41

33 Bijlage 2 Exameninstrumenten talen competentiegerichte opleidingen De inspectie heeft naast beroepsgerichte, ook voor talen onderzocht. Het oordeel voor talen heeft in het onderzoeksjaar geen invloed op het eindoordeel van de opleiding. In deze bijlage vindt u de tabellen met daarin de beoordeling voor de onderzochte talen. De toelichting op de beoordeling staat in het hoofdstuk kwaliteit examinering van de exameneenheid waartoe de desbetreffende opleiding behoort. Nederlands en moderne vreemde talen volgens CEF Per taal is bekeken of de vijf taalvaardigheden (luisteren, lezen, gesprekken voeren, spreken en schrijven) voldoen aan de uitstroomeisen (standaard 3) en de toetstechnische eisen (standaard 4). Hierbij is onder andere beoordeeld of de voldoen aan de beheersingsniveaus (CEF) zoals vastgelegd in de kwalificatiedossiers. Indien de eisen voor Nederlands vanuit het addendum of het brondocument verschillen van de eisen uit het kwalificatiedossier, geldt het hoogste niveau. Het oordeel voor Nederlands en/of moderne vreemde talen is voldoende, indien drie of meer taalvaardigheden voldoende zijn. Nederlands volgens referentieniveau Vanaf 1 augustus 2010 geldt de wet Referentieniveau. Dit betekent dat vanaf het cohort het Referentiekader doorlopende leerlijnen taal en rekenen geldt. De referentieniveaus gelden voor alle startende deelnemers, ongeacht het dossier waarop ze zijn ingeschreven, dus ook eindtermendossiers. Als zittende deelnemers (eerdere cohorten dan 2010) worden overgeschreven naar het nieuwste dossier 2010 waarvoor de referentieniveaus (vanaf 1 augustus 2010) gelden, dan gelden ook alle eisen uit het nieuwe dossier voor deze deelnemers, inclusief de referentieniveaus. De subdomeinen Luisteren, Spreken, Gesprekken, Schrijven, Lezen zakelijke teksten en Taalverzorging zijn beoordeeld op de uitstroomeisen (standaard 3) en de toetstechnische eisen (standaard 4). Hierbij is onder andere beoordeeld of de voldoen aan de referentieniveaus (F-niveaus: 3F voor mbo 4 en 2F voor mbo 1-2-3) zoals is vastgelegd in de kwalificatiedossiers. We geven in het onderzoeksjaar nog geen eindoordeel voor Nederlands. p. 33 van 41

34 93211 Financiële beroepen (Assistent-accountant), BOL Tabel B2.1 Beoordeling MVT op CEF-niveau Standaard Inhoudelijke uitstroomeisen Toetstechnische kwaliteit 3 4 Oordeel per taalvaardigheid Gesprekken voeren, B1 V V V Lezen, B1 O O O Luisteren, B1 O O O Schrijven, A2 V V V Spreken, A2 O O O Eindoordeel exameninstrumentarium onvoldoende O = onvoldoende / V = voldoende Tabel B2.2 Beoordeling Nederlands op CEF-niveau Standaard Inhoudelijke uitstroomeisen Toetstechnische kwaliteit 3 4 Oordeel per taalvaardigheid Gesprekken voeren, B2 O O O Lezen, B2 V V V Luisteren, B2 V V V Schrijven, B2 O O O Spreken, B2 O O O Eindoordeel exameninstrumentarium onvoldoende O = onvoldoende / V = voldoende p. 34 van 41

35 93492 Manager handel (Filiaalmanager), BBL Tabel B2.3 Beoordeling MVT op CEF-niveau Standaard Inhoudelijke uitstroomeisen Toetstechnische kwaliteit 3 4 Oordeel per taalvaardigheid Gesprekken voeren, B1 V V V Lezen, B1 V V V Luisteren, B1 V V V Schrijven, B1 V V V Spreken, B1 V V V Eindoordeel exameninstrumentarium voldoende O = onvoldoende / V = voldoende Tabel B2.4 Beoordeling Nederlands op CEF-niveau Standaard Inhoudelijke uitstroomeisen Toetstechnische kwaliteit 3 4 Oordeel per taalvaardigheid Gesprekken voeren, B2 O O O Lezen, B2 V V V Luisteren, B2 V V V Schrijven, B2 O O O Spreken, B2 O O O Eindoordeel exameninstrumentarium onvoldoende O = onvoldoende / V = voldoende p. 35 van 41

36 94110 Leisure & hospitality (Leisure & hospitality assistant), BOL Tabel B2.5 Beoordeling MVT op CEF-niveau Standaard Inhoudelijke uitstroomeisen Toetstechnische kwaliteit 3 4 Oordeel per taalvaardigheid Gesprekken voeren, A2 V V V Lezen, A2 V V V Luisteren, A2 V V V Schrijven, A2 V V V Spreken, A2 V V V Eindoordeel exameninstrumentarium voldoende O = onvoldoende / V = voldoende Tabel B2.6 Beoordeling Nederlands op CEF-niveau Standaard Inhoudelijke uitstroomeisen Toetstechnische kwaliteit 3 4 Oordeel per taalvaardigheid Gesprekken voeren, B1 V V V Lezen, B1 V V V Luisteren, B1 V V V Schrijven, B1 V V V Spreken, B1 V V V Eindoordeel exameninstrumentarium voldoende O = onvoldoende / V = voldoende p. 36 van 41

37 90011 Allround operator (Allround operator productietechniek), BBL Tabel B2.7 Beoordeling MVT (Engels) op CEF-niveau Standaard Inhoudelijke uitstroomeisen Toetstechnische kwaliteit 3 4 Oordeel per taalvaardigheid Gesprekken voeren, A2 O O O Lezen, A2 O O O Luisteren, A2 O O O Schrijven, A1 O O O Spreken, A2 O O O Eindoordeel exameninstrumentarium onvoldoende O = onvoldoende / V = voldoende Tabel B2.8 Beoordeling MVT (Duits) op CEF-niveau Standaard Inhoudelijke uitstroomeisen Toetstechnische kwaliteit 3 4 Oordeel per taalvaardigheid Gesprekken voeren, A2 O O O Lezen, A2 O O O Luisteren, A2 O O O Schrijven, A1 O O O Spreken, A2 O O O Eindoordeel exameninstrumentarium onvoldoende O = onvoldoende / V = voldoende p. 37 van 41

38 90011 Allround operator (Allround operator productietechniek), BBL (vervolg) Tabel B2.9 Beoordeling Nederlands op CEF-niveau Standaard Inhoudelijke uitstroomeisen Toetstechnische kwaliteit 3 4 Oordeel per taalvaardigheid Gesprekken voeren, B1 O O O Lezen, B2 O O O Luisteren, B2 O O O Schrijven, B1 O O O Spreken, B1 O O O Eindoordeel exameninstrumentarium onvoldoende O = onvoldoende / V = voldoende p. 38 van 41

39 90313 Operator voedingsindustrie, BBL Tabel B2.10 Beoordeling Nederlands op CEF-niveau Standaard Inhoudelijke uitstroomeisen Toetstechnische kwaliteit 3 4 Oordeel per taalvaardigheid Gesprekken voeren, B1 O O O Lezen, B1 V V V Luisteren, B1 V V V Schrijven, B1 O O O Spreken, B1 O O O Eindoordeel exameninstrumentarium onvoldoende O = onvoldoende / V = voldoende p. 39 van 41

40 p. 40 van 41

41 Bijlage 3 Situatie voorafgaand aan herstel De onderwijsinstelling heeft tijdens het onderzoek nog enkele kleine punten hersteld. Die mogelijkheid biedt de inspectie dit jaar voor het eerst. In deze bijlage is de situatie voorafgaand aan klein herstel weergegeven. Tabel B3.1 Examenkwaliteit bij ROC de Leijgraaf voorafgaand aan klein herstel Standaard Vertrouwen beroepenveld Borging deskundigheid Inhoudelijke uitstroomeisen Toetstechnische kwaliteit Afname, beoordeling, diplomering /4 3/4 Borging examinering Naleving wettelijke eisen Nederlands standaard 3 en 4 Moderne vreemde talen standaard 3 en 4 Situatie voorafgaand aan klein herstel Techniek Voedingsoperator BBL V V O V V V V O - O Beveiliger, BBL V V O V V V V - - O O = onvoldoende / V = voldoende / - = n.v.t Voedingsoperator, BBL Het klein herstel had betrekking op de omschrijving van de cesuur die voordien niet duidelijk was en na het herstel wel Beveiliger, BBL Het klein herstel had betrekking op de niet volledige dekkingsgraad van de deelkwalificatie Maatschappelijk culturele vorming 2 en na het herstel wel. p. 41 van 41