Rapport van bevindingen KCE-audit ROC Westerschelde (65057) Definitief rapport 22 oktober 2007

Transcriptie

1 Rapport van bevindingen KCE-audit ROC Westerschelde (65057) Definitief rapport 22 oktober 2007

2 Inhoudsopgave Onderbouwing uitspraak per kwalificatie... 8 Managementsamenvatting... 9 Toelichting uitspraak Bijlage 1 Gegevens instelling Bijlage 2 Overzicht actieve kwalificaties Bijlage 3 Overzicht onderzochte kwalificaties Bijlage 4 Gegevens verificatieaudit Bijlage 5 Gegevens KCE Bijlage 6 Documenten KCE-audit / ROC Westerschelde / 22 oktober /37

3 Ondertekening Dit rapport van bevindingen is op 31 juli 2007 in concept aan de instelling verstrekt. De instelling heeft tot en met 7 september 2007 de mogelijkheid gehad om eventuele feitelijke onjuistheden in het rapport van bevindingen aan KCE te melden. De instelling heeft van deze mogelijkheid gebruik gemaakt. KCE heeft op 3 september 2007 de inhoud van het rapport van bevindingen besproken met de instelling. Op 13 augustus 2007 is de bijlage onderzoek naar de instrumenten van examinering in concept aan de instelling verstrekt. De instelling heeft tot en met 7 september 2007 de mogelijkheid gehad om eventuele feitelijke onjuistheden in de bijlage onderzoek naar de instrumenten van examinering aan KCE te melden. De instelling heeft hier gebruik van gemaakt. KCE heeft de gemelde feitelijke onjuistheden onderzocht en zonodig de beoordeling van het onderzoek naar de instrumenten van examinering aangepast. De instelling heeft de mogelijkheid om tot en met 15 november 2007 haar zienswijze op het definitieve rapport van bevindingen als bijlage aan het rapport toe te voegen. Dit rapport is op 22 oktober 2007 definitief vastgesteld door de directeur van KCE, Mevrouw M. Creemers. Amersfoort, 22 oktober 2007 Mevrouw M. Creemers Directeur KCE KCE-audit / ROC Westerschelde / 22 oktober /37

4 Verklaring Het KwaliteitsCentrum Examinering legt zijn oordeel vast in een verklaring conform artikel h van de WEB. Het KwaliteitsCentrum Examinering verstrekt hierbij de onderstaande verklaring aan ROC Westerschelde op basis van de gehouden KCE-audit Voorwaardelijke verklaring Het KwaliteitsCentrum Examinering verstrekt een voorwaardelijke verklaring indien de examinering bij de beroepsopleiding door de instelling of exameninstelling niet in overeenstemming is met de standaarden, bedoeld in artikel 7.4.4, waarbij het naar het oordeel van het KwaliteitsCentrum Examinering beroepsopleidingen aannemelijk is dat dit binnen een jaar alsnog het geval zal zijn. crebocode naam leerweg Magazijnmedewerker BBL Schilder BBL Zelfstandig Werkend Kok BBL ICT-beheerder BOL Medewerker ICT BOL Kwalificaties die niet zijn onderzocht, maar waarvan het oordeel is bepaald op basis van de steekproef. crebocode naam leerweg Commercieel Medewerker Marketing en Communicatie BOL Administrateur BOL Directiesecretaresse / Management Assistent BOL Bedrijfsadministratief Medewerker BOL Boekhoudkundig Medewerker BOL Werktuigbouwkunde BOL Gieterijmedewerker BBL Onderhoudstechnicus Werktuigbouw BBL Monteur Montage/Onderhoud BBL Machinaal Verspaner BBL Constructie- en Apparatenbouwer BBL Pijpenbewerker BBL Constructiebankwerker/Lasser BBL Constructiebankwerker/Lasser BOL Assistent Constructiewerker/Lasser BOL Middenkaderopleiding Bouwkunde BOL Voortgezette Timmerkracht BBL Tegelzetter BBL Primaire Timmerkracht BBL Restauratieschilder BBL Gezel Schilder BBL Eerste Bedrijfsautotechnicus BBL Eerste Autotechnicus BBL KCE-audit / ROC Westerschelde / 22 oktober /37

5 10222 Bedrijfsautotechnicus BBL Autotechnicus BBL Middenkaderfunctionaris Automatiserings Energietechniek (MK-AEN) BOL Eerste Monteur Elektrotechnische Panelen (EMEP) BBL Eerste Monteur Elektrische Bedrijfsinstallaties (EMBI) BBL Eerste Monteur Sterkstroominstallaties (EMSI) BBL Monteur Consumentenelektronica (MCE) BBL Monteur Industriele Elektronica (MIE) BBL Monteur Industriele Elektronica (MIE) BOL Monteur Elektrische Bedrijfsinstallaties (MBI) BBL Monteur Elektrische Bedrijfsinstallaties (MBI) BOL Monteur Sterkstroominstallaties (MSI) BBL Monteur Sterkstroominstallaties (MSI) BOL Monteur Laagspanningsnetten (MLN) BBL Assistent Monteur Montage Elektronica Componenten (AMME) BBL Assistent Monteur Montage Elektronica Componenten (AMME) BOL Restaurateur BOL Zelfstandig Werkend Gastheer/-vrouw BBL Gastheer/Gastvrouw BBL Gastheer/Gastvrouw BOL Kok BBL Kok BOL Horeca-Assistent BOL Middenkaderfunctionaris Milieutechniek BOL Middenkaderfuctionaris Procestechniek BOL Procesoperator C BBL Mechanisch Operator B BBL Procesoperator B BBL Procesoperator B BOL Operator A BOL Mechanisch Operator A BBL Procesoperator A BBL Basisoperator BBL Verpleegkundige BBL Verpleegkundige BOL Verzorgende BBL Verzorgende BOL Helpende BBL Helpende BOL Middenkaderfunctionaris Grond-, Water- en Wegenbouw BOL All-Round Kapper BBL All-Round Kapper BOL Kapper BBL Kapper BOL Servicemonteur Installatietechniek (SEMi) BBL Montage-Assistent Installatietechniek (MASi) BBL Installatiemonteur met Specialisatie Woningbouw (IMw) BBL Installatiemonteur met specialisatie Dakbedekking (IMd) BBL Assistent Installatiemonteur (AIMv) BBL Assistent Installatiemonteur (AIMd) BBL Onderwijsassistent BOL KCE-audit / ROC Westerschelde / 22 oktober /37

6 10742 Sociaal Pedagogisch Werker 3 (SPW 3) BBL Sociaal Pedagogisch Werker 3 (SPW 3) BOL Sociaal Pedagogisch Werker 4 (SPW 4) BBL Sociaal Pedagogisch Werker 4 (SPW 4) BOL Helpende Welzijn (HW) BOL Sociaal Cultureel Werker (SCW) BOL Bouwplaatsassistent BBL Assistent Monteur Sterkstroominstallaties (AMSI) BBL Assistent Monteur Sterkstroominstallaties (AMSI) BOL Specialist Interieurafwerking BBL Winkelassistent BBL Winkelassistent BOL Zorghulp BOL Assistent Schilder BBL Assistent Schilder BOL Metselaar BBL Medewerker Beheer ICT BOL Middenkaderfunctionaris Infratechniek BOL Allround Metselaar BBL Verkoopchef BBL Filiaalbeheerder BBL Filiaalbeheerder BOL Ondernemer/Manager Detailhandel BBL Ondernemer/Manager Detailhandel BOL Eerste Verkoper BBL Eerste Verkoper BOL Verkoopmedewerker BBL Verkoopmedewerker BOL Metaalconserver BBL Assistent Mobiliteitsbranche BBL Medewerker beheer ICT BOL ICT-beheerder BOL Allround meubelmaker BBL Meubelmaker BBL Werkplaatstimmerman BBL Assistent Timmerindustrie BOL Medewerker beheer ICT BOL Hoofdoperator BOL Verkoopspecialist BOL Arbeidsmarktgekwalificeerd Assistent BOL Afdelingsmanager BOL Filiaalmanager BOL Onderwijsassistent niveau 4 BOL Medewerker schilderen (Schilder) BBL Signmaker (Medewerker sign) BOL Afkeurende verklaring Het KwaliteitsCentrum Examinering verstrekt een afkeurende verklaring indien de examinering bij de beroepsopleiding door de instelling of exameninstelling niet in overeenstemming is met de standaarden, bedoeld in artikel 7.4.4, waarbij het naar het KCE-audit / ROC Westerschelde / 22 oktober /37

7 oordeel van het KwaliteitsCentrum Examinering beroepsopleidingen niet aannemelijk is dat dit binnen een jaar alsnog het geval zal zijn. crebocode naam leerweg Secretarieel Medewerker BOL Middenkaderfunctionaris Automatiserings Elektronica (MK-AEC) BOL Oordeel niet mogelijk Het KwaliteitsCentrum Examinering geeft geen oordeel over de beroepsopleiding. De instelling verstrekt geen diploma s voor 1 augustus 2007 voor de beroepsopleiding. De informatie over de examinering is niet volledig, omdat de instelling de beroepsopleiding in heeft opgestart. crebocode naam leerweg Middenkaderfunctionaris Bouw-Infra BOL Ondernemer detailhandel BOL Administratief medewerker BOL Managementassistent BOL Technicus middenkader WEI BOL Sport- en bewegingsbegeleider BOL ovd22 Pedagogisch Werker (Pedagogisch werker) 3 BOL ovd23 Helpende Zorg & Welzijn BOL KCE-audit / ROC Westerschelde / 22 oktober /37

8 Onderbouwing uitspraak per kwalificatie Beoordeling volgens nieuwe standaarden 1 = Slecht, 2 = Onvoldoende, 3 = Voldoende, 4 = Goed, 5 = Uitstekend a = Niet actief, b = Niet beoordeeld, n = Niet van toepassing i = Inkoop ROC Westerschelde ROC Westerschelde Domein S Standaard 1 Standaard 2 Standaard 3 Standaard 4 Standaard 5 Standaard 6 Standaard 7 Standaard Verklaring Magazijnmedewerker BBL i i i i i i i i i i Voorwaardelijke verklaring Secretarieel Medewerker BOL Afkeurende verklaring Schilder BBL i i i i i i i i i i Voorwaardelijke verklaring Middenkaderfunctionaris BOL Afkeurende verklaring Automatiserings Elektronica (MK-AEC) Zelfstandig Werkend Kok BBL i i i i i i i i i i Voorwaardelijke verklaring ICT-beheerder BOL Voorwaardelijke verklaring Middenkaderfunctionaris BOL Geen oordeel Bouw-Infra Ondernemer detailhandel BOL i i i i i i i i i i Geen oordeel Medewerker ICT BOL Voorwaardelijke verklaring Administratief medewerker BOL Geen oordeel Managementassistent BOL Geen oordeel Technicus middenkader BOL Geen oordeel WEI Sport- en BOL Geen oordeel bewegingsbegeleider ovd22 Pedagogisch Werker BOL Geen oordeel (Pedagogisch werker) ovd23 Helpende Zorg & BOL Geen oordeel Welzijn KCE-audit / ROC Westerschelde / 22 oktober /37

9 Managementsamenvatting Voor de audit van ROC Westerschelde vielen tien experimentele opleidingen binnen de steekproef. Bij de experimentele kwalificaties (BOL Medewerker ICT) en (BOL ICT-beheerder) wordt voor 1 augustus 2007 een diploma afgegeven. Bij de overige experimenten is dit nog niet aan de orde. Voor deze kwalificaties wordt de verklaring 'geen oordeel' gegeven. In de steekproef zaten ook vijf eindtermgerichte kwalificaties. De kwalificatie Secretarieel medewerker heeft in het auditjaar een afkeurende verklaring ontvangen. Deze kwalificatie is in het auditjaar opnieuw onderzocht en heeft wederom een afkeurende verklaring. Voor een deel van de kwalificaties worden producten ingekocht. Bij de kwalificatie (BBL Schilder) is sprake van inkoop (Savantis) van examenproducten en examenafname. Er is geen inkoop bij de kwalificaties (BOL Middenkaderfunctionaris Bouw-Infra) en (BOL Sport- en bewegingsbegeleider). Voor de overige kwalificaties koopt ROC Westerschelde de examenproducten in bij gecertificeerde leveranciers. De exameneenheid ROC Westerschelde is opgesplitst in drie sectoren. Iedere sector heeft daaronder meerdere resultaatverantwoordelijke teams. Voor de kwalificaties in de steekproef is in totaal met elf teams gesproken. De aanlevering van de documenten voor ROC Westerschelde is niet optimaal geweest. Naast een groot aantal instellingsbrede documenten zijn per kwalificatie documenten aangeleverd. Deze waren veelal niet rechtstreeks te herleiden naar de standaarden van KCE, de diverse teams/sectoren hebben de relatie met deze standaarden niet aangegeven. Ook de naamgeving van de documenten en verzamelbestanden gaf niet altijd een indicatie over de inhoud. De aangeleverde zelfevaluaties bevatten geen verwijzing naar documenten. Tijdens het vooronderzoek heeft de contactpersoon van ROC Westerschelde een overzicht per sector opgesteld waarin de documenten, geplaatst in december 2006, aan de standaarden zijn gekoppeld. Voor de documenten die tijdens de verificatieaudit zijn getoond en alsnog op Kwalidata zijn geplaatst, is de relatie wederom niet aangegeven. De hoeveelheid documenten is zeer groot. Hiervan is een deel niet als bewijs meegenomen omdat het document niet is gedateerd, niet herleidbaar is van wie afkomstig, de relevantie of de representativiteit niet is aangetoond of niet voldoet aan het criterium van 36 maanden. Per sector is een beknopte zelfevaluatie opgeleverd. Economie heeft een verbeterplan opgesteld waarin documenten worden genoemd die aantonen dat voldaan wordt aan de standaarden 2006 van KCE. ROC Westerschelde is actief bezig het kwaliteitszorgstelsel en kwaliteitsdenken binnen de sectoren en de teams op niveau te brengen. Hiervoor is het afgelopen jaar een interne auditgroep actief geweest. Het doel was te kijken in hoeverre de sectoren en teams werken volgens de Deming-cirkel. De interne audit richtte zich met name op het procesmatige deel en niet op de inhoudelijke verantwoording van de examineringsprocessen. De conclusie van de interne audit is dat nog niet consequent wordt gewerkt volgens de Deming-cirkel en dat het kwaliteitsdenken en de verantwoording van de examinering aandacht behoeven. KCE onderschrijft deze constatering. Er zijn verbeterpunten geformuleerd en er is ondersteuning vanuit het Onderwijsbureau. Voor het vertrouwen van het beroepenveld in de kwaliteit van de examinering, geldt dat deze in het algemeen als onvoldoende is beoordeeld, uitgezonderd (BBL Schilder) waar sprake is van volledige inkoop van examenproducten en examenafname. Voor de als KCE-audit / ROC Westerschelde / 22 oktober /37

10 onvoldoende beoordeelde experimenten geldt dat er nog geen sprake was van summatieve examinering waarover het beroepenveld zich kon uitspreken. De tevredenheid van het beroepenveld is niet aangetoond. Hierbij geldt dat het inzichtelijk maken van de representativiteit van bewijsvoering en een goede weergave van de betekenis van de bewijsvoering ten opzichte van de standaarden gelden als duidelijke verbeterpunten. De tevredenheid van de deelnemer over de kwaliteit van de examinering, is beoordeeld als onvoldoende. De tevredenheidsonderzoeken bij Economie, Techniek en Zorg geven een onvolledig beeld en zijn niet representatief. Ook is op grond van (soms lege) tevredenheidsonderzoeken de deelnemerstevredenheid onvoldoende aangetoond. Wel heeft ROC Westerschelde een norm gesteld voor de deelnemerstevredenheid. De deskundigheid van betrokkenen bij examinering is overwegend beoordeeld als onvoldoende, uitgezonderd (BBL Schilder) waar sprake is van inkoop bij door KCE-erkende leveranciers. De aanwezige deskundigheid van betrokkenen bij examinering en de criteria voor de gewenste deskundigheid zijn niet vastgesteld door de betrokken examencommissies. Voor de standaarden 4 en 5 geldt dat in bijlage 7 de scores zijn weergegeven per examenvariant en per ijkpunt. Bovendien zijn in geel de wijzigingen weergegeven naar aanleiding van de ingediende feitelijke onjuistheden. De resultaten op standaardniveau per kwalificatie zijn vervolgens berekend op basis van de rekenregels productaudit, zoals deze kenbaar zijn gemaakt op de website van KCE. De transparantie van de examineringsprocessen is deels op orde. Bij een aantal kwalificaties, waaronder een experimentele kwalificatie, zijn de examenmodellen helder beschreven. Voor deze kwalificaties geldt de beoordeling voldoende. De overige experimenten en een eindtermgerichte kwalificatie beschikken niet over een transparant examenmodel. De kwalificerende toetsing is veelal slechts ten dele uitgewerkt en beschreven. Bij een eindtermgerichte kwalificatie is geen sprake van een onafhankelijke, betrouwbare en objectieve beoordeling. De borging van de examineringsprocessen is voor alle kwalificaties in het onderzoek beoordeeld als onvoldoende. De onderbouwing van de (zelf)evaluaties ontbreekt geheel of gedeeltelijk. De overige aangedragen documenten geven geen duidelijk beeld van een geborgd proces. Er zijn geen evaluaties van inkoop aangetroffen. De wettelijke vereisten waaraan examinering moet voldoen, is college-breed beoordeeld als voldoende. KCE-audit / ROC Westerschelde / 22 oktober /37

11 Toelichting uitspraak ROC Westerschelde Domein A Validering door belanghebbenden Standaard 1 Het beroepenveld heeft vertrouwen in de kwaliteit van examinering KCE vraagt de instelling om het vertrouwen van het beroepenveld in de kwaliteit van de examinering inzichtelijk te maken. Het vertrouwen kan de instelling ook onderbouwen door: de betrokkenheid van het beroepenveld bij én de tevredenheid van het beroepenveld over de examinering aan te tonen. De examinering van de kwalificatie (BBL Schilder) aan standaard 1, omdat met het door de instelling aangeleverde bewijs kan worden vastgesteld dat het beroepenveld vertrouwen heeft in de examinering. KCE beoordeelt de examinering op deze standaard als voldoende. De examinering van de kwalificaties (BBL Magazijnmedewerker), (BOL Secretarieel Medewerker), (BOL Middenkaderfunctionaris Automatisering Elektronica (MK-AEC)), (BBL Zelfstandig Werkend Kok), (BOL ICTbeheerder), (BOL Middenkaderfunctionaris Bouw-Infra), (BOL Ondernemer detailhandel), (BOL Medewerker ICT), (BOL Administratief medewerker), (BOL Managementassistent), (BOL Technicus middenkader WEI), (BOL Sport- en bewegingsbegeleider), (BOL ovd22 Pedagogisch Werker (Pedagogisch werker) 3) en (BOL ovd23 Helpende Zorg & Welzijn) voldoet niet aan standaard 1, omdat met het door de instelling aangeleverde bewijs het vertrouwen van het beroepenveld in de examinering niet kan worden vastgesteld. De bewijzen zijn ofwel onvolledig of niet representatief. Voor de kwalificaties (BOL ICT-beheerder), (BOL Middenkaderfunctionaris Bouw-Infra), (BOL Ondernemer detailhandel), (BOL Administratief medewerker), (BOL Managementassistent), (BOL Technicus middenkader WEI), (BOL Sport- en bewegingsbegeleider), (BOL ovd22 Pedagogisch Werker (Pedagogisch werker) 3) en (BOL ovd23 Helpende Zorg & Welzijn) wordt vóór geen diploma uitgereikt. KCE komt tot dit oordeel op grond van de volgende bewijzen: 1 Economie a. Intern auditrapport Toetsing en examinering economie doc b. Overeenkomsten inkoop i. KC Handel, 24 mei 2006, 24 mei 2006 (10021, 90290) ii. LOB HTV, 13 april 2007 (10395) iii. Stichting Praktijkleren, (10050) c. Verslagen SOB september 2005 tot april 2007 (10021, 90290) d. vragenlijst SOB.doc, niet gedateerd (10021, 90290) KCE-audit / ROC Westerschelde / 22 oktober /37

12 e. ZE versie juni 2006 economie versie d.d doc 2 Techniek a Zelfevaluatie Module 2 Examenzaken, maart 2006(10178, 10232, 90220, 90260, 90360, 91140) b Actieplan Verbetering examinering Techniek concept 2.doc, maart 2006 (10178, 10232, 90220, 90260, 90360, 91140) c. Intern auditrapport Toetsing en examinering.techniek doc d. Notulen leermeestersoverleg maart 2004 tot februari 2006 (10232) e. Overeenkomst Savantis, 22 augustus 2006 (10178) f. Overeenkomst Stichting Praktijkleren, (90220, 90360) 3 ZWO a. Actieplan Verbetering Examinering.OA (92620) b. Evaluatie van het werkveld onderwijs (91380, 92620, 92640) c. Intern auditrapport toetsing en examinering ZWO (91380, 92620, 92640) d. Zelfevaluatie juni 2006 (91380, 92620, 92640) Economie De instelling toont op basis van de aangeleverde bewijsvoering niet aan dat het beroepenveld vertrouwen heeft in de kwaliteit van de examinering. De instelling heeft op basis van de zelfevaluatie (1e) en het intern auditrapport (1a) de huidige situatie in kaart gebracht en verbeterpunten en acties benoemd. De betrokkenheid/vertrouwen van het beroepenveld is geen specifiek actiepunt en staat niet specifiek beschreven in de zelfevaluatie. Voor de kwalificaties Secretarieel Medewerker, Administratief Medewerker en Managementassistent zijn geen andere documenten aangetroffen. Het vertrouwen van het beroepenveld in de examineringsprocessen is hiermee voor deze kwalificaties niet aangetoond. Voor de kwalificatie Magazijnmedewerker, Secretarieel Medewerker, Zelfstandig Werkend Kok, Ondernemer Detailhandel, Administratief Medewerker en Managementassistent is sprake van inkoop bij KCE-erkende leveranciers van examenproducten (b). Het vertrouwen van het beroepenveld in deze examenproducten is daarmee aangetoond. Er zijn geen bewijzen aangetroffen van het vertrouwen in de examenafname. Daarom beoordeelt KCE standaard 1 voor deze kwalificaties als onvoldoende. Voor de kwalificaties Magazijnmedewerker en Ondernemer Detailhandel zijn verslagen van sector overleggen bedrijfsleven (SOB) aangeleverd (1c). Niet inzichtelijk is gemaakt in hoeverre de aanwezige bedrijven representatief zijn voor het relevante beroepenveld. Verslagen worden vastgesteld en de examinering is onderwerp van gesprek. Er is een vragenlijst uitgezet onder het bedrijfsleven (1d). In deze vragenlijst zijn geen vragen opgenomen die het vertrouwen van het beroepenveld in de examinering aangeven. Ook zijn er geen resultaten bekend en is niet helder wat de onderzoeksgroep is en welke respons op de enquête is gekomen. Hiermee is het vertrouwen van het beroepenveld niet aangetoond. Techniek De instelling toont op basis van de aangeleverde bewijsvoering niet aan dat het beroepenveld vertrouwen heeft in de kwaliteit van de examinering. De instelling heeft op basis van de zelfevaluatie (2a) en het intern auditrapport (2c) de huidige situatie in kaart gebracht en verbeterpunten en acties benoemd, tevens heeft de instelling een actieplan (2b) ter verbetering van examinering opgesteld waarbij betrokkenheid/vertrouwen van het KCE-audit / ROC Westerschelde / 22 oktober /37

13 beroepenveld ook een punt van aandacht is. De onderliggende bewijsvoering ontbreekt. Voor de kwalificaties Middenkaderfunctionaris Bouw-Infra en Technicus middenkader WEI zijn geen andere documenten aangetroffen. Het vertrouwen van het beroepenveld in de examineringsprocessen is hiermee niet aangetoond. Er zijn notulen van het leermeestersoverleg (2d) voor de kwalificatie Middenkaderfunctionaris Automatisering Elektronica (MK-AEC). Niet inzichtelijk is gemaakt in hoeverre de aanwezige bedrijven representatief zijn voor het relevante beroepenveld. Een deel van de notulen was niet voldoende recent. Het vertrouwen van het beroepenveld is niet aangetoond. Voor de kwalificatie Schilder is het vertrouwen van het beroepenveld voldoende gegarandeerd met de inkoop van de examenproducten en de examenafname bij Savantis (2e). Voor de kwalificaties ICT-beheerder en Medewerker ICT koopt ROC Westerschelde de exameninstrumenten in bij Stichting Praktijkleren (2f). Het vertrouwen van het beroepenveld in deze instrumenten is daarmee aangetoond. Er zijn geen bewijzen aangetroffen van het vertrouwen in de examenafname. Daarom beoordeelt KCE standaard 1 voor deze kwalificaties als onvoldoende. ZWO De instelling toont op basis van de aangeleverde bewijsvoering niet aan dat het beroepenveld vertrouwen heeft in de kwaliteit van de examinering. De instelling heeft op basis van evaluaties (3b, 3e) en het intern auditrapport (3c) de huidige situatie in kaart gebracht en verbeterpunten en acties benoemd, tevens heeft de instelling een actieplan (3a) ter verbetering van examinering opgesteld waarbij betrokkenheid/vertrouwen van het beroepenveld ook een punt van aandacht is. De onderliggende bewijsvoering ontbreekt. Voor de kwalificaties Sport- en bewegingsleider, Pedagogisch Werker 3 en Helpende Zorg & Welzijn zijn geen andere documenten aangetroffen. Het vertrouwen van het beroepenveld in de examineringsprocessen is hiermee niet aangetoond. Standaard 2 De deelnemer is tevreden over de kwaliteit van de examinering KCE vraagt de instelling om de tevredenheid van de deelnemer over de examinering inzichtelijk te maken. De examinering van de kwalificaties voldoet niet aan standaard 2, omdat met het door de instelling aangeleverde bewijs de tevredenheid van de deelnemer over de kwaliteit van de examinering niet kan worden vastgesteld. De tevredenheidsonderzoeken bij Economie, Techniek en Zorg geven een onvolledig beeld en zijn niet representatief. Voor de kwalificaties (BOL ICT-beheerder), (BOL Middenkaderfunctionaris Bouw-Infra), (BOL Ondernemer detailhandel), (BOL Administratief medewerker), (BOL Managementassistent), (BOL Technicus middenkader WEI), (BOL Sport- en bewegingsbegeleider), (BOL ovd22 Pedagogisch Werker (Pedagogisch werker) 3) en (BOL ovd23 Helpende Zorg & Welzijn) wordt vóór geen diploma uitgereikt. KCE komt tot dit oordeel op grond van de volgende bewijzen: KCE-audit / ROC Westerschelde / 22 oktober /37

14 1 Algemeen a. 5s1xove supplement b. 'Hoe steekhoudend zijn de gegevens', deelnemerstevredenheidsonderzoek Economie a. Evaluatie van de experimentopleidingen.cursisten.doc, niet gedateerd (90290) 3 Techniek a Overleg met vertegenwoordiging EME1D.doc, 7 april 2004 (10232) b Notities ouderoverleg_1 EME2O.doc, (10232) c. Evaluatieformulier PVB voor de kandidaat d. Uitkomsten evaluatie PVB kerntaak 1 en 2, maart 2007 (90360) 4 ZWO a. Evaluatie studenten 1e gel 2eolp A.doc, januari 2006 (92620) b. Evaluatie van de experimentopleidingen.cursisten.doc (92620) c. Inventarisatie te onderzoeken kwalificaties d. Toetsevaluatie voor studenten, oktober 2006 (92620) Algemeen De Excel-bestanden 5s1xove (1a) geven de resultaten van het tevredenheidsonderzoeken onder deelnemers weer. Een sterk punt is dat ROC Westerschelde een norm heeft gesteld over de mate van tevredenheid van deelnemers. Er is een gestaffeld overzicht opgenomen waaruit blijkt dat bij een tevredenheid van 80% of lager acties moeten worden opgesteld. Er zijn vijf vragen over toetsing, niet alle vragen zijn door iedere respondent beantwoord. Er zijn geen vragen opgenomen over de informatie vooraf en over de inhoud van de toetsen. Het bewijs is niet voldoende representatief. De tevredenheid van de deelnemer is hiermee niet aangetoond. Economie De evaluatie van de experimentopleidingen is een format vragenlijst, de examinering is hierin niet opgenomen (2a). Ook zijn er geen resultaten bekend. KCE neemt dit document niet mee als bewijs. Techniek De aangeleverde bewijzen voor de sector Techniek van het overleg met deelnemers en ouders onderbouwen niet de tevredenheid van de deelnemers. Het gaat om incidentele bijeenkomsten met een klas en een groep ouders om knelpunten op te lossen (3a, 3b). Techniek heeft een format evaluatie Proeve van Bwekwaamheid opgesteld. Voor de kwalificatie 90360(BOL Medewerker ICT) zijn twee evaluaties met resultaten bekend. Niet inzichtelijk is hoe groot de totale groep deelnemers is die deze Proeven hebben afgelegd. Daardoor is niet af te leiden in hoeverre er sprake is van tevredenheid van de deelnemers van deze kwalificatie. ZWO De evaluatie van de experimentopleidingen is een format vragenlijst, de examinering is hierin niet opgenomen (4b). De evaluatie studenten (4a) is eveneens een format, hierin zijn vragen opgenomen over de tevredenheid ten aanzien van een Proeve van Bekwaamheid. Van beide onderzoeken zijn geen resultaten bekend. KCE neemt deze documenten niet mee als bewijs. De toetsevaluatie voor studenten, gehouden in oktober 2006 is een tevredenheidmeting over een afgenomen Proeve van Bekwaamheid (4d). De vragen gaan over de inhoud en KCE-audit / ROC Westerschelde / 22 oktober /37

15 de afname. Er zijn geen vragen over de informatie vooraf, de beoordeling en de tijdigheid van de uitslag. De onderzoeksgroep is niet weergegeven, in totaal hebben 76 deelnemers de vragenlijst ingevuld. In hoeverre deze respons representatief is, is niet uit het document af te leiden. Omdat ROC Westerschelde in de inventarisatie te onderzoeken kwalificaties (4c) heeft aangegeven dat er nog geen kwalificerende toetsing is bij de kwalificatie Pedagogisch Werker 3, is de status van de evaluatie niet helder. De tevredenheid van de deelnemers is hiermee niet aangetoond. Domein B Deskundigheid van betrokkenen Standaard 3 De betrokkenen bij de examinering zijn deskundig KCE vraagt de instelling inzichtelijk te maken: de gewenste deskundigheid van de betrokkenen bij examinering; het voldoen aan de gestelde criteria van de betrokkenen bij examinering. De examinering van de kwalificaties (BBL Schilder) voldoet aan standaard 3, omdat met het door de instelling aangeleverde bewijs kan worden vastgesteld dat de betrokkenen bij de examinering deskundig zijn. KCE beoordeelt de examinering op deze standaard als voldoende, omdat de volledige examinering wordt ingekocht bij door KCEerkende leveranciers. De examinering van de kwalificaties (BBL Magazijnmedewerker), (BOL Secretarieel Medewerker), (BOL Middenkaderfunctionaris Automatisering Elektronica (MK-AEC)), (BBL Zelfstandig Werkend Kok), (BOL ICTbeheerder), (BOL Middenkaderfunctionaris Bouw-Infra), (BOL Ondernemer detailhandel), (BOL Medewerker ICT), (BOL Administratief medewerker), (BOL Managementassistent), (BOL Technicus middenkader WEI), (BOL Sport- en bewegingsbegeleider), (BOL ovd22 Pedagogisch Werker (Pedagogisch werker) 3) en (BOL ovd23 Helpende Zorg & Welzijn) voldoet niet aan standaard 3, omdat met het door de instelling aangeleverde bewijs de deskundigheid van de betrokkenen bij de examinering niet kan worden vastgesteld. Voor de kwalificaties (BOL ICT-beheerder), (BOL Middenkaderfunctionaris Bouw-Infra), (BOL Ondernemer detailhandel), (BOL Administratief medewerker), (BOL Managementassistent), (BOL Technicus middenkader WEI), (BOL Sport- en bewegingsbegeleider), (BOL ovd22 Pedagogisch Werker (Pedagogisch werker) 3) en (BOL ovd23 Helpende Zorg & Welzijn) wordt vóór geen diploma uitgereikt. KCE komt tot dit oordeel op grond van de volgende bewijzen: 1 Economie a. Overzicht Scholingsactiviteiten Medewerkers Economie b. Handboek Handel: toetsing en examinering c. Zelfevaluatie Sector Economie, juni 2006 d. Toelichting aanlevering aanvullende bewijsstukken m.b.t. standaard 3 ( ) e. Voorlichting beroepspraktijkvorming ( ) f. Module 2 actieplan verbetering examinering ( ) g. Training coachingsvaardigheden (ongedateerd) h. Handboek examinering Administratie, hoofdstuk 2 (ongedateerd) KCE-audit / ROC Westerschelde / 22 oktober /37

16 2 Techniek a. contract Savantis ( ) b. contract Kenteq ( ) c. Document kenteq 4 tbv KCE, 14 augustus 2006 (91140) d. Document E/ICT kenteq tbv KCE, e. Concept (III) Teamhandboek Toetsing & Examinering ( ) f. Deskundigheidsbevordering team BIS 0607 g. Scholingsplan t.b.v. implementatie cge ZWO a. Intern auditrapport toetsing en examinering ZWO 2007 b. Teamhandboek deel c. Bureau Dekkers in Anders leren, anders examineren (offerte getekend ) d. Training CH-Q niveau 3 door CINOP (getekende offerte ) e. Zelfevaluatieverslag ZWO (06-06) f. Actieplan verbetering examinering (ongedateerd) Economie Overzicht Scholingsactiviteiten Medewerkers Economie (1a) geeft per persoon een klokurenopsomming die niet herleidbaar is naar standaard 3. In het Handboek Handel: toetsing en examinering deskundigheidsbevordering docenten 14 (1b) is geen relatie met de gewenste deskundigheid gelegd en bijgevolg kan niet worden vastgesteld dat de betrokkenen voldoen aan de gestelde criteria. Het Scholingsplan is dit jaar niet ten uitvoer gebracht (Zelfevaluatie Sector Economie, juni 2006) (1c). De Toelichting aanlevering aanvullende bewijsstukken m.b.t. standaard 3, ( ) (1d) is niet nader te controleren/beoordelen. Module 2 actieplan verbetering examinering ( ) (1f), met name de zelfevaluatie, geeft wel verbeteracties maar de implementatiestatus is niet te herleiden. De kenniscentra zijn nog bezig met het in beeld brengen van de competenties van het betrokken beroepenveld. Alle docenten zijn geschoold door bureau Dekkers in Competentiegericht Leren en inmiddels zijn twee betrokkenen geschoold door Kenteq. Uit de ppt-presentatie voorlichting beroepspraktijkvorming ( ) [1e) blijkt dat competentiegericht examineren nog volop in ontwikkeling is. Training coachingsvaardigheden (ongedateerd) (1g) kan niet als bewijs dienen aangezien content ontbreekt. Bovengenoemde bewijsvoering is opgevoerd voor de kwalificatie (BBL Magazijnmedewerker), (BBL Zelfstandig Werkend Kok) en (BOL Administratief medewerker). Voor (BOL Ondernemer detailhandel) is aanvullend het visiedocument interne training studieloopbaanbegeleiding detailhandelsopleidingen ( ) aangeleverd zonder koppeling aan personen. Voor de kwalificaties (BOL Secretarieel Medewerker) en (BOL Managementassistent) geldt dat in Handboek examinering Administratie, hoofdstuk 2, (ongedateerd) wel deskundigheidsbevordering (gevolgd door een gedateerde planning 2.2.1) is opgenomen, maar dat de gewenste deskundigheid niet is vastgelegd (1h). Dat de betrokkenen voldoen aan de gestelde eisen is niet vastgesteld en daarmee niet aantoonbaar. Techniek Voor de kwalificatie (BBL Schilder) geldt de beoordeling voldoende. De volledige examinering wordt ingekocht bij door KCE-erkende leveranciers (getekend contract Savantis d.d (2a) en Kenteq d.d ) (2b), de deskundigheid is dan KCE-audit / ROC Westerschelde / 22 oktober /37

17 gegarandeerd. Voor de kwalificaties (BOL ICT-beheerder) en (BOL Medewerker ICT) is als bewijsvoering opgevoerd de scholing door bureau Dekkers in Competentiegericht Toetsen (offerte getekend ) en de training CH-Q niveau 3 door CINOP (getekende offerte ) in vervolg op een eerdere training niveau 1 in 2005 (2c). Competentieprofielen zijn niet aan personen gekoppeld. De sector (evenals de andere sectoren) oriënteert zich op de eisen die aan de nieuwe examinering stelt aan de deskundigheid van betrokkenen. De gewenste deskundigheid is niet vastgelegd. Het team ICT heeft een scholingsplan ogesteld voor de experimenten(2g). Hierin wordt verwezen naar een traject 'Proeve van Bekwaamheid'van ICE uit Niet helder is in hoeverre de scholingsactiviteiten zijn gerealiseerd en waaruit deze bestond. De overige (relevante) documenten die onder Economie zijn behandeld zijn ook op sector Techniek van toepassing. Het concept (III) Teamhandboek Toetsing & Examinering ( ) (2e) reikt niet verder dan taken en verantwoordelijkheden per functie. Voor de kwalificatie (BOL Middenkaderfunctionaris Bouw-Infra) wordt aanvullend op de bovengenoemde bewijsvoering deskundigheidsbevordering team BIS 0607 (2f) genoemd, dat echter niet ingaat op examinering. ZWO Voor de kwalificaties (BOL Sport- en bewegingsbegeleider), (BOL ovd22 Pedagogisch Werker (Pedagogisch werker) 3) en (BOL ovd23 Helpende Zorg & Welzijn) is als bewijsvoering opgevoerd de scholing door bureau Dekkers in Anders leren, anders examineren (offerte getekend ) (3c) en de training CH-Q niveau 3 door CINOP (getekende offerte ) in vervolg op een eerdere training niveau 1 in 2005 (3d). Competentieprofielen zijn niet aan personen gekoppeld. Het Zelfevaluatieverslag ZWO (06-06) gaat niet inhoudelijk in op de deskundigheid bij examinering (3e) en het Actieplan verbetering examinering (ongedateerd) laat geen status zien (3f). Teamhandboek deel g Geplande deskundigheidsbevordering voor docenten (3b) is intentioneel van aard, de vastlegging van de gewenste deskundigheid ontbreekt en bijgevolg kan niet beoordeeld worden of aan criteria bij examinering is voldaan. Domein C Exameninstrumentarium Standaard 4 Het exameninstrumentarium voldoet inhoudelijk aan de uitstroomeisen KCE vraagt de instelling voor eindtermgericht onderwijs aan te tonen dat: tenminste 75% van de eindtermen van de deelkwalificatie is uitgewerkt in de examenonderdelen; in de examentoets(en) de per vraag/opdracht aangegeven relatie met de eindterm(en) correct is; de toetsvorm past bij het beheersingsniveau zoals omschreven in de eindtermen en het niveau van de deelkwalificatie. KCE vraagt de instelling voor competentiegericht onderwijs aan te tonen dat: voor alle competenties beoordelingscriteria zijn geformuleerd die de competenties dekken doordat ze een kennis-, vaardigheids- en houdingsaspect bevatten; in de instrumenten van examinering alle beoordelingscriteria, behorende bij de competenties, zijn opgenomen; de instrumenten van examinering alle kerntaken dekken; KCE-audit / ROC Westerschelde / 22 oktober /37

18 alle kerntaken en competenties op het juiste niveau getoetst worden. In bijlage 7 zijn de scores weergegeven per examenvariant en per ijkpunt. Bovendien zijn in geel de wijzigingen weergegeven naar aanleiding van de ingediende feitelijke onjuistheden. De resultaten op standaardniveau per kwalificatie zijn vervolgens berekend op basis van de rekenregels productaudit, zoals deze kenbaar zijn gemaakt op de website van KCE. Standaard 5 Het exameninstrumentarium voldoet aan toetstechnische kwaliteitseisen KCE vraagt de instelling voor eindtermgericht onderwijs aan te tonen dat de examenonderdelen: voldoen aan de bij de gekozen toetsvorm passende toetstechnische kwaliteiten die een eenduidig en correct afnemen waarborgen; voldoen aan de bij de gekozen toetsvorm passende toetstechnische kwaliteiten die een eenduidig en correct beoordelen waarborgen; informatie bevatten die een eenduidig, correct en aan de eindtermen gerelateerd beoordelen waarborgt. KCE vraagt de instelling voor competentiegericht onderwijs aan te tonen dat: het taalgebruik en de woordkeuze van de vragen/ opdrachten bij het niveau van de kwalificatie passen; de instructie voor de deelnemer duidelijk en volledig is; de afnamecondities waaronder het/de instrument(en) van examinering wordt/ worden ingezet, een valide beoordeling van het examen waarborgen; het antwoordmodel/ beoordelingsvoorschrift inhoudelijk correct is; de cesuur van het examen minimaal op het niveau ligt dat een deelnemer de kerntaken en competenties in meerderheid beheerst; in de beoordeling, door middel van instrumenten van examinering, gewaarborgd wordt dat deelnemers individueel beoordeeld worden. In bijlage 7 zijn de scores weergegeven per examenvariant en per ijkpunt. Bovendien zijn in geel de wijzigingen weergegeven naar aanleiding van de ingediende feitelijke onjuistheden. De resultaten op standaardniveau per kwalificatie zijn vervolgens berekend op basis van de rekenregels productaudit, zoals deze kenbaar zijn gemaakt op de website van KCE. Domein D Processen Standaard 6 De examenprocessen zijn transparant KCE vraagt de instelling om inzichtelijk te maken: de inrichting van de examenorganisatie; inkoop van examenproducten en/of diensten bij een KCE-gecertificeerde leverancier; de uitbestedingprocedure van een examen; de wijze waarop een examen wordt afgenomen; de vaststellingsprocedure van een examen; de controlemomenten in het examineringsproces. KCE-audit / ROC Westerschelde / 22 oktober /37

19 De examinering van de kwalificaties (BBL Magazijnmedewerker), (BBL Schilder), (BOL Middenkaderfunctionaris Automatisering Elektronica (MK-AEC)), (BBL Zelfstandig Werkend Kok) en (BOL Technicus middenkader WEI) voldoet aan standaard 6, omdat met het door de instelling aangeleverde bewijs kan worden vastgesteld dat de examenprocessen transparant zijn. De examinering van de kwalificaties (BOL Secretarieel Medewerker), (BOL ICT-beheerder), (BOL Middenkaderfunctionaris Bouw-Infra), (BOL Ondernemer detailhandel), (BOL Medewerker ICT), (BOL Administratief medewerker), (BOL Managementassistent), (BOL Sport- en bewegingsbegeleider), (BOL ovd22 Pedagogisch Werker (Pedagogisch werker) 3) en (BOL ovd23 Helpende Zorg & Welzijn) voldoet niet aan standaard 6, omdat met het door de instelling aangeleverde bewijs de transparantie van de examenprocessen niet kan worden vastgesteld. De kwalificerende toetsing is nog niet volledig vastgelegd en daardoor incompleet. Bij de kwalificatie (BOL Secretarieel Medewerker) is geen sprake van een onafhankelijke, betrouwbare en objectieve beoordeling. Bij de experimentele kwalificatie Medewerker ICT wordt in het schooljaar gediplomeerd. Voor de kwalificaties (BOL ICT-beheerder), (BOL Middenkaderfunctionaris Bouw-Infra), (BOL Ondernemer detailhandel), (BOL Administratief medewerker), (BOL Managementassistent), (BOL Technicus middenkader WEI), (BOL Sport- en bewegingsbegeleider), (BOL ovd22 Pedagogisch Werker (Pedagogisch werker) 3) en (BOL ovd23 Helpende Zorg & Welzijn) wordt vóór geen diploma uitgereikt. KCE komt tot dit oordeel op grond van de volgende bewijzen: 1 Overeenkomsten a. Document kenteq 4 tbv KCE, 14 augustus 2006 (91140) b. Document E/ICT kenteq tbv KCE, (10232) c. KC Handel, 24 mei 2006, 24 mei 2006 (10021, 90290) d. LOB HTV, 13 april 2007 (10395) e. RBA4, november 2006 f. Savantis, 22 augustus 2006 (10178) g. Stichting Praktijkleren, (10050, 90470, 90510) h. Stichting Praktijkleren, (90220, 90360) 2 ROC breed a. Handboek Toetsing en Examinering deel 0-4, (vastgesteld voor alle kwalificaties ) b. Inventarisatie te onderzoeken kwalificaties voor KCE-audit c. Targets werkgroepen (interne experimentclub levert juli 2007 een ROC-breed format Oer op) 3 Economie a. Kwaliteitshandboek Horeca (10395) b. Oer Magazijnmedewerker c. Oer Secretarieel Medewerker, d. Oer Zelfstandig Werkend Kok e. Oer Ondernemer Detailhandel f. Oer Administratief Medewerker KCE-audit / ROC Westerschelde / 22 oktober /37

20 g. Oer Managementassistent h. Teamhandboek Administratie (10050, 90470, 90510) i. Teamhandboek Handel (10021, 90290) 4 Techniek a. Concept teamhandboek T&E, laatste revisie 2006 b. Oer Schilder c. Oer Middenkaderfunctionaris Automatisering Elektronica (MK-AEC) d. Oer ICT-beheerder e. Oer Middenkaderfunctionaris Bouw-Infra f. Oer Medewerker ICT, g. Oer Technicus Middenkader WEI h. Plan competentiegerichte opleidingen techniek, niet gedateerd i. Teamhandboek ICT-Lyceum, niet gedateerd (90220, 90360) 5 ZWO a. Handboek deel 5 (91380, 92620, 92640) b. OER Sport en bewegingsbegeleider c. OER Pedagogisch werker d. OER Helpende zorg en welzijn e. Plan van Aanpak Onderwijsvernieuwing Handboek Het Handboek Toetsing en Examinering (2a) is een ROC-breed vastgesteld handboek waarin parallel aan de KCE-standaarden 2004 het kwaliteitszorgsysteem voor de examenorganisatie is ingericht. Het handboek bevat procedures voor vrijwel alle relevante examineringsprocessen; de taken, verantwoordelijkheden en bevoegdheden zijn vastgelegd. Daarnaast bevat het handboek richtlijnen en hulpmiddelen voor goede toetsen en format s en checklisten. Een procedure voor analysering examenresultaten is niet opgenomen. Het handboek Toetsing en Examinering bevat de terminologie voor de eindtermgerichte kwalificatiestructuur. Het handboek beschrijft diverse toetsvormen en is deels toepasbaar voor de competentiegerichte examinering. Voor de kwalificaties in de steekproef, waarbij de kwalificerende toetsing in alle gevallen uit Proeven van Bekwaamheid bestaat, voldoet het voor dit moment. Er is geen procedure voor criteriumgerichte interviews. In deel 0 van het Handboek is een richtlijn opgenomen voor de inrichting van de competentiegerichte kwalificaties (toetsvisie). Iedere sector maakt op basis hiervan een toetsbeleidsplan. Een interne experimentclub (2c) heeft dit jaar de opdracht een ROC-breed format OER te ontwikkelen, het document Toetsvisie uit te werken op basis van een kaderstellend document en een raamwerkdocument examenhandboek voor te leggen aan het management. De oplevering staat in juli 2007 gepland. Binnen de kaders van het ROC-brede Handboek Toetsing en Examinering hanteert elke sector (of team) een eigen handboek waarin de processen, taken en verantwoordelijkheden op sectorniveau staan beschreven. De sectoren Techniek en Economie werken met een teamhandboek. Aangeleverd voor Techniek is een concept teamhandboek (4a). De status hiervan is niet helder. Voor de ICT-kwalificaties is een handboek ICT-Lyceum opgesteld (4i). Bij Economie zijn Teamhandboeken voor Handel, Administratie en Horeca aangeleverd (3a, 3h, 3i). In deze handboeken staan taken beschreven, wie hiervoor verantwoordelijk is en soms wanneer de taak moet worden uitgevoerd. Hiermee is de basis aanwezig voor het beheersen van de processen. Het Handboek Administratie bevat daarnaast opmerkingen waar de uitvoering van de processen niet volstaat. KCE-audit / ROC Westerschelde / 22 oktober /37

21 Het Handboek ZWO beschrijft taken en wie hiervoor verantwoordelijk is (5a). ZWO heeft een Plan van Aanpak voor de te ontwikkelen experimenten opgesteld (5e). Ook bij Techniek is een dergelijk plan aangetroffen (4h). Economie Voor de kwalificatie Magazijnmedewerker is de transparantie aangetoond met de OER (3b), het Handboek Toetsing en Examinering (2a) en het Teamhandboek Handel (3i). De examenproducten koopt Economie in bij KC Handel, een overeenkomst is aanwezig (1c). Bij de beoordeling zijn zowel de praktijkopleider als de BPV-docent betrokken. Bij de kwalificatie Secretarieel medewerker koopt Economie de examenproducten in bij Stichting Praktijkleren, er is een overeenkomst (1g). De kwalificerende toetsing staat beschreven in de OER (3c) en er is een handboek Toetsing en Examinering (2a). Er is geen sprake van een onafhankelijke, betrouwbare en objectieve beoordeling: in het teamhandboek Administratie (3h), artikel 3.3, staat dat er geen tweede beoordelaar is en dat de eigen docent de deelnemers beoordeelt. KCE beoordeelt de transparantie van de examineringsprocessen daarom als onvoldoende. De kwalificatie Zelfstandig Werkend Kok beschikt over een transparant examenmodel, het Handboek Toetsing en Examinering en het Kwaliteitshandboek Horeca bevatten relevante procedures (2a, 3a). De examenproducten koopt Economie in bij LOB HTV, een overeenkomst is aanwezig (1d). De OER is samengevoegd met de studiegids en geeft een brede beschrijving van de kwalificerende examinering (3d). Er zijn meerdere beoordelaars bij de praktijktoetsing en voor de theorietoetsen wordt regelmatig een tweede beoordeling uitgevoerd. Hiermee is een onafhankelijke, betrouwbare en objectieve beoordeling aangetoond. Bij de kwalificaties Ondernemer Detailhandel, Administratief Medewerker en Managementassistent wordt het schooljaar nog niet gediplomeerd. De informatie is intentioneel. De examenproducten koopt Economie voor 100% in bij KC Handel en Stichting Praktijkleren (1c, 1g). De transparantie van de examineringsprocessen is voor deze kwalificaties niet aangetoond. - De kwalificerende toetsing voor is in de OER deels uitgewerkt (3e). Er is sprake van negen kerntaakbeoordelingen in de beroepspraktijkvorming, kennistoetsing en criteriumgerichte interviews. Deelnemers maken beroepsproducten in de beroepspraktijkvorming die worden beoordeeld door de praktijkopleider. Er is geen tweede beoordelaar tijdens de uitvoering van de opdrachten. Als de opdrachten voor een kerntaak zijn uitgevoerd, is er een evaluatiegesprek met de praktijkopleider en de bpv-docent. Niet beschreven staat in hoeverre de bpv-docent mede beoordeelt. Per schooljaar is er een summatief assessment van 2 weken. Hierin verzamelen de cursisten hun competentiebewijzen voor het totale opleidingsjaar en leveren hun dossierportfolio in. De examencommissie stelt de competentiebewijzen vast en houdt met elke cursist een voortgangsgesprek. De examencommissie bepaalt of de competentiebewijzen substantieel genoeg zijn om doorstroom naar het volgende opleidingsjaar te kunnen garanderen. De eerste vijf kerntaken zijn uitgewerkt in een examenplan. KCE beoordeelt de transparantie voor de kwalificatie als onvoldoende omdat de kwalificerende toetsing nog niet volledig is vastgesteld. Daarnaast is de onafhankelijke, objectieve en betrouwbare beoordeling in de beroepspraktijkvorming niet aangetoond en is niet helder hoe de diverse beoordelingen praktijkopleider, bpv-docent, examencommissie- zich verhouden. - Bij de kwalificatie Administratief Medewerker is volgens de OER sprake KCE-audit / ROC Westerschelde / 22 oktober /37

22 van 2 Proeven van Bekwaamheid (3f). Er zijn geen nadere gegevens bekend over de inhoud en wijze van beoordelen. Hierdoor is niet aangetoond dat wordt voldaan aan assessmentcondities. Daarnaast kan een deelnemer uitsluitend worden gediplomeerd als de beroepspraktijkvoming met een voldoende is beoordeeld en moet de deelnemer zijn overgegaan van leerjaar 1 naar leerjaar 2. Ook is er een overzicht examenmomenten en examenvormen opgenomen in de OER. Dit gaat om formatieve toetsing die moet zijn behaald en als voorwaarde geldt voor deelname aan de beroepspraktijkvorming en Proeven van Bekwaamheid. - De kwalificatie Managementassistent heeft een onvolledig OER (3g). De uitwerking van de kwalificerende toetsing is niet opgenomen, bijlage 3 ontbreekt in het examenreglement. Techniek Techniek koopt zowel de examenproducten als de examenafname in voor de kwalificatie Schilder. Voor de overige kwalificaties worden de examenproducten ingekocht. Er zijn overeenkomsten van inkoop en OER en aanwezig (4b, 4g). Bij de beoordeling van en zijn zowel de praktijkopleider als de BPV-docent betrokken, voor is er een beoordeling in het examencentrum van Savantis en een beoordeling door de praktijkopleider. KCE beoordeelt de transparantie van de examineringsprocessen als voldoende voor deze kwalificaties. De examenproducten van de kwalificaties ICT-beheerder en Medewerker ICT koopt Techniek in bij Stichting Praktijkleren (1h). Het getekende contract is als bewijs aangeleverd. Bij de kwalificatie Medewerker ICT wordt in het schooljaar gediplomeerd. De OER en geven geen volledig examenmodel weer, het bevat een opsomming van de kerntaken (4d, 4f). Een deel van de artikelen in de OER is niet uitgewerkt. Niet helder is bijvoorbeeld voor de kwalificatie uit hoeveel Proeven van Bekwaamheid de kwalificerende toetsing bestaat en wie de beoordelaars zijn. Bij de kwalificatie ontbreekt ook de informatie over de beoordelaars. Hierdoor is niet aangetoond dat de beoordeling onafhankelijk, objectief en betrouwbaar plaatsvindt. KCE beoordeelt de transparantie van de examineringsprocessen voor de kwalificaties ICT-beheerder en Medewerker ICT als onvoldoende. De kwalificatie Middenkaderfunctionaris Bouw-Infra is nog in ontwikkeling. Het examenmodel is niet uitgewerkt in de OER (4e). De informatie is intentioneel; er is sprake van Proeven van Bekwaamheden, het aantal is nog niet vastgelegd. Ook is er geen informatie over de wijze van beoordelen. Techniek geeft aan dat deze kwalificatie niet wordt ingekocht. De transparantie van de examineringsprocessen is niet aangetoond. ZWO Voor de kwalificaties Sport- en bewegingsleider, Pedagogisch Werker 3 en Helpende Zorg&Welzijn is de informatie intentioneel. Er is nog geen volledig uitgewerkt examenmodel in de OER (5b, 5c, 5d). Deelnemers verzamelen competentiebewijzen in een archiefportfolio. Deze worden besproken met de studieloopbaanbegeleider. Jaarlijks is er een formele evaluatie van een dossierportfolio. Niet helder is waaruit de competentiebewijzen bestaan, wie deze beoordeelt en of de beoordeling objectief, onafhankelijk en betrouwbaar plaatsvindt. Inkoop Voor een deel van de kwalificaties worden producten ingekocht. Bij de kwalificatie (BBL Schilder) is sprake van inkoop (Savantis) van examenproducten en examenafname. KCE-audit / ROC Westerschelde / 22 oktober /37