Ps/12 juli Jaarverslag 2015 Examinering ECM

Transcriptie

1 Ps/12 juli 2016 Jaarverslag 2015 Examinering ECM

2 Inhoud 1. Inleiding Adviescommissie Examinering Leden adviescommissie: Vergaderingen Besproken onderwerpen Directeurenoverleg Vaststellingscommissies Vaststellingcommissie Meubel Vaststellingscommissie Timmer Resultaten Trend vanaf Slagingspercentages per school Slagingspercentages per examenlocatie Klachten Examinatorenbijeenkomsten Bijeenkomst examinatoren niveau 1,2, Bijeenkomst examinatoren niveau Bijeenkomsten coördinatoren examenlocaties Training nieuwe examinatoren Examenontwikkeling Aanpassing lay out examendocumenten SH&M naar ECM Nieuw distributiesysteem examendocumenten Analyse van de nieuwe kd s Ontwikkeling van formats voor PVB en VVT Aanpassing van PVB Aanpassing van VVT s Ps/12 juli 2016

3 1. Inleiding In dit jaarverslag 2015 vindt u een weerslag van de activiteiten van ECM in het kader van examinering. Het jaar 2015 stond in het teken van de overgang van SH&M naar ECM met alle communicatie en veranderingen die daarbij horen. We hebben nieuwe systemen geselecteerd, aangeschaft en gevuld. Zo is Toetscenter vervangen door ECMshare en het planning- en inschrijvingssysteem mijnshm door mijnecm. Het aanpassen van de examens naar de nieuwe kwalificatiedossiers is een uitgelezen moment voor een diepgaande evaluatie bij scholen en bedrijven. Deze heeft input gegeven voor dit project. 2. Adviescommissie Examinering De Adviescommissie Examinering Hout en Meubel is samengesteld uit vertegenwoordigers van het onderwijsveld, vertegenwoordigers namens het bedrijfsleven en vertegenwoordigers van het (ECM). Het doel van de Adviescommissie Examinering Hout en Meubel is om tot afspraken te komen over het algemene, strategische en financiële beleid en over het kwaliteitsbeleid op het gebied van examinering van opleidingen in de hout & meubel Leden adviescommissie: De commissie bestond eind 2015 uit de volgende leden Naam lid Naam organisatie Vertegenwoordigd R. Hazelhoff (voorzitter) ROC van Twente MBO-onderwijs B. Kortman HMC mbo vakschool MBO-onderwijs D. Ploegers ROC Midden Nederland MBO-onderwijs W. Schulpen Ritmeester B.V. Meubelindustrie Vacature Timmerindustrie K. Jonker CBM Meubelindustrie G. Luhulima SSWT Timmerindustrie P.Sijl - van Veen (secretaris) ECM Dhr. Schulpen is in 2015 nog actief lid geweest van de commissie, maar heeft de commissie in de laatste vergadering verlaten Vergaderingen In 2015 is de commissie slechts 1x bij elkaar geweest (op 28 september 2015). De vergadering van 23 maart 2015 is vervangen door een uitgebreide informati , omdat er geen vragen om advies speelden op dat moment. Ps/12 juli

4 2.3. Besproken onderwerpen In de vergadering van de Adviescommissie Examinering is gesproken over: Het keurmerk Examenleverancier en het belang van de overgang ervan naar ECM Aanpassing examens aan nieuwe kwalificatiedossiers Ontwikkelingen examinering voor de timmerbranche De evaluatie van de examens en examensystematiek en de conclusies daaruit. Belangrijkste resultaten van de evaluatie zijn: Het vertrouwen in de PVB als beoordelingsinstrument is groot. De referentieproducten zijn van het juiste niveau en de voorwaarden voor een vervangend product zijn duidelijk. Het vertrouwen in de kwaliteit van de VVT als beoordelingsinstrument is groot (71%), de VVT meet het juiste niveau (77%) en wordt als zinvol naast de PVB (65%) gezien. Toch vindt ook een vijfde van de respondenten de VVT niet zinvol. De meerderheid van de respondenten vindt dat de huidige opdrachten kunnen blijven gebruikt, maar moeten worden aangevuld. Een meerderheid van de respondenten vindt de beschikbaarheid van summatieve theorietoetsen een waardevolle aanvulling op de huidige examenstructuur, slechts 9% staat hier negatief tegenover Respondenten zijn over het algemeen tevreden over de informatiedocumenten. De structuur van de documenten is duidelijk en men kan over het algemeen de informatie vinden die men zoekt. Als het gaat om de informatiedocumenten voor leerlingen ontstaat een minder positief beeld. De tevredenheid met de service van de medewerkers van ECM en hun bereikbaarheid is groot. 3. Directeurenoverleg In de overlegstructuur van de examinering bij ECM neemt het directeurenoverleg van alle hout- en meubelscholen, naast de adviescommissie examinering, een belangrijke plaats in. Het directeurenoverleg heeft bij de adviescommissie examinering de taak neergelegd de ECM te adviseren met betrekking tot ontwikkeling en uitvoering van de examens. In eerdere jaren, (lees in de tijd van SH&M) organiseerden we jaarlijks een bijeenkomst voor directeuren. De doelstelling van dit overleg was het informeren van directeuren over de ontwikkelingen met betrekking tot de examinering en een beeld te krijgen van de toekomstplannen van de scholen met de opleidingen in hout en meubel. De laatste jaren hebben we deze bijeenkomsten tezamen georganiseerd met de vergadering van de BTG. Dit jaar hebben wij deze bijeenkomst niet georganiseerd. De belangrijkste reden hiervoor is dat wij van ECM (in casu Willem Kalis en Petra Sijl van Veen) ervoor gekozen hebben om deze keer individueel met het management van scholen in gesprek te gaan. Enkele scholen hebben we al bezocht, in de eerste helft van 2016 zullen de andere scholen benaderd worden voor een afspraak. Ps/12 juli

5 4. Vaststellingscommissies Dit jaar zijn de vaststellingscommissie Meubel en de vaststellingscommissie Timmer beide 1x bij elkaar geweest. Vorig jaar is er gesproken over de mogelijkheid door scholen ontwikkelde examens te gaan vaststellen, dit kan betekenen dat we in de vaststellingscommissie ook te maken krijgen met andere examens dan die van ECM. Dit is in 2015 nog niet nader uitgewerkt. Voor 2016 staat dit wederom op de agenda Vaststellingcommissie Meubel De vaststellingscommissie meubel bestaat uit: Dhr. B. Hutten Voorzitter Bedrijfsleven/interieurbouw Mw. L. Egers Secretaris ECM Dhr. A. Lassgaa Bedrijfsleven/scheepsinterieurbouw Dhr. L. Rauwers MBO/ROC van Twente Dhr. J. Nieuwland MBO/ROC Deltion College Mw. P. Sijl van Veen ECM/Onderwijskundige De vaststellingscommissie meubel is in x bij elkaar geweest op 23 november. Vaststellingen De vergadering heeft de volgende documenten vastgesteld VVT-examen meubelmaker/(scheeps-)interieurbouwer /VVT Toetsplan Meubelmaker/(scheep)interieurbouwer (TP ME/(SC)IN ) Toetsplan Allround meubelmaker/(scheepsinterieurbouwer) me (TP ALL ME/(SC)IN me) Toetsplan Allround meubelmaker/(scheepsinterieurbouwer) in (TP All ME/(SC)IN in) Toetsplan Allround meubelmaker/(scheepsinterieurbouwer) sc (TP All ME/(SC)IN sc) Toetsplan Machinaal houtbewerker me (TP MH me) Toetsplan Allround machinaal houtbewerker me (TP All MH me) Een aantal PVB s zijn inhoudelijk besproken en de bespreekpunten verwerkt zodat ze de volgende vergadering ter vaststelling kunnen worden voorgedragen. Ps/12 juli

6 Wijzigingen nieuwe kwalificatiedossiers Alle commissieleden hebben een overzicht van de wijzigingen in het kwalificatiedossier SHM en een analyse van het KD 2015 Meubels en (scheeps)interieurs maken ontvangen als achtergrondinformatie. Format beoordelingsformulier Er zijn een aantal algemene wijzigingen in het beoordelingsformulier besproken. De vaststellingscommissie geeft er de voorkeur bepaalde beoordelingscriteria generiek op te nemen. Zij zouden verplicht voldoende mogen zijn. Het heeft de voorkeur om generieke beoordelingscriteria boven geïntegreerde criteria op te nemen en deze als verplicht voldoende te waarderen. Het gaat dan vaak om kan samenwerken en overleggen met collega s en leidinggevende werkt volgens veiligheidsprocedures en voorschriften De termen doeltreffend en efficiënt zijn in de beoordelingsformulieren vertaald naar: Gebruikt houtbewerkingsmachines zoals ze bedoeld zijn. Werkt efficiënt met houtbewerkingsmachines. De termen: vakkundig, vakbekwaam, bedreven zijn vervangen door de termen vakkundig en zorgvuldig. Vakkundig heeft de voorkeur, hiermee wordt een bepaald niveau van professionaliteit uitgedrukt. Voor het verantwoorden van de verwerking van kennis en vaardigheden worden per matrixen gemaakt waarin deze relatie weergegeven wordt Vaststellingscommissie Timmer De vaststellingscommissie Timmer bestaat uit: Dhr. M.v.d. Vlies Voorzitter Bedrijfsleven/SWV Midden Nederland Mw. P. Sijl-van Veen Secretaris ECM Vacature timmerindustrie Mw. A. Wapstra MBO/ROC Midden Nederland Dhr. A. van Doleweerd MBO/ ROC A12 Mw. L. Egers ECM/onderwijskundige De commissie is in x bij elkaar geweest Vaststellingen: Aanpassing Proeve van bekwaamheid Aanpassing Proeve van bekwaamheid Aanpassing Vakvaardigheidstoets Aanpassing Vakvaardigheidstoets Gespreksonderwerpen Het aanpassen van de examens timmer aan kwalificatiedossier voor timmer staat gepland voor Toetsplannen kunnen wellicht versneld gerealiseerd worden. Naar aanleiding van signalen uit de branche is gesproken over het niveau van de VVT machinale niveau 2. De commissie is niet van mening dat deze te gemakkelijk is. Commissie is van mening dat het bij de VVT gaat om een steekproef. Dit in tegenstelling tot de PVB die het gehele beroep bevat Ps/12 juli

7 Tevens is gesproken of er naast praktijktoetsing ook summatieve theorietoetsen bij de nieuwe kwalificatiedossiers zou moeten komen. De Adviescommissie Examinering heeft besloten de examenstructuur niet aan te passen. Het is wel de bedoeling dat scholen theoretische toetsing gebruiken om te bepalen of leerlingen klaar zijn voor het examen. De vaststellingscommissie Timmer verschilt hierover van mening met de Adviescommissie Examinering. Daarnaast is gesproken over de beoordelingsformulieren voor de PVB. Bij de bijstelling naar de nieuwe kwalificatiedossiers zullen ook de formats van de formulieren nader bekeken wordt. Voor beoordelingsformulieren is dit al een aantal maal bekeken, maar de inspectie vereist dat alle elementen vanuit het hele kwalificatiedossier zichtbaar deel van de beoordeling moet zijn. 5. Resultaten De resultaten van de afname van vvt s niveau 1 t/m 3 waren goed met een gemiddelde van 85% geslaagden. Over de resultaten van de proeve van bekwaamheden in het leerbedrijf zijn geen landelijke gegevens bekend vanwege de afname door de onderwijsinstellingen zelf. Ook de resultaten van de PVB niveau 4 zijn goed te noemen met een slagingspercentage van 88%. Desgevraagd kan een gedetailleerd overzicht van slagingspercentages per opleiding, per school of per locatie geleverd worden Trend vanaf 2010 Het slagingspercentage ligt iets lager dan vorig jaar, maar in de lijn van de percentages van de afgelopen 10 jaar. Voor het feit dat het iets lager ligt, hebben we niet echt een verklaring, maar we zullen het zeker meenemen in de diverse overleggen met opleiders en examenlocaties Ps/12 juli

8 Slagingspercentages per school In het overzicht van de resultaten van de VVT 2015 per school zien we een gemiddeld slagingspercentage van 85%. Sommige slagingspercentages geven een vertekend beeld, omdat het om zeer kleine aantallen gaat. Vergelijking resultaten VVT 2015 per school School Geslaagd Gezakt Slagingspercentage Arcus College % Deltion College % Graafschap College % HMC mbo vakschool % Koning Willem I College % Koninklijke Kentalis afd Zoetermeer % Markiezaat College % ROC A % ROC Alfa College % ROC Aventus % ROC Da Vinci College % ROC de Leijgraaf % ROC Drenthe College % ROC Friese Poort % ROC Friesland College % ROC Gilde Opleidingen % ROC Horizon College % ROC Leiden % ROC Midden Nederland % ROC Midden Nederland, loc. Amersfoort % ROC Nijmegen % ROC van Twente % SH&M Trainingscentrum Hout % Summa College % Eindtotaal % Ps/12 juli

9 In onderstaande tabel staat de trend van de slagingspercentages per school aangegeven van 2010 tot 2015 Naam onderwijsinstelling: Arcus College 83% 77% 100% 100% 80% 83% Deltion College 84% 96% 90% 93% 88% 95% Graafschap College 96% 100% 93% 76% 100% 97% HMC mbo vakschool 83% 88% 96% 79% 87% 86% Koning Willem I College 88% 100% 100% 88% 91% 100% Kentalis Scholengemeenschap Effatha 100% 0% 0% 0% 0% 50% Markiezaat College 96% 92% 93% 94% 79% 96% ROC A12 86% 93% 90% 79% 92% 73% Alfacollege 78% 100% 100% 0% 0% 0% ROC Aventus 95% 100% 88% 89% 100% 100% ROC Da Vinci College 75% 100% 86% 83% 80% 89% ROC De Leijgraaf 97% 83% 86% 90% 91% 90% ROC Drenthe College 56% 81% 100% 45% 89% 82% ROC Friese Poort 69% 100% 95% 50% 50% 100% ROC Friesland College 85% 100% 97% 78% 70% 69% Gilde Opleidingen 90% 92% 91% 93% 88% 82% ROC Horizon College Heerhugowaard 82% 89% 92% 71% 96% 78% ROC Leiden 89% 72% 90% 48% 76% 82% ROC Midden Nederland Bouw & Interieur College ROC Midden Nederland, locatie Amersfoort 77% 90% 97% 78% 82% 79% 88% 100% 88% 88% 100% 86% ROC Nijmegen 88% 93% 86% 75% 81% 89% ROC van Twente 91% 98% 91% 93% 85% 99% Summa college 92% 97% 98% 94% 89% 93% Scholen kunnen bij ECM een gedetailleerd overzicht van hun eigen resultaten opvragen Ps/12 juli

10 5.3. Slagingspercentages per examenlocatie In onderstaande tabel zijn de resultaten per examenlocatie weergegeven. Ook hier kunnen de percentages vertekend zijn door kleine aantallen. Resultaten 2015 per examenlocatie Examenlocatie Geslaagd Gezakt Slagingspercentage Almelo % Bergen op zoom % Heerenveen % Heerhugowaard % Nieuwegein % Nijmegen % Rotterdam % Veldhoven % Venlo % Woerden % Zwolle % Eindtotaal % 6. Klachten De definitie van klacht die we hier hanteren is heel breed. Ook verbetersignalen, suggesties naar aanleiding van de evaluatie door examinatoren of zaken die we zelf opgemerkt hebben worden als klacht geregistreerd. Het merendeel van de klachten komt binnen in de periode mei/juni. Dit komt omdat in die tijd de meeste examens worden afgenomen. De klachten/signalen zijn binnenkomen via: De examinator (via mail of op het evaluatieformulier) Leerling, via docent of examenbureau (via mail of telefonisch) Leerling (via brief en telefonisch) Samenwerkingsverband/praktijkleermeester (telefonisch) In 2015 zijn er 13 klachten/signalen geregistreerd met de volgende onderwerpen: De gang van zaken bij het examen Te weinig tijd voor examen door wachttijden bij machines Bereikbaarheid locatie Late uitnodiging voor het examen Machines examenlocaties functioneren niet naar behoren Leerling vindt dat hij in het nadeel was omdat hij de enige kandidaat scheepinterieurbouw was Beoordeling Leerling is het niet eens met beoordeling Onvoldoende onderbouwing negatieve beoordeling Ps/12 juli

11 De opdrachten Te lage exameneisen, Relatie opdracht en tekening VVT machinaal houtbewerken niveau 2 en 3 te licht Examinatoren Te weinig bijscholing examinatoren Gedrag examinatoren bij examen Gesprekvoering en gespreksstructuur examinator (n4) (Te lage) vergoeding examinatoren Foutief ingevulde beoordeling Er heeft voor 6 zaken een klachtenonderzoek plaatsgevonden. Naar aanleiding daarvan zijn 2 klachten geheel terecht en 1 gedeeltelijk terecht bevonden. Klachtonderwerp Te weinig tijd door wachten bij machines Een nadeel omdat hij de enige scheeps-kandidaat was Over het examen, relatie opdracht en tekening Late uitnodiging voor het examen Diverse zaken met betrekking tot uitvoering VVT en gedrag en communicatie coördinator examenlocatie Leerling is het niet eens met de beoordeling Onvoldoende onderbouwing beoordeling Resultaat onderzoek Niet terecht Niet terecht Terecht Deels terecht Onterecht Terecht Bij de terechte klachten is passende actie ondernomen en zijn betrokkenen daarop aangesproken. Ook geeft dit overzicht input voor de examinatorenbijeenkomsten. In de bijeenkomst voor niveau 4 (n 2015) heeft de gesprekvoering en het vragen stellen centraal gestaan. De bijeenkomst voor niveau 1, 2, 3 (maart 2016) zal gaan over het onderbouwen van de beoordeling. Tevens zal in de bijeenkomst voor de examenlocaties gesproken worden over de files die soms ontstaan bij de machines en hoe daarmee omgegaan kan worden. Ps/12 juli

12 7. Examinatorenbijeenkomsten Er zijn dit jaar 3 reguliere examinatorenbijeenkomsten geweest. Voor elke categorie een bijeenkomst. Daarnaast hebben we in een training gehouden voor enkele nieuwe examinatoren. We zijn halverwege dit jaar gestart met het in gang zetten van een (her)certificeringstraject voor onze examinatoren. De bijeenkomsten krijgen in de toekomst meer een trainingskarakter en deelname leidt tot een certificaat dat 2 jaar geldig is. Na 2016 zetten we alleen nog examinatoren in die in bezit zijn van een certificaat Bijeenkomst examinatoren niveau 1, 2, 3 De bijeenkomst voor examinatoren niveau 1, 2, 3 heeft plaatsgevonden op 19 maart 2015 in Leusden. Daarbij waren 18 examinatoren aanwezig. In deze bijeenkomst is gesproken over: De actualiteit rond SH&M / ECM De examenevaluatie De examenresultaten van 2014 Het klachtenoverzicht 2014 Daarnaast heeft hebben we in de vorm van een quiz aandacht geschonken aan de inhoud en structuur van de examinering en de rol van de examinator daarin Bijeenkomst examinatoren niveau 4 De bijeenkomst voor examinatoren niveau 4 had een trainingsopzet, met een externe trainer. Aan deze bijeenkomst namen 12 examinatoren deel, zowel vanuit het onderwijs, als mensen vanuit het bedrijfsleven. Op een zeer toegankelijke en prettige wijze besteedde trainer aandacht aan: LSD (luisteren, samenvatten doorvragen) Do s en don ts van een examinator STAR interviewmethode en niet sturend interviewen (NSI) CGI voorbereiden en CGI oefenen 7.3. Bijeenkomsten coördinatoren examenlocaties Op 18 juni, voorafgaand aan het oprichtingsfeest van ECM is de bijeenkomst geweest van de coördinatoren van de examenlocaties. Daarbij waren 6 coördinatoren aanwezig. In deze bijeenkomst is gesproken over: De bezoeken van ECM tijdens de VVT Veranderingen in aanmelding en planning door de invoering van mijnecm Veranderingen in de documentendownload door invoering van ECMshare Het maken van een filmpje per examenlocatie (op basis van foto s) Coördinatoren examineren op een andere locatie (wederzijds bezoek) Aankondiging audits 2016 in verband met verlopen erkenning als examenlocatie. Ps/12 juli

13 7.4. Training nieuwe examinatoren In verband met het afscheid van examinatoren en de noodzaak van verjonging van het examinatorenbestand hebben we een training voor nieuwe examinatoren georganiseerd. Deze heeft in november plaatsgevonden. Hieraan namen 5 examinatoren deel. In de training is aan de orde geweest: Kwalificatiestructuur en kwalificatiedossier Informatie over VVT en beoordelingslijsten Profiel examinator, taken en verantwoordelijkheden Waarnemen en observeren Beoordelen Oefenen met bestaande werkstukken Na deze theoretische training volgt nog een praktisch deel. De aspirant examinatoren gaan een dag meelopen met een VVT en maken daar een verslag van. Op basis daarvan krijgen zij het certificaat. 8. Examenontwikkeling 2015 In het kader van de examenontwikkeling zijn de volgende activiteiten ondernomen Aanpassing lay out examendocumenten SH&M naar ECM De overzetting van de examendocumenten van SH&M naar ECM is geen inhoudelijke aanpassing, maar wel een zeer tijdrovende. Alle (gangbare) examendocumenten zijn voorzien van het ECM-logo, ook de technische tekeningen zijn hier op aangepast. Vervanging logo examentekeningen Logo ECM en keurmerk toegevoegd aan examendocumenten Toevoegen cohort-aanduiding 8.2. Nieuw distributiesysteem examendocumenten In 2015 is gekozen voor ECMshare als distributiesysteem voor examendocumenten. Het traject dat daar uit voortvloeide bestond uit de volgende deelactiviteiten. Ontwerpen/inrichten van de datastructuur Inrichten van de gebruikersstructuur Schrijven van een handleiding Uploaden van examendocumenten 8.3. Analyse van de nieuwe kd s Ontwikkeling van vergelijkingsdocumenten waarin het nieuwe met het oude kwalificatiedossier wordt vergeleken. Dit zijn werkdocumenten voor intern gebruik, die gebruikt worden bij het herzien van de huidige examens. Het betreft de dossiers: Meubels en (scheep)interieurs maken Meubels stofferen Machinaal houtbewerken Industrieel produceren met hout Technisch leidinggevende Ps/12 juli

14 8.4. Ontwikkeling van formats voor PVB en VVT In 2015 zijn formats ontwikkeld voor PVB en VVT, deze behelzen onder andere: Werkwijze voor het formuleren van beoordelingscriteria Keuze voor werkproces onafhankelijke opname generieke criteria (samenwerken en overleggen; procedures en voorschriften opvolgen) Ontwikkeling van een nieuw beoordelingsformulier voor PVB en VVT. Verbetering van de lay-out van examendocumenten. Kortere opdrachtbeschrijving van de PVB. Nieuwe codering examendocumenten 8.5. Aanpassing van PVB Onderliggende documenten zijn in 2015 aangepast en zijn gereed voor vaststelling (planning in maart 2016) Machinaal houtbewerker meubelindustrie Allround machinaal houtbewerker meubelindustrie Meubelmaker/(scheep-)interieurbouwer Allround Meubelmaker/(scheep-)interieurbouwer - meubelindustrie Allround Meubelmaker/(scheep-)interieurbouwer - interieurbouwer Allround Meubelmaker/(scheep-)interieurbouwer scheepsinterieurbouwer Meubelstoffeerder Allround meubelstoffeerder 8.6. Aanpassing van VVT s Onderliggende documenten zijn aangepast in 2015 en zijn gereed voor vaststelling (planning in maart 2016) Machinaal houtbewerker meubelindustrie x Allround machinaal houtbewerker meubelindustrie x Meubelmaker/(scheep-)interieurbouwer x Allround Meubelmaker/(scheep-)interieurbouwer meubelindustrie x Allround Meubelmaker/(scheep-)interieurbouwer interieurbouwer x Allround Meubelmaker/(scheep-)interieurbouwer scheepsinterieurbouwer x Meubelstoffeerder x Allround meubelstoffeerder x2 Ps/12 juli