BI Jaarverslag 2013 Nieuwegein, mei 2014
Inhoudsopgave Voorwoord 3 Ontwikkelen van beoordelingsinstrumenten 4 Stem algemeen Ondersteuning pilots 4 Deskundigheidsbevordering beoordelaars 5 Ontwikkelen beoordelingsinstrumenten LLB, talen, rekenen/wiskunde 5 Examenprocessen 6 Uniforme instrumentenmix 6 Focus op examinering 7 Motorvoertuigen en tweewielers (Door)ontwikkelen beoordelingsinstrumenten 7 Ontwikkelen theorietoetsenbank 8 Carrosserie (Door)ontwikkelen beoordelingsinstrumenten 8 Ontwikkelen theorietoetsenbank 9 Vaststellen en legitimeren 9 Distributie en toetssysteem 12 Inspectie 13 Organisatie 14 Communicatie 15 Toekomst 16 Jaarverslag Stem 2013 2
Voorwoord Al bijna 10 jaar is Stem een begrip voor examinering in de mobiliteitsbranche. Binnen Stem werken ROC s, bedrijven, brancheorganisaties en kenniscentra uit de mobiliteitsbranche samen om kwalitatief hoogwaardige examenproducten neer te zetten en ROC s te ondersteunen in de examinering. Deze samenwerking is inmiddels niet meer zo uniek - ook in andere sectoren zijn of worden modellen á la Stem opgezet -, maar daarom niet minder krachtig. Samen stonden wij ook in 2013 weer voor kwaliteit en vertrouwen. Examenproducten zijn (door)ontwikkeld en verder verbeterd. We hebben ROC s ondersteund in de voorlichting en toepassing van onze instrumenten. En om scholen ook vooraf helderheid te kunnen geven over onze kwaliteit zijn we gestart met het behalen van het keurmerk examenleveranciers. De uitslag wordt in het eerste kwartaal van 2014 verwacht. Dat het met het vertrouwen wel goed zit, bleek opnieuw uit de klanttevredenheidsmeting eind 2012. De resultaten werden begin 2013 geanalyseerd. Daarin werd duidelijk dat deelnemers van Stem nog steeds een dikke voldoende geven voor de dienstverlening van Stem. En alle ROC s zijn en blijven lid, omdat zij vertrouwen hebben in de organisatie van Stem. IVA Driebergen is toegetreden tot Stem. Zij willen graag aansluiten bij een structuur die in onze branche haar sporen heeft verdiend. Dat vertrouwen straalt ook af naar andere branches. Voor de Transport en Logistiek zijn in 2013 stappen gezet om volgens het model van Stem te gaan werken. Ook is er regelmatig contact met collega-examenleveranciers om over en weer op interessante thema s te blijven uitwisselen en van elkaar te leren. Uitwisselen gebeurt ook tussen Stem en Stichting Mobiliteitsleren. Zo worden examens en leermiddelen meer met elkaar in lijn gebracht. Maar ook wordt er samengewerkt om ROC s te ontzorgen, bijvoorbeeld op het thema van intensivering en daarop aansluitende onderwijs- en examenprogramma s. Een belangrijke stap naar de nieuwe kwalificatiedossiers en het uniforme format is nog niet gezet. Door uitstel van definitieve invoering van de kwalificatiedossiers ontstaat er ook meer tijd om ROC s goed te betrekken bij de totstandkoming van dat nieuwe format. Dit wordt door Stem in 2014 verder opgepakt, op basis van de kwalificatiedossiers uit de gebruikerstest. Desalniettemin is er in 2013 weer een heleboel bereikt. In dit jaarverslag treft u een weergave van alle activiteiten en resultaten. Namens het bestuur van Stem, René van Gils, voorzitter Nieuwegein, mei 2013 Jaarverslag Stem 2013 3
Ontwikkelen beoordelingsinstrumenten Stem algemeen Ondersteuning pilots Om ROC s te ondersteunen bij een goede toepassing van de Stem-instrumenten, of verbetering van eigen instrumenten, biedt Stem al diverse jaren ondersteuning aan richting ROC s. In 2013 werden diverse ROC-initiatieven ondersteund. Hieronder volgt een korte weergave van de betreffende pilots. StemFeedback (Markiezaat College, Deltion College, Noorderpoort College): Paragin heeft kosteloos een testomgeving opgezet waarmee de 360-Remindo-tool getest kan worden op bruikbaarheid binnen Stem. De pilot vindt plaats onder de noemer StemFeedback. Een drietal scholen heeft ervaring opgedaan met het invullen van de verbeterde feedbacktool door docent, leermeester en leerling. Eind 2013 is door het Stem-bestuur besloten dat dit instrument onvoldoende toegevoegde waarde biedt ten opzichte van de bestaande Stem-instrumenten. Het is feitelijk een digitaal invulbaar BPV-formulier geworden. Daarvoor zijn ook goedkopere oplossingen. Zo is er voor ROC Mondriaan voor de opleiding Bedrijfsautotechniek een beveiligd Excel-formulier voor de BPVbeoordeling uitgewerkt. Ook zijn er gesprekken gevoerd met andere examenleveranciers welke oplossingen zij voor digitaal beoordelen hebben bedacht. Assemblagetechnicus In de opzet van de instrumenten voor Assemblagetechnicus is in 2012 in de BPV-beoordeling voor een andere werkwijze gekozen, dan bij de andere BPV-instrumenten. Dit is een kleine doelgroep en Stem en de twee betrokken ROC s wilden eens ervaring opdoen met een andere, beknoptere vorm van beoordelen. Stem heeft gesprekken gevoerd met de betrokken ROC s (Summa College en Deltion College) om de ervaringen te peilen. Uitkomst is, dat er wordt voortgezet met de gekozen werkwijze. Screening ROC-eigen instrumenten In 2013 zijn de beoordelingsinstrumenten van het Noorderpoort College beoordeeld voor de kwalificatie Autotechnicus en voorzien van feedback. Zij hebben de input gebruikt voor een verbeterslag in hun instrumentarium. Ook zijn de beoordelingsinstrumenten van ROC van Twente beoordeeld voor de kwalificatie Revisietechnicus. Na een bespreking in de legitimeringscommissie is besloten de input van ROC van Twente te gebruiken in een Stem-variant van de beoordeling. Samenwerking Stichting Mobiliteitsleren Stichting Mobiliteitsleren werkt met praktijkrelevante opdrachten in de LearningBOX. In 2011 is besloten de Stem-producten ook via LearningBOX beschikbaar te stellen aan de scholen. In 2013 heeft er een update plaatsgevonden van de Stem-beoordelingsinstrumenten in de LearningBOX. Samenwerking BTG-mct Structureel worden door Stem-medewerkers de bijeenkomsten van de BTG onderstructuur bijgewoond om input te leveren vanuit de examinering. Daarnaast heeft Stem in 2013 met de BTGmct en Stichting Mobiliteitsleren belangrijke stappen gezet in ondersteuning van ROC s bij de invoering van de intensivering. Voor de tweewieleropleidingen is gezamenlijk gewerkt aan één opleidingsstructuur voor niveau 2 en 3. Ook voor de carrosserieopleidingen zijn hiervoor voorbereidende stappen uitgevoerd (bijeenkomst vond plaats in januari 2014). Ook is meegedacht over de invulling van de miniconferentie van de BTG-mct over dit thema (vond plaats op 24 januari 2014). Jaarverslag Stem 2013 4
Samenwerking kenniscentra Binnen de kenniscentra is ook in 2013 gewerkt aan de opzet en invulling van een nieuw format voor kwalificatiedossiers. Stem heeft deze ontwikkeling aangegrepen om actief terugkoppeling te geven op de huidige dossiers (examineerbaarheid verbeteren). Daarnaast is er meegedacht over de formulering van exameneisen, de invulling van de kenmerkende beroepssituaties. Begin april 2013 heeft Stem meegewerkt aan de implementatietoets van een aantal conceptdossiers en heeft ook steeds de expertbijeenkomsten bijgewoond om de dossiers steeds verder te helpen finetunen. Daarnaast zijn er in 2013 een viertal bijeenkomsten geweest, waarbij met de 8 technische kenniscentra is nagedacht over een concrete uitwerking van een uniforme opzet van examinering voor de technische branches. Dit lag geheel in lijn met de uniforme opzet voor de MCT-branche. Vanwege de situatie rondom de kenniscentra is er vooralsnog voor gekozen dat iedere partij afzonderlijk zijn voordeel doet met de uitkomsten, maar dat samenwerking op dit vlak wordt stopgezet. Wel is er aansluiting gezocht tussen examenleveranciers (branche breed) om te kijken of er uitgewisseld en samengewerkt kan worden op diverse punten (bv. toetssystemen, digitaliseren, keurmerk examenleveranciers, ). Samenwerking vmbo Er is een werkgroep rondom examinering in het vmbo. Voor de richting Mobiliteit en Transport is er vanuit Stem een vertegenwoordiger die meedenkt in deze werkgroep. Deze input is vooral bedoeld om de examinering te stroomlijnen tussen vmbo en mbo. Verkenning publiek-private samenwerking in regio Amsterdam Op verzoek van ROC van Amsterdam en BOVAG is er een verkenning uitgevoerd voor de bijdrage van Stem in de publiek-private samenwerking die in de betreffende regio wordt vormgegeven. Input project Verbrandingsmotoren Bijeenkomsten van het project Technisch Specialist Verbrandingsmotoren zijn bijgewoond om input te leveren vanuit de examinering. Daarnaast zijn er diverse voorlichtingen voor docenten en leermeesters uitgevoerd. Ook heeft Stem de uitvoering van de Proeve van Bekwaamheid in het leerbedrijf gevolgd, om te evalueren of de Stem-instrumenten goed aansluiten op de situatie in praktijk. Input project Truckacademy Bijeenkomsten van het project Truckacademy zijn bijgewoond om input te leveren vanuit de examinering. Ook de slotconferentie is bijgewoond. Deskundigheidsbevordering beoordelaars Op verzoek van verschillende ROC s zijn voorlichtingen voor docenten en leermeesters georganiseerd, om hen wegwijs te maken in de Stem-producten. Voor één ROC betrof dit ondersteuning bij een trainingstraject voor de examencommissies, maar veelal betrof dit voorlichtingen tijdens leermeesteravonden of teamvergaderingen van docenten. Ontwikkelen beoordelingsinstrumenten LLB, talen en rekenen/ wiskunde Nederlands en rekenen In de Normenbundel exameninstrumenten 2012 (versie 2) staat vermeld dat scholen niet hoeven aan te tonen dat zij beroepsgericht Nederlands en rekenen toetsen. Dat wil zeggen: de Inspectie van het Onderwijs controleert niet of deze taal- en rekenvaardigheden in voldoende mate terugkomen in het beroepsgerichte examen. Ook hoeven scholen geen verantwoording af te leggen over het al dan niet afzonderlijk examineren van deze vaardigheden. Stem vindt dit een logische keuze, omdat de betreffende vaardigheden integraal onderdeel uitmaken van datgene wat de deelnemer moet kennen en kunnen in de context van de werkprocessen. Stem heeft daarom in 2013 geen actie ondernomen richting beoordelingsinstrumenten voor beroepsgericht Nederlands en rekenen. Jaarverslag Stem 2013 5
Beroepsgerichte moderne vreemde taal Anders dan op de examinering van rekenvaardigheid en Nederlandse taalvaardigheid in de beroepscontext, houdt de Onderwijsinspectie wel expliciet toezicht op die van de moderne vreemde taal in de beroepscontext. Van belang is, dat de in deel C beschreven taalvaardigheid wordt getoetst op een manier die past bij de context van het werkproces waarin deze wordt geëist. Het bijbehorende referentieniveau in deel D geldt slechts als indicatie. Hier controleert de Onderwijsinspectie dan ook niet op. Hierover is veel onduidelijkheid bij de scholen. Stem heeft in dit kader diverse vragen van ROC s verhelderd en regelmatig overleg hierover gevoerd met het kenniscentrum. Binnen Stem is in 2013 beeld gebracht bij welke kwalificatiedossiers beroepsgerichte moderne vreemde taal aan de orde is. Dit is met name aan de orde bij de kwalificaties Motorvoertuigen- en Tweewielertechniek (maar niet allemaal) en niet van toepassing voor de kwalificaties in de Carrosseriebranche. Er wordt daarbij uitgegaan van Engels, omdat de grootste truck- en automerken in Nederland daarmee werken in hun werkplaatsdocumentatie en onderdelenbestelsysteem. Er zijn notities opgesteld om ROC s al richting te geven in de examinering van de beroepsgerichte moderne vreemde taal. In 2013 zijn beoordelingsinstrumenten ontwikkeld voor twee varianten van examinering voor beroepsgericht Engels, voor het kwalificatiedossier Autotechnicus. De ene variant betrof een losse papieren toets, de andere variant betrof Engels geïntegreerd in de Proeve van Bekwaamheid. Met beide varianten is ervaring opgedaan. Op basis van de ervaringen in de pilots (grotendeels positief) is er in 2013 nog een start gemaakt met de ontwikkeling van beroepsgerichte exameninstrumenten Engels voor de kwalificaties Motorfietstechnicus, Eerste Motorfietstechnicus, Verkoopmanager en Bedrijfsmanager. Voor de andere kwalificaties (waar beroepsgericht Engels aan de orde is) moeten deze beoordelingsinstrumenten nog ontwikkeld worden. Examenprocessen Stem wil ROC s graag werk uit handen nemen en hen faciliteren in goede examinering van ontwikkeling tot uitvoering. Er is afgesproken om de activiteiten van Stem te verbreden, door een actieve rol op te pakken in de examineringprocessen. In 2013 was er slechts één ROC dat een preaudit op de examenprocessen wilde laten uitvoeren (ROC van Amsterdam, vestiging Hilversum). In de klanttevredenheidsmeting van eind 2012 kwam naar voren men hier maar beperkt behoefte aan heeft. Het bestuur vindt het desondanks belangrijk om vinger aan de pols te houden rondom goede toepassing van de instrumenten en toezien op kwaliteit. Daarom is besloten in 2014 scholen actiever te benaderen voor dergelijke audits en de vraag niet af te wachten. Uniforme instrumentenmix In 2013 had Stem een duidelijke opdracht: ervoor zorgen dat er beoordelingsinstrumenten beschikbaar komen conform een nieuwe uniforme opzet die passen bij de nieuwe kwalificatiedossiers. Echter uitstel van invoering van de nieuwe kwalificatiedossiers leidde ook tot vertraging op dit front. In de deelnemersraad in november 2013 is gesproken over de wensen ten aanzien van de planning van de uniformere/ nieuwe opzet, in relatie tot de definitieve invoering van de nieuwe kwalificatiedossiers (uniformiteit versus stabiliteit). Er is besloten om de testdossiers, die worden besproken in de gebruikerstest, aan te grijpen als testcase voor de nieuwe uniforme opzet. Dat betekent niet dat de deelbranches geen stappen nader tot elkaar hebben gezet. In 2013 zijn de vergaderingen van de legitimeringscommissies gelijktijdig gepland, zodat overleg over gezamenlijke thema s mogelijk was. Ook is er een gezamenlijk kader voor kwalificerende theorietoetsing uitgewerkt en vastgesteld in de legitimeringscommissies Carrosserie en M&T. En er zijn eerste stappen gezet voor een nieuw gezamenlijk verantwoordingsdocument. Jaarverslag Stem 2013 6
Focus op examinering Binnen de MBO Raad is er een project ingericht om de kwaliteit van de examinering in het onderwijs verder te borgen. Dit doen zij door onder meer een analyse van de kwaliteit te maken en daarvoor ondersteunende kwaliteitsinstrumenten te ontwikkelen en in te richten. Vanuit Stem is op punten input geleverd hiervoor. Motorvoertuigen- en tweewielers (Door)ontwikkelen beoordelingsinstrumenten Voor de niet-technische dossiers moesten nog een aantal kwalificaties omgezet worden naar de nieuwe richtlijnen van de Inspectie en het Ministerie van OCW. De dossiers Werkplaatsmanager, Verkoopmanager en Bedrijfsmanager zijn in 2013 opgeleverd op basis van cohort 2012-2013. Daarbij zijn beoordelingen uit elkaar getrokken om een oordeel per kerntaak mogelijk te maken en is er een beoordeling op basis van een driepuntsschaal mogelijk. Er zijn diverse aanpassingen en aanvullingen voor het bestaande instrumenten opgepakt. Zo is er gewerkt aan de proeve opdrachtenlijst voor de kwalificaties Scootertechnicus en Eerste Scootertechnicus (bruikbaar voor alle cohorten). Er is gekeken naar de vrijstellingsregeling voor Eerste Autotechnicus en Technisch Specialist. De deelnemersinformatie voor Eerste Fietstechnicus (cohort 2012-2013) is aangepast. Er is een aanvulling gemaakt op de beoordelingsrichtlijnen voor Werkplaatsmanager (cohort 2007-2088, maar wordt nog steeds toegepast). Daarnaast zijn er voor Werkplaatsmanager en Verkoopmanager nieuwe varianten van rollenspellen uitgewerkt, om toe te voegen aan de bestaande mix. Ondanks dat er voor cohort 2013-2014 geen inhoudelijke wijzigingen zijn opgenomen in de kwalificatiedossiers én er nog geen nieuwe kwalificatiedossiers van kracht ziijn, zijn er toch nieuwe beoordelingsinstrumenten uitgewerkt en gelegitimeerd (volgens de oude opzet). Er zijn hier en daar wat foutjes eruit gehaald en de handleidingen zijn aangescherpt en meer ingericht volgens de richtlijnen (kopjes) van de Inspectie van het Onderwijs. Deze update is uitgevoerd voor de volgende kwalificaties: Assistent Mobiliteitsbranche Autotechnicus Eerste Autotechnicus Technisch Specialist Personenauto s Bedrijfsautotechnicus Eerste Bedrijfsautotechnicus Technisch Specialist Bedrijfsauto s Fietstechnicus Eerste Fietstechnicus Scootertechnicus Eerste Scootertechnicus Motorfietstechnicus Eerste Motorfietstechnicus Verbrandingsmotortechnicus Eerste Verbrandingsmotortechnicus Technisch Specialist Verbrandingsmotoren Serviceadviseur Mobiliteitsbranche (nog legitimeren) Verkoopadviseur Mobiliteitsbranche (nog legitimeren) Werkplaatsmanager Mobiliteitsbranche Revisietechnicus (nog legitimeren) (nog legitimeren) Assemblagetechnicus Er is daarnaast een start gemaakt met een vertaaltabel om voor diverse kwalificaties de beoordeling toch te kunnen baseren op basis van een 10-puntsschaal. Bij sommige ROC s is op bestuurlijk niveau bepaald dat dit de norm is op basis waarvan de resultaten op het diploma moeten worden vermeld. Dit wordt in het eerste kwartaal 2014 afgerond. In 2013 is ook gekeken of het werken met Rubrics helpt in de beoordeling van de softskills. De legitimeringscommissie kwam tot de conclusie dat het helaas niet voldoende bruikbaar is in de examinering (vooral bedoeld om groei aan te tonen, maar geen eindniveau). Jaarverslag Stem 2013 7
Ontwikkelen theorietoetsenbank Op de bestaande theorietoetsen (gebaseerd op lesstof) zijn diverse aanpassingen uitgevoerd, naar aanleiding van vragen en opmerkingen in het gebruik. Er zijn daarnaast op de structuur van Stichting Mobiliteitsleren toetsen voor Eerste Motorfietstechnicus ontwikkeld. Er is gewerkt aan een opzet voor kwalificerende theorietoetsing, geordend per kerntaak/ kennisaspecten in de kwalificatiedossiers. Deze toetsen zijn lesstof onafhankelijk. In eerste instantie is lang gediscussieerd in de praktijkopdrachtencommissie (=delegatie van de legitimeringscommissie) over de indeling van dergelijke toetsen en de wijze van bevraging. Hoe toets je het beste kennis die na twee jaar opleiden ook is blijven hangen? Welke kennis moet iemand kunnen reproduceren? Kun je het beste open of gesloten vragen opnemen, etc? Voor Autotechnicus, Eerste Autotechnicus en Technisch Specialist is de indeling uitgebreid besproken. Ook is er gesproken over de diepgang van de kennis. Waar houdt het ene niveau op en waar start het volgende niveau? Er is daarbij ook gekeken naar de BrancheKwalificatieStructuur (BKS) van Stichting OOMT. Voor Autotechnicus en Eerste Autotechnicus zijn toetsmatrijzen uitgewerkt en de toetsen in concept klaar om gepilot te worden. Aan Technisch Specialist wordt ook gewerkt. Voor de kwalificaties Serviceadviseur, Verkoopadviseur en Werkplaatsmanager zijn de witte vlekken rondom de kennisaspecten in beeld gebracht en is er ook gewerkt aan toetsen voor deze witte vlekken. Voor deze kwalificaties is ook een start gemaakt met een experiment verantwoordingsdocument, waarbij de kennisaspecten ook duidelijk en expliciet worden verantwoord. De hele opzet voor deze drie kwalificaties (verantwoording, proeven, BPV én kennistoetsing) ligt eind januari 2014 voor ter legitimering. Carrosserie (Door)ontwikkelen beoordelingsinstrumenten Stem (Stichting Examens Mobiliteitsbranche) is verantwoordelijk voor ontwikkeling en onderhoud van de examens binnen de opleidingen voor Motorvoertuigen, Carrosserie en Tweewieler. Veel examenproducten voor de carrosseriebranche zijn sinds hun legitimering ongewijzigd gebleven. Uiteindelijk is na verloop van tijd onderhoud en aanpassing van deze producten onvermijdelijk, ook al doen zich geen wijzigingen voor in onderliggende kwalificatiedossiers. De Stem producten voor Carrosserie zijn in 2013 nagenoeg allemaal onder handen genomen. Aanleidingen voor aanpassing van de producten waren de evaluaties met beoordelaars/ examinatoren en de verbetervoorstellen die hieruit naar voren kwamen, opmerkingen vanuit de Examencommissie of gesprekken met en zienswijzen van de Inspectie van het Onderwijs. Ook hebben zich wijzigingen voorgedaan in de weten regelgeving voor examinering. Die hebben uiteraard ook gevolgen voor de examenproducten. Voorbeelden zijn: resultaatberekening per kerntaak, of het berekenen van een eindbeoordeling op basis van een meerpuntsschaal. Zaken die uiteraard zijn meegenomen in het onderhoud van de Stem producten voor Carrosserie. Met het doorgevoerde onderhoud beschikt de carrosseriebranche over een set actuele examenproducten. Daarmee is het volgende totaaloverzicht ontstaan van kwalificaties waarvoor Proeven van Bekwaamheid beschikbaar zijn: Assistent Mobiliteitsbranche (93742) Autospuiter niveau 2 (91770) Autospuiter niveau 3 (91780) Autoschadehersteller niveau 2 (95030) Autoschadehersteller niveau 3 (95041) Autoschadetechnicus niveau 3 (95042) Carrosseriebouwer niveau 2 (91790) Carrosseriebouwer niveau 3 (91800) Caravantechnicus niveau 2 (92980) Jaarverslag Stem 2013 8
Caravantechnicus niveau 3 (92990) Werkplaatsmanager Carrosseriebouw (93385) Werkplaatsmanager Schadeherstel (93386) Alle vernieuwde proeven voor Carrosserie kennen eenzelfde samenstelling van documenten en modellen, waardoor een overzichtelijk en eenduidig geheel ontstaat. Deze samenstelling bestaat uit: een verantwoordingsdocument, een opdrachtenset met bijlagen, een beoordelingsformulier en een benodigdhedenlijst. In de proeven wordt gewerkt met een eenduidige beoordeling en resultaatbepaling per kerntaak op basis van een 10-puntsschaal. Alle bovengenoemde zaken zijn gepubliceerd op StemToets Carrosserie en zijn openbaar en vrij toegankelijk voor de onderwijsinstelling en de student. De benodigdhedenlijsten zijn niet alle gevallen gepubliceerd, maar wel opvraagbaar door de onderwijsinstelling. In de benodigdhedenlijst kunnen namelijk schema s, tekeningen, fotomateriaal zijn opgenomen die de deelnemer de oplossing geeft op vraagstukken in de opdrachten. Verder zijn in 2013 BPV-instrumenten ontwikkeld voor de kwalificaties Autoschadetechnicus niveau 3 (95042) en Carrosseriebouwer niveau 2 (91790). Deze instrumenten zijn eind 2013 opgeleverd en zullen in het eerste kwartaal van 2014 voorgelegd worden aan de Stem Legitimeringscommissie Carrosserie. Voor één opleiding zijn er nog geen beoordelingsinstrumenten via Stem beschikbaar. Dat zal plaatsvinden op aanvraag van de ROC s. Het betreft de kwalificatie Bedrijfsmanager Mobiliteitsbranche VOC (94252). Ontwikkelen theorietoetsenbank In 2013 zijn de bestaande theorietoetsmatrijzen en theorietoetsen voor de Carrosserieopleidingen, herzien en doorontwikkeld. De theorietoetsen toetsen zowel delen van de kerntaken uit het kwalificatiedossier, als de volledige kerntaken. Onderwijsinstellingen kunnen de theorietoetsen daardoor inzetten, zoals dat het beste past binnen hun didactisch model. Alle toetsmatrijzen zijn doorgesproken en voorgelegd aan de Stem Legitimeringscommissie Carrosserie. Een deel van de toetsmatrijzen is in 2013 uitgewerkt naar theorietoetsen. Voor de volgende kwalificaties zijn toetsmatrijzen opgesteld en gelegitimeerd: Autospuiter niveau 2 (91770) Autospuiter niveau 3 (91780) Autoschadehersteller niveau 2 (95030) Autoschadehersteller niveau 3 (95041) Carrosseriebouwer niveau 2 (91790) Carrosseriebouwer niveau 3 (91800) Voor de kwalificaties Autospuiter niveau 2 (91770) en Carrosseriebouwer niveau 2 (91790) zijn de toetsmatrijzen uitgewerkt naar theorietoetsen. Deze theorietoetsen zijn per 1 februari 2014 beschikbaar voor afname. Een deel van deze theorietoetsen is eind 2013 gelegitimeerd. Het overige deel zal eind januari 2014 gelegitimeerd worden. Vaststellen en legitimeren van beoordelingsinstrumenten Algemeen Om afstemming tussen de beide Stem legitimeringscommissies mogelijk te maken, is er in 2013 voor gekozen om dezelfde vergaderdata aan te houden. Als er dan gezamenlijke agendapunten zijn, dan kunnen de clubs worden samengevoegd om gezamenlijk te discussiëren over inhoudelijke zaken en gezamenlijk lijnen uit te zetten en adviezen te formuleren aan het bestuur. In 2013 is samen overleg Jaarverslag Stem 2013 9
gevoerd over gezamenlijke uitgangspunten rondom kwalificerende theorietoetsing. Richtlijnen hiervoor zijn op papier gezet, bediscussieerd en bekrachtigd. De nieuwe kwalificerende theorietoetsen worden volgens die richtlijnen uitgewerkt. Ook voor 2014 zijn weer een vijftal data gepland, die in de agenda s van de beide legitimeringscommissies vermeld staan. Motorvoertuigen- en tweewielers In 2013 is de legitimeringscommissie Motorvoertuigen- en tweewielertechniek acht keer bijeen gekomen. De commissie vergaderde op de volgende data: (klein comité commissie m.b.t. opzet en woordenlijst Engels) 24 januari 2013 14 maart 2013 20 juni 2013 4 september 2013 (klein comité commissie m.b.t. theorie) 26 september 2013 29 oktober 2013 (klein comité commissie m.b.t. theorie) 13 november 2013 (klein comité commissie m.b.t. opdrachten proeven) 18 december 2013 (klein comité commissie m.b.t. theorie) ROC-eigen instrumenten Het Noorderpoort College wilde haar eigen examen voor Autotechnicus graag inbrengen in Stem en (waar mogelijk) voor vergoeding in aanmerking komen. In 2012 zijn de instrumenten van het Noorderpoort College al beoordeeld aan de hand van het Meta-B-instrument en van feedback voorzien. Het ROC heeft de aanpassingen vervolgens in het voorjaar 2013 aangeleverd en besproken. De instrumenten voldoen niet 100% aan de geformuleerde richtlijnen in het Meta-Binstrument. Het ROC kiest er bewust voor om op enkele punten (onderdeel van het examen in de BPV) geen aanpassingen door te voeren. Zij zullen de producten daarom niet bij Stem inbrengen. Gelegitimeerde beoordelingsinstrumenten Dossier 2012-2013 (door Stem ontwikkelde instrumenten): Werkplaatsmanager, Verkoopmanager, Bedrijfsmanager Dossier 2013-2014 (door Stem ontwikkelde instrumenten): Assistent Mobiliteitsbranche Autotechnicus Eerste Autotechnicus Technisch Specialist Personenauto s Bedrijfsautotechnicus Eerste Bedrijfsautotechnicus Technisch Specialist Bedrijfsauto s Fietstechnicus Eerste Fietstechnicus Scootertechnicus Eerste Scootertechnicus Motorfietstechnicus Eerste Motorfietstechnicus Verbrandingsmotortechnicus Eerste Verbrandingsmotortechnicus Technisch Specialist Verbrandingsmotoren Serviceadviseur Mobiliteitsbranche (nog legitimeren) Verkoopadviseur Mobiliteitsbranche (nog legitimeren) Werkplaatsmanager Mobiliteitsbranche Revisietechnicus (nog legitimeren) (nog legitimeren) Assemblagetechnicus Jaarverslag Stem 2013 10
Samenstelling commissie In 2013 had de commissie de volgende samenstelling: Vertegenwoordigers bedrijfsleven legitimeringscommissie Motorvoertuigen- en tweewielertechniek: Joan Engels Roland Schröder Antoon Wisman Emil van Leeuwen Bert Winters Vacature (tweewielerbranche) Vertegenwoordigers ROC s legitimeringscommissie Motorvoertuigen- en tweewielertechniek: Klaas de Boer (Regio College) Kees Saarloos (ROC Rivor) Arien Reyngoudt (ROC Mondriaan) Jeroen van Tuijl (ROC Flevoland) Michel Greven (ROC van Twente) Dio van der Mee (Albeda College), per 1-9 afscheid genomen (nu vacature) Cor Scholte (Noorderpoort College), per 1-9 afscheid genomen (nu vacature) Vertegenwoordiging vanuit de tweewielerbranche is helaas een aandachtspunt. Door persoonlijke omstandigheden haakte een branchevertegenwoordiger al voor daadwerkelijke deelname aan de commissie af. Bij de wisseling van het schooljaar werd duidelijk dat twee ROC-vertegenwoordigers een ander takenpakket kregen, waardoor zij niet meer konden deelnemen aan de commissie. Er is in het laatste kwartaal van 2013 een oproep uitgegaan voor nieuwe leden. De aanmeldingstermijn liep tot 1 januari 2014. Begin 2014 zal duidelijk worden wie de commissie gaan versterken. Carrosserie In 2013 is de Stem Legitimeringscommissie Carrosserie 5 keer bijeen gekomen. Daarnaast is de legitimeringscommissie eenmaal per e-mail geconsulteerd. Het betrof hier het behandelen van een beperkte aanvulling op een eerder gelegitimeerd instrument. De commissie vergaderde op de volgende data: 14 maart 2013 30 mei 2013 20 juni 2013 (klein comité voor gezamenlijke bespreking theorie met M&T) 26 september 2013 21 november 2013 ROC-eigen instrumenten Een aantal ROC s heeft de afgelopen jaren eigen producten en instrumenten ontwikkeld die nog niet gezamenlijk in Stem-verband zijn behandeld. Aan ROC s is gevraagd deze instrumenten ter legitimering aan te bieden. Helaas geven ROC s hier tot op dusver geen gehoor aan. Gelegitimeerde beoordelingsinstrumenten In 2013 is gewerkt aan onderhoud en variatie van beoordelingsinstrumenten. De aanpassingen in de instrumenten waren vooral gericht op uitbreidingen en aanvullingen. Daarbij zijn de volgende exameninstrumenten ingebracht, gelegitimeerd en vastgesteld: Gelegitimeerde Proeve van bekwaamheid: o Vernieuwde proeve van bekwaamheid Autoschadetechnicus niveau 3, crebo 95042 o Vernieuwde proeve van bekwaamheid Carrosseriebouwer niveau 2, crebo 91790 o Vernieuwde proeve van bekwaamheid Carrosseriebouwer niveau 3, crebo 91800 o Proeve van bekwaamheid Caravantechnicus niveau 2, crebo 92890 o Proeve van bekwaamheid Caravantechnicus niveau 3, crebo 92990 Jaarverslag Stem 2013 11
Behandelde proeven van bekwaamheid (legitimering na eventuele testsessies in januari/februari 2014): o Vernieuwde proeve van bekwaamheid Autospuiter niveau 2 (91770) o Vernieuwde proeve van bekwaamheid Autospuiter niveau 3 (91780) o Vernieuwde proeve van bekwaamheid Autoschadehersteller niveau 2, crebo 95030 o Vernieuwde proeve van bekwaamheid Autoschadehersteller niveau 3, crebo 95041 o Vernieuwde proeve van bekwaamheid Werkplaatsmanager Schadeherstel niveau 4, crebo 93386 Vastgestelde theorietoetsen: o Autospuiter niveau 2, crebo 91770, 1e leerjaar (legitimering 2 e leerjaar volgt in januari 2014) o Carrosseriebouwer niveau 2, crebo 91790, 1e leerjaar (legitimering 2 e leerjaar volgt in januari 2014) Samenstelling commissie In 2013 had de commissie de volgende samenstelling: Vertegenwoordigers bedrijfsleven Stem Legitimeringscommissie Carrosserie Willy Sprockel, FOCWA sectie Schadeherstel Wilfried Herder, Herder Autoschade, Leusden Hans Booi, Bejabo Ridderkerk, Ridderkerk Bauke IJntema, IJntema Carrosseriebouw, Heerenveen Bram van Leeuwen, Jan de Jong Autoschade, Amersfoort Jeroen Eekhout, Autoschade Eekhout, Pijnacker Henk Vedder, Caravancentrum Berkenbosch, Eefde Lambert den Elzen, Caravan Assist Zeeland Bob van den Ende, Van den Ende Advies, Spijkenisse Vertegenwoordigers ROC s Stem Legitimeringscommissie Carrosserie John Loeffen, Rijn IJssel, Arnhem Henk Baas, ROC Albeda College, Rotterdam (heeft afscheid genomen) Geert Broeksema, ROC Deltion College, Zwolle Toon Dekkers, ROC Eindhoven, Eindhoven Rene Jonkman, ROC Leiden, Leiden Sander de Wijhe, ROC Midden Nederland Furoze Piergolam, ROC Mondriaan, Den Haag Distributie en toetssysteem Stem algemeen Alle producten van Stem zijn bereikbaar via StemToets (M&T of Carrosserie). Deze kan men benaderen via de Stem-website. In 2013 is de lay-out van StemToets aangepast aan de look and feel van de Stem-website. Ook zijn er in het afgeschermde deel voor M&T enkele structuurwijzigingen doorgevoerd. Gedurende het hele jaar zijn er extra aanmeldingen voor toegang tot StemToets ontvangen en aangemaakt. Om het beheer van beoordelingsinstrumenten voor de toekomst efficiënter in te richten zijn er goede stappen gezet in het bouwen van een content managementsysteem, gekoppeld aan de site. Eind 2013 is gewerkt aan een vervanging van de inlogprocedure voor StemToets M&T. Deze was gekoppeld aan het oude toetssysteem Daarnaast zijn in 2013 nieuwe Stem-instrumenten geplaatst in de The Learning Box. Het handmatig aanleveren en plaatsen is niet optimaal, maar koppelingen naar StemToets zijn lastig te realiseren. Ook is er gesproken met Electude, en zijn de Stem-instrumenten handmatig aangeleverd. Voor Stem is het een zeer onwenselijke situatie om op meer plekken de instrumenten te moeten onderhouden. Er wordt gekeken naar mogelijkheden om dit slimmer in te richten. Jaarverslag Stem 2013 12
Motorvoertuigen en Tweewielers Op StemToets M&T zijn de beoordelinginstrumenten voor Motorvoertuigen- en Tweewielers beschikbaar. De nieuwe en aangepaste beoordelingsinstrumenten zijn daar geplaatst. Ook het invoeren van nieuwe of bijgestelde toetsitems en het genereren van theorietoetsen gebeurt in StemToets M&T. Op StemToets M&T was er ook een mogelijkheid voor beeldschermtoetsen. Het systeem waar dit op draaide is eind 2013 vervangen door een nieuw systeem. Eind 2013 zijn werkzaamheden verricht om de bestaande items uit de oude bank zeker te stellen voor gebruik in de nieuwe bank en is er afstemming geweest met het beperkte aantal scholen dat online toetste. Begin 2014 zal een plan worden gemaakt, hoe dit slim geïntroduceerd en in gebruik kan worden genomen door de ROC s. Carrosserie Op StemToets Carrosserie zijn alle beoordelinginstrumenten voor Carrosserie beschikbaar. Zodra nieuwe instrumenten zijn ontwikkeld of bestaande opdrachtencombinaties zijn bijgesteld, worden deze gepubliceerd. Binnen StemToets Carrosserie bestaat tevens de mogelijkheid voor beeldschermtoetsen. Binnen de opleidingen voor de carrosseriebranche wordt hier door ROC s intensief en met succes gebruik van gemaakt. De toegang tot deze beeldschermtoetsen wordt verkregen via een link naar het inlogscherm van het toetsprogramma. Daarnaast wordt in StemToets Carrosserie de beveiligde toegang gegeven voor de docenten/beheerder van het ROC tot de deelnemerresultaten. Ook voor de Carrosserie is ervoor gekozen om te gaan werken met een nieuw toetssysteem. Naast de doelgroep ROC-studenten, wordt de toetsbank voor Carrosserie eveneens ingezet voor andere doelgroepen binnen de carrosseriebranche en moet daarom aansluiten op het CRM-systeem van VOC als toetsleverancier. Dat maakte dat Carrosserie en M&T gekozen hebben voor een verschillend toetssysteem. De gebruikers hebben hier geen last van. Voor Stem is het fijn dat de toetssystemen (zowel Carrosserie als M&T) voldoen aan de nieuwe richtlijnen en technieken en daarbij kunnen meeliften op de toeleveranciers VOC en IBKI. Inspectie Stem algemeen Stem is als leverancier van examens weer in beeld bij de Inspectie. De leveranciers worden eens in de drie jaar onderzocht, eenzelfde frequentie als de scholen. Daarnaast vindt er jaarlijks een informatief gesprek plaats, waarin over en weer wordt uitgewisseld over de ontwikkelingen binnen beide organisaties. Dit biedt Stem de mogelijkheid om vragen te stellen over de interpretatie van weten regelgeving en de concrete uitwerking daarvan in de exameninstrumenten. En het geeft de Inspectie inzicht in de ontwikkelingen binnen Stem. Medio 2013 vond er een gesprek plaats, op initiatief van Stem. Er waren diverse vragen van ROC s, die Stem graag wilde verhelderen. Beoordeling over langere periode door eigen leermeester als onderdeel van examinering Resultaat per werkproces vereist Normantwoorden en scoringsvoorschrift voor praktijktoetsen Rekenformule meerpuntsschaal Toepassing Toezichtkader BVE 2012 De uitkomsten van het gesprek zijn in een nieuwsbrief naar de scholen gecommuniceerd. Daarnaast zijn er nog een aantal contactmomenten geweest, tijdens de beoordeling van Stemproducten op een ROC door de Inspectie. Hiermee biedt Stem indirect steun aan ROC, door vragen van de Inspectie te verduidelijken en aanvullende informatie aan te leveren. In de voortgangsgesprekken met de ROC s worden ook steeds tips verstrekt hoe een ROC kan aantonen Jaarverslag Stem 2013 13
dat het in control is, ondanks inkoop van examenproducten. Dit is voor de Inspectie een belangrijk speerpunt. De Inspectie werkt de lijst met beoordeelde producten van Stem periodiek bij. Stem heeft deze lijst op de Stem-website beschikbaar gesteld. De inschatting is dat Stem in 2014 zal worden beoordeeld op basis van een steekproef bij Stem. Veel examenleveranciers, waaronder ook Stem, zouden de scholen graag meer en sneller zekerheid geven over de kwaliteit van de geleverde examenproducten en -diensten. De Inspectie gaat de examenleveranciers weliswaar weer beoordelen, maar dat gebeurt slechts eens per drie jaar. Wanneer de Inspectie dan langskomt, blijkt of de examens voldoen aan de standaarden. Stem wil graag vooraf zekerheid geven over de kwaliteit van de ingekochte examens. Examenleveranciers onderkennen deze vraag en hebben de handen ineengeslagen. De examenleveranciers, verenigd in Excenter, ontwikkelden een keurmerk. Dit is een vrijwillig keurmerk, gebaseerd op de standaarden van de Inspectie. Een keurmerk waarmee examenleveranciers vooraf kunnen aantonen dat hun producten en/of de diensten 'Inspectieproof' zijn. De audits worden uitgevoerd in samenwerking met de onafhankelijke certificerende instelling Kiwa en toetstechnische auditoren van een andere examenleverancier. Stem is in het najaar 2013 gestart met het verkrijgen van het keurmerk. Er heeft al een organisatieaudit plaatsgevonden. De productaudits moeten nog (deels) plaatsvinden. Uiterlijk eind eerste kwartaal 2014 wil Stem het keurmerk op zak hebben. Organisatie Stem wordt bestuurd door een bestuur. In 2013 is de samenstelling van het bestuur gewijzigd, vanwege bestuurlijke samenwerking met Stichting Mobiliteitsleren. Van drie naar vijf vertegenwoordigers namens de deelnemende ROC s: o René van Gils voorzitter (Graafschap College) o Gerard Eilert bestuurslid (Friesland College) o Klaas Bakker bestuurslid (Deltion College) o Tinus Bunthof bestuurslid (Koning Willem I College, nieuw) o Arien Reyngoudt bestuurslid (ROC Mondriaan, nieuw) twee vertegenwoordigers namens de branche-organisaties: o Hylke Warners secretaris / penningmeester (BOVAG) o Karel Bukholczer bestuurslid (FOCWA) twee vertegenwoordigers namens de kenniscentra beroepsonderwijs bedrijfsleven: o Herme Bruin vice-voorzitter (Innovam directeur) o Frank Vos bestuurslid (VOC directeur) Begin 2013 waren de statuten gewijzigd vanwege toetreding van FOCWA in het bestuur en de daarmee samenhangende stemverhoudingen. Eind 2013 zijn de statuten opnieuw gewijzigd, vanwege de gewijzigde samenstelling van het bestuur. Het bestuur vergaderde in 2013 vijf keer: 5 februari, 16 april, 20 juni, 16 juli (extra), 4 juli, 26 september en 12 december. In veel gevallen baseert het bestuur zich bij besluitvorming op signalen en adviezen van de deelnemersraad. De deelnemersraad, waarin alle ROC s die deelnemen aan Stem vertegenwoordigd zijn, buigt zich over jaarplannen en begrotingen en bespreekt strategische keuzes. De deelnemersraad vergaderde in 2013 twee keer (17 mei en 22 november). De aansturing van de activiteiten en de ondersteuning van het bestuur van Stem gebeurt onder leiding van Jessica Spithoven. Het secretariaat wordt gevoerd door Dithe van den Berg-Vermeer en de financiële administratie door Fieke Dolle. Eind 2013 is besloten om voor de financiële controle van Stem over te stappen op Flynth Accountants. Deze controle werd eerder altijd uitgevoerd door PWC. Jaarverslag Stem 2013 14
Alle ROC s met opleidingen in de mobiliteitsbranche waren in 2013 deelnemer aan Stem. Eind 2013 is ook IVA Driebergen toegetreden tot Stem. Naar aanleiding van discussie onder bestaande deelnemers is een toetredingsregeling opgesteld, om de vereisten voor toetreding te regelen en recht te doen aan de bijdrage die branche en onderwijs in al die jaren hebben geleverd. Deze regeling wordt vanaf 1 januari 2014 van kracht. Begin 2013 zijn de resultaten van de klanttevredenheidsmeting van eind 2012 verwerkt. Over het geheel kan worden geconcludeerd dat de klanttevredenheid van de ROC s over Stem stabiel is, zelfs een fractie is toegenomen. Over de producten die men gebruikt, is men gemiddeld (zeer) tevreden. Alles scoort een dikke 7. Dit wijst erop dat de bevraagden over het algemeen (zeer) tevreden zijn met de dienstverlening van Stem. Ook het vertrouwen in Stem is nog steeds goed en de bekendheid met de verschillende diensten van Stem (pilots, ondersteuning Inspectie, audits) is toegenomen ten opzichte van twee jaar eerder. Wel is er een lichte groei zichtbaar waarbij men eigen producten maakt en gebruikt, met name op het gebied van theorietoetsing. De resultaten van deze meting zijn besproken in de deelnemersraad van mei en ook is er gesproken over de verbeterpunten. Belangrijke conclusie is om vooral goed vinger aan de pols te houden bij ROC s door één-op-één gesprekken te voeren. Hieraan is eind 2013 al gehoor gegeven door diverse ROC s te bezoeken voor een voortgangsgesprek. Communicatie Intern Voor de communicatie is gebruik gemaakt van de reguliere communicatielijnen. In iedere uitgave van De Praktijk Centraal was nieuws uit Stem een vast onderdeel. De Praktijk Centraal is het magazine waarmee ROC s worden geïnformeerd over de ontwikkelingen rondom de invoering van beroepsgericht onderwijs in onze branche. Begin 2013 is een nieuwe Stem-website gelanceerd, volgens een strakkere look and feel en een mooiere opbouw. Bovendien is de digitale Stem-nieuwsbrief vier keer verspreid, zodat op eenvoudige wijze een grotere groep belanghebbenden geïnformeerd is. Deze nieuwsbrieven zijn ook gepubliceerd op de website van Stem www.stichtingstem.nl. Daarnaast is er ook gewerkt met directe berichtgevingen naar toetsbeheerders, als er nieuwe of gewijzigde producten beschikbaar waren. Er is een keer in de BOVAG krant gepubliceerd. Er hebben op meerdere scholen en voor meerdere leermeesters diverse voorlichtingen plaatsgevonden. In de zomer van 2013 is er een communicatieanalyse uitgevoerd. Wat zou Stem kunnen doen om een beter bereik te krijgen. Stem ervaart een goede bereikbaarheid bij managers en directeuren van ROC s, maar heeft het gevoel dat de informatie onvoldoende bij de gebruikers landt. Op basis van die communicatieanalyse is een communicatieplan voor 2014 opgesteld. Extern Stem staat evenals voorgaande jaren in de belangstelling bij andere branches. Zo zijn er in 2013 gesprekken gevoerd met Transport en Logistiek en is daar ook een start gemaakt met een examenstichting als Stem. Ook heeft Stem opnieuw informatie verstrekt ten behoeve van de Metaal-, Elektro- en Installatiebranche. Daarnaast maakt Stem onderdeel uit van een overlegplatform voor examenleveranciers, om daar uit te wisselen over relevante thema s. Jaarverslag Stem 2013 15
Toekomst Terugblikkend, maar ook vooruitblikkend zien we dat Stem continu werkt aan partnerschap en een sterke positie in de wereld van examinering. Door goede examens te leveren wil Stem deelnemende ROC s ontzorgen. Wij zorgen dat we klaar zijn voor de volgende stap. Daarom gaan we ook in 2014 verder met dezelfde speerpunten als in 2013: Uitwerken uniforme opzet beoordelingsmix; Samenwerken (met kenniscentra in het kader van KD s, met SML, met andere examenstichtingen); Voortzetting vertrouwen (bij deelnemers, bij de Inspectie, bij Kiwa). Met ingang van schooljaar 2014-2015 zullen de eerste veranderingen rondom Focus op Vakmanschap en Wet Doelmatige Leerwegen zijn beslag krijgen in het onderwijs. Stem probeert een bestendige koers te varen en proactief om te gaan met de verwachtte ontwikkelingen. Ten aanzien van de uitvoering van de activiteiten in 2013 zijn er geen bijzonderheden te benoemen die van grote invloed zijn op de activiteiten in 2014. Voor alle kwalificaties zijn Stem-instrumenten beschikbaar en wordt er gewerkt aan een uitbreiding van de mix (met theoriecomponent). Scholen en Inspectie hebben veel vertrouwen in de Stem-instrumenten en onderschrijven de ingezette koers. Dit komt ook tot uiting in de verzoeken voor ondersteuning vanuit andere branches (bv. Transport en Logistiek) In 2014 wordt wel steviger ingezet op de communicatie over Stem. Het is van belang dat de naam die Stem heeft ook voor de toekomst behouden blijft. Er wordt gestreefd naar een nog beter draagvlak onder docenten en meer bekendheid in de branche. Jaarverslag Stem 2013 16