Grip op de routekaart!

Transcriptie

1 Grip op de routekaart! Hulpdocument voor het werken met de routekaart in de overgangsperiode Publicatie December 2016 Versie 1

2 Inhoudsopgave Inleiding 3 1. Impact werken met de routekaart op proces examinering 5 2. Keuzes maken binnen de routekaart Factoren keuzes op de routekaart Te maken keuzes op de routekaart Afwegingskader keuzes op de routekaart 9 3. Verantwoording over keuzes op de routekaart 10 Tips van collega s 12 2

3 Inleiding Vanaf augustus 2016 wordt met het mbo-veld gewerkt aan drie manieren om te komen tot valide examenproducten. Deze drie manieren zijn benoemd als de routes. We werken in de zogenaamde overgangsperiode aan het begaanbaar maken van de routes. Gedurende deze periode bouwen, leren en ontwikkelen we om te komen tot werkende oplossingen voor valide examenproducten. Dit doen we in intensieve samenwerking met het onderwijsveld. De overgangsperiode duurt maximaal twee jaar. In de overgangsperiode kunnen scholen alvast in voorbereiding op de validering van examens aan de slag met een aangepaste 1 routekaart. Door die te gaan gebruiken kunnen scholen zich voorbereiden op de structurele situatie. Figuur 1, Aangepaste routekaart Deze publicatie is bedoeld als hulpmiddel voor scholen om grip te krijgen op de veranderingen van het proces van examinering als gevolg van het werken met de routekaart. Eind 2016 zijn we (Validering Examens MBO) in de werkbijeenkomsten Grip op de routekaart samen medewerkers van verschillende mbo-scholen aan de slag gegaan. We hebben o.a. de aangepaste routekaart getoetst aan de Procesarchitectuur Examinering (PE). Dit resulteerde in vragen als: waar in het proces van examinering krijgt de school te 1 Route 1 Inkopen bij een instantie en route 2 Zelf ontwikkelen binnen de collectieve afspraken kunnen, gedurende de overgangsperiode, gebruikt worden om te komen tot (valide) examenproducten. 3

4 maken met de routekaart? Welke acties komen erbij? Wat zijn aandachtspunten? Ook is rekening gehouden met de gemaakte collectieve afspraken over het construeren en vaststellen van exameninstrumenten. De antwoorden op bovenstaande vragen zijn gevat in deze publicatie. Daarnaast worden in deze publicatie factoren, met bijbehorende argumenten, beschreven die van invloed kunnen zijn op de keuze(s) op de routekaart. Komen er verschillende manieren van verantwoording van keuzes aan bod, en wordt een voorbeeld van een valideringsverantwoording geschetst. Als laatste worden tips van collega s meegegeven die kunnen helpen in de voorbereiding op het werken met de routekaart. Deze publicatie is een eerste versie. De komende periode worden de drie routes steeds concreter en zal ook deze publicatie verder aangevuld en aangescherpt worden. Begrippenkader bij dit document: De collectieve afspraken Wanneer in dit document gesproken wordt over collectieve afspraken dan zijn het de afspraken die zijn gemaakt door de MBO Raad en NRTO over het construeren en vaststellen van exameninstrumenten. De afspraken gaan uit van in principe inkopen. De afspraken bevatten ook een mbo-brede set van vijf criteria die gebruikt moeten worden bij het zelf ontwikkelen en het vaststellen van examenproducten. Deze criteria komen terug bij het gebruik van route 2. (Valide) examenproducten en de routekaart in de overgangsperiode Wanneer we in dit document spreken over (valide) examenproducten of (gevalideerde) examenproducten gaat het over examenproducten die via de aangepaste routekaart tot stand zijn gekomen. De routekaart omvat in de overgangsperiode twee manieren waarop scholen tot examenproducten kunnen komen: (1) via het inkopen bij een examenleverancier en (2) via het zelf ontwikkelen van examenproducten binnen de collectieve afspraken. De status valide is van kracht na de overgangsperiode als alle routes op de routekaart begaanbaar zijn. In de overgangsperiode zetten we (valide) tussen haakjes, dit is omdat we het om een tijdelijke situatie gaat. Voor uitgebreidere informatie over de validering van examens zie: Lees hier meer over de aanleiding voor het werken met een routekaart om te komen tot valide examenproducten Lees hier meer over de aangepaste routekaart in de overgangsperiode en volledig begaanbare routekaart na de overgangsperiode Lees hier meer over de gemaakte collectieve afspraken over het construeren en vaststellen van examenproducten Lees hier meer over de aanpak van de kwartiermaker om in de overgangsperiode tot 3 begaanbare routes te komen 4

5 1. Impact werken met de routekaart op proces examinering Het werken met de routekaart heeft impact op het proces van examinering. Ook de collectieve afspraken rond examinering zijn van invloed. Hierdoor komen in de Procesarchitectuur Examinering, binnen de procesgebieden Kaders stellen en Construeren en vaststellen, een aantal vragen (hernieuwd) op. Hier volgen per procesgebied de vragen waarmee de school aan de slag kan gaan om het werken met de routekaart te implementeren in de huidige examenprocessen. Kaders stellen Mogelijke ontwikkeling of bijstelling examenvisie Is er een heldere examenvisie beschikbaar die kaders biedt bij de keuze voor inkoop of het zelf ontwikkelen van examenproducten? Sluit de examenvisie aan bij de collectieve afspraken examinering die uitgaan van het principe inkopen van examenproducten, tenzij en helpt de visie bij het werken met de routekaart om te komen tot valide examenproducten? Factoren afweging inkoop vs. zelf ontwikkelen Welke factoren spelen binnen de school een rol als het gaat over de keuze om in te kopen of zelf te ontwikkelen? Zijn deze afwegingen school-breed bekend? Kaders verantwoording keuzes Is er duidelijkheid over de wijze waarop de keuze(s) binnen de routekaart om te komen tot (valide) examenproducten per kwalificatie worden vastgelegd en verantwoord? Construeren en vaststellen Expertise zelf ontwikkelen examenproducten Worden binnen de school de collectieve afspraken voor het construeren en vaststellen van zelf ontwikkelde examens gevolgd? Hoe is geborgd dat de ontwikkelaars van examens weten welke stappen ze moeten zetten in het kader van route 2 (collectieve afspraken + check rating + servicedocumenten + mogelijk aanvullende acties)? Moeten er mensen (binnen de school) bijgeschoold worden over het werken met de routekaart om te komen tot valide examenproducten? Rol examencommissie Neemt de examencommissie in haar vaststellingslijst mee of examenproducten gevalideerd zijn als gevolg van het doorlopen van de routekaart of wordt dit op een andere manier definitief gemaakt? De examencommissie moet beoordelen of ingekochte kaderexamens volgens instructie ingevuld zijn en daarmee bepalen of het product valide is. Heeft de examencommissie een procedure hiervoor ingericht? 5

6 2. Keuzes maken binnen de routekaart In de overgangsperiode kunnen scholen al gaan werken met de aangepaste routekaart (zie figuur 1). Hierdoor bereiden scholen zich voor op de structurele situatie. Een belangrijk onderdeel van het werken met de aangepaste routekaart is dat er per kwalificatie een keuze wordt gemaakt via welke route(s) ze tot examenproducten gaan komen. In de overgangsperiode kan dat via de aangepaste route 1 inkopen bij een instantie en route 2 zelf ontwikkelen binnen de collectieve afspraken. Een keuze maken voor het inkopen van examenproducten of het zelf ontwikkelen van examenproducten doen scholen natuurlijk al. Nu speelt de validering van examenproducten daarin een rol en wegen ook de collectieve afspraken rond examinering mee (die uitgaan van het inkopen van examenproducten). In de voorbereiding op het maken van de daadwerkelijke keuze(s) per kwalificatie helpt het om binnen de school helder te maken welke factoren meewegen bij het maken van (een) keuze(s) binnen de routekaart. De uitwerking van deze factoren kunnen een plek krijgen in de examenvisie om vervolgens te worden door vertaald in het examenplan. In de volgende paragrafen wordt uiteengezet welke factoren een rol kunnen spelen om voor een bepaalde route te kiezen. 6

7 2.1 Factoren keuzes op de routekaart Hoe maak je in de overgangsperiode per kwalificatie een keuze voor de route(s) die je bewandelt om te komen tot (valide) examenproducten? Bij die keuze(s) kunnen verschillende factoren een rol in spelen: Collectieve afspraken: binnen de collectieve afspraken is afgesproken dat (1) scholen kopen in principe examenproducten in bij examenleveranciers en (2) als scholen in eigen beheer (zelf of samen met anderen) examenproducten ontwikkelen, doen zij dit volgens de mbo-brede set van criteria voor construeren en vaststellen. Hoe geven we hier binnen de school gehoor aan? Kosten: wat kost het om een bepaalde route te bewandelen, inkoop vs. zelf ontwikkelen van examenproducten? Expertise: is de juiste kennis en kunde beschikbaar om examenproducten te ontwikkelen? Kwaliteit: wat is de kwaliteit van examenproducten en/of het totstandkomingsproces? Aansluiting met onderwijs: hoe komen we tot passende examenproducten? Flexibiliteit: in hoeverre is er ruimte om examenproducten voor een bepaalde kwalificatie aan te passen bij een specifieke behoefte? Uitvoerbaarheid: zijn de beschikbare examenproducten uitvoerbaar? 2.2 Te maken keuzes op de routekaart Per route geven we aan welke argumenten een rol kunnen spelen in het uiteindelijke besluit. In paragraaf 2.3 worden argumenten per factor beschreven. Scholen kunnen een eigen afwegingskader maken en dit bijvoorbeeld verwerken in het handboek examinering. Keuze route 1: inkopen bij een instantie In de overgangsperiode gaat route 1 over de inkoop van examenproducten bij een instantie. Die instantie hoeft nog niet gecertificeerd te zijn. Het betreft zowel (1) de inkoop van een gevuld examenproduct (klaar voor gebruik) en (2) de inkoop van een kaderexamen (een product dat niet gevuld is met inhoud bij het inkopen). Figuur 2: Route 1 inkopen bij een instantie in de overgangsperiode 7

8 Waarom maak je voor een bepaalde kwalificatie de keuze om route 1 te doorlopen? Een belangrijke factor is hier de collectieve afspraak die gemaakt is om in principe in te kopen. Hoe beïnvloedt dat de keuze(s) op het niveau van de kwalificatie? Sommige factoren zijn ook van invloed op elkaar, zo kan een wens voor meer flexibiliteit leiden tot hogere kosten. Keuze route 2: zelf ontwikkelen binnen de collectieve afspraken Route 2 gaat over het zelf of samen met andere scholen ontwikkelen van een examenproduct binnen de collectieve afspraken. Naast de collectieve afspraken speelt in route 2 de rating per kwalificatie een rol (bekijk hier het overzicht van kwalificaties met bijbehorende rating en lees over de totstandkoming van de rating per kwalificatie). Als een kwalificatie een A- of B-rating 2 heeft dan kan route 2 verder vervolgd worden (meer informatie over het werken met route 2 vind je hier). Figuur 3: Route 2 Zelf ontwikkelen binnen de collectieve afspraken in de overgangsperiode Welke afweging(en) kun je als school nog meer maken om voor route 2 te kiezen? De juiste expertise in huis hebben, of een bepaalde kwaliteit nastreven kunnen hier bijvoorbeeld van invloed op zijn. 2 Voor kwalificaties met een B-rating wordt nog een aanvullende actie ontwikkeld. 8

9 2.3 Afwegingskader keuzes op de routekaart De afwegingen die per factor een rol kunnen spelen bij de keuze(s) op de routekaart worden in onderstaande tabel weergegeven. Deze argumenten zijn voorbeelden, mogelijk zijn er binnen jouw school (nog) andere argumenten. Factoren Argumenten voor inkopen Argumenten voor route 2 Collectieve afspraken Kosten Expertise Kwaliteit Aansluiting met onderwijs Flexibiliteit School volgt de collectieve afspraak: inkopen bij een instantie Inkopen is voor de school financieel aantrekkelijker Examenleveranciers hebben de juiste expertise in huis om examenproducten te ontwikkelen en/of halen de expertise in huis door samen met de scholen en bedrijfsleven te werken. De kwaliteit van ingekochte examenproducten is volgens de Onderwijsinspectie vaak beter dan van de zelf ontwikkelde producten Kwalificatie heeft C-rating en is bestempeld als risicovol in de doorvertaling naar examinering, de school maakt daarom liever gebruik van de examenleverancier. De beschikbare examenproducten sluiten goed aan op het onderwijs van de school School kan met examenleverancier afspraken maken over specifieke behoeftes School koopt in principe in bij een instantie, maar er zijn goede argumenten om dat voor een bepaalde kwalificatie niet te doen. De school volgt de afspraken over het construeren en vaststellen van zelf ontwikkelde examenproducten. Een samenwerking tussen scholen bij de totstandkoming van examenproducten biedt een financieel aantrekkelijke oplossing School heeft zelf de expertise in huis om examenproducten te ontwikkelen School heeft beleid om de expertise voor het ontwikkelen van examens binnen boord te houden School heeft vertrouwen in de kwaliteit van zelf ontwikkelde examenproducten omdat er inzicht is in de totstandkoming van het examenproduct School kan de examenproducten zo ontwikkelen dat ze precies aansluiten op het onderwijs van de school Het is eenvoudiger om producten aan te passen (bijv. leerbedrijf specifiek of student specifiek) indien dat nodig is Uitvoerbaarheid Tabel 1: Afwegingskader keuzes op de routekaart School ontwikkelt zelf examens die beter uitvoerbaar zijn binnen de opleiding 9

10 3. Verantwoording over keuzes op de routekaart Scholen maken zelf hun afwegingen via welke route(s) ze komen tot (valide) examenproducten. Het management en teams maken de keuze(s) per kwalificatie. De examencommissie heeft een rol bij de uiteindelijke vaststelling. In de toekomst moet een school zich verantwoorden over de gemaakte keuze(s). In de overgangsperiode kunnen scholen alvast starten met het vorm en inhoud geven aan de verantwoording om zo goed mogelijk voorbereid te zijn op het moment dat het verantwoorden van keuzes verplicht is. De verantwoording moet antwoord geven op de volgende vragen: 1. Welke routes zijn er per kwalificatie gekozen om te komen tot (valide) examenproducten? 2. Waarom is er voor die route of combinatie van routes gekozen? 3. Welk deel van de kwalificatie wordt afgedekt met welk product? 4. En om welke examenproducten gaat het? Daarbij is er een aantal randvoorwaarden met betrekking tot de verantwoording: de verantwoording gaat over reeds ingekochte of zelf ontwikkelde examenproducten. met de verantwoording wordt vastgesteld dat examenproducten die ingezet worden voor examinering valide zijn, de verantwoording vindt daarom voorafgaand aan de examinering plaats. De verantwoording van het gebruik van de routekaart per kwalificatie is een nieuw onderdeel in het proces van examinering. Wat er in de verantwoording ten minste moet komen te staan is hierboven benoemd. Zodra er gekozen wordt voor andere examenproducten zal dit ook in de verantwoording aangepast moeten worden. De manier waarop die verantwoording gaat plaatsvinden is aan de school zelf. De school kan bijvoorbeeld besluiten een (aparte) verantwoording te maken of om de verantwoording te koppelen aan bestaande verantwoordingsdocumenten, zoals bijvoorbeeld het examenplan. 10

11 Opties daarin zijn: verantwoording onderdeel maken van het examenplan door het bijvoorbeeld als bijlage toe te voegen aan het examenplan. verantwoording als apart document. Voor scholen die een aparte verantwoording willen hanteren is een voorbeeld ontwikkeld. Dit voorbeeld is geschikt voor gebruik in de overgangsperiode. Voorbeeld Valideringsverantwoording kwalificatie: Crebocode: Cohort waarin het valide exameninstrumentarium ingezet wordt: Leerweg: Datum opstelling valideringsverantwoording: Rating kwalificatie:... (alleen invullen als examenproducten zelf ontwikkeld wordt binnen route 2) Gebruikt servicedocument:... (alleen invullen als examenproducten zelf ontwikkeld wordt binnen route 2) Verantwoording route Argumentatie keuze route voorbeeld alle producten zijn ingekocht via route 1 of product 1: ingekocht product via route 1 product 2: ingekocht kaderexamen via route 1, volgens instructie, vastgesteld door examencommissie voorbeeld wij volgen hierin de collectieve afspraak om in principe in te kopen. of product 1: Ingekocht vanwege goede ervaring met het product product 2: idem als 1 product 3: Voor de kerntaak die hier geëxamineerd wordt vonden wij geen passend aanbod bij de examenleverancier en hebben besloten om daarom zelf een product te ontwikkelen Vastgesteld door examencommissie (optioneel kan ook elders belegd worden): 11

12 Tips van collega s Tip van collega s Maak als school een risico-/impactanalyse om alle consequenties van de beoogde veranderingen in kaart te brengen. Een impactanalyse kan leiden tot een aantal maatregelen die een school kan nemen om zichzelf goed voor te bereiden. Wat zijn de plannen binnen de school per kwalificatie: inkoop of zelf ontwikkelen? Verandert dit nog als gevolg van een aanpassing in bijvoorbeeld de examenvisie? Voor de kwalificaties waar zelf ontwikkeld wordt, welke rating hebben die kwalificaties? Waar raakt het werken met de routekaart de huidige processen van examinering? En wat moet er aangepast worden om deze veranderingen te implementeren? Wat betekenen de keuzes die binnen de school gemaakt worden voor de financiën (kosten-baten)? Is er voldoende capaciteit beschikbaar om deze (nieuwe) taken uit te voeren? Wordt op regelmatige basis de rating per kwalificatie gecontroleerd? En door wie? Tip van collega s Het inkopen van examenproducten (opnieuw) afwegen kan ook een goede aanleiding zijn om in gesprek te gaan met de examenleverancier. De verwachting is dat met de komst van de collectieve afspraken binnen de scholen meer gestuurd zal worden op het inkopen van examenproducten. Maar levert de examenleverancier bijvoorbeeld wel het door jullie gewenste aanbod? Hoe kunnen jullie elkaar daarin tegemoetkomen? Is er volgens jullie nog een kwaliteitsslag te maken op een bepaald product? Tip van collega s Zorg dat je examencommissie goed op de hoogte is van de huidige ontwikkelingen. En dat de examencommissie voldoende expertise in huis heeft om deze (nieuwe) ontwikkelingen uit te voeren of de mogelijkheid heeft om taken, met betrekking tot bijvoorbeeld de verantwoording van de inzet van valide producten, te delegeren. 12