Focus op Examinering (Notitie bureau MBO Raad t.b.v. leden en besproken op regiobijeenkomsten voor bestuurders; van Erwin Pierik, manager Btg&I) Inleiding Examinering in het middelbaar beroepsonderwijs is al jaren onderwerp van discussie. Deels wordt die discussie gevoed door rapportages van de inspectie over de verantwoorde kwaliteit van examinering, deels wordt die gevoed door het bedrijfsleven dat meer inspraak en betrokkenheid wenst bij de examinering. Daarbij is door de staatssecretaris aangegeven dat moet worden toegewerkt naar samenwerking bij ontwikkeling van examenproducten en -diensten. Om antwoord te geven op de gewenste inspraak en betrokkenheid van het landelijk georganiseerde bedrijfsleven en daarmee de door hen ervaren kwaliteit (civiel effect) te verhogen is in 2008 het project Examenprofiel gestart. In dit project werken branches, onderwijsveld en kenniscentra samen aan een set afspraken waarin standaarden voor examinering worden vastgelegd. Het gaat om bijvoorbeeld sectorale examenprofielen waarin afspraken per branche worden vastgelegd. De opbrengsten van het project na fase twee kan op instemming van alle betrokken partijen rekenen. Tegelijkertijd blijkt uit het examenverslag 1 dat er inmiddels grote tevredenheid is van het regionale bedrijfsleven (98%) in de examinering. Dat gecombineerd met recente ontwikkelingen leidt ertoe dat de koers van de projecten rondom examinering verlegd wordt 2. Ontwikkelingen afgelopen weken Er is een aantal recente ontwikkelingen die van invloed zijn op de volgende stappen in het proces van verbetering van examinering: het verschijnen van het regeerakkoord, het examenverslag, de tussenrapportage van de commissie Hermans/ van Zijl en het oordeel van het Ministerie van OC&W over het plan voor de volgende fase van het project Examenprofielen. De commissie Hermans/Van Zijl werkt in opdracht van minister Van Bijsterveldt aan een adviesdocument Naar meer doelmatigheid in het mbo. Een van de aanbevelingen in de tussenrapportage pleit voor gestandaardiseerde examinering en samenwerken aan 1 Examenverslag, Inspectie van het onderwijs BVE, augustus 2010 2 NB. Deze notitie betreft overigens niet de vakken Taal en Rekenen. Daartoe loopt reeds een ander traject, waarbij sprake is van centraal ontwikkelde toetsen en afspraken gemaakt zijn over de pilotfase en de wijze van implementatie. EPI/166298/2010
exameninstrumenten. Dit advies borduurt daarmee voort op de uitgezette koers van het project Examenprofielen. Uit het examenverslag blijkt dat het aantal afgekeurde examens is gestegen ten opzichte van 2008. Deels is dit te verklaren (bv. door enkele drama s bij toetsenbanken), maar zelfs als die erbuiten worden gelaten toont de sector niet de gewenste en verwachte progressie. De problemen betreffen met name de standaarden 3 en 4 uit het toezichtskader van de inspectie: dekkendheid en toetstechnische kwaliteit. Minister Van Bijsterveldt heeft in haar beleidsreactie aangegeven op korte termijn een kwaliteitskeurmerk te willen voor in te kopen mbo-examenproducten van examenleveranciers. Het keurmerk is één van de maatregelen die wordt genomen om de kwaliteit van de mbo-examens verder te verhogen. De beleidsreactie bevat verder een overzicht van reeds bestaande maatregelen, zoals het geven van waarschuwingen en het intrekken van examenlicenties. In het regeerakkoord wordt voorgesteld te komen tot centralisering van examinering van kernvakken in het mbo. Alhoewel de gekozen terminologie niet past binnen de gebruikelijke termen binnen het beroepsonderwijs, is de gewenste koers van het nieuwe kabinet daarmee duidelijk. De onderwijsraad heeft recent een rapport opgeleverd met de titel Een diploma van waarde. Naar analogie van het project Examenprofiel geeft het rapport aan dat een diploma zowel recht moet doen aan de toenemende differentiatie in het onderwijs als een zekere mate van standaardisering moet garanderen. Daarnaast moet een diploma zowel van subjectieve als objectieve waarde zijn. Het vinden van een balans in de twee spanningsvelden waarborgt de waardevastheid van een diploma in een veranderende context. Waar het gaat om de balans tussen objectieve kwaliteit en tevredenheid van belanghebbenden, de subjectieve kwaliteit van diploma s, adviseert de raad in de eerste plaats belanghebbenden meer informatie te geven over bereikte niveaus. Met name voor het middelbaar beroepsonderwijs, waar zowel werkgevers als vervolgopleidingen cruciale belanghebbenden zijn, bestaat hiervoor geen afdoende regeling. Daarnaast is het van belang belanghebbenden nauwer in contact te brengen met de opleidingen. In dat kader pleit de raad voor de totstandkoming van communities of trust waarin alle betrokken partijen participeren. Met name commitment van het beroepenveld aan opleidingen met daaraan verbonden een eigen formele verantwoordelijkheid zal de subjectieve waardering van diploma s naar de overtuiging van de raad positief beïnvloeden. 3 Een krachtige voortzetting van de genomen initiatieven ligt in de rede, omdat de instellingen, branches en kenniscentra binnen Examenprofiel aan het werk zijn met een concrete aanbeveling, namelijk om te komen tot standaardisering van de examinering van beroepsgerichte vakken. 4 De beleidsdirectie BVE ziet het project Examenprofielen als mogelijkheid om invulling te geven aan de trend om examinering meer te regelen in landelijke examenstandaarden. 3 Een diploma van waarde, Onderwijsraad, 13 oktober 2010. 4 Een diploma van waarde, Onderwijsraad, 13 oktober 2010, p.59. EPI/166298/2010 2/7
Het is wel voorwaardelijk dat in de volgende fase van het project de impact op de resultaten van de examinering in brede zin helder zijn en het project op termijn bijdraagt aan de verbetering van resultaten zoals verwoord in het examenverslag (dus ook op inspectiestandaarden 3 en 4). Het zwaartepunt van het project Examenprofiel ligt echter op het borgen van kwaliteit op standaarden 1, 2, 5 en 6 uit het toezichtskader van de inspectie. Kanteling van focus: van examenproces naar exameninstrument De recente ontwikkelingen betekenen voor de activiteiten op het gebied van examinering dat ze gericht zullen moeten zijn op alle standaarden van het toezichtskader van inspectie. Naast het afwikkelen van het proces om te komen tot standaarden bij de examenprocessen zoals door Examenprofielen wordt gedaan, wordt er ook een traject aangegaan dat zich met name richt op de exameninstrumenten (standaard 3 en 4 van het toezichtskader). Project Examenprofiel afmaken. Het project Examenprofielen dat de voorbije twee jaren de agenda bepaalde is te beschouwen als voorbereiding op de voortgaande ontwikkeling naar standaarden voor examinering en het uitwerken van instrumenten om dat te ondersteunen. Om de examinering in het mbo te standaardiseren worden per sector/branche bindende afspraken gemaakt over de betrokkenheid van het bedrijfsleven, de dekking van het kwalificatiedossier en over kwaliteitsontwikkeling en professionalisering. Hiermee worden de kenmerken van het beroepsonderwijs en de bij deze onderwijssector kenmerkende vraag om maatwerk recht gedaan (sectoren/branches, regio s en studenten verschillen) en wordt er koers gezet richting standaarden die het civiel effect van diploma s verder borgen en standaarden aan de hand waarvan de kwaliteit van examinering verbeterd kan worden. Op het niveau van de scholen zal een landelijke procesarchitectuur als referentiedocument voor inrichting van processen dienen. Als laatste zullen er handreikingen m.b.t. deskundigheid van examenfunctionarissen worden gemaakt binnen het project Examenprofiel. Dit project zal daarmee consequenties hebben voor de standaarden 1, 2, 5 en 6 van het toezichtskader van inspectie, door instrumenten aan te leveren die als standaard gelden voor het komen tot goede examenprocessen (referentiedocumenten voor handboeken examinering, sectorale examenprofielen met daarin sectorale afspraken over examinering, een format en toetsingskader om te komen tot goede examenprofielen). De activiteiten van het project Examenprofiel zijn verder uitgewerkt in een gescheiden projectplan en begroting. EPI/166298/2010 3/7
Voor de leden van de MBO Raad is een uitgangspunt voor implementatie van de standaarden uit het project Examenprofiel dat er ook proportioneel toezicht door de onderwijsinspectie wordt georganiseerd met absolute normen en geen relatieve normen (bij een relatieve norm blijft het effect nl. dat er altijd onder de norm gepresteerd blijft worden door een vast percentage van de opleidingen). Zwakke examinering in kaart en samenwerken aan exameninstrumenten De focus van activiteiten zal komende tijd niet langer alleen gericht zijn op de examenprocessen en de sectorale afspraken. Aanvullend zal er een traject aangegaan worden om juist de zwakke examenpraktijken in kaart te brengen, deze te analyseren en te komen tot verbeterafspraken tussen mbo instellingen, dan wel vertegenwoordigers van clusters van opleidingen. Door te onderzoeken in welke opleidingen of cluster van opleidingen, of sectoren/branches meer of minder problemen zijn gaan roc s, aoc s en vakinstellingen gerichter aan verbeteringen kunnen werken (verbinden van aanbod en vraag). Daarmee neemt de sector ook de gezamenlijke verantwoordelijkheid voor examinering in de sector. Overigens kunnen de succes- en faalfactoren over alle instellingen heen beter in beeld gebracht worden, wat leidt tot informatie op grond waarvan scholen gezamenlijk tot stappen kunnen komen om de huidige kwaliteit voor diverse clusters van opleidingen, waar nodig, te verbeteren. Uit het examenverslag van augustus 2010 blijkt dat de uitdaging voor de sector zich met name bevindt op standaard 3 en 4 van het toezichtskader. Met andere woorden, de meeste zwakke plekken bevinden zich op het vlak van (de inzet van) de ingezette exameninstrumenten. Als mbo sector gaan we zorgen dat ook onze exameninstrumenten van voldoende kwaliteit zijn en de scores ook op dit vlak (standaard 3 en 4) sterk gaan verbeteren. Dit betekent dat de sector nadrukkelijker samen gaat werken aan goede exameninstrumenten. Daarbij wordt vanzelfsprekend het overleg en de afstemming met de partners die ook in de regiegroep Examenprofiel zitten, gezocht. De activiteiten van het project Focus op examinering voor komend jaar zijn verderop in deze notitie uitgewerkt. Naast het borgen van kwaliteit op inspectiestandaarden 1, 2, 5 en 6 in het project Examenprofielen worden daarmee de handvatten aangereikt voor een nieuw arrangement van afspraken van examinering in het middelbaar beroepsonderwijs met een verbeterde examenpraktijk. Het gaat bij de activiteiten rondom examinering om de kwaliteit van examinering in brede zin, met Focus op goede examinering. De doelstellingen van de twee trajecten zijn integraal aan elkaar EPI/166298/2010 4/7
verbonden, waarbij ze vanuit verschillende verantwoordelijkheden naast elkaar worden georganiseerd. De opbrengsten van het project Examenprofiel zijn input voor de cyclus die binnen het traject Focus op examinering duurzaam zal worden georganiseerd. Toekomstbeeld examinering in het mbo op orde De diverse initiatieven worden op de wat langere termijn aan elkaar verbonden worden in een jaarlijks terugkerende cyclus. In deze cyclus worden de resultaten uit het examenverslag, aanvullende analyse van deze resultaten, het maken van afspraken tussen onderwijsinstellingen en tussen onderwijs en branches en een servicestructuur met daarin diverse instrumenten m.b.t. examenprocessen en een infrastructuur met op kwaliteit gevalideerde exameninstrumenten aan elkaar verbonden. Stap 3 In kaart brengen sterke/ zwakke plekken examenpraktijken Kaderafspraken (AV) Stap 4 Stap 2 a b c d sector Onderzoek x Servicestructuur met inzet instrumenten: Referentiedocumenten Examenprofielen Exameninstrumenten Stap 5 Stap 1 Examenverslag/ Resultaten examinering mbo evaluatie Stap 6 Figuur 1: PDCA cyclus examinering mbo op orde Na 2011 is het doel om het ontwikkelde instrumentarium in te zetten op de afspraken, waarbij op termijn ook een servicestructuur is gebouwd met daarbinnen een (alle sectoren) dekkend aanbod van exameninstrumenten. De veronderstelling is dat goed lopende examenbanken hieraan aangehaakt kunnen worden. Hierdoor is de cirkel rond en worden vraag en aanbod op elkaar aangesloten. Het maken van instrumenten (aanbodkant) is dan verbonden aan de, op basis van de onderzoeken van de inspectie in kaart gebrachte, problematische examenpraktijken(vraagkant). Hierbij zullen de problematische examenpraktijken in kaart gebracht worden op basis van de EPI/166298/2010 5/7
inspectiestandaarden en gesorteerd naar clusters van opleidingen dan wel naar instellingen. Daarbij zullen er voor de inzet van exameninstrumenten 5 opties voor onderwijsinstellingen zijn: 1.Inkoop van alle exameninstrumenten bij examenbanken. 2.Inkoop van exameninstrumenten bij examenbanken aangevuld met zelf ontwikkelde materialen die op kwaliteit extern worden gevalideerd. 3.Geen inkoop maar alle eigengemaakte instrumenten gevalideerd door een externe serviceorganisatie. 4.Inkoop van exameninstrumenten bij examenbanken aangevuld met zelf ontwikkelde materialen die niet extern worden gevalideerd. Het toezicht op de zelf ontwikkelde instrumenten blijft op instellingsniveau gehandhaafd. 5.Geen van bovenstaande. De instelling regelt alles in eigen beheer en haakt niet aan bij standaardisering. In dit geval wordt het toezicht op de instrumenten bij de instelling gehandhaafd. Voor de helderheid: de uitvoering blijft decentraal en de verantwoordelijkheid voor examinering blijft bij de onderwijsinstelling. Opleidingen houden keuzemogelijkheden waar het de examenmix van instrumenten betreft, we zetten in op een variatie aan gevalideerde instrumenten die verzameld worden (of ontwikkeld) binnen deze landelijke infrastructuur. Door bovenstaande zullen onderwijsinstellingen stevig gestimuleerd worden voor optie 1, 2 of 3 te kiezen, maar die instellingen die het in de regio zelf regelen en een erkend goede examenpraktijk hebben zullen daardoor niet gedwongen zijn hun goede voorbeeld af te breken. Voor de duidelijkheid: bij optie 1, 2 en 3 zal het toezicht van inspectie op standaard 3 en 4 bij de leverancier en de validerende instantie dienen plaats te vinden en is de belasting voor de instellingen in de verantwoording minimaal. Bij de opties 4 en 5 zal de verantwoording plaatsvinden zoals nu het geval is: de inspectie onderzoekt de kwaliteit van de examenproducten bij de instelling. De verwachting is dat door te kiezen voor 1,2 of 3 een instelling goedkoper uit is als het gaat om examinering. 5 Focus op Examinering en project Examenprofiel: aanpak 2010-2011 Om de activiteiten op examinering met elkaar te verbinden en hun onderlinge verbintenis te schetsen, worden de volgende activiteiten in samenhang georganiseerd: 5 NB. Een instelling kan ook kiezen voor variatie afhankelijk van het profiel van de sectoren binnen de instelling. Voorbeeld: instelling X kiest voor optie 1 bij de opleidingen in de Techniek en voor optie 3 bij de Zorgopleidingen. EPI/166298/2010 6/7
1. Het verbinden van diverse activiteiten m.b.t. examinering. Middels deze notitie Focus op examinering worden de uitgangspunten weergegeven en wordt de relatie tot een aantal andere ontwikkelingen en het project Examenprofiel geborgd. Het is daarmee een gespreksnotitie om de koers van het mbo met betrekking tot examinering toe te lichten en het geeft de activiteiten voor komend jaar weer. 2. Het project Examenprofielen wordt uitgevoerd conform het door de regiegroep goedgekeurde projectplan voor komend jaar; de nadruk ligt het ontwikkelen van een dekkende set van sectorale examenprofielen voor het mbo, het opleveren van referentiedocumenten ten behoeve van goede examenprocessen binnen de instellingen en de voorbereiding van implementatie op de werkvloer. Onder de activiteiten valt ook een onderzoek naar haalbaarheid en betaalbaarheid uitgewerkt in een gedegen business case. Deze business case zal aangevuld zijn met resultaten van een onderzoek naar de kosten (investeringen) t.b.v. een landelijke infrastructuur met exameninstrumenten die voldoet aan een kwaliteitskeurmerk. 3. Op basis van de gegevens vanuit het examenverslag en nadere analyse met noodzakelijke medewerking van de inspectie wordt door onderwijsinstellingen gezamenlijk onderzocht in welke opleidingen of clusters van opleidingen meer of minder problematische examenpraktijken zijn en hoe die zijn gerelateerd aan de verschillende standaarden van het toezichtskader. Op basis van die gegevens wordt een analyse gemaakt, kunnen verbeterafspraken worden gemaakt en wordt gekeken hoe een cyclus van verbeterafspraken duurzaam ingericht zou kunnen worden. 4. De mogelijkheden om te komen tot een mbo instelling overstijgende servicestructuur worden onderzocht. Hierbij is het de bedoeling te komen tot een infrastructuur die in gezamenlijkheid goede exameninstrumenten kan valideren op kwaliteit, dan wel gezamenlijk kan ontwikkelen. Hierbij wordt gebruik gemaakt van de inzichten van goede voorbeelden als STEM, Examenwerk en Stichting Praktijkleren en wordt onderzocht hoe goede examenbanken aangehaakt kunnen worden bij deze ontwikkeling. Daarnaast zullen servicedocumenten op het gebied van examinering worden aangeboden middels deze servicestructuur. 5. Er wordt een bijdrage geleverd aan een nieuw toezichtskader met proportioneel toezicht uit te voeren door de onderwijsinspectie. Voor de leden van de MBO Raad is het een absoluut uitgangspunt dat inspectie en de directie BVE zich voorafgaand aan de uit te werken punten 1 t/m 4 committeren aan deze doelstelling. Het onderwijsveld is toe aan een toezichtkader dat past bij competentiegericht opleiden en kwalificeren, dat gericht is op het verbeteren van kwaliteit van examineren en niet gericht is op het achterhalen van elke fout, waarbij het helder is dat slechte examenpraktijken wel degelijk in kaart gebracht worden. Het toezichtskader zal moeten worden georganiseerd op basis van absolute normen en niet langer op relatieve normen en de administratieve lasten voor zowel onderwijsinstelling als inspectie zullen drastisch beperkt worden. EPI/166298/2010 7/7