De Organisatie. pagina 1. mbo nederland: competent in examinering? Examenverslag mbo Examenverslag mbo versie december 2006

Transcriptie

1 De Organisatie mbo nederland: Examenerslag mbo pagina 1 competent in examinering? ersie december 2006 Examenerslag mbo

2 Inhoud examenerslag mbo Examenerslag mbo pagina 1 Voorwoord 0. Inleiding Deel 1: Verslag an de kwaliteit an de examinering in het studiejaar Samenatting en conclusies 9 2. Onderzoeksmethode Beindingen instellingen Beindingen leeranciers 31 Deel 2: Diplomabeslissingen en competentiegericht leren en examineren in het mbo 41 Bijlagen - Bijlage 1 Begrippenlijst 50 - Bijlage 2 Bronnen 56 - Bijlage 3 Oerzicht onderzochte instellingen 58 - Bijlage 4 Oerzicht gecertificeerde leeranciers 60 - Bijlage 5 Oerzicht onderzochte kwalificaties 62 ersie december 2006

3 Voorwoord Examenerslag mbo pagina 2 Kwaliteit an de examinering sterk erbeterd In het examenerslag an trok KCE de conclusie dat de kwaliteit an de examinering ten opzichte an het pilotjaar significant erbeterd was. In het examenerslag an trekt KCE opnieuw deze conclusie. Standaarden 2004 Verbeteringen zijn ooral zichtbaar bij de kwalificaties die zijn beoordeeld aan de hand an de standaarden De meeste an deze kwalificaties ontingen in een oorwaardelijke of afkeurende erklaring. Er moest dus heel wat erbeterd worden. Deze erbeteringen zijn bij rijwel alle kwalificaties doorgeoerd. Bij de resterende kwalificaties is significante ooruitgang geboekt, maar kan nog net niet aan de norm oldaan worden. Het lijkt gerechtaardigd de conclusie te trekken dat de instellingen grip hebben op de kwaliteit an examinering, maar dat de erbeterperiode te kort is geweest. Waren er orig studiejaar nog zorgen oer de kwaliteit an het exameninstrumentarium, nu kunnen we aststellen dat de examinering in hoge mate inhoudelijk oldoet aan de eisen. Nieuwe standaarden Begin noember 2005 is op erzoek an de mbo-raad besloten nog tijdens het lopende studiejaar de instellingen de mogelijkheid te bieden deel te nemen aan een pilot in Deze pilot hield in dat de examinering en examens beoordeeld zouden worden op basis an de nieuwe standaarden en aan de hand an de nieuwe werkwijze. Een snelle inoering op zo n grote schaal heeft een groot nadeel: instellingen waren niet oorbereid op de nieuwe aspecten an de standaarden en werkwijze. Hierdoor was het oor de meeste instellingen onmogelijk te oldoen aan de nieuwe standaarden. De nieuwe standaarden zijn zodanig opgesteld dat ze geen oorschrijende ormen an examinering en kwaliteitsbeheersing opleggen. Een instelling die de kwaliteit beheerst en waar de examinering transparant is, erzamelt informatie om de kwaliteit an de examinering te monitoren en te sturen. Op basis an deze informatie kan worden beoordeeld of beslissingen tot diplomering zijn gebaseerd op een alide bewijs. Ook kan met deze informatie worden aangetoond of de beoordeling an de bekwaamheid an de deelnemer alide is. Hoge onderzoeksdruk in Veel instellingen kregen in te maken met een dubbele KCE-audit. De examinering is zowel onderzocht met de standaarden 2004 doorgaans wanneer er sprake was an oorwaardelijke en afkeurende erklaringen in als met de nieuwe standaarden (alle oerige kwalificaties). Hierdoor was het bij eel instellingen niet mogelijk de systematiek an een beperktere erificatie toe te passen. De inoering an de nieuwe competentiegerichte kwalificaties in het kader an het experimenteerartikel in de Wet Educatie en Beroepsonderwijs (WEB) zorgde oor een grote erschuiing in het kwalificatiebestand an de instellingen. In de loop an het studiejaar signaleerde KCE dat het object an onderzoek aan fluctuaties onderheig was. Dit zorgde oor een aanzienlijke erhoging an de onderzoeksdruk bij zowel de instellingen als KCE. ersie december 2006 De onderzoeksdruk reikte tot ongekende hoogte rond de zomermaanden. In deze periode erkeerden de instellingen in maar liefst ier erschillende onderzoekstrajecten: de KCE-audit , het heronderzoek naar aanleiding an de beindingen , het extra onderzoek als niet oldaan werd aan de minimumaantallen die noodzakelijk waren om een betrouwbaar onderzoek uit te kunnen oeren en de start an de KCE-audit

4 Examenerslag mbo Examenerslag mbo pagina 3 De toekomst In zal de onderzoeksdruk aanzienlijk minder zijn omdat de proportionaliteit dan pas echt goed kan worden ingeoerd. Er is geen sprake meer an twee typen standaarden waardoor de proportionaliteit die in de werkwijze is geregeld eel beter tot zijn recht kan komen. De kritische factoren oor competentiegericht examineren zijn anders dan die oor eindtermgericht examineren. In de experimenteerfase tot de inoering an de nieuwe kwalificatiestructuur zullen instellingen nog een hele kluif hebben aan het borgen an de nieuwe beoordelingsprocessen. Het mbo heeft op een kleine groep kwalificaties na de kwaliteit an de eindtermgerichte examens in enkele jaren op peil gebracht. De erwachting dat het mbo, mogelijk na wat aanloopproblematiek, ook de competentiegerichte examinering op een erantwoorde wijze zal ormgeen, is gerechtaardigd. Marja Creemers directeur KCE ersie december 2006

5 0. Inleiding Examenerslag mbo pagina De onderzoeksraag Wat is in het studiejaar de kwaliteit an de examinering in het middelbaar beroepsonderwijs? Dat is de onderzoeksraag die in dit erslag centraal staat. Om deze raag te beantwoorden heeft het KwaliteitsCentrum Examinering beroepsopleidingen (KCE) een KCE-audit uitgeoerd bij alle beroepsopleidingen die zijn geregistreerd in het Centraal register beroepsopleidingen (Crebo). In dit examenerslag spreekt KCE oer kwalificaties in plaats an oer (beroeps)opleidingen. In de KCE-audit zijn instrumenten en documenten doorgelicht en is een erificatieaudit uitgeoerd aan de hand an de standaarden 2004 en de nieuwe standaarden. Deze standaarden zijn ontwikkeld in oerleg met belanghebbenden en astgesteld door de minister an OCW. De beindingen an de KCE-audit resulteren in een algemeen oordeel oer de kwaliteit an examinering in het mbo in het studiejaar Hiermee wordt de centrale onderzoeksraag beantwoord. 0.2 Waarom een onderzoek? In de Wet Educatie en Beroepsonderwijs is KCE opgenomen als organisatie die de kwaliteit an de examinering in het middelbaar beroepsonderwijs (mbo) onderzoekt. Met het onderzoek erschaft KCE zekerheid oer de waarde an mbo-diploma s door de kwaliteit an de examinering in het mbo te certificeren. Als onderdeel an zijn wettelijke taak publiceert KCE jaarlijks een erslag waarin de beindingen an het onderzoek zijn weergegeen. In studiejaar was de leerweg (bol/bbl) het object an onderzoek. In studiejaar was dit de kwalificatie. Door het erschil in object an onderzoek zijn de gegeens an het examenerslag en dit examenerslag niet een op een ergelijkbaar. De gegeens en beindingen in dit examenerslag zijn gebaseerd op de gegeens die op 17 noember 2006 beschikbaar waren. 0.3 Pilotjaar In het studiejaar konden de instellingen kiezen oor een KCE-audit met de standaarden 2004 of met de nieuwe standaarden. De nieuwe standaarden sluiten goed aan bij de examinering gebaseerd op de competentiegerichte kwalificatiestructuur. Ook zijn ze geschikt om de kwaliteit an de examinering te beoordelen die gebaseerd is op de eindtermgerichte kwalificatiestructuur. ersie december 2006 Competentiegerichte examinering raagt om een beoordelingskader dat de nadruk legt op de manier waarop de instellingen aliditeit en betrouwbaarheid an de examinering transparant en aantoonbaar hebben geregeld. De nieuwe standaarden zijn daarom globaler an opzet en gericht op de kritische succesfactoren an de examinering. De eigen erantwoordelijkheid an de instelling staat eel meer centraal dan oorheen. De instellingen moeten aantonen dat ze aan de standaarden oldoen. De zelfealuatie an de instelling speelt daarbij een belangrijke rol.

6 Examenerslag mbo Examenerslag mbo pagina 5 Het studiejaar was een pilotjaar. De doelstelling an deze pilot was om zowel instellingen als KCE de gelegenheid te bieden eraring op te doen met de nieuwe standaarden en de daarbij behorende werkwijze. Vanaf 1 augustus 2006 audit KCE alleen met de nieuwe standaarden. Ter oorbereiding op de inoering eran heeft KCE het afgelopen studiejaar deze standaarden in een sectorbrede pilot onderzocht. Vanwege de pilotstatus en omdat de normering nog niet was astgesteld, hebben de instellingen die kozen oor een audit olgens de nieuwe standaarden uitsluitend een rapport an beindingen ontangen zonder eindoordeel. 0.4 De instelling toont aan Bij de nieuwe standaarden ligt de erantwoordelijkheid om aan te tonen dat de inhoud en processen an examinering op orde zijn bij de instellingen. Dit houdt in dat de instellingen zelf bewijzen dat ze oldoen aan de standaarden. Instellingen zullen zich daarom bewust moeten zijn an hun eigen erantwoordelijkheid in het beoordelingsproces. Doordat de nieuwe standaarden pas tijdens het studiejaar zijn ingeoerd, moesten de instellingen in een kort tijdsbestek omschakelen naar de nieuwe standaarden en een andere werkwijze. Tijdens dit pilotjaar is gebleken dat de bewijzen niet altijd oorhanden waren. Nog niet alles was gedocumenteerd en boendien was het oor de instellingen niet altijd helder waar het bewijs aan moest oldoen. 0.5 Leeswijzer Deel 1 an dit rapport bestaat uit een weergae an de beindingen an KCE. Deel 2 behandelt elk jaar een thema dat samenhangt met examinering. Dit jaar is het thema diplomabeslissingen en competentiegericht leren en examineren in het mbo. Deel 1 Verslag an de kwaliteit an de examinering in het studiejaar In hoofdstuk 1 staat het antwoord op de centrale raag an dit erslag. U indt hier de samenatting en de conclusies an het onderzoek. Hoofdstuk 2 beschrijft de onderzoeksmethode an KCE. Verolgens indt u in hoofdstuk 3 de beindingen an de audits bij de instellingen op basis an de standaarden 2004 en de nieuwe standaarden. In hoofdstuk 4 leest u wat de beindingen zijn an de audits bij de leeranciers en treft u een oerzicht aan an de leeranciers per branche. Deel 2 Diplomabeslissingen en competentiegericht leren en examineren in het mbo In het mbo wordt competentiegericht beroepsonderwijs ingeoerd, mede daardoor zijn de beoordelings- en examenormen aan het eranderen. Het essay Diplomabeslissingen en competentiegericht leren en examineren in het mbo an KCE gaat hierop in. Het essay handelt oer competenties als sturingsmiddel oor leren en beoordelen, en oer betrouwbaar en alide competentiegericht examineren. Verder komen ook kritische succesfactoren aan de orde, eenals het toezicht. Het essay is gebaseerd op en in belangrijke mate ontleend aan een onderzoek Naar nieuwe ormen an examinering in het mbo? an prof. dr. Wim J. Nijhof (2006), Bezo-Consult. ersie december 2006

7 Deel 1: Verslag an de kwaliteit an de examinering in het studiejaar

8 Branche: techniek ersie december 2006 Examenerslag mbo pagina 8

9 1. Samenatting en conclusies Examenerslag mbo pagina Achtergrond en onderzoeksraag Het KwaliteitsCentrum Examinering (KCE) erschaft zekerheid oer de waarde an mbo-diploma s door de kwaliteit an examinering te certificeren. Daarmee kan KCE een bijdrage leeren aan het maatschappelijke ertrouwen in het mbodiploma. Om een uitspraak te kunnen doen oer de kwaliteit an de examinering oert KCE jaarlijks een audit uit bij alle actiee beroepsopleidingen die zijn geregistreerd in het Centraal register beroepsopleidingen (Crebo). Deze onderzoekstaak an KCE is beschreen in de Wet Educatie en Beroepsonderwijs (WEB). De beindingen an de KCE-audit leiden tot een algemeen oordeel oer de kwaliteit an de examinering in het mbo per studiejaar. Hoe KCE de kwaliteit an de examinering in het studiejaar beoordeelt, kunt u lezen in het oor u liggende erslag. In dit hoofdstuk indt u de belangrijkste conclusies. 1.2 Nieuwe standaarden KCE oert de onderzoeken uit aan de hand an kwaliteitsstandaarden die zijn ontwikkeld in oerleg met de belanghebbenden en astgesteld door de minister an OCW. Het afgelopen jaar heeft KCE nieuwe standaarden ontwikkeld die aansluiten bij de examinering an nieuwe competentiegerichte kwalificaties. Daarnaast zijn deze nieuwe standaarden ook prima geschikt om de kwaliteit an examinering an eindtermgerichte kwalificaties te kunnen aststellen. Een belangrijk erschil tussen de standaarden an 2004 en de nieuwe standaarden is dat de eigen erantwoordelijkheid an de instelling eel meer centraal staat. De instellingen tonen zelf aan dat zij aan de standaarden oldoen. De zelfealuatie an de instelling speelt daarbij een belangrijke rol. De nieuwe standaarden zijn globaler an opzet en gericht op de kritische succesfactoren an de examinering. Competentiegerichte examinering raagt om een beoordelingskader dat de nadruk legt op de manier waarop de instellingen aliditeit en betrouwbaarheid an de examinering transparant en aantoonbaar hebben geregeld. 1.3 Beindingen instellingen In het studiejaar is de KCE-audit uitgeoerd met de standaarden 2004 en met de nieuwe standaarden. De aantallen en beindingen zijn gebaseerd op de gegeens die op 17 noember 2006 beschikbaar waren Onderzochte kwalificaties In totaal heeft KCE dit studiejaar 5169 kwalificaties met een Crebo-licentie onderzocht. Hieran zijn 3153 kwalificaties olgens de standaarden 2004 onderzocht. Daarnaast zijn 2016 kwalificaties met de nieuwe standaarden onderzocht. In bijlage 5 staat een oerzicht an de onderzochte kwalificaties. Hierin ziet u ook welke kwalificaties onderzocht zijn met de standaarden 2004 en welke met de nieuwe standaarden. ersie december 2006 Standaarden 2004 Tijdens de KCE-audit zijn in totaal 3153 kwalificaties olgens de standaarden 2004 onderzocht. Hieran hebben 2221 kwalificaties een goedkeurende, 90 kwalificaties een oorwaardelijke en 118 kwalificaties een afkeurende erklaring ontangen. In totaal hebben 133 kwalificaties geen erklaring gekregen. Daarnaast heeft KCE zich oor 591 kwalificaties an een oordeel onthouden.

10 1. Samenatting en conclusies ersie december 2006 Examenerslag mbo pagina 10 KCE heeft zich an een oordeel onthouden, wanneer - de kwalificatie in het studiejaar een oorwaardelijke of afkeurende erklaring heeft gekregen en - de kwalificatie in het studiejaar opnieuw onderzocht is, maar het erbetertraject nog niet bleek afgerond waardoor KCE oor de tweede keer dezelfde beindingen deed. Bij Domein 4 Examenproducten is in het studiejaar in oerleg met de staatssecretaris de norm an 45% gehanteerd, of de instelling de erbeterpunten heeft doorgeoerd, maar er tijdens de KCEaudit beindingen op andere punten zijn gedaan. KCE wil zich in de twee boengenoemde situaties onthouden an een oordeel, omdat de aan de instelling erleende erbetertijd te kort is gebleken. Nieuwe standaarden Tijdens de KCE-audit zijn in totaal 2016 kwalificaties met de nieuwe standaarden onderzocht. In de steekproef zaten 1297 kwalificaties, 306 kwalificaties zijn onderzocht omdat ze te maken hebben met wettelijke beroepsereisten. Daarnaast zijn er 155 kwalificaties indiidueel onderzocht, dat wil zeggen op erzoek an de instelling. De experimentele kwalificaties bij de instellingen die oor de standaarden 2004 kozen, zijn beoordeeld met de nieuwe standaarden. Het betreft 258 experimentele kwalificaties Beindingen instellingen standaarden 2004 De meeste instellingen erzorgen kwalificaties die oldoen aan de normen oor de ijf domeinen waarin de standaarden 2004 zijn ondererdeeld. Zo oldoet het oergrote deel an de kwalificaties aan de normen oor het managen an het examen, oor het examenproces en oor de examenproducten. Ook erantwoording an de examinering, en samenwerking, inkoop en uitbesteding zijn bij de meeste kwalificaties oldoende. Uit de audits is een aantal aandachtspunten naar oren gekomen. Voor de toekomst is het an belang dat de examencommissies aantoonbaar maken dat ze inulling geen aan de wettelijke taken. Ook moeten instellingen inzichtelijk maken dat aanwezige en benodigde deskundigheid an medewerkers oereenkomen. Als dit niet het geal is, moeten zij aangeen welke acties zij in gang zetten om die kloof te oerbruggen. Voor eel instellingen zijn erder de ealuatie an het examineringsproces en de analyse an examenresultaten aandachtspunten. Daarnaast is de wijze waarop instellingen toezicht houden op de afname en beoordeling an examens een punt an aandacht. Hieronder allen ook de kwalificerende praktijkexamens die tijdens de beroepspraktijkorming worden georganiseerd. Verder moeten instellingen eroor zorgen dat bij alle examenproducten een beoordelingsoorschrift aanwezig is en de cesuur is ermeld. Tot slot blijkt dat de meeste instellingen een zelfealuatie hebben opgesteld en openbaar gemaakt, maar dat onderbouwing an de conclusies in eel zelfealuaties ontbreekt. Hierdoor is niet duidelijk op basis waaran de conclusies zijn getrokken.

11 Examenerslag mbo Examenerslag mbo pagina Beindingen instellingen nieuwe standaarden Bij de uitoering an de KCE-audit olgens de nieuwe standaarden is een kanttekening ooraf op zijn plaats. De instellingen moesten aantonen dat de inhoud en processen an examinering op orde zijn. De standaarden werden echter pas tijdens het studiejaar ingeoerd. Hierdoor moesten de instellingen in een kort tijdsbestek omschakelen naar de nieuwe standaarden en een andere werkwijze. Een complicerende factor was dat er nog weinig was gedocumenteerd. Voor de instellingen was het niet altijd helder waar het bewijs aan moest oldoen. Het ontbreken an bewijs is dan ook aak de reden dat drie an de ijf domeinen met een oldoende zijn beoordeeld. Dat de examinering niet aan het domein oldoet, is daarmee niet gezegd. Duidelijk mag zijn dat de actiee rol an de instellingen bij de bewijslast in de toekomst meer aandacht zal moeten krijgen. De zelfealuatie is daarbij een belangrijk document. Hierin kunnen de instellingen hun conclusies weergeen en onderbouwen op grond waaran zij deze conclusies hebben getrokken. Een oldoende beoordeling krijgen de meeste kwalificaties oor de teredenheid an de deelnemers, het exameninstrumentarium, de transparantie en borging an de examenprocessen en de wettelijke ereisten. Verder blijkt uit de resultaten dat de meeste instellingen nog onoldoende bewijzen hadden, waarmee zij het ertrouwen an het beroepeneld in de kwaliteit an examinering en de deskundigheid an de betrokkenen bij examinering konden aantonen. 1.4 Beindingen leeranciers De leeranciers worden óór het studiejaar onderzocht. Op die manier weten potentiële afnemers op tijd of KCE een certificaat aan de leerancier heeft erstrekt. De audits die in het studiejaar zijn uitgeoerd, boden de leeranciers de mogelijkheid zich te laten certificeren oor het studiejaar De leeranciers die oor de audit een certificaat hebben ontangen, zijn gecertificeerd oor het studiejaar Gecertificeerde leeranciers In het studiejaar zijn in totaal 24 leeranciers gecertificeerd. In het studiejaar zijn dit er 22. Bijlage 4 beat het oerzicht an de gecertificeerde leeranciers. Vrijwel alle leeranciers oldoen aan de normen oor de ijf domeinen waarop KCE ze heeft beoordeeld. De leeranciers krijgen an KCE een oldoende beoordeling oor het managen an het examen en oor samenwerking, inkoop en uitbesteding. Ook oor het examenproces, de examenproducten en de erantwoording is het resultaat oldoende. Voor de toekomst is het belangrijk dat de leeranciers benodigde deskundigheid definiëren en dat zij gegeens kunnen oerhandigen waaruit de deskundigheid an betrokkenen bij de examinering blijkt. Daarnaast kunnen de leeranciers de kwaliteit erbeteren door meer aandacht te schenken aan de feedback an instellingen op de geleerde producten. ersie december 2006

12 1. Samenatting en conclusies Examenerslag mbo pagina Conclusies KCE onderzoekt elk studiejaar de kwaliteit an de examinering in het middelbaar beroepsonderwijs (mbo). Door de kwaliteit te certificeren erschaft KCE de instellingen, het beroepeneld en de geëxamineerden de zekerheid an een waardeast mbo-diploma. De beindingen an het kwaliteitsonderzoek publiceert KCE jaarlijks in een erslag. De centrale onderzoeksraag in dit examenerslag is dan ook: wat is in het studiejaar de kwaliteit an de examinering in het middelbaar beroepsonderwijs? De kwaliteit an de examinering in het mbo heeft het afgelopen jaar bij de instellingen een duidelijke impuls gekregen. Het kwaliteitsbesef begint bij de instellingen meer door te dringen en wordt daar ook steeds duidelijker ondersteund. Bij de meeste kwalificaties die zijn beoordeeld aan de hand an de standaarden 2004 is significante ooruitgang geboekt. Een aantal kwalificaties oldoet echter nog niet aan de norm. Uit de resultaten blijkt dat de kwaliteit an examinering is erbeterd. Tegelijkertijd blijkt dat de erbeterperiode als regel te kort is. Uit de audits met de nieuwe standaarden komt naar oren dat de instellingen zich nog niet oldoende bewust zijn an de eigen rol en erantwoordelijkheid die zij in het beoordelingsproces hebben. Door pro-actief bewijzen te erzamelen en interne audits uit te oeren op grond waaran instellingen een zelfealuatie opstellen, kunnen de instellingen de kwaliteit an de examinering aantoonbaar maken. In het studiejaar audit KCE alleen met de nieuwe standaarden. Uit de audits blijkt dat de leeranciers blijen werken aan de kwaliteit an de examinering en inesteren in kwaliteitszorgsystemen. Oer het algemeen hebben zij de kwaliteit an hun examenproducten en -diensten op orde. Instellingen, leeranciers en KCE hebben het afgelopen jaar samen erder gebouwd aan een betere kwaliteit an de examinering in het mbo. ersie december 2006

13 Examenerslag mbo ersie december 2006 Examenerslag mbo pagina 13

14 Branche: oedsel en leefomgeing ersie december 2006 Examenerslag mbo pagina 14

15 2. Onderzoeksmethode Examenerslag mbo pagina Inleiding Hoe komt KCE tot een oordeel oer de kwaliteit an de examinering in het mbo? Aan de hand an landelijke kwaliteitsstandaarden onderzoekt KCE jaarlijks de examinering an elke kwalificatie in het mbo, waaroor zich in dat studiejaar deelnemers hebben ingeschreen. Dat zijn de zogenaamde actiee kwalificaties. Het onderzoek dat KCE uitoert, heeft de orm an een audit: de KCE-audit. In paragraaf 2.2 indt u een korte toelichting op de KCE-audit Paragraaf 2.3 informeert u oer de instellingen en leeranciers die KCE heeft onderzocht. Bij het samenstellen an dit examenerslag is gebruik gemaakt an gegeens die zijn opgeslagen in het Audit Informatie Systeem (AIS) an KCE. De aantallen en de beindingen zijn gebaseerd op de gegeens die op 17 noember 2006 beschikbaar waren. 2.2 De KCE-audit KCE beoordeelt de examinering op basis an standaarden die in oerleg met belanghebbenden zijn ontwikkeld en erolgens zijn astgesteld door de minister an OCW. Alle beindingen samen resulteren in een algemeen oordeel oer de kwaliteit an examinering in het mbo in het studiejaar Daarmee is de centrale onderzoeksraag beantwoord. Twee typen standaarden De KCE-audit is dit studiejaar uitgeoerd met twee typen standaarden: de standaarden 2004 en de nieuwe standaarden. De standaarden 2004 zijn ook gebruikt tijdens de KCE-audit an het studiejaar De nieuwe standaarden zijn ontwikkeld en geënt op de kwalificaties die gebaseerd zijn op de competentiegerichte en op de eindtermgerichte kwalificatiestructuur. Alle kwalificaties die na afloop an de audit een oorwaardelijke of afkeurende erklaring hebben ontangen, zijn dit studiejaar geaudit met de standaarden De experimentele kwalificaties zijn geaudit met de nieuwe standaarden. Voor de oerige kwalificaties konden de instellingen kiezen tussen de standaarden 2004 of de nieuwe standaarden. De keuze die zij maakten, gold oor alle resterende kwalificaties. In bijlage 5 staat welke kwalificaties met welke standaarden zijn onderzocht. ersie december 2006 Selectiemethode Bij de instellingen die hebben gekozen oor de standaarden 2004 zijn alle kwalificaties an een instelling onderzocht. De experimentele kwalificaties zijn geaudit met de nieuwe standaarden. De kwalificaties oor het onderzoek naar de instrumenten an examinering zijn bepaald door een aselecte steekproef. Bij de instellingen die hebben gekozen oor de nieuwe standaarden zijn de kwalificaties die in het studiejaar een oorwaardelijke of afkeurende erklaring hebben gekregen, geaudit met de standaarden De kwalificaties waar sprake is an wettelijke beroepsereisten en de kwalificaties waaroor de instelling het erzoek heeft ingediend om ze indiidueel te onderzoeken, zijn allemaal geaudit. Voor de resterende kwalificaties is een steekproef getrokken. Voor het onderzoek naar de instrumenten an examinering is olgens de steekproefmethode een steekproef getrokken uit de bijbehorende deelkwalificaties. Bij de steekproeftrekking is het uitgangspunt dat de kwaliteit an examinering an een beperkt aantal kwalificaties in hoge mate oorspellend is oor de kwaliteit an de oerige kwalificaties. Met name bij instellingen die eel kwalificaties aanbieden,

16 2. Onderzoeksmethode Examenerslag mbo pagina 16 kan met een laag steekproefpercentage worden gewerkt. Omdat dit studiejaar een pilotjaar was en er geen astgestelde norm was, is in de rapporten an beindingen geen eindoordeel opgenomen. Verklaring bij standaarden 2004 Voor alle kwalificaties die zijn onderzocht met de standaarden 2004 geeft KCE afhankelijk an de resultaten an het onderzoek een goedkeurende, oorwaardelijke of afkeurende erklaring af. De normering die KCE hanteert om te bepalen welk type erklaring een kwalificatie krijgt, is door de minister an OCW astgesteld. Deze normering is gebaseerd op een rekenkundig model. In het studiejaar is de norm dat 70% an de indicatoren oor elk domein positief beoordeeld dient te zijn om een goedkeurende erklaring te ontangen. Wanneer binnen een an de ijf domeinen de norm an 70% niet is gehaald, leidt dit tot een oorwaardelijke erklaring. Zijn er twee of meer domeinen onder de maat, dan leidt dit tot een afkeurende erklaring. KCE meldt de erklaringen aan de betrokken minister. Die beslist erolgens of een afkeurende erklaring geolgen heeft oor het recht op examinering an die opleiding. Zie hieroor de brief an de staatssecretaris aan het beoegd gezag an de instellingen an 31 oktober In het studiejaar heeft KCE in een aantal geallen geen oordeel gegeen en daarom geen erklaring uitgereikt. In paragraaf leest u in welke situaties hier sprake an is en wat de achterliggende reden hieran is. Rapport an beindingen bij nieuwe standaarden De instellingen waaran de kwalificaties zijn onderzocht met de nieuwe standaarden hebben conform de afspraken met de staatssecretaris een rapport an beindingen ontangen in plaats an een erklaring (zie brochure 11 januari 2006). In het rapport an beindingen staat wat de resultaten zijn an de onderzochte kwalificaties. Er is geen eindoordeel opgenomen, omdat dit studiejaar een pilotjaar was waarin geen sprake was an een astgestelde norm. Bij de waardering met de nieuwe standaarden gaat KCE uit an een kwalitatiee beoordeling, waarbij alle standaarden een gelijk gewicht hebben. De waardering bestaat uit een ijfpuntsschaal. In het studiejaar is de nieuwe werkwijze getoetst en geëalueerd in de praktijk. Certificaat oor leeranciers De leeranciers zijn in het studiejaar met dezelfde standaarden beoordeeld als in Deze standaarden en bijbehorende indicatoren zijn een afgeleide an de landelijke standaarden 2004 oor instellingen. De werkwijze oor beoordeling an leeranciers is zo eel mogelijk identiek aan de werkwijze oor beoordeling an instellingen. In de studiejaren en hebben de leeranciers bij oldoende resultaat een certificaat ontangen. Leeranciers die oor een certificaat in aanmerking willen komen, moeten examenproducten en examendiensten oor een olledige deelkwalificatie aanbieden. ersie december Onderzochte instellingen en leeranciers KCE heeft als wettelijke taak jaarlijks de kwaliteit te onderzoeken an de examinering an alle beroepsopleidingen in Nederland die zijn geregistreerd in het Centraal register beroepsopleidingen (Crebo). Daarbij gaat het om zowel door de oerheid bekostigde instellingen als om instellingen die met particuliere gelden worden gefinancierd. Per instelling heeft KCE geïnentariseerd welke kwalificaties actief zijn. Deze inentarisatie maakt inzichtelijk welke instelling oor welke kwalificaties een licentie heeft en of die instelling oor die kwalificatie ook daadwerkelijk deelnemers heeft.

17 Examenerslag mbo Examenerslag mbo pagina 17 KCE heeft de KCE-audit ook bij leeranciers uitgeoerd, hoewel het onderzoeken an leeranciers niet tot de wettelijke taak an KCE hoort. Het heeft echter als oordeel dat de instellingen de ingekochte producten en diensten an een gecertificeerde leerancier niet zelf door KCE hoeen te laten onderzoeken. Dit is eel efficiënter, bespaart kosten oor de afnemers en draagt in belangrijke mate bij aan de doelmatigheid an KCE. Instellingen In hoofdstuk 3 Beindingen instellingen leest u wat de beindingen zijn an de KCE-audit. In bijlage 3 indt u een oerzicht an de onderzochte instellingen in het studiejaar Leeranciers In hoofdstuk 4 Beindingen leeranciers leest u wat de beindingen zijn per domein en welke leerancier actief is in welke branche. In bijlage 4 kunt u zien welke leeranciers een certificaat kregen in het studiejaar en daarmee werden gecertificeerd oor het studiejaar Ook staat in bijlage 4 welke leeranciers in het studiejaar een certificaat hebben gekregen en daardoor zijn gecertificeerd oor het studiejaar Branches In figuur 2.1 is het aantal kwalificaties dat KCE heeft onderzocht ingedeeld naar branche. Branche-indeling: Aantal onderzochte kwalificaties Relatief aandeel Gezondheidszorg ,2% Veiligheid 45 0,9% Techniek ,3% Bouw 447 8,6% Bedrijfsoering 451 8,7% Zakelijke diensterlening 36 0,7% ICT 143 2,8% Handel ,8% Mobiliteitssector 351 6,8% Uiterlijke erzorging 116 2,2% Recreatie en toerisme 351 6,8% Communicatie en media 182 3,5% Voedsel en leefomgeing ,8% Niet aan een specifieke branche toe te wijzen 202 3,9% Totaal ,0% ersie december 2006 Figuur 2.1: Onderzochte kwalificaties naar branche in het studiejaar

18 Branche: handel ersie december 2006 Examenerslag mbo pagina 18

19 3. Beindingen instellingen Examenerslag mbo pagina Inleiding Dit hoofdstuk behandelt de beindingen an het onderzoek bij de instellingen. Eerst leest u wat KCE erstaat onder instellingen. Dan olgt een oerzicht an het aantal onderzochte kwalificaties. Verolgens komen de meest opallende beindingen oor de standaarden 2004 en oor de nieuwe standaarden aan bod. 3.2 Wat alt onder de noemer instellingen? Instellingen zijn aanbieders an examinering an alle beroepsopleidingen die zijn geregistreerd in het Crebo-register. Hieronder allen: de instellingen die door de oerheid worden gefinancierd: regionale opleidingscentra, agrarische opleidingscentra en de akinstellingen de instellingen die uit particuliere gelden worden gefinancierd de exameninstellingen die de examinering in opdracht an een instelling uitoeren (uitbesteding) In bijlage 3 indt u een oerzicht an de instellingen die KCE in studiejaar heeft onderzocht. 3.3 Onderzochte kwalificaties studiejaar Dit studiejaar heeft KCE in totaal 5169 kwalificaties met een Crebo-licentie onderzocht. In totaal zijn 3153 kwalificaties olgens de standaarden 2004 onderzocht. Daarnaast zijn in totaal 2016 kwalificaties met de nieuwe standaarden onderzocht. In bijlage 5 staat een oerzicht an de onderzochte kwalificaties. Hierin ziet u ook welke kwalificaties onderzocht zijn met de standaarden 2004 en welke met de nieuwe standaarden Onderzochte kwalificaties en erklaringen standaarden 2004 Tijdens de KCE-audit zijn in totaal 3153 kwalificaties olgens de standaarden 2004 onderzocht. Hieran hebben 2221 kwalificaties een goedkeurende, 90 kwalificaties een oorwaardelijke en 118 kwalificaties een afkeurende erklaring ontangen. In totaal hebben 133 kwalificaties geen erklaring gekregen. Daarnaast heeft KCE zich oor 591 kwalificaties an een oordeel onthouden. In de toelichting hieronder leest u op basis waaran KCE een bepaalde erklaring heeft erstrekt en in welke geallen KCE zich an een oordeel heeft onthouden. Toelichting Goedkeurende erklaring - de kwalificatie oldoet in het studiejaar oor elk domein aan de norm, dat wil zeggen dat 70% an de indicatoren positief is beoordeeld. Voorwaardelijke erklaring - de kwalificatie is in het studiejaar niet onderzocht of heeft in het studiejaar een goedkeurende erklaring ontangen, maar - de kwalificatie oldoet in het studiejaar binnen een an de ijf domeinen niet aan de norm an 70%. ersie december 2006 Afkeurende erklaring - de kwalificatie is in het studiejaar niet onderzocht of heeft in het studiejaar een goedkeurende erklaring ontangen, maar - de kwalificatie oldoet in het studiejaar binnen meer dan een an de ijf domeinen niet aan de norm an 70%, of - de kwalificatie heeft in het studiejaar en op hetzelfde domein een oorwaardelijke en/of afkeurende erklaring gekregen. Bij Domein 4 Examenproducten is in het studiejaar in oerleg met de staatssecretaris de norm an 45% gehanteerd.

20 3. Beindingen instellingen Examenerslag mbo pagina 20 Geen erklaring - de kwalificatie heeft in het studiejaar een oorwaardelijke of afkeurende erklaring gekregen en - de kwalificatie is in het studiejaar als actief aangemeld tijdens de tweede inentarisatie en is opgenomen in de oereenkomst, maar - de instelling gaf tijdens de erificatie aan dat de kwalificatie dit studiejaar niet meer actief was. Geen oordeel - de kwalificatie heeft in het studiejaar een oorwaardelijke of afkeurende erklaring gekregen en - de kwalificatie is in het studiejaar opnieuw onderzocht, maar het erbetertraject nog niet bleek afgerond waardoor KCE oor de tweede keer dezelfde beindingen deed. Bij Domein 4 Examenproducten is in het studiejaar in oerleg met de staatssecretaris de norm an 45% gehanteerd, of de instelling heeft de erbeterpunten doorgeoerd, maar er zijn tijdens de KCE-audit beindingen op andere punten gedaan. KCE wil zich in de twee boengenoemde situaties onthouden an een oordeel, omdat de aan de instelling erleende erbetertijd te kort is gebleken. In figuur 3.1 staat hoeeel kwalificaties een goedkeurende, oorwaardelijke en afkeurende erklaring hebben ontangen, hoeeel kwalificaties geen erklaring hebben ontangen en bij hoeeel kwalificaties KCE zich an een oordeel heeft onthouden. Verklaring of geen oordeel Aantal kwalificaties Goedkeurende erklaring 2221 Voorwaardelijke erklaring 90 Afkeurende erklaring 118 Geen oordeel 591 Geen erklaring 133 Totaal 3153 Figuur 3.1 Oerzicht onderzochte kwalificaties op basis an standaarden Onderzochte kwalificaties nieuwe standaarden Tijdens de KCE-audit zijn in totaal 2016 kwalificaties met de nieuwe standaarden onderzocht. In de steekproef zaten 1297 kwalificaties, 306 kwalificaties zijn onderzocht omdat ze te maken hebben met wettelijke beroepsereisten. Daarnaast zijn er 155 kwalificaties indiidueel onderzocht, dat wil zeggen op erzoek an de instelling. De experimentele kwalificaties bij de instellingen die oor de standaarden 2004 kozen, zijn beoordeeld met de nieuwe standaarden. Het betreft 258 experimentele kwalificaties. In het rapport an beindingen staat wat de resultaten zijn an de onderzochte kwalificaties. Er is geen eindoordeel opgenomen, omdat dit studiejaar een pilotjaar was en er geen sprake was an een astgestelde norm. ersie december 2006

21 Examenerslag mbo Examenerslag mbo pagina 21 In figuur 3.2 staat een oerzicht an de reden an onderzoek. Bij de steekproeftrekking is het uitgangspunt dat de kwaliteit an examinering an een beperkt aantal kwalificaties in hoge mate oorspellend is oor de kwaliteit an de oerige kwalificaties die de instelling aanbiedt. Reden onderzocht Aantal kwalificaties In de steekproef 1297 Wettelijke beroepsereisten 306 Indiidueel, op erzoek 155 Experimentele opleiding 258 Totaal aantal onderzochte kwalificaties 2016 Figuur 3.2 Oerzicht onderzochte kwalificaties op basis an nieuwe standaarden Opmerking Studiejaar was een pilotjaar, waarin zowel instellingen als KCE eraring konden opdoen met de nieuwe standaarden. Bij de nieuwe standaarden moeten de instellingen aantonen dat de inhoud en processen an examinering op orde zijn. Zij moeten dus bewijzen dat ze oldoen aan de standaarden. De domeinen en standaarden zijn gericht op de kritische succesfactoren rondom examinering. Uit de KCE-audit kwam naar oren dat de instellingen zich nog niet oldoende bewust zijn an de eigen erantwoordelijkheid die zij in het beoordelingsproces, dat bij de nieuwe standaarden hoort, hebben. Daarbij konden zij de consequenties hieran onoldoende oerzien. Dit heeft te maken met het feit dat de standaarden pas tijdens het studiejaar zijn ingeoerd. Hierdoor moesten de instellingen in een kort tijdsbestek omschakelen naar de nieuwe standaarden en een andere werkwijze. Een complicerende factor daarbij was dat er op het moment an de audit soms weinig was gedocumenteerd. Ook bleek dat het oor de instellingen niet altijd helder was waar de bewijzen aan moeten oldoen. 3.4 Beindingen per domein standaarden 2004 De standaarden 2004 zijn ondererdeeld in ijf domeinen. Elk domein geeft oor een specifiek thema aan wanneer er sprake is an een kwalitatief goed, geborgd proces. De ijf domeinen zijn: Domein 1 Het managen an het examen Domein 2 Samenwerking, inkoop en uitbesteding Domein 3 Examenproces Domein 4 Examenproducten Domein 5 Verantwoording. De beindingen in de paragrafen tot en met zijn gerangschikt naar de ijf domeinen. ersie december 2006

22 3. Beindingen instellingen Examenerslag mbo pagina Domein 1: Het managen an het examen De onderzoeksraag luidt: Wat zijn de beindingen an het onderzoek naar domein 1 Het managen an het examen? Conclusie: de meeste kwalificaties oldoen aan de norm an het domein Het managen an het examen. Inrichting examenorganisatie op orde De meeste instellingen hebben de examenorganisatie zo ingericht dat zij de kwaliteitsdoelstellingen oor examinering kunnen erwezenlijken. Bijna alle instellingen hebben een kwaliteitshandboek examinering ontwikkeld met procedures oor de examinering en een beschrijing an de releante taken. Ze werken de centrale handboeken regelmatig op afdelingsnieau erder uit. Positief punt is dat steeds meer instellingen duidelijke afspraken hebben gemaakt oer de beoegdheden en erantwoordelijkheden an de functionarissen die betrokken zijn bij de examinering. In een aantal geallen zijn deze afspraken astgelegd in het handboek. De instellingen hebben examencommissies benoemd. Er zijn eel erschillende manieren waarop de examencommissies zijn samengesteld en waarop zij functioneren. De ene examencommissie is op operationeel nieau actief en komt wekelijks bijeen; de andere examencommissie heeft alle uitoerende taken gedelegeerd en komt één keer per jaar bijeen om lopende zaken formeel ast te stellen. Voor de toekomst is het an belang dat examencommissies aantoonbaar maken dat zij inulling geen aan de wettelijke taken (WEB, artikel en 7.4.8). Beroepeneld betrokken bij examinering De mate waarin en de manieren waarop het beroepeneld is betrokken bij de inhoud en uitoering an examinering erschillen. Bij de meeste kwalificaties is de betrokkenheid oldoende. De instellingen zijn actief bezig de samenwerking met en de betrokkenheid an het beroepeneld bij de examinering te ergroten. Er zijn instellingen die dit studiejaar al aantoonbaar hebben gemaakt dat zij het beroepeneld structureel betrekken bij de examinering. Het beroepeneld is op een aantal manieren betrokken bij de inhoud an de examinering. Zo stellen de instellingen werkelddeskundigen aan als constructeurs. Ook leggen zij zelf ontwikkelde toetsen oor aan ertegenwoordigers an het beroepeneld. Verder zijn ertegenwoordigers uit het beroepeneld aangesteld als lid an de examencommissie. Ook richten steeds meer instellingen adiesraden en/of werkeldcommissies op, die het mogelijk maken om werkelddeskundigen op operationeel en op managementnieau te betrekken. De betrokkenheid an het beroepeneld bij de uitoering an examinering is bij de meeste kwalificaties beperkt tot het beoordelen an praktijkcomponenten door de praktijkopleider. OER en oldoen aan wettelijke ereisten De aangeleerde Onderwijs- en Examenregelingen (OER) oldoen grotendeels aan de wettelijke eisen, zoals beschreen in de WEB, artikel Bij eel instellingen zijn de OER en zowel oor medewerkers als oor deelnemers beschikbaar ia een netwerk. ersie december 2006 Deelnemers tereden oer exameninformatie Deelnemers geen aan tereden te zijn oer de manier waarop instellingen hen informeren oer de examinering. De instellingen erstrekken de informatie tijdig en olledig. Docenten spelen aak een centrale rol bij de informatieerstrekking aan deelnemers.

23 Examenerslag mbo Examenerslag mbo pagina 23 Commissie an beroep ingesteld De meeste instellingen hebben een commissie an beroep oor de examens ingesteld. Wat samenstelling en procedures aangaat, oldoen de commissies grotendeels aan de wettelijke ereisten. Waar zich binnen een instelling in het studiejaar een beroepszaak heeft oorgedaan, is gehandeld olgens de procedure. In eel geallen is de beroepsprocedure ontwikkeld, zijn de erangende leden aangesteld en is de commissie an beroep bekend bij de deelnemers. Instellingen handelen olgens wettelijke beroepsereisten Bij een aantal kwalificaties zijn wettelijke beroepsereisten an toepassing. Er wordt in de praktijk gehandeld olgens de WEB, artikel Domein 2: Samenwerking, inkoop en uitbesteding De onderzoeksraag luidt: Wat zijn de beindingen an het onderzoek naar domein 2 Samenwerking, inkoop en uitbesteding? Conclusie: de meeste kwalificaties oldoen aan de norm an het domein Samenwerking, inkoop en uitbesteding. Scholingsbeleid is toekomstgericht De deskundigheid an de betrokkenen bij de organisatie an de examinering is oor een groot aantal onderzochte kwalificaties oldoende. De mate waarin instellingen een actief beleid hebben ingezet om te kunnen waarborgen dat de betrokkenen bij examinering oer de nodige deskundigheid beschikken, erschilt per instelling. Deskundigheidsbeorderende maatregelen zijn ooral gericht op de competentiegerichte kwalificatiestructuur. De behoefte aan scholing is kleiner naarmate er meer sprake is an inkoop an examenproducten en -diensten. Aandacht oor erschil tussen aanwezige en benodigde deskundigheid De mate waarin de instellingen zicht hebben op de benodigde deskundigheid arieert per instelling. Zicht op aanwezige kennis en aardigheden an de medewerkers krijgen de instellingen door controle op de errichte werkzaamheden, ia jaarlijkse functionerings-, beoordelings- of POP-gesprekken en ia informatie uit ealuaties. Daarnaast werken instellingen olop aan de ontwikkeling an competentieprofielen, waarin de benodigde deskundigheid is astgelegd. In een aantal geallen zijn die al geïmplementeerd. Een aandachtspunt is dat instellingen inzichtelijk maken dat aanwezige en benodigde deskundigheid oereenkomen. Als dit niet het geal is, dan is het an belang dat de instellingen aangeen welke acties zij in gang zetten om de kloof te oerbruggen. ersie december 2006 Certificering praktijkopleiders Vaak hebben de instellingen eroor gekozen om een deel an de kwalificerende praktijkcomponenten tijdens de beroepspraktijkorming te laten beoordelen door de praktijkopleider. Daarom is het an belang dat de praktijkopleiders die als beoordelaar optreden, oer de ereiste competenties beschikken om hun taak goed uit te oeren. Instellingen geen aan dat de leerbedrijen erkend zijn. Dit houdt rijwel altijd in dat de praktijkopleiders de praktijkopleiderstraining hebben geolgd an het KBB waardoor zij erkend zijn. Of de praktijkopleiders ook daadwerkelijk deskundig zijn om goed te kunnen beoordelen hangt af an de inhoud an de praktijkopleiderstraining. In steeds meer trainingen staat het beoordelen in de beroepspraktijk centraal. In een aantal trainingen wordt al getoetst of de praktijkopleiders na de training oer de benodigde competenties beschikken. De praktijkopleiders die de toets met oldoende resultaat afleggen krijgen een certificaat.

24 3. Beindingen instellingen Examenerslag mbo pagina 24 Inkoopafspraken astgelegd in contract Voor rijwel alle kwalificaties waaroor instellingen examenproducten en/of diensten inkopen, zijn de inkoopafspraken met leeranciers astgelegd in een contract. De instellingen controleren of de geleerde producten en diensten oldoen aan de afspraken. De mate waarin en de manier waarop erschilt. In een aantal geallen stelt de aststellingscommissie de ingekochte toetsen ast oor afname. In andere geallen is inzage in de toetsen oor afname niet toegestaan en kunnen instellingen hun opmerkingen na afname aan de leerancier doorgeen Domein 3: Examenproces De onderzoeksraag luidt: Wat zijn de beindingen an het onderzoek naar domein 3 Examenproces? Conclusie: de meeste kwalificaties oldoen aan de norm an het domein Examenproces. Ealuatie an constructie en aststelling an examens in gang gezet Bij de samenstelling en aststelling an de examens werken de instellingen meestal olgens de procedures. Doorgaans was er een scheiding in persoon tussen samenstelling en aststelling. De ealuatie an samenstelling en aststelling is in gang gezet. Nog niet oeral is sprake an een regelmatige ealuatie an dekkingsgraad en moeilijkheidsgraad an toetsopdrachten en an de toetstechnische kwaliteit an de examens. Plannen oor toezicht op praktijkexamens Afname en beoordeling erlopen bij de meeste instellingen olgens de procesbeschrijing of als sprake is an inkoop het oorschrift an de leerancier. De afname ealueren de instellingen met protocolformulieren. Het toezicht op de beoordeling an theorie-examens is in een aantal geallen gerealiseerd door steekproefsgewijs een tweede beoordelaar in te zetten. Een aandachtspunt oor eel instellingen is het toezicht op de afname en beoordeling an praktijkexamens tijdens de beroepspraktijkorming. Instellingen zijn bezig met plannen om dit toezicht te realiseren. Analyseren examenresultaten is aandachtspunt Verwerking en publicatie an examenresultaten erloopt olgens procedure. De controle gebeurt bij eel instellingen binnen de teams, waarna de examencommissie de resultaten formeel aststelt. Het analyseren an examenresultaten is een aandachtspunt. Bij eel instellingen ontbreken duidelijke afspraken oer de manier waarop, door wie en wanneer examenresultaten worden geanalyseerd. In de dagelijkse praktijk gebeurt analyse an examenresultaten aak mondeling binnen een team of akgroep als de resultaten an de deelnemers hier aanleiding toe geen. Certificering en diplomering ereenoudigd door automatisering Certificering en diplomering zijn oer het algemeen op orde. Er is een ast stramien, dat ereenoudigd is met de intrede an de geautomatiseerde systemen oor cijfererwerking. Vrijstellingen worden erleend olgens de astgestelde werkwijze. De instellingen erlenen slechts in beperkte mate een rijstelling op basis an Erkennen an Verworen Competenties (EVC). ersie december 2006

25 Examenerslag mbo Examenerslag mbo pagina Domein 4: Examenproducten De onderzoeksraag luidt: Wat zijn de beindingen an het onderzoek naar domein 4 Examenproducten? Conclusie: de meeste kwalificaties oldoen aan de norm an het domein Examenproducten. Examenonderdelen inhoudelijk representatief De meeste instellingen hebben examenproducten aangeleerd die inhoudelijk representatief zijn oor de eindtermen an de deelkwalificaties. Een aandachtspunt is de beschrijing an de eindtermen an de deelkwalificatie in een oerzicht. De norm is dat 100% an de eindtermen an de deelkwalificatie beschreen is in een oerzicht. Uit de resultaten an het onderzoek naar de instrumenten an examinering blijkt dat deze norm in de meeste geallen niet is gehaald. De norm dat ten minste 75% an de eindtermen is uitgewerkt in examentoetsen is grotendeels wel gehaald. Daarnaast hebben de meeste instellingen oldoende inzichtelijk gemaakt dat de inhoud an de examentoets(en) oereenkomt met de erdeling in de aangeleerde oerzichten. Ook blijkt dat in de meeste examens de ragen en opdrachten zijn gekoppeld aan de eindtermen en die oldoende afdekken. Moeilijkheidsgraad examens op orde Bij de meeste examenproducten komt het nieau an het examen oereen met het beheersingsnieau zoals aangegeen in de eindtermen. KCE heeft beoordeeld of in minimaal één raag of opdracht de eindterm op het juiste beheersingsnieau is getoetst. Een oorwaarde om dit te kunnen beoordelen, is dat de ragen en opdrachten oldoende zijn gekoppeld aan de eindtermen en de eindtermen oldoende afdekken. Aandacht oor beoordelingsoorschriften en cesuur Het grootste deel an de examenproducten oldoet aan de norm oor de toetstechnische kwaliteit en olledigheid. Hierbij is beoordeeld of er een begrijpelijke instructie oor de deelnemer aanwezig is en of de ragen en opdrachten duidelijk zijn gesteld. Daarnaast is beoordeeld of er bij de toetsen een inhoudelijk correct antwoordmodel of beoordelingsoorschrift is, waarin de beoordelingscriteria zijn gekoppeld aan de eindtermen. Ook is beoordeeld of de cesuur, het punt waarop een deelnemer een (on)oldoende haalt, is ermeld en correct is. Bij een groot deel an de examenproducten ontbreekt de cesuur en ontbreekt een correct, eenduidig beoordelingsoorschrift Domein 5: Verantwoording De onderzoeksraag luidt: Wat zijn de beindingen an het onderzoek naar domein 5 Verantwoording? Conclusie: de meeste kwalificaties oldoen aan de norm an het domein Verantwoording. ersie december 2006 Teredenheidsmeting deelnemers en beroepeneld gerealiseerd De teredenheid an de deelnemers en het beroepeneld is bij de meeste instellingen met een oldoende beoordeeld. De beoordeling was alleen oldoende als de instellingen een teredenheidsmeting onder deelnemers én beroepeneld konden aanleeren. De teredenheid an deelnemers onderzoeken de instellingen jaarlijks ia de enquête an JOB-ODIN en/of ia een eigen onderzoek. Een kanttekening hierbij is dat de plaats die examinering inneemt aak klein is binnen deze onderzoeken. Steeds meer instellingen kiezen eroor om panelgesprekken te oeren met deelnemers. Een aandachtspunt oor de instellingen is dat zij aantoonbaar maken dat examinering aan de orde komt tijdens deze gesprekken.