Vaststelling en screening van examens Bijlage bij de presentatie vr het Servicepunt examinering mb, 21 maart 2014 Jan Adema, tetsdeskundig adviseur RCEC/ Cit 1
Inhud Vaststelling in perspectief... 3 Wat is de functie van de vaststelling in de examenrganisatie?... 3 Is vaststelling van examens vr afname verplicht?... 4 Screenen van examens... 4 Risicgericht vaststellen en screenen... 5 Brgen van kwaliteit van examinering Een examencmmissie vraagt zich af:... 5 Risicgericht vaststellen... 6 Risicgericht screenen... 7 Prfiel vaststeller /screener... 7 Wie zijn de vaststellers/screeners?... 7 Welke kennis heeft de vaststeller f screener ndig?... 8 Welke vaardigheden heeft de vaststeller ndig?... 8 Kaders vr vaststellen en/f screenen... 9 Het examenplan als uitgangspunt vr vaststelling/screening... 9 De checklist f vaststellingslijst... 10 Rapprteren en adviseren... 10 Rapprteren aan de pdrachtgever... 10 Cmmuniceren met de cnstructeurs... 11 Jaarverslag... 11 Antwrden bij dilemma s en vragen uit de praktijk... 12 Brnnen:... 16 Deze hand-ut is een uitgebreide versie van de presentatie die Jan Adema, tetsdeskundig adviseur RCEC/ Cit, tijdens de cnferentie Cnstrueren en vaststellen: een vak apart p 21 maart 2014 heeft gegeven. 2
Vaststelling in perspectief Wat is de functie van de vaststelling in de examenrganisatie? De rl van de examencmmissie bij de brging van de kwaliteit is in de peride van 2004 tt heden geëvlueerd. De beslissing ver diplmering en brging van de kwaliteit ligt nu nadrukkelijk bij de examencmmissie. Deze ntwikkeling zien we zwel in het hger nderwijs als in het mb. In het hger nderwijs is zwel de verantwrdelijkheid van de examencmmissie als de nafhankelijke rl ten pzichte van het management vastgelegd in regelgeving. Dit laatste aspect is in het mb niet het geval. Een krte terugblik in de verschillende edities van de standaarden illustreert de ntwikkeling in het mb. In de KCE-standaarden van 2004 zien we ng dat de tetstechnische kwaliteit dr f namens het bevegd gezag wrdt geëvalueerd. In de Regeling standaarden examenkwaliteit mb van 2010 is de examencmmissie verantwrdelijk, maar deze verantwrdelijkheid is alleen in algemene zin mschreven: De examencmmissie vergewist zich met een gepaste frequentie en grndigheid van de integrale kwaliteit van de examinering. In de Regeling standaarden examenkwaliteit mb van 2012 staat een meer uitgebreide beschrijving van de rl van de examencmmissie. Hierin staat.a.: Standaard 2.3.2: De examencmmissie vergewist zich met gepaste grndigheid en frequentie van de kwaliteit van het exameninstrumentarium, de afname, de berdeling, de besluitvrming betreffende de diplmering en van de deskundigheid van bij de examinering betrkken persnen. In de NVE-prfielen van 2013 vinden we de nafhankelijke psitie van de examencmmissie terug in een rgangram van de examenrganisatie (zie afbeelding). Hewel er k andere rganisatiemdellen mgelijk zijn, laat dit mdel zien dat het lid van de tets-/vaststellingscmmissie zijn werkzaamheden uitvert in pdracht van de examencmmissie. Het del van de functie is als vlgt mschreven: De tets-/ vaststellingscmmissie cntrleert vr en/f na afname van de examens de kwaliteit van de examens pdat de examencmmissie de resultaten van bedelde examens kan gebruiken bij de beslissing ver diplmering. Examenrganisatie (brn NVE 2013) 3
Is vaststelling van examens vr afname verplicht? In de KCE-standaarden van 2004 staat vaststelling vr afname van examens in het examenprces vlwaardig tussen cnstructie en afname (standaard 3.2). Vaststellen werd daarmee een verplichte stap vr het mb en de schlen mesten een flinke inspanning leveren m deze nieuwe, verplichte stap in het examenprces in te veren. De schlen installeerden vaststellingscmmissies en gingen cncreet met de vaststelling van examens aan de slag. In 2006 verdween de vaststelling echter alweer uit de standaarden. In dat jaar kmt de meer algemene term brging in de standaarden vr. Ok in de latere versies van de standaarden van de Inspectie van het Onderwijs is de vaststelling niet als verplichte stap pgenmen. In de prcesarchitectuur examinering is vaststelling wel pgenmen in het prces van examinering. Als we naar andere nderwijssectren kijken, zien we dat vaststelling van examens in het hger nderwijs vrijwel nbekend is. Vaak benemen schlen wel een tetscmmissie met een srtgelijke rl: het waken ver de kwaliteit. Schlen veren niet structureel vóór de afname een cntrle van de kwaliteit uit. De stap vaststelling ntbreekt en de rl van vaststeller is niet in regelgeving pgenmen. Vr afname wrdt een cllegiale screening dr een vakcllega wel gestimuleerd. Op schlen in het vrtgezet nderwijs is vr de schlexamens de term vaststelling niet in gebruik en deze stap is niet vastgelegd in regelgeving. Bij Cit is de vaststelling wel als vast nderdeel pgenmen in de prcedures, nder andere vr de centrale examens in het vrtgezet nderwijs en de centraal ntwikkelde examens in het mb. Vaststelling vindt dan plaats in twee stappen, waarbij eerst de pgaven wrden vastgesteld en vervlgens de examenversie die uit de vastgestelde pgaven is samengesteld. Krtm, vaststelling vr afname van het examen is in het mb geen verplichting, maar wel een stap is die erkend is als middel vr kwaliteitsbrging. Het is pvallend dat in het VO en HO deze stap vrijwel nbekend is. Ok kunnen we cncluderen dat brging van de kwaliteit van de examens een verantwrdelijkheid is van de examencmmissie. Deze brging betreft het gehele prces van examinering en heeft als del de beslissing tt diplmeren te kunnen verantwrden. Vaststelling van de kwaliteit vr afname van de examens is één van de middelen die schlen kunnen inzetten m de kwaliteit van examens te brgen. Een vaststellingscmmissie kan dan in pdracht van de examencmmissie de vaststelling van examens uitveren. Screenen van examens Naast de vaststelling vóór afname is het screenen van een examen ná afname een manier m de kwaliteit van het examen te berdelen. Een screening na afname van het examen richt zich p alle stappen van de examencyclus en de bijbehrende dcumenten en prducten, zals: de tetsmatrijs het examen (de vragen/pdrachten/ antwrden/criteria, cesuur, berdelaarsinstructie) het ingevulde prces-verbaal berdeelde werk/berdelingsfrmulieren afnamegegevens/verzicht van de resultaten deelnemersevaluatie 4
assessrenevaluatie tets- en itemanalyse Op deze manier krijgt de examencmmissie inzicht in de algehele kwaliteit van de examens. Een aselecte steekpref bepaalt welke examens in aanmerking kmen vr de screening. De resultaten van de screening zijn bij een gede steekpref representatief vr álle examens. De resultaten van de screening geven een beeld van de risic s van een categrie examens. Dit kan leiden tt een verbeterplan. Risicgericht vaststellen en screenen Brgen van kwaliteit van examinering Een examencmmissie vraagt zich af: We hebben een vaststellingscmmissie die alle examens vaststelt. Is nu de kwaliteit gebrgd? Lukt het m elk examen helemaal ged na te kijken bij elke vaststelling? Weten we nu zeker dat de afname en de berdeling ged verlpt? Weten we nu f de betruwbaarheid van de tets vldende is? He wrden verbeterpunten vastgelegd en verwerkt in het prces? Vaststellen van examens is een gede stap. Maar er zijn meerdere methden m de kwaliteit te verhgen/brgen van prducten f prcessen. Denk bijvrbeeld aan: 1. heldere prduct-/prcesbeschrijving; 2. schling van de persnen die de taak uitveren; 3. efenen van de gewenste vaardigheden; 4. standaardisering van het prduct; 5. het testen/cntrleren/reviewen van het prduct; 6. een pilt uitveren van prduct en prces; 7. steekprefsgewijze cntrles p verschillende mmenten; 8. audit uitveren; 9. werken in pdca-cyclus. Het pstellen van de vaststellingslijst valt nder nummer 1 en het vaststellen van een examen nder nummer 5. Het is een cntrle van het prduct, vrdat de schl het examen gaat gebruiken. Vaststelling, als nderzek naar de kwaliteit van het exameninstrumentarium, is daarmee één van de checks p een nderdeel van het prces, namelijk de cnstructie van examens. Daarnaast zijn er uiteraard andere checks en maatregelen m de kwaliteit te brgen. Znder p alle tepassingen van bvenstaande methden in te gaan, lijkt de psmming zelf al antwrd te geven p de vraag f we kunnen vlstaan met vaststelling vrafgaand aan de afname van examens. Dr vaststelling vraf krijgt de examencmmissie inzicht in de vraag f de uitslag later bruikbaar is vr diplmeren. Bij klachten f prblemen bij f na de afname is het ingevulde vaststellingsfrmulier een waardevlle infrmatiebrn. In de Regeling standaarden examenkwaliteit van 2012 staat: De examencmmissie vergewist zich met gepaste grndigheid en frequentie van de kwaliteit van het exameninstrumentarium, de afname, 5
de berdeling, de besluitvrming betreffende de diplmering en van de deskundigheid van bij de examinering betrkken persnen. Het is belangrijk dat vaststelling van examens gepaste aandacht krijgt in het geheel aan maatregelen en nderzek naar de kwaliteit van examinering en dat vaststelling risicgericht en kstenbewust plaatsvindt. Om keuzes te maken bij het inzetten van maatregelen m de kwaliteit te verbeteren f brgen, is een risicanalyse een geschikt vertrekpunt. He hger het risic dat examens na cnstructie niet vlden aan de eisen, he meer tijd je besteedt aan vaststelling. De vaststelling is dan, naast andere checks, een middel m de kwaliteit van examinering te brgen. De wijze waarp de verantwrdelijkheden binnen de examinering zijn geregeld, bepalen he de prcedure van vaststelling verlpt. Gezien de verantwrdelijkheid van de examencmmissie vr het nderzek naar het exameninstrumentarium en de gepaste frequentie en grndigheid daarvan zal de examencmmissie betrkken zijn bij het pstellen van de prcedure. Risicgericht vaststellen Een risicanalyse kan p verschillende manieren plaatsvinden. Hiernder vlgt een vrbeeld vr een prcedure per risiccategrie en een indeling van examens in risiccategrieën. Elke examencmmissie kan natuurlijk zelf andere afwegingen maken in de risic-inschatting. Vaststellen kan p verschillende mmenten plaatsvinden, namelijk bij het ntwikkelen van een nieuw examen en bij herziening van een bestaand examen, bijvrbeeld na een screening. Prcedure: 1. Laag risic: Check p juiste gegevens (vrblad) en vlledigheid: tetsmatrijs/verantwrding van dekkingsgraad pdracht/vragen antwrdmdel/berdelingslijst instructie vr berdelaars instructie vr student cesuur/weging bijlagen et cetera (zie checklist Cit en Prcesarchitectuur Examinering) 2. Risic p nderdelen; Check p zwakke/verbeterpunten van vrige versie 3. Hg risic: Vlledige check: in lijn met examenplan, eenduidige vragen en pdrachten, crrect antwrdmdel/eenduidige berdelingscriteria, de berdelaarsinstructie geeft aanwijzingen vr bjectieve crrectie (zie checklist met uitgebreide criteria vr berdeling kwaliteit), et cetera. Vrbeeld van een risic-inschatting van examens: laag risic (1), risic p nderdelen (2), verhgd risic (3): Ng niet eerder afgenmen, zelf gecnstrueerde examens (3) Dr de inspectie afgekeurde examens (3) Klachten van deelnemers na afname (3) Sterk afwijkende waarden na analyse van afnameresultaten (3) Examens waarbij inspectienderzek gedkeuring met verbeterpunten heeft aangegeven (2) Evaluatie van assessren die zwakke punten beschrijft (2) Analyse afnameresultaten die zwakke punten beschrijft (2) Verbeterpunten van vaststellingprcedure van een vrige versie (2) 6
Nieuwe ingekchte examens (1) Eerder afgenmen en vastgestelde examens (1) Vr de uiteindelijke vaststelling van examens in risiccategrie (1) en (2) kan afgesprken wrden dat één vaststeller dit det. Een administratieve kracht kan vrbereidend werk den. Vr risiccategrie (3) kan een andere keuze wrden gemaakt, bijvrbeeld twee persnen de cntrle laten uitveren. Risicgericht screenen De meest risicvlle punten vr een valide en betruwbare beslissing bij een examen verschillen per type examen. De checklist van de screening kan daar extra nadruk p leggen. Z is bij een examen dat plaatsvindt in de berepspraktijkvrming, een bjectieve berdeling een bekend knelpunt. Brkhart en Nitk (2008) geven een lijst van aandachtpunten vr een betruwbare en valide tetsing. Vrij vertaald naar de mb-cntext ziet de lijst met aandachtspunten, gecategriseerd in vier hfdvrmen, er als vlgt uit: Geslten vragen znder vragenbank: tetsmatrijs, kwaliteit van de vragen, aantal vragen in de tets en itemanalyse. Open vragen: duidelijke vragen/pdrachten, antwrdmdel en instructie/afstemming van crrectren. Praktische tetsen: gelijke afnamecndities, berdelingscriteria, vier-genprincipe, nafhankelijkheid en deskundigheid van assessren. Prtfli, prjectverslag: instructie vr de kandidaat m berdeelbaar werk te leveren, check p zelfstandigheid bij uitveren/samenstellen/schrijven, fraudecheck, berdelingscriteria en nafhankelijkheid assessr. Wat de zwakste schakels in de keten zijn, kan per pleiding/examen verschillen. De examencmmissie kan, samen met de vaststellers/screeners, een plan van aanpak pstellen. Prfiel vaststeller /screener Wie zijn de vaststellers/screeners? Het instellen van een vaststellingscmmissie is gebruikelijk, maar niet ndzakelijk. In een kleine rganisatie is het vaak de examencmmissie zelf die de vaststelling verzrgt. Dit is prima, mdat de examencmmissie tensltte verantwrdelijk is vr het evalueren van het exameninstrumentarium. De regel dat de cnstructeur niet zelf zijn tetsen vaststelt, is in elk examenreglement in het mb te vinden. Deze regel is afkmstig uit de KCE-standaarden 2004 (Standaard 3.2: In het prces van tetsvaststelling bestaat een duidelijke scheiding in persn tussen tetscnstructie en tetsvaststelling). Deze nafhankelijkheid van de cnstructie geeft een extra garantie vr een nafhankelijke blik. Bij invering van de standaarden werd, naast de vaststelling, k betrkkenheid van het bedrijfsleven bij de examinering als eis pgenmen. Een cmbinatie van betrkkenen uit het bedrijfsleven en de pleiding/schl lijkt vr de hand te liggen. Vertegenwrdigers uit het bedrijfsleven nemen sms k plaats in vaststellingscmmissies. In de praktijk blijkt het vereiste tetstechnische kennisniveau te hg m te verwachten dat mensen uit de berepspraktijk de vlledige verantwrdelijkheid vr 7
vaststelling kunnen dragen. Bvendien is de schl uiteindelijk verantwrdelijk vr de kwaliteit van examinering. In het prfiel van de NVE en in de Beschrijvingen van Examentaken zien we de vaststeller/screener vral als een specialist p het gebied van tetstechnische kennis en regelgeving. De inhudelijke verantwrdelijkheid vr het examen ligt primair bij de cnstructeurs. Een cllegiale screening van de tets vóór hij aan de vaststeller wrdt aangeleverd, lijkt inmiddels een algemeen aanvaarde stap. De vaststeller cntrleert tetstechnische aspecten, zals de verantwrding van de inhud in relatie tt het examenplan. De rl van vaststeller vereist schling, ervaring met de tetspraktijk en efening dr veel examens vast te stellen. Het is dan k aan te raden iemand vr enkele jaren in deze rl te benemen. Welke kennis heeft de vaststeller f screener ndig? In de NVE-prfielen staat de kennis vermeld die een lid van de vaststellingscmmissie ndig heeft. Geplaatst in de mb-cntext betekent dit dat een vaststeller/screener met beschikken ver kennis van: de relevante artikelen van de WEB; de regelgeving rnd de centrale examens taal en rekenen; het curriculum van de pleiding; het kwalificatiedssier van de betreffende creb-nummers de standaarden van de Inspectie van het Onderwijs; de nderwijs- en examenregeling en het handbek examinering van de mb-schl (f van de instelling); begrippen validiteit, betruwbaarheid et cetera (literatuur hierver is bijvrbeeld te vinden p www.kwaliteitsbrging.examineringmb.nl, Tetsen p schl); kennis van de tepassingsmgelijkheden en specifieke aandachtspunten bij tetsvrmen, zals preve van bekwaamheid, prtfli, criteriumgericht interview (cgi) maar k taaltetsen en kennistetsen; indien van tepassing: gebruik en beheer van itembanken. Welke vaardigheden heeft de vaststeller ndig? In de Beschrijvingen van Examentaken (BET s) vinden we de taken die de vaststeller uitvert. Ze zijn gekppeld aan de pdca-cyclus. Op www.kwaliteitsbrging.examineringmb.nl vindt u een nadere uitwerking van deze taken. PLAN 1.1 De eigen vrbereiding en planning van de vaststelling van examens afstemmen p relevante wet- en regelgeving. 1.2 De eigen planning en werkvrbereiding afstemmen p de beleidskaders van de instelling en p de kwaliteitseisen vr het vaststellingsprces. DO 2.1 De examens berdelen f ze vlden aan de vr de pleiding geldende wet- en regelgeving en het examenbeleid van de instelling en de examencmmissie hierver adviseren. 2.2 De examens berdelen f ze vlden aan de tetstechnische eisen en de examencmmissie hierver adviseren. 2.3 De tetscnstructeur adviseren ver het verbeteren van examentetsen. 8
CHECK 3.1 De eigen werkwijze, resultaten en deskundigheid cntrleren en evalueren. ACT 4.1 Vanuit de eigen rl actief bijdragen aan de verbetering van het examineringsprces. Brn: Beschrijvingen van Examentaken (BET s). Kaders vr vaststellen en/f screenen De vaststeller en/f screener heeft de vlgende kaders ndig m zijn werk te kunnen den: de exameneisen zals vastgelegd in het kwalificatiedssier; het examenreglement: dit reglement bevat bijvrbeeld afspraken ver infrmatie p het vrblad van het examen, te gebruiken frmats, herkansingen, bekend maken van de uitslag, regels vr surveillanten en assessren; ndersteuning dr het nderwijsmanagement; de verbeterpunten na de vrige vaststelling/afname. het examenplan; een checklist waarin de standaarden van de inspectie zijn verwerkt. De laatste twee punten verdienen enige telichting. Het examenplan als uitgangspunt vr vaststelling/screening Om examens te kunnen vaststellen en screenen, hebben de vaststellers een kader ndig. Het examenplan is het niveau waarp de belangrijkste keuzes gemaakt wrden ver de inrichting van het examen. In het examenplan staan per kwalificatie en chrt, alle exameneenheden waaraan een student met vlden, inclusief de bijbehrende beslisregels. Het examenplan met vldende bjectiviteit van tetsing garanderen. Het kan dus vrkmen dat slechts één berdelaar een examen uitvert, mits het examenplan als geheel vldende bjectiviteit garandeert. Hetzelfde geldt vr de authentieke cntext vr het uitveren van praktijkpdrachten. Sms laat een werkprces zich niet gemakkelijk tetsen in de praktijk. Tetsing kan dan in een simulatie plaatsvinden. Ok is schriftelijke examinering zelfs mgelijk. De authentieke cntext met dan in het examenplan als geheel vldende zijn vastgelegd. Als het examenplan geen duidelijke infrmatie ver de nderdelen geeft, is de cnstructeur stuurls. Vervlgens kan k de vaststeller zijn werk niet den. De vaststeller treedt dan buiten zijn bevegdheid als hij tch examens vaststelt f afkeurt. Het examenplan geeft infrmatie ver: kerntaken werkprcessen in het examen; peride van afname (en daarmee k de vlgrde van examens); tijdsduur van het examen; afnamelcatie en/f glbale afnamecndities; type examen; aantal berdelaars (en mgelijk andere eisen aan de berdelaars); aantal vragen/screpunten; 9
maximale ksten f inzet in aantal uren vr afname en berdeling; beslisregel vr diplmering. Afstemming tussen de cnstructeurs ver de tetsmatrijs is aan te bevelen. Het is k mgelijk m vaststellen van de tetsmatrijs als aparte stap in te vegen. In dit geval stellen de cnstructeurs eerst een tetsmatrijs p die de vaststellings- f examencmmissie vervlgens berdeelt. De checklist f vaststellingslijst Er zijn meerdere berdelingssystemen vr de kwaliteit van examens. Het mb is gebnden aan de standaarden, maar kan k zijn vrdeel den met inzichten uit andere berdelingssystemen, zals het RCEC-berdelingssysteem, de criteria van de Ctan f de Kwaliteitspiramide van eigentijds tetsen en berdelen van Jsten en Ten Brinke. De afgelpen jaren zijn er meerdere publicaties ver examenkwaliteit verschenen die gericht zijn p het hb, mede drdat in het hb standaarden van de inspectie ntbreken. De standaarden van de Inspectie van het Onderwijs zijn als berdelingssysteem ged ntwikkeld en geschikt vr het type examens in het mb. Deze standaarden zijn echter niet geschikt als checklist, waarmee een vaststeller zijn werk kan den. Het is zinvl m verschillende checklists te gebruiken vr verschillende tetsvrmen, mdat hiervr andere aandachtspunten gelden. Bij meerkeuzevragen heven we bijvrbeeld de frmulering van berdelingscriteria niet te cntrleren. Op dit mment (april 2014) is er geen eenduidig beste methde m examens vast te stellen f te screenen. Daarm kiezen schlen vaak vr een mix van exameninstrumenten. De examencmmissie kan dus zelf de methde kiezen. Op de website van het Servicepunt examinering mb kunt u vrbeelden van checklists vinden. Cit heeft een uitgebreide checklist ntwikkeld, p basis van de meest vrkmende criteria en aandachtspunten in de tetsliteratuur en verschillende berdelingssystemen. Deze lijst vindt u in de bijlage. Rapprteren en adviseren Rapprteren aan de pdrachtgever De vaststellingscmmissie brengt de examencmmissie peridiek p de hgte van de vrtgang en mgelijke prblemen. Deze vaststellingscmmissie levert een verzicht met de status van het vaststellingsprces c.q. screeningsprces met de daarbij behrende, ingevulde checklists. De vaststellingscmmissie rapprteert k via ntulen van de cmmissievergaderingen en eventueel dr het uitbrengen van mndeling verslag. Het is altijd verstandig m rapprtages schriftelijk vast te leggen, mdat daarmee k de verantwrding is vastgelegd. De examencmmissie vlgt actief het vaststellings- en screeningsprces en stuurt - waar ndig - bij. Op basis van de verzichten, checklists en ervaringen bij het vaststellen kan de vaststellingscmmissie de examencmmissie adviseren ver maatregelen m de kwaliteit te verhgen. Denkend vanuit de examencyclus kan dit eens per jaar gebeuren, tenzij er meerdere examencycli per jaar plaatsvinden. Het ligt vr de hand dat het management direct en nvrwaardelijk inzicht heeft in alle rapprtages van de vaststellingscmmissie. 10
Cmmuniceren met de cnstructeurs De examencmmissie cmmuniceert bij vrkeur de methde en prcedure van vaststellen met cnstructeurs. Als de examencmmissie besluit een steekpref vr het screenen van examens te nemen, is het raadzaam de methde van de steekpref zrgvuldig te kiezen en te te lichten aan de cnstructeurs. Daarmee kan de cmmissie vrkmen dat een cnstructeur denkt dat juist hij gecntrleerd wrdt in plaats van het prduct f het prces. De vaststellingscmmissie geeft feedback aan de cnstructeurs. Bij inkp van examens is het handig m in de rganisatie per leverancier één persn te benemen die de cntacten nderhudt en de feedback geeft. Dit is niet ndzakelijkerwijze de vaststeller. Jaarverslag Een jaarverslag van de vaststellingscmmissie bevat minimaal infrmatie ver: samenstelling van de cmmissie; data van bijeenkmsten; verzicht van gecntrleerde en vastgestelde examens; verzicht van feedback aan de cnstructeurs; advies ver verbetering van examinering; advies ver verbetering vaststellingsprces. Met het jaarverslag is de cyclus vr de vaststelling rnd en kan de examencmmissie zich beraden p mgelijke aanpassing van het beleid. 11
Antwrden bij dilemma s en vragen uit de praktijk Vanuit bvenstaande uitgangspunten, inzichten en praktijkervaringen kunnen cnstructeurs nu de vragen en dilemma s te lijf. Heveel uren stelt het management ter beschikking vr vaststelling? Een indicatie van bendigde tijd, p basis van de praktijkervaring, met de uitgebreide bijgevegde checklist geven we hiernder. Deze tijden zijn inclusief rapprtage en feedback. Risiccategrie 1: 0,5 uur Risiccategrie 2: 1 uur Risiccategrie 3: 2 x 1,5 tt 2,5 uur inclusief rapprtage en feedback Telichting: bij een examen met veel tekrtkmingen is de tijd die ndig is vr cntrle en feedback veel langer dan bij een ged examen. Risiccategrie 3 bevat naar verwachting meer tekrtkmingen f aandachtspunten. Veel tijd gaat verlren met het pzeken van f vragen naar de dcumenten. Deze tijd kan met hulp van het examenbureau mgelijk wrden verkrt. Vergaderingen van de vaststellingscmmissie nemen vaak relatief veel tijd in beslag in vergelijking met de geprduceerde (ingevulde) checklists. Rapprtage kst tijd. Dit met als gegeven wrden geaccepteerd, mdat znder vastleggen van de resultaten het effect van vaststelling in de pdca-cyclus teniet gedaan wrdt. Wat is de primaire taak van de examencmmissie: vaststellen/afkeuren f de pdca-cyclus in de gaten huden? Beide zijn belangrijk. Vaststellen vrafgaand aan de examenafname kan wrden nderscheiden van screenen. De screening na examenafname is juist gericht p de pdcacyclus. Op welke werkzaamheden het accent ligt, kan verschillen. Dit is afhankelijk van de pdracht van de examencmmissie. Meten er tetsdeskundigen en/f inhudsdeskundigen in de vaststellingscmmissie plaatsnemen? De verantwrdelijkheid vr de inhud ligt primair bij de cnstructeurs. Advies: ten minste twee inhudelijk deskundigen zijn akkrd met de inhud, vrdat de schl het examen aan de vaststellers aanbiedt. Vaststellers zijn tetsdeskundigen met glbale kennis van de vakken. Daar waar ze infrmatie tekrt kmen, vragen ze de cnstructeur f een vakinhudelijke expert m telichting. Met je ingekchte examens vaststellen f niet? Advies: steekprefsgewijs screenen vr inkp lst veel prblemen p. Het ligt vr de hand m vast te stellen vlgens laag risic. Examens met een verwacht hg risic kun je beter niet inkpen. De schl blijft wel verantwrdelijk vr het examen. Dr een evaluatie na afname van het examen en terugkppeling hiervan naar de leverancier, neemt de schl k deze verantwrdelijkheid duidelijk p zich. Sms kan een dcent plaatsnemen in de cnstructiegrep van de leverancier. Ok dit is verantwrdelijkheid nemen. 12
Steekpref nemen f alle examens vaststellen? Advies: alle examens vaststellen, wel risicgericht werken. De tetsen zijn vaak niet p tijd binnen. Kun je k na afname vaststellen? Vóór afname nemen we de cntrle vaststellen vr afname. Vaststellen vr afname is bedeld m nú ervr te zrgen dat het examen aan de eisen vldet. Na afname kan een schl het examen ng wel screenen p kwaliteit, maar dat heeft dan een ander del, namelijk de versie van vlgend jaar ptimaliseren. Het bekijken van de statistische waarden van de vragen m indien ndig de cesuur aan te passen, nemen we geen screenen f vaststellen. Dit is een andere prcedure. Als de vaststellers een examen niet hebben bekeken, mag het dan wel wrden afgenmen? Vaststelling is in het mb meestal als stap in het examenreglement pgenmen. Dit maakt dat de stap k met wrden uitgeverd. De schl met het eigen reglement uitveren. Dr risicgericht te werken, kan de schl de inspanning van de vaststellers ptimaal benutten, zdat zij zveel mgelijk examens vaststellen. Als de vaststellers een examen vóór afname hebben afgekeurd, kan het examen dan tch drgaan? Orzaken van afkeuring kunnen verschillen. Kandidaten een examen vrleggen waarvan de kwaliteit zdanig nvldende is dat het niet tt een eerlijke uitslag leidt, is niet zinvl. De schl kan het cijfer dan niet meenemen in de diplmabeslissing. Sms kan een examen met een extra inspanning van de cnstructeurs tch wrden vastgesteld. Als de vaststellers de tets afkeuren, is het wenselijk dat ze de reden hiervan pgeven en een advies geven ver en he dit te repareren is. Een verleg tussen examencmmissie en management p basis van dit advies is raadzaam, vrdat de schl een niet-vastgesteld examen afneemt. Ok is het verstandig m deze beslissing vast te leggen in ntulen van de examencmmissie. Een examen heeft een paar kleine verbeterpunten van de vaststeller. Deze verbeteringen zijn ng niet pgenmen in het nieuwe examen. Kan de schl het examen nu tch afnemen? Het niet uitveren van kleine verbeterpunten maakt de gelfwaardigheid van de examenrganisatie er niet beter p. Als examencmmissie (en management) kun je deze verbeterpunten niet laten passeren. Zrg vr een aantnbaar cmplete pdca-cyclus p dit punt. Met de vaststelling fcussen p belangrijke nderdelen f een brede checklist hanteren? Zie hiervr het risicgericht vaststellen. Afhankelijk van de risiccategrie van het examen kan de vaststeller fcussen. Gebruikt de vaststellingscmmissie één checklist f meerdere lijsten (per tetsvrm)? De stappen in de tetscyclus zijn p alle srten examens en tetsen van tepassing. Elke lijst met dus al deze stappen bevatten. Per stap zijn er verschillende aandachtspunten vr verschillende typen tetsen. Onderscheid tussen kennistetsen en praktijk- /cmpetentietetsen is vldende m verzichtelijk te kunnen werken. 13
De Cit-screeningslijst bevat vr elke stap in de tetscyclus vragen vr verschillende typen tetsen. Per risiccategrie kan een ander frmulier gebruikt wrden. Bestaat de checklist uit de standaarden f andere categrieën? De standaarden zijn niet cncreet geneg m direct in een checklist te zetten. Geadviseerd wrdt m te rdenen vlgens de stappen in de tetscyclus en de bijbehrende prducten (tetsmatrijs, vragen/pdracht, antwrdmdel/screlijst, berdelaarsinstructie, cesuur, evaluatie van afname, afnamegegevens, statistische analyse en studentenevaluatie). Dit geeft een praktische rdening/sturing vr de vaststeller bij het vaststellen. Een examen is vastgesteld maar blijkt erg duur (tijdrvend) in de afname en berdeling. Is de uitverbaarheid van een examen nderdeel van de vaststelling? Ja, uitverbaarheid is een nderdeel van de screening/vaststelling. Het examenplan met cncrete infrmatie geven vr de vaststeller. Mgelijk geeft het examenplan een maximale inzet aan uren. De cnstructeur geeft dan een berekening van het aantal bendigde uren vr de uitvering. De vaststeller cntrleert dit. Met de matrijs van een kennistets gerdend wrden p werkprcessen f p de vakkennis, zals in het kwalificatiedssier vermeld? Dit is beide mgelijk. Hier zijn geen richtlijnen vr in de standaarden. De matrijs met een duidelijk herkenbare relatie hebben met het kwalificatiedssier. Heveel vragen zijn minimaal ndig vr vaststelling van een kennistets? Als dit relevant is, kan/met dit in de tetsmatrijs staan, f in een andere indicatie van de mvang van het examen (zals de tijdsduur). Het aantal vragen hangt nder andere van de zwaarte van het examen af (de weging). He meer vragen, he beter de dekking van de nderwerpen en he hger de betruwbaarheid van het examen. Overigens zijn hier tetstechnisch grenzen aan. Als het examenplan en/f de tetsmatrijs geen richtlijnen geven, is het meilijker vr de vaststeller m het examen vast te stellen. Hij kan dan eerst bij de cnstructeur te rade gaan. He stel je digitale tetsen vast die de vaststellers niet kunnen inzien f waarbij deelnemers verschillende versies krijgen? Digitale tetsen die vanuit een pgavenbank met een matrijs wrden samengesteld, kunnen per deelnemer aselect wrden samengesteld. Meestal betreft dit ingekchte examens. Deze methde heeft vr- en nadelen. Meestal kunnen de vaststellers wel prefpgaven inzien en kan de tetsmatrijs wel aan de klant geleverd wrden. De pleiding besluit wel f niet het betreffende examen in te kpen. De vaststelling van een dergelijk examen vindt meestal bij de leverancier plaats in drie stappen: vaststelling van de pgaven; vaststelling van de matrijs; en de samenstelling van de tets. Als de leverancier kan verantwrden dat hij deze stappen vrafgaand aan de levering heeft gedaan, kan de examencmmissie deze tetsen inhudelijk als laag risic bestempelen en fcussen p de afname. De evaluatie kan de examencmmissie na de afname terugkppelen 14
aan de leverancier. He stel je de bjectiviteit van de berdeling van een preve van bekwaamheid vast? Een bjectief rdeel is, naast gede criteria, vral afhankelijk van de assessren. Specifieke eisen aan de inzet van assessren kan de schl in het examenplan vermelden. Meestal staan er k randvrwaarden vr assessren in het handbek examinering/ examenreglement. Uit de berdelaarsinstructie met blijken dat de schl deze vrwaarden k naleeft. Een assessr is iemand die het gedrag van de kandidaat waarneemt en berdeelt f prducten bekijkt en berdeelt die de kandidaat gemaakt heeft. Inzet van twee assessren waarvan er tenminste één nafhankelijk is (bijvrbeeld niet slb er f praktijkbegeleider) is een vuistregel. Wanneer is de afnamesituatie authentiek geneg? De berdeling van authenticiteit vindt vlgens standaard 3.2.1 plaats ver het gehele examen. De glbale eisen aan de afnamelcatie meten daarm in het examenplan zijn vermeld en verantwrd. De afnamecndities meten in de pdracht verder zijn uitgewerkt, zdat hierin de cntext van het examen duidelijk wrdt. Als het examenplan geen richtlijnen geeft, kan de vaststeller hierver geen uitspraak den. Met de vaststeller k de taalfuten aanpassen? Eenduidige taal is een belangrijk punt in een examen. Een examen met k representatief zijn. De schl kan dus eisen stellen aan de taalverzrging. Daar waar taal een risic vrmt vr een gede beslissing ver de kandidaat, valt het zeker nder de taak van de vaststeller. Het is de vraag f de vaststeller verantwrdelijk is vr een futlze plevering. Deze kwestie, dus wie de cntrle van pmaak en taalfuten vr zijn rekening neemt, lst iedere schl p een andere manier p. Niet iedereen trekt de grens tussen eenduidige en futlze taal gelijk. Stelt de vaststellingscmmissie het examenplan vast? Het vaststellen van het examenplan is geen taak van de vaststeller. Het examenplan kmt tt stand dr inbreng van diverse belanghebbenden, zals de verheid (sectrale examenprfielen), de examencmmissie, de manager examinering, de examinatren en het nderwijsteam. De vaststellingscmmissie kan bij het prces van pstellen wel inbreng hebben. De examencmmissie stelt, nder verantwrdelijkheid van het cllege van bestuur, het examenplan uiteindelijk vast. Zie k de examenprfielen NVE f de BET s van het Servicepunt examinering mb/bureau ICE. Kan de inspectie een vastgesteld examen afkeuren? Ja. De vaststellers p de schlen meten de standaarden interpreteren en verwerken in een checklist en vervlgens de nrm gelijk bepalen aan de manier waarp de inspectie dit det. Het spreekt vanzelf dat er hierbij berdelaarsverschillen ptreden. Vaststelling is geen manier m 100% zekerheid te krijgen ver het rdeel van de inspectie. 15
Brnnen: Bij het samenstellen van de inhud van de wrkshp is gebruik gemaakt van de vlgende brnnen: KCE-standaarden 2004-2005 Nieuwe standaarden en werkwijze KCE versie 11 januari 2006 Tezichtkader BVE 2009 Tezichtkader BVE 2012 Cinp 2003 Werken aan de kwaliteit van de BPV-berdeling Brkhart & Nitk, 2008, Assessment and Grading in Classrms, Ministerie van Onderwijs, Wet vr educatie en berepsnderwijs Wet p het Hger nderwijs en wetenschappelijk nderzek (WHW) NVE, 2013, Functieprfielen examenrganisatie Bureau ICE, 2013, Beschrijvingen van Examentaken RCEC, 2011 berdelingssysteem vr de kwaliteit van tetsen. 16