DE CIRKEL ROND IN KWALITEITSBORGING BIJ EXAMINERING GARANT STAAN VOOR DE KWALITEIT VAN DIPLOMA S

Transcriptie

1 Landelijk Netwerk Examinering MBO DE CIRKEL ROND IN KWALITEITSBORGING BIJ EXAMINERING GARANT STAAN VOOR DE KWALITEIT VAN DIPLOMA S

2 Input : WEB / KD / SEP Introductie Auteurs José Dams, Sancie Leenders, Marloes van Bussel (CINOP Advies) Hoe krijgt u grip op de kwaliteitsborging van examinering? Hoe kan een examencommissie de evaluatie van de examenprocessen verbeteren? Deze vragen van het Netwerk Examinering MBO zijn aanleiding voor dit artikel. Op basis van een enquête onder de netwerkleden en het denkkader van de Golden Circle, schetsen wij drie stappen die een commissie kan zetten voor een effectieve evaluatie van de examinering. Om te komen tot een lerende organisatie die letterlijk garant staat voor de kwaliteit van de diploma s. Landelijk Netwerk Examinering MBO Het Netwerk Examinering MBO is een landelijk netwerk bestaande uit circa 40 managers, docenten en beleidsmedewerkers examinering van de mbo-instellingen. Het netwerk komt vier keer per jaar bij elkaar. Met elkaar bespreken zij alle actuele ontwikkelingen op het gebied van examinering en wisselen zij ervaringen uit om van elkaar te leren. CINOP Advies is facilitator van dit netwerk en vervult de rol van voorzitter. Dit artikel is als volgt opgebouwd: 01 Evalueren als onderdeel van kwaliteitsborging; 02 Een blik op de huidige praktijk; 03 Drie stappen in het opzetten van evaluatie; Introductie In steeds meer mbo-instellingen is de examinering ingericht volgens de Procesarchitectuur Examinering (PE) (zie examineringmbo.nl/pe20/). In hun handboek examinering zijn alle procesgebieden uitgewerkt: kaders stellen, construeren en vaststellen, leren, examineren, diplomeren en kwaliteitsborging. Hiermee ontstaat een basis voor een uniforme en samenhangende aanpak bij examinering in de gehele instelling. Het procesgebied kwaliteitsborging heeft echter tot nu toe beperkt handen en voeten gekregen. 04 Aandacht voor alle stappen: een planmatige aanpak; 05 Wat vraagt evalueren van examenprofessionals?; 06 Samenvatting en conclusies. En daarmee krijgt de PDCA-cyclus, een essentieel onderdeel van de PE, nog niet de kans zijn lerende functie te vervullen. Met het inrichten van de examinering volgens de PE kregen vanzelfsprekend als eerste de PLAN- en de DO-vorm. Examencommissies staan nu voor de volgende stap: het uit de verf laten komen van de CHECK en de ACT. Daarmee maken de commissies de cyclus rond en kunnen ze hun belangrijkste taak realiseren: de kwaliteit van alle examenprocessen borgen en zo als instelling garant staan voor de kwaliteit van de diploma s. Figuur 1 Procesarchitectuur Examinering (PE) PLAN DO Kaders stellen Opstellen examen reglement Opstellen Vaststellen Opstellen examenvisie kaders examenplan Opstellen handboek examinering Kwaliteitsborging procesgebied / processen / deskundigheid Vaststellen examenplan Ontwikkelen examinering Inschrijven student Construeren en vaststellen Inkopen examens Besluiten Vaststellen inkopen examens construeren Construeren examens Kwaliteitsborging procesgebied / processen / deskundigheid Leren Beslissen Bespreken Verzamelen over examen examenplan leerresultaten aanvraag Centraal ontwikkelde examens Examineren Examen aanbod Laten Laten uitvoeren beoordelen Match Vaststellen resultaat Examen Uitvoeren Beoordelen aanmelding Kwaliteitsborging procesgebied / processen / deskundigheid Diplomeren Besluiten om te Diplomeren diplomeren Kwaliteitsborging procesgebied / processen / deskundigheid Kwaliteitsborging procesgebied / processen / deskundigheid ACT CHECK 2

3 01. Evalueren als onderdeel van kwaliteitsborging Bij borging van de examinering gaat het om zicht en grip hebben op de kwaliteit. Dat houdt in: weten dat er sprake is van kwaliteit en weten dat die kwaliteit niet toevallig is. Het gaat echter ook om het verankeren van de kwaliteit van de examinering; in de bekwaamheden van de betrokken medewerkers en, in kaders, systemen zoals het handboek, de organisatie en de cultuur. Daarnaast betekent kwaliteitsborging ook het rond maken van de PDCA-cyclus om te leren en de kwaliteit van de examinering te blijven verbeteren; niet alleen ten behoeve van studenten en stakeholders, maar ook voor het imago van de instelling. Om dat te realiseren, kan de examencommissie diverse activiteiten voor kwaliteitsborging inzetten. Vooraf aan de examenprocessen komt het vooral neer op zaken als plannen, organiseren, faciliteren, raadplegen, inrichten, voorbereiden, aanreiken, afspreken en motiveren: PLAN in de PDCA-cyclus. Ook tijdens de examenprocessen zijn er tal van borgende activiteiten, zoals managen, monitoren, bewaken, begeleiden, ingrijpen, bijsturen en motiveren; DO in de PDCA-cyclus. Tot slot kan kwaliteitsborging ook worden ingezet nadat de examenprocessen zijn uitgevoerd, met activiteiten als het evalueren, auditen, analyseren, reflecteren, rapporteren, communiceren en bijstellen. Van de PDCA-cyclus zijn dit de CHECK- en de ACT-fasen. Evalueren vindt plaats in de fase nadat de examenprocessen zijn uitgevoerd en maakt deel uit van de CHECK-fase van de PDCA-cyclus. Eerst wordt er gepland en uitgevoerd, dan pas valt iets te evalueren. De examencommissie evalueert, omdat ze wil weten of de beoogde kwaliteit in alle examenprocessen ook daadwerkelijk gerealiseerd is en niet toevallig tot stand komt. Het gaat dan bijvoorbeeld om vragen als: is gewerkt met een goed examenplan, met goede exameninstrumenten, hebben assessoren hun werk goed gedaan? De commissie neemt bij evalueren afstand van de vanzelfsprekendheid van alledag en houdt de gang van zaken op basis van zo objectief mogelijke informatie met een kritische blik tegen het licht. Een examencommissie evalueert om te weten of beoogde kwaliteit werkelijk gerealiseerd is en niet toevallig tot stand komt. 3

4 Examencommissies hebben vooral de neiging om mooi weer te spelen, verhalend te evalueren. Evalueren versus monitoren en auditen Evalueren is echter niet het enige middel dat de commissie inzet om de kwaliteit kritisch te volgen. Er zijn verschillende manieren, waarvan monitoren en auditen ook veel gebruikte manieren zijn. Evalueren, monitoren en auditen zijn weliswaar alle drie middelen om steeds aan verbetering te werken, maar doen dat een verschillende manier. De drie middelen vullen elkaar aan. Met monitoren bedoelen we dat de examencommissie de vinger regelmatig aan de pols houdt. De commissie volgt met de eigen kwaliteitsbril of activiteiten goed uitgevoerd worden door leden van de commissie zelf en door de examenfunctionarissen die gedelegeerde taken uitvoeren in het examenproces. Bij evalueren gaat het erom dat de examencommissie planmatig, op onderzoekmatige wijze en in eigen beheer, de examenprocessen evalueert. Ook hier hanteert de commissie de eigen kwaliteitsbril. Evalueren is ten opzichte van monitoren objectiever, omdat bij evalueren expliciet vraagstellingen worden geformuleerd, daarbij indicatoren worden benoemd en gegevens worden verzameld in het licht van de vraagstelling waarover bovendien schriftelijk gerapporteerd wordt. Bij auditen tot slot is sprake van een auditor die als taak heeft om met de blik van de buitenstaander na te gaan of de examenprocessen deugdelijk verlopen: er is sprake van een externe kwaliteitsbril. Dat kan iemand zijn van de instelling zelf of een auditor van buiten de organisatie. De audit wordt, net als de evaluatie, onderzoeksmatig opgezet. Bij de audit is de objectiviteit nog groter. In dit artikel ligt de focus echter op evalueren: we dragen bouwstenen aan voor een goede invulling daarvan. 4

5 02. Een blik op de huidige praktijk Eind 2014 hield CINOP Advies een enquête onder de leden van het Netwerk Examinering MBO (veelal staffunctionarissen die zich bezig houden met examinering). Doel was in kaart te brengen wat de huidige aanpak is van de evaluatie van de examinering in mbo-instellingen. In totaal deden 22 netwerkleden mee aan de enquête (afkomstig van 19 verschillende scholen). Bijna alle onderwijsinstellingen die meededen aan de enquête, evalueren hun examinering jaarlijks. De manier waarop blijkt echter nogal te verschillen. In sommige instellingen beperkt het zich tot een jaarlijks zelfevaluatiegesprek in de examencommissie. In andere situaties worden systematisch data verzameld, bijvoorbeeld nadat een examen plaatsvond. Uit de antwoorden van de respondenten ontstaat het beeld dat de evaluaties over het algemeen niet erg gestructureerd aangepakt worden en afhankelijk zijn van een zekere toevalligheid. De evaluatie wordt uitgevoerd, maar de kwaliteit van de uitvoering is niet altijd even goed; daar wordt aan gewerkt. Examencommissies hebben vooral de neiging om mooi weer te spelen, verhalend te evalueren. Ze zijn niet echt kritisch op zichzelf, er wordt mijns inziens ook te weinig tijd voor genomen. Een andere deelnemer: De kwaliteit van de invulling van de zelfevaluatie is wisselend en over het algemeen heel mager. Tot slot een derde respondent: Evaluatie is nog niet structureel, de C en de A van de PDCA ontbreken. Verantwoordelijkheid voor evalueren 12 van de 22 netwerkleden geven aan dat in hun instelling de eindverantwoordelijkheid voor de evaluatie van de examinering belegd is bij een centraal punt: de centrale examencommissie, examenraad of het CvB. Er zijn echter ook nogal wat instellingen (7) waar de decentrale examencommissies uitsluitend eindverantwoordelijk zijn. Van overige instellingen is dit onbekend. Uit de enquête blijkt verder dat een klein aantal de evaluatie van hun examinering volledig geïntegreerd heeft in de algemene kwaliteitszorg (3 instellingen). Een aanzienlijk aantal instellingen (9) houdt een evaluatie speciaal gericht op de examinering. Soms wordt via beide kanalen geëvalueerd (4 instellingen). De rest geeft aan dat dit anders georganiseerd is. De helft van de netwerkleden zegt de evaluatie van hun examinering jaarlijks planmatig aan te pakken. Soms is dat een plan van de centrale examencommissie, soms van de decentrale examencommissie en soms van beide commissies. De instellingen die aangeven dat de evaluatie speciaal gericht is op examinering, werken er vaker planmatig aan. Faciliteren bij evaluatie In totaal geven 13 van de 22 netwerkleden aan dat in hun situatie voorbeeldevaluatiemethodieken of -instrumenten uitgewerkt zijn om actoren te faciliteren bij de uitvoering van de evaluaties. Als voorbeelden worden genoemd: een checklist voor zelfevaluatie, een format voor de evaluatie, een tevredenheids enquête na een examen, een instructie voor analyse van klachten en van afnameprotocollen, een format voor een jaarverslag. Zoals een van de geënquêteerden zegt: Een keer per jaar is er sprake van een zelf evaluatie gekoppeld aan een risicoprofiel. (...) we kennen op dit moment geen andere systematische evaluaties. Tijdens panelgesprekken met studenten staat examinering (wel) ook op de agenda. Evaluaties op examenniveau komen nog weinig voor. Een netwerk lid reageert: De schoolexamencommissie/commissie AVO evalueert haar verbeterpunten met betrekking tot examenprocessen aan de hand van steekproeven, analyse van de registratie van klachten, afname protocollen en legt het resultaat vast in het jaarverslag. Andere netwerkleden geven aan dat er geen standaardinstrumenten zijn uitgewerkt. Behoefte aan versterking De meerderheid van de respondenten geeft aan dat over de bevindingen van de evaluaties systematisch gerapporteerd wordt naar de examencommissies. De evaluaties worden besproken en vertaald naar conclusies voor verbetering. De verwerking van de bevindingen in het jaar- 5

6 verslag van de centrale en/of decentrale examencommissie is echter niet vanzelfsprekend en dit gebeurt niet consequent. Een deel van de netwerkleden geeft zelfs aan dat dit helemaal niet gebeurt. Bij de netwerkleden die de enquête invulden, is duidelijk de wens aanwezig om de huidige aanpak van de evaluatie verder te ontwikkelen. Zij willen het professioneler, systematischer, structureler en planmatiger aanpakken. Om scherpere evaluaties te krijgen, ben ik nu een rondje langs de examenleiders aan het maken om de evaluatie te bespreken aan de hand van het toezichtkader. Ik ben bezig de betrokkenen meer deskundig te maken, zodat de evaluatie meer scherpte krijgt, aldus een van de respondenten. Een andere respondent reageert: We gaan de gehanteerde systematiek voor de evaluatie van de examinering herzien. Het gehanteerde instrument gebaseerd op het toezichtkader bevalt niet; we willen een ander, gebruikersvriendelijk instrument. De systematiek is nog te weinig doorontwikkeld en consequent doorgevoerd. Een van de respondenten spreekt de wens uit van meer structuur voor de toekomst: Nu is men redelijk vrij om aan de evaluatie invulling te geven. In de toekomst willen we dit meer structureren. De eerste stap is gezet door alle examenprocessen opnieuw te doorlopen en taken te verdelen aan de hand van de PE. Vervolgstap is om alle betrokkenen handreikingen te geven om de evaluaties en verbeteracties goed uit te kunnen voeren en er voor te zorgen dat de cirkel rond is (PDCA). Nu is men redelijk vrij om aan de evaluatie invulling te geven. In de toekomst willen we dit meer structureren. 6

7 03. Drie stappen in het opzetten van evaluatie De enquête onder leden van het Netwerk Examinering MBO leert dat er in de instellingen een behoefte is om de evaluatie van examenprocessen anders en beter aan te pakken. Om dit doel te bereiken zijn volgende drie stappen behulpzaam: Stap 1: waarom examinering evalueren Stap 2: vraagstellingen die ertoe doen Stap 3: vormgeven aan evaluaties Figuur 2 EVALUATIE VAN EXAMENPROCESSEN Drie stappen model Stap 1 Waarom evalueren examinering > Drijfveren en waarden van onderwijs instelling Stap 2 Vraagstellingen die er toe doen > Waar maken we ons echt zorgen om? Stap 3 V0rmgeven aan evaluaties > Sociale en rationele houdingen examen commissies Betrouwbare diploma s + lerende examencommissies Stap 1: waarom examinering evalueren Om een echte verbetering van het evalueren van de examinering in te zetten, is het goed om te starten bij de basisvraag naar de bedoeling van dat evalueren. De enquête doet vermoeden dat examencommissies soms beginnen met het maken van instrumenten of het verzamelen van gegevens. Soms wordt dan daarna een vraagstelling geformuleerd die de commissie beantwoord wil hebben. Aan het beantwoorden van de vraag waarom evalueren we, komen ze vaak niet toe. Een effectieve benadering van de evaluatie van de examinering, vermijdt deze valkuil. Hoe zou dat eruit kunnen zien? Het gaat daarbij niet zozeer om de wijze waarop de evaluatie wordt uitgevoerd, maar om de keuze om te gaan evalueren als zodanig; het gaat erom dat het doel, het nut van het evalueren helder is. Pas als de bedoeling helder is, ontstaat een goed vertrekpunt voor effectieve vormgeving ervan. De Golden Circle is een denkmodel dat daarbij behulpzaam kan zijn. Het is ontwikkeld door de Brits-Amerikaanse publicist en motivatiespreker Simon Sinek, bekend dankzij zijn TED Talks. De Golden Circle bestaat uit drie lagen het WAT, HOE en WAAROM waarbij de volgorde van groot belang is. De eyeopener uit het onderzoek van Sinek is dat toonaangevende en effectieve organisaties bij de kern beginnen: het waarom. Die waaromvraag blijkt zo essentieel, omdat juist dát klanten motiveert om voor die organisatie te kiezen. Dat geldt ook voor onderwijsinstellingen. Scholen die deze werkwijze volgen, beginnen bij het WAAR- OM; bij hetgeen de onderwijsinstelling zelf drijft, wat de medewerkers intrinsiek motiveert. Dat vindt zijn weerklank bij de gebruikers van het onderwijs: de studenten en hun ouders en bij de afnemers, het bedrijfsleven. Bijvoorbeeld: het is onze passie om jonge mensen een vak te leren. Of: ons doel is dat jij leert leren; ons streven is dat jij de loop baan kiest die bij je past. Het is een andere, nieuwe manier van denken. 7

8 Figuur 3 Golden Circle is: omdat we nieuwsgierig zijn en de kwaliteit van onze examinering steeds willen verbeteren of: we willen bekend staan als een school waar studenten vandaan komen met een betrouwbaar diploma. WHAT WHY HOW Met de bril van de Golden Circle op, kunnen we ook kijken naar de evaluatie van de examinering. Het WAT gaat over hetgeen dat je te weten wil komen bij de evaluatie. Het HOE gaat over de manier waarop de onderwijsinstelling de evaluatie geregeld heeft, de vraagstellingen, de aanpak, de evaluatie-instrumenten en de wijze van rapporteren. Het WAAROM tot slot gaat over de onderliggende reden waarom geëvalueerd wordt. Wat drijft de onderwijsinstelling om te evalueren? Dat kan natuurlijk van instelling tot instelling verschillen. De rode draad is steeds dat betrokkenen vinden dat zij om in te kunnen staan voor de kwaliteit periodiek met een zekere afstand en kritische blik naar de examenprocessen dienen te kijken. De vanzelfsprekendheden van alledag beletten vaak die afstand te nemen en zitten het keuren van eigen activiteiten in de weg. Bij het waarom willen we evalueren gaat het steeds om waarden zoals: steeds beter willen zijn, betrouwbaar willen zijn, open staan voor kritiek, plezier hebben in leren, willen excelleren, afspraken maken en nakomen, volgens de regels werken, doelgerichtheid, transparant willen zijn. Als we de denkwijze van de Golden Circle hanteren, vormt de vraag waarom evalueren we? het startpunt. Pas als het waarom van het evalueren duidelijk is, kunnen concrete evaluaties met succes uitgevoerd worden. Als het antwoord op de waaromvraag is omdat we deze opdracht hebben of omdat het in het handboek examinering staat, is de kans klein dat er een positieve dynamiek ontstaan van waaruit de uitkomsten van evaluaties effect kunnen hebben op de kwaliteit van de examinering. Het risico is groot dat er niet geleerd en verbeterd wordt. Effectiever is daarentegen als het antwoord op de waaromvraag bijvoorbeeld Stap 2: vraagstellingen die ertoe doen Evalueren is als onderdeel van kwaliteitsborging een taak van de examencommissie. De enquête in het Netwerk Examinering MBO laat zien dat in de meeste instellingen die taak inderdaad bij deze commissie belegd is. Nadat de commissie zich bezonnen heeft op de vraag waarom evalueren we de examinering, neemt de commissie actief de regie bij de volgende stap: het WAT bepalen. Daartoe bakent de commissie deelprocessen of thema s af die geëvalueerd gaan worden en benoemt relevante vraagstellingen voor de eigen examinering. Optimaal is als de examencommissie vanuit een kritische zelfreflectie kijkt en alert is op echte vraagstukken die zich in de eigen school aandienen en die om evaluatie vragen. Wat doet er echt toe? Waar maken we ons vanuit onze examen commissie echt zorgen om? Niet (alleen) het waarderingskader is dan de leidraad bij het opstellen van vraagstellingen voor de evaluatie, maar juist de vraagstukken waar examencommissies en examenfunctionarissen in hun werk tegen aanlopen. Als de vraagstellingen duidelijk zijn, kan de con crete aanpak verder uitgewerkt worden. Vraag stellingen kan de commissie het beste zelf opstellen. Bij de uitvoering van andere deeltaken, zoals het opstellen van een evaluatieplan, het uitvoeren van documentonderzoek en enquêtes kan de commissie anderen met specifieke expertise inschakelen, eventueel ook kwaliteitszorgmedewerkers. Een dilemma is of deze vraagstellingen centraal dan wel decentraal benoemd worden. Wie vraagstellingen decentraal benoemt, blijft dicht bij de ervaringen in de uitvoering van de examenprocessen. Een nadeel is echter dat het voor de centrale examencommissie lastiger wordt haar rol als kwaliteitsborger waar te maken. Worden vraagstellingen door de centrale examencommissie bepaald, dan bouwt de instelling aan de voorkant garanties in dat er uit alle eenheden vergelijkbare evaluatiegegevens komen. Het is dan echter wel zaak dat de centrale examencommissie zoveel voeling heeft met de uitvoering, dat ervaringen die daar spelen, medebepalend zijn voor het opstellen van de vraagstellingen. De uitdaging is dat de vraagstellingen concreet, afgebakend en realistisch zijn. Beter een kleine 8

9 We willen bekend staan als een school waar studenten vandaan komen met een betrouwbaar diploma. vraagstelling die op basis van feiten onderzocht kan worden, dan een brede vraagstelling waar betrokkenen weliswaar van alles van kunnen vinden, maar die lastig hard te onderbouwen is met beschikbare gegevens. De kunst is om zich te beperken, de verleiding te weerstaan om de vraagstelling heel breed of heel diep te maken. Er is bovendien een onderscheid in vraagstellingen die over het proces of de procedures gaan worden de procedures daadwerkelijk gehanteerd? en vraagstellingen die over het resultaat of product gaan: leidt een procedure tot het resultaat dat we verwachten? Beide type vraagstellingen zijn relevant. Per vraagstelling benoemt de examencommissie bovendien een of meerdere indicatoren, de meetlat waarlangs beoordeeld of geëvalueerd wordt of de informatie die verkregen is over de onderzochte situatie, laat zien dat het functioneren voldoende is. In onderstaande figuur staan voorbeeldmatig vraagstellingen en indicatoren voor elk van de procesgebieden van de PE. Figuur 4 VOORBEELDEN VAN ENKELE EVALUATIEVRAAGSTELLINGEN MET HUN INDICATOR Voorbeeld vraagstellingen en indicatoren Deelproces PE Vraagstelling Indicator Kaders stellen Is het handboek examinering bekend bij de examenfunctionarissen? Bekend bij 90% van de examenfunctionarissen. Leren Heeft de SLB er het examenplan en de OER voor datum x met de student besproken? Besproken voor datum x in 75% van de gevallen. Constructie Is bij constructie van examens herkenbaar gewerkt volgens de procedures uit het handboek? De stappen zijn gevolgd en dat is gedocumenteerd. Vaststellen Zijn de rapportages van de vaststellers teruggekoppeld en besproken in de examencommissie? De terugkoppeling en bespreking is gedocumenteerd. Afname Zijn studenten tevreden over de wijze van afname van de examens? Zijn aangepaste examens toegekend op eigenlijke gronden? 80% van de studenten geeft de afname een voldoende of meer. Toekenning aangepaste examens volgens richtlijnen uit handboek. Diplomering Heeft de examencommissie de cesuur aangepast? De cesuur is op terechte gronden (uit het handboek) aangepast. 9

10 Stap 3: vormgeven aan evaluaties Nadat de vorige stappen het waarom en de vraagstelling zijn gezet, is nu pas de vormgeving van de evaluatie aan de orde. De enquête in het Netwerk Examinering MBO doet echter vermoeden dat niet zelden met de vormgeving begonnen wordt. Eerst wordt bijvoorbeeld bepaald dat er bij een steekproef een enquête gehouden zal worden en daarna wordt pas bezien wat de vraagstelling van dit onderzoek zal zijn. Bij de vormgeving is het van belang te bedenken hoe belangrijk het is dat de evaluatie van de examinering een degelijke, betrouwbare en valide opzet heeft. Alleen dan verkrijg je immers betrouwbare, objectieve gegevens. Om goed te kunnen evalueren, is het nodig dat de examencommissie (kleine) onderzoeken doet en daarin de feiten boven tafel haalt. Een mening van één van de betrokkenen over hoe iets verloopt, is immers minder hard dan de feitelijke informatie. De feiten kunnen verrassend, confronterend of zelfs niet welkom zijn. De feiten zijn echter vaak wel de springplank naar echte verbetering. Bij de evaluatie van de examenprocessen doet de examencommissie praktijkgericht onderzoek. De werkwijze en instrumenten van dergelijk onderzoek dienen aan standaarden te voldoen zoals: validiteit meet het evaluatie-instrument inderdaad wat in de vraagstelling benoemd is, betrouwbaarheid zijn de resultaten van het onderzoek niet toevallig en zijn de gegevens verwerkt zonder ze op te poetsen en representativiteit: over welke groep kan op basis van het onderzoek een uitspraak worden gedaan. Kies een evaluatiemethodiek of instrument dat past bij de vraagstelling. Denk bijvoorbeeld aan een checklist voor een documentonderzoek, een schriftelijke enquête, een gespreksleidraad voor een interview, een panelgesprek of reflectiegesprek. De centrale examencommissie kan de decentrale examencommissies faciliteren met een set uitgewerkte evaluatie-instrumenten. Dat verlicht het werk van de decentrale commissies enorm. Het komt daarnaast de vergelijkbaarheid van gegevens van verschillende organisatieonderdelen ten goede. Optimaal? Als de examencommissie alert is op echte vraagstukken in de eigen school die om evaluatie vragen. 10

11 04. Aandacht voor alle stappen: een planmatige aanpak Evalueren is een serieus onderdeel van de PDCAcyclus van de examinering. Hiervoor is nodig dat de examencommissie met aandacht de drie stappen aanpak doorloopt. Om daarvoor te zorgen, verdient het aanbeveling om de evaluatie van de examenprocessen planmatig aan te pakken. De examencommissie stelt jaarlijks een evaluatieplan op als onderdeel van de eigen jaaragenda of het jaarplan. De centrale examencommissie of de examenraad kan dit plan opstellen en de decentrale examencommissies kunnen er nadere invulling aan geven voor hun eenheid en het evaluatieplan uitvoeren. In het plan zijn, naast de al eerder genoemde vraagstelling en indicatoren, ook de methodiek, het tijdpad en de regievoerders en uitvoerders benoemd. In het plan wordt ook bij elke vraagstelling aangegeven wie verantwoordelijk is voor het realiseren van deelevaluaties en wie welke taken heeft in de uitvoering. In de uitvoering kunnen bijvoorbeeld de examensecretaris, medewerkers van het bureau examinering, kwaliteitszorgmedewerkers en docenten een rol vervullen. De evaluatie, als onderdeel van het jaarplan, betreft de evaluatie van de examenprocessen voor beroepsgerichte en generieke examinering (taal en rekenen). Figuur 5 OVERZICHT EVALUATIEPLAN Schematisch overzicht van het evaluatieplan Procesgebied PE Vraagstelling Indicator Methodiek/ Instrument Tijdpad Regie en uitvoering 11

12 Een heldere, planmatige aanpak verbindt de stappen bij evalueren en maakt ze werkbaar. De planmatige aanpak wordt verder uitgewerkt in een planningsschema waarin staat welke concrete evaluatie wanneer plaats zal vinden. Niet alles hoeft in één keer. Door de evaluaties over meerdere jaren en over elk schooljaar te verspreiden, wordt de werklast die dit met zich meebrengt, verdeeld. En, zeker zo belangrijk, wanneer alle evaluaties uitgevoerd dienen te zijn zodat uitkomsten samengevoegd kunnen worden tot een jaarrapportage van de examencommissie. Een goede planning draagt er bovendien aan bij dat vooraf duidelijk is wanneer de rapportage van de evaluaties besproken worden in de examencommissie. Het trekken van de (definitieve) conclusies uit de evaluaties en het opstellen van verbeterdoelen, vindt immers in de examencommissie plaats: de ACT-fase. 12

13 05. Wat vraagt evalueren van examenprofessionals? Wat vraagt het evalueren van de examenprocessen van de professionals als ze te werk gaan volgens de stappen die we in dit artikel beschreven? Het vraagt allereerst van hen dat zij deskundig zijn, dat ze beschikken over kwaliteitsbewustzijn en eigenaarschap voelen om deze taken te vervullen. Er is om evaluaties goed vorm te geven enige ervaring nodig met het uitvoeren van eenvoudig en praktijkgericht sociaal wetenschappelijk onderzoek. Evalueren wordt nu vaak nog overgelaten aan een administratief medewerker van het examenbureau. In steeds meer mbo-instellingen behalen mbo-docenten een post-hbo masterdiploma. Juist deze docenten kunnen een rol op zich nemen bij het evalueren van de examinering. Open en kritische houding De eerste en meest fundamentele uitdaging voor examenfunctionarissen die een rol vervullen bij de opzet en uitvoering van deze evaluaties, is om met een open en kritische houding naar de examenprocessen te kijken. Ben je echt intrinsiek geïnteresseerd om vanuit de visie van de organisatie te kijken naar wat er goed gaat en ook naar wat beter kan? Wil je de evaluaties baseren op betrouwbare gegevens en niet alleen maar op toevallige meningen? Het gaat om evalueren vanuit echte nieuwsgierigheid en onbevangenheid. Vervolgens is een vereiste dat betrokken examenfunctionarissen vanuit een sociale en tegelijkertijd rationele houding naar de examenprocessen kunnen kijken. Er is een sociale houding nodig omdat examinering een gezamenlijke actie is waar heel veel medewerkers binnen de organisatie bij betrokken zijn. Goede afstemming en onderlinge betrokkenheid zijn nodig. Er is ook een rationele houding nodig omdat bij examinering gewerkt wordt volgens strak vastgelegde kaders, structuur en regels die onder andere vastgelegd zijn in het handboek examinering. Bovendien zijn regels ten aanzien van praktijkgericht onderzoek van belang. Bij evaluatie van de examinering laat je je niet leiden door je gevoel, maar door je verstand. Ten slotte is een autonoom besef van verantwoordelijkheid en integriteit nodig bij de evaluatie van de examinering. De kwaliteitsborging van examinering speelt zich af in examencommissies; de commissie is verantwoordelijk. Die commissie bestaat echter natuurlijk uit individuen. Ieder van hen dient zich af te vragen: kan ik de verantwoordelijkheid nemen voor de keuzes en beslissingen ten aanzien van de evaluaties? Strookt het met mijn normen en waarden? Valkuilen We schetsen hier het positieve plaatje, het optimale kwaliteitsbewustzijn als vertrekpunt voor de evaluatie van de examinering. Er zijn echter ook valkuilen. Zo kan de open houding doorschieten in onvoldoende focus, elk wissewasje omzetten in feedback of achter elke evaluatiemode aan lopen. De sociale houding kent ook zijn schaduwzijden, zoals te veel opgaan in het geheel of onvoldoende professionele afstand houden. De schaduwkant van de rationele houding staat daar tegenover: rigiditeit bij het hanteren van kaders en regels zonder oog voor specifieke situaties. De autonome houding kan ook doorschieten, namelijk in doorgeslagen individualisme. 13

14 06. Samenvatting en conclusies Vertrekpunt van dit artikel was de vraag: hoe krijgt een examencommissie grip op de kwaliteitsborging? En meer specifiek: hoe kan een examencommissie de evaluatie van de examenprocessen opzetten, uitvoeren en van de uitkomsten leren? We beschreven in dit artikel op basis van informatie uit het veld en het denkkader van de Golden Circle stappen die een examencommissie kan zetten om tot evaluaties te komen die er werkelijk toe doen. Eerst nadenken over de vraag waarom evalueren we, vervolgens vraagstellingen ontwikkelen voor specifieke evaluaties, daarna op betrouwbare wijze gegevens verzamelen, rapporteren en conclusies trekken. Een heldere, planmatige aanpak verbindt de stappen bij evalueren en maakt ze werkbaar. Bij de uitvoering zijn deskundige en kwaliteitsbewuste professionals nodig die met eenvoudig onderzoek om weten te gaan. Door zo te werk te gaan, wordt de examenorganisatie een lerende organisatie. Evalueren, monitoren en auditen Er zijn veel manieren om de kwaliteit van examinering te borgen. Voorbeelden daarvan zijn evalueren, monitoren en auditen. Elke vorm kent zijn eigen aanpak en specifieke invulling door elke instelling. Evalueren is één van de aspecten van brede kwaliteitsborging en heeft een plaats in de CHECK- en ACT-fase van de PDCA-cyclus. Monitoren maakt anders dan evalueren deel uit van de DO-fase. Auditen maakt, net als evalueren, deel uit van de CHECK- en de ACT-fase. Bij evalueren wordt echter gedoeld op onderzoek dat een examencommissie in eigen beheer doet, terwijl bij een audit vaak onafhankelijke partij betrokken is. Behoefte om evaluaties te verbeteren Een enquête in het Netwerk Examinering MBO bevestigt het beeld dat de evaluatie van de examinering binnen mbo-instellingen vaak nog te beperkt wordt ingezet. Wel wordt de evaluatie planmatig aangepakt. In nogal wat situaties wordt de ACT-fase echter niet afgerond. Er is in de instellingen een duidelijke wens en behoefte aanwezig om de evaluaties anders en beter aan te pakken. Het denkkader van de Golden Circle kan helpen om tot die betere evaluaties van de examenprocessen te komen. Een examencommissie die als eerste stap aandacht heeft voor het WAAROM van het evalueren, genereert een positieve dynamiek waar meer resultaat van verwacht mag worden. Stapsgewijze aanpak Nadat een examencommissie voor zichzelf bepaald heeft waarom geëvalueerd wordt, is een volgende essentiële stap om concrete deelprocessen of thema s af te bakenen en daarbij vraagstellingen te benoemen die ertoe doen. Er is zowel wat voor te zeggen dat de centrale als de decentrale examencommissie die taak op zich neemt. Een goede vraagstelling, die verbonden is met ervaringen bij de uitvoering van de examenprocessen, maakt het mogelijk verkregen inzichten later te laten landen bij betrokkenen en om te zetten in verbeteracties. Als de vraagstellingen helder zijn, is de volgende stap om de vormgeving van specifieke evaluaties uit te werken. Een degelijke en betrouwbare aanpak van de evaluatie vraagt erom de feiten boven tafel te krijgen met een vorm van praktijkgericht onderzoek dat voldoet aan standaarden van validiteit, betrouwbaarheid en representativiteit. Het gekozen onderzoeksinstrument dient te passen bij de vraagstelling van de examencommissie. Regie bij examencommissie De evaluatie van de examinering volgens de stap-pen die we in dit artikel schetsten, vraagt boven dien om een planmatige aanpak onder regie van de examencommissie. De commissie neemt de evaluatie daartoe op in zijn jaarplan of jaaragenda. Om de ambitie rondom de evaluatie van de examinering te verbeteren en waar te kunnen maken, is het nodig dat professionals, de examen functionarissen, deze evaluatie benaderen vanuit een open, sociale en rationele houding. Bovendien weet die examenfunctionaris wanneer het nodig is de eigen, individuele verantwoordelijkheid te nemen. Niet alleen evalueren omdat het moet, maar vanuit kritische zelfreflectie, vanuit nieuws gierigheid en om het steeds beter te doen. 14

15 Meer weten? Neem contact op met: José Dams Marloes van Bussel Als examineringsexpert richt José zich specifiek op kwaliteitsverbetering en -borging en deskundigheidsbevordering van examencommissies in het beroepsonderwijs Marloes werkt als adviseur en trainer op het gebied van examinering, curriculumontwerp en kwaliteitsontwikkeling aan het duurzaam verbeteren van de onderwijskwaliteit. Vragen? Stuur een naar U ontvangt dan zo spoedig mogelijk een reactie. Sancie Leenders Als trainer en consultant draagt Sancie bij aan de deskundigheidsbevordering en -borging van examencommissies en examenfunctionarissen in het mbo. 15

16 Landelijk Netwerk Examinering MBO CINOP Advies Postbus BP s-hertogenbosch