KWALITEIT VAN BEOORDELING IN DE PRAKTIJK

Transcriptie

1 KWALITEIT VAN BEOORDELING IN DE PRAKTIJK John Dekker Kenniscentrum Handel Piet Sanders Research Center voor Examinering en Certificering Januari 2008 Kenniscentrum Handel, Ede condities creëren voor werken en leren

2 Voorwoord 4 Samenvatting 6 1 Inleiding Uitgangspunten en doel van deze publicatie Stappen bij het opzetten, ontwerpen, uitvoeren en verbeteren van kwalificerende competentiegerichte examens 12 2 Authentiek toetsen in het middelbaar beroepsonderwijs Wat is authentiek toetsen? Hoe belangrijk is authentiek toetsen? Wat zijn kenmerken van authentiek toetsen? Hoe ontwikkel je authentieke toetsen? Conclusies 29 3 Beoordelingssituaties in de praktijk 30 4 Beoordelaars en beoordelen in de praktijk Objectieve beoordeling van praktijkopdrachten Wat moet een beoordelaar doen? Wat moet een beoordelaar kunnen? Wat moet een beoordelaar zijn? Wat moet een beoordelaar niet doen? Hoe kunnen beoordelaars het beoordelen trainen Conclusies 44 Inhoudsopgave 5 Instrumenten voor beoordelen in de praktijk Startpunt voor de ontwikkeling van beoordelingsinstrumenten: de kwalificatiedossiers Constructie van een examenplan/toetskader/examenprofiel en vaststelling daarvan Van prestatie-indicatoren uit de kwalificatiedossiers naar observeerbare beoordelingscriteria: Vormgeving van het praktijk observatieschema - criteria voor keuzes Vormgeving van evaluatievragen Noodzakelijke documenten bij beoordelingschema s voor praktijkobservatie van competenties en kerntaken 65 Literatuur

3 In de en-en situatie gaat het niet alleen om de voorbereiding op de inhoudelijke/technische aspecten van de beroepsuitoefening, maar tevens om persoonlijke/interactieve aspecten. En het evenwicht vinden tussen die twee. Voorwaar geen sinecure, hetgeen blijkt uit ervaringen van de afgelopen jaren. Maar het blijft een wenkend economisch en vooral ook maatschappelijk perspectief om de ontwikkeling van deelnemers tijdens de beroepsopleiding niet te beperken tot vakinhoudelijke/vaktechnische aspecten. Het handelen in de beroepspraktijk als uitgangspunt nemen, nodigt uit om de beroepspraktijk meer te benutten in opleidingsprogramma s. En dat gebeurt op grote schaal. Ook hier is evenwicht belangrijk. De beroepspraktijk biedt uitstekende mogelijkheden voor leren, maar is geen school. Leren in de praktijk en beoordelen in de praktijk gaan hand in hand. Voor bedrijven is het van belang dat hetgeen de deelnemer geacht wordt te leren, aansluit bij zaken die zij zelf als relevant beschouwen. De nieuwe kwalificatiedossiers in het middelbaar beroepsonderwijs zijn op dat punt bedrijfszeker : de taken en werkprocessen van de beroepsuitoefening vormen de ruggengraat van de kwalificatiedossiers en zijn in samenwerking met het bedrijfsleven geformuleerd. Het is logisch en vanzelfsprekend om ook de examinering van de kwalificaties the proof of the pudding van de kwalificaties in structurele samenwerking met het bedrijfsleven vorm te geven. Voorwoord Kunnen handelen in de beroepspraktijk, dat is het uitgangspunt van competentiegericht beroepsonderwijs. Een prima uitgangspunt wat mij betreft. Het biedt docenten en praktijkopleiders legio mogelijkheden om deelnemers goed voor te bereiden op alle facetten van de beroepsuitoefening en het biedt deelnemers kansen om hun talenten te ontdekken en te ontwikkelen. Voorwaarde is wel dat er evenwicht gevonden wordt tussen de verschillende aspecten van beroepsuitoefening. Het is natuurlijk een illusie dat een goede beroepsuitoefening zonder gedegen kennis mogelijk is, net zo goed als het een illusie is dat kennis voldoende voorwaarde is voor een goede beroepsuitoefening. De persoon zelf wordt immers ook aangesproken in de beroepsuitoefening, niet alleen zijn kennis en technische vaardigheden. Het is dus geen kwestie van of-of, maar van en-en. Het beoordelen of iemand de taken in de werkprocessen naar behoren kan uitvoeren, vindt voor een belangrijk deel in de beroepspraktijk plaats. Daarvoor moet er in de praktijk ook de beschikking zijn over praktisch bruikbare beoordelingsinstrumenten van goede kwaliteit. Het ontwikkelen van praktisch bruikbare beoordelingsinstrumenten en het trainen van mensen om anderen op de werkvloer te kunnen beoordelen staat hoog op de agenda van Kenniscentrum Handel. Daarom hebben we Piet Sanders en John Dekker gevraagd om hun deskundigheid en jarenlange ervaring op het gebied van toetsen en beoordelen in te zetten voor het bieden van een kader voor het beoordelen in de praktijk. Deze publicatie is de resultante van het verzoek. In de samenvatting worden de hoofdzaken duidelijk beschreven voor eenieder die de voorwaarden van het beoordelen in de praktijk wil weten en begrijpen. Voor degenen die er echt verder mee aan de slag gaan, zijn de hoofdstukken een goede kapstok voor eigen kleding. Kenniscentrum Handel Peter Cras algemeen directeur 4 5

4 Het kader Het onderwijs en het bedrijfsleven zijn bezig om de overgang vorm te geven van eindtermgericht onderwijs naar competentiegericht onderwijs. De laatste jaren is er erg veel tijd en energie gestoken in het ontwerpen van de competentiegerichte kwalificatiestructuur voor het middelbaar beroepsonderwijs. Dit heeft kwalificatiedossiers opgeleverd waarin beschreven staat welke kerntaken en werkprocessen beginnende beroepsbeoefenaren moeten beheersen, maar vooral ook welke competenties daar dan voor nodig zijn. De kwalificatiedossiers zijn zowel uitgangspunt voor het inrichten van het onderwijs, als voor de inrichting van de examinering van dat competentiegerichte onderwijs. Kwalificatiedossiers en examinering zijn twee kanten van dezelfde medaille. De verantwoordelijkheid voor de vormgeving van de kwalificatiedossiers ligt bij de Paritaire Commissie Beroepsonderwijs Bedrijfsleven (PCBB). De discussie is gaande of de verantwoordelijkheid voor de inrichting van de Examinering niet ook bij de PCBB zou moeten liggen. Het lijkt logisch om de verantwoordelijkheid voor de vaststelling van examenprofielen/examenplannen ook bij de PCBB neer te leggen. Hiermee worden de grote lijnen voor examinering bepaald, zonder dat overigens de keuzevrijheid van scholen voor examinering ingeperkt wordt. Hiermee krijgt ook examinering/beoordeling een formele plaats binnen het dossier. De uitwerking In deze publicatie starten we vanuit de definitie van competentiegericht kwalificerend examineren: Samenvatting 6 7

5 Kwalificerend competentiegericht examineren is het in beroepssituaties (of situaties die daar een valide afspiegeling van zijn), door deskundige en onafhankelijke beoordelaars en volgens vooraf vastgestelde procedures en beoordelingscriteria beoordelen of een kandidaat beschikt over de vereiste competenties en deze op de juiste manier kan aanwenden bij het uitvoeren van één of meer kerntaken en werkprocessen. (Dekker, 2006) Aan vier voorwaarden moet worden voldaan om kwalificerend examineren in de praktijk te kunnen realiseren: examens en/of praktijkbeoordelingen moeten authentiek zijn, wat inhoudt dat examens een afspiegeling moeten zijn van wat er van beginnende beroepsbeoefenaren in de praktijk verwacht wordt examensituaties moeten goed ingericht zijn in de zin dat kerntaken, werkprocessen en competenties in de beroepspraktijk aanwezig zijn, daarom ook observeerbaar zijn, en daardoor beoordeelbaar zijn examens moeten beoordeeld worden door deskundige en onafhankelijke beoordelaars er moeten goede examens beschikbaar zijn om de beoordeling in de beroepspraktijk betrouwbaar en objectief uit te kunnen voeren. De conclusies De belangrijkste conclusies zijn: Om recht te doen aan een goede beoordeling van competenties, kerntaken en werkprocessen moet uitgegaan worden van een examenplan/examenprofiel met authentieke beoordeling in de praktijk. Daarnaast zijn er nog andere meetinstrumenten die ingezet kunnen/moeten worden om het totale examenplan of het zogenaamde competentie assessment programma te kunnen uitvoeren. Beoordelingssituaties in de beroepspraktijk kunnen in vergelijking met de kwalificatiedossiers verschillen qua volledigheid en complexiteit. Bij de inrichting van kwalificerende examensituaties moet bewaakt worden dat er voldoende volledigheid en voldoende complexiteit aanwezig is om de beheersing van competenties, kerntaken en werkprocessen te kunnen waarborgen. Het is mogelijk de kwaliteit van examinering in de praktijk te vergroten door de deskundigheid en onafhankelijkheid van praktijkbeoordelaars (opleiders én begeleiders) te vergroten door middel van onder andere training, intervisie en externe beoordeling. De vooronderstelling dat iedereen deskundig is op het gebied van beoordelen blijkt moeilijk waar te maken. Dit betekent dat er een bewust scholingsbeleid op het gebied van deskundigheid van examineren en beoordelen vorm gegeven moet worden door scholen, Kenniscentra en het Ministerie van OCW met als doel om de professionaliteit van beoordelaars te vergoten. Beoordelinginstrumenten moeten voldoen aan de standaarden van authenticiteit. In het ontwerpproces van beoordelingsinstrumenten is daarom naast inhoudelijke en toetstechnische expertise, de inzet van het bedrijfsleven en het onderwijs dringend gewenst. Naast technisch - inhoudelijke criteria, moeten betrokkenen in het onderwijsveld werkgevers, werknemers, onderwijs en ook deelnemers - de overtuiging hebben dat beoordeling met deze instrumenten op een eerlijke en transparante manier gebeurt. Ten slotte De discussie over de kwaliteit van competentiegericht examineren is opnieuw actueel. Zoals eerder gezegd: kwalificeren en examineren zijn twee kanten van dezelfde medaille. 8 In deze publicatie wordt een uitwerking gegeven aan deze vier aspecten. Geprobeerd is om concrete handreikingen te geven waarmee scholen, docenten en toezichthouders kunnen beoordelen of er sprake is van een deugdelijke competentiegerichte examinering of beoordeling. 9

6 Inleiding 1.1 Uitgangspunten en doel van de publicatie In deze publicatie richten we ons op de kwaliteit van kwalificerend competentiegericht examineren in het mbo. Dekker heeft in 2006 de volgende definitie gegeven: Kwalificerend competentiegericht examineren is het in beroepssituaties (of situaties die daar een valide afspiegeling van zijn), door deskundige en onafhankelijke beoordelaars en volgens vooraf vastgestelde procedures en beoordelingscriteria beoordelen of een kandidaat beschikt over de vereiste competenties en deze op de juiste manier kan aanwenden bij het uitvoeren van één of meer kerntaken en werkprocessen. (Dekker, 2006) Kernelementen in de definitie zijn: examineren/beoordelen van competenties, kerntaken en werkprocessen examineren/beoordelen in de beroepssituatie of beroepscontext examineren/beoordelen door deskundige en onafhankelijke beoordelaars examineren/beoordelen volgens vooraf vastgestelde procedures en beoordelingscriteria 1 Het zwaartepunt bij het examineren van beheersing van competenties, kerntaken en werkprocessen ligt in de examinering en beoordeling in de praktijk. De vier kernelementen vormen dan ook gelijk de hoofdonderwerpen van deze publicatie, met de volgende hoofdvragen: wat zijn de kwaliteitseisen die gesteld moeten worden hoe kan deze kwaliteit bereikt, of misschien zelfs verhoogd worden hoe kunnen alle betrokkenen bij kwalificerende examinering de kwaliteitseisen bewaken of borgen. De kwaliteit van beoordeling in de praktijk 10 11

7 1 cerende competentiegerichte examens zijn de mbo-kwalificatiedossiers zoals deze begin 2007 door de minister vastgesteld zijn. Toetstechnisch uitgangspunt is dat uitgegaan wordt van: de beoordeling van de beheersing van competenties (en daarvan afgeleid de beheersing van kerntaken en werkprocessen) het maximaal realiseren van authentieke beoordelingsituaties (beoordeling binnen de context) door het uitvoeren van kerntaken en werkprocessen een examenplan, waarin de diverse instrumenten en procedures zichtbaar zijn ook wel competentie assessment programma genoemd (Wools, Sanders & Roelofs, 2007) valide beoordelingsinstrumenten en beoordelingsprocedures deskundige en onafhankelijke beoordelaars 1.2 Doel van deze publicatie is de opvattingen, inzichten en werkwijzen uit de toetspraktijk en de toetstheorie bij elkaar te brengen. Hiermee kan de discussie over de kwaliteit van competentiegericht beoordelen/examineren in de praktijk in kwaliteit verhoogd worden. De kwaliteitsaudits (zowel de product- als procesaudits) door het KCE (Kwaliteits Centrum Examinering) hebben een hernieuwde discussie over velerlei aspecten tot gevolg gehad. Er heeft discussie plaats gevonden over de kwaliteit van examenproducten, de inrichting van examenprocessen en de kwaliteit van de beroepssituaties als examensistuatie. Maar vaak zijn die discussies gevoerd op basis van beperkte informatie, of op basis van overtuigingen en/of ideologieën. De omslag van eindtermgericht examineren naar competentiegericht examineren is in volle gang. De discussie over kwaliteitsstandaarden en het gebruik van standaarden is opnieuw gestart. Deze publicatie probeert daar een bijdrage aan te leveren. Stappen bij het opzetten, ontwerpen, uitvoeren en verbeteren van kwalificerende competentiegerichte examens vaststellen van beroepssituaties, kerntaken, werkprocessen en competenties In de mbo-kwalificatiedossiers (Kenniscentrum Handel, 2007) worden beroepssituaties, kerntaken, werkprocessen en competenties beschreven. Deel A geeft een algemene schets van het beroep en algemene beschrijvingen van de kerntaken. In deel B wordt de relatie tussen kerntaken, werkprocessen en competenties beschreven en schematisch weergegeven in de proces-competentiematrix per kerntaak. Deel C geeft een verdere specificatie van de competentiebeheersing bij werkprocessen en kerntaken in de vorm van prestatie-indicatoren. De kwalificatiedossiers worden opgesteld door werkgroepen met vertegenwoordigers van onderwijs en bedrijfsleven, met begeleiding van Kenniscentrum Handel. De dossiers worden vastgesteld door de Paritaire Commissie Bedrijfsleven Beroepsonderwijs (PCBB). De PCBB bestaat uit vertegenwoordigers van het bedrijfs leven (werkgevers en werknemers en onderwijs). 12 In deze publicatie worden de vier kernelementen van kwalificerend competentiegericht examineren uitgewerkt. Deze elementen passen binnen het totale proces van kwalificerende examinering. Daarom beginnen we met een beknopte beschrijving van het ontwikkelingsproces van kwalificerende competentiegerichte examens (ontleend aan Downing en Haladyna, 2006): kiezen van uitgangspunten Inhoudelijk uitgangspunt voor het ontwikkelen en gebruiken van kwalifi- De kwalificatiedossiers beschrij ven het wat, de inhoud van wat er geëxamineerd moet worden 13

8 1 vertaling van kwalificatiedossier naar gedragsbeoordelingsschema s (instrumenten) Om van een kwalificatiedossier naar een beoordelingsinstrument te komen, waarmee competenties, kerntaken en werkprocessen beoordeeld kunnen worden, moet er een vertaalslag gemaakt worden van de presentatie indicatoren in de kwalificatiedossiers naar observeerbare gedragscriteria in het gedragsobservatieschema. Een instrument dat bedoeld is om werkgedrag te beoordelen moet gedragscriteria bevatten die observeerbaar zijn aan de hand van het getoonde werkgedrag. Belangrijke aandachtspunten bij het omzetten van prestatie-indicatoren naar gedragscriteria zijn: is het te observeren criterium een valide weergave van de prestatieindicator wordt er gekozen voor globale of analytische beoordeling, en de criteria die daarbij passen wat is de bruikbaarheid van het instrument, en wat is de haalbaarheid van het gebruiken van het instrument in een praktische werksituatie wat is de normering van de prestatie: waar ligt de grens voldoende/ onvoldoende (cesuur) 14 Het bestuur van Kenniscentrum Handel biedt de dossiers voor definitieve vaststelling aan aan de minister. De kwalificatiedossiers beschrijven het wat, de inhoud van wat er geëxamineerd moet worden. beschrijven van een examenplan (toetskader, examenprofiel, competentie assessment programma) In een examenplan wordt een totaal-overzicht gegeven van de instrumenten en procedures die gebruikt worden voor het examineren van de competenties bij kerntaken en werkprocessen. Hierbij wordt ook meestal de context aangegeven waar de beoordeling plaats vindt. In de literatuur wordt het examenplan ook wel toetskader (Hendriks en Schoonman, 2006), examenprofiel (Colo, platform Examinering, 2007) of competentie assessment programma (Wools, Sanders en Roelofs, 2007) genoemd. Examenplannen beschrijven het hoe en waar van wat er geëxamineerd moet worden beschrijven van criteriumsituaties en instructies voor deelnemers en beoordelaars De situaties waarin de beoordeling van werkgedrag plaats vindt moeten eenduidig beschreven zijn, zodat er voor deelnemer en beoordelaar (begeleider en/of opleider) en eventueel anderen van tevoren volledig duidelijk is wat er beoordeeld wordt, hoe er beoordeeld wordt (vorm, tijd, plaats), hoe de beoordeling tot stand komt en op welke manier en op basis van welke normen de beslissing gezakt/geslaagd, voldoende/onvoldoende genomen wordt. De duidelijkheid over procedures en instrumenten wordt ook wel aangeduid met het begrip transparantie. trainen van beoordelaars De kwaliteit van examineren in de praktijk wordt deels bepaald door de kwaliteit van de beoordelaars die de beoordeling door middel van praktijkobservatie van het werkgedrag uitvoeren. Twee begrippen worden hierbij steeds genoemd: deskundigheid en onafhankelijkheid (Standaarden, KCE, 2006). Met deskundigheid worden twee soorten deskundigheid bedoeld: vakinhoudelijke deskundigheid en beoordelingstechnische deskundigheid. 15

9 1 Vakinhoudelijke deskundigheid betekent dat de beoordelaar voldoende kennis heeft van en ervaring heeft met competenties, kerntaken en werkprocessen. Beoordelingstechnische deskundigheid betekent dat de beoordelaar goed kan observeren; zich bewust is van de valkuilen bij observeren en op een goede manier met een praktijkobservatie instrument kan omgaan en een correcte beslissing kan nemen. Onafhankelijkheid van de beoordelaar wil zeggen dat de beoordelaar zich kan opstellen als objectief beoordelaar, waarbij hij andere rollen die hij mogelijk vervult (opleider of begeleider) in de beoordelingssituatie kan scheiden van zijn beoordelende rol. Hendriks en Schoonman komen op basis van literatuur tot de volgende vijf competenties die een beoordelaar/assessor moet bezitten: Communicatief vaardig Zakelijke houding Ervaring in het competentiedomein Objectieve waarnemer Eigen oordeelsvoming uitvoering van praktijkexamens en uitvoering van de normering van de prestaties Definitieve instrumenten en procedures kunnen in de praktijk gebruikt gaan worden. Het is van belang gegevens te verzamelen over de afgenomen examens, inclusief evaluaties van deelnemers/kandidaten en beoordelaars, omdat daarmee de laatste stap in het proces mogelijk gemaakt kan worden. Uit de literatuur blijkt dat getrainde assessoren het beter doen dan ongetrainde assessoren. evaluatie van de procedure en de uitvoering Het is belangrijk op regelmatige basis de gegevens over het gebruik van instrumenten en procedures tegen het licht te houden. Zo kan geborgd worden dat de verschillende elementen bij het gebruiken en uitvoeren van examinering in de praktijk van voldoende kwaliteit zijn en blijven. Eventueel worden aan de hand van de evaluatiegegevens verbeteringen aangebracht. In dit geval zal een aantal stappen zoals hierboven beschreven, opnieuw doorlopen moeten worden. 16 uitproberen/pilot testing van instrumenten en procedures Daar waar mogelijk is het aan te raden ontworpen instrumenten en procedures uit te proberen in een werkelijke examensituatie. In het geval van gedragsproeven/functioneren in de beroepscontext, betekent dit het in de beroepscontext uitvoeren en evalueren van praktijkexamens. Naast informatie over de inhoudelijke juistheid van het instrument is veel informatie te verzamelen over de procedures en over hanteerbaarheid en bruikbaarheid van instrumenten. 17

10 In het middelbaar beroepsonderwijs wordt het competentiegericht beroepsonderwijs met ingang van september 2010 ingevoerd. Volgens de door het Procesmanagement Kwalificatiestructuur in 2006 opgestelde publicatie Kwalificaties voor competentiegericht onderwijs wordt hiermee de intentie weergegeven om in het beroepsonderwijs gericht te werken aan het ontwikkelen van vermogens van mensen die hen in staat stellen om als beroepsbeoefenaar in een bewegelijke arbeidsmarkt en in een continu veranderende maatschappelijke omgeving te functioneren. 2 Authentiek toetsen in het middelbaar beroepsonderwijs 2.1 Het competentiegericht beroepsonderwijs heeft tot doel deelnemers op te leiden tot werknemers die naar tevredenheid van hun werkgevers in de beroepspraktijk functioneren, die zelf voldoening hebben in het uitoefenen van hun vak en die het perspectief hebben om een leven lang door te leren en zich te ontwikkelen. Vandaar dat men de beroepspraktijk ook als uitgangspunt voor het competentiegericht beroepsonderwijs genomen heeft. De competenties die een beginnend beroepsbeoefenaar voor een bepaald beroep moet bezitten, staan beschreven in zogenoemde kwalificatiedossiers die de Kenniscentra Beroepsonderwijs Bedrijfsleven in samenwerking met vertegenwoordigers van het bedrijfsleven (werkgevers en werknemers) en het onderwijs (in de Paritaire Commissie Beroepsonderwijs Bedrijfsleven) voor de onderwijsinstellingen opgesteld hebben. Een deelnemer krijgt een diploma als hij/zij in voor de beroepspraktijk kenmerkende beroepssituaties laat zien over deze competenties te beschikken. Om te kunnen bepalen of een deelnemer over deze competenties beschikt, vindt als dat enigszins mogelijk is beoordeling in de beroepspraktijk of in met de beroepspraktijk vergelijkbare situaties plaats. In dit hoofdstuk wordt eerst een definitie van authentiek toetsen gepresenteerd en daarna aangegeven waarom het belangrijk is om authentiek te toetsen. Vervolgens worden de kenmerken besproken die toetsen meer of minder authentiek maken. Daarna wordt ingegaan op de ontwikkeling van authentieke toetsen. Ten slotte wordt het hoofdstuk besloten met enige conclusies. Voor zover dat mogelijk en zinvol is worden onderwerpen toegelicht aan de hand van het kwalificatiedossier Verkoper en de competentiegerichte praktijkobservatie en evaluatie van kerntaak 2 Verkoopt en verleent service. Wat is authentiek toetsen? Gegeven het kader van het competentiegericht middelbaar beroepsonderwijs is authentiek toetsen: Authentiek toetsen is een vorm van toetsen waarbij deelnemers moeten demonstreren over de competenties te beschikken die van beginnende beroepsbeoefenaren in de beroepspraktijk verlangd worden

11 2 Twee belangrijke begrippen uit deze definitie, beroepspraktijk en competenties, worden aan de hand van het kwalificatiedossier van Verkoper hieronder toegelicht. Beroepspraktijk Verkoper Wat de beroepspraktijk voor een Verkoper is, kan men vinden in deel A van het kwalificatiedossier. In deel A wordt een omschrijving van de beroepsgroep gegeven. Volgens de omschrijving is de Verkoper werkzaam in het midden- en kleinbedrijf en het grootwinkelbedrijf in zowel de food- als de non-food sector. Bij de uitoefening van zijn beroep staat het contact met de klant voorop, zowel bij het voeren van het verkoopgesprek als bij de financiële afhandeling. Daarnaast behoort de presentatie van artikelen tot zijn takenpakket evenals het in ontvangst nemen en opslaan van goederen. De verkoper heeft een uitvoerende rol en past standaardprocedures toe. De verkoper werkt veelal in teamverband en is verantwoordelijk voor zijn eigen takenpakket. De verkoper heeft een klantgerichte houding, is sociaal vaardig, is flexibel, heeft een commerciële en professionele instelling en is servicegevoelig. De verkoper laat een stimulerende en motiverende houding zien in de omgang met klanten, collega s en leidinggevenden. Competenties Verkoper detailhandel In deel B worden de kerntaken met bijbehorende werkprocessen gegeven. Een kerntaak is een substantieel deel van de beroepsuitoefening en bestaat uit een geheel van inhoudelijk met elkaar samenhangende werkprocessen. Een werkproces is een afgebakend geheel van beroepshandelingen met een begin, eind en een resultaat. In Tabel 1 staan van Verkoper detailhandel de drie kerntaken met bijbehorende werkprocessen uit het kwalificatiedossier 2007 vermeld. Tabel 1: Kerntaken en bijbehorende werkprocessen van Verkoper detailhandel. Kerntaak 1. Ontvangt en verwerkt goederen goederen Werkproces 1.1 Ontvangt goederen 1.2 Slaat goederen op 1.3 Vult vaste artikelpresentatie aan 1.4 Bouwt tijdelijke presentaties op 1.6 Verzorgt de winkel en/of de opslagruimte 2. Verkoopt en verleent service 2.1 Ontvangt en benadert klanten 2.2 Voert verkoopgesprek 2.4 Levert branchespecifiek maatwerk 2.5 Plaatst een bestelling voor de klant 2.7 Neemt klachten aan 2.8 Neemt deel aan werkoverleg 3. Handelt verkooptransacties af 3.1 Maakt afrekenpunt en systeem gebruiksklaar 3.2 Informeert de klant over de verkoopafhandeling 3.3 Hanteert het afrekensysteem 3.4 Sluit het afrekensysteem af. 20 In de zogenoemde (werk)proces-competentie matrices wordt aangegeven welke van de 25 onderscheiden competenties aangewend worden bij de uitvoering van de 6 werkprocessen van de kerntaken van Verkoper detailhandel. Tabel 2 bevat de proces-competentie-matrix van Verkoper detailhandel. 21

12 2 Tabel 2: Proces-competentie-matrix van Verkoper detailhandel. (dossier april 2007, p. 54) Kerntaak 2 Verkoopt en verleent service Competenties A B C D E F G H I J K L M N O P Q R S T U V W X Y Bedrijfsmatig handelen Ondernemend en commercieel handelen Gedrevenheid en ambitie tonen Met druk en tegenslag omgaan Omgaan met verandering en aanpassen Instructies en procedures opvolgen Kwaliteit leveren Op de behoeften en verwachtingen van de klant richten Plannen en organiseren Leren Creëren en innoveren Onderzoeken Analyseren Materialen en middelen inzetten Vakdeskundigheid toepassen Formuleren en rapporteren Presenteren Overtuigen en beïnvloeden Relaties bouwen en netwerken Ethisch en integer handelen Samenwerken en overleggen Aandacht en begrip tonen Begeleiden Aansturen Beslissen en activiteiten initiëren Werkprocessen 2.1 Ontvangt en benadert klanten X X 2.2 Voert verkoopgesprek X X X X X 2.4 Levert branchespecifiek maatwerk X X X 2.5 Plaatst een bestelling voor de klant X X 2.7 Neemt klachten aan X X X 2.8 Neemt deel aan werkoverleg X 22 In Tabel 2 kunnen we aflezen dat bij kerntaak 2 Verkoopt en verleent service, tien verschillende competenties aangewend worden bij zes verschillende werkprocessen. Zo zien we dat de competentie Overtuigen en beïnvloeden slechts aangewend wordt bij één werkproces: 2.2 Voert verkoopgesprek. Bij de competentie Op de behoeften en verwachtingen van de klant richten zien we daarentegen dat die bij vier werkprocessen aangewend wordt. In deel C van het kwalificatiedossier wordt de informatie uit deel B voor elke uitstroom zodanig gespecificeerd dat die informatie volgens het beroepsonderwijs en het bedrijfsleven een goede basis biedt voor de inrichting van het onderwijs alsook de ontwikkeling van examens. Vergeleken met deel B worden in deel C de werkprocessen en bijbehorende competenties verder uitgewerkt. Tabel 3 bevat een uitwerking van werkproces 2.1, Ontvangt en benadert klanten van kerntaak 2 Verkoopt en verleent service. De uitwerking betreft een omschrijving van het gewenste gedrag van de verkoper, het gewenste resultaat van dat gedrag, de competentie(s) om dat resultaat te bereiken en de daarbij benodigde vakkennis en vaardigheden. 23

13 2 Tabel 3: Detaillering proces-competentie-matrices Verkoper detailhandel (dossier april 2007, p. 55) Kerntaak 2 Verkoopt en verleent service 2.1 werkproces Ontvangt en benadert klanten Omschrijving: De verkoper detailhandel ontvangt klanten in de winkel, observeert hen en bepaalt het inspringmoment om hen te benaderen. Gewenst resultaat: Klanten voelen zich welkom en gerespecteerd door de wijze van ontvangst en benadering van de verkoper detailhandel. Door ontvangst en observatie wordt het risico op (criminele) derving geminimaliseerd. Competentie Component(en) Prestatie-Indicator Vakkennis en vaardigheden I Op de toehoorder(s)/ toeschouwer(s) inspelen De verkoper detailhandel: Detailhandelsmarketing Presenteren Enthousiasme uitstralen Stemt de wijze van ontvangen en benaderen op de klant af en stelt zich servicegericht, dienstbaar, actief en enthousiast op, zodat de klant weet dat de verkoper detailhandel klaarstaat voor de klant. R Op de behoeften en verwachtingen van de klant richten Aansluiten bij behoeften en verwachtingen De verkoper detailhandel: Bepaalt op basis van observatie op welke manier en op welk moment hij de klant gaat benaderen om het verkoopgesprek aan te vangen, zodat de klant tijdig wordt aangesproken en (criminele) derving voorkomen kan worden. 2.2 Hoe belangrijk is authentiek toetsen? rium voldoet inhoudelijk aan de uitstroomeisen. Als bewijslast voor ijkpunt 3 dat nagaat of de instrumenten van examinering alle kerntaken dekken, wordt Er zijn tenminste drie redenen die er voor pleiten om in het middelbaar beroepsonderwijs bij de beoordeling van deelnemers gebruik te maken van authentiek toetsen. beoordeeld of de kerntaken gedekt worden en op de juiste manier, natuurgetrouw en realistisch, getoetst worden in de instrumenten van examinering. De eerste reden is dat het doel van elk meetinstrument moet zijn om dat- 2.3 Wat zijn kenmerken van authentiek toetsen? gene te meten wat we met dat meetinstrument willen meten. Indien we dan ook willen weten of een deelnemer een verkoopgesprek kan voeren, zal een Waar moet je rekening mee houden als je een authentieke toets wilt ontwik- praktijkexamen een betere beoordeling van dit werkproces en bijbehorende kelen of als je de authenticiteit van een toets wilt beoordelen? Gulikers (2005, competenties opleveren dan een schriftelijk examen met vragen over dit werk- 2007) heeft vijf kenmerken of dimensies onderzocht en benoemd die een toets proces en de competenties. meer of minder authentiek maken of meer of minder op de beroepspraktijk doen lijken. Zij heeft ook onderzoek gedaan bij drie groepen mbo-deelne- De tweede reden is dat onderzoek heeft laten zien dat de manier waarop deel- mers naar wat die deelnemers een authentieke toets vinden en wanneer een nemers beoordeeld worden invloed heeft op hoe en wat deelnemers leren. Als authentieke toets een positief effect heeft op hun leren. De drie groepen deel- het beoordelen met authentieke examens of toetsen er inderdaad toe leidt dat deelnemers meer gemotiveerd zijn om de competenties te verwerven die ze nemers waren: eerstejaars met weinig praktijkervaring en geen ervaring met beoordelen in de beroepspraktijk nodig hebben, dan is het de taak van het onderwijs die authentieke toetsen te ontwikkelen en af te nemen. op de werkplek; eerstejaars met weinig praktijkervaring maar wel ervaring met beoordelen De derde reden is dat authenticiteit of natuurgetrouwheid onderdeel is van op de werkplek; vierdejaars met veel werkervaring en ervaring met beoordelen op de werk- twee zogenoemde ijkpunten bij KCE Standaard 4: Het exameninstrumenta- plek

14 2 Een 26 beschrijving van de kenmerken en de uitkomsten van het onderzoek naar de vijf kenmerken van authenticiteit volgt hieronder. Kenmerk 1. Taak De praktijkopdrachten die de deelnemer geacht wordt uit te voeren, zullen voor de deelnemer betekenisvol en relevant zijn als de opdrachten zoveel mogelijk identiek zijn aan opdrachten die in de praktijk uitgevoerd worden. Voor het uitvoeren van die opdrachten zal de deelnemer gebruik moeten maken van de competenties die tijdens de opleiding verworven zijn. In het onderzoek bij de drie groepen mbodeelnemers werd geconstateerd dat alle drie de groepen de opdrachten als het belangrijkste kenmerk van authentiek toetsen beschouwden. Dit onderzoeksresultaat bevestigt nog eens dat het bijzonder belangrijk is om deelnemers meteen na aanvang van hun opleiding zoveel mogelijk opdrachten uit te laten voeren waarmee ze in hun latere beroepspraktijk te maken krijgen. Kenmerk 2. Fysieke omgeving Met dit kenmerk wordt de omgeving bedoeld waarin de deelnemer de praktijkopdrachten moet uitvoeren. Indien dat mogelijk is verdient de beroepspraktijk de voorkeur of anders een omgeving die zoveel mogelijk gelijk is aan de beroepspraktijk. Over de fysieke context hadden de deelnemers uit het onderzoek nogal verschillende meningen. Deelnemers met weinig praktijkervaring vonden het van minder belang om beoordeeld te worden in de echte beroepspraktijk dan deelnemers die wel ervaring hadden met beoordelen in de beroepspraktijk. Kenmerk 3. Sociale context Dit kenmerk verwijst naar de sociale processen die tijdens de uitvoering van de praktijkopdrachten een mogelijke rol zouden kunnen spelen. Hierbij moeten we bijvoorbeeld denken aan samenwerken en overleggen met andere deelnemers bij de uitvoering van opdrachten. Uit het onderzoek blijkt dat sociale processen in de perceptie van alle groepen deelnemers een ondergeschikte rol spelen bij (authentiek) toetsen of examineren. De uitvoering van de opdrachten wordt door deelnemers en docenten (nog steeds) gezien als een individuele aangelegenheid ondanks dat veel opdrachten in de praktijk niet zonder samenwerken en overleggen met collega s uitgevoerd kunnen worden. Kenmerk 4. Vorm Dit kenmerk heeft betrekking op de soorten praktijkopdrachten waarmee de 2.4 onderscheiden competenties beoordeeld worden. Deelnemers met meer ervaring zijn terecht van mening dat voor het beoordelen van hun geschiktheid als startende beroepsbeoefenaar verschillende opdrachten en verschillende soorten opdrachten nodig zijn. Praktijkopdrachten zouden deelnemers dan ook niet alleen moeten beoordelen op de uitvoering van een opdracht maar bijvoorbeeld ook op de keuzes die voor een bepaalde uitvoering van de opdracht gemaakt zijn. Daarnaast geven deelnemers met meer ervaring ook aan dat praktijkopdrachten die door de opleiding ontwikkeld zijn vaak nogal gericht zijn op de technische uitvoering van de opdracht, terwijl in de beroepspraktijk veel waarde gehecht wordt aan competenties zoals plannen en samenwerken bij de uitvoering van een opdracht. Voor de beoordeling van deze competenties pleiten deze deelnemers er dan ook voor om de praktijkopleider (mede) te laten beoordelen omdat die meer gelegenheid heeft gehad om bedoelde competenties te beoordelen. Deelnemers met weinig praktijkervaring hebben minder affiniteit met het gebruik van verschillende soorten opdrachten en het betrekken van de beroepspraktijk, in de vorm van de praktijkopleider, bij de beoordeling van hun competenties. Kenmerk 5. Criteria Met dit kenmerk wordt bedoeld welke aspecten van de uitvoering van een opdracht beoordeeld worden en hoe deze aspecten beoordeeld worden. Ook voor dit kenmerk geldt dat de criteria gebaseerd moeten zijn op de criteria die in de beroepspraktijk gebruikt worden. Met betrekking tot dit kenmerk werden in het onderzoek grote verschillen tussen mbo-deelnemers geconstateerd. Zo had het gebruik van verschillende concrete beoordelingscriteria een positief effect op het leergedrag en de competentieontwikkeling van eerstejaars maar een negatief effect op het leergedrag en de competentieontwikkeling van vierdejaars die de voorkeur geven aan meer holistische beoordelingscriteria. Hoe ontwikkel je authentieke toetsen? We hebben hiervoor geconstateerd dat in het middelbaar beroepsonderwijs de beroepspraktijk het uitgangspunt is voor authentiek toetsen. Dit uitgangspunt kan het beste gerealiseerd worden door deelnemers, indien dat maar enigszins mogelijk is, praktijkopdrachten uit de beroepspraktijk in de beroepspraktijk te laten uitvoeren. We hebben ook geconstateerd dat authenticiteit niet hetzelfde is voor docenten en deelnemers die meer of minder praktijkervaring hebben. Dit pleit er dan ook voor om zowel de beroepspraktijk als de opleiding, docenten en deelnemers, bij de ontwikkeling van praktijkopdrachten te betrekken. Voor de ontwikkeling van authentieke toetsen geeft deel C van het kwalificatiedossier de informatie die volgens het beroepsonderwijs en het bedrijfsleven een goede basis biedt voor de inrichting van het onderwijs alsook de ontwikkeling van examens. Vergeleken met deel B worden in deel C de werkproces- 27

15 2 sen 28 en bijbehorende competenties verder uitgewerkt. Zo wordt van werkproces 2.1, Ontvangt en benadert klanten, een omschrijving gegeven van het gewenste gedrag van de verkoper, het gewenste resultaat van dat gedrag, de competentie(s) om dat resultaat te bereiken en de daarbij benodigde vakkennis en vaardigheden. Een voorbeeld van een toets die op basis van de informatie uit deel C ontwikkeld is, is de zogenoemde competentiegerichte praktijkobservatie en evaluatie Verkoper detailhandel uit het Examen Service Systeem van Kennis centrum Handel voor kerntaak 2: Verkoopt en verleent service. Dit praktijkexamen heeft de volgende kenmerken: Het praktijkexamen bestaat uit drie opdrachten, zogenoemde observatieeenheden, die door de praktijkopleider afgenomen worden. De opdrachten beschrijven het gedrag dat van de deelnemer verwacht wordt bij situaties die zich in de dagelijkse beroepspraktijk voordoen. In de observatiechecklist behorende bij observatie-eenheid 1, Verkoopgesprek, worden de werkprocessen 2.1, 2.2 en 2.4 (zie Tabel 2) beoordeeld. Van werkproces 2.1, Ontvangt en benadert klanten, die de aanwending van twee competenties, Presenteren en Op de behoeften en verwachtingen van de klant richten (zie Tabel 3) veronderstelt, worden beoordelingscriteria vermeld die betrekking op gedrag dat de deelnemer zou kunnen/moeten laten zien. Voor de competentie Presenteren worden drie criteria en voor de andere competentie zelfs zeven criteria gegeven. Niet alleen de uitvoering van de opdrachten wordt beoordeeld maar tijdens een evaluatiegesprek dient de deelnemer het vertoonde gedrag aan de praktijkopleider, en indien dat mogelijk is ook de praktijkbegeleider, ook toe te lichten. Afname en beoordeling van het praktijkexamen zijn transparant voor de praktijkopleider, praktijkbegeleider en de deelnemer. Bij de beoordeling van de competenties worden beoordelingscriteria vermeld. Als alle beoordelingscriteria apart beoordeeld of gescoord worden (onvoldoende, voldoende, ruim voldoende of zeer goed), dan is er sprake van analytische beoordeling. Indien men die beoordelingscriteria meer als mogelijke (en niet als een uitputtende verzameling) indicatoren zou opvatten, dan zou dat als een meer holistische beoordeling opgevat kunnen worden waarbij aan de beoordelaar van de deelnemer veel verantwoordelijkheid gegeven wordt. Voor de verschillende observatie-eenheden zijn scoringsregels en zak-slaag beslissingen opgesteld. We kunnen de authenticiteit van dit praktijkexamen beoordelen aan de hand van de hiervoor genoemde vijf kenmerken. Het feit dat de opdrachten aan de beroepspraktijk ontleend zijn en dat het examen in de beroepspraktijk afgenomen wordt, betekent dat dit examen voldoet aan het eerste kenmerk. De drie opdrachten worden in de beroepspraktijk afgenomen zodat ook 2.5 voldaan wordt aan het tweede kenmerk dat betrekking heeft op de fysieke omgeving. Het derde kenmerk, sociale context, komt aan de orde bij de opdracht waar het werkproces, Neemt deel aan werkoverleg, beoordeeld wordt. De competentie die bij dit werkproces aangewend wordt, betreft Samenwerken en overleggen. Met betrekking tot het vierde kenmerk werd hiervoor al opgemerkt dat de deelnemer het vertoonde gedrag in een evaluatiegesprek moet toelichten. Het is ook van belang te beseffen dat de praktijkopdrachten voor kerntaak 2 onderdeel zijn van een examenplan dat behalve uit vergelijkbare praktijkopdrachten voor kerntaak 1 en kerntaak 3, een aantal theorietoetsen en een presentatie omvat die door de opleiding afgenomen worden, en toetsen voor Nederlandse taalvaardigheid en moderne vreemde talen betreft die door de opleiding en/of in de beroepspraktijk afgenomen worden. De (beoordelings)criteria, het vijfde kenmerk, worden niet gescoord en de competenties worden beoordeeld zoals hiervoor aangegeven is. Op basis van het voorgaande kunnen we concluderen dat de competentiegerichte observatie en evaluatie van kerntaak 2 in hoge mate authentiek is voor de beroepspraktijk van Verkoper detailhandel. Conclusies In het competentiegericht onderwijs wordt om verschillende redenen terecht een groot belang gehecht aan de authenticiteit van toetsen. Eén van de belangrijkste conclusies die het onderzoek naar authentiek toetsen heeft opgeleverd, is dat zowel de beroepspraktijk, docenten als deelnemers bij de ontwikkeling van authentiek toetsen betrokken moeten worden. De vijf kenmerken van authenticiteit die onderscheiden kunnen worden, bieden ontwikkelaars een kader om meer authentieke toetsen te ontwikkelen en beoordelaars de mogelijkheid om de authenticiteit van toetsen te beoordelen. Hoewel authenticiteit een belangrijk kwaliteitsaspect is van een toets of een examenplan, is het niet het enige kwaliteitsaspect. Andere kwaliteitsaspecten van toetsen komen op andere plaatsen in deze brochure aan de orde. 29

16 De kwalificatiedossiers geven beschrijvingen van kwalificaties voor beroepen in de handel. Nu is er een grote variëteit in bedrijven in deze sector; van één of twee mans bedrijven tot bedrijven met honderden werknemers, van supermarkten tot speciaalzaken en van prijsvechters tot service organisaties. De bedrijfssituaties waarin werknemers functioneren verschillen op een aantal dimensies: Omvang en daarmee de tijdsduur van kerntaken en werkprocessen Complexiteit/diepgang van de beroepssituatie en daarmee het beroep dat er op de competentiebeheersing gedaan wordt Mate van zelfstandigheid Bij examineren van competenties, werkprocessen en kerntaken krijgen we met dezelfde variatie in bedrijfssituaties te maken. Een verkoopgesprek in een supermarkt zal veelal korter en eenvoudiger zijn dan een verkoopgesprek in een speciaalzaak; daarentegen is de ontvangst en het verwerken van goederen in de supermarkt vaak weer veel omvangrijker en complexer dan in een speciaalzaak. Zo is ook het maken van een personeelsplan voor een bedrijf met 70 werknemers omvangrijker en complexer dan het maken van een personeelsplan voor een bedrijf met 4 werknemers. Voorbeelden van verschillen tussen winkels en bedrijven kan iedereen dagelijks observeren. 3 Beoordelingssituaties in de praktijk Welke bedrijven en bedrijfssituaties zijn nu geschikt om de examinering van kerntaken, werkprocessen en competenties uit te voeren? In principe zijn alle bedrijven geschikt, mits ze aan een aantal voorwaarden voldoen. Bij het specificeren van deze voorwaarden kunnen we opnieuw gebruik maken van het model van Gulikers (2007). Het gaat dan om de volgende vragen: Kan de praktijkopdracht in dit bedrijf uitgevoerd worden? Is de fysieke omgeving of bedrijfssituatie voldoende echt voor het uitvoeren van de praktijkopdracht in dit bedrijf? Is de sociale context in dit bedrijf zodanig dat bij het uitvoeren van de praktijkopdracht, waar nodig, interactie en samenwerken met collega s mogelijk is? Is de vorm van het examen, bijvoorbeeld een praktijkopdracht met een evaluatiegesprek, binnen dit bedrijf te realiseren? Zijn de beoordelingscriteria voor de beheersing van competenties, kerntaken en werkprocessen binnen dit bedrijf hanteerbaar en realiseerbaar? Deze vijf vragen laten zich nu omzetten in enkele uitgangspunten voor de inrichting en/of keuze van beoordelingssituaties in de praktijk: De kerntaken en werkprocessen, zoals beschreven in het kwalificatiedossier, en geoperationaliseerd in de praktijkopdracht moeten aanwezig zijn en uitgevoerd kunnen worden in het bedrijf

17 3 Als 32 een bepaalde kerntaak in een bedrijf niet uitgevoerd kan worden, dan kan er aan gedacht worden de deelnemer in een ander bedrijf zich deze kerntaak, werkprocessen en competenties eigen te laten maken. Dan kan ook daar het praktijkexamen afgenomen worden. Organisatorisch vergt dit wel het een en ander van scholen en bedrijven. Voor deelnemers in het BOL-traject kan gedacht worden aan meerdere stageplekken. Voor BBL-deelnemers met een arbeidscontract bij één bedrijf is dat lastiger. Toch zijn ook hier creatieve oplossingen mogelijk. Uitwisseling van deelnemers tussen bedrijven kan bijvoorbeeld een oplossing zijn. Behalve dat deelnemers ervaringen opdoen in verschillende bedrijfscontexten, en daarmee hun horizon verbreden, leren ze ook de competenties in meerdere contexten toe te passen Verschillende factoren kunnen er toe leiden dat uitvoering van kerntaken of werkprocessen en daarmee het tonen van beheersing van competenties niet mogelijk is. De factoren hebben veelal te maken met financiële of organisatorische redenen, afbreukrisico s, veiligheidsaspecten of wetgeving. Voor het aanleren en examineren van deze werkprocessen moet er dan ook gezocht worden naar alternatieven, die zo dicht mogelijk aanliggen tegen de werkelijke complete beroepssituatie. Het kwalificatiedossier voor de Ondernemer bevat binnen kerntaak 1 het onderdeel personeelsbeleid. De deelnemer moet hierbij coaching-, functionerings- en beoordelingsgesprekken voeren. In veel bedrijven vertrouwt men het voeren van dit soort gesprekken met zittend personeel niet makkelijk toe aan een deelnemer van ongeveer jaar oud. Een ondernemer in een weliswaar middelgroot bedrijf heeft hiervoor een creatieve oplossing bedacht. De vierdejaars deelnemer krijgt de coaching en begeleiding van een of meer eerstejaars deelnemers voor zijn/haar rekening. Zodra dat goed functioneert voert hij ook de functioneringsgesprekken en uiteindelijk ook het beoordelingsgesprek met de eerstejaars. De ondernemer begeleidt en beoordeelt de vierdejaars. Als dit goed verlopen is, betrekt de ondernemer de vierdejaars ook bij het werven van personeel via vacatures, sollicitatiegesprekken en uiteindelijk bij het maken van afspraken. De vierdejaars krijgt nu ook de coaching en begeleiding van deze nieuwe werknemer er in zijn takenpakket bij. Op deze manier leert de vierdejaars langzamerhand alle aspecten van het uitvoeren van personeelsbeleid, en kan hij dit ook door middel van praktijkexamens aantonen. Uitgangspunt is dat bij het uitvoeren van kerntaken en werkprocessen de competenties observeerbaar en daarmee beoordeelbaar zijn (zie ook de proces-competentiematrix). Observeerbaar en beoordeelbaar veronderstelt drie aspecten: De competenties, in de vorm van gedragscriteria, moeten zich voordoen in de praktijk De competenties en prestatie-indicatoren uit het kwalificatiedossier moeten in exameninstrumenten concreet geoperationaliseerd zijn in de vorm van gedragscriteria De beoordelaar, veelal de praktijkopleider, moet deskundig en getraind zijn in het herkennen van gedragscriteria als deze zich voordoen Er wordt er vanuit gegaan dat op het niveau van de kerntaak die uit één of meer praktijkopdrachten en een evaluatiegesprek kan bestaan, uitspraken gedaan kunnen worden over de beheersing van competenties en daarmee over de beheersing van de kerntaak. Sommige werkprocessen doen zich in bepaalde beroepscontexten onregelmatig of weinig voor, zoals bijvoorbeeld het aannemen en afhandelen van klachten, of het bestellen van artikelen voor een klant. Een oplossing voor deze werksituatie kan zijn om een afspraak met een deelnemer te maken dat hij gedurende een dag of een week verantwoordelijk is voor het uitvoeren van dit werkproces. Ook het overige personeel wordt geïnstrueerd om in deze periode niet zelf klachten af te handelen, maar deze door te verwijzen naar de deelnemer. De deelnemer meldt wanneer er een klacht binnenkomt en hij kan dan ook beoordeeld worden. In een aantal gevallen kunnen organisatorische afspraken binnen het bedrijf het mogelijk maken een examensituatie te realiseren, waarvan men aanvankelijk dacht dat dat onmogelijk was. Als alle mogelijkheden voor het examineren in de werkelijke beroepspraktijk onderzocht zijn, en het toch niet mogelijk is een kerntaak in die bedrijfssituatie te examineren, dan zal naar een alternatieve vorm gezocht moeten worden. Tot nu toe is in het Examen Service Systeem door deskundigen uit bedrijfsleven en onderwijs bij één kerntaak aangegeven dat er naast een praktijkbeoordeling, een simulatie in de vorm van een casus nodig is. Die betreffende kerntaak is kerntaak 1 van het kwalificatiedossier Ondernemer: Bepaalt en bewaakt het ondernemersbeleid. Deze kerntaak resulteert in een ondernemingsplan, dat in de vorm van een panelgesprek besproken en beoordeeld moet worden. Nogal wat ondernemers zijn huiverig om werkelijke gegevens over financiën, maar bijvoorbeeld ook gegevens uit een concurrentie-analyse, ter beschikking te stellen, omdat ze bang zijn dat deze gegevens op straat komen te liggen. Voor deze kerntaak is een alternatief in de vorm van een casus beschikbaar waarin de diverse gegevens beschreven staan. 33

18 In het competentiegericht middelbaar beroepsonderwijs worden de competenties van deelnemers in de beroepspraktijk of in een met de beroepspraktijk vergelijkbare situatie beoordeeld. Bij de uitvoering van de praktijkopdrachten aan de hand waarvan de deelnemers hun competenties moeten demonstreren, zal de beoordeling van de uitvoering altijd door één of meer beoordelaars moeten plaatsvinden. Dit betekent dat beoordelaars niet alleen een zeer belangrijke taak hebben maar dat ze ook voor die belangrijke taak toegerust moeten zijn. Het aantal publicaties dat over beoordelaars en beoordelen verschenen is, is bijzonder omvangrijk. In dit hoofdstuk is getracht samen te vatten wat over de belangrijkste onderwerpen op dit gebied inmiddels geschreven is. Het onderwerp waarmee het hoofdstuk begint, gaat over de objectieve beoordeling van praktijkopdrachten. Vervolgens wordt ingegaan op wat een beoordelaar moet kunnen, een beoordelaar moet doen, een beoordelaar moet zijn, een beoordelaar niet moet doen en hoe beoordelaars het beoordelen kunnen trainen. Het hoofdstuk eindigt met enige conclusies. 4.1 Objectieve beoordeling van praktijkopdrachten 4 Het behoeft geen betoog dat de beoordeling die een deelnemer voor de uitvoering van een praktijkopdracht ontvangt alleen afhankelijk zou mogen zijn van de kwaliteit van de uitvoering. Dat betekent dan ook dat het niet zou mogen uitmaken door wie de uitvoering van de praktijkopdracht beoordeeld wordt. Indien er bij de beoordelingen van praktijkopdrachten geen verschillen bestaan tussen de oordelen van verschillende beoordelaars is er sprake van zogenoemde objectieve beoordeling. Objectieve beoordeling is echter een ideaal dat bij Beoordelaars en beoordelen in de praktijk 34 35

19 4 nagenoeg 36 geen enkele beoordelingssituatie gerealiseerd zal worden. Welke mogelijkheden er zijn om dat ideaal proberen te benaderen komt verderop in dit hoofdstuk aan de orde. Verschillen of overeenkomsten tussen beoordelingen van beoordelaars kunnen we kwantificeren en een maat die daar vaak ten onrechte nog steeds voor gebruikt wordt, is de beoordelaarsbetrouwbaarheid. Hier wordt gepleit voor het gebruik van de beoordelaarsovereenstemming als maat voor het kwantificeren van verschillen of overeenkomsten tussen beoordelingen. Aan de hand van de twee voorbeelden in Tabel 1 wordt het verschil tussen betrouwbaarheid en overeenstemming toegelicht. Tabel 1: Twee voorbeelden van beoordelingen door twee beoordelaars van de uitvoering van een praktijkopdracht door vijf deelnemers Voorbeeld 1 Voorbeeld 2 Beoordelaar Beoordelaar Deelnemer Gemiddelde beoordeling In voorbeeld 1 zien we dat beoordelaar 1 en beoordelaar 2 iedere deelnemer verschillend beoordelen. We zien echter ook dat er sprake is van een systematisch verschil in de beoordelingen van beoordelaar 1 en beoordelaar 2. Beoordelaar 2 geeft elke deelnemer 2 scorepunten meer dan beoordelaar 1. Hoewel de absolute beoordelingen van beoordelaar 1 en beoordelaar 2 dus verschillen, zijn hun relatieve beoordelingen echter identiek. Beiden zijn van mening dat deelnemer 5 de beste deelnemer, deelnemer 4 de op een na beste deelnemer en deelnemer 1 de slechtste deelnemer is. In voorbeeld 1 is sprake van een perfecte beoordelaarsbetrouwbaarheid vanwege het feit dat de relatieve beoordelingen van de individuele deelnemers identiek zijn en relatieve overeenstemming is het waar het bij beoordelaarsbetrouwbaarheid om gaat. We zien echter dat in geval van een perfecte beoordelaarsbetrouwbaarheid het voor de deelnemers wel degelijk uitmaakt door wie ze beoordeeld worden. Beoordeling door beoordelaar 2 heeft duidelijk de voorkeur omdat beoordelaar 2, gegeven zijn gemiddelde beoordeling, een mildere beoordelaar is dan beoordelaar 1. In voorbeeld 2 geven beoordelaar 3 en beoordelaar 4 identieke oordelen aan de individuele deelnemers. Er is hier sprake van perfecte beoordelaarsovereenstemming vanwege het feit dat de beoordelingen van de deelnemers identiek zijn en identieke overeenstemming is het waar het bij beoordelaarsovereenstemming om gaat. In geval van perfecte beoordelaarsovereenstemming maakt het voor de deelnemers niet uit of ze door beoordelaar 3 of beoordelaar 4 beoordeeld worden omdat beoordelaar 3 en beoordelaar 4 even mild of streng zijn. Voorbeeld 1 en voorbeeld 2 zijn extreme voorbeelden die in de praktijk nooit zullen voorkomen. Ze laten echter wel zien dat er tussen beoordelaarsbetrouwbaarheid en beoordelaarsovereenstemming een duidelijk verschil bestaat. Dat verschil impliceert dat de beoordelaarsovereenstemming nooit hoger zal zijn dan de beoordelaarsbetrouwbaarheid. Het ten onrechte niet beseffen dat het verschillende maten zijn, kan in voorkomende gevallen ook grote consequenties hebben voor bijvoorbeeld deelnemers die daardoor door een strengere beoordelaar beoordeeld worden. Wat betekent het voorgaande voor de praktijk van het beoordelen van deelnemers? In de eerste plaats dat wanneer in het kader van de beoordeling van een praktijkopdracht melding gemaakt wordt van een hoge beoordelaarsbetrouwbaarheid, men dient te beseffen dat het zeer goed mogelijk is dat verschillen tussen beoordelaars wel eens veel groter kunnen zijn dan met een hoge beoordelaarsbetrouwbaarheid gesuggereerd wordt. Indien daartoe de mogelijkheid bestaat, zou dan ook nagegaan of nagevraagd moeten worden hoe hoog de beoordelaarsovereenstemming bij de betreffende praktijkopdracht is. We zien echter dat in geval van een perfecte beoordelaarsbetrouwbaarheid het voor de deelnemers wel degelijk uitmaakt door wie ze beoordeeld worden 37

20 4 4.2 Wat moet een beoordelaar doen? De afgelopen jaren zijn er vele zogenoemde competentieprofielen van beoordelaars, assessoren of examinatoren opgesteld. In het kader van het Actieplan Verbetering Examinering heeft een werkgroep een herordening aangebracht in de bestaande competentieprofielen en een nieuw competentieprofiel volgens de opzet van de kwalificatiedossiers (Competentieprofiel Assessor, 2007) opgesteld. Onderstaande informatie over competentieprofielen van beoordelaars is grotendeels uit dit document ontleend. 38 In de tweede plaats dat ook het aantal beoordelaars van belang is om een goed beeld te krijgen van de hoogte van de beoordelaarsovereenstemming. De beoordelaarsovereenstemming van beoordelingen die gebaseerd zijn op de gemiddelde beoordeling van vijf beoordelaars zal namelijk veel hoger zijn dan van beoordelingen die uitgaan van de gemiddelde beoordeling van twee beoordelaars. Bij de beoordeling van praktijkopdrachten in de beroepspraktijk zullen echter in de meeste gevallen niet meer dan twee beoordelaars de uitvoering van de praktijkopdrachten beoordelen. Het rapporteren van een beoordelaarsovereenstemming die gebaseerd is op de gemiddelde beoordeling van meer dan twee beoordelaars, zal in dat geval een te rooskleurig beeld geven van wat in de praktijk realiseerbaar is. Ten slotte dient hier ook nog eens benadrukt te worden dat een hoge beoordelaars-overeenstemming een belangrijke factor is om de competenties van een beginnende beroepsbeoefenaar op een overtuigende wijze te kunnen beoordelen, maar dat het niet de belangrijkste factor is. Die belangrijkste factor betreft namelijk het aantal praktijkopdrachten die we een deelnemer laten uitvoeren. Het is eenvoudig in te zien dat we de competenties van een deelnemer beter kunnen bepalen op basis van een aantal praktijkopdrachten dan op basis van één opdracht. Het is ook eenvoudig in te zien dat verschillen tussen beoordelaars een grotere invloed zullen hebben op de beoordeling van de deelnemer in het geval van één opdracht dan in het geval van een aantal verschillende opdrachten. Examenplannen die uitgaan van een variëteit van opdrachten, zijn daarom beter dan examenplannen die uitgaan van beperkte metingen. 4.3 Ongeacht de toetsvorm die gebruikt wordt, zij het een portfolio, een proeve van bekwaamheid of een criteriumgericht interview, mag van een beoordelaar verwacht worden dat deze: de beoordeling kan uitvoeren volgens de regels die daarvoor vastgesteld zijn; op basis van de uitvoering van de werkprocessen de onderliggende competenties kan beoordelen; het resultaat van de beoordeling op een begrijpelijke wijze aan de deelnemer kan uitleggen; het beoordelingsproces en de beoordeling kan evalueren met het doel deze te verbeteren; in voorkomende gevallen de logistieke organisatie en coördinatie voorafgaande aan de toetsafname op zich kan nemen. Wat moet een beoordelaar kunnen? Een beoordelaar dient een aantal kerntaken met bijbehorende werkprocessen te kunnen uitvoeren. Aard en aantal kerntaken zal afhankelijk zijn van de beoordelingssituaties waarin de beoordelaar zal moet kunnen opereren. Van een beoordelaar in het groene onderwijs wordt bijvoorbeeld verwacht dat deze de volgende kerntaken kan uitvoeren: 1. Het afnemen van een performance-assessment; 2. Het afnemen van een portfolio-assesment; 3. Het afnemen van een beoordelingsinterview. Deze drie kerntaken zullen naar verwachting veel overlap vertonen met kerntaken die voor beoordelaars van andere onderwijssectoren, zoals de sector handel, gelden. Onderstaande tekst die betrekking heeft op kerntaak 1 met bijbehorende werkprocessen is nagenoeg letterlijk en volledig overgenomen uit Competentieprofiel Assessor