Naar een audit van assessmentpraktijken in de lerarenopleiding

Transcriptie

1 ARTIKEL 20 Naar een audit van assessmentpraktijken in de lerarenopleiding De tweedegraads lerarenopleidingen zijn op dit moment intensief betrokken bij een omslag naar competentie- en marktgerichte opleidingen, waarbij nieuwe doelgroepen opgeleid moeten worden en het opleidingenaanbod verbreed wordt. Elke lerarenopleiding brengt daarin eigen accenten aan en kiest voor een geschikte strategie om dit proces van vernieuwing te doen slagen. Een van de vernieuwingsaspecten is de introductie van assessments. Iedere instelling is intensief bezig instrumenten en procedures uit te werken rond assessment en probeert die instrumenten en procedures te implementeren in organisatie en curricula. Wil de invoering van assessment - als een redelijk nieuwe activiteit van de lerarenopleiding - slagen, dan zal moeten worden voldaan aan specifieke kwaliteitsstandaards. Een audit kan helpen om zowel intern als extern (schoolbesturen, zij-instromers, studenten) helder en transparant te maken dat beoordeling op geschiktheid voor het beroep door middel van een assessment, bij de opleiding in goede handen is. In dit artikel komt aan de orde hoe een audit-instrument voor assessmentpraktijken een plaats kan krijgen in een proces van invoering van kwaliteitsbeoordeling door de lerarenopleidingen. We gaan achtereenvolgens in op de kwaliteit van assessments, op kwaliteitscriteria voor asssessments en op een door ons ontwikkeld en uitgeprobeerd audit-instrument. AUTEUR(S) Harm Tillema, Universiteit Leiden Sasja Dirkse-Hulscher, 2KnowHow - Art of Learning Veronique van den Hurk, 2KnowHow - Art of Learning Een audit? De term audit komt uit de wereld van de financiële planning en budgettering en heeft daar betrekking op de interne controle van verrichte activiteiten in relatie tot de investeringen die zijn gedaan. Wij gebruiken de term audit als aanduiding voor de evaluatie en waardebepaling van verkregen uitkomsten in relatie tot gestelde doelen. Voor de tweedegraads lerarenopleidingen die midden in een proces van ontwikkeling en invoering van assessmentpraktijken zitten, kan een audit van dienst zijn om de kwaliteit van de assessmentaanpak en de ontwikkelde instrumenten te beoordelen. De audit is dan bedoeld om aanwijzingen te leveren voor de verbetering en bijstelling van de procedures en een validering te geven van de uitkomsten van afgenomen assessments. Binnen de lerarenopleidingen wordt op dit moment volop gezocht naar nieuwe vormen van assessment en gewerkt aan de koppeling van assessment met de eigen opleidingsprogramma s. Assessment, zo valt te beluisteren, biedt mogelijkheden voor beoordeling van geschiktheid voor het beroep bij specifieke doelgroepen, waaronder de zij-instromers, maar vooral ook voor het inrichten van een meer op competenties gerichte opleiding, die rekening houdt met verworven kwalificaties van studenten. Een investering in de kwaliteit van assessments is dan ook op zijn plaats (Boot & Tillema, 2001). Een audit kan helpen zicht te krijgen op de in ontwikkeling cq. in gebruik zijnde assessmentpraktijken, met als doel om die te verantwoorden (de deugdelijkheidoptiek) en om verbeteringen aan te brengen in de opzet en het ontwerp van het assessment (de implementatie-optiek). Met deze intentie hebben auteurs op initiatief van de lerarenopleidingen een audit-instrument gemaakt dat in staat moet zijn tot het meten van de deugdelijkheid van het instrumentarium en de procedures die bij (intake)assessments in de opleiding in gebruik zijn en waarvan het gebruik handreikingen geeft voor verbetering van de kwaliteit van de eigen assessment-praktijk. De audit is door middel van een pilotstudie bij de zeven tweedegraads lerarenopleidingen uitgeprobeerd. De ervaringen tijdens de pilot zijn verwerkt in een handzame versie van het audit-instrument om zo de betrokken instellingen een instrument ter beschikking stellen in de vorm van een zelftest. Ontwikkelingsassessment of intake-assessment? Ontegenzeglijk heeft de interesse in assessment een belangrijke stimulans gekregen door de huidige tekorten aan leraren en de in gang gezette geschiktheidbeoordeling van zij-instromers in het beroep. Het gaat hier om een evidente noodzaak van (intake)assessment. Maar op dit moment zijn

2 er binnen de lerarenopleidingen, in het bijzonder in het Project Educatief Partnerschap, ook initiatieven om te komen tot een meer vraaggestuurde en competentiegerichte opleiding waarbinnen assessments voor ontwikkeling van studenten tijdens hun leerprogramma een structurele plaats hebben. Er is dus sprake van twee duidelijke stimulansen rond assessment en de vraag is of deze verschillende bedoelingen met assessment zich wel laten beoordelen met dezelfde maatstaven en criteria (Powell, 2000). De vraag laat zich deels met ja beantwoorden. Natuurlijk zal rekening gehouden moeten worden met de specifieke aard van een assessment een intake assessment is iets anders dan een ontwikkelingsgericht assessment en een assessment betekent iets anders voor een zij-instromer in de opleiding dan voor een LiO. Toch is de beoordeling gebaseerd op dezelfde ingrediënten en moeten ze voldoen aan dezelfde criteria voor kwaliteit en validiteit. Wel wordt de inkleuring van die criteria, al naar gelang de gebruikscontext, anders. Tegen deze achtergrond is het auditinstrument uitgewerkt. Op dit moment zijn er binnen de lerarenopleidingen ook initiatieven om te komen tot een meer vraaggestuurde en competentiegerichte opleiding, waarbinnen assessments een structurele plaats hebben. kwaliteit van assessment kunnen articuleren. Dit verlangt voortdurende aandacht in de opleidingen (van management, assessment coördinatie, docenten en assessoren) voor het vaststellen van de instellingsspecifieke criteria en kwaliteitsnormen voor de beoordeling van assessments (Zie ook schema). 3 Een derde succesfactor is dat het audit-instrument informatie oplevert, waarmee de opleidingen zelf aan de slag kunnen. Instellingen kunnen het instrument dan gebruiken als zelftest. Het is de bedoeling dat betrokken instellingen na afloop van de proefafname praktisch aan de slag kunnen met het meten en verbeteren van de kwaliteit van hun assessmentpraktijken. Voor dit doel is een tool-box ontwikkeld. Te gauw is men geneigd een audit af te doen als enkel een instrument; het is echter meer dan dat. De daadwerkelijke afname van een audit kan men nog beschouwen vanuit een instrumentele optiek, d.i. de tool-box. Maar in feite gaat aan de afname van een zelftest een proces van kwaliteitsdenken en afweging vooraf, dat begint bij het vaststellen van de keuzen en doelen van de opleiding als organisatie (Dottin, 2001). Het schema toont de fasen die voorafgaan aan de feitelijke afname van de audit. We geven aan de hand van het schema op deze bladzijde een korte toelichting op dit continue proces van kwaliteitsbepaling. Een audit als instrument of als proces Bestaat er enige zekerheid dat een elders ontwikkeld instrument (nl. door ons, als auteurs) ook daadwerkelijk gebruikt zal worden in de opleiding? We onderkennen drie wezenlijke factoren: 1 Een belangrijke succesfactor voor het overnemen van een audit-aanpak is dat de inbreng en betrokkenheid van de lerarenopleiding bij de ontwikkeling van het instrument groot is. Het creëren van draagvlak vraagt extra aandacht, omdat het doen van een audit niet bij iedereen direct een positieve associatie oproept. 2 Een tweede succesfactor is dat opleidingen hun visies en gemeenschappelijke standpunten over VI. Afname audit V. Certificering I. Bepalen visie II. Articuleren missie III. Standaarden en eisen IV. Onderbouwing Fasen in de bepaling van kwaliteit van assessments I Bepalen van visie op assessment en beoordelen Een instelling die met assessments werkt en assessmetns als onderdeel van het takenpakket gaat opnemen (bijv. middels een eigen assessmentbureau) bepaalt nadrukkelijk eerst de eigen beleidskeuze door die uit te werken in leidende thema s, de shared vision. De centrale vraag is dus: Waarvoor moet assessment dienen in deze opleiding? II Articuleren van de missie Een visie geeft de raison d etre, de reden om ergens mee door te gaan. Maar vervolgens is het nodig concreet aan te geven hoe men assessment wil uitwerken in de instelling, ingebed in de aanpak en werkwijze van de instelling als geheel. Men zou hier kunnen spreken van het businessplan rond assessment met als centrale vraag daarbij: Wat willen we in de instelling met assessment bereiken en wat moet het dan opleveren? III Omschrijven van de standaarden en eisen rond de opbouw van het assessment-instrumentarium Gelet op wat men met assessment beoogt (de voorgaande stap) is het nodig om vervolgens de eigen kwaliteitstandaarden aan te geven, de eisen die men stelt aan het hanteren van assessments in de praktijk van de opleiding. De centrale vraag is hier: Wat is onze toetssteen om kwaliteit te bepalen en te waarborgen? VELON Tijdschrift voor Lerarenopleiders jrg 23(3)

3 Naar een audit van assessmentpraktijken in de lerarenopleiding 22 IV De onderbouwing van het assessment - de conceptuele basis en validering ervan Het is een grote verantwoordelijkheid om assessments af te nemen omdat die kunnen leiden tot zwaarwegende beslissingen over studieloopbanen en arbeidsposities van mensen. Er zal daarom een legitimering moeten plaatsvinden van de procedure en de instrumenten, om te voorkomen dat een kandidaat beslissingen die zijn genomen op grond van het assessment, aanvecht. De centrale vraag en zorg zijn: Wat is eigenlijk de kennisbasis waarop de assessment stoelt? Deze vraag vertaalt zich direct in de meer specifieke vraag: Wat is eigenlijk onderzocht en gevalideerd rond de eigen procedure zodat intern een verantwoording valt te geven van de keuzen die zijn gemaakt en er toelichting valt te geven bij de inrichting van elke concreet assessment? V Tonen/beschikken over een eigen standaard / voldoen aan certificeringseisen Het visie-proces en de eigen uitwerking van assessment (stap I en II) geven aan hoe een instelling op een professionele en eigen wijze opereert. Eigen keuzen rond assessment hebben tot gevolg dat men met een uniek product komt en zelfstandig in de markt opereert. Toch moet nog ingevuld worden op welke wijze de eigen keuzen en invullingen overeenkomen met standaarden die extern worden aangelegd met betrekking tot de kwaliteit van assessments. Op de achtergrond speelt de belangrijke vraag: Kan onze assessment-aanpak worden geaccrediteerd/gecertificeerd? Op dit moment zijn er (nog) geen landelijke standaarden voor certificering van assessment procedures maar die zullen er ongetwijfeld komen. Zodra deze er zijn - via accrediterende organisaties als het Nationale Accrediteringsorgaan (NAO), vanuit wetenschappelijk onderzoek of bepaald door beroepsstandaarden ontwikkeld door landelijke verenigingen zoals de VELON - valt door de instelling zelf te bepalen hoe de eigen invulling rond assessment spoort met een landelijke standaard. Kwaliteitscriteria voor assessments De doelstelling van een audit is het vaststellen van de kwaliteit van assessmentpraktijken bij een opleiding. De audit moet antwoord geven op vragen als: Is er in de opzet en uitvoering van het assessment bij de lerarenopleiding aandacht voor essentiële kwaliteitskenmerken die gerekend mogen worden tot een goed assessment? Is er in de uitvoering van het assessment blijk gegeven van goede kwaliteitshandhaving middels gevolgde procedures en werkwijzen? Heeft men vertrouwen in de kwaliteit van de uitslag van het assessment, in de zin dat het assessment een goed beeld geeft van de competenties van de kandidaat? Om deze vragen te beantwoorden is een toetsingskader ontwikkeld dat de afzonderlijke kwaliteitskenmerken omvat; zo kan op elk van de vragen gericht een antwoord worden gezocht. Het toetsingskader voor het beoordelen van de kwaliteit van assessment-praktijken is allereerst ontleend aan een analyse van literatuur binnen de domeinen: authentic and performance assessment, personnel evaluation in public administration, human resource development en teacher appraisal and evaluation. Een bron is ook geweest het (nog summiere) onderzoek naar de validiteit van assessments (Lievens, 1999; Darling Hammond & Snyders, 2000) en de Guidelines and Ethical standards van de International Taskforce on Assessment Centers (2000). Een belangrijke bron is verder geweest de visiebijeenkomsten en voorgesprekken bij de instellingen zelf. Aan de literatuur zijn criteria en kwaliteitskenmerken ontleend. Bij het doorzoeken van de diverse bronnen is gebruik gemaakt van enkele expliciete keuzen en standpunten over assessment welke helpen om gericht te zoeken en te beoordelen of een kwaliteitskenmerk relevant is om opgenomen te worden in een audit, namelijk: assessments leveren inzicht in functioneren vanwege de heldere relatie met authentieke contexten. assessments verlangen een integratie van te demonstreren kennis en gedragingen. assessments leveren op meerdere (geïntegreerde) manieren bewijzen van kunnen. ssessments hanteren heldere en expliciete criteria voor beheersing van competenties. Vervolgens is de veelheid aan kwaliteitskenmerken gerubriceerd onder een drietal categorieën: 1. De inbedding en (infra)structuur van het assessment in de opleiding. a Soort assessment Is er sprake van een duidelijk type assessment (intake, ontwikkelingsgericht, doelgroepgericht, domeinafhankelijk); is er een relatie met of inbedding in een natraject (een te volgen opleiding, een ontwikkelingsplan)? b Infrastructuur: Zijn de betrokkenen, (kandidaten, assessoren, organisatoren, management, administratie) op hun verdere rol voorbereid en toegerust? c Aan de afname van een zelftest gaat een proces van kwaliteitsdenken en van kwaliteitsafweging vooraf. Functie: Is er een duidelijke relatie tussen gemeten competenties en beoogde competenties (welke kennis, attituden en vaardigheden, van wie, worden op welk niveau beoordeeld en met welk doel: geschiktheidbeoordeling; toelating of plaatsing)? d Codificering: Zijn er uitgewerkte en omschreven procedures voor afname en afhandeling van beoordelingen en zijn de aantallen deelnemers efficiënt en kostendekkend?

4 e Koppelingen: Is er een koppeling met de opleidingsstructuur (centraal of decentraal)? Is er aandacht voor implementatie van assessmentuitkomsten en toelating tot leertrajecten? f Certificering: Als leerwegonafhankelijke meting verlangt het assessment een breed draagvlak en erkenning; spoort de procedure met aanpakken elders i.v.m. een mogelijke certificering van de procedure (zie ook categorie 3)? 2. De gebruikte procedure rond afname en de ingezette instrumenten a De competenties: Dekken de competenties de (start)bekwaamheid op een doorzichtige manier? In formulering en wijze van afname van de assessments vinden allerlei impliciete keuzen plaats. Is duidelijk wat waar en met welk instrument gemeten wordt; gaat het om startcompetenties, persoonlijke competenties, of curriculumkwalificaties? b Het conceptueel kader: Is de afname een eigen invulling en ontwerp of ontleend aan een procedure elders (bijv. het STOAS instrument); is de reikwijdte van het instrument vastgesteld of gebruikt men één aanpak voor vele doeleinden en verschillende trajecten? c Beoordelingscriteria: Is duidelijk hoe de criteria bepaald zijn; en voor welke competenties; is ook bepaald wat de niveaus van beheersing zijn? d Instrumenten: Is verzekerd dat de (start)competenties worden vastgesteld via meerdere assessment-instrumenten/-methoden; heeft elk instrument een relatie met andere assessmentvormen, bijvoorbeeld: de koppeling van een portfolio met praktijkbeoordeling c.q. stage? Zijn de instrumenten duidelijk beschreven en vertaald naar concrete materialen? e Afnameproces: Is de keuze van de stappen in de afname onderbouwd, hun volgorde, de te meten eigenschappen, inhoudsvaliditeit en de volledigheid ervan? f Assessoren: Hebben assessoren een eenduidig beoordelingskader op vaste punten of zijn deze open en te weinig voorgestuctureerd, zodat in de beoordeling ook persoonskenmerken op ondoorzichtige wijze meespelen? g Feedback: Wordt er inhoudelijk en persoonsgericht terugkoppeling geboden van de bevindingen? 3. De beschikbare gegevens rond validering en kwaliteitsborging van het hele assessment-instrumentarium (inclusief de organisatie eromheen) III Worden assessoren getraind / opgeleid? 1 assessoren krijgen een training voorafgaand aan de afname a. assessoren worden ingepraat tav de visie en de doelen b. assessoren leren werken met de competenties en niveaus c. assessoren oefenen met observatie-instrument c1. assessoren oefenen het scoren c2. assessoren leren scoringsvalkuilen c3. assessoren bespreken dilemma s bij scoren Voorbeeld van een uitwerking naar niveaus a Representativiteit: Is het assessment representatief voor een bepaald domein/vakgebied; vergt het nog aanzienlijke uitbreiding wil het dekkend zijn voor de opleiding (vakken) en het beroep? Is het gelegitimeerd in het veld? b Standaardisatie: Is er zorg voor de standaardisatie en eenduidigheid in beoordeling van diverse competenties? c Kwalificatie: Is de bepaling van beheersingsniveaus en vaststelling van cutting points (geschikt/ niet geschikt) onderbouwd? d Coherentie: Kunnen assessoren competenties op een vergelijkbare wijze beoordelen, is er een beoordelingskader en zijn de assessoren daarin getraind? e Training van assessoren: Dit vraagt om aandacht, daar de inwerking en bekendheid met instrumenten opgebouwd en onderhouden moet worden: Hanteren assessoren identieke beoordelingskaders? f Samenhang: Is er een duidelijk, inzichtelijk verband tussen de gebruikte observatielijsten en de beoordeling op niveaus en is bepaald hoe de eindbeoordeling tussen assessoren onderling tot stand komt? g Vergelijkbaarheid: Speelt op inzichtelijke wijze de zelfbeoordeling van de kandidaat een rol in de beoordeling en de uitkomsten van het assessment? h Objectiviteit: Is nagegaan hoe herhaalbaar ( objectief ) datgene is wat met het assessment is vastgesteld? i Effectiviteit: Is er verder onderzoek naar de effecten van de procedure? j Controleerbaarheid: Wat is er geregistreerd en gearchiveerd over de werking van het instrumentarium? Het kan steeds nauwkeuriger In een audit is het aantal kwaliteitskenmerken en de mate van detaillering waarmee naar structuur en proces van de assessmentpraktijken wordt gekeken steeds specifieker te maken. Men maakt zelf de keuze in hoeverre en waarop men precies de maat wil nemen, afhankelijk van de profilering die men wil aanbrengen (zie het verloop van het auditproces, figuur boven). Een audit moet ruimte bieden om, afhankelijk van de uitwerking die assessmentpraktijken hebben gekregen in een instelling, op een eigen en adaptieve wijze te controleren op kwaliteit. Deze stelregel is in het audit-instrument vertaald door verschillende lagen of niveaus van diepgang van de audit te onderkennen, overeenkomstig de kwaliteitkenmerken die men meer of minder diepgaand wil controleren. Als voorbeeld van een uitwerking naar niveaus kan een segment uit het instrument over de assessorentraining dienen: zie afbeelding) Drie criteria: aandacht, werking en vertrouwen In de audit wordt per kenmerk telkens informatie verzameld op de drie verschillende auditcriteria. VELON Tijdschrift voor Lerarenopleiders jrg 23(3)

5 Naar een audit van assessmentpraktijken in de lerarenopleiding 24 De drie criteria voor beoordeling vertegenwoordigen drie manieren van kijken naar het assessment. Dit betreft dan: aandacht: de beschikbare informatie over en explicitering van het instrumentarium, werking; de zichtbare uitvoering van de (stappen en onderdelen)van het assessmenttraject, vertrouwen: de validering van de verkregen assessment-uitkomsten. Een korte toelichting op de criteria: Aandacht Het is van belang dat het assessment voldoende is toegelicht en beschreven, zowel voor intern gebruik als voor externe verantwoording, zodat duidelijk en transparant is welke keuzen zijn gemaakt en hoe concreet de uitwerkingen zijn vormgegeven. Daardoor kan het ook door anderen worden gebruikt. De vraag die centraal staat is: Is er toelichting beschikbaar c.q. blijk gegeven dat bewust c.q. op gerichte wijze is gekozen voor de uitwerking van het betreffende assessmentkenmerk? Operationeel luidt de vraag: Is er informatie beschikbaar? Werking Het is van belang dat de uitvoering van het assessment onder voortdurende kwaliteitszorg staat en mogelijke problemen in de uitvoering middels daarvoor geschikte procedures en regels ondervangen worden. De vraag die daarbij voorop staat is: Is zichtbaar in zowel de opzet, aanpak en uitvoering van het assessment op welke wijze het assessment wordt uitgevoerd zodanig dat deze voldoet aan gestelde kwaliteitseisen? Operationeel luidt de vraag: Is de uitwerking (van het kenmerk) voldoende efficiënt? Vertrouwen Het is van belang dat het resultaat van het assessmentkenmerk voldoende vertrouwen geniet, d.w.z. plausibel en acceptabel is. Zo valt een verantwoording te geven van de beoordeling die men naar buiten brengt, bijvoorbeeld een geschiktheidverklaring. Het gaat hier duidelijk om een complex, interpretatief oordeel gebaseerd op bewijslast welke openbaar te verantwoorden valt. De vraag die voorop staat: Is in voldoende mate gewaarborgd dat op deze wijze een valide beeld kan worden gegeven van de kwaliteiten van de kandidaat? Operationeel luidt de vraag: Is er voldoende vertrouwen in het resultaat? Het audit-instrument Het audit-instrument bestaat uit: 460 afzonderlijke auditkenmerken als de meest elementaire bouwstenen waarmee de kwaliteit van assessments beoordeeld kan worden (voorbeeld van een kenmerk: de scoringsbetrouwbaarheid tussen assessoren onderling, of: heldere instructie bij het portfolio voor de kandidaat), Deze kenmerken zijn gerubriceerd onder verschillende audit topics als de onderling samenhangende sets van kenmerken waaruit de audit is opgebouwd. De topics vormen clusters van kenmerken en kunnen onderling weer zijn gegroepeerd tot grotere clusters. Zie Bijlage 1 voor het meest globale overzicht van kwaliteitskenmerken (d.i. op niveau 1). De topics zijn uitgewerkt tot vier auditniveaus, dat wil zeggen er zijn verschillende lagen van detaillering aangebracht in de topics, lopend van algemeen naar meer specifiek. (bijvoorbeeld: van de kwaliteit van de assessoren tot de kwaliteit van de assessorentraining). De audit wordt verder gestructureerd door richtvragen te stellen. Dit zijn sturende vragen die al naar gelang een bepaalde interesse die men heeft, specifieke informatie over de kwaliteit van het assessment weergeven. (Bijvoorbeeld: hoe is het gesteld met de beoordeling door assessoren?). Een audit moet ruimte bieden om, afhankelijk van de uitwerking die assessmentpraktijken hebben gekregen in een instelling, op een eigen en adaptieve wijze te controleren op kwaliteit. De proefafname van het audit-instrument Het audit-instrument is bedoeld om te worden afgenomen als zelf-test door de instelling zelf, en ook om verder te worden uitgebouwd, afhankelijk van de specifieke aandachtspunten die de instelling in de audit wil uitdiepen. Op die manier is de audit een vorm van interne controle op kwaliteit. Echter in het uitprobeer-stadium werd een groep auditoren van buiten de instelling aangezocht om de audit uit te voeren en om informatie te verzamelen over de werking ervan. Het instrument is in 2001 uitgeprobeerd binnen de tweedegraads lerarenopleidingen in het kader van de ontwikkeling van assessmentcentra binnen elke instelling. Aan de hand van een checklist met kwaliteitskenmerken en criteria, gerangschikt naar niveau, zijn gesprekken gevoerd, assessments bijgewoond en materialen bestudeerd. Op deze manier zijn alle auditkenmerken aan de orde gesteld. Vaststelling van een score per kenmerk en per criterium is gebeurd na afloop van het auditbezoek bij elke instelling afzonderlijk, en wel op grond van een afweging van de informatie die beschikbaar was via: beschikbare bronnen en documenten, gesprekken met ter zake betrokkenen: management, coördinatie, assessoren, kandidaten, secretariaat en andere geïnformeerde personen, aanvullende enquêtegegevens over de waardering van de assessmentpraktijk, in enkele gevallen observatie van de assessmentpraktijk.

6 KAARTEN UIT DE TOOL-BOX voorbeelden 0 Kengetallen I Zijn er cijfers over de afname van het assessment? II Zijn er cijfers bekend over kandidaten? III Zijn er cijfers bekend over assessoren? A Doelen en inbedding van het assessment I Is het doel van het assessment helder geformuleerd? II Ligt er een (conceptueel) kader aan ten grondslag? III Is de reikwijdte van het assessment bepaald? IV Loopt de organisatie van het assessment gesmeerd? V Is het assessment ingebed in de opleiding? VI Wordt het assessment verder ontwikkeld/verbeterd? B Competenties, standaarden en gedrag I Zijn competenties zorgvuldig vastgesteld? II Dekken de competenties het functioneren in het beroep? III Zijn competenties meetbaar geformuleerd? C Instrumentarium I Is het instrumentarium (geheel aan opdrachten) compleet? II Zijn de instrumenten onderbouwd en uitgewerkt? III Bieden instrumenten ruimte voor diversiteit (verschillen)? IV Meten taken/opdrachten/oefeningen relevant gedrag? V Wordt het portfolio effectief gebruikt? VI Is de authentieke opdracht (les) geregeld? VII Worden simulatieoefeningen afgenomen? D Assessoren I Worden assessoren zorgvuldig geselecteerd? II Zijn taken en verantwoordelijkheden duidelijk verdeeld? III Worden assessoren getraind/opgeleid? IV Worden assessoren beoordeeld op geschiktheid/kwaliteit? E Beoordeling I Is de scoringsprocedure zorgvuldig vastgesteld? II Zijn de condities voor beoordeling optimaal? III Worden competenties op verschillende manieren vastgesteld? IV Vindt scoring op een eenduidige manier plaats? V Is de procedure voor samenstelling eindoordeel transparant? VI Zijn eindbeoordeling en -gesprek herkenbaar en constructief? F Natraject I Worden gegevens gearchiveerd en opnieuw gebruikt? II Wordt er nazorg aan kandidaten verleend? IV Is het duidelijk wat ná het assessment volgt? BIJLAGE: OVERZICHT TOPICS in het AUDIT INSTRUMENT VELON Tijdschrift voor Lerarenopleiders jrg 23(3)

7 De aldus verzamelde gegevens dienen als input voor de beoordeling. Het instrument maakt het mogelijk daarna somscores per cluster van kenmerken te berekenen. Noot 1 Voorzien is dat de papieren versie wordt opgenomen in de EPS reeks. Naar een audit van assessmentpraktijken in de lerarenopleiding Inmiddels heeft de terugkoppeling van bevindingen plaatsgevonden naar elke instelling afzonderlijk. Het doel van de terugkoppeling is tweeledig geweest: Ten eerste het verschaffen van feedback aan de individuele instelling over de resultaten van de audit m.b.t. hun assessmentpraktijk. Zo werd in de meeste gevallen veel aandacht besteed aan de organisatorische inbedding van assessment en de aanwezigheid van ondersteunende faciliteiten en managementsupport, bijvoorbeeld rond assessorentraining of werktaakverlichting voor assessoren. Maar ook rendementcijfers en instroom van kandidaten kregen aandacht. Dergelijke feedback dient om de aandacht te vestigen op een kwaliteitskenmerk die opviel in de auditscoring. Instellingen kunnen daaruit hun eigen gevolgtrekkingen maken. Ten tweede is het doel geweest om concrete handvatten aan te reiken waarmee de instelling, maar zij niet alleen, de kwaliteit van assessments kan blijven meten en verbeteren in de vorm van een concrete aanpak voor hantering van het instrument in het eigen team. Dit heeft geleid tot de assessment-verbeter-box waarin aan de hand van discussievormen men eigen thema s en aspecten kan selecteren die vervolgens bespreekbaar gemaakt worden en moeten leiden tot een verder ontwerp van het eigen assessment. Men kan zelfs met behulp van de verbeterbox - vooruitkijkend - een assessmentraject gaan ontwikkelen. Inmiddels hebben de instellingen in een persoonlijke terugkoppeling positief gereageerd op de resultaten van de audits en het als handreiking ter verbetering van de kwaliteit van het assessment als een serieuze bron en hulpmiddel beoordeeld. De finale stap is de praktische uitbouw van mogelijkheden voor de implementatie van het audit-instrumentarium voor andere opleidingen. Voor dit doel is een drietal producten voorzien: een papieren versie van het volledige audit-instrument om als checklist en naslagwerk te gebruiken 1. een digitale versie van het audit-instrument als beoordelingsinstrument voor de kwaliteit van assessments waarin direct de scoring valt in te voeren en bij te houden; een handzame tool-box met daarin een kaartsysteem welke het met behulp van richtvragen mogelijk maakt om eigen thema s en kwaliteitskenmerken te selecteren die men voor verbetering of verdere ontwikkeling wil uitwerken. Op deze manier kan het audit-instrument ook door anderen worden gebruikt. Literatuur Boot, C & Tillema, H.H. (2001). Competentiegericht beoordelen in hoger beroepsonderwijs. Utrecht: Lemma. Broadfoot, P.M. (1996). Education, assessment and society. Milton Keynes: Open University press. Darling-Hammond, L. & Snyder, J. (2000). Authentic assessment of teaching in context. Teaching & Teacher Education, 16, Delandshere, G. & Petrovsky, A. (1998). Assessment of complex performances: Limitations of key measurements assumptions. Educational Researcher, 27 (2), Dottin, E. (2001). The development of a conceptual framework. AACTE: University Press of America. Gipps, C. V. (1994). Beyond Testing. London, The Falmer Press. Dierik, S, Dochy, F. & Van de Watering (2001). Assessment in hoger onderwijs, over implicaties van nieuwe toetsvormen. Tijdschrift voor Hoger Onderwijs. (19)1, Graves, D.H. & Sunstein, B.S. (1992). Portfolio portraits. Portsmouth: Heinemann Books. Herman, J.L. & Winters, L. (1994). Portfolio research, a slim collection. Educational Leadership, 52 (2), Herriot, P. (1989). Assessment and selection in organizations: methods and practice for recruitment and appraisal. Chichester: John Wiley. International Taskforce on Assessment centers (2000). Guidelines and ethical considerations for assessment center operations. Public Personnel Management (29) 3; Klarus, R, Schuler, Y, Ter Wee, E, Eising, M., Drijfhout, P en Tillema, H. (2000). Bewezen geschikt, assessment voor zij instromers. Wageningen: STOAS. Lievens, F. (1998). Factors which improve the construct validity of assessment centers. International Journal of Selection and Assessment. 6 (3), Olson, M.W. (1991). Portfolios: education tools. Reading Psychology, an international quarterly, 12, Powell, L. A.(2000). Realising the value of self-assessment: the influence of the business excellence model on teacher professionalism. European Journal of Teacher Education, 23 (1), Tillema, H.H. (2001). Assessment van competenties; van beoordelen naar ontwikkelen. Alphen ad Rijn: Kluwer. 26