Handleiding voor beoordelaars Start - Basis - Vakbekwaam
Inhoudsopgave 1. Planning... 3 1.1 Koppels van beoordelaars... 3 1.2 Datum, tijd, lokaal en computer... 3 2. Voorafgaand aan de beoordeling... 4 2.1 Bekwaamheidsdossier beoordelen... 4 2.2 Invullen van het beoordelingsformulier... 4 2.3 Voorbereiding van het criteriumgericht interview... 5 3. Procedure tijdens de beoordeling... 5 3.1 Beoordeling... 5 3.2 Overleg beoordelaars... 6 3.3 Feedback aan de medewerker... 6 4. Na afloop van de beoordeling... 6 Bijlage 1: Regels voor ontwikkelingsgerichte feedback in het kader van de beoordeling... 7 Bijlage 2: STARR... 8 Bijlage 4: Het analyseformulier... 11 Partnerschap Opleiden in de School 2
1. Planning 1.1 Koppels van beoordelaars Elke medewerker wordt door een koppel van twee beoordelaars beoordeeld: een externe (gekwalificeerde) beoordelaar en een afhankelijke beoordelaar (de directeur van de betrokken medewerker). 1.2 Datum, tijd, lokaal en computer Een medewerker die zich heeft aangemeld voor de beoordeling basisbekwaam krijgt twee beoordelaars toegewezen en ontvangt de beoordelingsdatum en de locatie. De medewerker bevestigt de afspraak met de assessoren via een e-mail. De beoordelaars beschikken een dagdeel over een lokaal/ruimte met minimaal twee computers. Op de ene computer kunnen zij het dossier van de medewerker openzetten en op het andere het digitale beoordelingsformulier. Planning beoordeling Individuele voorbereiding beide beoordelaars: 45 minuten Afstemming met tweede beoordelaar, formuleren vragen/gespreksonderwerpen in het beoordelingsformulier: 30 minuten Criteriumgericht interview: 45 minuten Oordeelsvorming: 15 minuten Terugkoppeling: 15 minuten Partnerschap Opleiden in de School 3
2. Voorafgaand aan de beoordeling 2.1 Bekwaamheidsdossier beoordelen De medewerker heeft de beoordelaars toegang verleend tot zijn bekwaamheidsdossier. De medewerker dient in zijn bekwaamheidsdossier bewijsmateriaal op te nemen bij de vier kritische beroepshandelingen. Ieder bewijsstuk dient voorzien te zijn van een ingevuld analyseformulier (zie bijlage) en een referentie van een derde persoon die een inhoudelijke reactie geeft op de analyse en de onderliggende bewijslast van de medewerker. Deze persoon kan een collega, een leidinggevende, een leerling, een vakexpert, enzovoort zijn. De medewerker dient bij iedere kritische beroepshandeling een aantal bewijsstukken aan te leveren waarmee hij de verschillende prestatie-indicatoren aantoont. De medewerker dient ervoor te zorgen dat er bewijsmateriaal is met een performance-achtig karakter (zoals video-opnames, lesobservaties met feedback), én bewijsmateriaal met een portfolio-achtig karakter (feedback, verslagen, notulen, reflecties e.d.). Het bewijsmateriaal bevat minimaal een verslag van een functioneringsgesprek en een verslag naar aanleiding van het observatie-instrument. Voor iedere beoordeling is een standaard beoordelingsformulier beschikbaar. Deze formulieren zijn digitaal beschikbaar via de share-pointportals van de besturen. De beoordelaars hebben schrijfrechten. Tijdens de voorbespreking vullen de twee beoordelaars samen het beoordelingsformulier in. Hierop worden de vragen voor het interview genoteerd. 2.2 Invullen van het beoordelingsformulier De persoonsgegevens worden ingevuld. Kruis aan of de gevraagde bewijzen aanwezig zijn en ga na of ze betrekking hebben op de van toepassing zijnde kritische beroepshandelingen. De mate van evidentie heeft betrekking op de totale beoordeling van de competentie en is daarom zeer belangrijk: Echtheid: uit het bewijsmateriaal moet blijken dat het materiaal daadwerkelijk van de medewerker is. Relevantie: het bewijsmateriaal moet een beeld geven van de ontwikkeling in de competenties van de medewerker welke in de beoordeling aan de orde zijn. Actualiteit: het bewijsmateriaal is zodanig actueel dat het betrekking heeft op de huidige competentiebeheersing van de medewerker van startbekwaam naar basisbekwaam (in principe drie jaar). Georganiseerd/overzichtelijk: het bewijsmateriaal moet zodanig worden aangeboden dat het een georganiseerd en overzichtelijk beeld geeft van de groei in competenties. Mogelijke scenario s Scenario 1: De minimaal gevraagde bewijslast is niet aanwezig en daarmee kan de kritische handeling niet worden beoordeeld. Dit wordt voorafgaand aan de beoordeling gecheckt door de leidinggevende. De leidinggevende geeft een advies go/no go. Scenario 2: Alle bewijslast is aanwezig. De bewijslast blijkt echter van onvoldoende niveau. De beoordelaar vult in ieder geval bij relevantie geen kruisje in. Deze kritische handeling is niet behaald. Scenario 3: De bewijslast voldoet aan de bovengenoemde evidentie-eisen. De kritische handelingen zijn behaald. Geef de medewerker onder het kopje feedback zo concreet mogelijke informatie omtrent zijn/haar ontwikkeling op deze kritische handeling. De beoordeling en het beoordelingsinstrument zijn ook Partnerschap Opleiden in de School 4
bedoeld om de professionele ontwikkeling te ondersteunen en stimuleren. Tips rond het geven van ontwikkelingsgerichte feedback: zie bijlage. 2.3 Voorbereiding van het criteriumgericht interview Tijdens/naast het invullen van het beoordelingsformulier formuleren de beoordelaars de gesprekspunten voor het criteriumgericht interview. Het verdient bovendien aanbeveling om de rolverdeling op het examen af te spreken: Ø Ø Een van de beoordelaars (bij voorkeur de directeur) is gespreksleider. De andere beoordelaar observeert, bewaakt de tijd, maakt aantekeningen en neemt deel aan het gesprek. 3. Procedure tijdens de beoordeling 3.1 Beoordeling Tijdsindeling Bij aanvang van de beoordeling is het van belang om de medewerker eerst kort de procedure en de tijdsindeling uit te leggen. De tijdsindeling voor de medewerker is als volgt: Criteriumgericht interview over het portfolio: 45 min. assessment startbekwaam, 30 min. basis-, vakbekwaam Overleg beoordelaars (de medewerker wacht buiten de gespreksruimte): 15 min. Ontwikkelingsgerichte feedback aan medewerker mondeling en schriftelijk: 10 min. Criteriumgericht interview De beoordelaars hebben de taak om de te bewijzen kritische beroepshandelingen naar boven te halen. Het interview wordt gebruikt om aanvullende informatie van de medewerker te verkrijgen over zijn portfolio. Het heeft dus twee functies: 1. Onderdelen die in het portfolio nog niet bewezen zijn kunnen na het interview alsnog voldaan zijn. 2. In het interview worden door de vraagtechniek zaken op echtheid gecontroleerd (is het materiaal daadwerkelijk van de medewerker?). Eerste beoordelaar Je leidt het gesprek, stelt de vragen aan de medewerker; Je licht in een paar zinnen de gang van zaken toe; Je zorgt ervoor dat je in het gesprek meteen ter zake komt; Je checkt (non-)verbaal bij de notulist of er voldoende bewijs is geleverd per kritische handeling; Je geeft de feedback tijdens de nabespreking met de medewerker; Bij meningsverschil tussen beide beoordelaars hak jij als eerste beoordelaar de knoop door. Tweede beoordelaar Je bewaakt de tijd, geeft een seintje wanneer er nog vijf minuten te gaan zijn; Je neemt deel aan het gesprek, mits je je eigen taken niet uit het oog verliest; Je bewaakt dat de STARR-methodiek (zie bijlage 2) in het gesprek wordt gehanteerd; Je citeert de antwoorden van de medewerker zoveel mogelijk letterlijk, je bent het geweten van de beoordeling; Realiseer je dat je volledig afhankelijk bent van de schriftelijke weergave van je gesprek. De bewijsvoering van de beoordelaars is alleen datgene wat is genoteerd; Je mailt het formulier aan de kandidaat en het bestuur. Partnerschap Opleiden in de School 5
Voor het criteriumgericht interview wordt gebruik gemaakt van de STARR-methodiek. STARR staat voor: Situatie, Taak, Actie, Resultaat, Reflectie. Deze methode is tijdens de training voor beoordelaars aan bod geweest, voor informatie over deze methode zie bijlage. De beoordelaar geeft aan welke kritische handelingen in het interview aan de orde komen, daarnaast is een flexibele opstelling vereist en een spontane manier van vragen zodat het interview niet houterig of te formeel overkomt. Het is ook belangrijk voor zowel de medewerker als de beoordelaar dat men zich realiseert dat dit interview in een vastgestelde tijd plaatsvindt en dat het daarom noodzakelijk is de procedure goed te volgen en tegelijkertijd de tijd te bewaken. 3.2 Overleg beoordelaars De beoordelaars maken tijdens het overleg gebruik van de twee bronnen om te komen tot een oordeel over het al dan niet behalen van de competenties door de medewerker: het bekwaamheidsdossier en het criteriumgericht interview. De beoordelingsformulieren van de verschillende competenties en het formulier Totaalbeoordeling worden definitief ingevuld en ondertekend. De beoordelaars bespreken ook de ontwikkelingsgerichte feedback die zij aan de medewerker zullen geven. Deze feedback wordt tevens vermeld op het beoordelingsformulier. Voor het overleg tussen de beoordelaars is 15 minuten ingeruimd. De medewerker wacht tijdens dit overleg buiten de gespreksruimte. 3.3 Feedback aan de medewerker Na het overleg tussen de beoordelaars wordt de medewerker weer binnengeroepen. Hij krijgt de uitslag van de beoordeling en ontwikkelingsgerichte feedback. De feedback wordt dus zowel mondeling als schriftelijk verstrekt. 4. Na afloop van de beoordeling De medewerker ontvangt het ingevulde beoordelingsformulier via de mail. Daarnaast wordt het formulier toegestuurd aan het bestuur. Het bestuur stelt vervolgens formeel per medewerker het behaalde resultaat vast en zorgt ervoor dat de medewerker daarvan bericht krijgt. Partnerschap Opleiden in de School 6
Bijlage 1: Regels voor ontwikkelingsgerichte feedback in het kader van de beoordeling Een van de prestatie-indicatoren voor beoordelaars is het kunnen geven van ontwikkelingsgerichte feedback (zowel mondeling als schriftelijk). Feedback geven is in feite informatie verstrekken over hoe iemands gedrag wordt waargenomen, begrepen en ervaren. Het effect van feedback kan zijn dat iemand zijn gedrag versterkt of verandert. Het geven van ontwikkelingsgerichte feedback is constructief van aard. Het heeft betrekking op het leerproces van de medewerker en wel op het toekomstige leren. Bij ontwikkelingsgerichte feedback in het kader van de beoordeling gaat het erom: aan te geven waar de medewerker nu staat in zijn competentie-ontwikkeling; de discrepanties te formuleren t.o.v. het vereiste competentieniveau; verbeterpunten te formuleren; deze aan de medewerker mondeling en schriftelijk terug te geven. Regels Geef zowel positieve als negatieve feedback Formuleer eerst wat de medewerker beheerst en vervolgens wat er nog ontbreekt. Beschrijf waargenomen gedrag of resultaat van gedrag Beperk je tot de competentie die nu centraal staat. Leg vanuit het waargenomen gedrag en/of het aangeleverde bewijs de relatie met de prestatie-indicatoren van deze competentie. Wees zo specifiek en concreet mogelijk Door specifiek en concreet te zijn voorkom je misverstanden en weerstand. Leg wel de relatie met de (abstracter geformuleerde) competentie. Zorg dat de feedback actueel is Feedback werkt het beste als de tijd tussen de waarneming en de feedback zo kort mogelijk is. Op deze manier kan de medewerker zich nog het gedrag herinneren. Formuleer in de wij-vorm Spreek vanuit jezelf, je eigen feitelijke waarneming. Omdat het om twee beoordelaars gaat, in de wij-vorm. Formuleer verbeterpunten Formuleer per competentie. Relateer de verbeterpunten aan de prestatie-indicatoren van deze competentie. Geef eventueel hints over de acties die de medewerker kan ondernemen. Geef (bij mondelinge feedback) ruimte voor reacties Ga niet in discussie maar vraag of de informatie duidelijk was. Je kunt eventueel de medewerker vragen de hem bereikte informatie samen te vatten. Partnerschap Opleiden in de School 7
Bijlage 2: STARR Een voorbeeld van een criteriumgericht interview is het STARR interview. Dit is een methode die dient om zowel het gedrag als de beroepssituatie waarin het gedrag zich heeft voorgedaan duidelijk en scherp in beeld te brengen. STARR staat voor Situatie, Taak, Actie, Resultaat en Reflectie. Situatie (Wat was de situatie/context?) De beoordelaar krijgt een duidelijk beeld van de situatie waarin de door de medewerker ingebrachte (deel)competenties verworven zijn. Je zou de situatie eigenlijk als een foto voor je moeten kunnen zien. Taak (Wat was je doel/taak?) In deze situatie was er een taak die uitgevoerd diende te worden, een lesdoel, een organisatiedoel. Wat waren de feitelijke taken, doelstellingen? Welke rol had de medewerker hierin? Opereerde hij/zij helemaal zelfstandig? Actie (Wat heb je concreet gedaan/gezegd?) Dit geeft een beeld van het gedrag, dus wat de medewerker effectief gedaan heeft in deze situatie, tevens de reden(en) waarom de medewerker de taak zo heeft uitgevoerd. Resultaat (Wat was hiervan het resultaat?) Nu komt het effect van de actie aan bod, niet alleen voor de medewerker zelf, maar vooral voor de leerlingen, de collega s of anderen en was de actie geslaagd? Reflectie (Was je tevreden en wat heb je ervan geleerd m.b.t. de competentie?) Hoe kijkt de medewerker terug op voorgaande fases? Wat is de opbrengst t.a.v. de kritische handeling? Wat zou hij een volgende keer zeker weer doen en wat zou hij anders doen. STARR vragen zijn open vragen: Wat was er precies aan de hand? Wie waren erbij betrokken? Hoe kwam dat? Wat was je rol daarbij? Wie was er verantwoordelijk? Waarom heb je het op deze manier aangepakt? Wat was het resultaat? Vind je dat je effectief hebt gehandeld?. Denk aan concretiseringvragen, doorvragen. De valkuilen zijn: Suggestief bevragen, een voorbeeld: Je bent toen toch wel opgetreden? of Dus toen liep het eigenlijk uit de hand. Je verliezen in details, een voorbeeld: Waar stond je toen je dit deed? of Waarom heb je dit onderwerp voor de discussie gekozen? Geen concrete voorbeelden vragen, te vlak blijven. Alleen resultaatgericht. Een voorbeeld: Dan adviseer ik je om dit te gaan doen. Hypothetische vragen: Wat zou je doen als Dit mag niet. Alleen eerder vertoond gedrag is voorspeller van toekomstig gedrag! Partnerschap Opleiden in de School 8
Bijlage 3: Valkuilen voor beoordelaars Beoordelen is mensenwerk en daarom kunnen er weleens fouten optreden. Om deze zoveel mogelijk te beperken noemen we hier een aantal aspecten waar assessoren bedacht op moeten zijn. Een overzicht van gangbare beoordelingsfouten Eerste-indruk-effect Een veelvoorkomende beoordelingsfout. Men heeft weleens vastgesteld dat in de eerste seconden van een sollicitatiegesprek de beslissing feitelijk al genomen wordt en dat de rest van het gesprek slechts dient om aan argumenten te komen. Een handdruk kan bepalend zijn. Halo-effect Eén bevinding straalt af op de gehele persoonlijkheid. Op grond van een goed geschreven en vormgegeven sollicitatiebrief gelooft de beoordelaar dat de kandidaat intelligent, zorgvuldig en krachtig is. De term halo-effect wordt vaak uitsluitend in positieve zin gebruikt, maar soms ook in negatieve zin (iemand stottert en men gelooft dat hij/zij langzaam en onhandig is). In het laatste geval spreekt men ook wel van een horn-effect. Beoordelingsfouten door sympathie, gelijkenis of associatie Bij gelijkenis of sympathie wordt positiever beoordeeld dan bij ongelijkenis of antipathie. Bijvoorbeeld de beoordelaar die verneemt dat de beoordeelde uit dezelfde streek komt en fan is van dezelfde voetbalclub, geeft de kandidaat een streepje voor. Of de beoordeelde wordt geconfronteerd met een diametraal tegengestelde persoonlijkheid en oordeelt daardoor negatief. Deze beoordelingsfout kan versterkt worden door effecten in de communicatie (extreem voorbeeld: over voetbal praten i.p.v. zicht proberen te krijgen op de mate waarin aan de selectiecriteria wordt voldaan). Beoordelingsfouten kunnen ook optreden als de beoordeelde in enig opzicht lijkt op iemand die de beoordelaar kent. Aldus kunnen gemakkelijk eigenschappen erbij geassocieerd worden. Zij doet me denken aan.... Contrast- of sequentie-effecten Iemand wordt beoordeeld in vergelijking met een bepaalde andere persoon (bijvoorbeeld de vorige kandidaat, of een andere kandidaat uit de groep), waardoor de afstand tussen deze personen groter wordt dan deze in feite is. Projectie Een bepaalde eigenschap van de beoordelaar wordt geprojecteerd in de beoordeelde. De beoordelaar is bijvoorbeeld faalangstig en ziet bij elke kandidaat tekenen van faalangst. Stereotypering en vooroordelen Op grond van een stereotiep beeld van een bepaalde groep (bijvoorbeeld buitenlanders, ouderen, vrouwen) veronderstelt de beoordelaar dat een individuele kandidaat bepaalde eigenschappen heeft. Impliciete persoonlijkheden Men gelooft dat bepaalde eigenschappen vaak/altijd samengaan en beoordeelt navenant. Iemand wordt bevoordeeld ingeschat als een goede verkoper omdat zij extravert is. Of iemand wordt beoordeeld als zorgvuldig, omdat hij langzaam is. Attributiefout Het gedrag van de beoordeelde wordt toegeschreven (geattribueerd) aan veronderstelde eigenschappen, terwijl de invloed van situationele factoren wordt veronachtzaamd. Partnerschap Opleiden in de School 9
Contaminatie-effect De beoordelaar heeft al dan niet bewust een verborgen agenda omdat hij belang heeft bij bepaalde uitkomsten. Signifisch effect Beoordelaars kunnen verschillend denken over de beoordelingstaak (Moerkerke en Dochy, 1995). Er zijn verschillen over wat kwaliteit is, wat onder goed onderwijs verstaan wordt. De intersubjectiviteit wordt aanzienlijk verminderd door de verschillen in meningen/opvattingen te bespreken en vanuit een gemeenschappelijker kader te beoordelen De volgende vier fouten horen tot de verdelingsfouten: Strengheid ( severity ) Men beoordeelt te streng. Men beoordeelt gemiddeld laag; veel negatieve, weinig positieve beoordelingen). Mildheid of toegeeflijkheid ( leniency ) Men beoordeelt te soepel. Men beoordeelt gemiddeld hoog; veel positieve, weinig negatieve beoordelingen). Verhoudingsfouten Men hanteert bijvoorbeeld bij verschillende groepen beoordeelden een vaste verhouding tussen positief en negatief. Zoals bij de wet van Posthumus : op bepaalde scholen krijgt in elke klas 1/4 of 1/3 van de leerlingen een onvoldoende. Centrale tendentie De beoordelaar geeft veel gemiddelde beoordelingen en weinig of geen extreme. Dit alles betekent dat beoordelaars zichzelf en elkaar moeten ondersteunen bij het beoordelen, dit kan o.a. door: De beoordelingswijze zodanig in te richten dat de waarborgen voor een objectieve en op waarheid beruste beoordeling aanwezig zijn. Het beoordelingsproces zodanig in te richten dat beoordelingsfouten zoveel mogelijk voorkomen worden. De beoordeling in tweetallen te laten uitvoeren. Een kritische houding van de beoordelaars, zodat ze alert zijn op mogelijke fouten in de waarneming. Partnerschap Opleiden in de School 10
Bijlage 4: Het analyseformulier Analyseformulier Titel bewijsstuk 1: Korte omschrijving van het bewijsmateriaal Geef aan waarom dit bewijsmateriaal aantoont dat je voldoet aan een of meerdere prestatieindicatoren bij deze kritische beroepshandeling. Wat zijn je conclusies met het oog op de toekomst? Bijbehorende documenten Referentie(s) Partnerschap Opleiden in de School 11