Richtlijn multisource feedback voor de aios

Transcriptie

1 Tijdschrift voor Medisch Onderwijs, april 2010 Vol. 29, nr. 2, Suppl. 1, p Richtlijn multisource feedback voor de aios M.A. Horsman, Th.J. ten Cate Voorwoord De opdracht tot het ontwerpen van een In VIVO Richtlijn multisource feedback (MSF) is verleend aan het In VIVO kernteam Onderwijs- en Opleidingsregio (OOR) Utrecht, in samenwerking met OOR Amsterdam/AMC. In de taakverdeling is de Richtlijn ontwikkeld en geschreven door drs. Manon Horsman en prof. dr. Olle ten Cate (beiden UMC Utrecht), en is de toepassing ervan in diverse stadia uitgevoerd met medewerking van specialisten en aios van de kernteams Utrecht en Amsterdam/AMC. Bijzondere dank is verschuldigd aan dr. Joost Frenkel, dr. Anjoke Huisjes, prof. dr. Gerard Visser, dr. Gert van Enk en prof. dr. Maas-Jan Heineman, en aan drs. Lars van de Plank voor de vervaardiging van het programma Multisourcefeedback.nl. De auteurs hebben gepoogd met deze richtlijn een onderbouwing te geven van de opzet van de procedure en van de gemaakte keuzes met het doel de procedure inzichtelijk te maken. De MSF procedure die wordt geadviseerd in deze Richtlijn, en is onderzocht in de opleidingsregio s Utrecht en Amsterdam, heeft als beoogd doel aios van verschillende specialismen op gezette momenten tijdens de opleiding bruikbare feedback te geven over hun functioneren. Met deze feedback vanuit verschillende perspectieven kan zowel de aios als opleider meer inzicht verkrijgen in wat al goed gaat en op welke punten verbetering nodig is. Het zal belangrijk zijn de Richtlijn na twee tot vier jaar ervaring met MSF te herzien. Status van de Richtlijn Deze Richtlijn is ontwikkeld in het kader van het In VIVO-project, 1) gebaseerd op literatuur onderzoek en beperkt onderzoek in de praktijk. De Richtlijn heeft de status van een advies aan opleiders en opleidingsteams. Multisource feedback (MSF) procedures zijn niet voorgeschreven in het Kaderbesluit Centraal College Medische Specialismen (CCMS) 2009, maar worden wel sterk aangeraden. Omdat met MSF nog maar op beperkte schaal ervaring bestaat in Nederland, is het gewenst op basis van ervaringen en onderzoek de Richtlijn te blijven ontwikkelen. Een conclusie die getrokken is op basis van het werk dat aan deze Richtlijn is voorafgegaan, is dat MSF op enige schaal van betekenis niet zonder elektronische gegevensverwerking kan. Om deze reden is door de auteurs een programma ontwikkeld waarmee de in deze Richtlijn beschreven methode kan worden uitgevoerd. 2) Adviezen over MSF zonder dit of een vergelijkbaar programma zijn naar het oordeel van de auteurs niet zinvol, want dan is MSF te arbeidsintensief, te 1) zie 2) zie: S3

2 Richtlijn multisource feedback voor de aios M.A. Horsman en Th.J. ten Cate privacygevoelig en te administratief voor een praktische uitvoering. Hoewel de Richtlijn los staat van dit programma, wordt op een aantal plaatsen in de verantwoording eraan gerefereerd en is een beschrijvende passage eraan gewijd. Inleiding De beoordeling van artsen in opleiding tot specialist (aios) is te verdelen in drie benaderingen van hun competentie en te vertalen in drie vragen: Wat weet de arts? Het antwoord op deze vraag is goed te ontlenen aan de resultaten van schriftelijke of computer gestuurde toetsing, al of niet in de vorm van een voortgangs - meting. Wat kan de arts? Voor deze vraag leent zich de directe observatie van handelen, in zoveel uiteenlopende situaties als nodig is. Dat kan in de dagelijkse praktijk via Korte Praktijk Beoordelingen (KPB) en in gearrangeerde omstandigheden met simulatietechnieken zoals de Objective Structured Clinical Examination (OSCE) en Objective Structured Assessment of Technical Skills (OSATS). Ook wordt hiertoe de beoordeling van producten zoals een status, pro - tocol of wetenschappelijk verslag gerekend. Hoe functioneert de arts? Deze vraag wordt beantwoord door middel van een evaluatie van het functioneren over een periode in het verleden (week tot enkele maanden). Meerdere beoordelaars (ook wel bronnen genoemd) zijn hiervoor nodig, omdat zij onderling verschillen in hun oordeel en omdat meerdere perspectieven uit het werkveld nodig zijn voor een adequaat beeld van het functioneren. Daarom wordt gesproken van multisource feedback (MSF) of 360 graden beoordeling. Deze feedback heeft primair een formatief doel: de resultaten van de beoordelingen worden door de aios gebruikt voor reflectie en voor het opstellen van leerdoelen en van een plan van aanpak met als uiteindelijk doel verbetering van het functioneren. Het signaleren van niet goed functionerende artsen kan een secundair meer summatief doel van de feedback vormen. De MSF procedure is bedoeld om te worden toegepast in combinatie met het voortgangsgesprek dat de opleider heeft met de aios. De MSF rapportage en het voortgangsgesprek zijn complementair: zonder gesprek mist de rapportage de kracht van een afgewogen synthese met afspraken over de toekomst, en zonder goede documentatie mist het voortgangsgesprek diepgang. Beide hebben elkaar nodig. Geschikte beoordelaars (bronnen) Voor het geven van MSF wordt onderscheid gemaakt in drie groepen beoor - delaars of bronnen: Collegae: supervisor, staflid (dienst), opleider, consulent, coassistent, aios (peers), aios in hogere opleidingsjaren of in aanpalende disciplines waarmee frequent contact bestaat, arts niet in opleiding tot specialist (anios), huisarts/verwijzend arts. Andere werkers in de zorg: verpleeg kundige, verpleegkundig teamleider/ver pleeg - kundige van management, gespecialiseerd verpleegkundige, verloskundige, paramedicus (fysiotherapeut, diëtist), psycholoog, pedagogisch medewerker, medisch secretaresse, maatschappelijk werker, nurse practitioner, physician assistant. Patiënten: volwassenen vanaf 16 jaar of ouders van kinderen jonger dan 16 jaar. S4

3 Richtlijn multisource feedback voor de aios M.A. Horsman en Th.J. ten Cate Tabel 1. Categorieën beoordelaars en de CanMEDS competentiegebieden die zij kunnen beoordelen. Mogelijke bronnen Competenties CanMEDS Collegae Andere werkers in de zorg Patiënten Medisch handelen ++ ± Communicatie Professionaliteit Organisatie ± Samenwerking Kennis en wetenschap ++ + Maatschappelijk handelen ± ± ++ zeer geschikte bron; + geschikte bron; ± minder geschikte bron; ongeschikte bron. Te beoordelen competenties Tabel 1 geeft de categorieën beoordelaars weer die geschikt zijn voor het beoordelen van de diverse competentiegebieden, gerelateerd aan het CanMEDS model. Het CanMEDS competentiegebied Maatschappelijk handelen is minder makkelijk of geschikt voor MSF beoordelingen en is daarom buiten beschouwing gelaten. 3) Selectie en benadering van beoordelaars Geadviseerd wordt de aios zelf verantwoordelijk te laten zijn voor het selecteren van beoordelaars en voor het toesturen van de vragenlijsten. De literatuur geeft aan dat hier weinig bezwaar tegen is. Dat kan bijvoorbeeld via het programma Multisourcefeedback.nl. Per groep beoordelaars wordt het volgende minimum aantal beoordelaars geadviseerd: Collegae: minimaal zes beoordelaars, waaronder twee stafleden van het opleidingsteam (in ieder geval de huidige supervisor), twee peers (aios in zelfde fase van de opleiding). Overige medische collegae zijn meestal coassistenten en collegae met wie tijdens een dienst (weekend/week) is samengewerkt. Andere werkers in de zorg: minimaal zes beoordelaars, waaronder vier verpleegkundigen. Bij voorkeur geen medische secretaresses of andere beoordelaars die weinig aanwezig zijn bij patiëntenzorg. Patiënten: minimaal tien beoordelaars. Bij voorkeur een gemengde patiëntenpopulatie van poliklinische en klinische patiënten en minimaal twee patiënten waarmee meerdere contacten zijn geweest. In het programma Multisourcefeedback.nl worden de vragenlijsten van patiënten anoniem verwerkt. Beoordelaars in de medische en niet medische groep wordt wel gevraagd naar hun naam en beroepsgroep, zodat de opleider zo nodig mon - deling toelichting kan vragen aan de betreffende beoordelaar. De aios krijgt in 3) De NVMO Reviewcommissie Richtlijnen is van oordeel dat dit competentiegebied wellicht wel kan worden meegenomen. Bij een herziening van deze Richtlijn kan hiermee rekening gehouden worden. S5

4 Richtlijn multisource feedback voor de aios M.A. Horsman en Th.J. ten Cate het MSF programma alleen de gemiddelde scores per groep beoordelaars te zien en geen individuele scores van collegae. De geschreven opmerkingen worden onherleidbaar gemaakt. Maar anonimiteit heeft ook nadelen. Het past niet binnen een opleidingsklimaat waarin iedereen leert verantwoording af te leggen over oordelen en beslissingen. Anderzijds bestaat de kans dat bij niet anonieme enquêtering men zich minder vrij kan voelen in het geven van een oordeel. Op dit punt zal de Richtlijn in de toekomst nader geëvalueerd moeten worden. Frequentie en tijdstip beoordeling Geadviseerd wordt het tijdstip van een MSF procedure aan te passen aan het opleidingsschema. Geadviseerd wordt de MSF procedure ieder opleidingsjaar éénmaal uit te voeren, maar bij voorkeur niet bij stages die korter zijn dan drie maanden. Er is beperkte maar goede ervaring opgedaan met een collectieve jaarlijkse MSF procedure, met het beschreven MSF programma voor alle aios van een opleiding, en met de planning van alle voortgangsgesprekken binnen één maand. Op indicatie kan de MSF procedure eventueel na een half jaar worden herhaald. De vragenlijsten Voor iedere groep beoordelaars is een vragenlijst ontworpen, gebaseerd op literatuuronderzoek en op overleg met experts. Naast gesloten vragen over de verschillende competenties wordt bij alle vragenlijsten gevraagd naar tips en aanwijzingen die het functioneren van de arts kunnen verbeteren. Tevens wordt gevraagd naar de periode waarover zij de aios beoordelen; aan patiënten wordt gevraagd het aantal contacten dat zij met de aios hebben gehad te vermelden. Voor pediatrische patiënten is de vragenlijst enigszins aangepast en wanneer kinderen te jong zijn om de vragen te begrijpen, wordt gevraagd naar de mening van de ouders. Mutatis mutandis kunnen de patiëntenvragenlijsten worden ingevuld door begeleiders van patiënten die om andere redenen niet in staat zijn de vragenlijst in te vullen. De vragenlijst is tevens beschikbaar in het Engels. Vragenlijsten voor niet-westerse allochtone patiënten zijn in ontwikkeling. Logistiek en verwerking van gegevens De hoeveelheid gegevens die verwerkt moet worden voor een MSF procedure is groot. De auteurs beperken zich daarom tot de beschrijving van het ontwikkelde elektronische programma. Met het webbased programma multisourcefeedback.nl kan de opleider vanaf iedere internetaansluiting een feedback procedure opstarten door adressen van de betreffende aios in te voeren en voor een voortgangsgesprek een uiterste datum vast te leggen, waarop de procedure moet zijn afgerond. Bij voorkeur dient een MSF-ronde drie tot zes maanden vóór deze datum te worden gestart, zodat er voldoende tijd is voor de beoordelingen. De aios krijgt vervolgens per instructie om beoordelaars uit te nodigen een vragenlijst in te vullen over het functioneren door hun adres in te voeren. De aios is verantwoordelijk voor de medewerking van voldoende en zo relevant mogelijke beoordelaars (totaal minimaal 22 vragenlijsten). In het programma kan de voortgang van de procedure bekeken worden door zowel aios als opleider en kan een herinnering verstuurd worden aan de beoordelaars. Eén week vóór de datum van het voortgangsgesprek wordt de feedbackronde automatisch afgesloten en wordt een samenvattend rapport opgemaakt in het programma. Hierin worden de gemiddelde scores per vraag, per competentiegebied en per groep beoordelaars weergegeven, evenals S6

5 Richtlijn multisource feedback voor de aios M.A. Horsman en Th.J. ten Cate een overzicht van de opmerkingen die door de beoordelaars zijn gemaakt. Deze resultaten zijn bedoeld om door de opleider met de aios te bespreken in het daaropvolgende voortgangsgesprek. Samen vattingen van voltooide feedbackprocedures blijven gedurende de opleiding bewaard in het programma. Implementatie van multisource feedback In de verantwoording zijn de voorwaarden beschreven voor een goede invoering van het proces en worden mogelijke weerstanden besproken. MSF is nog betrekkelijk onbekend in de vervolgopleidingen en voor een succesvolle implementatie is het essentieel dat stafleden en medewerkers bekend zijn met het principe, zodat het uitzetten van de formulieren niet als een verrassing komt. De weergegeven tekst in Box 1 kan hiervoor gehanteerd worden om te versturen en meer informatie is te downloaden van Daarnaast is training van opleiders in het geven en bespreken van feedback met behulp van MSF nuttig. Dit kan geïntegreerd worden in cursussen over het opleiden en opleidingsvernieuwingen. Is men bekend met de MSF procedure, dan is de inspanning betrekkelijk gering en zeer gespreid over alle betrokkenen. De administratieve inspanning is minimaal. Box 1. Concepttekst voor een folder of rondschrijven. Wat is multisource feedback? Artsen in opleiding tot specialist (aios) worden tijdens hun opleiding beoordeeld op wat zij weten, wat zij kunnen en hoe zij functioneren. Het functioneren van een aios kan het beste beoordeeld worden door mensen met wie hij/zij samenwerkt: collega-artsen, andere collegae in de zorg en patiënten. Dit proces van beoordeling door verschillende beoordelaars wordt multisource feedback (MSF) genoemd. Eénmaal per jaar worden artsen, andere werkers in de zorg en patiënten door de aios gevraagd een vragenlijst in te vullen. De vragenlijsten worden anoniem verwerkt: de aios krijgt de antwoorden niet te zien, alleen de gemiddelde scores van de bevraagde collegae en patiënten. Bij een negatieve score op een bepaald gebied zal de opleider voor verduidelijking eventueel contact opnemen met degenen die een negatieve score hebben gegeven. De aios krijgt door MSF een beeld van zijn/haar sterke en minder sterke kanten en kan dan zo nodig werken aan verbetering. Voor meer informatie over het doel en werkwijze van MSF: zie en de Richtlijn Multisource Feedback (Tijdschrift voor Medisch Onderwijs 2010;29 (2); suppl. 1). S7

6 Tijdschrift voor Medisch Onderwijs, april 2010 Vol. 29, nr. 2, Suppl. 1, p Achtergronden bij de Richtlijn multisource feedback voor de aios 1. Achtergrond multisource feedback De medisch specialist van de 21ste eeuw wordt geacht over verschillende competenties te beschikken, zoals bijvoorbeeld opgesteld door de Accreditation Council for Graduate Medical Education (ACGME), 4) Royal College of Physicians and Surgeons of Canada CanMEDS roles, 5) of United Kingdom s Best Medical Practice frame - work. 6) In Nederland wordt in de medische vervolgopleidingen gebruik gemaakt van de competenties die gebaseerd zijn op de CanMEDS rollen. De noodzaak om specialisten in opleiding niet alleen op hun kennis maar op alle competentiegebieden te beoordelen, heeft geleid tot de ontwikkeling van nieuwe beoordelingsmethoden, waaronder MSF. Bij deze vorm van beoordeling, in de literatuur ook wel 360 graden beoordeling genoemd, wordt zowel aan personen uit de werkomgeving als aan patiënten gevraagd feedback te geven op het functioneren van een arts die zij direct en herhaaldelijk hebben kunnen observeren. MSF is bruikbaar voor het beoordelen van competenties als professionaliteit, samenwerking en communicatie. Deze competenties kunnen niet uitsluitend door een eenmalige observatie of op een traditionele wijze worden getoetst; feedback van collegae en patiënten is onmisbaar voor een volledige beoordeling 1-2. MSF bestaat uit specifieke processen en instrumenten voor informatieverzameling, beoordeling en feedback op de werkvloer. Vragenlijsten, ontworpen om ge - gevens over specifieke gedragsaspecten (bijvoorbeeld communicatievaardigheden, professionaliteit, teamwerk) te verzamelen, worden door verschillende respondenten ingevuld over één persoon. MSF is ontstaan in het bedrijfsleven, waar de werknemers niet vaak of niet van dichtbij genoeg door de supervisor werden ge - observeerd om zinvolle feedback te kunnen ontvangen. Collegae op de werkvloer waren vaak in een betere positie om feedback over de werknemer te verstrekken. Door verschillende collegae vragenlijsten te laten invullen kon de informatie van meerdere medewerkers worden samen - gevoegd en gebruikt om feedback te ver - strekken. In het bedrijfsleven is MSF geaccepteerd omdat informatie van meerdere individuen (waarnemers) en veelvoudige beoordelaars (groepen waarnemers) wordt gebruikt en waarbij de bias die inherent is aan de beoordeling van één persoon, één perspectief (dat wil zeggen. het perspectief van de supervisor) wordt verminderd In medische settings kunnen de waarnemers (ook wel beoordelaars, respondenten of feedbackgevers genoemd) een verschillende achtergrond hebben. Te denken valt aan medische collegae (bijvoorbeeld peers aios in vergelijkbare opleidingsfase, supervisor, verwijzen de artsen, coassisten- 4) ACGME Competencies: 5) RCPSC CanMEDS Competencies: 6) GMC (UK) Good Medical Practice: S8

7 Tijdschrift voor Medisch Onderwijs, april 2010 Vol. 29, nr. 2, Suppl. 1, p Achtergronden bij de Richtlijn multisource feedback voor de aios 1. Achtergrond multisource feedback De medisch specialist van de 21ste eeuw wordt geacht over verschillende competenties te beschikken, zoals bijvoorbeeld opgesteld door de Accreditation Council for Graduate Medical Education (ACGME), 4) Royal College of Physicians and Surgeons of Canada CanMEDS roles, 5) of United Kingdom s Best Medical Practice frame - work. 6) In Nederland wordt in de medische vervolgopleidingen gebruik gemaakt van de competenties die gebaseerd zijn op de CanMEDS rollen. De noodzaak om specialisten in opleiding niet alleen op hun kennis maar op alle competentiegebieden te beoordelen, heeft geleid tot de ontwikkeling van nieuwe beoordelingsmethoden, waaronder MSF. Bij deze vorm van beoordeling, in de literatuur ook wel 360 graden beoordeling genoemd, wordt zowel aan personen uit de werkomgeving als aan patiënten gevraagd feedback te geven op het functioneren van een arts die zij direct en herhaaldelijk hebben kunnen observeren. MSF is bruikbaar voor het beoordelen van competenties als professionaliteit, samenwerking en communicatie. Deze competenties kunnen niet uitsluitend door een eenmalige observatie of op een traditionele wijze worden getoetst; feedback van collegae en patiënten is onmisbaar voor een volledige beoordeling 1-2. MSF bestaat uit specifieke processen en instrumenten voor informatieverzameling, beoordeling en feedback op de werkvloer. Vragenlijsten, ontworpen om ge - gevens over specifieke gedragsaspecten (bijvoorbeeld communicatievaardigheden, professionaliteit, teamwerk) te verzamelen, worden door verschillende respondenten ingevuld over één persoon. MSF is ontstaan in het bedrijfsleven, waar de werknemers niet vaak of niet van dichtbij genoeg door de supervisor werden ge - observeerd om zinvolle feedback te kunnen ontvangen. Collegae op de werkvloer waren vaak in een betere positie om feedback over de werknemer te verstrekken. Door verschillende collegae vragenlijsten te laten invullen kon de informatie van meerdere medewerkers worden samen - gevoegd en gebruikt om feedback te ver - strekken. In het bedrijfsleven is MSF geaccepteerd omdat informatie van meerdere individuen (waarnemers) en veelvoudige beoordelaars (groepen waarnemers) wordt gebruikt en waarbij de bias die inherent is aan de beoordeling van één persoon, één perspectief (dat wil zeggen. het perspectief van de supervisor) wordt verminderd In medische settings kunnen de waarnemers (ook wel beoordelaars, respondenten of feedbackgevers genoemd) een verschillende achtergrond hebben. Te denken valt aan medische collegae (bijvoorbeeld peers aios in vergelijkbare opleidingsfase, supervisor, verwijzen de artsen, coassisten- 4) ACGME Competencies: 5) RCPSC CanMEDS Competencies: 6) GMC (UK) Good Medical Practice: S8

8 Richtlijn multisource feedback voor de aios M.A. Horsman en Th.J. ten Cate ten), niet-medische col lega s (bijvoorbeeld verpleegkundigen, paramedici en psychologen) en patiënten en hun familieleden. Deze uit diverse (beroeps)groepen afkomstige waarnemers hebben verschillende perspectieven en observaties betreffende het handelen van artsen, afhankelijk van de context waarin zij samenwerken met de arts. Bovendien kunnen zij het functioneren van een arts vaak gedurende langere tijd observeren. MSF kan worden gebruikt in het gehele continuüm van medisch onderwijs, hoewel het grootste deel van de gepubliceerde studies zich op aios 3-7 en praktiserend specialisten richt In deze verantwoording wordt ingegaan op de belangrijkste aspecten van MSF en worden de in de Richtlijn gegeven adviezen, mede aan de hand van relevante literatuur, toegelicht. 2. Doel van de multisource feedbackprocedure De beoordeling aan de hand van gestructureerde vragenlijsten heeft als doel het verkrijgen van informatie over het functioneren van de aios op een aantal competentiegebieden, zodat hierover zinvolle feedback kan worden gegeven. In de literatuur worden zowel summatieve als formatieve doelen van MSF beschreven. Bij een summatief doel weegt de beoordeling mee voor de beslissing van het wel of niet voortzetten van de opleiding. De procedure van MSF, zoals geadviseerd in deze Richtlijn, heeft primair een formatief doel: de beoordeling zal gericht zijn op het aanzetten tot reflectie, het opstellen van doelen en het verbeteren van het functioneren. De resultaten zullen in voortgangsgesprekken worden besproken met de aios (zie hoofdstuk 13). Het secundaire doel van de procedure zal wel summatief van aard zijn: het signaleren van problematisch functionerende artsen. Wanneer een aios een onvoldoende beoordeling krijgt op meerdere competentiegebieden kan er bijvoorbeeld voor gekozen worden de aios intensiever te begeleiden en hem/haar vaker de MSF procedure te laten doorlopen. Gezondheidszorgorganisaties die een vorm van MSF hebben ontwikkeld en ingevoerd kunnen verschillende doelstellingen hebben, bijvoorbeeld de kwaliteits - verbetering van hele groepen, maar ook verbetering van het functioneren op het individuele niveau. In Alberta, Canada, bijvoorbeeld, wilde het Royal College of Physicians and Surgeons of Alberta een formatief programma voor kwaliteits - verbetering dat als eerste screening van het niveau van alle artsen zou dienen. 14 In het Verenigd Koninkrijk wilde de General Medical Council een beoordeling voor specialisten in opleiding, gebaseerd op hun omschrijving van Best Medical Practice. Zowel de Sheffield Peer Review Assessment Tool (SPRAT) 3-4 als het Preregistration House Officers Appraisal and Assessment System (PHAST) 5 zijn ontwikkeld om artsen te identificeren bij wie verbetering van het functioneren nodig is. Mini-PAT (een kortere versie van SPRAT) wordt gebruikt voor basisartsen in de eerste twee ( foundation ) jaren van hun algemene specialisatie. Hoewel het instrument bedoeld is om artsen te identificeren die ondermaats presteren, maakt het deel uit van een groter portfolio dat ontworpen is om aios te helpen leerbehoeften en doelen vast te stellen en een actieplan te maken. 6 Evans et al. suggereren dat zelfs wanneer de MSF een formatief doel heeft, het ook kan worden gebruikt om mogelijke probleemgevallen te signaleren. 15 Ook bij formatieve MSF procedures bestaat er een ethische verplichting tegenover patiënten om hen te beschermen tegen deze uitzonderingen en zo nodig actie te ondernemen. 1 Het is belangrijk het doel van de MSF procedure uit te leggen aan de beoorde- S9

9 Richtlijn multisource feedback voor de aios M.A. Horsman en Th.J. ten Cate laars die ermee moeten werken. Te verwachten valt dat beoordelaars vragenlijsten anders invullen en aios mogelijk andere beoordelaars selecteren bij het gebruik van de beoordeling voor zwaarwegende beslissingen, dan bij het gebruik voor reflectie en gedragsverbetering. Beoordelaars zullen milder zijn in hun feedback wanneer zij weten dat er veel van de beoordeling afhangt. 16 Wanneer zij er niet op vertrouwen dat de beoordeling primair voor een formatief doeleinde wordt gebruikt, zullen zij waarschijnlijk ook minder eerlijk zijn in hun geschreven opmerkingen. 1 Door beoordelaars op de hoogte te brengen van het doel van de MSF zal de motivatie tot invullen mogelijk toenemen. Bovendien kan het van belang zijn beoordelaars op de hoogte te stellen van het aantal andere beoordelaars. Op de website - feedback.nl, die wordt gebruikt voor de MSF procedure, voorgesteld in deze Richtlijn, staat informatie voor de beoordelaars. Deze informatie kan door de aios worden uitgeprint en uitgedeeld of per worden verstuurd. Tevens wordt bij de vragenlijsten voor zowel patiënten als collegae uitgelegd wat het doel van de procedure is en hoe de gegevens worden verwerkt en teruggekoppeld naar de aios. 3. Geschikte beoordelaars voor multisource feedback In bijlage I wordt een overzicht gegeven van gebruikte beoordelaars in de tot heden uitgevoerde studies over MSF in een geneeskundige setting. 7) In vrijwel alle studies wordt een onderscheid gemaakt tussen medische collegae en andere werkers in de gezondheidszorg; ook in deze Richtlijn is voor deze indeling gekozen. In Tabel 2 worden per groep voorbeelden gegeven van mogelijke beoordelaars die samenwerken met de aios en die vanuit hun perspectief een oordeel kunnen vormen over het functioneren van de aios gedurende een langere periode en in verschillende situaties. Tot nu toe hebben slechts weinig studies gebruik gemaakt van beoordelaars uit deze vier groepen. Zelfbeoordeling wordt vaak beschouwd als een van de bronnen bij 360 graden beoordelingen; vanwege de andere positie in het spectrum van informatie over het functioneren wordt deze categorie vooralsnog buiten beschouwing gelaten. Een toelichting volgt in hoofdstuk 8. Met name patiënten worden lang niet altijd betrokken in de beoordeling. Hoewel beoordelingen van de prestaties van artsen door patiënten in principe waardevol zijn, leveren ze ook een aantal problemen op. Ten eerste zijn grote aantallen beoordelingen nodig; in sommige studies wordt zelfs gesproken van 50 om een voldoende betrouwbaarheid te verkrijgen. 7 Ernstig zieke patiënten vullen de formulieren vaak niet in, en diegenen die wel invullen geven vaak een lagere beoordeling dan matig zieke patiënten. Verder kunnen patiënten niet altijd goed onderscheid maken tussen verschillende aspecten van klinisch handelen en geven ze vaak hoge beoordelingen. Deze beperkingen maken het lastig de patiënt als enige bron te gebruiken. 17 Toch kan het perspectief van patiënten in dit tijdperk van patiëntgerichte zorg niet meer buiten beschouwing worden gelaten. Patiënten, de doelgroep van de zorg en het medisch handelen, vormen een essentiële bron voor het beoordelen van de omgang met patiënten door aios. Problemen of conflic- 7) Met bronnen en beoordelaars wordt hetzelfde bedoeld, voor de leesbaarheid worden beide termen afwisselend gebruikt. S10

10 Richtlijn multisource feedback voor de aios M.A. Horsman en Th.J. ten Cate Tabel 2. Categorieën beoordelaars. 8) Medische collegae Andere werkers Patiënten Zelfbeoordeling in de zorg Supervisor Verpleegkundigen Patiënten en kinderen (zie hoofdstuk 8) (aan het bed, team- ouder dan 15 jaar Staflid (dienst) leider, hoofd, gespecialiseerd, SEH) Ouders van patiëntjes Opleider jonger dan 16 jaar Verloskundige Coassistent Begeleiders bij patiënten Physician assistant die zelf de vragenlijsten Aios (peers) niet kunnen invullen Nurse practitioner Aios (senior) Operatieassistent Aios van een aanpalend specialisme Paramedicus Anios Consulent Huisarts/ verwijzend arts Maatschappelijk werker Psycholoog Secretaresse ten tussen artsen en patiënten doen zich vaak voor op het gebied van communicatie en professionaliteit. Daarnaast blijkt de bereidheid tot medewerking aan het geven van feedback aan artsen groot te zijn In géén van de gevonden studies werd aan de partners van patiënten gevraagd om het functioneren van artsen te beoordelen. In studies op het gebied van de Kindergeneeskunde worden wel ouders van patiënten ondervraagd, er wordt echter niet beschreven bij welke leeftijdscategorie van patiënten. 11 Kinderen in de leeftijd van 12 tot 16 jaar hebben juridische zeggenschap volgens de Wet op de Ge nees kundige Behandelingsovereenkomst (WGBO), maar worden in de bestaande MSF procedures niet gevraagd om hun mening. Crossley et al. verrichtten in het Verenigd Koninkrijk een studie naar de haalbaarheid van de beoordeling van het functioneren van kinderartsen door kinderen en/of hun ouders. 18 Zij ontwikkelden verschillende vragenlijsten over de niet-medische aspecten van het functioneren van kinderartsen, geschikt gemaakt voor jonge kinderen (7-11 jr.), oudere kinderen (11-16 jr.) en vol- 8) Voorbeelden van beoordelaars o.b.v. literatuur en uitkomsten van InVIVO Focus-bijeenkomst dd Verslag focusbijeenkomst: implementatie verslag open-space sessies. S11

11 Richtlijn multisource feedback voor de aios M.A. Horsman en Th.J. ten Cate wassenen (> 16 jr.). Bepaling van de haalbaarheid bestond onder andere uit het bepalen van het benodigd aantal beoordelaars voor een betrouwbaar oordeel. Uit de analyses van de beoordelingen van 352 arts-patiënt interacties bleek dat 15 beoordelaars ouder dan 16 jaar voldoende zijn voor een betrouwbaar oordeel. Bij beoordeling door kinderen jonger dan 16 jaar zouden meer dan 30 beoordelaars nodig zijn. Aangezien ouders vrijwel altijd aanwezig zijn bij het contact tussen kinderarts en patiënt, werd geconcludeerd dat ouders een geverifieerde en betrouwbare bron zijn voor het beoordelen van de communicatie over en weer. Wij adviseren in de Kindergeneeskunde kinderen ouder dan 16 jaar en ouders en/of verzorgers van kinderen tot 16 jaar te kiezen als beoordelaars. Mutatis mutandis kan dat ook gelden voor begeleiders van patiënten die om andere redenen de vragenlijst niet kunnen invullen. Het meeste onderzoek is verricht naar de validiteit en betrouwbaarheid van de beoordeling door collegae van dezelfde discipline of uit hetzelfde opleidingsjaar, peer assessment genoemd Van beoordelingen door peers is aangetoond dat ze consistent zijn, onafhankelijk van de selectiemethode van beoordelaars. De beoordelingen zijn wel afhankelijk van vertrouwen en vereisen een grote aandacht voor veiligheid van gegevens, anders kunnen ze een ondermijnende, destructieve en verdelende werking hebben. 17 Voor beoordelingen door opleiders en stafleden die supervisie bieden aan aios worden vergelijkbare resultaten beschreven. 21 In de groep medische collegae blijken consulenten en verwijzende artsen vaak minder goed zicht te hebben op het functioneren van aios. 12 Wat betreft andere werkers in de zorg worden verpleegkundigen, verloskundigen, psychologen en paramedici beschreven in de literatuur. Vooral in de eerste procedures voor MSF die zijn ontwikkeld, werden verpleegkundigen nog maar weinig betrokken. Eén van de redenen hiervoor was dat artsen (in opleiding) moeite zouden hebben verpleegkundigen te accepteren als geloofwaardige bron voor een gefundeerde evaluatie van hun prestaties. 22 Beoordelingen door verpleegkundigen kunnen echter waardevol zijn gezien de nauwe samenwerking op vooral verpleegafdelingen, en zijn voldoende betrouwbaar bij zes tot tien personen De beoordelingen blijken goed te correleren met de beoordeling door patiënten en opleiders op het gebied van inter-persoonlijke vaardigheden. 7 Uit meerdere studies blijkt dat medische secretaresses geen geschikte bron te zijn voor het beoordelen van het functioneren van aios, aangezien zij de arts niet meemaken in de spreek - kamer en niet direct het contact met patiënten kunnen observeren. Geadviseerd wordt de volgende beoordelaars te laten deelnemen aan de MSF: Medische collegae: supervisor, staflid (dienst), opleider, consulent, coassistent, aios (peers), aios in hogere opleidings - jaren, anios, huisarts/verwijzend arts. Andere werkers in de zorg: verpleeg - kundige (aan het bed), verpleegkundig teamleider/manager, gespecialiseerd ver - pleegkundige, verloskundige, physician assistant, nurse practitioner, paramedicus (fysiotherapeut, diëtist), psycholoog, pedagogisch medewerker, maatschappelijk werker. Patiënten: liefst na meerdere contacten met de aios en alleen in bepaalde settings (op IC bijvoorbeeld minder haalbaar). Bij Kindergeneeskunde: kinderen vanaf 16 jaar en ouders van patiënten < 16 jaar. In hoofdstuk 6 wordt nader ingegaan op bovenstaande criteria voor het selecteren van geschikte beoordelaars. S12

12 Richtlijn multisource feedback voor de aios M.A. Horsman en Th.J. ten Cate 4. Gewenst aantal beoordelaars Het vereiste aantal beoordelingen per groep beoordelaars voor het verkrijgen van voldoende betrouwbare en valide gegevens is internationaal uitgebreid onderzocht. Het benodigde aantal beoordelingen is over het algemeen gebaseerd op de haalbaarheid, het doel van de beoordeling (formatief versus summatief) en op de psychometrische kenmerken die gewenst zijn. 1 Wood et al. beschrijven dat het benodigde aantal beoordelaars deels gerelateerd is aan de mogelijkheid van beoordelingsfouten of mate van bias. Het gebruik van beoordelingen door meerdere beoordelaars vermindert de mogelijkheid van bias voor een deel vanzelf, omdat men niet afhankelijk is van één enkele beoordeling. De informatierijkheid van de feedback zal toenemen naarmate meerdere soorten bronnen worden gevraagd om feedback. De vraag blijft echter hoeveel beoordelaars per peiling nodig zijn om de kans op een onjuiste, niet representatieve beoordeling te minimaliseren. 25 In veel MSF studies is dan ook de generaliseerbaarheid van vragenlijsten onderzocht. Hierbij maakt men een schatting van de betrouwbaarheid van verschillende combinaties van aantallen beoordelaars en aantallen vragen door het aantal beoordelaars te variëren. Opzet van het merendeel van deze studies was het aantonen van het benodigde aantal beoordelaars voor het behalen van een generaliseerbaarheidscoëfficiënt (Ep 2 ) van 0.7 of meer Deze waarde wordt in zowel het bedrijfsleven als in de medische settings als voldoende gezien en houdt in dat er 70% kans is dat verschillen in scores een daadwerkelijk verschil tussen artsen aantonen, in plaats van verschillen tussen beoordelaars. Of anders gezegd: er is 70% kans op reproduceerbare gegevens bij een herhaalde meting. Voor de volledigheid wordt een aantal van deze studies hier genoemd. Ramsey et al. analyseerden 3005 vragenlijsten met betrekking tot MSF van 187 artsen. Tien tot elf reacties van collega-artsen waren noodzakelijk om een generaliseerbaarheidcoëfficiënt van 0.7 te bereiken. 20 Bij beoordeling van dezelfde groep, maar dan door verpleegkundigen, bleek een aantal van 1015 nodig om voldoende generaliseerbare gegevens op te leveren. 22 Butterfield & Mazzaferri schatten in 1991 dat slechts vijf of zes verpleegkundigen een representatief beeld van elke aios konden verstrekken. 27 Woolliscroft et al. (1994) hadden meer teleurstellende resultaten. Zij concludeerden dat vijf tot tien stafleden nodig zouden zijn voor een representatieve beoordeling van aios op interpersoonlijke en professionele kwaliteiten. Het benodigde aantal verpleegkundigen was echter 10 tot 20, en voor patiënten bedroeg het aantal zelfs meer dan Ramsey en Wenrich suggereren in 1999 dat totaal zeven tot twaalf beoordelaars nodig zijn voor betrouwbare feedback over prestaties. 28 Dit aantal varieert afhankelijk van het te toetsen domein of competentiegebied; bij inter-persoonlijke vaardigheden en de competentie professionaliteit zijn bijvoorbeeld meer beoordelaars nodig. 25 Voor de MSF in het kader van het Canadese herregistratiesysteem voor medisch specialisten, Physician Achievement Re view, wordt gebruik gemaakt van tien medische collegae, tien andere werkers in de zorg en 25 patiënten Zie Bijlage I van deze Richtlijn voor het aantal benodigde beoordelingen per groep beoordelaars (een selectie van verrichte studies naar MSF). Generaliseerbaarheidstudies zijn verricht om het aantal beoordelaars te bepalen dat nodig is om op betrouwbare wijze problematisch functionerende artsen te kunnen signaleren, ofwel te gebruiken als summatieve beoordelingsmethode. Davies et al. toonden in 2005 op basis van de generaliseerbaar heidstheorie aan dat bij S13

13 Richtlijn multisource feedback voor de aios M.A. Horsman en Th.J. ten Cate gebruik van SPRAT voor kinderartsen in opleiding, vier beoordelaars die 24 vragen beantwoorden voldoende zijn om vast te kunnen stellen of artsen wel of niet slecht functioneren. Dit is volgens de auteurs vooral praktisch in bijvoorbeeld de Huisartsgeneeskunde, waar vaak weinig beoordelaars beschikbaar zijn. Zij geven wel aan dat voor het aantonen van grensgevallen meer beoordelaars nodig zijn. Over het algemeen geldt dat wanneer een summatief doel wordt nagestreefd er meer beoordelaars nodig zijn dan bij een formatief doel van de procedure. 4 De gevonden minimaal benodigde aantallen beoordelaars lopen sterk uiteen tussen de verschillende studies, afhankelijk van de inhoud, het doel en de lengte van de vragenlijst alsmede van de setting en mate van training van beoordelaars. Een andere reden voor de verschillen in aantallen die zijn gevonden in onderstaande studies is dat in sommige groepen een tendens kan bestaan om incon sistent te beoordelen. Beoordelaars kunnen een verschillende opleiding, achtergrond en beroeps normen hebben. Tevens kunnen zij uiteenlopende ervaringen hebben met de aios, waardoor de mate van overeenstemming tussen scores van verschillende beoordelaars niet hoog kan zijn. Ten derde kan het vragen om een beoordeling over een te groot aantal categorieën mogelijk leiden tot een grotere subjectiviteit en irrelevantie en vaker tot een onvermogen van de beoordelaar om bepaalde categorieën te beoordelen. Tot slot kan er ook nog een verschil zijn in training ten aanzien van de MSF procedure. Deze factoren suggereren dat wanneer er valide, meer gerichte beoordelings instrumenten worden ontworpen en beoordelaars worden getraind, het aantal benodigde beoordelaars per peiling mogelijk gereduceerd kan worden. 25 Op basis van de wetenschappelijke literatuur en resultaten van de in Nederland verrichte pilotstudie, worden in deze Richtlijn de volgende aantallen per groep beoordelaars geadviseerd (in hoofdstuk 4 zijn deze aantallen toegelicht; zie ook hoofdstuk 11C): Medische collegae: totaal minimaal zes beoordelaars Andere werkers in de zorg: totaal minimaal zes Patiënten: totaal minimaal tien beoordelaars Totaal minimaal 22 beoordelaars Aangenomen mag worden dat de be - trouw baarheid bij deze aantallen beoordelaars voldoende is voor een summatief oordeel over de aios. Als de MSF procedure uitsluitend een formatief doel dient, kan wellicht met minder beoordelaars worden volstaan. Dit zal voorwerp van nader onderzoek moeten zijn. 5. Te beoordelen competenties door verschillende beoordelaars In de literatuur worden gewenste ge - dragingen van artsen op verschillende manieren beschreven, bijvoorbeeld als gedragsdomeinen, competentiegebieden of kritische gedragingen De inhoud van deze verschillende beschrijvingen komt grotendeels overeen met de inhoud van de Can- MEDS competentie gebieden, die zijn vertaald naar de Nederlandse praktijk. 30 De volgende onderwerpen voor MSF worden beschreven in de literatuur: medisch handelen, management van patiëntenzorg, interpersoonlijke kwaliteiten, communicatieve vaardigheden, professionaliteit, collegialiteit/sa men werking, organiseren, medische praktijkvoering, onderhouden van de pr o fessionele ontwikkeling, (telefonische) bereikbaarheid. Maatschappelijk handelen S14

14 Richtlijn multisource feedback voor de aios M.A. Horsman en Th.J. ten Cate wordt niet als zodanig beschreven in de literatuur; wel wordt in verschillende studies gevraagd naar omgang met in cidenten in de zorg, mate van preventieve zorg en naar handelen volgens relevante wetgeving. Verschillende beoordelaars kunnen verschillende aspecten van het functioneren van artsen beoordelen en deels bestaat er een overlap tussen de competenties die zij kunnen beoordelen. Idealiter wordt beoordelaars alleen gevraagd gedrag te beoordelen dat zij daadwerkelijk in de praktijk en liefst herhaaldelijk hebben kunnen observeren. 1 Zo zal een beoordelaar die de arts nooit heeft meegemaakt in de spreekkamer of aan het bed van de patiënt niet in staat zijn de communicatie met patiënten en familie te beoordelen. De patiënt is echter bij uitstek een geschikte bron om over dit punt een oordeel te geven, evenals verpleegkundigen die bij gesprekken met patiënten aanwezig zijn. Om een keuze te maken welke beoordelaars geschikt zijn voor het beoordelen van bepaalde competenties van de aios, zal dus bepaald moeten worden welk gedrag een beoordelaar daad werkelijk kan observeren en beoordelen. Daarbij spelen ook haalbaarheid en acceptabiliteit van het ondervragen van mensen met een verschillende (beroeps)achtergrond een belangrijke rol. Het zal bijvoorbeeld lastig zijn vragenlijsten te laten invullen door patiënten met spoedeisende of psychia - trische aandoeningen, alsmede door ernstig zieke of terminale patiënten. Tevens zullen anal fabeten en patiënten met te weinig begrip en/of kennis van de taal moeilijk te ondervragen zijn. 1 In de meeste artikelen wordt beschreven dat patiënten vooral gevraagd wordt naar interpersoonlijke kwaliteiten, communicatie en professionaliteit. Op de vragenlijsten, ontworpen in samenhang met deze Richtlijn, worden aan patiënten vragen gesteld over twee van de zeven competentiegebieden. Om patiënten niet teveel te belasten en de haalbaarheid voldoende hoog te houden is het aantal vragen beperkt tot acht vragen over communicatie en acht vragen over professionaliteit. De auteurs veronderstellen dat patiënten over het algemeen onvoldoende zicht hebben op de competenties samenwerking en maatschappelijk handelen om hier een beoordeling over te kunnen geven. In de literatuur worden ook voorbeelden gegeven van vragenlijsten voor patiënten met vragen over organisatie, bijvoorbeeld medische praktijkvoering en (telefonische) bereikbaarheid Op dit gebied zou gevraagd kunnen worden of de arts voldoende tijd besteedt aan de patiënt en hoe lang de patiënt gemiddeld moet wachten op de arts. Aangezien de beoordeling van dit soort vragen ook afhankelijk is van organisatorische fac toren buiten de aios, zijn deze vragen achterwege gelaten. Getracht is alleen te vragen naar aspecten van het functioneren die geheel op de aios zijn terug te voeren. Medische collegae en peers wordt in vrijwel alle studies gevraagd naar communicatie en professionaliteit en daarnaast naar medisch handelen, technische vaardigheden, samenwerken, organisatie, professionele ontwikkeling en gebruik van beoordelaars (kennis en wetenschap). Violato et al. beschrijven in 2006 dat vragen die collega-artsen moeilijk te beantwoorden vonden, waren gerelateerd aan professionele ontwikkeling en verbetering in de praktijk. 11 Verpleegkundigen en andere niet-medische professionals in de gezondheidszorg wordt gevraagd naar gegevens over de zorg voor patiënten, interprofessionele samenwerking en communicatie. Johnson en Cujec toonden een voldoende betrouwbaarheid aan van de beoordeling van deze competenties door verpleegkundigen op een intensive care afdeling. 24 Het wordt door artsen minder goed geaccep- S15

15 Richtlijn multisource feedback voor de aios M.A. Horsman en Th.J. ten Cate teerd wanneer andere werkers in de zorg het medisch handelen of technische vaardigheden beoordelen Op de vragenlijsten voor andere werkers in de zorg worden dan ook geen vragen gesteld over de competentie medisch handelen. In de eerste versie van de vragenlijst voor medische collegae werden hier ook geen vragen over gesteld. Bij de evaluatie van de eerste pilotstudie bleek het echter onnatuurlijk om bij medische collegae vragen over medisch inhoudelijke kwaliteiten geheel achterwege te laten, omdat dit ook belangrijke feedbackpunten kan opleveren. In de tweede versie van de vragenlijst voor medische collegae zijn dan ook drie vragen over de competentie medisch handelen toegevoegd. Over communicatie en professionaliteit kunnen in principe alle beoordelaars zoals genoemd in hoofdstuk 3 vanuit hun positie een beoordeling geven. In Tabel 3 wordt een voorbeeld gegeven van verschillende vragen over deze competenties aan de verschillende groepen beoordelaars. Het aantal vragen kan een rol spelen in de haalbaarheid van de procedure en voorkomen moet worden dat door te lange vragenlijsten de respons afneemt. Lockyer et al. tonen in hun studie aan dat het minimum aantal vragen 20 bedraagt voor alle vragenlijsten bij acht medische bronnen, acht niet-medische beoordelaars en 25 patiënten. 26 Hierbij dient wel opgemerkt te worden dat in deze studie de MSF een summatief doel had en er dus hogere eisen gesteld worden aan de psychometrische kenmerken van de vragenlijsten. In Tabel 4 is per categorie beoordelaars weergegeven over welke competenties zij gevraagd worden feedback te geven in het programma Multisourcefeedback.nl. Omwille van de haalbaarheid, en uitgaand van een formatieve beoordeling, is het aantal vragen beperkt gehouden tot 16 voor patiënten en respectievelijk 29 en 23 voor medische collegae en anderen. In hoofdstuk 11 worden de gemaakte keuzes voor het bepalen van de vorm en inhoud van de vragenlijsten nader toegelicht. 6. Selectie en benadering van beoordelaars A. Selectie van de beoordelaars Op basis van literatuurstudie en discussie in focusgroepen wordt geadviseerd om de beoordelaars niet door de supervisor of opleider, maar door de aios zelf te laten selecteren. Dit kan echter vragen oproepen over de betrouwbaarheid van gegevens: worden er geen vriendjes uitgekozen, vullen collegae de vragenlijsten dan wel eerlijk in en blijft de veiligheid van relaties met patiënten en collegae wel gewaarborgd? Deze laatste vraag wordt in hoofdstuk 7 toegelicht. Het potentiële probleem van het alleen uitkiezen van vriendjes wordt voor een deel opgelost door uit alle groepen meerdere beoordelaars te vragen. Het zal niet mogelijk zijn alleen maar collegae uit te kiezen met wie men ook buiten het werk bijvoorbeeld een vriendschappelijke relatie heeft. In een aantal studies is de mate waarin de beoordelaar en beoordeelde elkaar kennen, en de invloed hiervan op de scores, onderzocht. Deze factor blijkt verantwoordelijk te zijn voor minder dan 10-15% van de variantie van beoordelingen Bo ven dien werd in een studie van Ramsey in 1993 aangetoond dat het selecteren van beoordelaars door de aios of selectie door een derde partij (supervisor/opleider) weinig verschil maakt voor de betrouwbaarheid van de beoordeling. 20 Hoe goed een beoordelaar de te beoordelen arts kent, en de invloed hiervan op de beoordeling, werd ook als onafhankelijke variabele onderzocht in een studie van Hall et al. 9 Voor de peer assessmentvragenlijst toonden de resultaten een significante S16

16 Richtlijn multisource feedback voor de aios M.A. Horsman en Th.J. ten Cate Tabel 3. Voorbeelden van competenties, beoordelaars en vragen. Competentiegebieden Beoordelaars Voorbeeldvragen/stellingen Communi catie Patiënten De arts luisterde goed naar mij De arts gaf duidelijk uitleg Andere wer kers in de zorg Medische collegae De arts communiceert goed met patiënten en familie De arts geeft helder geformuleerde mondelinge opdrachten De arts is zowel duidelijk als volledig in schriftelijke verslaglegging De arts presenteert tijdens besprekingen patiëntencasus accuraat en beknopt Professionaliteit Patiënten Deze arts begreep mijn situatie goed (de situatie van mijn kind) Deze arts leek op de hoogte te zijn van mijn dossier/mijn situatie Andere wer kers in de zorg Medische collegae De arts stelt tijdens de dagelijkse werkzaamheden het belang van de patiënt centraal De arts kent het dossier en de toestand van de patiëntenzorg De arts is zich bewust van eigen grenzen en handelt daarbinnen De arts accepteert feedback van anderen Tabel 4. Overzicht van aantal vragen per competentiegebied en per categorie beoordelaars. Bron Aantal vragen Competentiegebieden (aantal vragen) Schaal Medische open vraag* Medisch handelen (3); communicatie (5), collegae samenwerking (6), organisatie (4), kennis & wetenschap (3), professionaliteit (6), EPA s** (2) 5 waarden eens/oneens + Anderen in open vraag* Communicatie (6), samenwerking (5), categorie nvt de zorg organisatie (4), kennis & wetenschap (2), professionaliteit (6) Patiënten open vraag* Communicatie (8), professionaliteit (8) * Open vraag: Heeft u tips en/of opmerkingen om het functioneren van deze arts te verbeteren? ** EPA: Deze aios vertrouw ik de volgende kritische activiteit toe om zelfstandig uit te voeren. 31 S17

17 Richtlijn multisource feedback voor de aios M.A. Horsman en Th.J. ten Cate invloed aan van de mate waarin de beoordelaar de arts kent. Voor bijna de helft van de vragen werden statistisch significante verschillen gevonden, waarbij beoordelaars die de arts niet of niet goed kenden een positievere beoordeling gaven dan beoordelaars die de artsen enigszins, goed of zeer goed kenden. Beoordelaars die de artsen niet goed kenden vormden slechts een klein percentage van alle respondenten (1.8%), en het gemiddelde verschil in scores was ook klein (0.21). Dezelfde analyse van de vragenlijst voor niet-medische collega s toonde overeenkomstige resultaten met opnieuw erg kleine verschillen in de scores. De vergelijking van zelfbeoordelingen met beoordelingen door peers, consulenten en verwijzende artsen, en niet-medische collega s vertoonde weinig overeenstemming tussen de twee categorieën. De artsen beoordeelden zichzelf minder gunstig dan hun collega-professionals. Naar aanleiding van de resultaten van bovengenoemde studies laat men in de meeste MSF procedures de selectie van beoordelaars over aan de te beoordelen arts zelf. Om wel een zo groot mogelijke spreiding van perspectieven te verkrijgen binnen een groep beoordelaars en te voorkomen dat veel vragen met niet te beoordelen worden ingevuld, wordt een aantal voorwaarden voor de selectie van beoordelaars geadviseerd: Medische collegae: totaal minimaal zes beoordelaars; in ieder geval beoordeling door minimaal twee stafleden van het opleidingsteam (in ieder geval de huidige supervisor) en twee collega-aios waarmee een langere periode is samengewerkt. Overige beoordelaars zijn coassistenten, medische collegae met wie men dienst (weekend/week) heeft gedraaid, consulenten en verwijzend artsen van andere disciplines, mits er regelmatig contact/sa men werking is geweest. Andere werkers in de zorg: totaal minimaal zes beoordelaars; in ieder geval beoordeling door minimaal drie ver - pleegkundigen. Bij voorkeur geen selectie van medische secretaresses of an - dere beoordelaars die weinig aanwezig zijn bij de patiëntenzorg. Patiënten: minimaal tien beoordelaars; liefst een gemengde patiëntenpopulatie van poliklinische en klinische patiënten en patiënten waarmee meerdere contacten zijn geweest (minimaal twee). De wijze waarop het gewenste totale aantal beoordelaars per groep wordt bepaald, wordt toegelicht in hoofdstuk 4 en hoofdstuk 11C. Gezien het aantal beoordelaars dat moet worden geselecteerd heeft het de voorkeur de aios wel voldoende tijd voor de selectie te geven. Voor de betrouwbaarheid van de gegevens is een voldoende aantal beoordelaars per groep nodig en dit heeft een hogere prioriteit dan een zo kort mogelijke verwerkingstijd (hoofdstuk 10). In de Nederlandse studie is het haalbaar gebleken om in een periode van minimaal twee maanden voldoende relevante beoordelaars te kunnen selecteren, mits de setting hiervoor geschikt is (op de IC is het selecteren van voldoende patiënten bijvoorbeeld niet haalbaar). Door de MSF procedure al eerder aan te kondigen en/of op te starten, bijvoorbeeld drie tot maximaal zes maanden tevoren, kan de aios ruim vóór het beoordelingsgesprek nadenken over de vraag welke beoordelaars relevant kunnen zijn om te selecteren. Door collegae aan het begin van een klinische stage al te vragen of zij na een bepaalde periode feedback willen geven op het functioneren, krijgen zij de mogelijkheid een aios gerichter te observeren. Juist omdat het bij MSF niet gaat om korte observaties maar om een oordeel over het functioneren over een langere tijdsperiode is het belangrijk dat beoorde- S18

18 Richtlijn multisource feedback voor de aios M.A. Horsman en Th.J. ten Cate laars hierover ruim tevoren zijn geïnformeerd. Dat voorkomt uitsluitend retrospectieve en daardoor soms vervormde oordelen. De kans dat voldoende patiënten en collegae kunnen worden geselecteerd voor het geven van relevante, waardevolle feedback wordt hiermee ook vergroot. B. Benadering van de beoordelaars In de literatuur worden verschillende manieren beschreven waarop beoordelaars gevraagd kunnen worden door middel van vragenlijsten feedback te geven. Belangrijk is dat een zo groot mogelijke respons wordt bereikt. Voor de benadering van de beoordelaars (vragen om deelname en uitreiken van vragenlijsten) wordt soms een administratief bedrijf ingeschakeld als tussenpersoon. De artsen wordt dan gevraagd de namen, functies en adressen op te geven van een aantal geselecteerde beoordelaars. Vervolgens worden de verschillende vragenlijsten opgestuurd naar deze beoordelaars Het medium dat gebruikt wordt heeft invloed op het ontwerp van de vragenlijsten en de snelheid waarmee data verwerkt kunnen worden. Vragenlijsten kunnen op papier ingevuld worden, via intranet, telefoon of . Iedere benaderingswijze heeft voor- en nadelen. Bij gebruik van korte vragenlijsten kan voor telefonisch invullen met cijfercodes gekozen worden, evenals bij patiënten die analfabeet zijn. Wanneer voor het invullen op de computer wordt gekozen, dienen alle beoordelaars voldoende toegang te hebben tot een computer en eventueel intranet. Bovendien zal technische ondersteuning nodig zijn voor het opzetten van digitale vragenlijsten en voor het ontwerpen van een computerapplicatie voor het verzamelen en verwerken van de data. Wanneer niet aan deze voorwaarden kan worden voldaan, heeft invullen met pen en papier of aan de hand van een telefoongesprek de voorkeur. 1 Penny vergeleek pen en papier met elektronische systemen en concludeerde dat de methode de consistentie van beoordelaars niet beïnvloedde. 33 Archer et al. beschreven een succesvol systeem waarin beoordelingen centraal gescand worden in een computer, die vervolgens analyses uitvoert en een samenvatting maakt. 3 Lockyer et al. onderzochten in 2006 de verschillen in responspercentage tussen het gebruik van telefonische vragenlijsten, invullen via internet en invullen op papier. In de eerste twee groepen waren de artsen zelf verantwoordelijk voor verspreiding van de vragenlijsten. De responspercentages op papier waren 88% voor patiënten, 94% voor andere werkers in de zorg, 91% voor medische collegae. De responspercentages voor het invullen per telefoon of internet bedroegen respectievelijk 68% en 32% voor patiënten, 62% en 38% voor andere werkers in de zorg en 57% versus 43% voor medische collegae. De verschillen in responspercentages worden deels gewijd aan het minder toegankelijk zijn van internet op het platteland. Bij het invullen aan de hand van een telefoongesprek of via internet waren de artsen verantwoordelijk voor selectie van de bronnen. Dit kan geleid hebben tot een lagere respons, omdat de werkdruk van artsen over het algemeen hoog is. De resultaten van de studie suggereren dat het invullen van vragenlijsten op papier minstens even effectief is en tot een hogere respons leidt dan technologische verspreidingsmethoden. Ondersteuning van artsen bij verspreiding van de vragenlijsten speelt volgens de auteurs een kritische rol in een succesvolle beoordelings - procedure. 26 Payne waarschuwde ervoor dat men soms teveel waarde hecht aan elektronische gegevens en numerieke scores en dat het gevaar van elektronische systemen kan zijn dat subjectieve gegevens als objectief worden weergegeven. 34 S19

19 Richtlijn multisource feedback voor de aios M.A. Horsman en Th.J. ten Cate In deze Richtlijn adviseren wij de aios zelf de beoordelaars te laten selecteren en om toestemming te vragen voor het toesturen van een vragenlijst per . Dit hoeft weinig tijd te kosten, aangezien de aios zelf samenwerkt of contact heeft met respectievelijk collegae en patiënten. Door de artsen zelf de beoordelaars te laten benaderen kan op persoonlijker wijze medewerking worden gevraagd en worden de kosten van een tussenpersoon bespaard. Tevens is omwille van de haalbaarheid de keuze gemaakt voor een elektronische procedure met behulp van het webbased programma Multisourcefeedback.nl. Dit programma is vanaf iedere computer met internetverbinding te openen met persoonlijke inloggegevens voor aios en opleiders. In het programma kunnen aios na toestemming van de beoordelaars de verkregen adressen invoeren. Beoordelaars kunnen de vragenlijst openen via een link in de die zij automatisch ontvangen nadat een aios hun adres heeft ingevoerd. 7. Anonimiteit/veiligheid van werkrelatie en arts-patiëntrelatie Het invoeren van een procedure voor MSF kan een bedreiging betekenen voor zowel degene die beoordeeld wordt als voor de beoordelaar, maar ook de kwaliteit van de werkrelatie tussen arts en beoordelaar kan gevaar lopen. Al in het begin van de implementatie moeten daarom garanties gesteld worden om de relaties tussen collegae en artsen en patiënten te waarborgen. 1 In een vroeg stadium is dan ook de vraag gesteld hoe herkenbaar de bron mag zijn voor de aios om enerzijds te zorgen voor voldoende eerlijkheid bij het beoordelen en anderzijds geen conflicten te veroorzaken tussen de aios en collega s of de aios en patiënten. In veel studies over MSF zijn de identiteit van de beoordelaars en hun individuele scores alleen bekend bij de opleider (of bij degene die het feedbackgesprek voert). Onder andere in de studie van Whitehouse et al. wordt op het beoordelingsformulier vereist dat de beoordelaar zijn/haar naam invult en een handtekening zet. De individuele scores worden geaggregeerd en de aios weet dus alleen dat de beoordelaar één van de beoordelaars is die hij/zij heeft gekozen. De auteurs geven drie belangrijke redenen waarom zij vinden dat de identiteit van beoordelaars wél bekend moet zijn bij de supervisor. Ten eerste kan het voor de supervisor nodig zijn, om in gevallen waarin een beoordelaar een onvoldoende of sterk afwijkende score geeft, toelichting te vragen of verder onderzoek te doen. Dit kan alleen wanneer de opleider weet wie de beoordelaar is. Ten tweede noemen de auteurs hun ervaring met gevallen waarbij beoordelaars om persoonlijke, in plaats van professionele redenen, lage scores gaven. Die wijze van beoordelen kan ontmoedigd worden door geen volledig anoniem proces te kiezen, maar te zorgen dat slechte scores herleidbaar zijn voor verder onderzoek. De derde reden die genoemd wordt voor het vragen om naam en handtekening is het voorkomen van fraude met de vragenlijsten. De auteurs geven wel aan dat verder onderzocht moet worden of collegae geremd worden in het geven van een eerlijk oordeel over artsen wanneer zij niet volledig anoniem zijn. 35 Er is ook een ander argument dat pleit tegen anonimiteit. Dat is de wens om een open communicatiesfeer op klinische afdelingen te creëren, mede in het kader van incidentmeldingen. Op basis van literatuurbevindingen en discussies in het Utrechtse In VIVO kernteam wordt echter geadviseerd de individuele scores die beoordelaars hebben gegeven niet rechtstreeks bekend te maken aan de aios. De aios krijgt alleen S20

20 Richtlijn multisource feedback voor de aios M.A. Horsman en Th.J. ten Cate een gemiddelde score per groep beoordelaars te zien; een slechte score zal niet herleidbaar zijn tot een individuele beoordelaar. Geschreven opmerkingen worden per categorie beoordelaars weergegeven, zodat ook deze niet herleidbaar zijn tot een individuele persoon. Hiervoor dient het aantal beoordelaars dus minimaal twee te zijn. Geadviseerd wordt de supervisor wel inzage te geven in de individuele scores en geschreven opmerkingen. Er zal dan dus geen sprake zijn van volledige anonimiteit. In een toelichting bij de vragenlijst kan aan beoordelaars worden uitgelegd waarom dit het geval is. In hoofdstuk 13A wordt het waarborgen van de anonimiteit bij weergave van de MSF resultaten nader toegelicht. 8. De plaats van zelfbeoordeling in de multisource feedbackprocedure Een primair doel van MSF is de mogelijkheid voor aios om hun eigen beeld van het functioneren te vergelijken met het beeld dat anderen van hen hebben. Dit kan vooral nuttig zijn voor artsen die minder goed functioneren en mogelijk weinig zelfinzicht hebben. Daar staat tegenover dat het zelfvertrouwen van artsen, die zichzelf minder goed beoordelen, kan toenemen. 4 Er zijn echter kanttekeningen te plaatsen bij het gebruik van zelfbeoordelingen. In veel studies worden slechte tot matige correlaties gevonden tussen zelfbeoordelingen en een beoordeling door peers, andere werkers in de zorg en door supervisors Artsen schatten zichzelf over het algemeen lager in dan hun beoordelaars. In een Canadese studie onder artsen met een buitenlands artsdiploma schatte echter 70% van de artsen zichzelf hoger in dan hun beoordelaars. 26 Zelfbeoordeling of zelfreflectie in de opleiding is belangrijk, maar een zelfbeoordeling vormt in onze visie geen onderdeel van MSF. Het zelfbeeld ontstaat juist immers mede op basis van de verkregen feedback vanuit verschillende perspectieven. Zelfbeoordeling heeft dus een andere status dan externe beoordelingen en vormt geen onderdeel van de 360 graden waarop een overall oordeel over een aios is gebaseerd. Zelfbeoordeling is in het algemeen weinig betrouwbaar en valide, maar niettemin een vaardigheid die wel ontwikkeld moet worden. 36 Een procedure van zelfbeoordeling kan wel heel goed als aanvulling op MSF worden toegepast. Een mogelijkheid is om de aios, voorafgaand aan het voortgangsgesprek, de vragenlijsten voor collegae en patiënten over hun functioneren ook zelf te laten invullen. De zelfbeoordeling heeft dan als doel een vergelijking te vormen met de scores die gegeven zijn door de verschillende groepen bronnen. Een grote discrepantie in de resultaten kan een gebrek aan inzicht suggereren en verschillen tussen de scores en eventuele redenen hiervoor kunnen dan besproken worden met de supervisor. Eventuele discrepanties kunnen verminderd worden door de beoordeelde aios duidelijker inzicht te laten krijgen in het gewenste gedrag. Tot slot kan de zelfbeoordeling of visie van de aios op zijn/haar competenties een belangrijke en valide toevoeging zijn aan het perspectief van de andere bronnen. Soms kunnen zelfs nieuwe aandachtspunten naar voren komen die niet door de beoordelaars zijn aangestipt Frequentie en tijdstip van multisource feedback De frequentie van MSF is afhankelijk van de haalbaarheid en tijdsinvestering per beoordelingsronde. Om tot eventuele verbetering van het functioneren te komen moet er voldoende tijd bestaan tussen de peilingen. Frequenties van de beoordeling die worden genoemd in de relevante lite- S21

21 Richtlijn multisource feedback voor de aios M.A. Horsman en Th.J. ten Cate ratuur variëren van eenmaal per vijf jaar 9 tot twee maal per jaar. 37 Geadviseerd wordt het tijdstip van een MSF procedure aan te passen aan de (vernieuwde) opleidingsschema s. Dit kan betekenen dat de procedure niet ieder jaar, maar bijvoorbeeld alleen gedurende langere klinische stages wordt doorlopen. Desgewenst, en afhankelijk van het opleidingsschema, kan de MSF ook jaarlijks worden uitgevoerd. De aios en opleider kunnen ook besluiten dit frequenter te doen; zeker bij twijfel over functioneren is dit wenselijk. In het eerste jaar van de opleiding heeft het de voorkeur om de procedure in ieder geval éénmaal te doorlopen. Voor een optimale effectiviteit zou de aios deze feedback zo snel mogelijk na de beoordeling moeten ontvangen en kunnen bespreken met de opleider. De korte omlooptijd van de beoordelingen leidt tot voldoende relevantie van de feedback voor dat moment. Wanneer de beoordeling pas na lange tijd wordt meegedeeld aan de aios, zal dit voor de aios minder motiverend werken. 1 Geadviseerd wordt de periode tussen het doorlopen van de MSF procedure en het meedelen van de resultaten niet langer dan een maand te laten zijn. Idealiter staat een week na afloop van een MSF-ronde een voortgangsgesprek gepland. 10. Periode waarover beoordeeld wordt De periode waarover een bepaalde beoordelaar de aios feedback geeft, zal per beoordelaar verschillen. Het is wenselijk dat de beoordeling van het functioneren van de aios niet slechts op basis van één enkele observatie plaatsvindt. In tegenstelling tot KPB s zal de beoordeling ten behoeve van MSF een langere periode moeten beslaan, van bijvoorbeeld minimaal één maand samenwerking bij collegae en minimaal twee arts-patiëntcontacten bij poliklinische patiënten of bij een opname van minimaal drie dagen. Deze getallen zijn zeer arbitrair, aangezien de periode waarover beoordeeld wordt meestal niet specifiek beschreven is in de relevante literatuur. In studies over MSF in het bedrijfsleven wordt een periode van zes tot twaalf maanden op dezelfde werkplek voldoende geacht om een beoordeling te kunnen geven. 38 Dat lijkt lang voor een opleidingssituatie, temeer omdat het advies om jaarlijks de MSF procedure uit te voeren juist is ingegeven door de gedachte dat de aios zich in een jaar substantieel ontwikkelt. Een observatie - periode van één tot drie maanden wordt daarom geadviseerd. In de meeste studies die verricht zijn in medische settings wordt ook beschreven dat de beoordelaars gedurende een langere periode moeten hebben samengewerkt met degene die zij moeten beoordelen. In de instructie voor de aios wordt benadrukt dat het belangrijk is dat de aios beoordelaars selecteert waarvan hij/zij het idee heeft dat zij relevante feedback kunnen geven. Op de vragenlijsten voor collegae wordt gevraagd naar de periode waarover zij hun mening geven (week, maand, > 1 maand, > 3 maanden). Tijdens de verrichte studie heeft 92% van de collegae hun feedback gebaseerd op een periode van minimaal een maand of langer. Het lijkt dus haalbaar om een minimale periode van één maand als voorwaarde voor een beoordeling te stellen. De aios zal over het algemeen een aantal maanden op een afdeling werken. Wanneer er eenmaal per jaar MSF wordt gegeven zal er over het algemeen voldoende mogelijkheid zijn om beoordelaars te vinden die de aios gedurende een langere periode hebben meegemaakt. Overigens zullen er, ongeacht de periode waarover iemand de aios beoordeelt of de mate waarin de beoordelaar de aios kent, altijd beoorde- S22

22 Richtlijn multisource feedback voor de aios M.A. Horsman en Th.J. ten Cate laars zijn die niet alle vragen kunnen beoordelen, omdat zij niet alle aspecten hebben kunnen observeren. Bij patiënten ligt dat anders. Voor de beoordeling door patiënten gaat het niet zozeer over welke periode wordt beoordeeld, maar is een voldoende aantal contacten met de arts van belang om de verschillende aspecten van het functioneren te kunnen beoordelen. Sommige vragen kunnen bijvoorbeeld alleen worden beantwoord nadat er meerdere contacten hebben plaatsgevonden tussen arts en patiënt (bijvoorbeeld deze arts komt gemaakte beloften en/of afspraken na). Bij patiënten kan daarom beter worden gevraagd naar het aantal contacten dat heeft plaatsgevonden met de aios. Het aantal contacten tussen arts en patiënt varieerde in onze pilotstudie van 1 tot >10, met een gemiddelde van 5,3 voor de Kindergeneeskunde en 3,6 voor de Gynaecologie. Dit is deels te verklaren door een groter aantal poliklinische patiënten in de Gynaecologiepopulatie. Vooral van de patiënten die slechts éénmaal contact hadden gehad met de aios, bleken een groter deel van de vragen met NVT te hebben ingevuld. Een aantal maal worden opmerkingen gemaakt als: dit moet nog blijken, kan ik na één afspraak nog niet beoordelen, etc. Het lijkt wenselijk dat patiënten worden geselecteerd die minimaal twee contacten hebben gehad met de arts, echter de haalbaarheid hiervan is afhankelijk van de opleiding, setting en lengte van de klinische stages. De periode die beoordelaars krijgen om de vragenlijsten in te vullen en te retourneren wordt in de meeste artikelen over MSF niet beschreven. Violato et al. en Davis beschrijven dat in hun studies een periode van twee weken voldoende was voor het invullen en retourneren van de vragenlijsten Idealiter wordt de beoordelingsprocedure zo ontworpen dat de feedback zo snel mogelijk na het invullen van de vragenlijsten wordt ontvangen door de beoordeelde arts. Een snelle verwerkings - tijd waarborgt het nut van de feedback en stimuleert de motivatie van de beoordeelde artsen. 38 Het invullen van de vragenlijsten hoeft niet meer dan tien minuten te kosten en liefst worden deze nog dezelfde dag ingevuld en opgestuurd. In de digitale procedure wordt de beoordelaars gevraagd binnen een week de vragenlijst te voltooien. Door de MSF procedure zo vroeg mogelijk aan te kondigen en/of op te starten, drie tot maximaal zes maanden tevoren, kan de aios ruim voor het beoordelingsgesprek al collegae vragen of zij over een bepaalde tijd feedback willen geven op zijn/haar functioneren. Collegae krijgen hierdoor de mogelijkheid een aios gerichter te observeren en kunnen daardoor mogelijk meer relevante en waardevolle feedback geven en hoeven zich niet alleen op retrospectieve oordelen te baseren. 11. Ontwerp van geschikte beoordelingsinstrumenten A. Uniformiteit vragenlijsten In sommige studies wordt eenzelfde formulier beschreven voor gebruik door alle beoordelaars (peers, andere werkers in de zorg, consulenten). In verschillende (pilot) studies wordt echter beschreven dat het gebruik van verschillende vragenlijsten, aangepast voor de te ondervragen bron, een hogere betrouwbaarheid en validiteit heeft. Een nadeel van het gebruik van meerdere vragenlijsten is echter dat gegevens moeilijker geaggregeerd kunnen worden. Voor de groepen medische collegae en andere werkers in de zorg is in onze eerste pilotstudie gebruik gemaakt van dezelfde vragenlijsten, met als doel een eenvoudigere verwerking van de gegevens en analyses. Naar aanleiding van een evaluatie van de vragenlijsten door beoorde- S23

23 Richtlijn multisource feedback voor de aios M.A. Horsman en Th.J. ten Cate laars en de deelnemende aios zijn de vragenlijsten aangepast. De tweede versie van de vragenlijsten voor medische en andere werkers in de zorg bevatten 19 overeenkomstige vragen (zie hoofdstuk 11B, voor nadere toelichting). In studies over MSF waarbij patiënten betrokken zijn in de procedure zijn specifieke vragenlijsten ontworpen voor deze categorie. Vaak komen de vragen aan patiënten wat betreft de inhoud grotendeels overeen met de vragen aan collegae. Er bestaan echter ook altijd specifieke vragen die alleen aan patiënten gesteld kunnen worden. Het lijkt de auteurs wenselijk om voor patiënten een aparte vragenlijst te gebruiken, aangezien zij de competenties communicatie en professionaliteit vanuit een ander perspectief kunnen beoordelen dan collegae. Over beide gebieden worden acht vragen gesteld aan patiënten. Het resultaat van de door patiënten ingevulde vragenlijsten zal dus een gemiddelde score leveren voor de competenties communicatie en professionaliteit, gezien vanuit het perspectief van patiënten. Op basis van literatuuronderzoek, resultaten van de pilotstudie en overleg met experts zijn drie verschillende vragenlijsten ontworpen. Alle groepen beoordelaars wordt gevraagd naar tips of opmerkingen om het functioneren van de arts te verbeteren. De vragenlijsten zijn onderzocht op hun validiteit en betrouwbaarheid, zoals beschreven in hoofdstuk 11C, waarna zij verder zijn aangepast. Voor de inhoud van de vragenlijsten wordt verwezen naar Bijlage II van deze Richtlijn, waarin de aangepaste vragenlijsten voor iedere categorie zijn opgenomen. B. Type vragen en beoordelingsschaal Een noodzakelijke stap in de ontwikkeling van beoordelingsinstrumenten is het bepalen van het te meten domein of gedrag. Wanneer men besluit professionaliteit te meten, moet er bijvoorbeeld naar gestreefd worden alleen dat concept van gedrag te meten en niet iets anders (zie paragraaf C, voor meer toelichting op inhouds- en constructvaliditeit). De vragen zelf moeten dus overeenkomen met het te meten concept of construct en het liefst gebaseerd zijn op een theoretische onderbouwing, zoals bij de in de VS, Canada en het Verenigd Koninkrijk gebruikte formulieren (zie Tabel in Bijlage I). Omdat men te maken heeft met professionals en hun oordeel over anderen, is input van de eindgebruikers over de inhoud en formulering van de beoordelingsinstrumenten belangrijk. Deze input kan men bijvoorbeeld verkrijgen door focusbijeenkomsten of enquêtes te houden. Door het evalueren van de vragenlijsten met de verschillende groepen gebruikers kunnen de vragen steeds meer worden aangepast aan wat in de praktijk beoordeeld kan worden en aan wat de aios graag beoordeeld ziet door de verschillen de groepen. Aanpassingen in bijvoorbeeld de formulering van de vragen kunnen als ontwikkelings proces worden gezien. Door het opdoen van ervaring met de vragenlijsten zullen beoordelaars hier meer gerichte feedback op kunnen geven. 1 Vragen aan patiënten dienen logischerwijs anders geformuleerd te worden dan vragen aan collegae. Niet alleen gaan de vragen over andere aspecten van het functioneren, zij moeten ook in eenvoudigere bewoordingen worden gesteld en uitgaan van het perspectief van de patiënt. Het is uiteraard belangrijk vragen te stellen over gedrag dat door patiënten geobserveerd kan worden. De patiënt zal bijvoorbeeld geen goed oordeel kunnen vormen over de intercollegiale samenwerking of over de competentie kennis en wetenschap. Per vraag moet slechts naar één aspect van het functioneren worden gevraagd. Belangrijk is dat ook een categorie: niet te beoorde- S24

24 Richtlijn multisource feedback voor de aios M.A. Horsman en Th.J. ten Cate Tabel 5. Voorbeelden van antwoordschalen. Type Categorieën Eens met Sterk Oneens Niet eens/ Mee eens Sterk (Onvoldoende stellingen oneens niet oneens mee eens informatief) Frequentie Nooit Soms Meestal Altijd (Niet van toepassing) Verwachtingen Voldoet Voldoet Overtreft niet aan ver- aan ver- verwachting wachting wachting Kwaliteit Onvoldoende Voldoende Goed Excellent Vergelijking Hoort bij de Hoort bij Gemiddeld Hoort bij Hoort bij met andere slechtsten onderste bovenste de besten artsen helft helft len of geen mening wordt toegevoegd, dit om te voorkomen dat beoor delaars een ongefundeerde uitspraak doen Er is geen juist aantal of type antwoordmogelijkheden op een schaal te noemen, wel is informatie beschikbaar over de factoren die de selectie van een schaal kunnen beïnvloeden. 39 Sommige auteurs beschrijven een aanpassing van de beoordelingsschaal na evaluatie. Bij het instrument van Hesketh et al. werd een vierpuntsschaal voor kwaliteit gebruikt (excellent, good, satisfactory, requires help/attention) en was er een categorie niet van toepassing. Een na deel van deze schaal bleek dat er slechts één categorie bestond voor onvoldoende beoordelingen (alleen requires help/ attention), waardoor beoordelaars minder snel geneigd zijn deze categorie aan te kruisen (lijkt op pass-fail beoordeling). Een beter alternatief dat wordt genoemd is een vijfpuntsschaal met als vijfde categorie: poor. 5 Tabel 5 toont een aantal voorbeelden van mogelijke beoordelingsschalen voor MSF. 1 9 Voor een gemakkelijke verwerking en vergelijking van scores adviseren wij om voor alle vragenlijsten stellingen te gebruiken, die te beantwoorden met een vijfpunts Likertschaal, bestaand uit categorieën voor de mate van overeenstemming (eens/oneens), niet te beoordelen of niet van toepassing. De stellingen in het programma Multisourcefeedback.nl zijn gebaseerd op de CanMEDS rollen die door de KNMG zijn aangepast tot zeven algemene competentiegebieden van de medische specialist, 30 verdeeld in vier subcompetenties. Zoals eerder beschreven is een keuze gemaakt voor een aantal competenties. Voor de stellingen zijn zoveel mogelijk de door de KNMG gebruikte bewoordingen gehanteerd. Waar nodig zijn subcompetenties omgezet in een beschrijving van specifiek gedrag. Open vragen, bijvoorbeeld: wat vindt u een zeer positief aspect van het functioneren van deze arts-assistent? geven vaak waardevolle informatie over de context waarin kwantitatieve gegevens geïnterpreteerd worden; ook hebben veel deelnemers S25

25 Richtlijn multisource feedback voor de aios M.A. Horsman en Th.J. ten Cate in eerdere studies aangegeven dat ze geschreven opmerkingen de meest zinvolle aspecten van MSF vinden. Higgins beschrijft in 2004 vragenlijsten met 45 gesloten vragen en drie open vragen: 1) Wat zijn de sterkste punten van deze arts? 2) Welke specifieke aanpassing(en) in het gedrag zullen het meeste voordeel opleveren? en 3) Welke andere opmerkingen heeft u, die de arts mogelijk kunnen helpen bij het verbeteren en/of ontwikkelen van zijn/haar functioneren? 37 Uit de resultaten van de Nederlandse studie kan ook geconcludeerd worden dat kwalitatieve opmerkingen voor de aios van grote waarde zijn. Iedere categorie beoordelaars wordt dan ook gevraagd naar één of meer tips of opmerkingen om het functioneren van de arts (nog meer) te verbeteren. Het gebruik van kwantitatieve vragenlijsten bij MSF heeft als voordeel dat relatief gemakkelijk aanpassingen gedaan kunnen worden, vooral wanneer de vragenlijsten voor een formatief doeleinde gebruikt worden. 1 In veel studies wordt beschreven dat de beoordelingsinstrumenten vaak meerdere keren aangepast worden. Violato beschrijft in 2006 een evaluatie van vragenlijsten, die zijn ingevuld om kinderartsen in opleiding te beoordelen. Wanneer bij items door meer dan 20% van beoordelaars niet te beoordelen was ingevuld, werden deze vragen veranderd of weggelaten in een volgende versie van de formulieren. 11 Ook voor deze Richtlijn is deze aanpak gebruikt voor verdere aanpassing van de vragenlijsten. In de in Nederland verrichte studie bleken drie vragen aan medische collegae en twee vragen aan andere werkers in de zorg door meer dan 20% van de respondenten te zijn beantwoord met niet te beoordelen. Deze vragen zullen in een volgende versie worden aangepast. Voor geen van de vragen aan patiënten werd dit percentage gehaald. C. Validiteit en betrouwbaarheid van de vragenlijsten In deze paragraaf worden de begrippen inhouds- en constructvaliditeit en be - trouwbaarheid toegelicht. Vervolgens worden de resultaten van onze studie op deze aspecten besproken. In MSF procedures moet het bewijs voor validiteit opgebouwd worden om te bepalen of de beoor delingsinstrumenten het vermogen hebben te meten wat ze behoren te meten. Het onderzoeken van de validiteit van de instrumenten is een continu doorlopend proces. De totale vragenlijsten, de verschillende factoren en de subscores per competentie worden hierbij geanalyseerd. Omdat ook de score per vraag van belang kan zijn voor reflectie en voor het opstellen van een actieplan, wordt de validiteit van iedere losstaande vraag getoetst. 1 De content validity of inhoudsvaliditeit van een instrument bepaalt of de toetsmethode representatief is voor het gehele competentiegebied dat men wil meten. Deze inhoudsvaliditeit wordt in de regel gecreëerd bij de constructie van het instrument. In dit geval is het raamwerk van de CanMEDS competenties hiervoor gebruikt (zie hoofdstuk 11B). Constructvaliditeit staat voor de mate waarin het meetinstrument het construct (de competentie) meet dat men wil meten. Om te bepalen of hetzelfde construct wordt gemeten met de verschillende vragenlijsten kunnen correlaties tussen de scores van verschillende categorieën beoordelaars berekend worden. Men verwacht dan lagere correlaties tussen methodes die verschillende constructen meten, en hogere correlaties tussen methoden die verondersteld worden hetzelfde te meten. Een hoge correlatie kan er ook op wijzen dat hetzelfde wordt gemeten met twee verschillende methodes, waardoor één van de beoordelingsmethodes mogelijk achterwege kan blij- S26

26 Richtlijn multisource feedback voor de aios M.A. Horsman en Th.J. ten Cate ven. Tevens kunnen correlaties aantonen of gegevens van verschillende groepen beoordelaars juist verschillende en mogelijk aanvullende informatie opleveren. Matige correlaties (r =.30 to.50) kunnen erop duiden dat met de nieuwe manier van beoordelen andere competenties worden beoordeeld dan met bestaande methoden. Johnson en Cujec correleerden bijvoorbeeld cognitieve kennistoetsen met beoordelingen door collega-artsen en verpleegkundigen om te bepalen of deze beoordelingen overeenkwamen. 24 Lipner et al. correleerden hun data met eerdere beoordelingen van de algemene klinische competenties door opleiders. 13 Zelfbeoordeling en beoordeling door peers, evenals beoordelingen door verpleegkundigen, worden ook vaak aan elkaar gecorreleerd. Correlatiestudies in medische settings hebben aangetoond dat zelf-versus peerbeoordeling lage of niet-significante correlaties oplevert (r <.25), terwijl collegae versus andere groepen collegae meestal matig correleren Deze gegevens bevestigen het belang van het verkrijgen van gegevens uit verschillende groepen beoordelaars. 1 Een hoge correlatie tussen beoordelingen van de verschillende categorieën zou erop duiden dat beoordeling door slechts één van de categorieën volstaat. Behalve het bepalen van de validiteit van vragenlijsten is het van belang de betrouwbaarheid te meten. Hoewel de betrouwbaarheid van vragenlijsten op verschillende manieren bepaald kan worden, wordt meestal in eerste instantie de interne consistentie van het gehele instrument bepaald met Cronbach s alpha. Met deze methode kan bepaald worden in hoeverre verschillende items in een meetinstrument die eenzelfde kenmerk beogen te meten, dat ook daadwerkelijk doen. De interne consistentie van het meetinstrument is groot, als alle met dit doel opgenomen vragen hetzelfde kenmerk meten. Voor toepassingen van MSF in medische settings is aangetoond dat met gegevens die verkregen zijn met behulp van vragenlijsten, hoge waarden voor interne consistentie kunnen worden bereikt. Met de beoordelingsinstrumenten gebruikt door het CPSA-PAR Programma zijn bijvoorbeeld Cronbach s alpha waarden van boven 0.90 bereikt Als tweede of alternatieve bepaling van de betrouwbaarheid van een beoordelingsinstrument wordt in veel studies de generaliseerbaarheidstheorie toegepast. Deze benadering maakt een schatting mogelijk van de betrouwbaarheid met een verschillend aantal beoordelaars en verschillende aantallen vragen door het aantal beoordelaars te variëren In hoofdstuk 4 is dit type onderzoek en de resultaten van verschillende onderzoeken reeds toegelicht. Voor de start van het implementatieproces behoren de beoordelingsinstrumenten dus op meerdere wijzen getoetst te worden. Over het algemeen geldt dat hoe zwaarder de beoordeling meeweegt, hoe belangrijker het is om voldoende bewijs te leveren voor de betrouwbaarheid en validiteit van de instrumenten. 1 D. Resultaten studie OOR Utrecht en Amsterdam Met het eerder beschreven webbased programma is een pilotstudie verricht onder 70 aios Kinder genees kunde en Gynaeco - logie/obstetrie in de OOR Utrecht en Amsterdam (VU en UvA). Bij in totaal drie academische en acht perifere ziekenhuizen tussen juni en augustus 2008 werden totaal 1016 vragen lijsten ingevuld (zie Tabel 6). Deze studie was gericht op het bepalen van de betrouwbaarheid en validiteit van de vragenlijsten in deze Richtlijn en het bepalen van het gebruiksgemak en de haalbaarheid van de procedure. Gemid- S27

27 Richtlijn multisource feedback voor de aios M.A. Horsman en Th.J. ten Cate delde scores en responspercentages werden bepaald en de interne consistentie en intraclass correlaties werden berekend. De resultaten van de evaluatie van de haalbaarheid en het gebruiksgemak van de procedure volgen op korte termijn. Gezien de eerste resultaten en het lage percentage gemelde problemen met het webbased programma (1%) lijkt de conclusie gerechtvaardigd dat de procedure op grote schaal haalbaar is. Er was sprake van voldoende bereidheid tot medewerking; er wordt weinig tijdsinvestering gevraagd van de betrokkenen en de informatie is rijk gebleken. Responspercentages (aantal beantwoorde uitnodigingen) bedroegen 90, 87 en 72% voor respectievelijk medische collegae, andere werkers in de zorg en patiënten. Ook het aantal gegeven tips en opmerkingen, die aios vaak zeer zinvol achten, was hoog: 62% voor patiënten tot 79% voor medische collegae. Van de 70 aios die deelnamen aan de studie hadden echter slechts 16 aios een complete dataset van minimaal zes medische collegae en zes andere werkers in de zorg. De belang rijkste reden voor het lage gemiddelde aantal beoordelaars die door aios is gemeld, is de korte periode die aios kregen voor het verzamelen van de MSF van 22 beoordelaars. Deze pe ri o de bedroeg zes weken en vond daarnaast plaats aan het begin en tijdens de zomerperiode. Aios die op de IC (Kindergeneeskunde) werkten, net waren gewisseld van afdeling of op veel wisselende afdelingen werkten, meldden problemen met het vinden van voldoende beoordelaars. In het begin van de studieperiode bleek er ook enige weerstand bij het vragen van patiënten, enerzijds tegen het vragen van feedback op hun functioneren, anderzijds tegen het vragen om een adres. Positieve reacties van andere aios en/of het geven van nadere informatie over MSF/de procedure heeft tot een toename van het aantal Tabel 6. Gedetailleerde resultaten respons MSF pilotstudie. Totaal aantal Totaal aantal Gemiddeld Medische Andere Patiënten aios (%) beoor delaars aantal be- collegae werkers in (respons, %) (respons, %) oorde laars (respons, %) de zorg (range) (respons, %) Gemiddelde Gemiddelde Gemiddelde per aios per aios per aios (range) (range) (range) Totale respons 70 (78%) 1016 (83%) 14,5 (5-29) 420 (89,9%) 338 (86,9) 256 (71,7%) 6,0 (2-11) 4,8 (1-14) 3,7 (0-11) Aios Kinder- 190 (88,8%) 165 (89,2%) 147 (72,8%) 33 (47%) 504 (84%) 15,3 (8-29) geneeskunde 5,8 (2-10) 5,0 (1-14) 4,5 (0-11) Aios Gynae - cologie/ 37 (53%) 512 (84%) 13,8 (5-25) Obstetrie 230 (90,9%) 173 (84,8%) 109 (70,3%) 6,2 (3-11) 4,7 (0-7) 3,0 (0-10) S28

28 Richtlijn multisource feedback voor de aios M.A. Horsman en Th.J. ten Cate uitnodigingen geleid in het tweede deel van de studieperiode. Voor de verzamelperiode wordt naar aanleiding van deze resultaten drie maanden geadviseerd. Over de beoordelingen van deze collegae op overeenkomstige vragen over één aios werden intraclass correlaties (ICC) berekend voor de scores van alle collegae samen en voor de twee groepen apart. In Tabel 7 worden deze ICC s weergegeven in een correlatiematrix. Deze tabel bevat ICC s van beoordelingen van 16 aios, gegeven door totaal minimaal 12 collegae op overeenkomstige vragen voor medische en andere werkers in de zorg. Over de beoordelingen door patiënten zijn geen ICC s berekend aangezien er geen overeenkomstige vragen aan collegae werden gesteld. In deze voorlopige versie van de Richtlijn zijn, tot een nadere aanvulling volgt, de resultaten van de eerste pilot weergegeven in een matrix (Tabel 7). In deze matrix zijn de correlaties die als hoog zouden moeten gelden volgens bovenstaande hypothese gearceerd. Uit de matrix is op te maken dat de correlaties van dezelfde CanMEDS constructen vanuit de perspectieven van medici, niet-medici en patiënten niet consequent hoger zijn dan correlaties van verschillende constructen binnen de categorieën of over de categorieën van beoordelaars. Bovendien zijn de correlaties tussen de categorieën nergens hoog, met uitzondering van organisatie. Met andere woorden: de perspec tieven van medici, niet-medici in de zorg en van patiënten op dezelfde competentiegebieden zijn klaarblijkelijk verschillend, zoals gemeten met deze vragenlijsten, met uitzondering van het competentiegebied organisatie. Deze resultaten komen overeen met eerdere verrichte studies. 1-2 Zoals in Tabel 8 is weergegeven is de interne consistentie (Cronbach s alpha) van afzonderlijke competentiegebieden voor beoordelaarsgroepen, voor zover deze berekenbaar was, voldoende voor uitspraken per competentiegebied, c.q. per rapportage van scores per competentiegebied. 12. Logistieke verwerking Uit de relevante literatuur blijkt dat voor een voldoende haalbaarheid van de procedure de tijdsinvestering van alle betrokkenen niet te hoog moet zijn. Zoals beschreven in hoofdstuk 6, de benadering van bronnen, maken medische organisaties in het buitenland veelal gebruik van elektronische programma s dan wel van een extern onderzoeksbureau voor de uitvoering van MSF procedures. De MSF procedure, zoals voorgesteld in deze richtlijn, is op enige schaal slechts uitvoerbaar met een elektronisch programma dat administratie en gegevensverwerking voor zijn rekening neemt. Het programma Multisourcefeedback.nl is met steun van het CBOG tot stand gekomen en is vervaardigd om toegepast te kunnen worden in alle medische vervolgopleidingen in Nederland. Met dit webbased programma kunnen: opleiders de feedbackprocedure voor aios in gang zetten en monitoren; aios uitnodigingen versturen naar be - oor delaars; beoordelaars vragenlijsten invullen; geanonimiseerde feedbackrapporten wor den geraadpleegd door aios en op - lei ders; opleiders ingevulde vragenlijsten volledig inzien. In Figuur 1 is de procedure zoals deze verloopt met behulp van Multisourcefeedback.nl in een stroomdiagram weergegeven. S29

29 Richtlijn multisource feedback voor de aios M.A. Horsman en Th.J. ten Cate Tabel 7. Multi-Trait-Multi-Method correlatiematrix MSF pilotstudie. Medische collegae Comm Samenw Organis K&W Prof EPA Medische Comm collegae Samenw Organis K&W Profess EPA Andere werkers in de zorg Comm Samenw Organis K&W Prof EPA Andere Comm werkers Samenw in de zorg Organis K&W Profess EPA Patiënten Comm Prof Patiënten Comm Profess S30

30 Richtlijn multisource feedback voor de aios M.A. Horsman en Th.J. ten Cate Tabel 8. Interne consistentie vragenlijsten MSF pilotstudie. Vragenlijst/categorie Competentiegebied Cronbach s α Medische collegae Medisch handelen 0.72 Communicatie 0.73 Samenwerking 0.80 Organisatie 0.72 Kennis en wetenschap 0.64 Professionaliteit 0.85 Andere werkers in de zorg Communicatie 0.85 Samenwerking 0.84 Organisatie 0.79 Professionaliteit 0.86 START MSF-RONDE: De opleider vult 3 tot 6 maanden tevoren een datum voor een voortgangsgesprek in Aios ontvangt s: 1. instructies voor MSF & link naar website 2. gebruikersnaam & wachtwoord Na toestemming van collegae & patiënten vult aios adres in en verzendt een link naar vragenlijst Opleider bespreekt resultaten met aios Inzage in feedback rapport voor aios & opleiders: gemiddelde scores & anonieme opmerkingen Inzage opleider in verloop MSF, kan reeds voltooide vragenlijsten openen Automatische & verwerking van resultaten Inzage aios in verloop van respons, kan extra beoordelaars uitnodigen/herinneren Beoordelaar ontvangt met instructies & link om vragenlijst te openen en in te vullen Figuur 1. Stroomdiagram. A. Logistieke taken voor (plaatsvervangende) opleiders Zowel academische als perifere (plaatsvervangende) opleiders kunnen een account aanvragen bij de beheerder van het programma met vermelding van naam, instelling, specialisme en te gebruiken e- mailadres. De (plaatsvervangende) opleider moet geregistreerd staan bij de beroepsvereniging. Met de per ontvangen persoonlijke inloggegevens kan worden ingelogd op de homepage van het programma, waar een handleiding te vinden is voor (plaatsvervangende) opleiders. Aios moeten door de opleider eenmalig worden geregistreerd met hun geboorte- S31

31 Richtlijn multisource feedback voor de aios M.A. Horsman en Th.J. ten Cate datum, opleidingsjaar en adres. Eventueel kan deze administratieve taak worden overgedragen aan een secretaresse. Wanneer een aios wordt toegevoegd worden automatisch inloggegevens verstuurd naar de aios en is zijn/haar account geactiveerd. Afhankelijk van de werkplek kan een MSF ronde worden gestart door de perifere of de academische opleider. Dit dient maximaal zes maanden en minimaal twee maanden vóór het gesprek te gebeuren, zodat de aios genoeg tijd heeft om voldoende beoordelaars te selecteren. Nadat de procedure is gestart ontvangt de aios automatisch een met instructie voor het uitvoeren van de procedure en een link naar de site om beoordelaars uit te nodigen. In Box 2 is de inhoud van deze weergegeven. B. Logistieke taken voor aios Aios kunnen hun opleider vragen naar de mogelijkheid van het gebruik van Multisourcefeedback.nl. Zodra aios zijn toegevoegd in het programma, ontvangen zij persoonlijke inloggegevens. Na het starten van een MSF ronde door de opleider ontvangen aios bovenstaande zodat zij beoordelaars kunnen uitnodigen hen feedback te geven. Dit kan door het adres van collegae en patiënten in te voeren, nadat de aios om hun toestemming voor medewerking hebben gevraagd (zie later). Wanneer er geen adres is kan de aios zo nodig het eigen adres invullen, of dat van een afdelingssecretaresse. De direct ontvangen bevat naast een link naar de vragenlijst ook inloggegevens. Door de uit te printen en bijvoorbeeld aan een patiënt mee te geven kan diegene met deze gegevens vanaf een willekeurige computer met internetverbinding de vragenlijst openen via de website. Tijdens een MSF ronde kunnen aios in hun persoonlijke account zien wie al geantwoord heeft (niet hun Box 2. Instructie voor uitvoering procedure. Geachte mevrouw/de heer aios, Volgens de opgave die is ontvangen heeft u op dd-mm-jjjj a.s. een voortgangsgesprek. Ter voorbereiding hierop dient een Multi-Source Feedback procedure te worden uitgevoerd. Het is hiervoor noodzakelijk dat u een aantal personen uit uw omgeving vraagt om u met behulp van een vragenlijst feedback te geven op uw functioneren: a. zes tot acht medische collegae (minimaal één staflid en één collega aios) b. zes tot acht andere werkers in de zorg (minimaal twee verpleegkundigen) c. tien tot twaalf patiënten van de polikliniek of afdeling die u minimaal twee keer gezien heeft U wordt verzocht om uiterlijk één week voor het voortgangsgesprek alle adressen op te geven van de betreffende collegae en patiënten. U kunt dit doen door op de onderstaande link te klikken. De beoordelaars ontvangen van ons een korte vragenlijst. U kunt op de website zien welke beoordelaars u hebt uitgenodigd en wanneer een vragenlijst is voltooid. Ook kunt u beoordelaars een herinnering versturen of de beoordelaar verwijderen voordat de vragenlijst is voltooid. Uiterlijk vier dagen voor het voortgangsgesprek is op de website voor u en uw opleider een overzicht te zien van de gemiddelde scores en gegeven tips onder Voltooide feedbackprocedures. MSF link: Klink hier om collegae en patiënten uit te nodigen. Met vriendelijke groeten, Beheerder MSF antwoorden) en zo nodig nieuwe beoordelaars uitnodigen of herinneringen versturen. Op de homepage zijn instructies voor de aios en een toelichting voor beoordelaars te vinden. Het samenvattende feedbackrapport dat na afloop van een MSF ronde beschikbaar is op de website, kan geprint worden voor een handmatig portfolio. C. Afronden van de feedbackprocedure De procedure wordt automatisch één week vóór de datum van het voortgangsgesprek afgerond. Dan wordt een feedbackrapport opgemaakt, ter inzage voor zowel de aios als de opleider. Bij eventuele (logistieke) problemen tijdens de verzamelpe- S32

32 Richtlijn multisource feedback voor de aios M.A. Horsman en Th.J. ten Cate riode kan verlenging van deze periode nodig blijken; aan de opleider kan dan gevraagd worden de datum naar voren te schuiven. Verlenging is dus alleen mogelijk wanneer de datum in Multisourcefeedback.nl wordt gewijzigd door de opleider. D. Inzage in vertrouwelijke gegevens en bewaartermijn Het programma is een beveiligde website waartoe alleen toegang wordt verkregen met inloggegevens die beheerd worden door de programmabeheerder. Zowel opleiders als aios hebben een persoonlijke toegang. Alleen de opleider die de MSF ronde heeft gestart, heeft inzage in de afzonderlijke vragenlijsten die tijdens een MSF ronde zijn ingevuld. Academische opleiders hebben inzage in de gegevens en feedbackrapporten van de aios uit zijn/haar OOR. Perifere opleiders hebben alleen inzage in de feedbackrapporten van aios die op dat moment werkzaam zijn in hun instelling. 13. Van multisource feedback naar concrete feedback A. Weergave van de multisource feedback De resultaten van de beoordelingen kunnen op verschillende manieren worden weergegeven. In veel bestaande MSF procedures worden de scores van verschillende beoordelaars geaggregeerd, ofwel samengevat weergegeven voor de beoordeelde arts (soms per groep bronnen; soms is er van alle beoordelaars één gemiddelde score). De over het algemeen anonieme verwerking en weergave geldt zeker voor de door patiënten ingevulde vragenlijsten, aangezien de arts-patiëntrelatie niet beïnvloed dient te worden. Het verdient de voorkeur ook de beoordelingen door collegae anoniem te verwerken (zie hoofdstuk 7). Hoewel geaggregeerde scores de anonimiteit waarborgen, is het nadeel dat belangrijke verschillen in perspectieven moeilijker te herkennen zijn. Idealiter worden de scores van verschillende groepen beoordelaars apart weergegeven, waarbij zowel het gemiddelde als de spreiding van scores worden getoond, zodat verschillen in perspectieven toch enigszins zichtbaar zijn. Wanneer voldoende beoordelaars worden gebruikt, zal de anonimiteit gehandhaafd blijven. Vrije tekstboodschappen moeten zorgvuldig worden weergegeven (niet herleidbaar tot de beoordelaar) en in sommige omstandigheden zelfs misschien gecensureerd. 1 In sommige MSF procedures worden de scores van een individuele arts weergegeven samen met de gemiddelde scores van andere beoordeelde artsen De wijze waarop de arts de resultaten ontvangt en kan bespreken, verdient ook enige aandacht. Begeleiding rondom het ontvangen van de feedback is essentieel en het verdient dan ook de voorkeur om de resultaten niet te lang voor het geplande beoordelinggesprek te laten inzien. De feedback komt van collegae en opleidingsgenoten met wie de aios nog zal samenwerken in de toekomst. In de zeldzame gevallen dat er onverwacht een probleem in het functioneren blijkt te zijn, moet het voor de aios mogelijk zijn dit direct met de opleider te bespreken. In de praktijk leidt de MSF procedure vrijwel altijd tot een positieve beoordeling door vele collegae en patiënten. 1 Door het digitale programma Multisourcefeedback.nl wordt na afronding van de MSF, minimaal één week voorafgaand aan het (jaarlijkse) voortgangsgesprek, een samenvattend rapport opgemaakt voor aios en opleider. In het feedback - rapport worden de gemiddelde scores per categorie beoordelaars (respectievelijk medische collegae, andere werkers in de zorg en patiënten) en het aantal res- S33

33 Richtlijn multisource feedback voor de aios M.A. Horsman en Th.J. ten Cate pondenten per categorie getoond. De scores per groep en competentiegebied worden ook in staafdiagrammen weergegeven. Door op een score voor een competentiegebied te klikken, worden de gemiddelde scores per afzonderlijke vraag weergegeven. De tips voor verbetering per categorie beoordelaars worden geanonimiseerd weergegeven; hiervoor zijn minstens twee gegeven tips per groep vereist. Mogelijk kan er op termijn voor worden gekozen de gemiddelde resultaten van de aios te vergelijken met de scores van een referentiegroep, bestaande uit aios van hetzelfde opleidings - niveau. In Bijlage III is een voorbeeld te zien van een feedbackrapport in het programma Multisourcefeedback.nl. De verkregen resultaten van zo n MSF ronde vormen als het ware het eigendom van de aios, maar blijven in te zien door de opleider. De rol die beiden spelen in een MSF procedure wordt toegelicht in de volgende twee paragrafen. B. Rol van de aios In de voorgestelde MSF procedure is de aios verantwoordelijk voor het selecteren van de juiste bronnen, het vragen van medewerking aan beoordelaars en voor het toesturen van de vragenlijsten aan beoordelaars. Aangezien het functioneren van de aios beoordeeld wordt, heeft het de voorkeur hem/haar verantwoordelijk te laten zijn voor het verkrijgen van voldoende ingevulde vragenlijsten per groep beoordelaars (totaal minimaal 22 vragenlijsten) om een betrouwbare beoordeling te kunnen krijgen. Voor het verkrijgen van waardevolle feedback is het in het belang van de aios om zo relevant mogelijke beoordelaars te vragen, ofwel collegae waarmee geruime tijd is samengewerkt en patiënten waarmee zoveel mogelijk contact is geweest. Aios krijgen uiterlijk een week voordat de resultaten worden besproken in een voortgangsgesprek inzage in het feed - back rapport. Tijdens dit gesprek krijgt de aios de kans om de opleider toelichting te vragen op de resultaten. Van de aios wordt een actieve rol verwacht in de voorbereiding op en tijdens het gesprek. Wanneer de beoordeling de persoonlijke ontwikkeling tot doel heeft, is het opstellen van specifieke leerdoelen een belangrijk onderdeel in de feedbackmethode. 1 Eén van de deelnemende opleiders aan de Nederlandse studie heeft positieve ervaringen met het stellen van de volgende twee vragen aan de aios ter voorbereiding op het voortgangsgesprek: Welke punten van de MSF wil je meenemen wat betreft feedback op je gedrag en hoe wil je aan die punten gaan werken? Welke punten van de MSF wil je meenemen wat betreft feedback op je persoon en in hoeverre denk je hier verandering in aan te (moeten en/of kunnen) brengen? Aios kunnen door hun opleider gevraagd worden zichzelf te beoordelen aan de hand van de items op de vragenlijst voor zowel patiënten als collegae. Tijdens het voortgangsgesprek kunnen de resultaten van deze zelfbeoordeling vergeleken worden met de andere resultaten. Wanneer geen gebruik wordt gemaakt van een zelfbeoordeling kan het gesprek worden voorbereid door bijvoorbeeld te vragen wat gaat goed volgens de drie groepen, wat kan beter en hoe kan ik deze punten verbeteren. De leerdoelen kunnen volgens de SMART criteria opgesteld worden (specifiek, meetbaar, acceptabel/haalbaar, resultaatgericht en tijdgebonden). Whitehouse et al. beschrijven in hun studie over MSF dat de opleider na het voortgangsgesprek een samenvatting maakt van de MSF en een eindoordeel geeft dat gebaseerd is op de resultaten van de vragenlijs- S34

34 Richtlijn multisource feedback voor de aios M.A. Horsman en Th.J. ten Cate ten, op eventueel nader onderzoek (bijvoorbeeld toelichting door beoordelaars) en op bespreking van de resultaten met aios. 35 Het advies is om deze samenvatting niet door de opleider, maar door de aios te laten maken. De aios kan dan direct een vergelijking maken van de sterke en zwakke punten met zijn/haar zelfbeoordeling. Deze analyse en de onderliggende gemiddelde beoordelingen en geschreven opmerkingen worden opgenomen in het portfolio. C. Rol van de opleider MSF kent fundamentele verschillen met andere vormen van feedback. De ge - schikte persoon om de feedback aan de beoordeelde arts te verstrekken varieert afhankelijk van het doel van de MSF. In de MSF procedure zoals voorgesteld in deze Richtlijn, wordt geadviseerd de opleider de rol van feedbackgever te geven. Zowel de aios als de opleider krijgen voorafgaand aan een beoordelingsge sprek, of in ieder geval na afronding van een feedbackprocedure, een samenvattend rapport van de verkregen feedback. De opleider zal geen rol hebben in de selectie van beoordelaars, maar heeft wel zicht op de beoordelaars die door de aios gevraagd zijn een MSF vragenlijst in te vullen. Er wordt geadviseerd de opleider enkele weken voor het voortgangsgesprek te laten checken of de aios initiatief onderneemt en de tevoren gemaakte afspraken nakomt. De verwerking en samenvatting van de resultaten verloopt automatisch, zodat opleiders meer tijd kunnen besteden aan het eventueel vragen van toelichting aan beoordelaars en het op de juiste wijze bespreken van de resultaten met de aios. De opleider schift de eventuele extreem alarmerende boodschappen uit het samenvattende rapport. Deze kunnen eventueel met de betreffende collega worden doorgesproken. Het resultaat van deze terugkoppeling kan eventueel met de beoordeelde arts worden besproken; anonimiteit van de bron blijft hierbij echter vereist. De opleider kan door deze rol dus bepalen welke weging er wordt ge - geven aan de verzamelde gegevens. Uit zowel de gemiddelde scores als uit de geschreven opmerkingen kan een aantal sterke en zwakke punten worden gedestilleerd (mogelijk ook gebleken uit andere beoordelingsmethoden). Vervolgens wordt een grote lijn van feedback bepaald en met de aios besproken in een persoonlijk gesprek. De feedback dient zoveel mogelijk met expliciete voorbeelden te worden geïllustreerd. Het nut van het gebruik van MSF is sterk afhankelijk van de vaardigheden van de opleider om feedback te geven. Idealiter ontvangt hij/zij dan ook een training of instructie voor het geven van feedback volgend op de resultaten van de MSF. 3 Het geven van feedback moet onderscheiden worden van het geven van een beoordeling en het doel van MSF moet duidelijk zijn voor de opleider. Er wordt anoniem feedback gegeven op gedrag en de feedback kan daarmee worden gezien als de beoordeling van iemand als persoon, zowel door degene die feedback geeft als door degene die ontvangt. Door een gebrek aan voorbereiding van één of beide partijen kan het bespre ken van de feedback leiden tot misverstanden of erger. De verkregen feedback kan berichten opleveren die erg moeilijk zijn om te ontvangen (bijvoorbeeld collega-aios die het nemen van verantwoor delijk heid voor eigen handelen slecht beoordelen). De feedbackgevers, in dit geval de opleiders, moeten goed geïnformeerd zijn over het beleid van de organisatie ten aanzien van MSF en het doel en de werkwijze van de procedure. Ook moeten zij gewend raken aan de vragenlijsten en daaruit voortvloeiende gegevens. Verder moet men bewust wor- S35

35 Richtlijn multisource feedback voor de aios M.A. Horsman en Th.J. ten Cate den van de verschillende reacties die mensen kunnen vertonen op het ontvangen van feedback en de vaardigheden die nodig zijn voor het houden van een constructief feedbackgesprek. Een vaardige feedbackgever zal een individu kunnen helpen om conclusies te trekken en deze te koppelen aan verschillende personen en situaties. 41 In de literatuur worden belangrijke aspecten genoemd van het geven van feedback naar aanleiding van MSF. Vier hoofdprincipes voor het geven van feedback, ook toepasbaar bij MSF, worden door Holmboe et al. beschreven in een review over feedback naar aanleiding van korte klinische beoordelingen, die ook hier nuttig kunnen zijn. Het feedbackgesprek dient gericht te zijn op het vaststellen van sterke punten en op het helpen van de aios te bepalen op welke punten verbetering nodig is. 42 Vermeden moet worden om zich tijdens het gesprek te veel te richten op geïsoleerde negatieve opmerkingen of uitzonderingen. Beoordelaars zouden constructieve in plaats van destructieve feedback moeten geven, maar desondanks kunnen de geschreven opmerkingen iemand doen schrikken of overstuur maken. Adequate ondersteuning en verdere begeleiding zijn in deze situaties zeer belangrijk. Verder is het belangrijk te onthouden dat de MSF suggereert welke competenties verbeterd kunnen worden, maar dat nader onderzoek nodig is om de precieze aard en ernst van de problemen te bepalen. Bij een lage gemiddelde score voor communicatie met patiënten kunnen bijvoorbeeld andere beoordelingstechnieken, zoals video-opname, gebruikt worden om de precieze aard van het probleem vast te stellen. 4 Tot slot is het belangrijk dat wanneer probleemgebieden naar voren zijn gekomen er door de opleider en aios een duidelijk actieplan wordt gemaakt door leerdoelen vast te leggen in een persoonlijk ontwikkelingsplan en dat dit plan navolging krijgt in vervolggesprekken. 42 De resultaten van de MSF moeten in combinatie met andere beoordelings - methoden worden geïnterpreteerd. Desondanks biedt deze manier van beoordelen op zichzelf voor artsen in opleiding een waardevolle kans om gestructureerde feedback te krijgen van uiteenlopende collegae. Op die manier kunnen zij meer inzicht krijgen in hun eigen rol en functioneren als professional, wat een zinvolle professionele ontwikkeling vergemakkelijkt. 4 Wanneer opleiders meerdere feedback - gesprekken hebben gehouden, kunnen zij waardevolle informatie verschaffen over de thema s die veel voorkwamen tijdens de gesprekken. Hierbij moet natuurlijk wel de privacy van individuen gehandhaafd blijven. Deze thema s kunnen een stimulans vormen om breder gedragen problemen in de opleiding aan te pakken Opname gegevens in het portfolio Gedurende de opleiding worden de samenvattende rapporten van voltooide feedbackprocedures bewaard in het programma Multisourcefeedback.nl. Het heeft de voorkeur een papieren of digitale versie van het samenvattend rapport van een MSF ronde op te nemen in het portfolio. Na het voort gangsgesprek zijn de voltooide vragenlijsten niet meer afzonderlijk in te zien, tenzij er naar aan leiding van het voortgangsgesprek behoefte blijkt te zijn aan nader onderzoek. Om zelfreflectie te stimuleren kan de sterkte/ zwakte analyse die de aios maakt naar aanleiding van o.a. de multisource feedback ook een verplicht onderdeel van het portfolio vormen. Tot slot wordt geadviseerd een sterk negatief ingevulde vragenlijst op te nemen in het dossier dat de opleider van de aios heeft. Het MSF programma is niet ontwikkeld als onderdeel van een specifiek elektro- S36

36 Richtlijn multisource feedback voor de aios M.A. Horsman en Th.J. ten Cate nisch portfolio. Niettemin leent het zich goed voor koppeling aan een dergelijk systeem. Het Maastricht-Manchester Toets - service e-portfolio model in ontwikkeling biedt thans de mogelijkheid om rappor - tages van Mutisourcefeedback.nl automatisch te integreren in de overall rapportage voor aios. 15. Beschreven effecten van multisource feedback op het functioneren van artsen Studies tonen aan dat veel artsen de gegevens van MSF willen gebruiken om veranderingen in hun handelen en functioneren te maken, maar de mate waarin de gegevens gebruikt worden kan worden beïnvloed door tal van interne en externe factoren. De interne factoren omvatten de eigen perceptie van artsen van hun prestaties, emoties, persoonlijke verwachtingen, en van hun persoonlijke waarden en capaciteit ten aanzien van verandering. De externe factoren die de arts beïnvloeden omvatten de aard, geloofwaardigheid, specificiteit en de consistentie van de feedback vergeleken met andere feedback en de barrières voor verandering. 43 In dit kader is het belangrijk om realistische verwachtingen te hebben over verandering, aangezien er aanzienlijke variatie bestaat in hoe informatief de gegevens zijn voor de persoon, evenals in de waargenomen noodzaak tot verandering. 44 Er zijn tot op heden nog geen longitudinale studies gepubliceerd in de medische setting, die het effect op scores gedurende twee of meer tijdspannes onderzochten. Dit is echter wel onderzocht in het bedrijfsleven en in een meta-analyse van 24 longitudinale studies waarbij meer dan twee metingen verricht werden, en waar aangetoond werd dat de meetbare verbetering over het algemeen klein was, maar meer waarschijnlijk was voor sommige ontvangers dan voor anderen. 45 Verbetering was meer waarschijnlijk wanneer gegevens een noodzaak tot verandering suggereerden, ontvangers een positieve visie hadden op feedback, zelf de behoefte hadden om hun gedrag te veranderen, positief reageerden op de feedback, geloofden in haalbaarheid van verandering, toepasselijke doelstellingen maakten om hun gedrag aan te passen en wanneer actie werd ondernomen tot verbetering van vaardigheden en prestaties. Dit soort analyses van het gebruik van de gegevens door de feedbackontvangers zijn belangrijk bij het proberen te verkrijgen van voldoende bewijs voor validiteit van de be - oordelings instrumenten. Wanneer men - sen hun feedbackgegevens negeren, is het wel erg moeilijk om voldoende argumenten voor geldigheid van de procedure te vergaren. Brinkman et al. rapporteerden in 2007 de resultaten van een gerandomiseerde gecontroleerde trial waarin het effect van MSF op communicatieve vaardigheden en professionaliteit van kinderartsen in opleiding werd onderzocht. 46 Achttien aios kindergeneeskunde werden tweemaal volgens een MSF procedure beoordeeld door ouders van patiënten en door verpleegkundigen; zij vulden een zelfbeoordeling in en kregen een coachingsessie, naast de bestaande standaard feedback. In de controlegroep kregen 18 aios alleen de standaardfeedback; tot het einde van de trial werden zij geblindeerd voor de resultaten van beoordelingen door verpleegkundigen en ouders. Beide groepen werden tweemaal beoordeeld, met een tussenliggende periode van vijf maanden. De beoordelingen door patiënten verbeterden in beide groepen; in de eerste groep leken de scores meer verbeterd, er werden echter geen statistisch significante verschillen gevonden. De beoordelingen door verpleegkundigen bleven in de eerste groep gelijk of verbeterden, maar de scores in de tweede groep S37

37 Richtlijn multisource feedback voor de aios M.A. Horsman en Th.J. ten Cate verslechterden. De verschillen in scores waren statistisch significant en suggereerden een positief effect van MSF op het gebied van effectief communiceren met patiënten en familie, het op tijd vervullen van taken en het demonstreren van verantwoordelijkheid en aansprakelijkheid. Deze studie heeft dus aangetoond dat de interventie MSF een positieve invloed kan hebben op de competenties communicatie en professionaliteit. 16. Implementatie van de multisource feedback en mogelijke weerstanden Ten aanzien van het daadwerkelijk invoeren van MSF is in de voorgaande hoofdstukken al een aantal adviezen gegeven. In dit hoofdstuk worden belangrijke aspecten van de implementatie van MSF en de eventuele weerstanden bij invoering van het proces besproken. Tot op heden bestond er in de medische vervolgopleidingen geen gestructureerde beoordeling van het functioneren van aios door collega s waarmee nauw wordt samengewerkt of door patiënten. MSF zal dus voor vrijwel alle betrokkenen onbekend zijn en een goede voorlichting over de procedure is dan ook van belang. Wat betreft schriftelijke voorlichting is behalve deze Richtlijn ook een folder beschikbaar over het programma Multisourcefeedback.nl, en te downloaden van de betreffende website. Tijdens trainingen voor opleiders, stafleden en aios kan MSF mondeling toegelicht worden en kan worden geoefend met het bespreken van de resultaten door de opleider met de aios. Betrokken boordelaars worden bij het digitaal invullen van de vragenlijsten zo duidelijk mogelijk voorgelicht over het doel van de MSF, over de anonieme weergave van resultaten en over de beveiliging van gegevens. Het lijkt logistiek niet haalbaar om alle beoordelaars te trainen. Behalve goede voorlichting zijn twee andere belangrijke praktische uitdagingen in de ontwikkeling van een MSF procedure het ontwerpen van geschikte beoordelingsinstrumenten voor alle be - oordelaars en het organiseren van de gegevensverzameling van een grotere groep individuen om tot een geaggregeerd feedbackrapport te komen, waarbij vertrouwelijkheid van gegevens wordt gewaarborgd. 47 In hoofdstuk 7 is de ano - nimiteit van beoordelaars besproken. De keuzes die hierbij gemaakt zijn hebben als doel de weerstand te verkleinen ten aanzien van de mogelijk negatieve invloed van MSF op persoonlijke werk- of artspatiëntrelaties. Met een automatische procedure kan MSF op grote schaal worden uitgevoerd en kan een te hoge tijds - investering van betrokkenen worden voorkomen. Ten behoeve van een logistieke verwerking met een lage tijdsinvestering voor betrokkenen is een digitaal programma ontworpen, waarmee een studie is verricht onder 70 aios. De geschiktheid van de beoordelingsinstrumenten is onderzocht aan de hand van de grote aantallen vragenlijsten die verkregen werden in deze studie. De vragenlijsten zijn voldoende valide en betrouwbaar gebleken voor een formatief doel. Het proces van implementatie van deze nieuwe procedure in de bestaande culturen en organisaties vergt tijd. Voor de invoering en aanpassing van de procedure kan een periode van twee tot drie jaar nodig zijn. Goede MSF procedures vereisen steun en toewijding van de leiders van organisaties of afdelingen, goede communicatie met de deelnemers aan de procedure over doel, werkwijze en gegevensverwerking en tot slot een gemotiveerd aansturend kernteam dat het implementatieproces kan begeleiden. 1 Van steun en vertrouwen van opleiders, stafleden, aios en overige betrokkenen ten aanzien van S38

38 Richtlijn multisource feedback voor de aios M.A. Horsman en Th.J. ten Cate MSF als formatieve feedbackmethode zal in Nederland in sommige gevallen al sprake zijn, aansturing lijkt dan minder nodig. In andere gevallen zal deze nog moeten groeien en sommige betrokkenen zullen om verschillende redenen de methode permanent wantrouwen. Opleiders kunnen aios stimuleren door zichzelf ook open te stellen voor feedback, bijvoorbeeld om feedback te vragen op zijn/ haar opleiderskwaliteiten. Tijdens de implementatie of eerste ronde kan tegen verschillende weerstanden worden aangelopen bij alle groepen betrokkenen. Aios kunnen bijvoorbeeld moeite hebben met de acceptatie van het beoordeeld worden door collega s van hun eigen of andere disciplines. Zij kunnen bang zijn voor slechte beoordelingen van collega s/patiënten (waarmee zij misschien ook nog een nauwe band hebben) en voor de eventuele maatregelen bij een slechte beoordeling. Ook kunnen de beoordeelde artsen bang zijn voor het publiek worden van deze gegevens, of voor een onvoldoende vertrouwelijke behandeling van ge ge vens. 2 Een gebrek aan vertrouwen in de anonieme verwerking van gegevens kan bij beoordelaars leiden tot een te hoge beoordeling of weerstand in het geven van tips ter verbetering. 1 Beoordelaars kunnen moeite hebben met het geven van een eerlijk en oprecht oordeel over het functioneren van (collega-) artsen. Wanneer deelnemers meer vertrouwd raken met het hele proces, neemt de angst en weerstand ten aanzien van de procedure vaak af en wordt het vermogen om de procedure effectief toe te passen meestal groter. 37 Bij de ontwikkeling en invoering van MSF is het tevens belangrijk zich te realiseren dat de feedback slechts een onderdeel is van meerdere beoordelingsprocessen gedurende de opleiding. In tegenstelling tot reeds gestandaardiseerde beoordelingsmethoden kunnen kleine variaties bij de invoering van het proces echter tot grote verschillen leiden in de kwaliteit van de informatie die wordt verkregen. Het is dan ook van belang rekening te houden met mogelijke weerstanden van deelnemers en deze bespreekbaar te maken. In de toepassing van Multisourcefeedback.nl procedure bij de opleiding Gynaecologie/Obstetrie in de Onderwijs- en opleidingsregio Amsterdam/AMC is met succes één maand per jaar uitgeroepen tot MSF-maand ; in de weken daarvoor doorlopen alle aios de procedure. In het andere half jaar wordt een vergelijkbare feedbackprocedure uitgevoerd waarin de aios de klinische stafleden beoordelen. Van deze complementaire procedure gaat een grote kracht uit van een open en kwetsbare opstelling waarvan zowel aios als de klinische staf beter worden. Bij het werken met MSF zijn de visies van de eindgebruikers en van degenen die worden beoordeeld een essentieel onderdeel van de implementatie en evaluatie. Verschillende studies tonen aan dat zowel de beoordelaars als beoordeelde artsen MSF zien als een belangrijk beoordelingsinstrument Higgins et al. beschrijven in 2004 dat participerende aios positiever reageren op MSF naarmate de procedure langer bestaat. Volgens de auteurs kan dit secundair zijn aan de angst die er in eerste instantie bestond om door uiteenlopende collegae te worden beoordeeld. Ook geven zij aan dat iedere verandering in de cultuur van een afdeling of organisatie leidt tot weerstanden, die echter de neiging heeft met het vorderen van de tijd te verminderen. Dit is zeker het geval wanneer een positieve cyclus van verandering in gang gezet wordt, gekenmerkt door verbetering van de omgang tussen aios en andere werknemers in de zorg. 37 In de acceptatie van het proces kan meespelen dat de feedback die wordt verkregen met MSF, in tegen- S39

39 Richtlijn multisource feedback voor de aios M.A. Horsman en Th.J. ten Cate stelling tot toetsing van kennis en vaardigheden, zeer gevoelig van aard kan zijn. Wanneer de feedback op het functioneren niet goed wordt gecommuniceerd of weergegeven, kan dit direct of op lange termijn ernstige gevolgen hebben. Artsen werken vaak gedurende langere tijd samen met verschillende collegae. Het ontdekken dat collegae hun prestaties als onvoldoende of suboptimaal beoordelen, kan een grote verrassing zijn en tot onbedoelde reacties leiden, zelfs tot lang nadat de feedback is gegeven Onvoldoende aandacht voor de beoordelaars, de setting waarin de procedure plaatsvindt en voor de wijze waarop feedback wordt gegeven kan de bruikbaarheid van MSF ernstig verminderen Multisource feedbackprocedures voor de minder patiëntgebonden specialismen Verreweg het meeste onderzoek over MSF voor medische opleidingen is uitgevoerd voor patiëntgebonden specialismen. Voor deze specialismen is deze Richtlijn en het programma Multisourcefeedback.nl primair bedoeld. Uiteraard kan in de opleiding in andere medische specialismen, waaronder radiologie, medische microbiologie en anaesthesiologie MSF evenzeer nuttig zijn. Multisourcefeedback.nl kan ook daar worden toegepast, maar dan met openlating van de categorie van de patiënten, zodat twee groepen van beoordelaars overblijven. Literatuur 1. Lockyer J, Clyman SM, Holmboe E, Hawkins R (eds) in: A Practical Guide to the Evaluation of Clinical Competence, Elsevier, 2007 (MSF Chapter), in press. 2. Lockyer J. Multisource feedback in the assessment of physician competencies. J Contin Educ Health Prof 2003 Winter; 23(1): Archer J, Norcini J, Davies HA. Peer review of paediatricians in training using SPRAT. BMJ 2005; 330: Davies HA, Archer JC. Multi source feedback using Sheffield Peer Review Assessment Tool (SPRAT): Development and practical aspects. Clinical Teacher 2005; 2(2): Hesketh EA, Anderson F, Bagnall GM, Driver CP, Johnston DA, Marshall D, et al. Using a 360 degrees diagnostic screening tool to provide an evidence trail of junior doctor performance throughout their first postgraduate year. Med Teacher 2005; 27(3): Archer J, Norcini J, Southgate L, Heard S, Davies H. Mini-PAT (peer assessment tool): A valid component of a national assessment programme in the UK? Adv in Health Sciences Education 2006 [DOI /s ]. 7. Woolliscroft JO, Howell JD, Patel BP, Swanson DB. Resident-patient interactions: The humanistic qualities of internal medicine residents assessed by patients, attending physicians, program supervisors and nurses. Acad Med 1994; 69(3): Violato C, Marini A, Toews J, Lockyer J, Fidler H. Using peers, consulting physicians, patients, coworkers and self to assess physicians. Acad Med 1994;72 (10 S): Hall W, Violato C, Lewkonia R, Lockyer J, Fidler H, Toews J., et al. Assessment of physician performance in Alberta: The Physician Achievement Review Project. CMAJ 1999;161 (1): Violato, C, Lockyer, JM, Fidler H: Multi source feedback. A method of assessing surgical practice, BMJ 2003;326: Violato C, Lockyer J, Fidler H. The assessment of pediatricians by a regulatory authority, Paediatrics 2006;117: Violato C, Marini A, Toews J, Lockyer J, Fidler H. Feasibility and psychometric properties of using peers, consulting physicians, co-workers, and patients to assess physicians. Acad Med 1997; 72(10 Suppl 1):S Lipner RS, Blank LL, Leas BF, Fortna GS: The value of patient and peer ratings in recertification, Acad Med 2002;77 (10S): College of Physicians and Surgeons of Alberta, Physician Achievement Review Program: Evans R, Elwyn G, Edwards A. Review of instruments for peer assessment of physicians. BMJ 2004; 328: Mazor K, Clauser BE, Holtman M, Margolis MJ. Evaluation of Missing Data in an Assessment of Professional Behaviors. Acad Med. 2007;82(10 Suppl):S44-S Epstein RM. Assessment in medical education. N Engl J Med Jan 25;356(4): Crossley J, Eiser C, Davies HA. Children and their parents assessing the doctor-patient interaction: a rating system for doctors communication skills. Med Educ 2005;39(8): S40

40 Richtlijn multisource feedback voor de aios M.A. Horsman en Th.J. ten Cate 19. Norcini JJ. Peer assessment of competence: Med Educ 2003; 37(6): Ramsey PG, Carline JD, Inui TS, Larson EB, LoGerfo JP, Wenrich MD. Use of peer ratings to evaluate physician performance. JAMA 1993; 269: Rezler AG, Bruce NC, Schmitt BP, et al. Dilemmas in the evaluation of residents. Proceedings of the Annual Conference on Resident Medical Education 1986; 25: Wenrich MD, Carline ID, Giles LM, Ramsey PG. Ratings of the performances of practicing internists by hospital-based registered nurses. Acad Med 1993; 68: Davis JD. Comparison of faculty, peer, self, and nurse assessment of obstetrics and gynecology residents. Obstet Gynecol Apr; 99(4): Johnson D, Cujec B. Comparison of self, nurse and physician assessment of residents rotating through an intensive care unit. Critical Care Medicine 1998; 26: Wood L, Hassell A, Whitehouse A, Bullock A, Wall D. A literature review of multi-source feedback systems within and without health services, leading to 10 tips for their successful design. Med Teach 2006 Nov;28(7): Lockyer J, Blackmore D, Fidler H, Crutcher R, Salte B, Shaw K, Ward B,Wolfish N. A study of a multi-source feedback system for international medical graduates holding defined licences. Med Educ 2006 Apr; 40(4): Butterfield PS, Mazzaferri EL. A new rating form for use by nurses in assessing residents humanistic behavior. J Gen Intern Med 1991; 6: Ramsey PG, Wenrich MD. Use of professional associate ratings to assess the performance of practicing physicians: past, present, future. Adv Health Sci Educ Theory Pract 1999; 4(1): Wood L, Wall D, Bullock A, Hassell A, Whitehouse A, Campbell I. Team observation : a sixyear study of the development and use of multisource feedback (360-degree assessment) in obstetrics and gynaecology training in the UK. Med Teach 2006 Nov; 28(7): Bleker OP, Cate Th.J. ten, Holdrinet RSG. De algemene competenties van de medisch specialist in de toekomst. Tijdschrift voor Medisch Onderwijs 2004;23(1): Ten Cate TJ. Trust, competence, and the supervisor s role in postgraduate training. BMJ 2006; 333; Sargeant JM, Mann KV, Ferrier SN, Langille DB, Muirhead PD, Sinclair DE. Responses of rural family physicians and their colleagues and coworker raters to a multi-source feedback process: a pilot study. Acad Med 2003;78 (S10): Penny JA. Exploring differential item functioning in a 360-degree assessment: rater source and method of delivery. Organisational Research Methods 2003;6(1): Payne, T. Editorial: 360 degree assessment and feedback. International Journal of Selection and Assessment 1998; 6(1): Whitehouse A., Hassell A., Wood L., Wall D., Walzman M., Campbell I. Development and reliability testing of TAB a form for 360º assessment of senior house officers professional behaviour, as specified by the General Medical Council. Med Teach 2005;27: Eva K, Regehr G. Self-Assessment in the Health Professions: A Reformulation and Research Agenda. Acad Med 2005;80(10):S46-S Higgins RS, Bridges J, Burke JM, O Donnell MA, Cohen NM, Wilkes SB. Implementing the ACGME general competencies in a cardiothoracic surgery residency program using 360-degree feedback. Ann Thorac Surg 2004 Jan;77(1): Bracken DW, Timmreck CW, Church AH (Eds): The Handbook of Multisource Feedback: The Comprehensive Resource for Designing and Implementing MSF Processes. San Francisco: Jossey-Bass, Cox EP. The optimal number of response alternatives on a scale. J Marketing Research 1980; 17: Lockyer JM, Violato C. An examination of the appropriateness of using a common peer assessment instrument to assess physician skills across specialties. Acad Med Oct;79(10 Suppl): S British Psychological Society: org.uk/[zoek op: 360 degree feedback]. 42. Holmboe ES., Yepes M, Williams F, Huot SJ, Feedback and the mini clinical evaluation exercise. J Gen Intern Med, (5 Pt 2): Fidler H, Lockyer J, Toews J, Violato C: Changing physicians practices: The effect of individual feedback. Acad Med 1999;74: Sargeant J: Multi-source feedback for physicians learning and change. Maastricht University. Doctoral dissertation. September Smither JW, London M, Reilly RR: Does performance improve following multisource feedback? A theoretical model, meta-analysis and review of empirical findings. Personnel Psychology 2005; 58: Brinkman WB, Geraghty SR, Lanphear BP, Khoury JC, Gonzalez del Rey JA, Dewitt TG, Britto MT. Effect of multisource feedback on resident communication skills and professionalism: a randomized controlled trial.arch Pediatr Adolesc Med 2007 Jan;161(1): Toolbox: Accreditation Council for Graduate Medical Education Competencies: org/outcome/comp/compfull.asp S41

41 Richtlijn multisource feedback voor de aios M.A. Horsman en Th.J. ten Cate De auteurs: Prof. dr. Th.J. ten Cate is hoogleraar medische onderwijskunde en directeur Expertisecentrum voor Onderwijs en Opleiding, UMC Utrecht. Drs. M.A. Horsman is huisarts in opleiding en was te tijde van dit project werkzaam bij het Expertisecentrum voor Onderwijs en Opleiding, UMC Utrecht. Correspondentieadres: Prof. dr. Th.J. ten Cate, Expertisecentrum voor Onderwijs en Opleiding, UMC Utrecht, postbus 85500, 3508 GA Utrecht. Belangenconflict: geen gemeld Financiële ondersteuning: geen gemeld S42

42 Tijdschrift voor Medisch Onderwijs, april 2010 Vol. 29, nr. 2, Suppl. 1, p Bijlagen Bijlage I. Samenvatting resultaten literatuur Studie/land Specialisme/ populatie Beoordelaars (1) (aantal per arts) Competenties (2) Vragenlijsten Beoordelingsschaal (3) Cronbach s (4) Ep2 (5) SPRAT (3, 4) Aios Aios >jrs. (23%) Domains 1 lijst 6-punts? Kinderg. Peers (31%), Good Medical 24 items geen NB, 95% CI UK Consulent (20%) Practice vrije tekst Verplk (23%), Med. handelen totaal 8 Geen patiënten Communicatie Professional. Samenwerken Organisatie Mini-PAT (6) Divers Med. collegae, Idem SPRAT 1 lijst 6-punts? 1e jaars aios Verpl.kundigen, 16 items categorie NB, 95% CI UK Paramedici vrije tekst Totaal 12 Geen patiënten TeamAssessment Aios Idem Mini-PAT Idem SPRAT 1 lijst, 4-punts,? ICC Behaviour (TAB) Gyn/obstr Totaal 10 vraagt naar geen NB, 0.80 (35) Geen patiënten opmerkingen vrije tekst 95% CI UK ABIM (13) Huisartsen Aios (10-11x) ACGME Peer: 11 items Peer/vpk-en:? > 0,70 Internisten Verplk (10-15x) Domains Vpk: 13 items 9-punts VS Patiënt (25x) Med. handelen Patiënten: Patiënt: Zelf Communicatie 10 items 5-punts Professional. Geen NB Samenwerken ABIM Aios Kinderg. Verplk (15,8x) Med. handelen Vpk: punts, > 0,96? (46) Patiënt (19,1x) Communicatie open vraag geen NB Zelf Professional. Ouders: 10 + VS Samenwerken open vraag Organiseren Zelf: 24 items PHAST Diverse spec. Aios/staflid Critical Versch. aantal 4-punts,?? (5) 1e jaars aios (2x) behaviours items per categorie NB Verplk (1x) Med. handelen domein (totaal Schotland Totaal 4 Communicatie 4 domeinen) Geen patiënten Professional. Samenw./Org S43

43 Bijlagen Vervolg Bijlage I. Studie/land Specialisme/ populatie Beoordelaars (1) (aantal per arts) Competenties (2) Vragenlijsten Beoordelingsschaal (3) Cronbach s (4) Ep2 (5) CPSA-PAR Chirurgen Aios (6x) ACGME- Peer: punts,? > 0,70 (8, 9, 10, 12, 13) Huisartsen Verplk (6x) domeinen items, co- eens/oneens Patiënt (22x) Med. handelen workers: 17-34, categorie NB Canada Communicatie patiënten: Professional items (totaal 11 cat.) CPSA-PAR Kinderartsen Medische Communicatie Collega/artsen: 5-punts, > 0,95 > 0,70 (20) collegae (8x) Professional. 38 items eens/oneens Verplk (8x) Samenwerken Coworkers: 22 categorie NB Canada Patiënt (24x) Onderwijs Patiënten: 40 Zelf Zelf: 37 items Legenda: (1) Gebruikte bronnen: tussen haakjes percentage bronnen, in overige rijen absoluut aantal bronnen. (2) Competenties en gedragsdomeinen uit artikelen zijn zoveel mogelijk herleid naar CanMEDS rollen. (3) NB: categorie niet te beoordelen of niet geobserveerd. (4) Maat voor interne consistentie van vragenlijsten. (5) Generaliseerbaarheidscoëfficiënt; ICC=intraclass coëfficiënt, in sommige studies bepaald. S44

44 Bijlagen Bijlage IIA. Vragenlijst voor medische collegae. Vragenlijst voor collega-artsen: het functioneren van de arts-assistent Naam aios: 1. Uw naam: Datum: 2. Functie: 3. Kent u deze aios van de: afdeling / polikliniek / beide 4. Periode waarover u aios beoordeelt: afgelopen (omcirkel) week / 2 weken / maand / > 1 maand / > 3 maanden OMCIRKELEN (hoe hoger hoe beter): 1 1 = Helemaal mee oneens; 2 = Mee oneens 3 = Deels mee eens/deels mee oneens 4 = Mee eens; 5 = Helemaal mee eens NVT: Niet te beoordelen of niet van toepassing Geef aan in hoeverre u het eens bent met de onderstaande stellingen: Deze arts Medisch handelen: 5. Diagnosticeert patiëntproblemen effectief NVT 6. Handelt complexe patiëntproblemen zelfstandig af NVT 7. Weegt kosten en baten bij diagnostiek en behandeling goed af NVT Communicatie: 8. Communiceert goed met patiënten en familie NVT 9. Communiceert goed met collegae NVT 10. Staat open voor verbale en non-verbale reacties en emoties NVT 11. Presenteert tijdens besprekingen patiëntencasus accuraat en beknopt NVT 12. Is zowel duidelijk als volledig in schriftelijke verslaglegging NVT Samenwerking: 13. Draagt de zorg voor patiënten zowel effectief als zorgvuldig over NVT 14. Overlegt tijdig met andere zorgverleners NVT 15. Waardeert en respecteert de kennis en ervaring van anderen NVT 16. Houdt zich aan afspraken en aan afgesproken beleid NVT 17. Neemt verantwoordelijkheid voor het eigen handelen NVT Organisatie: 18 Coördineert de zorg voor patiënten op effectieve wijze NVT 19. Is bereikbaar en toegankelijk NVT 20. Deelt de tijd effectief in met juiste prioriteiten NVT 21. Organiseert het werk naar een balans in patiëntenzorg en persoonlijke ontwikkeling NVT Kennis & Wetenschap: 22. Is bereid en in staat anderen te trainen of onderwijs te geven NVT 23. Handelt evidence-based waar mogelijk NVT 24. Geeft correct feedback op het functioneren van anderen NVT S45

45 Bijlagen Vervolg Bijlage IIA Professionaliteit: 25. Stelt tijdens de dagelijkse werkzaamheden het belang van de patiënt centraal NVT 26. Houdt bij lichamelijk onderzoek rekening met de privacy van patiënten 27. Kent het dossier en de toestand van de patiënt NVT 28. Is zich bewust van eigen grenzen en handelt daarbinnen NVT 29. Accepteert feedback van anderen NVT 30. Handelt volgens de ethische gedragsregels NVT 31. Deze arts zou ik aanraden aan mijn eigen familie of vrienden NVT Deze collega vertrouw ik de volgende kritische verantwoordelijk heid toe om zelfstandig uit te voeren: 32. Voeren van een slecht nieuwsgesprek NVT 33. Het leveren van een intercollegiaal consult NVT 34. Geeft u hier één of meer tips of opmerkingen om het functioneren van deze arts (nog meer) te verbeteren. Of geeft u hier een toelichting op één van bovenstaande vragen. S46

46 Bijlagen Bijlage IIB. Vragenlijst voor andere werkers in de zorg. Vragenlijst voor collega s in de zorg: het functioneren van de arts-assistent Naam aios: 1. Uw naam: Datum: 2. Functie: 3. Kent u deze aios van de: afdeling / polikliniek / beide 4. Periode waarover u aios beoordeelt: afgelopen (omcirkel) week / 2 weken / maand / > 1 maand / > 3 maanden OMCIRKELEN (hoe hoger hoe beter): 1 1 = Helemaal mee oneens; 2 = Mee oneens 3 = Deels mee eens/deels mee oneens 4 = Mee eens; 5 = Helemaal mee eens NVT: Niet te beoordelen of niet van toepassing Geef aan in hoeverre u het eens bent met de onderstaande stellingen: Deze arts Communicatie: 1. Communiceert goed met patiënten en familie NVT 2. Communiceert goed met collegae NVT 3. Staat open voor verbale en non-verbale reacties en emoties NVT 4. Geeft heldere en volledige mondelinge opdrachten NVT 5. Geeft helder geformuleerde schriftelijke opdrachten NVT 6. Is duidelijk en volledig in schriftelijke verslaglegging NVT Samenwerking: 7. Draagt de zorg voor patiënten effectief en zorgvuldig over NVT 8. Overlegt tijdig met andere zorgverleners NVT 9. Waardeert/respecteert de kennis en ervaring van anderen NVT 10. Houdt zich aan afspraken en aan afgesproken beleid NVT 11. Neemt verantwoordelijkheid voor het eigen handelen NVT Organisatie: 12. Coördineert de zorg voor patiënten op effectieve wijze NVT 13. Is bereikbaar en toegankelijk NVT 14. Deelt de tijd effectief in met de juiste prioriteiten NVT 15. Geeft afspraken en/of wijzigingen in beleid tijdig door NVT Kennis & Wetenschap: 16. Is bereid en in staat anderen te trainen of onderwijs te geven NVT 17. Geeft correct feedback op het functioneren van anderen NVT Professionaliteit: 18. Stelt tijdens de dagelijkse werkzaamheden het belang van de patiënt centraal NVT 19. Houdt bij lichamelijk onderzoek rekening met de privacy van patiënten NVT 20. Kent het dossier en de toestand van de patiënt NVT S47

47 Bijlagen Vervolg Bijlage IIB 21. Is zich bewust van eigen grenzen en handelt daarbinnen NVT 22. Accepteert feedback van anderen NVT 23. Handelt volgens de ethische gedragsregels NVT 24. Geeft u hier één of meer tips of opmerkingen om het functioneren van deze arts (nog meer) te verbeteren. Of geeft u hier een toelichting op één van bovenstaande vragen. Gebruik zo nodig de achterzijde. S48

48 Bijlagen Bijlage IIC. Vragenlijst voor patiënten. Waarom vragen wij u deze lijst in te vullen? Artsen in opleiding tot specialist (aios) moeten leren wat ze wel en niet goed doen; dat helpt ze steeds beter te worden. Wij vinden uw mening erg belangrijk, omdat een patiënt het vaak weer anders ziet dan een collega of een leidinggevende arts. Deze vragenlijst voor verschillende patiëntgroepen gebruikt, daarom zijn mogelijk niet alle vragen van toepassing op uw situatie. In dat geval kunt u de laatste categorie aankruisen. Wat gebeurt er met de resultaten? De vragenlijsten worden anoniem verwerkt: de arts krijgt uw antwoorden dus niet te zien, alleen de combinatie van de antwoorden van alle bevraagde patiënten bij elkaar. De aios ziet op die manier wat volgens de patiënten de sterke en minder sterke kanten zijn en kan zo de vaardigheid verbeteren. Naam van deze aios: Kruis aan: 1. U kent deze aios van de: poli / afdeling (aankruisen) 2. Hoeveel keer heeft u deze arts gezien?: Geef aan in hoeverre u het eens bent met de onderstaande stellingen (kruis aan): Helemaal mee oneens Mee oneens Deels mee eens/ deels mee oneens Mee eens Helemaal mee eens Niet van toepassing 3. Deze arts was vriendelijk tegen mij/mijn familie 4. Deze arts toonde begrip voor mij 5. Deze arts nam mij serieus 6. Deze arts luisterde goed naar mij 7. Deze arts stelde begrijpelijke vragen 8. Deze arts gaf duidelijk uitleg 9. Deze arts gaf duidelijke informatie over onderzoek en behandeling 10. Deze arts controleerde of ik alles begreep 11. Deze arts begreep mijn situatie goed (of situatie van kind/partner) 12. Deze arts was zorgvuldig tijdens het lichamelijk onderzoek 13. Deze arts leek op de hoogte te zijn van mijn dossier/mijn situatie 14. Ik denk dat deze arts mijn gegevens vertrouwelijk behandelt 15. Deze arts komt gemaakte beloftes en/of afspraken na 16. Deze arts vraagt, zo nodig, een collega om hulp en/of advies 17. Ik heb het volste vertrouwen in deze arts 18. Deze arts zou ik ook aanraden aan familie of vrienden 19 Geeft u hier enkele tips en/of opmerkingen om het functioneren van deze arts (nog meer) te verbeteren. Of geeft u hier een toelichting op één van bovenstaande vragen. S49

49 Bijlagen Bijlage III. Voorbeeldrapportage van het programma Multisource feedback.nl Gemiddelde oordelen over Patiënten Niet- Medische competentiegebieden en beoordelaars medische collegae (de standaarddeviatie staat tussen haakjes) n = 26 n = 40 n = 22 Medisch handelen n.v.t. n.v.t. 3,94 (0,68) Communicatie 4,21 (0,98) 3,90 (0,60) 4,23 (0,64) Samenwerking n.v.t. 3,74 (0,60) 4.12 (0,63) Organisatie n.v.t. 3,81 (0,55) 4,11 (0,64) Kennis & wetenschap n.v.t. 3,60 (0,68) 4.31 (0,61) Professionaliteit 4,17 (0,87) 3,98 (0,54) 4,10 (0,51) EPA s (Entrustable Professional Activities) n.v.t. n.v.t. 4,18 (0,56) Vragen (betreft: Communicatie, Patiënten) Gem SD N Deze arts was vriendelijk tegen mij/mijn familie 4,50 0,84 26 Deze arts toonde begrip voor mij 4,27 0,98 26 Deze arts nam mij serieus 4,27 0,94 26 Deze arts luisterde goed naar mij 4,31 0,99 26 Deze arts stelde begrijpelijke vragen 4,35 0,83 26 Deze arts gaf duidelijk uitleg 4, Deze arts gaf duidelijk informatie over onderzoek en behandeling 4,15 0,99 26 Deze arts controleerde of ik alles begreep 3,77 1,05 26 Opmerkingen van medische collegae (selectie) Ik heb een duidelijke positieve ontwikkeling gezien in het functioneren van XX. Belangrijk is het denk ik om de gedrevenheid van XX om het goed te willen doen niet te laten leiden tot gedrag dat door sommigen als niet sympathiek kan worden opgevat. Probeer openheid van je mening te combineren met respect voor onder andere collega s en verpleegkundigen te laten samen gaan. Het is niet erg als je af en toe iets niet weet of niet helemaal goed doet maar durf dit dan ook toe te geven voor jezelf. Naar mijn mening heeft XX hierin reeds een goede vooruitgang geboekt. Hij kan echt geweldige presentaties houden! Hij zou zich echt toe kunnen leggen op onderwijs geven! Hij is goed in organiseren en structureren. Het is denk ik goed om anderen daarbij te betrekken. Hij is denk ik op z n best als hij iets van zijn persoonlijkheid laat zien aan anderen. Iets meer collegialiteit naar andere arts-assistenten toe (m.b.t. werkverdeling) Opmerkingen van niet-medische collegae (selectie) Ik vind XX een vriendelijk voorkomen hebben en zo in eerste instantie ook overkomen. En toch maakt hij op mij ook de indruk te eager zijn; daarmee te veel bezig met eigen belang en minder sociaal dan het in eerste instantie oogt. Helaas heb ik hierbij niet een concreet voorbeeld, maar dit is wel het beeld wat hij meerdere momenten bij mij oproept. Misschien iets meer open staan voor kennis en ervaring van verpleegkundigen, is al wel sterk verbeterd in de loop van de tijd. Toch meer open staan voor ervaring van verpleegkundige, niet meteen in de verdediging gaan en/of de houding ik ben de arts. Bij drukte meer kijken naar de echte prioriteiten en evt. achterwacht erbij halen om te helpen. S50

50 Bijlagen Vervolg Bijlage III. Opmerkingen van patiënten (selectie) Ik kan mij voorstellen dat je als arts heel efficiënt via een anamnese kan trechteren, waardoor je in sommige gevallen vrij snel over kan gaan op actie of afronden maar voor een ouder van een kind voelt het soms fijner om langer in deze fase te blijven van vragen en praten omdat je je dan nog serieuzer genomen voelt en voor je gevoel is er dan echt alles besproken en verteld! Dan ga je met een voldaner gevoel naar buiten! (ook al draait alles uiteraard om de behandeling van het kind!) Meer uitleg vooraf over het waarom van bepaalde onderzoeken. (bijv. toraxfoto en bloedonderzoek) Blijf beseffen dat ieder kind anders is en zelden zoals het gemiddelde kind in de boeken. Ik heb geen adviezen, misschien alleen ga zo door! Zeer vriendelijke jonge arts in opleiding, een kleine tip, een wat stevigere handdruk zou meer zekerheid uitstralen Het recept wat hij voorschreef was voor kinderen tot 6 jaar bleek later bij de apotheek terwijl de patiënt 16 jaar is. S51

51 Tijdschrift voor Medisch Onderwijs, juni 2010 Vol. 29, nr. 3, Suppl. 3, p Richtlijn interpretatie en gebruik van toetsresultaten in het portfolio M.J.B. Govaerts, E. Driessen, B. Verhoeven, C.P.M. van der Vleuten, H. Brackel, J. van Hoorn, R. van de Laar, J. Maas, S.G. Oei Voorwoord Deze Richtlijn in het kader van het In VIVO-project is geschreven door drs. Marjan Govaerts, namens het kernteam In VIVO van de OOR Zuid-Oost Nederland (OOR-ZON), met medewerking van dr. Erik Driessen, dr. Bas Verhoeven, prof. dr. Cees van der Vleuten (vakgroep Onderwijsontwikkeling en Onderwijsresearch, Faculty of Health, Medicine and Life Sciences, Universiteit Maastricht) en van dr. Hein Brackel (voorzitter), drs. Jeroen van Hoorn, drs. Rafli van de Laar, dr. Jacques Maas, en prof. dr. Guid Oei (kernteam In VIVO OOR-ZON, werkgroep Toetsing). De overige leden van het kernteam In VIVO OOR-ZON, dr. Jamiu Busari (voorzitter), prof. dr. Gerard Essed, drs. Florien ten Cate, dr. Twan Mulder, drs. Mark Ottink en dr. Frans Roumen, zijn hierbij geconsulteerd. Status van de Richtlijn De Richtlijn is gebaseerd op literatuuronderzoek, best practices en ervaringen van de auteurs en heeft een adviserend karakter. Deze Richtlijn dient te zijner tijd te worden herzien op basis van aanvullend onderzoek, ervaringen van gebruikers van de Richtlijn en op basis van bredere ervaring met de implementatie van de herziene opleidingsplannen medisch-specialistische vervolgopleidingen. Naar verwachting zal een eerste herziening-update van de Richtlijn twee jaar na grootschalige implementatie plaatsvinden. Inleiding Gedurende de opleiding maken artsen in opleiding tot medisch specialist (aios) en hun opleiders gebruik van een portfolio om het leerproces van de aios te volgen, waar nodig bij te sturen en te beoordelen. Toetsresultaten vormen een essentieel onderdeel van de informatie in dit portfolio. De Richtlijn Interpretatie en gebruik van toetsresultaten in het portfolio geeft een samenvattend overzicht van aandachtspunten bij interpretatie en gebruik van toetsresultaten in de opleiding tot medisch specialist. Doel van de Richtlijn De Richtlijn is een hulpmiddel voor aios en opleiders bij de interpretatie en gebruik van toetsresultaten gedurende de opleiding tot medisch specialist en be - vat een aantal praktische handvatten en stappenplannen voor het gebruik van de toetsresultaten in begeleidingsgesprekken (voortgangs- en beoordelingsgesprekken). Hierbij wordt niet alleen aandacht besteed aan de functie(s) die toetsresultaten kunnen vervullen bij het opleiden van aios maar ook aan kwaliteitseisen die aan toetsresultaten en toetssystemen gesteld moeten worden ten behoeve van geloofwaardige en verdedigbare besluitvorming. De Richtlijn bevat daarmee informatie die ook voor andere doelgroepen relevant kan zijn: leden van opleidingsteams, opleidingsmanagement, beleidsmakers en medewerkers kwaliteitszorg. Voor aios en opleider (-teams) staan in de Richtlijn de belangrijkste aandachtspunten S75

52 Richtlijn gebruik van toetsresultaten in het portfolio M.J.B. Govaerts et al. bij het gebruik van toetsresultaten (werkplekbeoordelingen) in voortgangs- en beoordelingsgesprekken beschreven. Aan de hand van de geschetste criteria kan een inschatting gemaakt worden van de kwaliteit en bruikbaarheid van toetsresultaten, en kan de zorgvuldigheid in besluitvorming getoetst worden. Voor opleiders en opleiderteams worden daarnaast een aantal richtlijnen gegeven voor de inrichting van de toetsing op de werkplek en voor de procedures ten behoeve van besluitvorming. Voor opleidingsmanagers en kwa li teits zorg - me de wer kers, tenslotte, staan in de Richtlijn de belangrijkste randvoorwaarden voor een goed toetssysteem. De Richtlijn is daarmee te gebruiken als basis voor een interne visitatie naar de kwaliteit van het toetssysteem op een afdeling c.q. binnen een instelling. Leeswijzer De Richtlijn Interpretatie en gebruik van toetsresultaten in het portfolio bestaat uit twee onderdelen. Het eerste deel van de Richtlijn is bedoeld voor toepassing in de dagelijkse opleidingspraktijk. Een aantal belangrijke uitgangspunten en aandachtspunten bij toetsing wordt hierin samengevat. Het tweede deel bevat de uitwerking en onderbouwing van de Richtlijn, op basis van theoretische inzichten en praktijkervaringen in verschillende contexten, waaronder het medisch opleidingscontinuüm. Dit deel wordt afgesloten met een aantal kaders en stappenplannen die een overzicht geven van de aandachtspunten en randvoorwaarden bij toetsing in de medisch-specialistische vervolgopleiding. Toetsing in de medisch-specialistische vervolgopleiding Toetsing tijdens de medisch-specialistische vervolgopleiding kan gedefinieerd worden als systematische en structurele evaluatie van het functioneren van de aios voor formatieve en/of summatieve doeleinden (zie Figuur 1). De belangrijkste functie van toetsen is het sturen van het Informatieverzameling Observaties Simulaties 360-FB Kennistoetsen Vaardigheidstoetsen Waardering Feedback Score Beslissing Ontwikkelingsgericht POP Remediëring Kwalificerend Bekwaamheidsverklaring Certificering PORTFOLIO Figuur 1. Het proces van toetsing zoals zichtbaar gemaakt in het portfolio. S76

53 Richtlijn gebruik van toetsresultaten in het portfolio M.J.B. Govaerts et al. leren en het stimuleren van de competentieontwikkeling van de aios, door het verschaffen van feedback, en het vaststellen van sterke kanten en verbeterpunten in het functioneren (formatieve functie van toetsen; ontwikkelingsgericht). Deze formatieve functie van toetsing is belangrijk bij alle vormen van toetsing in de vervolgopleiding, maar vooral bij werkplekbeoordelingen staat de ontwikkelingsgerichte functie centraal. Concrete, specifieke en frequente feedback op het functioneren in de praktijk stelt de aios in staat ge - richt actie te ondernemen om de kwaliteit van handelen te verbeteren. Documentatie van de feedback in het portfolio in de vorm van bijvoorbeeld Korte Praktijkbeoordelingen (KPB), Objective Structured Assessment of Technical Skills (OSATS) of 360 graden feedback stelt aios en opleiders in staat het leerproces te monitoren en te sturen. Toetsresultaten in het portfolio vormen daarnaast ook bewijsmateriaal dat gebruikt kan worden bij het onderbouwen van beslissingen over bekwaamheid en voortgang in de opleiding (summatieve functie van toetsen; kwalificerend). Documentatie van feedback en evaluatie van performance is dan essentieel bij het tijdig signaleren van aios die in aanmerking dienen te komen voor extra begeleiding of remediëring. Toetsing tijdens de medisch-specialistische vervolgopleidingen is dus gericht op het zichtbaar maken van het functioneren van de aios, gerelateerd aan de doelstellingen van de opleiding. De doelstellin - gen voor de opleiding als geheel en voor de verschillende opleidingsfasen zijn beschreven in het opleidingsplan, opgesteld door de betreffende wetenschappelijke vereniging, en uitgewerkt in het regionaal opleidingsplan. De opleidingsdoelstellingen hebben zowel betrekking op algemene competenties (CanMEDS) als op specialisme-gebonden competenties (of bekwaamheden, geordend in thema s). Toetsen van competenties In het algemeen geldt dat betrouwbare en valide uitspraken over competenties alleen mogelijk zijn op basis van gevarieerde informatie, afkomstig van verschillende informatiebronnen (verschillende toetsinstrumenten, verschillende beoordelaars). Er zijn binnen de medisch-specialistische vervolgopleiding vele toetsmethoden en -instrumenten beschikbaar (zie Tabel 1). Elk van de instrumenten levert specifieke informatie over deelaspecten van het professionele han - delen van de aios, vaak gekoppeld aan meerdere competentiedomeinen. (Frequente) beoordelingen van het functioneren op de werkplek (het DOES-niveau van Miller) en expertoordelen van de leden van het opleiderteam zijn essentieel voor het beoordelen van competenties in de medisch-specialistische vervolgopleiding. Relevante informatie over het functioneren van een aios in een bepaald competentie - domein wordt echter ook verschaft door kennistoetsen, simulatietoetsen, wetenschap pelijke activiteiten, gevolgde scholing en cursuscertificaten, en registratie van praktijkervaringen (logboek). Richtlijnen en minimumeisen voor toetsing van professionele competenties zijn beschreven in de (regionale) opleidingsplannen. Uit onderzoek blijkt dat voor het nemen van betrouwbare beslissingen veel toetstijd noodzakelijk is. Voor kennistoetsen (KNOWS HOW) geldt bijvoorbeeld dat 2-3 uur toetstijd vereist is voor het kunnen doen van betrouwbare uitspraken; voor het SHOWS HOW-niveau is gemiddeld 3-4 uur toetstijd noodzakelijk (op jaarbasis, eventueel verspreid in de tijd af te nemen). Voor het DOES-niveau gelden vergelijkbare richtlijnen. Concreet betekent dit dat een aios voor het DOES-niveau op jaarbasis bijvoorbeeld acht KPB s, S77

54 Richtlijn gebruik van toetsresultaten in het portfolio M.J.B. Govaerts et al. Tabel 1. Overzicht van toetsmethoden en instrumenten naar Miller-niveau. Miller-niveau DOES SHOWS HOW KNOWS HOW KNOWS Toetsmethoden / -instrumenten KPB, 360 graden feedback; OSATS, opdrachtverslagen (bijvoorbeeld CAT, PICO), verslaglegging, brieven, statusnabespreking, onaangekondigde simulatiepatiënten, praktijk audits, voorschrijfgedrag, patiëntuitkomsten Stationstoetsen, simulatietoetsen, toetsen met Standardized Patients Casusgebonden schriftelijke toetsen (Multiple choice, essays, key-feature, etc.), mondelinge examens gericht op klinische toepassing Schriftelijke toetsen (Multiple choice, essays, key-feature, etc.), mondelinge examens gericht op feitenkennis enkele praktijkopdrachten of -besprekingen en een 360 graden feedbackrapportage in zijn/haar portfolio opneemt. Beslissingen over bekwaamheid respectievelijk certificering worden dus altijd genomen op basis van geaggregeerde informatie over het functioneren van de aios, verzameld over een langere tijdsperiode en afkomstig van verschillende informatiebronnen. Eén enkele beoordeling (werkplekbeoordeling c.q. toetsresultaat) mag nooit de enige en unieke basis vormen voor het nemen van summatieve beslissingen! Het proces van informatieaggregatie en besluitvorming is vergelijkbaar met de besluitvorming bij gezondheidsklachten van patiënten: één enkel symptoom of signaal is onvoldoende om beleid te kunnen uitstippelen. Definitief beleid wordt pas vastgesteld na zorgvuldige selectie, ordening en interpretatie van relevante gegevens uit verschillende informatiebronnen in het patiëntendossier (zoals anamnese, lichamelijk onderzoek, laboratoriumonderzoek en ander aanvullend onderzoek), zonodig na consultatie van collega s. Interpretatie en gebruik van toetsresultaten in begeleidingsgesprekken Het gebruik van het portfolio, hetzij bij het coachen of sturen van het leerproces, hetzij bij het nemen van beslissingen over voortgang en bekwaamheid, veronderstelt dat de in het portfolio verzamelde informatie een representatief beeld geeft van het feitelijke functioneren van de aios in de opleiding. Toetsresultaten vormen een deel van de relevante informatie. Prescrip - tieve richtlijnen voor wat betreft noodzakelijke aantallen en typen beoordelingen voor het nemen van beslissingen c.q. doen van uitspraken zijn niet beschikbaar. Dit hangt sterk af van het competentie - domein of de taak waarover we uitspraken willen doen, maar ook van het individuele leertraject van de aios. Afhankelijk van de wijze waarop de aios functioneert en afhankelijk van het risico dat verbonden is aan de te beoordelen activiteiten, kan behoefte bestaan aan meer of minder (formele) beoordelingsmomenten. Patiënt - veiligheid is daarbij een belangrijk criterium. Beslissingen vragen daarom steeds om een verstandige interpretatie van de informatie in het portfolio, gegeven de S78

55 Richtlijn gebruik van toetsresultaten in het portfolio M.J.B. Govaerts et al. actuele opleidingssituatie van de aios en de eisen in het opleidingsplan. Bij interpretatie en gebruik van toetsresultaten is een aantal aandachtspunten van belang: Maak samenvattende overzichten: Om het leren van de aios te coachen en te sturen is het noodzakelijk inzicht te hebben in sterke kanten en in mo gelijke verbeterpunten in het functioneren, bijvoorbeeld op basis van sa men vat - tende overzichten per com pe ten tie - domein (algemeen en/of specialismegebonden). Elektronische portfoliosystemen kunnen hierbij ondersteunen door het genereren van overzichtsrapportages, al dan niet uitgesplitst naar (deel)competenties en opleidingsthema s. Vooral de geschreven (narratieve) feedback geeft concrete handvatten voor gerichte sturing van het leerproces. Gemiddeld behaalde scores hebben vooral een signaleringsfunctie. Check scores en feedback die afwijken van de trend: Op basis van één enkele werkplekbeoordeling wordt specifieke informatie verkregen over het functioneren op dat moment, ten aanzien van één specifieke taak of patiëntenprobleem (bijvoorbeeld jong kind met buikklachten) in één specifieke situatie (bijvoorbeeld poli, afdeling, SEH). Feedback en behaalde scores op separate (werkplek)beoordelingen (met name uitschieters naar boven en beneden) kunnen daarmee een gedetailleerde indicatie geven van specifieke bekwaamheden en aandachtspunten in het functioneren. Discrepanties tussen zelfoordelen en oordelen van anderen (bijvoorbeeld in de 360 graden feedback) kunnen een belangrijk hulpmiddel zijn bij het stimuleren van reflectie. Baseer beslissingen uitsluitend op geaggregeerde en gevarieerde informatie: Uitspraken over competenties zijn niet mogelijk op basis van één enkele toets of toetsinstrument. Geen enkele toets of toetsinstrument voldoet aan alle kwaliteitseisen wat betreft betrouwbaarheid en validiteit. Uitspraken over competenties zijn daarom bij voorkeur gebaseerd op een variatie aan toets - resultaten, afkomstig van verschillende instrumenten en bronnen. In het portfolio dienen in elk geval beoordelingen op het DOES -niveau (Miller) aanwezig te zijn, met een zekere regelmaat en gespreid in de tijd afgenomen. Let daarnaast op variatie in werkplekbeoordelingen: is er sprake van voldoende variatie in patiëntproblematiek? Voldoende variatie in beoordelingssituaties? Voldoende variatie in beoordelaars? In het algemeen geldt dat veel beoordelingen noodzakelijk zijn om te kunnen komen tot betrouwbare uitspraken over het functioneren in een bepaald (competentie)domein. Voor werkplekbeoordelingen die gebaseerd zijn op individuele patiëntcasus (bijvoorbeeld KPB, OSATS) geldt dat 6-11 beoordelingen noodzakelijk zijn om te komen tot betrouwbare oordelen. Wat betreft het aantal beoordelaars geldt ten aanzien van werkplekbeoordelingen dat 6-10 beoordelaars nodig zijn om van betrouwbare oordelen te kunnen spreken (grotere aantallen als het gaat om patiëntoordelen!). Geschreven (narratieve) feedback is belangrijker dan scores: Bij de interpretatie van toetsresultaten, en in het bijzonder van werkplekbeoordelingen, zijn behaalde scores minder informatief dan geschreven feedback. Interpretatie van scores kan lastig zijn als er gebruik gemaakt wordt van uiteenlopende toetsinstrumenten met verschillende scoringsmodellen. Daarnaast is er vaak sprake van milde oor- S79

56 Richtlijn gebruik van toetsresultaten in het portfolio M.J.B. Govaerts et al. delen (score-inflatie) en kunnen beoordelaars van elkaar verschillen wat betreft de manier waarop toetsinstrumenten gebruikt worden (verschillen in gehanteerde referentiekaders, criteria, e.d.). Het is daarom belangrijk dat goede afspraken gemaakt worden in opleiderteams over het gebruik van instrumenten. Trianguleer de informatie: Toetsresultaten zijn niet de enige bron van informatie. Trianguleer de verkregen informatie, dat wil zeggen: vergelijk toetsresultaten met elkaar en met andere informatiebronnen, waaronder het expertoordeel van het opleiderteam. Wijst alle informatie in dezelfde richting? Is er (duidelijk) sprake van groei? Bij twijfel of bij niet consistente informatie moet aanvullende informatie verzameld worden (in de vorm van werkplekbeoordelingen, observaties, of anderszins). Neem beslissingen op basis van verdedigbare standaarden: In opleidingsplannen worden minimumeisen (absolute standaarden) beschreven waaraan aios op verschillende momenten in de opleiding dienen te voldoen. Er is echter nog maar beperkt evidence-based informatie beschikbaar over leertrajecten van aios in de medisch-specialistische vervolgopleidingen, zeker als het gaat om de algemene competenties. Daarom wordt aanbevolen om scores en competentieontwikkeling van de individuele aios steeds te vergelijken met die van een adequaat gekozen referentiegroep, bijvoorbeeld aios uit dezelfde opleidingsregio in een zelfde fase van opleiding. Ook hierbij kan ondersteuning geboden worden door elektronische portfoliosystemen. Maak in ieder geval in het opleiderteam goede afspraken over te hanteren criteria en standaarden (organiseer consensusbesprekingen). Motiveer en documenteer beslissingen: Maak duidelijke afspraken over besluitvormingsprocedures. Pas procedures aan aan de zwaarte van de beslissing: gebruik meerdere beoordelaars en consensusprocedures als beslissingen lastig en zwaarwegend zijn. Neem beslissingen over de voortgang in de opleiding als team. Geef de aios, waar mogelijk, een stem in de besluitvorming. Motiveer en documenteer summatieve beslissingen (bekwaamverklaringen, voortgangsbeslissingen). Randvoorwaarden Beschreven gebruik van toetsen, waarbij toetsresultaten zowel gebruikt worden om het leerproces te sturen als om beslissingen te onderbouwen, vereist een veilige omgeving voor alle betrokkenen. Maak duidelijke afspraken met alle betrokkenen (aios en stafleden) over de wijze waarop toetsing en begeleiding plaatsvinden; helderheid over wederzijdse verwachtingen, criteria, standaarden en procedures draagt bij aan een veilig leerklimaat. Veiligheid neemt toe naarmate evaluatie en documentatie van functioneren meer ingebed worden in dagelijkse werkroutines. Draag als opleiderteam gezamenlijk verantwoordelijkheid voor de kwaliteit van toetsing. Zorg waar nodig voor professionalisering van staf en aios. Voorbeelden van een geaggregeerde rapportage over een aios In de onderstaande drie figuren zijn enkele voorbeelden afgebeeld van aggregatie van toetsresultaten uit aios-portfolio s. Elektronische portfoliosystemen kunnen ondersteunen bij het maken van dergelijke samenvattende overzichten. De voorbeelden in de Figuren 2, 3 en 4 zijn afkomstig van MMTSS/ePASS (ontwikkeld in OOR Zuid-Oost Nederland). S80

57 Richtlijn gebruik van toetsresultaten in het portfolio M.J.B. Govaerts et al. Overzicht beoordelingen Datum Score Communicatie 5 KPB poli algemeen Referaat KPB slecht nieuws 360-graden feedback KPB poli algemeen ,5 4,2 3,0 4,0 4, Figuur 2. Overzicht van toetsmomenten over een periode van enkele maanden en van behaalde scores voor het competentiedomein Communicatie, per toetsmoment. Communicatie (20) Samenwerking (19) Cohort Individueel Medisch handelen (20) Professionaliteit (20) Organisatie (20) Kennis en wetenschap (19) Maatschappelijk handelen (18) Deze AIOS functioneert goed wat betreft: Betrouwbaar en collegiaal Deze AIOS neemt veel eigen initiatief, werkt heel zelfstandig en is duidelijk Zeer prettig in de omgang, ook naar patiënten toe. Hoor vaak positief commentaar. Medisch-technisch heel goed op niveau. Wordt een prima collega! Zeer duidelijke uitleg en instructies. De belangrijkste verbeterpunten/leerdoelen voor deze AIOS zijn: Poli loopt nog wel eens uit. Probeer wat efficiënter te werken. Tempo mag soms nog iets hoger. Loop jezelf niet voorbij. Probeer vaker nee te zeggen, of te delegeren. LP vaker oefenen. Figuur 3. Gemiddeld behaalde scores per CanMEDS domein in één semester, berekend over alle toetsinstrumenten, en bijbehorend overzicht van narratieve feedback op beoordelingsformulieren. Individueel behaalde scores worden vergeleken met gemiddeld behaalde scores van een referentiegroep (aios in het zelfde opleidingscohort). sem. 1-2 sem. 2-2 sem. 3-1 Medisch handelen Communicatie Samenwerking Kennis & wetenschap Maatschappelijk handelen Organisatie Professionaliteit Figuur 4. Gemiddeld behaalde scores per CanMEDS domein, berekend over alle toetsinstrumenten, voor verschillende fasen (semesters) in de opleiding. S81

58 Tijdschrift voor Medisch Onderwijs, juni 2010 Vol. 29, nr. 3, Suppl. 3, p Achtergronden bij de Richtlijn interpretatie en gebruik van toetsresultaten in het portfolio 1. Doelstelling van de Richtlijn en het gebruik door verschillende doelgroepen Doel van deze Richtlijn is het ondersteunen van aios en opleider (-team) bij het bespreken van de voortgang c.q. bij het nemen van beslissingen over de voortgang in de opleiding, en bij het gebruik van toetsresultaten in dit proces. De Richtlijn beoogt dit te doen door middel van: Een beschrijving van de doelstellingen van toetsing in de medisch-specialistische vervolgopleiding en het gebruik van toetsresultaten in begeleidingsgesprekken (voortgangs- en beoordelingsgesprekken). Een beschrijving van kwaliteitseisen bij toetsing en bij gebruik van toetsresultaten (met nadruk op werkplekbeoordelingen). Een omschrijving van stappen in zorgvuldige besluitvorming. Een samenvatting van een aantal randvoorwaarden bij gebruik van toetsresultaten ten behoeve van besluitvorming. Voor aios en opleider (-teams) worden in de Richtlijn de belangrijkste aandachtspunten bij het gebruik van toetsresultaten (werkplekbeoordelingen) in voortgangsen beoordelingsgesprekken beschreven. De Richtlijn geeft een overzicht van de criteria aan de hand waarvan een inschatting gemaakt kan worden van de kwaliteit en bruikbaarheid van toetsresultaten, en waaraan de zorgvuldigheid in besluitvorming getoetst kan worden. Voor opleiders en opleiderteams worden daarnaast een aantal richtlijnen beschreven voor de inrichting van de toetsing op de werkplek en de procedures ten behoeve van besluitvorming. Voor opleidingsmanagers en kwaliteitszorgmedewerkers, tenslotte, worden in de Richtlijn de belangrijkste randvoorwaarden voor een goed toetssysteem beschreven. De Richtlijn is daarmee te gebruiken als basis voor een interne visitatie naar de kwaliteit van het toetssysteem op een afdeling c.q. binnen een instelling. Deze Richtlijn is gebaseerd op literatuuronderzoek en best practices, zowel binnen de context van het medisch opleidingscontinuüm als binnen andere contexten waar leren en beoordelen op de werkplek een belangrijke plaats innemen. 2. Definities en begripsbepalingen CanMEDS: een 7-tal algemene competenties die de bekwaamheid van de Nederlandse medisch specialist beschrijven. Zij vormen de generieke eindtermen voor alle medisch-specialistische vervolgopleidingen in Nederland en zijn afgeleid van de door the Royal College of Physicians and Surgeons of Canada geformuleerde CanMEDSroles. ( Competentie: de bekwaamheid om op basis van kennis, vaardigheden, oordeelsvermogen, houdingen (opvattingen, visies) en persoonskenmerken, keuzes te maken uit een handelingsrepertoire die tot resultaat hebben dat de taken die zich in een specifieke beroepscontext voordoen, adequaat worden aangepakt, conform rol en verantwoordelijkheid. S82

59 Richtlijn gebruik van toetsresultaten in het portfolio M.J.B. Govaerts et al. Competentieprofiel: profielbeschrijving van de individuele aios die inzicht geeft in de mate van bekwaamheid voor de verschillende CanMEDS competenties. Halo: bepaalde kenmerken van de beoordeelde of bepaalde aspecten in het functioneren worden overbelicht en hebben een onterechte (positieve of negatieve) invloed op de beoordeling van andere kenmerken of aspecten in het functioneren. KBS: Kritische BeroepsSituatie / Kenmerkende BeroepsSituatie. KPB: Korte PraktijkBeoordeling; vorm van werkplekbeoordeling. Kortdurende evaluatie van het functioneren van de aios op basis van directe observatie, bij het uitvoeren van een authentieke taak. Leniency: neiging tot geven van milde oordelen; score-inflatie. Opleidingsplan: een door de betreffende wetenschappelijke vereniging opgesteld en door het Centraal College Medische Specialismen (CCMS) vastgesteld plan dat de structuur en inhoud van de opleiding tot medisch specialist beschrijft en dat de basis vormt voor het individuele opleidingsplan. OSATS: Objective Structured Assessment of Technical Skills; vorm van werkplekbeoordeling. Oorspronkelijk ontwikkeld ten behoeve van evaluatie van met name technische vaardigheden bij operatieve ingrepen. POP: Persoonlijk OntwikkelPlan, ook wel Individueel OpleidingPlan (IOP). In het Persoonlijk Ontwikkelplan beschrijft de aios wat hij/zij wil bereiken gedurende een bepaalde periode (persoonlijk leerplan), aan de hand van SMART geformuleerde doelen. Een POP wordt opgesteld op basis van sterkte-zwakteanalyse, individuele leerwensen van de aios en van de mogelijkheden die in betreffende periode geboden worden. Een POP wordt gedurende de opleiding regelmatig geëvalueerd en bijgesteld. Portfolio: persoonlijk dossier, verzamelin - strument al dan niet digitaal, dat informatie bevat op basis waarvan het leerproces van de aios inzichtelijk wordt gemaakt. Het portfolio in de medisch-specialistische vervolgopleiding vervult verschillende functies, met nadruk op ontwikkeling en reflectie. Daarnaast vormt de informatie in het portfolio bewijsmateriaal bij het nemen van beslissingen ten aanzien van bekwaamheid. SMART: acroniem ter aanduiding van de eisen die aan goed geformuleerde leerdoelen gesteld kunnen worden. Leerdoelen dienen liefst Specifiek, Meetbaar, Acceptabel, Realiseerbaar/Realistisch en Tijdgebonden te zijn. Sterkte-zwakteanalyse: analyse van het eigen functioneren waarbij in kaart wordt gebracht waar de sterke punten liggen in het functioneren en waar verbetering noodzakelijk/wenselijk is. Themaprofiel: profielbeschrijving van de individuele aios die inzicht geeft in de mate van bekwaamheid voor de verschillende in het opleidingsplan gedefinieerde thema s. Toetsing: systematische en structurele evaluatie van en feedback op het functioneren van de aios, met formatieve en/of summatieve doeleinden. Werkplekbeoordeling: beoordeling van het functioneren van de aios op de werkplek. S83

60 Richtlijn gebruik van toetsresultaten in het portfolio M.J.B. Govaerts et al. 3. Doelstellingen van toetsing algemene inleiding A. Rol van toetsen in de opleiding Toetsen kunnen binnen opleidingen een aantal functies vervullen 1-4 : 1. Bevorderen van het leren en ondersteunen van effectieve en efficiënte ontwikkeling van (beroeps)competenties. Toetsing motiveert, bekrachtigt en stuurt de professionele ontwikkeling van de aios, door: a. het expliciet maken van de eisen die op bepaalde momenten in de opleiding aan de aios gesteld worden, b. feedback op functioneren, gerelateerd aan de doelstellingen van de op lei ding: zichtbaar maken van ster - ke en minder sterke kanten in het functioneren. 2. Onderbouwen/verantwoording van selectie-/promotiebeslissingen: Toetsresultaten geven inzicht in het bereikte niveau van competentieontwikkeling en de kwaliteit van functioneren van de aios en vormen daarmee een belangrijke basis voor het toekennen van bekwaamheidsverklaringen, certificering en registratie. 3. Bewaken van opleidingskwaliteit: a. toetsresultaten geven informatie over de effectiviteit van de opleiding, b. bescherming van publiek tegen onbekwame professionals. Er wordt onderscheid gemaakt tussen formatief en summatief gebruik van toetsresultaten. Formatieve toetsing heeft met name ten doel de aios feedback te verschaffen over de voortgang in het eigen leerproces, op basis daarvan reflectie te stimuleren en leeractiviteiten te sturen. De formatieve functie van toetsen staat centraal in de regelmatig terugkerende, formele beoordelingen van het functioneren op de werkplek in de vorm van KPB, OSATS of 360 graden feedback. Ook in voortgangsgesprekken ligt de nadruk op formatief gebruik van toetsresultaten. Van summatief gebruik van toetsresultaten wordt gesproken als toetsresultaten de basis vormen voor het nemen van beslis - singen over voortgang c.q. certificering. Summatief gebruik van toetsresultaten staat centraal in beoordelingsgesprekken. Beslissingen over bekwaamheid respectievelijk registratie/certificering worden altijd genomen op basis van informatie over het functioneren van de aios die gedurende langere tijd, min of meer systematisch, wordt verzameld, bijvoorbeeld in een portfolio. Een enkele werkplekbeoordeling (mo - ment op name) vormt nooit de enige en unieke basis voor het nemen van summatieve beslissingen! Zowel ten behoeve van voortgangsgesprekken als ten behoeve van beoordelingen moeten toetsresultaten een accuraat en geloofwaardig beeld geven van het leerproces, competentieontwikkeling en van de bekwaamheden van de aios. Dit kan alleen als de informatie op basis waarvan beslissingen worden genomen aan specifieke voorwaarden voldoet (zie hoofdstuk 4). B. Toetsen in de medisch-specialistische vervolgopleiding: competentie- en themagericht toetsprogramma Toetsresultaten geven inzicht in het functioneren van de aios. Zowel bij het formuleren van individuele ontwikkelingsplannen, als bij het nemen van gemotiveerde beslissingen over professionele bekwaamheid is het noodzakelijk om een gedetailleerd beeld te hebben van de ontwikkeling van de aios, gerelateerd aan de specifieke eindtermen van de opleiding. Een holistisch, algemeen beeld van het functioneren van de aios is daarbij meestal niet voldoende. S84

61 Richtlijn gebruik van toetsresultaten in het portfolio M.J.B. Govaerts et al. In het kader van de vernieuwing van de medisch-specialistische vervolgopleidingen zijn de eindtermen van de opleiding langs verschillende invalshoeken gedefinieerd. Enerzijds worden ten behoeve van de competentieontwikkeling van de aios een 7-tal algemene competentiedomeinen onderscheiden die vastgelegd zijn in de CanMEDS rollen: 1. Medisch handelen 2. Communicatie 3. Samenwerking 4. Organisatie 5 Professionaliteit 6. Maatschappelijk handelen 7. Kennis en wetenschap Anderzijds zijn vanuit vakinhoudelijk perspectief specifieke (specialisme-gebonden) einddoelen beschreven in een aantal verschillende thema s en/of kenmerkende c.q. kritische beroepssituaties (taken, clusters van taken of verrichtingen). De professionele ontwikkeling van de aios vindt enerzijds plaats binnen elk van de zeven CanMEDS competenties, anderzijds binnen de verschillende thema s van het vakgebied. Bij het bespreken c.q. beoordelen van de voortgang van de aios moet zo goed mogelijk in beeld gebracht worden hoe het staat met: de ontwikkeling van de aios in de verschillende CanMEDS competenties (competentieprofiel), de ervaringen en bekwaamheden van de aios binnen de verschillende thema s (themaprofiel). Analoog hieraan richt toetsing van de aios zich dus enerzijds op de competentieontwikkeling (over de verschillende thema s heen), anderzijds op de themagebonden bekwaamheden (over de verschillende competentiedomeinen heen). Uitspraken over competenties worden altijd afgeleid uit beoordelingen van het functioneren op verschillende taken in de beroepsuitoefening. Een aios is immers alleen in staat om de relevante beroepstaken adequaat uit te oefenen indien hij beschikt over een aantal competenties. 1 5 Op deze manier ontstaat voor elk thema een matrix van relevante taken en competenties, zoals uitgewerkt in onderstaande voorbeelden (Thema A respectievelijk B). Uit de gehanteerde definitie van professionele competentie en de opleidingsspecifieke thema-competentiematrices volgt dat in de medisch-specialistische vervolgopleiding een compleet toetsprogramma minimaal omvat: A. Beoordelingen van performance op relevante taken uit de beroepspraktijk: a. beoordeling van de kwaliteit van handelen (proces) en b. beoordeling van de uitkomst van het handelen (= outcomes). B. Beoordeling van de verantwoording van gemaakte keuzes en van reflectie op handelen. C. Beoordeling van ervaring met specifieke taken uit het vak (registratie van ervaringen/verrichtingen). A-C betreffen voornamelijk registratie en beoordeling van functioneren in de praktijk (werkplekbeoordelingen). Het leren van de aios in de medisch-specialistische vervolgopleiding vindt voor 90-95% plaats op de werkplek. Evaluaties c.q. beoordelingen van het functioneren op de werkplek vormen dan ook de kern van het toetsprogramma in de medisch-specialistische vervolgopleiding. Bij het doen van uitspraken over professionele competentie is vaak behoefte aan aanvullend bewijsmateriaal, omdat het onmogelijk is om alle facetten van het vak in de praktijk voldoende breed te toetsen. 6-7 Aanvullend bewijsmateriaal kan verkregen worden op basis van: S85

62 Richtlijn gebruik van toetsresultaten in het portfolio M.J.B. Govaerts et al. D. Beoordeling van gevolgde scholing/ onderwijs/training. E. Beoordeling van kennis (kennistoetsing). F. Beoordeling van vaardigheden (met name relevant indien de praktijk te weinig mogelijkheden biedt om dit gedegen te doen; als beoordeling van vaardigheden in de praktijk lastig is in verband met weinig voorkomen óf als bewijs van beheersing noodzakelijk is in verband met patiëntveiligheid). C. Portfolio als verzamelinstrument Om te komen tot uitspraken over competenties c.q. functioneren van de aios is bewijsmateriaal nodig. Dit bewijs moet: over langere tijd verzameld zijn, afkomstig zijn van verschillende bronnen, gemeten zijn met behulp van een verscheidenheid aan instrumenten. Er zijn binnen de medisch-specialistische vervolgopleiding vele toetsvormen en -instrumenten beschikbaar. Elk van deze instrumenten levert specifieke informatie over specifieke deelaspecten van het professionele handelen van de aios 2 (zie bijvoorbeeld ook outcome/assess/toolbox.pdf; foundationprogramme.nhs.uk/pages/ home/training-and-assessment). De informatie over het functioneren van aios kan in een (elektronisch) portfolio verzameld en gepresenteerd worden zodat voor elke aios een competentieprofiel c.q. een taakof themaprofiel opgesteld kan worden. Door de informatie en toetsresultaten in het portfolio op een zorgvuldige manier te combineren en te wegen, is het mogelijk om enerzijds vast te stellen waar sterke c.q. zwakke kanten van de aios liggen voor wat betreft de zeven CanMEDS com- Thema A Competentie Taak 1 Taak 2 Taak 3 Taak 4 Taak 5 Taak Taak n Medisch handelen X X X X X Communicatie X X X X X X Samenwerken X X X Organisatie X X Kennis en wetenschap X X Maatschappelijk handelen X X Professionaliteit X X X X X X X Thema B Competentie Taak 1 Taak 2 Taak 3 Taak 4 Taak 5 Taak Taak n Medisch handelen X X X X Communicatie X X X X X Samenwerken X X X Organisatie X X X Kennis en wetenschap X X Maatschappelijk handelen X X X X Professionaliteit X X X X X X X S86

63 Richtlijn gebruik van toetsresultaten in het portfolio M.J.B. Govaerts et al. petenties en anderzijds vast te stellen hoe de aios in de verschillende inhoudelijke thema s functioneert (met welke mate van zelfstandigheid, effectiviteit, efficiëntie, etc.). Op basis hiervan kunnen vervolgens onderbouwde beslissingen genomen worden ten aanzien van persoonlijke ontwikkelingsplannen, bekwaamheidsverklaringen, voortgang in de opleiding, etc. 8 D. Gebruik van toetsresultaten in het voortgangsgesprek (formatief) Een voortgangsgesprek is bedoeld voor de evaluatie van en reflectie op het functioneren van de aios in de afgelopen periode (drie-zes maanden), en voor het maken van specifieke afspraken voor de volgende periode. Het Persoonlijk OntwikkelingsPlan (POP) van de aios vormt de basis voor de inhoud van het voortgangsgesprek. In het POP staan specifieke leerdoelen beschreven. Aan de hand van alle voorliggende informatie in het portfolio wordt zowel de voortgang in het leerproces als de mate waarin leerdoelen in de afgelopen periode zijn bereikt, geëvalueerd. De formatieve functie van toetsing staat in het voortgangsgesprek centraal. Toetsresultaten/ beoordelingen helpen om sterke en minder sterke kanten in het functioneren te identificeren. Op basis hiervan kunnen concrete afspraken voor de volgende opleidingsperiode worden gemaakt. Hierbij is het belangrijk duidelijk af te spreken op welke manier getoetst kan en zal worden of de aios succesvol aan zijn leerdoelen heeft voldaan. Toetsresultaten zijn vooral bruikbaar voor het (bij)sturen van het leerproces als ze aan bepaalde voorwaarden voldoen (zie hoofdstuk 4). E. Gebruik van toetsresultaten in het beoordelingsgesprek (summatief) In het beoordelingsgesprek staat de vraag centraal of de betreffende aios voldoet aan de (minimum)eisen die op dat moment gesteld worden. Hieraan gekoppeld wordt de vraag beantwoord of het verantwoord is om de aios te laten doorstromen naar een volgende fase van de opleiding c.q. loopbaan. De basis voor het gesprek wordt gevormd door de aan de aios te stellen eisen enerzijds, en door de in het portfolio beschikbare informatie over het functioneren van de aios anderzijds. De minimumeisen waaraan een aios op specifieke mo men ten in de opleiding moet voldoen staan deels omschreven in het opleidingsplan zoals opgesteld door de betreffende wetenschappelijke vereniging, en zijn uitgewerkt in het regionale opleidingsplan. Het portfolio, met de daarin opgenomen toetsresultaten, vormt het belangrijkste bewijsmateriaal ter onderbouwing van de te nemen beslissing. De beslissing is alleen geloofwaardig en verdedigbaar als bewijsmateriaal en besluitvormingsproces aan specifieke voorwaarden voldoen (zie hoofdstukken 4-5). Elke bekwaamheidsverklaring die wordt afgegeven betreffende deelaspecten van thema s (bijvoorbeeld een specifieke verrichting) kan beschouwd worden als een summatief toetsmoment. Er wordt dan vastgelegd dat de aios aan de minimumvoorwaarden voldoet om de betreffende verrichting zonder directe supervisie uit te voeren (bijvoorbeeld het zelfstandig uitvoeren van een vacuümextractie). Werkplekbeoordelingen en expertoordelen van het opleiderteam vormen ook bij dergelijke beslissingen het belangrijkste bewijsmateriaal. 4. Interpretatie van toetsresultaten: kwaliteit en kwantiteit van werkplekbeoordelingen Een toets meet (een deel van) het functioneren van de aios. Met behulp van verschillende toetsen (verscheidenheid van S87

64 Richtlijn gebruik van toetsresultaten in het portfolio M.J.B. Govaerts et al. Box 1. Een voorbeeld. Als een kandidaat slaagt voor een kennistoets is onze conclusie vaak dat de betreffende kandidaat over voldoende kennis beschikt. Daarbij gaan we uit van een aantal aannames: dat de behaalde score een nauwkeurige/precieze meting is van de kennis van de kandidaat (en niet van andere, voor deze toets irrelevante zaken zoals IT-vaardigheden, leesvaardigheid of stressbestendigheid) dat we op basis van de toets uitspraken kunnen doen over de kennis van de kandidaat die verder gaan dan de specifieke inhoud van de items in de betreffende toets en dat de zak-slaaggrens/cesuur zodanig gekozen is dat er een betrouwbaar onderscheid wordt gemaakt tussen kandidaten die over voldoende kennis beschikken en kandidaten wier kennisniveau daadwerkelijk onvoldoende is. Vaak gaat onze interpretatie van toetsscores nog een stap verder en gebruiken we toetsscores om daarmee een uitspraak te doen over de bekwaamheid van de kandidaat als beroepsbeoefenaar. We gaan er dan, op basis van de toetsresultaten, van uit dat de kandidaat ook in staat is om de kennis adequaat toe te passen in relevante beroepssituaties. toetsinstrumenten en beoordelaars) worden toetsresultaten verkregen die worden gebruikt ter onderbouwing van beslissingen. Deze beslissingen kunnen betrekking hebben op (bij)sturing van het leerproces ofwel op voortgang in de opleiding (selectie). Beslissingen kunnen pas genomen worden na interpretatie van de verkregen meetresultaten. Bij het nemen van beslissingen op basis van toetsresultaten gaan we vaak uit van een aantal impliciete aannames. Zie voor een voorbeeld Box 1. De vraag is hoe gerechtvaardigd al deze aannames en conclusies zijn. Zijn de kandidaten met de hoogste scores ook het meest competent, en functioneren zij het best op de werkvloer? De mate waarin de interpretatie van de toetsscores en de zak/slaagbeslissingen kloppen, hangt samen met de mate waarin de aannames over de toets terecht zijn. Bij meer bewijs dat de aannames terecht zijn, is de geldigheid van de conclusies die we aan de toetsresultaten verbinden groter. De basisgegevens, de meetresultaten, moeten dus aan een aantal kwaliteitseisen voldoen Deze basiseisen worden hierna beschreven, met een specifieke nadruk op implicaties voor werkplekbeoordelingen. A. Toetsresultaten zijn accuraat De toetsresultaten moeten een precieze (betrouwbare) indicatie vormen voor het prestatieniveau op de toets c.q. te beoordelen taak. Zij moeten precieze informatie geven over sterke en zwakke kanten in het functioneren van de aios. Verschillen in toetsresultaten bij vergelijking van verschillende aios horen dus uitsluitend het gevolg te zijn van daadwerkelijke (verschillen in) bekwaamheid van aios en niet beïnvloed te worden door andere, min of meer toevallige factoren. Mogelijke en veel voorkomende foutenbronnen zijn bijvoorbeeld: extreme vermoeidheid of ziekte bij de kandidaat, onduidelijke scoringssystematiek, verkeerd gebruik van scoringsmodellen, een toets bestaande uit extreem moeilijke of gemakkelijke taken. S88

65 Richtlijn gebruik van toetsresultaten in het portfolio M.J.B. Govaerts et al. Accutaresse van werkplekbeoordelingen in de praktijk Uit onderzoek blijkt dat werkplekbeoordelingen in het algemeen niet erg accuraat zijn, vergeleken met scores die verkregen worden uit meer objectieve of gestandaardiseerde toetsvormen Typische kenmerken van werkplekbeoordelingen in de klinische setting zijn onder andere: leniency (score-inflatie): beoordelaars zijn geneigd om mild en optimistisch te oordelen, 14 halo-effecten: de algemene indruk over de aios is bepalend voor het oordeel op deelcompetenties, of één aspect in het functioneren bepaalt oordelen over andere onderdelen van het functioneren, 15 verschillen in de manier waarop beoordelaars de kwaliteit van waargenomen functioneren interpreteren en omzetten in een score: sommige beoordelaars kunnen het eens zijn over kwaliteit van functioneren en dit toch anders scoren, terwijl andere beoordelaars van mening verschillen over de waargenomen kwaliteit en toch hetzelfde scoren Verschillende oorzaken kunnen hieraan ten grondslag liggen: Dubbelrol van de beoordelaar: Beoordelaars (staf) hebben vaak een langdurige, min of meer intensieve werkrelatie met de aios en vervullen naast de rol van beoordelaar ook de rol van coach-supervisor. Onderzoek toont tamelijk consistent aan dat het vervullen van deze dubbelrol het geven van eerlijke en volledige feedback belemmert. Met name het toekennen van negatieve beoordelingen en feedback wordt ervaren als lastig, en weinig motiverend voor betrokkenen. Gebrek aan directe observatie: Oordelen met betrekking tot specifieke vaardigheden als communicatie in de artspatiëntrelatie, of systematiek in anamnese en fysisch-diagnostisch onderzoek komen vaak tot stand op basis van indirecte informatie zoals verslaglegging in de status, of worden afgeleid uit de manier waarop de aios de patiëntcasus presenteert. Concrete feedback op en beoordeling van bepaalde klinische vaardigheden is zonder directe observatie niet mogelijk. 16 Niet (tijdig) documenteren van observaties: Door niet te scoren/schrijven tijdens de observaties, maar vaak (veel) later achteraf te documenteren treedt informatieverlies en -vervorming op Eenzijdige focus op kwaliteit van medisch (technisch) handelen: De beoordeling van de kwaliteit van medisch-technisch handelen bepaalt in sterke mate de scores op andere competenties. Gebrek aan training en onderlinge afstemming tussen beoordelaars, leidend tot: onzekerheid bij beoordelaars over eigen competentie als beoordelaar, gebrek aan consensus over kwaliteit van performance en te hanteren standaarden, gebrek aan consensus over hoe het scoresysteem te gebruiken. Geschreven, aanvullende opmerkingen over het functioneren van de aios, waarin een aantal sterke en minder sterke punten concreet gemaakt worden, zijn daarom veel belangrijker en informatiever dan numerieke scores. B. Toetsresultaten zijn generaliseerbaar Bij de interpretatie van toetsscores wil men meestal niet alleen uitspraken doen over het presteren van de aios op die ene geobserveerde taak of toets, maar conclusies trekken over verwachte prestaties in een veel groter domein van vergelijkbare taken (criteriumdomein). Meer concreet S89

66 Richtlijn gebruik van toetsresultaten in het portfolio M.J.B. Govaerts et al. betekent dit dat in de medisch-specialistische vervolgopleiding de vraag gesteld moet worden in hoeverre de toetsresultaten een betrouwbare indicatie vormen voor: beheersing van de betreffende Can- MEDS competentie (bij de uitoefening van uiteenlopende beroepstaken) en/of de beheersing van alle vergelijkbare taken/toetsen in het betreffende thema of vakgebied. Anders gezegd: in hoeverre zijn behaalde toetsresultaten reproduceerbaar bij herhaalde meting met andere (maar vergelijkbare) taken en beoordelaars? Uit onderzoek blijkt dat van alle factoren die van invloed zijn op de generaliseerbaarheid van toetsresultaten, de zogenoemde inhoudsspecificiteit de belangrijkste is Hiermee wordt bedoeld dat de kwaliteit van functioneren nogal variabel is, en sterk afhankelijk van de specifieke inhoud van de taak of van het probleem waarmee iemand wordt geconfronteerd. Dat wil zeggen dat de prestatie op taak 1 niet of nauwelijks voorspellend is voor de prestatie op taak 2 uit hetzelfde inhoudelijke taakgebied. Zo is de kwaliteit van klinisch redeneren bij het oplossen van een patiëntprobleem sterk afhankelijk van de inhoud van dat specifieke probleem. Het probleem van de inhoudsspecificiteit doet zich voor bij alle vormen van toetsing, zowel bij meer objectieve, gestandaardiseerde toetsen (zoals multiple choice examens) als bij beoordelingen op de werkplek (zoals KPB of OSATS). Behaalde toetsresultaten worden daarmee sterk afhankelijk van de toevallige keuze van taken of toetsitems. Dit impliceert dat, om betrouwbare uitspraken te kunnen doen over functioneren in een bepaald domein, een grote steekproef getrokken moet worden uit het betreffende (taak)domein. Hoe breder het domein waarnaar we uitspraken willen generaliseren, hoe groter de steekproef van te beoordelen taken dient te zijn Een andere factor die generaliseerbaarheid kan beïnvloeden wordt gevormd door beoordelaars. Zo kunnen beoordelaars soms sterk van elkaar verschillen in de manier waarop ze geobserveerd gedrag interpreteren en waarderen. Er zijn strenge en milde beoordelaars, maar er bestaat vaak ook een verschil in opvatting over wat in welke fase van de opleiding beheerst moet worden of wat belangrijk is voor geleverde kwaliteit van zorg. De opzet van het scoresysteem en het beoordelingssysteem vormt een andere factor die van invloed is op betrouwbaarheid van toetsresultaten. Indien er ruimte voor subjectiviteit in de interpretatie van criteria bestaat zal de betrouwbaarheid strikt genomen afnemen. Ook hierbij geldt dat betrouwbaarheid positief beïnvloed wordt door een grotere steekproef: oordelen over aios zijn meer betrouwbaar naarmate meer verschillende examinatoren betrokken zijn bij de totstandkoming ervan. Onderzoek toont echter consistent aan dat laatstgenoemde factoren bij zorgvuldig ontworpen beoordelingsinstrumenten en goed getrainde beoordelaars van (veel) minder belang zijn dan de inhoudsspecificiteit. 25 Generaliseerbaarheid van werkplekbeoordelingen in de praktijk Werkplekbeoordelingen zijn arbeidsintensief en niet eenvoudig te realiseren. Uitspraken over het functioneren van de aios zijn daarom vaak gebaseerd op een zeer beperkt aantal beoordelingen, bij een beperkt aantal taken en door een beperkt aantal verschillende beoordelaars. Dit maakt het doen van gegeneraliseerde uitspraken vaak lastig. Onderzoek toont aan dat voor werkplekbeoordelingen, gebaseerd op individuele patiëntcasus, in grote lijn S90

67 Richtlijn gebruik van toetsresultaten in het portfolio M.J.B. Govaerts et al. geldt dat 6-11 beoordelingen noodzakelijk zijn om te komen tot betrouwbare oordelen over professionele competentie Onderzoek toont daarbij overigens aan dat het aantal benodigde beoordelingen afhankelijk is van het te beoordelen domein en van de te beoordelen competenties. 11 Wat betreft het aantal beoordelaars dat nodig is om te komen tot betrouwbare, generaliseerbare oordelen, geldt ten aanzien van werkplekbeoordelingen dat 6-10 beoordelaars nodig zijn om van betrouwbare oordelen te kunnen spreken. Indien gebruik wordt gemaakt van patiëntoordelen, zijn grotere aantallen noodzakelijk graden feedbackprocedure en betrouwbaarheid van oordelen In de context van 360 graden feedback verdienen verschillen tussen beoordelaars specifieke aandacht. In het algemeen geldt dat medisch specialisten/stafleden de belangrijkste groep beoordelaars vormen bij het beoordelen van aios op de werkplek. Kenmerkend voor 360 graden feedback is dat verschillende beoordelaargroepen in de procedure betrokken worden. Deze beoordelaargroepen hebben op verschillende manieren en in verschillende situaties met aios te maken, en verschillen ook meestal van elkaar wat betreft de manier waarop ze het functioneren van een aios waarderen en beoordelen. Verpleegkundigen bijvoorbeeld, observeren niet alleen ander gedrag van een aios dan patiënten of stafleden, zij zullen mogelijk ook ander gewicht toekennen aan bepaalde gedragingen en dus anders oordelen. Dit betekent echter niet dat deze verschillende beoordelingen daarom niet betrouwbaar zijn. De verschillende invalshoeken waarmee naar het functioneren van de aios wordt gekeken vormen de belangrijkste basis voor het gebruik van 360 graden feedback. Het betrekken van verschillende groepen beoordelaars verrijkt de informatie op basis waarvan conclusies getrokken kunnen worden. 28 C. Toetsresultaten zijn transferabel/ extrapoleerbaar In het algemeen zijn we minder geïnteresseerd in de bekwaamheid van de aios met betrekking tot het beantwoorden van meerkeuzevragen, of met betrekking tot het uitvoeren van een technische handeling op een dummy in een simulatietoets. Belangrijk is in hoeverre de toetsresultaten een relevante indicatie vormen voor feitelijk functioneren in de praktijk. De toetsscore moet vertaalbaar zijn naar de situatie waarin datgene wat we meten praktisch relevant is. Naarmate toetsing meer plaatsvindt op basis van levensechte, authentieke taken, uitgevoerd in de context van de alledaagse beroepspraktijk, is extrapoleren van resultaten gemakkelijker, en vormen toetsresultaten een meer directe aanwijzing en bewijs voor gedrag waarin we uiteindelijk geïnteresseerd zijn. Transferabiliteit/extrapoleerbaarheid van werkplekbeoordelingen in de praktijk Extrapoleerbaarheid van werkplekbeoordelingen lijkt in eerste instantie geen problemen op te leveren: immers het geobserveerde en beoordeelde gedrag is identiek aan gedrag dat in de praktijk van alledag getoond wordt. Extrapoleerbaarheid van werkplekbeoordelingen kan echter worden beïnvloed door een aantal factoren: Directe observatie (zeker indien gevolgd door een beoordeling) kan van invloed zijn op het functioneren van de aios. Een aios kan in een dergelijke situatie ófwel beter ófwel slechter presteren dan hij/zij normaal gesproken gewoon is te doen. Werkplekbeoordelingen geven informatie over wat een aios in de dagelijkse praktijk doet. Het beoordelen van func- S91

68 Richtlijn gebruik van toetsresultaten in het portfolio M.J.B. Govaerts et al. tioneren op de werkplek aan de hand van een (gestructureerd/gestandaardi - seerd) beoordelingsformulier betekent niet automatisch dat de uiteindelijke scores een goed beeld geven van het feitelijke functioneren van de aios. Zo kunnen bijvoorbeeld de items op het beoordelingsformulier meer of minder relevant en representatief zijn voor wat we feitelijk willen meten. In andere woorden: de manier waarop geobserveerd gedrag wordt vertaald in scores en wordt vastgelegd op een formulier, bepaalt de informatiewaarde van de werkplekbeoordeling. In het algemeen geldt het volgende. Op basis van een enkele werkplekbeoordeling wordt specifieke informatie verkregen: specifieke informatie over functioneren met betrekking tot betreffende taak, in betreffende specifieke situatie. Gegeneraliseerde uitspraken (over competentie, bekwaamheid van de aios) zijn slechts mogelijk indien voldoende gevarieerde meetgegevens uit een domein beschikbaar zijn. Dit neemt echter niet weg dat separate (taak)beoordelingen een indicatie kunnen vormen voor specifieke sterke c.q. minder sterke kanten in het functioneren van de aios. In het algemeen geldt bij het interpreteren van toetsscores dat het trekken van een juiste en verdedigbare conclusie over de competentie c.q. bekwaamheid van een aios alleen mogelijk is als de toetsscores zowel accuraat, generaliseerbaar als transferabel/extrapoleerbaar zijn. Helaas voldoet geen enkel toetsinstrument volledig aan deze eisen. Het gebruik van verschillende instrumenten die door ieder meer dan eens worden ingezet is daarom een absolute noodzaak. Dit palet van toetsen en beoordelingen vormt een toetsprogram ma. Het portfolio dient hierbij als verzamelinstrument. 5. Gebruik van toetsresultaten: verdedigbaarheid van beslissingen Zorgvuldig gebruik van toetsresultaten vereist een hoge kwaliteit van het besluitvormingsproces. Dit proces moet trans - parant, traceerbaar, geloofwaardig en rechtvaardig zijn. Beslissingen moeten gefundeerd zijn en gemotiveerd kunnen worden. Interpretatie en gebruik van toetsresultaten zou plaats moeten vinden aan de hand van overeengekomen standaarden (dit kunnen leerdoelen, opleidingsdoelstellingen of minimaal vereiste bekwaamheidsniveaus zijn) en van tevoren vastgestelde procedures. A. Werkplekbeoordelingen en kwaliteit van standaarden De gehanteerde standaarden en cesuur moeten verdedigbaar zijn. Een groot probleem op dit moment is het ontbreken van duidelijke en evidence-based standaarden waaraan een aios op specifieke momenten in de opleiding moet voldoen. Hiervoor zijn een aantal oorzaken aan te wijzen: 1. Voor een aantal algemene competentiedomeinen, zoals communicatie, professionaliteit of samenwerken, zijn nog geen absolute standaarden vastgesteld. Hoewel dit niet eenvoudig lijkt, zullen ook voor deze competenties standaarden ontwikkeld moeten worden. 2. Bij werkplekbeoordelingen is sprake van een hoge mate van leniency (score-inflatie). Uit onderzoek in de V.S. blijkt dat het merendeel (> 80%) van de arts-assistenten beoordeeld wordt als excellent of very good. 14 Een score good of satisfactory zou dan wel eens geïnterpreteerd moeten worden als twijfelachtig respectievelijk onvoldoende. 3. Er bestaan soms grote verschillen in beoordelingssystematiek bij vergelijking van verschillende opleidingszie- S92

69 Richtlijn gebruik van toetsresultaten in het portfolio M.J.B. Govaerts et al. kenhuizen, als gevolg van verschillen in gehanteerde scoresystemen (instrumenten), verschillen in opleidingsklimaat, verschillen in opvattingen en afspraken over toetsing, verschillen in patiëntaanbod, etc. Op grond van het bovenstaande kan geconcludeerd worden dat het ontwikkelen van goed onderbouwde standaarden alleen mogelijk is indien aandacht wordt besteed aan training van beoordelaars, er een onderlinge afstemming van beoordelingssystemen is en indien systematisch, en over een langere tijdsperiode, gegevens over functioneren van aios op de werkplek, in verschillende fasen van de opleiding en in verschillende settings, worden verzameld en toegankelijk worden gemaakt. Systematische documentatie van werkplekbeoordelingen is daarbij een noodzakelijke randvoorwaarde. 20 B. Zorgvuldige besluitvorming Verdedigbaarheid van besluiten vraagt om zorgvuldigheid in het besluitvormingsproces. Van zorgvuldige besluitvorming kan worden gesproken indien minimaal is voldaan aan een aantal randvoorwaarden Adequate notice (transparantie): Voor de medisch-specialistische vervolgopleiding betekent dit dat aios tijdig geïnformeerd zijn over de opzet en inhoud van het beoordelingsproces (instrumenten en procedures, beoordelingscriteria, standaarden c.q. te bereiken doelstellingen) en dat er regelmatig en tijdig tussentijdse feedback gegeven is over het functioneren (met eventueel mogelijkheid tot remediatie). 2. Fair hearing: Zorgvuldige besluitvorming berust niet alleen op input van voldoende geloofwaardige beoordelaars, maar ook van beoordeelde zelf. Dit betekent dat de aios in staat gesteld moet worden om input te leveren in het beoordelingsproces, bijvoorbeeld in de vorm van zelfbeoordeling, reflectie. In elk geval dient hij/zij tijdig in de gelegenheid gesteld te worden om verkregen (voorgenomen) beoordelingen te becommentariëren. Regelmatig ingeplande (formele) voortgangsgesprekken en andere feedbacksessies maken deel uit van een fair systeem van beoordelen. Daarnaast horen aios voldoende geschoold/getraind te zijn in het voeren van feedbackgesprekken, voortgangsgesprekken en beoordelingsgesprekken. 3. Beslissingen worden volgens vastgestelde procedures genomen: Er wordt een duidelijk onderscheid gemaakt tussen formatief en summatief gebruik van beoordelingsresultaten. Beslissingen (summatief) zijn altijd gebaseerd op geaggregeerde, dat wil zeggen over langere tijd en op basis van verschillende instrumenten verzamelde informatie. Beslissingen berusten daarbij op input van voldoende beoordelaars, en worden genomen door een daartoe verantwoordelijk gestelde groep (bijvoorbeeld de opleidergroep). De kwaliteit van de besluitvorming neemt hierdoor toe Beslissingen worden gemotiveerd en onderbouwd: Besluitvorming moet zoveel als mogelijk evidence-based zijn. Zorgvuldige en volledige documentatie van feedback gedurende de opleiding is belangrijk, zowel voor het leerproces van de aios, als voor de besluitvorming. Documentatie van positieve feedback heeft een sterk motiverend en bekrachtigend effect op het leren door de aios Uit onderzoek blijkt dat het ontbreken van documentatie een belangrijke reden kan vormen voor het uitstellen van negatieve beslissingen Training, coaching van beoordelaars: Beoordelaars moeten voldoende ver- S93

70 Richtlijn gebruik van toetsresultaten in het portfolio M.J.B. Govaerts et al. trouwd zijn met de achtergronden en doelstellingen van het beoordelingssysteem, en getraind zijn in het gebruik van instrumenten Effectief gebruik van werkplekbeoordelingen (toetsresultaten) vereist een beoordelingssysteem dat door alle betrokkenen ervaren wordt als rechtvaardig en zinvol. Doorslaggevend daarbij zijn vertrouwen in opzet en procedures, veiligheid, training, coaching en in gezamenlijk gevoelde verantwoordelijkheid Randvoorwaarden en algemene aanbevelingen Opleidergroep Zorg voor scholing van opleiderteam en bij opleiden betrokken beoordelaars. Faciliteer coaching on-the-job, bijvoorbeeld door een senior-staflid en/ of onderwijskundige. 42 Formaliseer procedures, waar nodig. Maak duidelijke afspraken over taken en verantwoordelijkheden wat betreft begeleiding en toetsing van aios. Draag als opleidergroep gezamenlijk verantwoordelijkheid voor de kwaliteit van toetsing. Zorg voor duidelijke standaarden (consensus) en communiceer deze. Maak duidelijk wat op welk moment van de aios wordt verwacht. Evalueer regelmatig als groep het functioneren van alle aios aan de hand van portfolio s. Neem als groep besluiten over aios. Bespreek probleem-aios en stel zonodig een remediëringsprogramma vast. Instrumenten afgestemd op doelstellingen van toetsing Gebruik instrumenten die inzicht geven in ontwikkeling/groei met betrekking tot CanMEDS competenties. Gebruik instrumenten die inzicht geven in ontwikkeling/groei met betrekking tot opleidingsspecifieke thema s. Zorg voor verzamelen van voldoende kwalitatieve informatie (narratieve feedback), naast kwantitatieve informatie. Faciliteer en bewaak zorgvuldige en volledige dossiervoering (portfolio) Zorg voor een gebruikersvriendelijk systeem (web-based). Zorg voor systematische en structurele evaluatie van aios op alle relevante (deel)competenties en thema s. Organiseer, waar nodig, de toetsing op de werkplek. Zorg voor inbedding van werkplekbeoordelingen in de dagelijkse werkroutine. Faciliteer directe observatie en documentatie van performance. Plan werkplekbeoordelingen, waar nodig, in. Zorg voor brede sampling. Betrek verschillende beoordelaargroepen in het proces. Systematische en structurele monitoring van performance van grote groepen aios (referentiegroepen) Zorg voor documentatie van performance. Verzamel gegevens van aios over een langere periode en in verschillende opleidingsinstellingen. Training/professionalisering van aios Zorg voor scholing van aios met betrekking tot voeren van feedbackgesprekken (geven en ontvangen van feedback; omzetten van feedback in concrete acties). Zorg voor scholing van aios in het voeren van voortgangs- en beoordelingsgesprekken. S94

71 Richtlijn gebruik van toetsresultaten in het portfolio M.J.B. Govaerts et al. 7. Samenvattende overzichten A. Toetsresultaten in begeleidingsgesprekken Voortgangsgesprek Doel: Materiaal (Portfolio): Evaluatie van en reflectie op het functioneren van de aios. Bespreken van de ontwikkeling van de aios in relatie tot Persoonlijk Ontwikkelingsplan (POP) en het opleidingsplan. Opstellen c.q. bijstellen van Persoonlijk Ontwikkelings Plan. Afspraken voorgaand gesprek. Persoonlijk Ontwikkelingsplan. Sterkte-zwakte-analyse. Bewijsmateriaal: Competentieprofiel (CanMEDS) Ontwikkeling vakinhoudelijke thema s (themaprofiel: KBS, verrichtingen; bekwaamheidsverklaringen) Gevolgd (cursorisch) onderwijs Onderzoek, publicaties, presentaties/referaten Onderwijstaken Toetsresultaten (werkplekbeoordelingen, overige toetsen) Overig Gebruik van toetsresultaten: formatief. Feedback op functioneren; bekrachtiging van sterke punten, signaleren van punten ter verbetering. Aandachtspunten: Resultaat: Wat wilde de aios bereiken? Wat heeft aios afgelopen periode geleerd/bereikt? Waaruit blijkt dat (bewijsmateriaal!)? Sterke punten in het functioneren van de aios? Wat heeft aios afgelopen periode niet gerealiseerd of kunnen bereiken? Waar blijft groei achter bij verwachtingen? Wat ligt daaraan ten grondslag? Belangrijkste belemmerende factoren? Belangrijkste aandachtspunten in het functioneren van de aios? Wat betekent bovenstaande voor de komende periode? (Bijgesteld) Persoonlijk Ontwikkelingsplan met SMART geformuleerde doelen. Hou hierbij rekening met: Eisen zoals in het opleidingsplan omschreven voor betreffende opleidingsperiode. Persoonlijke leerwensen van de aios. Takenpakket en mogelijkheden op de (nieuwe) werkplek. Let op hoge en lage scores: zij kunnen een indicatie vormen voor specifieke sterke en zwakke kanten in het functioneren van de aios. Check bijbehorende narratieve feedback. Let op alarmsignalen: extreem lage scores of een indicatie dat aios onder verwacht niveau functioneert. Let op critical incident reports. Zij kunnen een aanwijzing vormen voor specifieke problemen in het functioneren van de aios. S95

72 Richtlijn gebruik van toetsresultaten in het portfolio M.J.B. Govaerts et al. Beoordelingsgesprek Doel: Materiaal (Portfolio): Beslissen over geschiktheid van aios om zelfstandig (een deel van) het vak uit te oefenen en/of de opleiding voort te zetten dan wel af te ronden. Opleidingsplan. Persoonlijk Ontwikkelingsplan. Bewijsmateriaal: Competentieprofiel (CanMEDS) Ontwikkeling vakinhoudelijke thema s (themaprofiel: KBS, verrichtingen; bekwaamheidsverklaringen) Gevolgd (cursorisch) onderwijs Onderzoek, publicaties, presentaties/referaten Onderwijstaken Toetsresultaten (werkplekbeoordelingen, overige toetsen) Overig Gebruik van toetsresultaten: summatief. Deel van de informatie die gebruikt wordt bij onderbouwing van beslissingen (bewijsmateriaal). Aandachtspunten: Resultaat: Voldoet de aios aan alle (minimum)eisen die op dat moment van de opleiding aan hem/haar gesteld worden? Waar blijkt dat uit? Is het bewijsmateriaal c.q. de informatie in het portfolio van voldoende kwaliteit en kwantiteit? Zijn besluitvormingsprocedures zorgvuldig gevolgd? Is het opleiderteam in voldoende mate betrokken/gehoord? Is de aios gehoord? Is aanvullende informatie noodzakelijk (zo ja, op welke punten)? Gemotiveerde, onderbouwde: Go/no-go beslissing en/of Bekwaamheidsverklaring(en) Hierbij wordt rekening gehouden met: opleidingseisen, functioneren van de aios ten opzichte van relevante referentiegroep (peers) en verwachtingen omtrent verdere leerproces van de aios. Bij twijfel: Heldere, schriftelijk vastgelegde afspraken betreffende benodigde aanvullende informatie wat, door wie, hoe, op welke termijn Remediatie (geïntensiveerd begeleidingstraject) Hierbij wordt rekening gehouden met inschatting van mogelijkheden tot verdere groei / ontwikkeling en veiligheid voor aios / patiënten / studenten en collega s. S96

73 Richtlijn gebruik van toetsresultaten in het portfolio M.J.B. Govaerts et al. B. Kwaliteit en kwantiteit van werkplekbeoordelingen Het gebruik van het portfolio, hetzij bij het coachen of sturen van het leerproces, hetzij bij het nemen van beslissingen, veronderstelt dat de in het portfolio verzamelde informatie een representatief beeld geeft van het feitelijke functioneren van de aios in de opleiding. De informatie in het portfolio dient daartoe aan een aantal kwaliteitseisen te voldoen. Algemeen geldt bij het interpreteren van toetsscores dat het trekken van een juiste en verdedigbare conclusie over de competentie c.q. bekwaamheid van een aios alleen mogelijk is als de scores zowel accuraat, generaliseerbaar en transferabel/extrapoleerbaar zijn. Helaas voldoet geen enkel toetsinstrument volledig aan deze eisen. Het gebruik van verschillende instrumenten die door ieder meer dan eens worden ingezet is daarom een absolute noodzaak. Meer specifiek voor werkplekbeoor - delingen gelden aandachtspunten van accuratesse, generaliseerbaarheid en extrapoleerbaarheid. Deze zijn in de hierna volgende boxen toegelicht. Accuratesse Toetsresultaten moeten een accuraat beeld geven van het functioneren van de aios met betrekking tot de CanMEDS en themagebonden taken. Sterke kanten en verbeterpunten in het functioneren moeten zorgvuldig worden omschreven. Geschreven, aanvullende opmerkingen over het functioneren van de aios, waarin een aantal sterke en minder sterke punten concreet gemaakt worden, zijn veel belangrijker en informatiever dan numerieke scores. Aandachtspunten bij interpretatie van werkplekbeoordelingen in het portfolio: 1. Is de beoordeling tot stand gekomen op basis van directe observatie van het functioneren? 2. Is informatie voldoende specifiek en concreet? Worden numerieke scores onderbouwd met kwalitatieve gegevens (geschreven, beschrijvende feedback)? 3. Is variatie in scores aanwezig en verklaarbaar (zijn scoreverschillen zichtbaar)? a. Op beoordelingsformulieren: is een te verwachten variatie in scores op verschillende deelcompetenties zichtbaar, of is veeleer sprake van globale, algemene indrukken (dat wil zeggen identieke scores op alle deelaspecten van functioneren)? b. Over verschillende beoordelingsmomenten en -instrumenten heen: is groei in een bepaalde tijdsperiode zichtbaar (toenemende competentie en bekwaamheid)? c. Zijn scoreverschillen tussen aios aanwezig en herkenbaar? Veel voorkomende problemen bij werkplekbeoordelingen (zie hoofdstuk 4): Halo Leniency Variatie in beoordelaargedrag o.a. als gevolg van tijdsdruk, ongetrainde en/of ongemotiveerde beoordelaars. S97

74 Richtlijn gebruik van toetsresultaten in het portfolio M.J.B. Govaerts et al. Generaliseerbaarheid Toetsresultaten moeten een betrouwbare indicatie vormen voor daadwerkelijke beheersing van het deel van het vakgebied (het domein) waarover we uitspraken willen doen. Op basis van één enkele werkplekbeoordeling wordt specifieke informatie verkregen: specifieke informatie over functioneren m.b.t. betreffende taak, in betreffende specifieke situatie. Gegeneraliseerde uitspraken (over competentie of bekwaamheid van de aios) zijn slechts mogelijk indien voldoende gevarieerde meetgegevens beschikbaar zijn. Aandachtpunten: 1. Is er sprake van voldoende en voldoende variatie in beoordelingsmomenten? a. Voldoende variatie in patiënten/patiëntproblematiek? b. Voldoende variatie in beoordelingssituaties en - instrumenten? c. Voldoende variatie in beoordelaars? 2. In hoeverre en op welke punten wijzen toetsresultaten in eenzelfde richting? Op welke punten lijken toetsresultaten elkaar tegen te spreken? a. Indien informatie uit verschillende bronnen weinig consistent is, is verzamelen van aanvullende informatie noodzakelijk. b. Toetsresultaten van momentopnames (KPB, OSATS) zijn doorgaans sterk afhankelijk van de specifieke kenmerken van de patiëntcasus. Als gevolg is hierbij meer variatie in scores te verwachten dan bij het beoordelen van het functioneren over langere tijd (zoals bij 360 graden feedback). Naarmate de aios meer ervaring opdoet, zal kwaliteit van functioneren minder afhankelijk zijn van het toevallige patiëntprobleem. Let op het aantal beoordelingsmomenten c.q. beoordelaars (KPB, OSATS). Betrouwbare resultaten vereisen minimaal 6-11 beoordelingen c.q. beoordelaars. Variatie in patiëntpresentaties/casuïstiek is belangrijker dan variatie in beoordelaars! Let bij 360 graden feedback op voldoende variatie in beoordelaargroepen (peers, staf, verpleegkundigen, paramedici, overige medewerkers, patiënten) en voldoende beoordelaars per groep (6-10; grotere aantallen bij patiënten!). Veel voorkomende problemen bij werkplekbeoordelingen (zie hoofdstuk 4): beperkte sampling. Extrapoleerbaarheid Toetsresultaten moeten een waardevolle en betekenisvolle indicatie geven over het feitelijke functioneren van de aios in de dagelijkse praktijk. Aandachtspunten: 1. Zijn de beoordelingssituaties authentiek en voor de praktijk relevant? a. Is de aios in voldoende mate beoordeeld tijdens de uitoefening van het werk, aan de hand van relevante en authentieke taken? b. Zijn alle relevante beoordelingsaspecten meegenomen in het beoordelingsproces? Denk aan alle CanMEDS gebieden! Veel voorkomende problemen bij werkplekbeoordelingen: Exclusieve nadruk op (medische) kennis. Exclusieve nadruk op medisch-technisch handelen. Bewijsvoering op basis van indirecte informatie (bijvoorbeeld uitspraken over communicatie op basis van schriftelijke verslaglegging in de status). S98

75 Richtlijn gebruik van toetsresultaten in het portfolio M.J.B. Govaerts et al. C. Verdedigbaarheid van beslissingen: standaarden en besluitvormingsproces Standaarden Beslissingen komen tot stand op basis van vergelijking van informatie met een bepaalde standaard. Met betrekking tot toetsing, en zeker in het geval van werkplekbeoordelingen, is het belangrijk te realiseren dat een gouden standaard ontbreekt. Aandachtspunten: 1. Zijn er duidelijke afspraken over de standaarden die gehanteerd worden bij interpretatie van resultaten ten behoeve van voortgangsbespreking c.q. beoordeling? a. In het voortgangsgesprek worden de standaarden merendeels gevormd door specifieke leerdoelen in het leerplan van de individuele aios. Uiteraard horen deze aan te sluiten bij, en in elk geval niet te conflicteren met het opleidingsplan. b. In het beoordelingsgesprek worden bij voorkeur standaarden gehanteerd die een beschrijving geven van de minimumeisen die aan de aios op het moment van beoordelen gesteld moeten worden. Dergelijke absolute standaarden zijn deels beschreven in het opleidingsplan zoals opgesteld door de wetenschappelijke vereniging en uitgewerkt in het regionale opleidingsplan. 2. Waar geen absolute standaarden voorhanden zijn, kan de professionele ontwikkeling van de aios vergeleken worden met die van een adequaat gekozen referentiegroep. In het merendeel van de gevallen zal de referentiegroep bestaan uit aios in een zelfde fase van de opleiding. Vergelijking met een referentiegroep is alleen mogelijk indien systematisch en over langere tijd verzamelde gegevens van grote groepen aios beschikbaar zijn. Veel voorkomende problemen bij werkplekbeoordelingen: Ontbreken van SMART-geformuleerde leerdoelen (bij voortgangsbesprekingen). Standaarden zijn weinig concreet en onderliggende criteria zijn op meer manieren uit te leggen. Instrumenten zijn onduidelijk wat betreft het te hanteren referentiekader bij beoordelen (bijvoorbeeld: is uitstekend de best haalbare score voor deze aios in dit jaar van de opleiding, of weerspiegelt uitstekend het best haalbare niveau aan het eind van de opleiding? Ofwel: beoordeling naar eindniveau opleiding, of naar opleidingsfase waarin aios zich op dat moment bevindt?). Als gevolg daarvan hanteren beoordelaars verschillende referentiekaders in hun werkplekbeoordeling. Gegevens van referentiegroepen zijn niet beschikbaar. Het ontwikkelen van goed onderbouwde standaarden is alleen mogelijk indien aandacht wordt besteed aan training van beoordelaars, onderlinge afstemming van beoordelingssystemen en indien systematisch en over een langere tijdsperiode gegevens over functioneren van aios op de werkplek, in verschillende fasen van de opleiding en in verschillende settings, worden verzameld en toegankelijk gemaakt. Systematische documentatie van werkplekbeoordelingen is daarbij een noodzakelijke randvoorwaarde. S99

76 Richtlijn gebruik van toetsresultaten in het portfolio M.J.B. Govaerts et al. Besluitvormingsproces Beslissingen zijn alleen verdedigbaar als besluitvormingsprocedures zorgvuldig zijn gevolgd. Daarbij is het belangrijk een duidelijk onderscheid te maken tussen formatief en summatief gebruik van toetsresultaten/werkplekbeoordelingen (hoofdstuk 4). Beslissingen (summatief) worden genomen op basis van geaggregeerde informatie in het portfolio. Een enkelvoudige werkplekbeoordeling (momentopname) vervult uitsluitend een formatieve functie (feedback). Formaliseer summatieve besluitvorming door: het instellen van een opleidergroep die gezamenlijke verantwoordelijkheid draagt voor besluitvorming, beslissingen zorgvuldig te motiveren en te documenteren. Aandachtspunten: 1. Is de informatie in het portfolio van voldoende kwaliteit en kwantiteit, voor alle te beoordelen competentiedomeinen? 2. Zijn te hanteren criteria en standaarden helder? 3. Wordt alle beschikbare informatie in het portfolio meegenomen in de beslissing? 4. Bij uitspraken over algemene competenties of professioneel handelen in brede zin: is er sprake van een mix van momentopnames (KPBs, OSATS) en beoordelingen van functioneren over langere tijd (360 graden feedback, algemene oordelen van supervisoren)? 5. Zijn voldoende stafleden uit de opleidergroep in voldoende mate gehoord; input van voldoende geloofwaardige beoordelaars? 6. Is de aios in voldoende mate gehoord: heeft de aios gelegenheid gehad om op de resultaten en voorgenomen beslissing te reageren? a. Voortgangsgesprekken gevoerd en gedocumenteerd? b. Regelmatig tussentijds feedback; gedocumenteerd? c. Zelfbeoordeling(en) aanwezig en besproken? d. Reflectieverslagen aanwezig en besproken? 7. Zijn procedures toetsbaar? a. Waren er heldere afspraken m.b.t. beoordelingsprocedures, -instrumenten, en -criteria? b. Is documentatie zorgvuldig en volledig (motivering, onderbouwing aanwezig)? Bij twijfel: aanvullende informatie verzamelen! S100

77 Richtlijn gebruik van toetsresultaten in het portfolio M.J.B. Govaerts et al. Literatuur 1. Epstein RM, Hundert E.M. Defining and Assessing Professional Competence. JAMA 2002, 287(2), Epstein RM. Assessment in Medical Education. NEJM 2007;356: Turnbull J, Gray J, MacFadyen J. Improving In- Training Evaluation Programs. JGIM 1998;13: Tamblyn R. Outcomes in medical education: what is the standard and outcome of care delivered by our graduates. Advances in Health Sciences Education Theory Pract 1999;4: Ten Cate O, Scheele F. Competency-based postgraduate training: can we bridge the gap between theory and clinical practice? Acad Med 2007; 82(6): Van der Vleuten CPM, Schuwirth LWT. Assessing professional competence: from methods to programmes. Med Educ 2005;39: Hager P, Gonczi A, Athanasou J. General Issues about Assessment of Competence. Assessment & Evaluation in Higher Education 1994;19(1), Van Tartwijk J, Driessen EW. Portfolios for assessment and learning AMEE Guide No 45. Medical Teacher 2009;31(9): Kane M. Validation. In: R.L. Brennan (ed.) Educational Measurement. Westport CT: American Council on Education/Praeger; 2006, p Kane M, Crooks T,Cohen A. Validating Measures of Performance. Educational Measurement: Issues and Practice, Summer 1999, Williams RG, Klamen DA, MacGaghie WC. Cognitive, Social and Environmental Sources of Bias in Clinical Performance Ratings. Teach Learn Med 2003;15(4): Turnbull J, Barneveld van C. Assessment of clinical performance: in-training evaluation. In: G.R. Norman, C.P.M. Van der Vleuten & D.I. Newble (eds.), International Handbook of Research in Medical Education Dordrecht: Kluwer Academic Publishers; 2002; p Murphy K R, Cleveland JN. Understanding Performance Appraisal. Social, organizational and Goal-Based perspectives. Thousand Oaks,1995; CA: Sage Publications. 14. Williams RG, Dunnington G. Prognostic value of resident clinical performance ratings, Journal of the American College of Surgeons 2004;199(4): Verhulst SJ, Colliver JA, Paiva, RE, Williams RG. A factor analysis study of performance of firstyear residents. J. Med Educ 1986;61: Holmboe ES. Faculty and the Observation of Trainees Clinical Skills: Problems and Opportunities. Acad Med 2004;79: Littlefield JH, DaRosa DA, Anderson KD, Bell RM, Nicholas GG, Wolfson PJ. Assessing performance in clerkships: accuracy of surgery clerkship performance raters. Acad Med 1991;66(9):S16 S DeNisi AS, Peters LH. Organization of information in memory and the performance appraisal process: evidence from the field. Journal of Applied Psychology 1996;81(6): DeNisi AS, Robbins T, Cafferty TP. Organization of information used for performance appraisals: role of diary-keeping. Journal of Applied Psychology 1989;74(1): Williams RG, Dunnington GL, Klamen DL. Forecasting Residents Performance Partly Cloudy. Acad Medicine 2005;80 (5): Van der Vleuten CPM, Swanson DB. Assessment of clinical skills with standardized patients: State of the art. Teach Learn Med 1990; 2: Elstein AS, Shulman LS, Sprafka SA. Medical Problem-solving: An Analysis of Clinical Reasoning. Cambridge; Massachusetts: Harvard University Press; Van der Vleuten CPM. The assessment of professional competence: developments, research and practical implications. Adv Health Sci Educ 1996;1: Eva KW. On the generality of specificity. Med Educ 2003;37(7): Brennan RL. Performance Assessments from the Perspective of Generalizability Theory. Applied Psychology Measurement 2000;24: Williams RG, Verhulst S, Colliver JA, Dunnington GL. Assuring the reliability of resident performance appraisals: More items or more observations? Surgery 2005;137: Wilkinson JR, Crossley JGM, Wragg A, Mills P, Cowan G, Wade W. Implementing workplacebased assessment across the medical specialties in the United Kingdom. Med Educ 2008;42: Mount MK, Scullen SE. Multisource Feedback Ratings: What Do They Really Measure? In: M. London (ed). How People Evaluate Others in Organizations. Mahwah, NJ: Lawrence Erlbaum Associates;2001, p Taylor MS, Tracy KB, Renard MK, Harrison J.K, Carroll SJ. Due Process in Performance Appraisal: A Quasi-experiment in Procedural Justice. Administrative Science Quarterly 1995;40: Erdogan B, Kraimer ML, Liden RC. Procedural justice as a two-dimensional construct. An examination in the performance appraisal context. Journal of Applied Behavioural Science 2001; 37(2): Levy PE, Williams JR. The Social Context of Performance Appraisal: A Review and Framework for the Future. Journal of Management 2004; 30: Schwind CJ, Williams RG, Boehler ML, Dunnington GL. Do individual attending post-rotation S101

78 Richtlijn gebruik van toetsresultaten in het portfolio M.J.B. Govaerts et al. performance ratings detect resident clinical performance? Acad Med 2004;79: Williams RG, Schwind CJ, Dunnington GL, Fortune J, Rogers D, Boehler M. The Effects of Group Dynamics on Resident Progress Committee Deliberation. Teach Learn Med 2005;17(3), Norcini J, Burch V. Workplace-based assessment as an educational tool. AMEE Guide , Dundee: AMEE. 35. Hatty J, Timperley H. The Power of Feedback. Review of Educational Research 2007;77(1): Shute VJ. Focus on Formative Feedback. Review of Educational Research 2008;78(1), Dudek NL, Marks MB, Regehr G. Failure to Fail: The Perspectives of Clinical Supervisors. Acad Med 2005; 80(10 suppl): S84-S Holmboe ES., Hawkins RE, Huot SJ. Effects of Training in Direct Observation of Medical Residents Clinical Competence. A randomized trial. Ann Intern Med 2004;140: Woehr DJ, Huffcutt AI. Rater training for performance appraisal: A quantitative review. Journal of Occupational and Organizational Psychology 1994; 67(3): Bernardin HJ, Orban JA, Carlyle JJ. Performance ratings as a function of trust in appraisal and rater individual differences. Academy of Management Proceedings 19981; Longenecker CO, Gioia DA. Confronting the politics in performance appraisal. Business Forum 2000;25(3,4): Littlefield JH, Darosa DA, Paukert J, Williams RG, Klamen DL, Schoolfield JD. Improving resident performance data: numeric precision and narrative specificity. Acad Med 2005;80(5): De auteurs: Drs. M.J.B. Govaerts is universitair docent, werkzaam bij de vakgroep Onderwijsontwikkeling en Onderwijsresearch, Faculty of Health, Medicine and Life Sciences, Universiteit Maastricht.* Dr. E. Driessen is universitair docent, werkzaam bij de vakgroep Onderwijsontwikkeling en Onderwijsresearch, Faculty of Health, Medicine and Life Sciences, Universiteit Maastricht.* Dr. B. Verhoeven is kinderchirurg in het MUMC+ te Maastricht en maakt deel uit van de taakgroep vervolgopleiding van de vakgroep Onderwijsontwikkeling en Onderwijsresearch, Faculty of Health, Medicine and Life Sciences, Universiteit Maastricht. Prof. dr. C.P.M. van der Vleuten is hoogleraar Onderwijskunde, voorzitter van de vakgroep Onderwijsontwikkeling en Onderwijsresearch, Faculty of Health, Medicine and Life Sciences, Universiteit Maastricht. Dr. H. Brackel is kinderarts in het Catharina Ziekenhuis te Eindhoven.** Drs. J. van Hoorn is kinderarts-fellow neonatologie in het MUMC te Maastricht.** Drs. R. van de Laar is arts in opleiding tot gynaecoloog in het MUMC+ te Maastricht.** Dr. J. Maas is gynaecoloog in het MUMC+ te Maas - tricht.** Prof. dr. S.G. Oei is gynaecoloog in het Maxima Medisch Centrum te Veldhoven.** * en als onderwijskundig adviseur verbonden aan het kernteam In VIVO, OOR Zuid-Oost Nederland. ** allen maken deel uit van het kernteam In VIVO, OOR Zuid-Oost Nederland. Correspondentieadres: M.J.B. Govaerts, Vakgroep Onderwijsontwikkeling en -research, FHML, Universiteit Maastricht, postbus 616, 6200 MD Maastricht. [email protected] Belangenconflict: geen gemeld Financiële ondersteuning: geen gemeld S102

79 Tijdschrift voor Medisch Onderwijs, juni 2011 Vol. 30, nr. 3, Suppl. 2, p Richtlijn feedback in de medische vervolgopleiding K. Boor, P.W. Teunissen, P.L.P. Brand Voorwoord Deze Richtlijn is in het kader van het In VIVO-project geschreven door dr. Klarke Boor (aios Obstetrie & Gynaecologie, VU Medisch Centrum Amsterdam, gepromoveerd op het klinische opleidingsklimaat), dr. Pim Teunissen, (aios Obstetrie & Gynaecologie, VU Medisch Centrum Amsterdam; onderzoeker medisch onderwijs Universiteit van Maastricht en gepromoveerd op de wijze waarop aios leren op de werkplek) en prof. dr. Paul Brand (hoog - leraar klinisch onderwijs, Universitair Medisch Centrum Groningen, Postgraduate School of Medicine, en kinderarts-opleider, Amalia kinderafdeling, Isala klinieken Zwolle), met medewerking van prof. dr. Fedde Scheele (hoogleraar onderzoek van medisch onderwijs, VU Medisch Centrum en gynaecoloog-opleider Sint Lucas An - dreas Ziekenhuis, Amsterdam). Status van de Richtlijn Deze Richtlijn is gebaseerd op literatuuronderzoek, best practices en ervaringen en visies van de auteurs en heeft een adviserend karakter. Deze Richtlijn dient te zijner tijd te worden herzien op basis van aanvullend onderzoek en ervaringen van de gebruikers van de Richtlijn. Te verwachten is dat de Richtlijn twee jaren nadat de grootschalige implementatie van de modernisering van de Nederlandse medische vervolgopleidingen is afgerond, herzien zal worden. Doel van de Richtlijn De Richtlijn is een hulpmiddel voor leden van opleidingsteams en artsen in opleiding tot specialist (aios) om het gebruik van feed - back beter te leren hanteren en te begrijpen. De Richtlijn bespreekt algemeen geldende aspecten van effectieve feedback. Voor omschrijvingen van specifieke instrumenten waarmee feedback gegeven kan worden zoals Korte Praktijk Beoordelingen (KPB), Objective Structured Assess - ment of Technical Skills (OSATS) of multi - source feedback, verwijzen wij naar andere Richtlijnen. Ook de praktische organisatie omtrent het geven en ontvangen van feedback valt buiten het bestek van deze Richtlijn. De Richtlijn bestaat uit twee delen. Het eerste deel is de feitelijke Richtlijn en geeft een samenvatting van praktische tips bij het geven van feedback. In het tweede deel van dit document worden deze tips onderbouwd aan de hand van recente literatuur. Voor de leesbaarheid van de Richtlijn gebruiken we de term aios; waar aios staat kan ook anios (assistent niet in opleiding tot specialist) gelezen worden. De term supervisor wordt gebruikt om elk lid van de opleidersgroep mee aan te duiden. Overigens zou uit het lezen van de Richtlijn de indruk kunnen ontstaan dat alleen aios feedback ontvangen en supervisoren slechts feedback geven. De werkelijkheid is uiteraard genuanceerder. Supervisoren zullen ook regelmatig feedback van aios ontvangen. Waar aios staat kan dus ook vaak supervisor worden gelezen. S37

80 Richtlijn feedback in de medische vervolgopleiding K. Boor et al. Inleiding Feedback is een van de belangrijkste en tegelijk een van de moeilijkste interventies waarmee het leren te beïnvloeden is. Deze Richtlijn geeft een overzicht van belangrijke inzichten die de literatuur ons biedt. Er wordt al ruim honderd jaar gepubliceerd over feedback; deze Richtlijn beperkt zich tot enkele recente (overzichts)artikelen. Feedback kan er soms voor zorgen dat aios slechter gaan functioneren, zeker als dat onzorgvuldig gebeurt. Het is daarom verstandig ervoor zorg te dragen dat zo - wel aios als stafleden zich verdiepen in feedback. Vier niveaus waarop feedback kan worden gegeven Feedback kan gegeven worden op vier verschillende niveaus. Het komt de effectiviteit van feedback ten goede wanneer feedbackgevers zich bewust zijn van deze niveaus en bewust kiezen voor het niveau waarop ze feedback willen geven. Het taakniveau: Feedback op dit niveau benoemt specifiek concrete handelingen die ertoe leiden dat een taak tot een goed einde gebracht wordt of juist niet. Dit vereist uiteraard dat de aios al enig inzicht heeft in de taak. Als de taak onbekend is, is het zinvoller instructie en uitleg te geven dan feedback te geven. Het procesniveau: Feedback op dit niveau richt zich op onderliggende thema s en processen die herkenbaar zijn in het functioneren van een aios. Feedback op dit niveau zou mogelijk leiden tot dieper leren. Het zelfregulatieniveau: Feedback op dit niveau, dus bij voorbeeld op de wijze waarop de aios wel of juist niet eerdere feedback in zijn/haar handelen heeft toegepast, is effectief, onder meer omdat dit weer het feedbackzoekgedrag beïnvloedt. Het persoonsniveau: Feedback op dit niveau is feedback in de vorm van in algemene termen gestelde positieve of negatieve uitlatingen over de persoon. Vermijd deze feedback op het persoonsniveau! Zulke opmerkingen leiden er - toe dat de aios de aandacht gaat richten op gedachten over zichzelf in plaats van op de taak. Hierdoor kan zijn/haar functioneren hetzelfde blijven of zelfs verslechteren. Overigens zijn prijzende opmerkingen prettig om te horen en onderzoek toont aan dat mensen het graag willen horen, maar het zorgt er niet voor dat mensen effectiever gaan functioneren. Feedback wordt dus effectiever wanneer deze zich niet richt op de persoon. Feedback geven Feedback kan op verschillende manieren gegeven worden: concreet, gepast, met een duidelijk doel en op het goede moment. Specifieke en concrete narratieve feed - back, dat wil zeggen met inhoudelijk commentaar, is effectiever dan het geven van cijfers. 1-2 De informatie voldoende of geslaagd geeft niet aan wat er goed ging en wat beter kan. Wanneer iemand nog nauwelijks kennis of vaardigheden bezit is het verstandiger instructie te geven in plaats van feedback. Alleen wanneer er heldere doelen zijn verwoord, kan effectieve feedback worden gegeven. Leerdoelen kunnen op verschillende niveaus worden geformuleerd. Vaardige aios profiteren van faciliterende feedback, waarbij hints en suggesties worden gegeven waarop de aios zelf een verbeterplan kan conceptualiseren. Minder vaardige aios hebben baat bij directieve feedback waarin helder gesteld wordt wat veranderd moet worden. S38

81 Richtlijn feedback in de medische vervolgopleiding K. Boor et al. De ervaring van een aios en de moeilijkheid van de taak zijn van belang voor het bepalen van het beste moment om feedback te geven. Het is het meest effectief direct feedback te geven als een taak moeilijk is in relatie tot de vaardigheden van een aios; wanneer de taak goed beheerst wordt en er al enige routine is, is het effectiever om feedback uit te stellen. Feedback is altijd subjectief: het gaat om de individuele mening van een feedbackgever over het functioneren van een aios. Feedback ontvangen De aios is niet alleen een passieve ontvanger van feedback maar vertoont zelf ook feedbackzoekgedrag. Aios kunnen dit expliciet doen: hoe vond je dat dit ging? of impliciet: in een situatie waarin een supervisor niet erg enthousiast op een voorstel reageert denkt de aios bij zichzelf het zal wel onjuist zijn, volgende keer zal ik een ander beleid voorstellen en hoopt dan op feedback. Of aios kiezen voor de expliciete of de impliciete feedbackzoekstrategie is afhankelijk van diverse factoren. Allereerst wordt dit bepaald door een afweging van de kosten en de baten: na een buitengewoon succesvol verlopen ingreep is het voor velen bijvoorbeeld makkelijk om expliciete feedback te vragen. Tevens wordt het feedbackzoekgedrag beïnvloed door de gerichtheid van aios op ofwel presteren ofwel leren en het gedrag van de feedback gever (zie voor een uitgebreide toelichting het tweede deel: de achtergronden bij de Richtlijn). Mensen horen in het algemeen, en aios dus ook, gemakkelijker feedback die past bij hun zelfbeeld dan feedback die ver ligt van hun zelfbeeld. Is deze feedback niet congruent met de eigen inschatting, dan is het veel lastiger om deze te accepteren en het gedrag te veranderen. 3 Tabel 1. Drie feedbacktechnieken. Methode Techniek Voordelen Nadelen Sandwich- 1. Zeg wat goed ging - expliciet aandacht voor - monoloog door methode 2. Zeg wat verbeterd kan worden wat goed gaat feedbackgever 3. Herhaal wat goed ging Reflectieve 1. Vraag: wat ging er goed? - dwingt tot reflectie - techniek kan methode 2. Zeg zelf (of vraag - geeft inzicht in gekunsteld observatoren) wat goed ging zelfbeeld van de overkomen 3. Vraag: wat kan er beter? lerende 4. Zeg zelf (of vraag observatoren) - gaat uit van perspectief wat er beter kan van de lerende Narratieve 1. Bespreek de ervaring vanaf het - sluit aan bij ervaring - minder structuur methode begin en neem deze door van lerende in gesprek en 2. Vraag steeds naar gedachten en - beweegredenen voor daarom lastiger gevoelens en nodig uit om te gedrag komen aan bod voor feedbackgever reageren 3. Leg nadruk op zowel sterke als verbeterpunten S39

82 Richtlijn feedback in de medische vervolgopleiding K. Boor et al. Feedback in de praktijk Om houvast te hebben in het voorbereiden en geven van feedback, zijn er grofweg drie verschillende manieren te onderscheiden waarop feedback kan worden vormgegeven. Dit zijn de sandwich-, de reflectieve en de narratieve methode (Tabel 1). 4 Elk van de benaderingen heeft zijn voor- en nadelen. Het model dat in Nederland het meest wordt gepropageerd is het reflectieve model, ook wel feedback volgens de Pendleton regels genoemd. 5 In een recent artikel van Brand en Boendermaker wordt deze methode helder uiteengezet. 6 De benadering van de feedbackgever moet aan een aantal voorwaarden voldoen: geloofwaardig, authentiek, empathisch en met ruimte voor een wederzijdse dialoog. Geloofwaardigheid Feedback sorteert het meeste effect wanneer de aios de supervisor geloofwaardig acht. Het is bijvoorbeeld weinig geloofwaardig een aios feedback te geven over zijn/haar anamnestische vaardigheden en lichamelijk onderzoek op basis van notities in een status. De supervisor zal iemand moeten observeren om die feedback te kunnen geven. Een ander voorbeeld van weinig geloofwaardige feedback is het krijgen van een terugkoppeling over communicatievaardigheden van een specialist die zelf bekend staat om zijn gebrekkige communicatie. De feedbackgever moet ter zake kundig zijn op het terrein waarop hij feedback geeft. Naast inhoudelijke expertise hangt geloofwaardigheid ook samen met duidelijkheid en voldoende specificiteit. Leermomenten gaan verloren wanneer feedback niet duidelijk geformuleerd wordt of niet gepaard gaat met concrete voorbeelden en suggesties voor verbetering. Dit sluit aan bij de bevinding dat feedback op taakniveau het meest effectief is. 7 In Tabel 2 staan enkele voorbeelden. Authenticiteit Het is belangrijk dat een supervisor authentiek is en oprecht reageert op de situatie en de ander. In het geval dat een aios een lastig gesprek of een moeizame simulatie heeft gehad, kan het geforceerd aanvoelen eerst positieve punten te noemen, zoals dat volgens de Pendleton regels zou moeten. Dit kan namelijk leiden tot minder authenticiteit bij de supervisor, iets wat door alle gesprekspartners vaak feilloos wordt aangevoeld. Het is van belang feedbackregels met enige souplesse toe te passen en in te spelen op de situatie. Hoe kan een supervisor het positieve blijven benadrukken, maar tegelijkertijd integer blijven? Manieren om het positieve te blijven benadrukken én tegelijk authentiek en geloofwaardig te Tabel 2. Voorbeelden van minder en meer effectieve benaderingen. Minder effectief Dat ging uitstekend! Iets wat ik zelf ook vaak doe en wat op zich ook niet erg hoeft te zijn maar waardoor ik nu wel wat afgeleid raakte, hoewel ik het wel een heel goed verhaal vond, was dat je soms erg in jezelf gekeerd en misschien zelfs fysiek afwezig leek. Meer effectief Door te benoemen dat de patiënte verdrietig leek, kwam je direct tot de kern van haar probleem. Je keek me niet een keer aan tijdens je presentatie. Hierdoor dwaalden m n gedachten af. Maak een volgende keer oogcontact met je publiek. S40

83 Richtlijn feedback in de medische vervolgopleiding K. Boor et al. blijven, zijn bijvoorbeeld het benoemen van positieve leereffecten en het prijzen van goede suggesties of inzichten van de aios zelf. Empathie Het is belangrijk voor de gever van feedback zich te realiseren dat het ontvangen van feedback buitengewoon stressvol kan zijn. Soms kan het helpen daarbij in herinnering te roepen hoe het gevoeld heeft om zelf feedback te ontvangen. Ook kan het bewust observeren van non-verbaal gedrag bij de ontvanger inzicht geven in de reactie. Toon oprecht begrip voor de emoties van de aios. Om te kunnen leren is het belangrijk dat mensen zich veilig voelen, en dat kan bijvoorbeeld door het tonen van oprechte empathie. Wederzijdse dialoog Bij het geven van feedback is het van belang aan te sluiten bij de wijze waarop de ander de situatie waarover feedback wordt gegeven, heeft ervaren. In de narratieve methode is sprake van een voortdurende dialoog, met als doel de achterliggende gedachten en overtuigingen die geleid hebben tot bepaald gedrag bloot te leggen. In Box 1 staan enkele voorbeelden. Tegelijkertijd moet de supervisor zich ook bewust zijn van reactiepatronen bij aios die het toelaten van feedback in de Box 1. Voorbeelden van voortdurende dialoog. Op dat moment dacht ik dat X gebeurde, wat dacht jij dat er plaats vond? Toen die meneer agressief gedrag begon te vertonen, deed je in eerste instantie niets. Wat ging er door je heen op dat moment? Ik vraag me af of. Klinkt dat als iets wat mogelijk zou zijn? Toen je Y zei, dacht ik dat je eigenlijk Z bedoelde. Wat was je intentie? weg kunnen staan. Denk hierbij bijvoorbeeld aan verdedigingsmechanismen ( ja maar.., in echte situaties doe ik dit normaal ook anders.. ) of het geven van sociaal wenselijke antwoorden ( u heeft helemaal gelijk ). De supervisor kan dit ondervangen door regelmatig te checken of diens boodschap is doorgekomen door de aios bijvoorbeeld zelf te laten formuleren wat nu de hoofdboodschap is en wat hij/zij hiermee zal gaan doen. Dit is voor de feedbackgever een uit - dagende benadering. Belangrijk voor het tot stand brengen van een dialoog is zelf niet te veel aan het woord te zijn. Dit klinkt als een open deur, maar soms blijkt dit lastig. Daarnaast zijn herhalingen tijd - rovend en onnodig en die moeten dus vermeden worden. Conclusie Feedback geven is moeilijk. Het vereist oprechte interesse en moet gericht zijn op het gezamenlijke doel van opleider en aios om de aios zich te laten ontwikkelen. Het is een samenspel tussen feedbackgever en feedbackontvanger. Concrete feedback die aangeeft welke handelingen of strategieën mensen moeten behouden of veranderen is het meest effectief. Het is daarbij zinvol rekening te houden met de complexiteit van de taak in relatie tot de ervaring van de aios. Er zijn verschillende technieken om feedback te geven; in deze Richtlijn worden de sandwich-, de reflectieve en de narratieve methode genoemd. Welke methode ook gekozen wordt, geloofwaardigheid en authenticiteit, onder andere door een manier te kiezen die bij de feedbackgever en -ontvanger past, zijn van essentieel belang. Ook is het belangrijk empathie te tonen en te proberen zoveel mogelijk een dialoog tot stand te brengen. S41

84 Richtlijn feedback in de medische vervolgopleiding K. Boor et al. Regelmatige training kan bijdragen aan effectievere toepassing van feedback. Teach the Teacher -cursussen lijken een waardevolle start van dit proces, maar vervolgtrainingen (wellicht op de werkvloer) zijn waarschijnlijk noodzakelijk. S42

85 Tijdschrift voor Medisch Onderwijs, juni 2011 Vol. 30, nr. 3, Suppl. 2, p Achtergronden bij de Richtlijn feedback in de medische vervolgopleiding 1. Wat is feedback? Dat feedback geen eenduidig begrip is, blijkt al wanneer de hoeveelheid aan definities in ogenschouw wordt genomen. Van de Ridder et al. (2008) hebben de verschillende definities samengevat in een recent overzichtsartikel. Zij onderscheiden drie groepen definities die zich respectievelijk focussen op a) alleen informatie, b) reactie en interactie, waarbij de ontvangende partij reageert op de informatie van de feedbackgever of c) een cirkel waarbij eerdere informatie gebruikt wordt om gedrag te veranderen, waarna nieuwe input volgt. Tientallen definities zijn door hen beschreven, uitgaande van deze typologie, variërend van elke informatie over iemands gedrag tot informatie over het functioneren van een individu in vergelijking met een standaard of het functioneren van peers. 11 Andere auteurs definiëren feedback als commentaar op iemands functioneren of als informatie gegeven door een bron (bijvoorbeeld supervisor, collega, zelf, boek, ervaring) over aspecten van iemands functioneren of begrip. 7 Kortom: er zijn vele manieren om feedback te definiëren. Van belang is dat feedback niet beperkt is tot de formele situaties waarin een supervisor besluit expliciet feed back te geven aan een aios, zoals tijdens een Korte Praktijk Beoordeling (KPB) of tijdens een voortgangsgesprek. Sterker nog, de meeste feedback zit verpakt in de dagelijkse routine van overdrachten, in het voor- en of nabespreken van patiënten en in de contacten met patiënten en collega s. Feedback kan verschillende doelen dienen. In zijn algemeenheid gaat het erom dat met behulp van feedback het zelf - inzicht vergroot wordt. Zo kan feedback inzicht geven in het verschil tussen het huidige en het gewenste niveau van functioneren. Het stelt aios daardoor in staat gericht te werken aan de zaken die verbeterd kunnen worden Feedback kan aios dus helpen zich te focussen wanneer zij door de bomen het bos niet meer zien. Dit leidt tot vermindering van onzekerheid en van de cognitieve belasting, waardoor aios beter gaan functioneren. 12 Daarnaast maakt goede feedback duidelijk welke concrete aanpassingen nodig zijn om die verbetering te realiseren. 2. Positieve en negatieve effecten van feedback Lange tijd is er binnen de literatuur over feedback voornamelijk aandacht gegeven aan de positieve effecten van feedback. Kluger en DeNisi verrichtten een metaanalyse naar het effect van feedbackinterventies binnen de psychologische literatuur. 13 Zij includeerden alleen studies waarin een controlegroep werd gebruikt en er metingen van functioneren werden verricht. Zij berekenden op basis van 131 geïncludeerde studies (gebaseerd op observaties) 607 effect sizes (dit is een maat die de grootte van een eventuele relatie aangeeft). Opmerkelijk genoeg vonden zij dat er in meer dan 38% van de gevallen sprake was van een negatief effect van feedback op het functioneren: feedbackontvangers gingen slechter functione- S43

86 Achtergronden bij de Richtlijn feedback in de medische vervolgopleiding K. Boor et al. ren dan voorheen. Gemiddeld wordt er echter een positief effect van feedback op het functioneren gevonden Zoals Archer in zijn recente artikel over feedback stelt: feedback moet plaatsvinden in een reeks van feedbackinterventies en niet op zichzelf staan. 8 Dit wordt bevestigd zowel in een Cochrane review als in een BEME review waarin aangetoond wordt dat het effect groter is bij grotere intensiteit van feedback In de Cochrane review werd het effect van feedback op het functioneren van medisch specialisten onderzocht. 9 De auteurs includeerden 118 studies. Weliswaar bleek feedback gemiddeld genomen effectief, maar het effect was gering. De Best Evidence Medical Education (BEME) review die 41 studies over het effect van feedback op artsen includeerde (41% Randomized Controlled Trials, 24% cross-overdesign, 17% single cohort, 17% ander design), toonde in 70% van de gevallen een positief effect van feedback aan. Negatieve effecten werden niet expliciet benoemd. 10 Hoewel de bovengenoemde studies niet specifiek de effectiviteit van feedback in de opleiding tot specialist beschrijven, is het waarschijnlijk dat feedback een positief effect heeft op het functioneren van de aios. Feedback kan echter ook negatief uitpakken. De manier waarop feedback gegeven wordt speelt een cruciale rol bij deze effectiviteit. 3. Verklaring van effecten van feedback Voortbouwend op de resultaten van Kluger en DeNisi 13 ontwikkelden Hattie en Timperley in een uitgebreide review een model dat verklaart waarom feedback tot positieve of juist tot negatieve effecten leidt (Figuur 1). 7 Hattie en Timperley gaan ervan uit dat het voornaamste doel van feedback is de discrepantie tussen huidig functioneren en het gewenste functioneren op te heffen. Feedback zou dan antwoord moeten geven op drie vragen: 1. Waar ga ik heen (wat is het beoogde einddoel)? Alleen wanneer er heldere doelen zijn verwoord, kan effectieve feedback worden gegeven. Leerdoelen kunnen op verschillende niveaus worden geformuleerd. Een aios Obstetrie & Gynaecologie moet bevallingen kunnen begeleiden. Dit leerdoel kan worden opgedeeld in het leren begeleiden van een spontane partus, het kunnen verrichten van een vacuümextractie en het kunnen uitvoeren van een sectio caesarea. 2. Hoe gaat het op dit moment? Een supervisor die een aios observeert bij een vacuümextractie kan beoordelen wat goed gaat en wat een volgende keer beter kan. 3. Hoe nu verder (wat wordt het volgende tussendoel)? Feedback moet vervolgens duidelijk maken waar een aios nu staat ten opzichte van het doel. Is een aios in staat zelfstandig een vacuümextractie uit te voeren? Zo niet, wat moet er verbeteren om dat over een bepaalde tijd wel te kunnen? Als een aios wel in staat is de handelingen uit te voeren in een weinig complexe situatie, hoe gaat de aios dat dan leren in moeilijkere situaties? Leren is een traject waarbij een doel niet op zichzelf staat maar weer leidt tot verdere verdieping, meer zelfstandigheid of tot meer ervaring en routine. Deze drie vragen kunnen op verschillende niveaus worden benaderd en daarin zit het geheim van effectieve feedback. De vier niveaus zijn: taakniveau, procesniveau, zelfregulatieniveau, persoonsniveau (zie voor voorbeelden Tabel 3). Algemene feedback op persoonsniveau draagt het grootste risico om averechts uit te pakken. S44

87 Achtergronden bij de Richtlijn feedback in de medische vervolgopleiding K. Boor et al. Doel Verminderen van het verschil tussen het waargenomen gewenste begrip en of gedrag Het verschil kan verminderd worden door: Studenten Toegenomen inspanning en inzet van efffectievere strategieën OF Verlaten van, onduidelijk maken van, of lager inzetten op doelen Leraren Leveren van voldoende aantrekkelijke en specifieke doelen Studenten helpen met effectieve leerstrategieën en feedback Effectieve feedback beantwoordt drie vragen: Wat is mijn doel (feed up), hoe sta ik er voor (feedback), wat moet ik nu (feed forward) Elke feedbackvraag raakt aan vier niveaus Taakniveau Taak begrepen? Goed uitgevoerd? Procesniveau Proces benodigd voor taak of begrip aanwezig? Zelfregulatieniveau Monitoren, sturen en regelen eigen acties door leerling voldoende? Persoonsniveau Beoordelingen of gevoelens gericht op de persoon van de leerling Vertaald uit Hattie en Timperly 7 Figuur 1. Feedback volgens Hattie en Timperley. Taakniveau: Feedback op taakniveau is gericht op de vraag hoe goed een taak is uitgevoerd. Dit type feedback beschrijft concreet welke handelingen ertoe leiden dat een taak tot een goed einde gebracht wordt of juist niet. Dit vereist uiteraard dat de aios al enig inzicht heeft in de taak. Als de taak onbekend is, is het zinvoller instructie en uitleg te geven dan feedback. Daarnaast suggereren meerdere onderzoeken dat specifieke en concrete narratieve feedback (inhoudelijk commentaar) effectiever is dan het geven van cijfers. 1-2 De informatie voldoende of geslaagd geeft niet aan wat er goed ging en wat beter kan. Procesniveau: Feedback op procesniveau richt zich op onderliggende thema s en processen die herkenbaar zijn in het functioneren van een aios. Feedback op dit niveau zou mogelijk leiden tot dieper leren. S45

88 Achtergronden bij de Richtlijn feedback in de medische vervolgopleiding K. Boor et al. Tabel 3. Verschillende feedbackniveaus. Niveau Omschrijving Voorbeeld: een eerstejaars aios heeft moeite om de overdracht bondig te houden. Taak Feedback die specifiek je vertelde bij mevrouw A eerst het lichamelijk concrete handelingen benoemt onderzoek en het aanvullend onderzoek, maar die ertoe leidden dat een taak vergat de anamnese; bij meneer B vertelde je alleen tot een goed einde gebracht de anamnese en vergat je de rest van het onderzoek. is of juist niet. Probeer bij een volgende overdracht een vaste structuur aan te houden. Proces Feedback die meer algemene, Doordat je veel details in de overdracht opneemt, onderliggende thema s en krijg ik / krijgen de toehoorders geen goed beeld van processen benoemt die herken- de hoofd- en bijzaken. Probeer te bedenken welke baar zijn in het functioneren informatie echt van belang is om over te dragen. van een aios. Zelfregulatie Feedback op de wijze waarop Ik kon merken aan de volgorde van je verhaal dat je een aios het gedrag (bij)stuurt geprobeerd hebt meer lijn in de overdracht aan te om een gesteld doel te bereiken. brengen. Ik vond het ook goed dat je je supervisor vooraf geraadpleegd had welke patiënten je wel en niet zou overdragen. Persoon Feedback in de vorm van in Je bent slordig of je bent traag. algemene termen gestelde positieve of negatieve uitlatingen over de persoon. Zelfregulatieniveau: Zelfregulatie betreft de manieren waarop aios hun gedrag sturen om hun doelen te bereiken. Zelfregulatie wordt beïnvloed door gedrevenheid, gevoel van controle en zelfvertrouwen. Feedback op dit niveau, dus bij voorbeeld op de wijze waarop de aios wel of juist niet eerdere feedback in zijn/haar handelen heeft toegepast, is effectief, onder meer omdat dit weer het feedbackzoekgedrag beïnvloedt. In de paragraaf Ontvangen van feedback wordt hierop verder ingegaan. Persoonsniveau: Feedback op dit niveau betreft in algemene termen gestelde positieve of negatieve opmerkingen over de persoon. Deze opmerkingen leiden ertoe dat de aios de aandacht richt op gedachten over zichzelf in plaats van op de taak. Hierdoor kan zijn/haar functioneren hetzelfde blijven of zelfs verslechteren. Overigens zijn prijzende opmerkingen prettig om te horen (en onderzoek toont aan dat mensen het graag willen horen), maar het zorgt er niet voor dat mensen effectiever gaan functioneren. Concluderend stellen Hattie en Timperley dat het belangrijk is stil te staan bij de doelen van de aios en heel bewust te kiezen voor het niveau waarop feedback gegeven wordt. 7 Feed back is effectiever wanneer S46

89 Achtergronden bij de Richtlijn feedback in de medische vervolgopleiding K. Boor et al. deze zich niet richt op de persoon. Wanneer iemand nog nauwelijks kennis of vaardigheden bezit is het verstandiger instructie te geven dan feedback. 4. Timing van feedback Timing en inhoud van feedback moeten idealiter worden aangepast aan de (ingewikkeldheid van de) taak en de ervaring van de leerling. Shute geeft heldere richtlijnen voor de timing van feedback in verschillende situaties. 12 Grofweg schetst zij met betrekking tot timing twee soorten feedback: directe feedback die meteen na een taak gegeven wordt en uitgestelde feed - back die varieert van een paar uur tot weken na een taak. Het is het meest effectief om direct feedback te geven als een taak moeilijk is in relatie tot de vaardigheden van een aios. Wanneer de taak gemakkelijker is, is het effectiever de feedback uit te stellen. Makkelijk en moeilijk moet hier worden geïnterpreteerd in relatie tot de vaardigheden van de aios: een vaardige aios zal een taak vaker makkelijk vinden. Als een aios bijvoorbeeld pas voor de derde keer een laparoscopische cholecystectomie doet, is het zinvol fouten direct te corrigeren. Is het echter de dertigste keer, dan kan het zinvol zijn de aios zelf eventuele problemen op te laten lossen en achteraf de gekozen strategie te bespreken, mits uiteraard de patiëntveiligheid dit toestaat. Als er bij ervaren aios steeds onderbroken wordt en tips gegeven worden, kan dit er toe leiden dat hij of zij minder goed gaat functioneren omdat men uit de concentratie en het werkpatroon wordt gehaald. Shute geeft voorts aan dat vaardige aios vooral profiteren van faciliterende feedback, waarbij hints en suggesties worden gegeven zodat de aios zelf een verbeterplan kan opstellen. Minder vaardige aios hebben baat bij directieve feedback waarin helder gesteld wordt wat veranderd moet worden. Samen vattend moet rekening gehouden worden met de moeilijkheid van de taak en met de ervaring van de aios. Meer feedback leidt niet altijd tot een beter functionerende aios Ontvangen van feedback Veel literatuur geeft informatie over het effectief geven van feedback. De ontvangers van feedback worden hierin neergezet als passieve individuen die nauwelijks van invloed zijn op de uiteindelijke effectiviteit. Recent onderzoek toont aan dat het tegendeel waar is. Mensen gaan zelf vaak actief op zoek naar informatie over hun functioneren en reageren verschillend op exact dezelfde feedback. Kortom, niet alleen de gevers, maar ook de ontvangers spelen een rol in het uiteindelijk effect van feedback. Feedbackzoekgedrag Aios maken bewuste keuzes in wie ze wel of niet om feedback vragen en op welke momenten. Grofweg kunnen twee verschillende vormen van feedbackzoekgedrag worden onderscheiden: 1. Impliciet gedrag (monitoring) waarbij feedbackinformatie wordt verkregen door het observeren van de omgeving en anderen (bijvoorbeeld: een aios belt in de dienst een supervisor en stelt een plan voor; de supervisor gaat akkoord; de aios interpreteert dit als feedback dat de voorstellen voor beleid goed zijn). 2. Expliciet gedrag (inquiry) waarbij feed - back wordt verkregen door er direct naar te vragen (bijvoorbeeld: de aios in dit voorbeeld vraagt aan de supervisor of hij/zij het voorgestelde beleid goed vindt). Teunissen et al. hebben onderzoek gedaan naar factoren die invloed hebben op feedbackzoekgedrag van aios Obstetrie & Gynaecologie. 14 Hierbij bleek een aantal factoren van belang. Een eerste factor is de inschatting van de voor- en nadelen van S47

90 Achtergronden bij de Richtlijn feedback in de medische vervolgopleiding K. Boor et al. het vragen van feedback. Aios die bang zijn voor gezichtsverlies of voor een slechte beoordeling van het functioneren kunnen afzien van het direct vragen naar feedback en zullen eerder impliciet zoekgedrag vertonen. Als een aios bijvoorbeeld een ernstig zieke patiënt per ongeluk ont - slagen heeft zal hij/zij minder geneigd zijn direct te vragen om feedback maar uit de reacties op de overdracht afleiden dat het gevoerde beleid niet de gewenste aanpak is. Een tweede factor die het feedbackzoekgedrag beïnvloedt is de algemene doelgerichtheid van aios. Sommige aios zullen prestatiegericht zijn wat inhoudt dat zij een goede prestatie af willen leveren en geloven in het bezit van intelligentie en vaardigheden. Andere aios zijn ontwik - keling sgericht wat impliceert dat zij gericht zijn op hun ontwikkeling en geloven in de ontwikkelbaarheid van intelligentie en vaardigheden. Deze laatste groep zal bij falen zich voornemen een volgende keer harder te werken en het nogmaals te proberen; de eerste groep zal bij falen eerder van mening zijn dat ze het gewoon niet kunnen. Goede feedback kan ervoor zorgen dat er een verschuiving plaatsvindt van prestatiegericht naar het (meer effectievere) ontwikkelingsgericht zijn. De derde belangrijke factor bij het feedbackzoek gedrag is de stijl van de supervisor. Wanneer supervisoren helder zijn over wat ze ver wachten en wat de doelen zijn, zal een aios eerder direct om feedback vragen. Supervisoren kunnen aios dus helpen door te expliciteren wat zij van aios willen. Kortom, aios zijn geen passieve ontvangers van feedback. Zij zoeken feedback op een impliciete of expliciete manier. De kosten en baten van de feedback, de algemene doelgerichtheid van de aios en, last but not least, de stijl van de supervisor hebben invloed op dit feedbackzoekgedrag. Literatuur 1. Crooks TJ. The impact of classroom evaluation on students. Rev Educ Research 1988;5: Black P, William D. Assessment and classroom learning. Assessm Educ 1998;5(1): Sargeant J, Mann K. Feedback in medical education: Skills for improving learner performance. In: Cantillon P, Wood D, editors. ABC of Learning and Teaching in Medicine. 2 ed. BMJ Books; 2010; p Giving Feedback. In: Bullock I, Davis M, Lockey A, Mackway-Jones K, editors. Pocket Guide to Teaching for Medical Instructors/ Advanced Life Support Group and Resuscitation Council (UK). 2 ed. Oxford: Blackwell Publishing; 2008; p Pendleton D, Schofield T, Tate P, Havelock P. The new consultation: developing doctor-patient communication. Oxford: Oxford University Press; Brand PL, Boendermaker PM. [Give feedback: crucial competence in medical education]. Ned Tijdschr Geneeskd 2009;153(6): Hattie J, Timperley H. The power of feedback. Rev Educ Research 2007;77(1): Archer JC. State of the science in health professional education: effective feedback. Med Educ 2010;44(1): Jamtvedt G, Young JM, Kristoffersen DT, O Brien MA, Oxman AD. Audit and feedback: effects on professional practice and health care outcomes. Cochrane Database Syst Rev 2006;(2):CD Veloski J, Boex JR, Grasberger MJ, Evans A, Wolfson DB. Systematic review of the literature on assessment, feedback and physicians clinical performance: BEME Guide No. 7. Med Teach 2006;28(2): Van de Ridder JM, Stokking KM, McGaghie WC, Ten Cate OT. What is feedback in clinical education? Med Educ 2008;42(2): Shute VJ. Focus on Formative Feedback. Rev Educ Research 2008;78(1): Kluger AN, DeNisi A. The effects of feedback interventions on performance: a historical review, a meta-analyse, and a preliminary feedback intervention theory. Psychol Bull 1996;(119): Teunissen PW, Van der Stapel DA, Scherpbier A, Boor K, Scheele F. Who wants feedback? An investigation of the variables influencing residents feedback-seeking behavior in relation to night shifts. Acad Med 2009;84(7): S48

91 Achtergronden bij de Richtlijn feedback in de medische vervolgopleiding K. Boor et al. De auteurs: Dr. K. Boor is aios Obstetrie & Gynaecologie, VUmc, Amsterdam. Dr. P.W. Teunissen is onderzoeker medisch onderwijs, Universiteit van Maastricht en aios Obstetrie & Gynaecologie, VUmc, Amsterdam. Prof. dr. P.L.P. Brand is hoogleraar klinisch onderwijs UMCG, en kinderarts, Isala klinieken Zwolle. Correspondentieadres: K. Boor, VU Medisch Centrum, afdeling Obstetrie & Gynaecologie, postbus 7057, 1007 MB Amsterdam. Belangenconflict: geen gemeld Financiële ondersteuning: geen gemeld S49