Meten en verbeteren van opleiderskwaliteiten van klinisch opleiders met het SETQ-systeem

Onderzoek Meten en verbeteren van opleiderskwaliteiten van klinisch opleiders met het SETQ-systeem M.J.M.H. (Kiki) Lombarts, Onyebuchi A. Arah, Olivier R.C. Busch en Maas Jan Heineman Gerelateerde artikelen: Ned Tijdschr Geneeskd. 2010;154:A1578 en A1677 ONDERZOEK Doel Opzet Methoden Resultaten Conclusie Nagaan (a) of he t mo gelijk is om e en s ys te em van s ys tematische evaluatie van opleider sk waliteiten in te voeren in e en academisch ziekenhuis, (b) of de vragenlijsten die worden gebruikt voor het genereren van feedback van voldoende kwaliteit zijn en (c) hoe aiossen de opleiderskwaliteiten van stafleden en stafleden zichzelf beoordelen. Vragenlijstonderzoek Aiossen beoordeelden de opleiderskwaliteiten van stafleden en stafleden beoordeelden ook zichzelf. Voor beide beoordelingen werden vragenlijsten ontwikkeld binnen het Systematic evaluation of teaching qualities (SETQ)- systeem. De psychometrische kwaliteiten van de vragenlijsten werden onderzocht met behulp van explorerende factoranalyse en het berekenen van betrouwbaarheidscoëfficiënten van de schaalconstructen en de itemcorrelaties met de totale schaal. Het afdelingsresultaat werd uitgedrukt in gemiddelde, mediane scores en uiterste scores voor de verschillende opleidingsaspecten. In een jaar tijd introduceerden 16 opleidingen van het AMC het SETQ-systeem voor de evaluatie van hun stafleden. In totaal werden 398 stafleden en 314 aiossen uitgenodigd, de respons bedroeg 80,9% respectievelijk 73,6%. Aiossen voerden in totaal 2520 evaluaties uit. Factoranalyse resulteerde in 5 opleidingsaspecten: opleidingsklimaat, bejegening van de aios, communicatie over leerdoelen, toetsing van de aios en feedback aan de aios. Voor de aios-vragenlijst en de zelfevaluatie-vragenlijst waren de item-totaalcorrelaties hoog en was de betrouwbaarheid groot (cronbach-α: > 0,70), behalve voor het opleidingsaspect opleidingsklimaat voor de zelfevaluatievragenlijst (α: 0,67). Stafleden werden positief beoordeeld. Stafleden beoordeelden zichzelf iets minder positief. Aiossen en stafleden gaven de hoogste score aan het opleidingsaspect bejegening van de aios en de laagste score voor communicatie over leerdoelen. De SETQ was breed toepasbaar in een academisch ziekenhuis. De kwaliteit van het onderliggend instrumentarium was redelijk tot goed. Opleiders werden positief beoordeeld, maar daarin was verschil tussen de afdelingen. Academisch Medisch Centrum, Amsterdam. Afd. Kwaliteit en Proces Innovatie: dr. M.J.M.H. Lombarts, senior onderzoeker Afd. Heelkunde: dr. O.R.C. Busch, chirurg. Afd. Verloskunde en Gynaecologie: prof. dr. M.J. Heineman, gynaecoloog. Universiteit van Californie, Los Angeles, Verenigde Staten, afd. Epidemiologie: dr. O.A. Arah, epidemioloog. Contactpersoon: dr. M.J.M.H. Lombarts (m.j.lombarts@amc.uva.nl). De kwaliteit van de medische vervolgopleiding is een veel beschreven en besproken onderwerp. De meeste beschouwingen gaan over twee vragen: Wat bieden we artsenvan-de-toekomst om hen optimaal voor te bereiden op de praktijk-van-de-toekomst? en Hoe goed doen we dat? Het antwoord op de eerste vraag is gevonden in het competentiegericht opleiden. 1 Het antwoord op de tweede vraag kan pas worden gegeven als op betrouwbare wijze de kwaliteit van opleiding überhaupt kan worden gemeten. Inmiddels is duidelijk dat dit vooralsnog niet mogelijk is. De kwaliteit van de vervolgopleiding is een te complex begrip om in enkele eenvoudige en valide indicatoren te vangen. 2 Bovendien is het aantal wetenschappelijk verantwoorde meetinstrumenten beperkt. 3 Daarom is voorgesteld om per opleidingsziekenhuis te komen tot een systeem van interne kwaliteitszorg. 4 Eén relevant aspect daarvan is de kwaliteit van de leden van de opleidersgroep. In het Academisch Medisch Centrum (AMC) is de afgelopen jaren gewerkt aan de ontwikkeling van een systeem ( Systematic evaluation of teaching NED TIJDSCHR GENEESKD. 2010;154:A1222 1

ONDERZOEK qualities (SETQ)) voor het meten en verbeteren van de kwaliteit van de individuele opleiders in dit artikel verstaan wij onder opleiders alle stafleden die bijdragen aan de opleiding van aiossen. Het SETQ-systeem kan worden toegevoegd aan het gewenste instrumentarium voor het meten van de kwaliteit van de vervolgopleidingen, indien de wetenschappelijke waarde alsmede het praktische gebruik ervan aangetoond kunnen worden. SETQ-systeem: feedback en zelfevaluatie De kern van het SETQ-systeem is het vergroten van het zelfinzicht van stafleden in hun rol van opleider ten behoeve van het zelfgestuurd leren en waar mogelijk verder verbeteren van hun opleiderskwaliteiten. Een beter zelfinzicht wordt binnen het SETQ-systeem verkregen doordat aiossen hun opleiders feedback geven op de verschillende opleiderskwaliteiten en stafleden ook hun eigen functioneren evalueren. Feedback en zelfevaluatie zijn beide methoden die effectief kunnen bijdragen aan de verbetering van het functioneren van artsen. 5-7 Dit effect is groter als de beoordeling wordt gevolgd door systematische reflectie en discussie. 8 Eerder rapporteerden wij, onder meer in dit tijdschrift, hoe SETQ is ontwikkeld op de afdeling Anesthesiologie. 9,10 Aansluitend op de positieve ervaringen van deze afdeling waren we geïnteresseerd in de vraag of SETQ ook bij andere specialismen kon worden geïntroduceerd voor evaluatie van en feedback aan individuele opleiders. Verder wilden we weten of de psychometrische kwaliteiten van de SETQ-vragenlijst bij ziekenhuisbreed gebruik voldoende zijn. Tot slot hebben we gekeken naar de mening van de aiossen van verschillende specialismen over hun opleiders. In dit artikel beantwoorden we deze drie vragen. Methoden Introductie op de afdelingen Voor de uitvoering van de SETQ-evaluaties werd een beveiligd webbased systeem ontwikkeld. De ziekenhuisbrede implementatie verliep vervolgens in twee fasen. In eerste aanleg (september 2008) werd het vernieuwde SETQ-systeem bestaande uit zelfevaluatie van de stafleden en evaluatie door de aiossen geïntroduceerd op 4 afdelingen: Heelkunde, Verloskunde en Gynaecologie, Inwendige Geneeskunde en (nogmaals) Anesthesiologie. Op basis van de opgedane ervaringen volgden nieuwe afdelingen in de periode meijuni 2009. Deelname was anoniem. Tussentijds werden herinneringen ( reminders ) gestuurd. Na afloop van de meetperiode werd voor alle geëvalueerde stafleden een feedbackrapport gegenereerd. Het rapport bevatte de resultaten van de zelfevaluatie, de evaluatie door de aiossen en de gemiddelde resultaten van de peer -groep. Voor de afdelingen met minimaal 15 stafleden werd voor het betreffende staflid per opleidingsaspect een ranking ten opzichte van collega-stafleden toegevoegd. Afdelingen bepaalden zelf of de individuele feedbackrapporten vertrouwelijk bleven voor de beoordeelde stafleden en of het feedbackrapport werd besproken met het afdelingshoofd. Ontwikkeling van de SETQ-vragenlijsten De SETQvragenlijsten zijn ontwikkeld op basis van de internationaal gebruikte en gevalideerde vragenlijst van de Stanford faculty development program 26 (SFDP26). 11-13 De SFDP26 is gebaseerd op educatieve en psychologische theorieën over leren en op observaties van het klinisch opleiden. In eerdere studies werd deze lijst voor de Nederlandse situatie aangepast en getest en is hij van voldoende kwaliteit gebleken. 9,10 De SETQ-vragenlijsten bevatten 24 generieke items, die desgewenst aangevuld kunnen worden met specialismespecifieke vragen. De SETQ-vragenlijsten meten 5 opleidersaspecten: opleidingsklimaat, bejegening van de aios, communicatie over leerdoelen, toetsing van de aios en feedback aan de aios. Daarnaast bevat de lijst 2 algemene vragen betreffende de mate waarin een staflid een voorbeeldfiguur is voor de aios als toekomstig specialist en een samenvattende waardering voor het functioneren van het staflid in zijn of haar rol als opleider. De vragenlijsten voor zelfevaluatie bevatten identieke items. Aanvullend kunnen aiossen hun feedback als vrije tekst verwoorden. Alle items worden gescoord op een 5-punts-likertschaal oplopend van 1 = zeer mee oneens tot en met 5 = zeer mee eens. Voor de samenvattende vraag geldt een afwijkende betekenis: 1 = slecht, 2 = matig, 3 = gemiddeld, 4 = goed en 5 = uitstekend. Indien een vraag niet kon worden beantwoord kon dit worden aangegeven met niet beoordeelbaar. Statistische analyse Voor beantwoording van de eerste onderzoeksvraag gebruikten we beschrijvende statistieken om de SETQ-deelnemers en de respons in kaart te brengen. Voor de tweede onderzoeksvraag, de psychometrische kwaliteit van de SETQ-vragenlijsten, voerden we achtereenvolgens een explorerende factoranalyse uit, berekenden we de betrouwbaarheidscoëfficiënten per construct en tot slot de correlaties van de items met de totale schaal. Met factoranalyse kan men nagaan of de items in de vragenlijst onderling samenhangen en een of meer dimensies (constructen) vertegenwoordigen, in ons onderzoek ging dit om onderliggende opleidingsaspecten. Van de afzonderlijke items kan men de correlatiecoëfficiënt (factorlading) met de constructen bepalen. Voor de factoranalyse werd de principale-componenten-analyse met varimax-rotatie gebruikt om de samenstelling van de onderliggende opleidingsaspecten te onderzoeken. Voor elk gevonden construct werd vervolgens de interne consistentie berekend, uitgedrukt in cronbach-α. 2 NED TIJDSCHR GENEESKD. 2010;154:A1222

Een cronbach-α van minimaal 0,7 wordt in het algemeen bevredigend gevonden. 14 Om de homogeniteit van een construct te toetsen, werden de correlaties van de items met de totale schaal berekend, gecorrigeerd voor overlap tussen de items. Voor de laatste onderzoeksvraag, de mening van de aiossen over hun opleiders, berekenden we eerst per staflid de gemiddelde score per opleidingsaspect, die werd berekend indien alle itemscores beschikbaar waren of maximaal 1 item ontbrak (met uitzondering van het aspect opleidingsklimaat, daar gold: ten minste het maximaal aantal items minus 2). Op basis van de gemiddelde aspectscore per staflid werden de mediane waarden per opleiding berekend. Omdat de likertschaal een ordinale schaal is, waarvan niet vaststaat dat de intervallen tussen de 5 scores hetzelfde zijn, is het formeel niet juist om bijvoorbeeld gemiddelde scores te berekenen. Men gaat er echter van uit dat deze berekeningen desondanks een bruikbare benadering van de werkelijkheid geven. Resultaten Deelname en respons 16 afdelingen besloten SETQ te introduceren voor hun stafleden (tabel 1). Voor de verschillende disciplines werden specialismespecifieke vragenlijsten ontwikkeld; het aantal items per vragenlijst varieerde tussen specialismen van 26-35. In totaal werden 398 stafleden en 314 aiossen/aniossen uitgenodigd. Van hen participeerden uiteindelijk 322 (80,9%) respectievelijk 231 (73,6%). De respons van beide groepen varieerde tussen de afdelingen van 66,7-100% voor de stafleden en van 40-100% voor de aiossen. In totaal vulden de aiossen 2520 evaluatieformulieren in voor 356 stafleden (zie tabel 1). Psychometrische kwaliteiten van de SETQ-vragenlijst Factoranalyse resulteerde in 5 opleidingsaspecten: opleidingsklimaat (7 items; items 1-7), bejegening van de aios (3 items; 8-10), communicatie over leerdoelen (4 items; 11-14), toetsing van de aios (4 items; 15-18) en feedback aan de aios (4 items; 19-22). De interne consistentie van deze aspecten was groot voor de aios-vragenlijst: cronbach-α = 0,87-0,96 (tabel 2). Voor de zelfevaluatielijst was de cronbach-α lager (α = 0,67-0,89), maar voldoende, met uitzondering van het aspect opleidingsklimaat (α = 0,67) (tabel 2). De itemcorrelaties met de totale schaal waren hoog voor de meeste items binnen de opleidingsaspecten en in alle gevallen hoger voor de aiosvragenlijst (0,59-0,88) dan voor de zelfevaluatielijst (0,23-0,80). 3 items binnen de zelfevaluatielijst bereikten niet de benedengrens van 0,40 factorlading die in het algemeen kan worden gehanteerd voor deze berekening. Beoordeling van de opleiders en zelfevaluatie De aiossen beoordeelden de opleiderskwaliteiten van de AMCstafleden positief (tabel 3). De scores varieerden tussen de ONDERZOEK TABEL 1 Deelname en respons van stafleden en aiossen in het Academisch Medisch Centrum, Amsterdam, in een onderzoek naar het verbeteren van opleiderskwaliteiten van individuele klinisch opleiders deelnemende afdelingen aantal items in stafleden aiossen aantallen aios-evaluaties de SETQ-vragenlijst aantal uitgenodigd respons aantal uitgenodigd respons totaal gemiddeld Anesthesiologie 26 39 36 33 30 611 20,4 Heelkunde 30 25 23 18 17 225 13,2 Gynaecologie 27 25 23 16 15 176 11,7 Inwendige geneeskunde 35 68 50 86 52 376 7,2 Kindergeneeskunde 28 96 68 36 23 162 7,0 Longziekten 28 8 8 6 5 34 6,8 Revalidatie-geneeskunde 28 7 7 5 4 22 5,5 Neurologie 29 15 13 25 17 157 9,2 Oogheelkunde 30 16 11 13 6 17 2,8 Radiologie 26 25 24 19 18 341 18,9 Maag-, Darm- en Leverziekten 27 16 11 12 8 83 10,4 Cardiologie 28 23 22 18 16 177 11,1 Neurochirurgie 30 9 6 5 2 18 9,0 Plastisch chirurgie 30 5 5 7 7 33 4,7 Radiotherapie 26 11 8 7 6 46 7,7 Klinische Genetica 26 10 7 8 5 42 8,4 totaal 398 322 314 231 2520 10,9 *SETQ = Systematic evaluation of teaching qualities, een systeem voor het ontvangen van feedback van arts-assistenten, zelfevaluatie en gestructureerde reflectie. NED TIJDSCHR GENEESKD. 2010;154:A1222 3

ONDERZOEK afdelingen. Communicatie over leerdoelen was het laagst scorende opleidingsdomein (mediaan = 3,46) en bejegening van de aios behaalt de hoogste domeinscore (mediaan = 4,38). De stafleden geven zichzelf voor alle opleidingsaspecten een iets lagere score, met een hoogste score voor bejegening van de aios en feedback aan de aios (mediaan = 4,00) en een laagste waardering voor communicatie over leerdoelen (mediaan = 3,00). Ook de 2 algemene vragen, betreffende het zijn van een voorbeeldfiguur en een samenvattend oordeel over de opleiderskwaliteiten van een staflid, werden door zowel aiossen als de stafleden positief gewaardeerd, met een iets hogere score van stafleden voor het zijn van een rolmodel. Individuele feedbackrapporten en follow-up Van de stafleden ontving 89,4% (356/398) een feedbackrapport. Alle door de aiossen als vrije tekst geformuleerde feedback werd opgenomen in het individuele feedbackrapport. Enkele van deze opmerkingen zijn ter illustratie weergegeven in tabel 4. Van de 16 afdelingen spraken er 7 af dat de individuele feedbackrapporten beschikbaar zouden zijn voor bespreking met het afdelingshoofd. De overige afdelingen lieten de keuze om de feedback al dan niet te bespreken met afdelingshoofd of de formele opleider over aan de geëvalueerde stafleden. TABEL 2 Psychometrische kwaliteiten van zogenaamde SETQ-vragenlijsten in een onderzoek naar het verbeteren van opleiderskwaliteiten van individuele klinisch opleiders; het onderzoek werd uitgevoerd bij stafleden en aiossen van 16 klinische specialismen in het Academisch Medisch Centrum, Amsterdam item nr 5 constructen en items factorlading cronbach-α gecorrigeerde itemtotaal-correlatie aiossen stafleden aiossen stafleden aiossen stafleden opleidingsklimaat 0,89 0,67 1 staflid moedigt aiossen aan actief te participeren in discussies 0,619 0,527 0,72 0,44 2 staflid stimuleert aiossen om problemen in te brengen 0,620 0,612 0,73 0,51 3 staflid leert aiossen hun tijd te managen 0,458 0,147* 0,59 0,25 4 staflid houdt zich bij besprekingen aan het leerdoel; wijkt niet 0,527 0,182 0,61 0,23 onnodig af van het onderwerp 5 staflid motiveert aiossen tot verder studie 0,750 0,747 0,76 0,48 6 staflid stimuleert aiossen om de vakliteratuur bij te houden 0,764 0,767 0,69 0,48 7 staflid bereidt zich goed voor op onderwijspresentaties en besprekingen 0,628 0,046 0,63 0,31 bejegening van de aios 0,87 0,73 8 staflid luistert goed naar aiossen 0,807 0,764 0,77 0,58 9 staflid is respectvol naar aiossen 0,877 0,790 0,79 0,61 10 staflid is goed toegankelijk in de dienst 0,781 0,710 0,69 0,49 communicatie over leerdoelen 0,96 0,89 11 staflid formuleert leerdoelen duidelijk 0,826 0,815 0,88 0,74 12 staflid stelt relevante leerdoelen op 0,839 0,864 0,90 0,79 13 staflid prioriteert leerdoelen 0,846 0,828 0,89 0,77 14 staflid komt regelmatig terug op gestelde leerdoelen 0,836 0,775 0,88 0,70 toetsing van de aios 0,93 0,78 15 staflid toetst regelmatig de vakinhoudelijk kennis van aiossen 0,791 0,746 0,85 0,53 16 staflid toetst regelmatig het analytisch vermogen van aiossen 0,793 0,819 0,86 0,65 17 staflid toetst regelmatig de toepassing van medische kennis op 0,814 0,744 0,87 0,67 specifieke patiënten 18 staflid toetst regelmatig de medische vaardigheden van aiossen 0,727 0,483 0,75 0,48 feedback aan de aios 0,92 0,84 19 staflid geeft regelmatig positieve feedback aan aiossen 0,614 0,446 0,70 0,51 20 staflid geeft corrigerende feedback aan aiossen 0,805 0,793 0,81 0,66 21 staflid licht corrigerende feedback ook toe 0,827 0,838 0,88 0,80 22 staflid geeft suggesties voor verbetering 0,792 0,776 0,86 0,75 SETQ = Systematic evaluation of teaching qualities, een systeem voor het ontvangen van feedback van arts-assistenten, zelfevaluatie en gestructureerde reflectie. *Voor stafleden laadt item nummer 3 ook op de factor communicatie over leerdoelen (lading: 0,333). Voor stafleden laadt item nummer 4 ook op de factor communicatie over leerdoelen (lading: 0,267). Voor stafleden laadt item nummer 7 ook op de factor bejegening (lading: 0,326). Voor stafleden laadt item nummer 19 ook op de factor bejegening (lading: 0,589). 4 NED TIJDSCHR GENEESKD. 2010;154:A1222

TABEL 3 Resultaten van aios-evaluaties en zelfevaluaties van de opleiderskwaliteiten van klinisch opleiders op een 5-punts-likerschaal: kwartielscores (25%, 50%, 75%) voor 16 afdelingen voor 5 opleidingsaspecten (alleen generieke items) en 2 globale items afdeling beoordeling door aiossen zelfevaluaties nr OPK BJ COM T FB RM SO OPK BJ COM T FB RM SO ONDERZOEK 1 25% 3,55 3,70 3,12 3,48 3,54 3,17 3,28 3,43 4,00 3,00 3,25 3,31 3,00 3,00 50% 3,81 4,11 3,48 3,68 3,77 3,64 3,67 3,71 4,00 3,00 3,75 4,00 3,00 3,00 75% 4,03 4,55 3,67 4,04 4,13 3,95 4,00 3,96 4,67 3,75 4,00 4,19 4,00 4,00 2 25% 3,39 4,00 3,00 3,56 3,58 3,50 3,50 3,29 3,92 2,31 3,19 3,44 3,00 3,00 50% 4,00 4,50 3,41 3,75 3,96 3,78 3,75 3,71 4,33 3,00 3,50 4,00 3,50 3,50 75% 4,08 4,83 3,86 4,00 4,29 4,27 4,00 3,89 4,75 3,44 4,00 4,00 4,00 4,00 3 25% 3,60 3,83 3,35 3,42 3,58 3,50 3,46 3,43 3,67 3,00 3,50 3,25 3,00 3,00 50% 3,81 4,40 3,64 3,87 4,09 3,95 3,87 3,71 4,33 3,00 3,75 3,75 4,00 4,00 75% 4,21 4,57 3,90 4,06 4,34 4,28 4,19 4,00 4,67 3,25 4,00 4,00 4,00 4,00 4 25% 3,77 3,94 3,50 3,74 3,74 3,00 3,33 3,57 3,67 3,00 3,25 3,50 3,00 3,00 50% 3,99 4,25 3,71 3,91 3,98 3,52 3,89 3,71 4,00 3,00 3,50 4,00 3,00 3,00 75% 4,28 4,50 4,12 4,16 4,27 4,13 4,14 3,86 4,33 3,25 3,75 4,00 4,00 4,00 5 25% 3,58 3,96 3,00 3,18 3,25 3,11 3,40 3,43 4,00 2,50 3,00 3,50 3,00 3,00 50% 3,91 4,37 3,28 3,58 3,72 3,82 4,00 3,71 4,00 3,00 3,50 4,00 4,00 4,00 75% 4,25 4,63 3,88 3,90 4,15 4,17 4,25 4,00 4,67 3,25 4,00 4,00 4,00 4,00 6 25% 3,50 3,89 2,81 3,29 3,50 3,67 3,10 3,50 4,00 2,75 3,00 3,50 3,00 3,00 50% 3,97 4,39 3,25 3,82 4,08 4,00 4,00 3,64 4,00 3,00 3,50 4,00 3,00 3,00 75% 4,21 4,83 3,75 4,22 4,41 4,50 4,45 3,96 4,33 3,25 3,75 4,00 4,00 4,00 7 25% 3,38 3,78 2,25 3,05 3,26 3,24 3,00 3,43 4,00 2,50 3,00 3,50 3,00 3,00 50% 3,51 4,11 2,94 3,25 3,75 3,45 3,43 3,43 4,00 2,50 3,50 4,00 3,00 3,00 75% 3,74 4,28 3,50 3,52 4,00 3,75 3,81 3,86 4,00 3,00 3,75 4,00 4,00 4,00 8 25% 3,51 3,77 2,89 3,57 4,06 3,25 3,75 3,25 4,08 2,17 3,25 4,00 3,00 3,00 50% 3,90 4,00 3,13 3,95 4,16 3,75 3,75 4,00 4,58 3,13 4,00 4,00 3,50 3,50 75% 4,18 4,27 3,59 4,05 4,24 4,36 4,24 4,36 4,67 3,25 4,44 4,00 4,00 4,00 9 25% 3,67 4,48 3,48 3,90 4,21 3,73 3,81 3,29 4,00 2,75 3,00 3,75 3,00 3,00 50% 3,95 4,67 3,63 4,11 4,32 4,00 4,00 3,57 4,00 3,00 3,50 4,00 4,00 3,00 75% 4,18 4,83 4,02 4,36 4,50 4,33 4,28 3,57 4,67 3,56 3,75 4,25 4,00 4,00 10 25% 3,93 4,67 3,81 3,81 4,00 4,00 4,00 3,32 4,25 1,88 3,19 4,19 3,75 3,75 50% 4,21 4,67 4,00 4,00 4,13 4,50 4,00 3,79 4,83 2,25 3,88 4,38 4,00 4,00 75% 4,29 5,00 4,38 4,31 4,81 5,00 4,50 4,00 5,00 3,13 4,06 4,75 4,25 4,00 11 25% 3,76 4,51 2,93 3,13 3,50 3,53 3,67 3,50 4,00 2,00 3,00 3,25 3,00 3,00 50% 3,97 4,56 3,06 3,72 3,74 4,00 4,08 3,71 4,00 3,00 3,50 4,00 3,00 4,00 75% 4,21 4,60 3,35 3,93 4,04 4,44 4,25 3,86 4,33 3,25 3,75 4,00 4,00 4,00 12 25% 3,33 4,00 2,91 3,13 3,50 3,00 3,00 3,57 3,67 2,50 3,00 3,25 3,00 3,00 50% 4,00 4,33 3,38 3,75 4,50 4,00 4,00 3,71 4,00 3,00 3,50 4,00 4,00 4,00 75% 4,43 5,00 4,00 4,13 5,00 4,50 4,50 4,14 4,67 3,75 4,00 4,75 4,00 4,00 13 25% 3,59 4,41 3,30 3,98 3,98 3,85 3,93 3,43 4,17 2,75 3,88 3,88 3,00 3,00 50% 3,86 4,67 3,54 4,11 4,21 4,00 4,33 4,00 4,67 3,25 4,00 4,00 4,00 3,00 75% 4,38 4,72 3,89 4,39 4,44 4,57 4,50 4,14 5,00 3,75 4,13 4,50 4,00 4,00 14 25% 3,49 3,97 3,13 3,38 3,58 3,33 3,39 3,29 4,00 3,00 3,31 3,50 3,00 3,00 50% 3,78 4,38 3,32 3,78 3,94 3,82 3,80 3,79 4,33 3,00 3,75 4,00 4,00 4,00 75% 4,07 4,56 3,77 4,15 4,17 4,22 4,19 4,14 4,92 4,00 4,19 4,19 4,00 4,00 15 25% 3,62 4,25 2,91 3,57 3,88 3,50 3,67 3,61 4,00 3,00 3,06 3,56 4,00 3,25 50% 3,99 4,33 3,73 3,79 4,00 4,00 4,00 3,71 4,50 3,00 3,63 4,00 4,00 4,00 75% 4,11 4,50 4,00 4,00 4,00 4,00 4,00 3,96 4,67 3,69 3,75 4,00 4,00 4,00 16 25% 3,17 3,67 3,25 3,00 3,25 3,00 3,00 3,14 4,00 2,50 3,25 3,25 3,00 3,00 50% 3,27 3,75 3,75 3,50 3,50 3,50 3,25 3,57 4,00 3,00 3,50 3,75 3,00 4,00 75% 3,67 4,50 3,88 3,69 3,67 3,75 3,67 3,86 5,00 3,75 4,00 4,00 4,00 4,00 totaal 25% 3,54 3,97 3,00 3,45 3,54 3,33 3,45 3,43 4,00 2,75 3,25 3,50 3,00 3,00 50% 3,88 4,38 3,46 3,75 4,00 3,88 4,00 3,71 4,00 3,00 3,50 4,00 4,00 4,00 75% 4.17 4,67 3,83 4,08 4,25 4,35 4,20 4,00 4,67 3,27 4,00 4,00 4,00 4,00 OPK = opleidingsklimaat ; BJ = bejegening van de aios ; COM = communicatie over leerdoelen ; T = toetsing van de aios ; FB = feedback aan de aios ; RM = een rolmodel zijn voor aiossen als toekomstig specialist ; SO = samenvattend oordeel over opleiderskwaliteiten. NED TIJDSCHR GENEESKD. 2010;154:A1222 5

ONDERZOEK TABEL 4 Enkele door aiossen geformuleerde sterke punten van en verbetersuggesties voor het functioneren van individuele stafledenopleiders van verschillende disciplines, in een onderzoek naar het verbeteren van opleiderskwaliteiten in het Academisch Medisch Centrum, Amsterdam geformuleerde sterke punten van het functioneren van stafleden als opleiders Zeer goede begeleiding op OK. Kan goed uitleggen. Rustig staflid. Kan goed aangeven waar het om gaat. Geeft goede kritische feedback. Zeer vriendelijk en daardoor beschermde leeromgeving. Goed en prettig staflid om mee te werken. Een van de weinigen die ook nog je kennis wil toetsen. Staflid is altijd bereid dingen uit te leggen. Neemt je serieus en onthoudt je overwegingen. Komt hier ook op terug. Begaan met patiënten. Uitstekende vaardigheden lichamelijk onderzoek. Prettig persoon. Zeer prettig staflid. Zeer aangenaam in de omgang. Onovertroffen kennis en zeer toegankelijk. Is enthousiast en enthousiasmeert. Mensenkennis met aandacht voor assistenten en inzicht in hun behoeften. Streng doch rechtvaardig. Multitasker die altijd nog wel een gaatje voor een afspraak heeft Zeer bevlogen om kennis en ervaring over te brengen. Toetst en stimuleert kennis opdoen. Zeer betrokken bij het onderwijzen van assistenten, o.a. evidence-based surgery. Aangenaam staflid. Naast serieus bezig zijn laat dit staflid ook zien dat je soms dingen met een knipoog kunt/mag doen. Dit staflid werkt zelf erg grondig en vertelt daar veel over aan de assistenten. Verwacht deze grondigheid ook van ons. Is veel op werkvloer aanwezig en erg goed benaderbaar. Absoluut gemotiveerd om veel kennis over te dragen. verbetersuggesties voor opleiders Heeft regelmatig een wat verwijtende ondertoon in feedback/communicatie. Alsof je iets al had moeten weten of kunnen en het dom/stom is dat je zoiets nog niet weet of kan. Jammer dat dit staflid zich zo bescheiden opstelt. Zou wat meer op de voorgrond mogen treden met al zijn ervaring. Van dit staflid is heel veel te leren. Is heel hulpvaardig. Maar soms op de afdeling iets te hulpvaardig. Zou dan iets meer kunnen superviseren dan participeren. Meer betrokkenheid op afdeling bij patiënten in overleg met zaalarts/assistent. Dit zijn allemaal leermomenten! En u kunt ons zoveel leren. Indien mogelijk meer kennis testen van assistenten. Minder uitloop tijdens besprekingen en iets meer leerdoelen concretiseren. mag wat meer feedback geven en de assistent meer aanzetten tot nadenken. Staflid is wel druk en geeft soms teveel opdrachten tegelijk, waardoor je niet netjes kan afmaken waar je mee bezig bent. Actief KKB s [korte klinische beoordelingen] voorstellen en ook afnemen. Maak van kleine problemen en situaties op de dag leerdoelen. Staat niet open voor inhoudelijke discussie. Doet daar vaak honend bij. Heeft negatieve invloed op sfeer bij ochtendoverdracht. Beschouwing Binnen de relatief korte tijd van een jaar werd in het AMC een systeem voor het meten van de individuele opleiderskwaliteiten van stafleden (SETQ) ontwikkeld en geïntroduceerd op 16 afdelingen. De respons was hoog voor zowel stafleden als aiossen en bijna 90% van de stafleden ontving een individueel feedbackrapport. Deze resultaten rechtvaardigen de conclusie dat ziekenhuisbrede toepassing van het SETQ-systeem mogelijk is. Hoewel SETQ inmiddels ook in andere opleidingsklinieken toepasbaar is gebleken, wijzen we erop dat succesvolle implementatie niet vanzelfsprekend is. In de literatuur zijn enkele tientallen determinanten voor effectieve implementatie beschreven. 15 Duidelijk is dat niet alleen de innovatie en de innovatiestrategie bepalen of iets werkt. Ook de gebruikers zelf, de politieke en organisatorische context beïnvloeden het succes van een goede implementatie. 16 De kwaliteit van de SETQ-instrumenten is op grond van deze en eerdere studies goed te noemen: er kunnen 5 stabiele, homogene opleidingsaspecten (factoren, constructen) worden onderscheiden en de betrouwbaarheid van deze factoren is groot. In de SETQ-zelfevaluatielijst is het opleidingsaspect opleidingsklimaat minder stabiel; de items 3, 4 en 7 hebben een lage lading op en correlaties met deze factor. Deze 3 items tonen iets meer samenhang met communicatie over leerdoelen of bejegening van de aios maar de samenhang is ook laag in vergelijking met andere items die op deze twee opleidingsaspecten laden (zie tabel 2). Dit kan op de ongeschiktheid van items 3, 4 en 7 in de zelfevaluatielijst wijzen. Dit zou ook kunnen betekenen dat stafleden en aiossen verschillende percepties hebben van het opleidingsklimaat. In de oorspronkelijke SFDP26 vragenlijst, waarop de SETQ-lijsten zijn gebaseerd, vormen de items 3 en 4 ook onderdeel van een separate schaal. In vervolgstudies, met name voor specialismenspecifieke vragenlijsten, moet de uniciteit van deze items voor stafleden opnieuw bestudeerd worden. Goede kwaliteit van het SETQ-instrumentarium is cruciaal. Echter, het uiteindelijke effect van SETQ zal worden bepaald door de combinatie en dus interactie van álle onderdelen van het SETQ-systeem. Het ontvangen van de feedback is niet het einde, maar het begin van een verbeterproces. Op individueel niveau is reflectie essentieel om te komen tot verbetering van het professioneel functioneren. 17 Idealiter bespreken stafleden hun feedbackrapport daarom met de formele opleider, een collega of een leidinggevende. In de academische setting ligt het voor de hand een koppeling te maken met het systeem van de jaarlijkse functioneringsgesprekken. In andere opleidingsklinieken zou bespreking van het SETQ-feedbackrapport een onderdeel kunnen zijn van de evaluatie van het Individueel functioneren van medisch specialisten (IFMS). 18,19 Doel en uitkomst van het reflectiegesprek zou kunnen zijn om gezamenlijk tot afspraken te komen over verdere ontwikkeling van de opleiderskwaliteiten van het staflid. Op afdelingsniveau levert SETQ stuurinformatie voor 6 NED TIJDSCHR GENEESKD. 2010;154:A1222

gerichte verbetering van de kwaliteit van de opleiding. In het AMC zijn er opleidingen die op basis van de ervaringen met SETQ prioriteit geven aan de verbetering van de door SETQ geïdentificeerde zwakke plekken. Hiervoor wordt door de centrale opleidingscommissie ondersteuning beschikbaar gesteld. De aiossen in onze studie waren overwegend positief over hun bazen als opleiders. Tegelijkertijd constateerden wij dat er variatie tussen de afdelingen was. Dit wil zeggen dat er waarschijnlijk ruimte voor verbetering is. Stafleden waarderen ook zichzelf positief, hoewel iets minder hoog dan aiossen hen beoordelen. Deze bevinding sluit aan bij andere studies waarin zelfevaluaties en 20, 21 evaluaties door anderen worden vergeleken. Implicaties voor onderzoek en beleid Het uiteindelijk doel van kwaliteitszorg is het verbeteren van alle vervolgopleidingen: de maatschappij heeft belang bij goed opgeleide specialisten en goede kwaliteit van huidige en toekomstige gezondheidszorg. SETQ kan worden ingezet om de verschillen binnen, en later ook tussen, de Nederlandse onderwijs- en opleidingsregio s (OOR s) te identificeren en te verkleinen. Verder onderzoek zal zich ons inziens moeten richten op continue validering van de instrumenten, het zoeken naar verklaringen voor goed en minder goed opleiderschap en het verbeteren van opleiderskwaliteiten. Tot slot is het noodzakelijk de veronderstelde relatie tussen de kwaliteit van de opleidingen en de kwaliteit van de patiëntenzorg aan te tonen. Leerpunten Feedback, zelfevaluatie en al dan niet begeleide reflectie dragen bij aan verbetering van het professioneel functioneren van artsen. Het Systematic evaluation of teaching qualities (SETQ)-systeem combineert deze 3 interventies. SETQ maakt gebruik van vragenlijsten die voor een aantal specialismen valide en betrouwbaar zijn gebleken. De psychometrische kwaliteit van de SETQ-vragenlijst is goed. De vragenlijst is betrouwbaar en bestaat uit 5 constructen of opleidingsaspecten: opleidingsklimaat, bejegening van de aios, communicatie over leerdoelen, toetsing van de aios en feedback aan de aios. Nadat SETQ eerder bruikbaar is gebleken op één afdeling, is de toepassing ervan nu onderzocht op 16 afdelingen van het Academisch Medisch Centrum, Amsterdam; er deden 231 aiossen en 322 stafleden mee. De ziekenhuisbrede implementatie van SETQ in dit academisch medisch centrum bleek haalbaar. Een hoge respons van stafleden en aiossen kon worden gerealiseerd. Aiossen beoordeelden de opleiders in het algemeen positief. De waardering varieerde tussen de verschillende stafleden en opleidingen. Belangenconflict: dr. Arah wordt financieel gesteund door het NWO (Veninummer: 916.96.059). Aanvaard op 18 januari 2010 Citeer als: Ned Tijdschr Geneeskd. 2010;154:A1222 ONDERZOEK De ontwikkeling en uitvoering van het SETQ-systeem was niet mogelijk geweest zonder de medewerking van de AMC-stafleden en de arts-assistenten (aiossen). > Meer op www.ntvg.nl/onderzoek Literatuur 1 Centraal College voor Medisch Specialisten. Kaderbesluit voor de medisch specialistische opleidingen. Utrecht: CCMS; 2009. 2 Dijkstra, J. Indicatoren van kwaliteit in (Medisch) Hoger Onderwijs: Eindrapportage van een verkenning van de huidige stand van zaken. Maastricht: Vakgroep Onderwijsontwikkeling en -Research; 2007. 3 Toolbox meetinstrumenten voor de kwaliteit van de vervolgopleidingen. In: College Beroepen en Opleidingen in de Gezondheidzorg (CBOG). Eindrapport projectgroep kwaliteitsindicatoren. Utrecht: CBOG; 2009. 4 College Beroepen en Opleidingen in de Gezondheidzorg (CBOG). Eindrapport projectgroep kwaliteitsindicatoren. Utrecht: CBOG; 2009. 5 Veloski J, Boex JR, Grasberger MJ, Evans A, Wolfson DB. Systematic review of the literature on assessment, feedback and physicians clinical performance: BEME Guide No. 7. Med Teach. 2006;28:117-28. 6 Eva KW, Regehr G. Self-assessment in the health professions: a reformulation and research agenda. Acad Med. 2005;80(10 Suppl):S46-S54. 7 Duffy FD, Holmboe ES. Self-assessment in lifelong learning and improving performance in practice: physician know thyself. JAMA. 2006;296:1137-9. 8 Seifert CF, Yukl G, McDonald RA. Effects of multisource feedback and a feedback facilitator on the influence behavior of managers toward subordinates. J Appl Psychol. 2003;88:561-9. 9 Lombarts MJMH, Bucx MJL, Rupp I, Keijzers PJ, Kokke SIM, Schlack W. Een instrument voor de evaluatie van opleiderskwaliteiten van stafleden. Ned Tijdschr Geneeskd. 2007;151;2004-08. 10 Lombarts KM, Bucx JL, Arah OA. Development of a system for the evaluation of the teaching qualities of anesthesiology faculty. Anesthesiology. 2009;111:709-16. 11 Litzelman DK, Stratos GA, Marriott DJ, Skeff KM: Factorial validation of a widely disseminated educational framework for evaluating clinical teachers. Acad Med. 1998;73:688-95. NED TIJDSCHR GENEESKD. 2010;154:A1222 7

ONDERZOEK 12 Litzelman DK, Westmoreland GR, Skeff KM, Stratos GA: Factorial validation of an educational framework using residents evaluations of clinician-educators. Acad Med. 1999;74:S25-S27. 13 Williams BC, Litzelman DK, Babbott SF, Lubitz RM, Hofer TP: Validation of a global measure of faculty s clinical teaching performance. Acad Med. 2002;77:177-80. 14 Streiner DL, Norman GR. Health measurement scales: a practical guide to their development and use. 4th ed. Oxford: Oxford University Press; 2008. 15 Fleuren M. Determinants of innovations within health care organizations. Int J Quality Health Care. 2004;16;2;107-23. 16 Rubenstein LV, Mittman BS, Yano EM, Mulrow CD. From understanding health care provider behavior to improving health care: the QUERI framework for quality improvement. Quality Enhancement Research Initiative. Med Care. 2000;38(6 Suppl 1):I129-41. 17 Aukes L, Geertsma J, Cohen-Schotanus J, Zwierstra J, Rein P, Slaets J. The development of a scale to measure personal reflection in medical education and practice. Med Teach. 2007;29;2;177-82. 18 Overeem K, Lombarts K, Driessen E, Arah OA, Wollersheim H, Grol R. Three methods of 360-degree feedback compared: A plea for narrative comments and co-workers perspectives. Med Teach. 2009 (ter perse) 19 Overeem K, Wollersheim H, Driessen E, Lombarts K, Ven Geertje van de, Grol R, Arah O. Why doctors do (not) improve their performance after 360 degrees feedback: A qualitative study. Med Educ. 2009;43;874-82. 20 Violato C, Lockyer J. Self and peer assessment of paediatricians, psychiatrists and medicine specialists: implications for self-directed learning. Adv Health Sci Educ Theory Pract. 2006;11:235-44. 21 Claridge JA, Calland JF, Chandrasekhara V, Young JS, Sanfey H, Schirmer BD. Comparing resident measurements to attending surgeon selfperceptions of surgical educators. Am J Surg. 2003;185:323-7. 8 NED TIJDSCHR GENEESKD. 2010;154:A1222