Hoe krijg je als opleider feedback? Maas Jan Heineman m.m.v. Kiki Lombarts Renée van der Leeuw Benjamin Boerebach Renée Scheepers Irene Slootweg Werkgroep Professional Performance Academisch Medisch Centrum Amsterdam
Jaarplan van de opleider anno 2012 Maas Jan Heineman
Jaarplan van de opleider anno 2012 Beoordeling AIOS Kennis Vaardigheden Functioneren Beoordeling Opleiding en Opleidersteam Inhoud en organisatie programma Klimaat Functioneren
Jaarplan van de opleider anno 2012 Beoordeling Opleiding en Opleidersteam (in de maand november) Inhoud en organisatie van het programma Klimaat (D-RECT) Functioneren (setq)
Stage overstijgend: wat gaat goed? Laagdrempelig overleg staf Opleidingsgericht: i opleidings momenten op OK/VK en tijdens spreekuur worden benut en ook correct van feedback voorzien (KKB s en OSATs) Veel 3e lijnspathologie Adequate begeleiding bij verloskundige calamiteiten en heftige oncologische casus Veilig klimaat. Goede sfeer
Stage overstijgend: wat kan beter? Het volgen van dinsdagmiddag onderwijs. Astraia koppeling op alle afdelingen Structureel bij iedere stage een inleidend gesprek met afspreken leerdoelen per stage Per stage vastleggen welke bekwaamheidsregistraties afgetekend zouden kunnen worden en dit ook uniform proberen in te voeren Structurele calamiteiten training Inroosteren jaarlijkse BLS training AIOS
SetQ: een meet- en verbetersysteem 1. Beoordeling door AIOS + Individueel Feedback- 2. Zelfevaluatie rapport + Follow up
Feedbackrapport, deel I-III: Deel I: samenvattende foto Deel II: detail informatie per opleidingsdomein Deel III: letterlijke weergave opmerkingen AIOS
To help protect your privacy, PowerPoint prevented this external picture from being automatically downloaded. To download and display this picture, click Options in the Message Bar, and then click Enable external content.
Evaluatie van uw opleiderskwaliteiten door de AIOS Competentiedomein Zelfevaluat Gemiddeld SD Min. score Max. score Kwartiel ie 25% Kwartiel 50% Kwartiel 75% Aantal evaluaties (# n.t.b.) Gem. score van alle collegae [uw ranking tov uw collega's] Opleidingsklimaat 4.32 3.89 (3)...assistenten aanmoedigt actief te participeren in discussies 4 4.67 0.47 4 5 4 5 5 12 (0) 4.02...assistenten stimuleert om problemen in te brengen 4 4.58 0.49 4 5 4 5 5 12 (0) 4.05...assistenten leert hun tijd te managen 4 4.17 0.69 3 5 4 4 5 12 (0) 3.5...zich bij besprekingen aan het leerdoel houdt; hij/zij wijkt niet onnodig af van het 3 4.25 0.6 3 5 4 4 5 12 (0) 3.73 onderwerp...assistenten motiveert tot verder studie 4 4.33 0.47 4 5 4 4 5 12 (0) 3.88...assistenten stimuleert om de vakliteratuur bij te houden 3 4.18 0.57 3 5 4 4 4.25 11 (1) 3.77...zich goed voorbereidt op onderwijspresentaties en besprekingen 4 4.36 0.48 4 5 4 4 5 11 (1) 4.15...scholing geeft over operatieve vaardigheden op de OK 3 4 1 2 5 3 4 5 8 (4) 4.04 Bejegening 4.82 4.24 (1)...goed luistert naar assistenten 4 4.42 0.49 4 5 4 4 5 12 (0) 4...respectvol is naar assistenten 4 5 0 5 5 5 5 5 12 (0) 4.22...goed toegankelijk is in de dienst 4 4.92 0.28 4 5 5 5 5 12 (0) 4.38...goed toegankelijk is voor overleg 4 4.92 0.28 4 5 5 5 5 12 (0) 4.35 Communicatie over leerdoelen/ verwachtingen 4.29 3.52 (1)...leerdoelen duidelijk formuleert 4 4.42 0.76 3 5 4 5 5 12 (0) 3.74...relevante leerdoelen opstelt 3 4.17 0.8 3 5 3 4 5 12 (0) 3.68...leerdoelen prioriteert 3 4.09 0.79 3 5 3 4 5 11 (1) 3.54...regelmatig terugkomt op gestelde leerdoelen 3 4 0.82 3 5 3 4 5 12 (0) 3.53...regelmatig aanbiedt om een KKB/KPB af te nemen 4 4.75 0.43 4 5 4 5 5 12 (0) 3.09 Toetsing 4.03 3.75 (6)...regelmatig de vakinhoudelijk kennis van assistenten toetst 3 4.09 0.51 3 5 4 4 4 11 (1) 3.74...regelmatig het analytisch vermogen van assistenten toetst 3 4.18 0.57 3 5 4 4 4.25 11 (1) 3.75...regelmatig de toepassing van medische kennis op specifieke patienten toetst 3 3.9 0.3 3 4 4 4 4 10 (2) 3.7...regelmatig de medische vaardigheden van assistenten toetst 4 4 0.5 3 5 4 4 4 8 (4) 3.73...regelmatig de operatieve vaardigheden van assistenten toetst 4 4 0.53 3 5 3.75 4 4 7 (5) 3.85 Feedback aan assistenten 4.63 3.95 (1)...regelmatig positieve feedback geeft aan assistenten 4 4.75 0.43 4 5 4 5 5 12 (0) 3.83...corrigerende feedback geeft aan assistenten 4 4.5 0.5 4 5 4 4 5 12 (0) 4...corrigerende feedback ook toelicht 4 4.67 0.47 4 5 4 5 5 12 (0) 3.99...suggesties voor verbetering geeft 4 4.58 0.49 4 5 4 5 5 12 (0) 3.98 Algemeen oordeel 4.59 3.68 (1)...een voorbeeldfiguur is voor AIOS als toekomstig gynaecoloog. 3 4.42 0.49 4 5 4 4 5 12 (0) 3.57 Samenvattend krijg dit staflid voor zijn / haar opleidingskwaliteiten de score... 4 4.75 0.43 4 5 4 5 5 12 (0) 3.78
Evaluatie van uw opleiderskwaliteiten door de AIOS 2008 Sterke punten van u als opleider Concrete verbetersuggesties ti voor u als opleider 1 geduldig moeilijk echt te peilen, altijd even keurig 2 duidelijk team + eenheid van stafgroep maken / stimuleren 3 efficient bij overdracht meer leiding nemen, m.n. wanneer er discussies ontstaan 4 communicatie meer leiding nemen in discussies 5 laagdrempeling g regelmatig g voortgangsgesprekken g g organiseren 6 vertrouwen delegeert soms te veel 7 innovatief probeer wat minder politieke antwoorden te geven en wat vaker te zeggen wat je echt vind 8 opleidingsminded tijdens overdracht meer sturing geven/leider zijn in discussiesi 9 toegankelijkheid meer leiding nemen in discussies/overdracht 10 vertrouwen / veiligheid soms toch tevredenheid tav assistent niet duidelijk 11 rustig en weloverwogen soms mag hij iets directiever naar medestafleden zijn 12 vriendelijk mag wat 'losser' voor de dag komen 13 goed benaderbaar meer standvastig zijn 14 delegeert erg correct; soms vraag ik me af wat hij zelf echt vindt of denkt 15 agendeert, maakt bespreekbaar Hij zou binnen de staf meer leiding moeten nemen en hen ook corrigeren 16 vriendelijk meer concreet feedback geven 17 positief meer leiding nemen in discussies 18 enorme kennis knopen doorhakken/conclusies formuleren 19 communicatief vaardig een meer leidende/pittiger rol in de centrale overdracht 20 betrokken, vriendelijk vaker chips overleg 21 politiek omgang met assistenten mag wat minder formeel
Evaluatie van uw opleiderskwaliteiten door de AIOS 2008 Sterke punten van u als opleider Concrete verbetersuggesties voor u als opleider 1 geduldig moeilijk echt te peilen, altijd even keurig 2 duidelijk team + eenheid van stafgroep maken / stimuleren 3 efficient bij overdracht meer leiding nemen, m.n. wanneer er discussies ontstaan 4 communicatie meer leiding nemen in discussies 5 laagdrempeling g regelmatig g voortgangsgesprekken g g organiseren 6 vertrouwen delegeert soms te veel 7 innovatief probeer wat minder politieke antwoorden te geven en wat vaker te zeggen wat je echt vind 8 opleidingsminded tijdens overdracht meer sturing geven/leider zijn in discussies 9 toegankelijkheid meer leiding nemen in discussies/overdracht 10 vertrouwen / veiligheid soms toch tevredenheid tav assistent niet duidelijk 11 rustig en weloverwogen soms mag hij iets directiever naar medestafleden zijn 12 vriendelijk mag wat 'losser' voor de dag komen 13 goed benaderbaar meer standvastig zijn 14 delegeert erg correct; soms vraag ik me af wat hij zelf echt vindt of denkt 15 agendeert, maakt bespreekbaar Hij zou binnen de staf meer leiding moeten nemen en hen ook corrigeren 16 vriendelijk meer concreet feedback geven 17 positief meer leiding nemen in discussies 18 enorme kennis knopen doorhakken/conclusies formuleren 19 communicatief vaardig een meer leidende/pittiger rol in de centrale overdracht 20 betrokken, vriendelijk vaker chips overleg 21 politiek omgang met assistenten mag wat minder formeel
Feedback 2009 Zit de overdrachten beter voor, meer gestructureerd, meer leidend. Tijdens de overdracht is hij duidelijk de voorzitter en nuanceert hij commentaar wat enorm bijdraagt.
AMC Opleidingsklimaat 2008-2011 2008 2009 2010 2011
AMC Communicatie over leerdoelen 2008 2009 2010 2011
AMC Bejegening van aios 2008-2011 2008 2009 2010 2011
OOR AMC Obstetrie/Gynaecologie 2011 SETQ 8 ziekenhuizen; 104 gynaecologen; g 117 assistenten In deze presentatie De vijf opleidingsdomeinen Opleiders als rolmodel voor AIOS als toekomstig specialist Thema besluitvorming i in de meting van september 2011 Per onderdeel d achtereenvolgens De verschillende ziekenhuizen Alle gynaecologen verdeeld per ziekenhuis i De verdeling van alle gynaecologen
Opleidingklimaat : alle gynaecologen, verdeeld per opleiding ObGyn
Communicatie over leerdoelen : alle gynaecologen verdeeld per opleiding ObGyn
Kwaliteitsborging van onderwijs en opleiding - Goed geïnformeerd/geschoold opleidingsteam - Goed geïnformeerde/geschoolde AIOS - Duidelijk jaarplan - beoordeling AIOS (jaargesprekken juni) - kennis (voortganstoets) t t - vaardigheden (KPB, OSATS) - functioneren (MSF) - kwaliteitsborging opleiding (beoordeling november) - kwaliteit inhoud en organisatie van de opleiding - kwaliteit leden opleidingsteam (setq) - kwaliteit opleidingsklimaat (D-RECT)
STELLINGEN Kiki Lombarts Renée van der Leeuw Benjamin Boerebach Renée Scheepers Irene Slootweg
Zorg verlenen en opleiden kun je wel onderscheiden, maar niet scheiden van elkaar
Geschreven feedback is van onschatbare waarde
Kwantitatieve feedback zet mensen in beweging
Geen team zonder leider
Zijn bevlogen opleiders betere opleiders?
STELLINGEN Kiki Lombarts Renée van der Leeuw Benjamin Boerebach Renée Scheepers Irene Slootweg
Zorg verlenen en opleiden kun je wel onderscheiden, maar niet scheiden van elkaar
Professional Performance Teaching Performance SETQ DRECT TeamQ Kwaliteitszorg rapport Scherpbier Clinical Performance INCEPT
Zorg voor de Kwaliteit Zorg voor de kwaliteit van opleiding Zorg voor de kwaliteit van zorg Fit to practise + Fit for practice Zorg van hoge kwaliteit
Interne Kwaliteitszorg (Educational Governance) Zorg voor de Individueel id functioneren: Kwaliteit van Opleiding SETQ Teach-the-Teacher Fit to practise Fit to practise + Fit for practice Groepsfunctioneren: Zelfevaluatie (Scherpbier) DRECT (opleidingsklimaat) TeamQ (samenwerking)
Overzicht Onderzoeksvragen 1. De kwaliteit van (alle onderdelen van) het SETQ systeem 2. De bijdrage die het SETQ systeem levert in de bewaking en verbetering van de kwaliteit van de opleiding 2a Het vaststellen van de impact van feedback 2b Van beschrijven naar verklaren van (goede) opleiderskwaliteit 2c Meten van effectiviteit van kwaliteitsverbeterende interventies 3. De bijdrage die de verbeterde opleiding levert aan de verbetering van de kwaliteit van de patiëntenzorg 3a Kwaliteit van (thans) door aios geboden patiëntenzorg 3b Kwaliteit van opleiding en toekomstige kwaliteit van zorg
Geschreven feedback is van onschatbare waarde
van SETQ Feedback tot Actie Individuele verschillen tussen specialisten zijn bepalend voor het komen tot actie Persoonlijke kenmerken Identificeren met het zijn van opleider
Weerstanden tegen SETQ die het komen tot actie belemmeren Redenen om niets met feedback te doen Anonimiteit van aios Tijdsinvestering Herhaalmeting die cijfertjes Is nog materiaal voor verdere analyse
Kwantitatieve feedback zet mensen in beweging
Gebruik van SETQ in 2012 37 opleidingsinrichtingen g 36 (sub-) specialismen 182 opleidingen ± 2400 opleiders ± 2300 AIOS
Deelname SETQ alle eerste metingen STAF/OPLEIDERS AIOS Aantal genodigden 2350 2205 Respons % 80% 76% AIOS voerden 15287 evaluaties uit 1-57 (min max) evaluaties per AIOS! 40
Gemiddelde SETQ score AMC 83% van de stafleden voldoet aan de norm van >= 3.5 (landelijk 78%)
Gemiddelde SETQ score interne 81% van de AMC stafleden voldoet aan de norm van >= 3.5 (landelijk interne 73%)
Geen team zonder leider
Hoe werken opleiders samen in opleidersgroep? De medisch specialist als professional staat in de rol van opleider centraal. Kwalitatieve studie met focusgroepen. Literatuurstudie over effectiviteit van teamwork. 7 thema s die samenwerken bepalen: Wie (functioneren van hoofd-opleider, opleider en aios). Wat (delen van kennis en verdelen opleidingsactiviteiten). Hoe (feedback, structuur afspraken en rekening houden met de omgeving). (Mathieu. Team effectiveness 1997-2007: A review of recent advancements and a glimpse into the future. 2008 Journal of Management)
TeamQ instrument Evaluatie instrument voor samenwerken opleidersgroep ontwikkeld Criteria obv 7 thema s met experts (delphi) Validatiefase met 120 groepen Digitaal beschikbaar vanaf mei (25 groepen participeren) Eén evaluatie-rapport t voor de hele opleidersgroep met top 5 van verbeterprioriteiten
Leiderschap in opleidersgroepen Kwalitatieve interview studie: Vraagstelling: naar perceptie van de formele opleider op samenwerken en leiderschap Haalbaarheid en bruikbaarheid van verbeterprioriteiten Appriciative Inquiry (succes ervaringen analyseren) Gedeeld leiderschap Swanwick T, McKimm J: What is clinical leadership...and why is it important? Clin Teach 2011, 8: 22-26. Klein KJ, Ziegert JC, Knight AP, Xiao Y: Dynamic Delegation: Shared, Hierarchical, and Deindividualized Leadership in Extreme Action Teams. Administrative Science Quarterly 2006, 51: 590-621
Zijn bevlogen opleiders betere opleiders?
Zijn bevlogen opleiders betere opleiders? Kwaliteit van opleiden: Muziekleraren 1 Basisschoolleraren 2 Algemeen onderwijs 3 1. Bakker, A. B. (2005). Flow among music teachers and their students: The crossover of peak experiences. 2. Bakker, A. B., & Bal, M. P. (2010). Weekly work engagement and performance: A study among starting teachers. 3. Halbesleben, J. R. B., & Wheeler, A. R. (2008). The relative roles of engagement and embeddedness in predicting job performance and intention to leave.
Zijn bevlogen artsen betere artsen? Hogere patiënttevredenheid 1 Meer patient adherence 2 Minder medische fouten 3 1. Grembowski et al.(2005). Managed care, physician job satisfaction, and the quality of primary care. 2. Dimatteo, M.R., Sherbourne, C.D., Hays, R.D. & Ordway, L. (1993). Physicians Characteristics Influence Patients Adherence to Medical Treatment 3. Prins et al. (2009). Burnout, engagement and resident physicians self-reported errors.
Wie is de persoon achter de opleider? Persoonlijkheid Job Performance 1 Zorgvuldigheid g Goed opleiderschap 2 Flexibiliteit Enthousiasme Geduld Zelf-inzicht 1. Barrick, M. R., & Mount, M. K. (1991). the Big Five Personality Dimensions and Job Performance: a Meta-Analysis. 2. Boendermaker, P. M., Schuling, J., Meyboom-de Jong, B. M., Zwierstra, R. P., & Metz, J. C. (2000). What are the characteristics of the competent general practitioner trainer?
Hoe krijg je als opleider feedback? Maas Jan Heineman m.m.v. Kiki Lombarts Renée van der Leeuw Benjamin Boerebach Renée Scheepers Irene Slootweg Werkgroep Professional Performance Academisch Medisch Centrum Amsterdam