Wetenschappelijke productie van orthopedische opleidingsklinieken

Transcriptie

1 Onderzoek Wetenschappelijke productie van orthopedische opleidingsklinieken niet alle klinieken voldoen aan richtlijn in Opleidingsplan Orthopedie ONDERZOEK Rienk Eshuis, Cees C.P.M. Verheyen en Arthur de Gast Doel Opzet Methode Resultaten Conclusie De haalbaarheid van de eisen in de richtlijn voor wetenschappelijke participatie in het opleidingsplan orthopedie evalueren door de aantallen publicaties van orthopedische opleidingsklinieken te meten. Beschrijvend. Alle 29 or thopedische opleidingsklinieken in Nederland werd gevraagd een lijst van hun publicaties op te stellen voor de periode De publicaties werden onderverdeeld in artikelen opgenomen in PubMed en artikelen gepubliceerd in het Nederlands Tijdschrift voor Orthopedie (NTvO) en het Nederlands Tijdschrift voor Traumatologie (NTvT ). In totaal stuurden 21 van de 29 opleidingsklinieken (72%) een publicatielijst op. Voor de 8 non-responders werd een lijst samengesteld met behulp van PubMed en het NTvO-NTvT-archief. De 8 academische opleidingsklinieken publiceerden in totaal 1150 artikelen, waarvan 1118 opgenomen in PubMed, 19 in het NTvO en 13 in het NTvT. De 21 perifere opleidingsklinieken publiceerden in dezelfde periode 689 artikelen: 590 opgenomen in PubMed, 77 in het NTvO en 22 in het NTvT. In perifere opleidingsklinieken was er een positieve correlatie tussen het aantal orthopeden en promovendi en het aantal publicaties. Van de 29 opleidingsklinieken voldeden 9 (31%) niet aan de streefgetallen voor publicaties in de richtlijn in het opleidingsplan orthopedie. In perifere opleidingsklinieken is er een verband tussen het aantal orthopeden en promovendi en de aantallen publicaties. De eisen voor het minimum aantal publicaties zouden bijgesteld kunnen worden naar rato van het aantal orthopeden per opleidingskliniek. Voor een meer afgewogen oordeel zou tevens een weegfactor geïntroduceerd kunnen worden om de kwaliteit van de publicaties mee te laten tellen. Diakonessenhuis Utrecht, afd. Orthopedie, Utrecht. Drs. R. Eshuis, anios orthopedie; dr. A. de Gast, orthopedisch chirurg. Isala klinieken Zwolle, afd. Orthopedie, Zwolle. Dr. C.C.P.M. Verheyen, orthopedisch chirurg. Contactpersoon: drs. R. Eshuis (reshuis@diakhuis.nl). Klinisch wetenschappelijk onderzoek is belangrijk voor het vertalen van resultaten uit basaal wetenschappelijk onderzoek naar de klinische praktijk en voor het uittesten van nieuwe technische ontwikkelingen en zorgstrategieën. In de jaren 80 en 90 van de vorige eeuw maakte men zich toenemend zorgen dat de kwantiteit en de kwaliteit van het klinisch wetenschappelijk onderzoek in Nederland achter zou blijven ten opzichte van andere landen. In 1990 luidden Van der Waaij et al. in het Nederlands Tijdschrift voor Geneeskunde (NTvG) de noodklok over het achterblijven van de wetenschappelijke vorming van toekomstige medisch specialisten.¹ De laatste jaren is er weer een positieve trend te zien in de kwantiteit en kwaliteit van Nederlandse klinisch wetenschappelijk onderzoek. Volgens de onlangs verschenen profileringnota van de Nederlandse Federatie van Universitaire medische centra (NFU) is op het gebied van het wetenschappelijk onderzoek de afgelopen jaren veel vooruitgang geboekt en hebben de Nederlandse onderzoekers nu wereldwijd een sterke naam.² Visitatiecommissies eisen steeds vaker van de opleidingsklinieken dat ze wetenschappelijk onderzoek initiëren en NED TIJDSCHR GENEESKD. 2011;155:A2915 1

2 ONDERZOEK faciliteren. Volgens de eisen van het Centraal College Medisch Specialisten (CCMS), vastgelegd in het Kaderbesluit CCMS, dient een arts-assistent in opleiding tot specialist (aios) te participeren in wetenschappelijke activiteiten. 3 Van de aios wordt verwacht dat hij of zij tijdens de opleiding ten minste eenmaal een wetenschappelijke voordracht presenteert of ten minste één artikel in een wetenschappelijk tijdschrift of medisch vakblad schrijft. De leden van de opleidingsgroep dienen wetenschappelijk actief te zijn en wetenschappelijke interesse te hebben. De verschillende medisch specialismen hebben deze eis zonder nadere specificaties overgenomen in de opleidingsplannen ( Opleiding-en-Registratie/regelgeving/Huidigeregelgeving-CCMS.htm). Het specialisme Orthopedie is het eerste medisch specialisme in Nederland dat in haar goedgekeurde opleidingsplan een richtlijn voor de wetenschappelijke participatie van de opleidingsgroep heeft verwoord. 4 De richtlijn, nu nog enig in haar soort, streeft er naar dat een universitaire opleidingskliniek in 5 jaar ongeveer 80 wetenschappelijke artikelen publiceert, dat een volledig perifere opleiding (voorheen aangeduid met P3 ) 20 wetenschappelijke artikelen publiceert en dat een gedeeltelijke opleiding (voorheen P1 ) 5 artikelen in 5 jaar publiceert; alleen artikelen in een PubMed-genoteerd tijdschrift, in het Nederlands Tijdschrift voor Orthopaedie (NTvO) of in het Nederlands Tijdschrift voor Traumatologie (NTvT) tellen mee. De laatste twee tijdschriften zijn gerelateerd aan de Nederlandse Orthopaedische Vereniging (NOV). Het doel van deze richtlijn is een objectiveerbare parameter te geven voor de beoordeling van het wetenschappelijke niveau van de opleiding. Een tweede oogmerk is onderscheid tussen gedeeltelijk en volledig perifere opleidingen te maken, een onderscheid dat tot nu toe alleen gebaseerd was op het aantal orthopeden en de aanwezigheid van opleidingsbevoegdheid interne geneeskunde en heelkunde. De haalbaarheid van de publicatierichtlijn in het opleidingsplan is niet eerder onderzocht. In deze studie evalueren wij de deelname van artsen aan wetenschappelijk onderzoek in orthopedische opleidingsklinieken gedurende een periode van 6 jaar ( ), waarbij wij onderscheid maken tussen academische, categorale, volledige en gedeeltelijke opleidingen. Methoden Voor de inventarisatie van de publicaties van de opleidingsvakgroepen Orthopedie in Nederland werden de opleiders orthopedie gevraagd een publicatielijst op te stellen voor de periode In de lijst werd een onderverdeling gemaakt in publicaties opgenomen in TABEL 2 Gegevens over opleiders, promoties en publicaties van orthopedische opleidingsklinieken in de periode gegeven type opleidingskliniek academisch (n = 8) categoraal (n = 1) volledig (n = 15) gedeeltelijk (n = 5) TABEL 1 De 15 belangrijkste klinische orthopedische tijdschriften (in alfabetische volgorde) tijdschrift Acta orthopaedica Scandinavica (Acta Orthop Scand) The American journal of sports medicine (Am J Sports Med) Arthroscopy Clinical orthopaedics (Clin Orthop) European spine journal (Eur Spine J) Foot & ankle international (Foot Ankle Int) The Journal of bone and joint surgery. American volume. (J Bone Joint Surg [Am]) The Journal of bone and joint surgery. British volume (J Bone Joint Surg [Br]) The Journal of arthroplasty (J Arthroplasty) Journal of orthopaedic trauma (J Orthop Trauma) Journal of pediatric orthopaedics ( J Pediatric Orthop) Journal of shoulder and elbow surgery (J Shoulder Elbow Surg) Knee surgery, sports traumatology, arthroscopy (Knee Surg Sports Traumatol Arthrosc) Orthopedic Clinics of North America (Orthop Clin North Am) Spine totaal aantal orthopedenopleiders orthopeden per kliniek (uitersten) aantal gepromoveerde opleiders (%) gepromoveerden per kliniek (uitersten) totaal aantal publicaties (uitersten per kliniek) publicaties per kliniek/jaar (uitersten) publicaties per orthopeed/jaar (uitersten) (7-11) 16 6 (3-8) 6 (5-7) 47 (64) 8 (50) 58 (48) 17 (57) 6 (4-9) 8 3 (2-7) 3 (2-4) 1150 (70-203) (11-58) 65 (3-26) 24 (12-34) 23 5 (2-10) 2 (1-4) 2,6 (1,1-3,8) 1,5 0,9 (0,3-1,9) 0,4 (0,1-0,9) 2 NED TIJDSCHR GENEESKD. 2011;155:A2915

3 PubMed, in het NTvO en in het NTvT, overeenkomstig de eisen aan de output in het Opleidingsplan Orthopedie. 4 Voor de non-respondenten werd een publicatielijst samengesteld met behulp van PubMed en het NTvO- NTvT-archief aan de hand van de namen van de leden van de betreffende vakgroep. Voor het aantal leden van elke vakgroep en de bijbehorende titulatuur werd de ledenlijst 2009 van de NOV aangehouden. Van alle tijdschriften waarin de opleidingsklinieken hadden gepubliceerd werden de 15 belangrijkste klinische orthopedische tijdschriften geselecteerd (tabel 1). De selectie van tijdschriften werd verricht op basis van impactfactor en een eerdere, vergelijkbare studie. 5 De gemiddelde impactfactor en citaties van de tijdschriften werd berekend voor de periode (bron: Web of Science; Thomson Reuters, New York, VS). De verzamelde gegevens werden geanalyseerd met behulp van het computerprogramma SPSS, versie 17.0 (SPSS Inc. Chicago, IL, VS). Gelet op het beschrijvende karakter van het onderzoek werd gebruik gemaakt van frequentietabellen en kruistabellen. De relatie tussen het gemiddelde aantal publicaties per orthopeed en de verschillende opleidingsklinieken werd getoetst met mann-whitneytoetsen. Verschillen met een p-waarde < 0,05 (tweezijdig) werden als statistisch significant beschouwd. De resultaten werden niet gecorrigeerd voor multipliciteit. Resultaten In totaal leverden 21 van 29 opleidingsklinieken de publicatielijst aan; deze werden door een van de auteurs (RE) gecontroleerd in PubMed en het NTvO- NTvT-archief; 8 opleidingsklinieken leverden geen lijst. Voor deze non-responders werd de lijst samengesteld middels PubMed en het NTvO-NTvT-archief, zonder controle door de betreffende vakgroep. Tabel 2 geeft een overzicht van de opleidingsklinieken, onderverdeeld in academische, categorale, volledige en gedeeltelijke perifere opleidingen, en hun aantallen publicaties. Er waren grote verschillen in publicatieproductiviteit binnen de verschillende academische en perifere opleidingscentra. Er was een significant verschil in het publicaties per orthopeed tussen de academische en perifere opleidingsklinieken (p < 0,005) en tussen de perifere opleidingsklinieken onderling (p = 0,032). Van alle artikelen opgenomen in PubMed was 65% afkomstig van de academische opleidingsklinieken, 8% van de categorale, 24% van de volledige en 3% van de gedeeltelijke opleidingsklinieken (figuur 1). Van de publicaties in Nederlandstalige orthopedische tijdschriften (NTvO en NTvT) was 24% uit de academische, 4% uit de categorale, 61% uit de volledige en 11% uit de gedeeltelijke opleidingsklinieken afkomstig. Figuur 2 laat zien dat 7 van de 8 academische opleidingscentra (88%) 80 of meer artikelen publiceerden in de periode Van de 15 volledige opleidingsklinieken publiceerden er 8 (53%) meer dan 20 artikelen en van de gedeeltelijke opleidingen publiceerden 4 van de 5 klinieken (80%) meer dan 5 artikelen. In de periode verschenen 627 van de 1708 PubMed-artikelen (37%) in de geselecteerde klinische orthopedische tijdschriften. Het grootste aandeel van de publicaties in de klinische orthopedische tijdschriften was afkomstig van de 8 academische opleidingsklinieken (63%) (figuur 3). De opleidingsklinieken gezamenlijk publiceerden de meeste artikelen in de Acta Orthopaedica Scandinavia (18%). Dit is het tijdschrift van de Nordic Orthopaedic Federation, waar de NOV lid is. Het aantal gepubliceerde artikelen van de 8 academische opleidingsklinieken in de geselecteerde tijdschriften liep uiteen van 13 tot 74 publicaties in de periode ONDERZOEK aantal publicaties academisch (n = 8) perifeer (volledig) (n = 15) jaar perifeer (partieel) (n = 5) FIGUUR 1 Aantallen publicaties van orthopedische opleidingsklinieken per jaar, uitgezet naar type opleidingskliniek. NED TIJDSCHR GENEESKD. 2011;155:A2915 3

4 ONDERZOEK Wat opvalt, is dat de kliniek met gemiddeld de hoogste impactfactor (3,07) de laagste gemiddelde citaties per artikel (4,9) had (tabel 3). Beschouwing Deze studie is een eerste vaststelling van de wetenschappelijke productiviteit van orthopedische opleidingsklinieken in Nederland, afgemeten aan de publicatie van wetenschappelijke artikelen. De analyse laat een positieve trend zien in de aantallen publicaties in de periode Dit is in overeenstemming met de observaties in het rapport Financiering van en specialisering in medisch onderzoek. 6 Volgens dit rapport is het aandeel van de orthopedie in de medische wetenschappelijke productie in Nederland toegenomen in de periode Zoals gezegd bevat het opleidingsplan 2010 voor het medisch specialisme orthopedie een richtlijn met streefgetallen voor de aantallen publicaties opgenomen in Pub- Med, in het NTvO of in het NTvT. 4 Uit de resultaten blijkt dat 9 van de 29 opleidingsklinieken (31%) niet voldoen aan de publicatierichtlijn in het opleidingsplan orthopedie. Er is een grote spreiding in publicatieproductiviteit tussen academische en perifere opleidingscentra. Verschillende financieringsvormen en faciliteiten zorgen er voor dat de academische ziekenhuizen meer in de gelegenheid worden gesteld om zich met wetenschap bezig te houden. Het meeste overheidsgeld voor medisch onderzoek gaat in een lumpsum naar de universiteiten. 6 In de perifere opleidingscentra is deze geldstroom niet aanwezig; deze centra moeten andere wegen bewandelen om onderzoek te financieren. Onderzoek van het Rathenau Instituut naar financiering van wetenschappelijk onderzoek laat zien dat extra financiering niet automatisch leidt tot een hogere publicatie-output. 7 Naast de financiering van onderzoek zijn ook andere factoren van belang voor de publicatieproductiviteit. Zo blijkt het faciliteren van wetenschappelijk onderzoek in de opleiding en aangetoonde interesse in onderzoek zoals bij gepromoveerden, mede verantwoordelijk te zijn voor de kwantiteit en kwaliteit van wetenschappelijk onderzoek. 8 In de academische opleidingsklinieken had het aantal orthopedisch chirurgen per kliniek geen invloed op het aantal gepubliceerde artikelen. De academische kliniek met de meeste publicaties (n = 203) had 9 orthopedisch chirurgen in de vakgroep en de academische kliniek met de minste publicaties (n = 70) had 8 orthopedisch chirurgen in de vakgroep. In de perifere ziekenhuizen echter hing het aantal orthopeden wel samen met de publicatieproductiviteit. De grootste perifere opleidingskliniek (16 orthopeden) was verantwoordelijk voor de meeste publicaties. Daarbij moet de kanttekening gemaakt worden dat dit een categoraal ziekenhuis betrof. Dit soort ziekenhuizen is gericht op specifieke groepen ziekten of patiënten, in dit geval aandoeningen van het bewegingsapparaat. Voor de niet-categorale opleidingen waren 2 klinieken met een orthopeden 8 en 9, bij een gemiddelde van 8 verantwoordelijk voor de meeste PubMed-artikelen. 100% n = 8 n = 15 n = 5 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% academie perifeer (volledig) perifeer (partieel) voldoen niet aan richtlijn voldoen aan richtlijn FIGUUR 2 Percentage orthopedische opleidingsklinieken dat voldoet aan de richtlijn voor wetenschappelijke activiteiten ( opleidingsklinieken weergegeven. ). Per type is het totaal aantal 4 NED TIJDSCHR GENEESKD. 2011;155:A2915

5 aantal publicaties academie perifeer (volledig) perifeer (partieel) type opleidingskliniek FIGUUR 3 Aantallen publicaties van orthopedische opleidingsklinieken in de periode Per type opleidingskliniek is aangegeven hoeveel publicaties verschenen in het Nederlands Tijdschrift voor Traumatologie ( ), in het Nederlands Tijdschrift voor Orthopaedie ( ), in de 15 belangrijkste klinische orthopedische tijdschriften ( ) en in overige in PubMed opgenomen tijdschriften ( ). Het verschil tussen academische en perifere opleidingen kan verklaard worden door het feit dat in academische klinieken vaak een wetenschappelijk staf aanwezig is; wij hebben dit in onze studie overigens niet onderzocht. Een wetenschappelijke staf zorgt voor extra ondersteuning bij de opzet, uitvoer en uitwerking van wetenschappelijk onderzoek. Perifere opleidingsklinieken hebben deze ondersteuning vaak niet, of alleen boven een bepaalde groepsgrootte. Publicatie van wetenschappelijk onderzoek in peerreviewed tijdschriften is een belangrijke methode om nieuwe informatie te verspreiden in de orthopedische chirurgie. Van alle PubMed-publicaties in de periode werd 37% gepubliceerd in de 15 geselecteerde toptijdschriften (zie tabel 1). Naast het aantal publicaties is de impactfactor van de artikelen van belang om het wetenschappelijke aandeel van opleidingsklinieken in kaart te brengen. De impactfactor is een relatieve maat voor het aanzien of belang van een wetenschappelijk tijdschrift. Hoe vaker de artikelen uit een bepaald wetenschappelijk tijdschrift in andere geïndexeerde tijdschriften worden geciteerd, des te hoger de impactfactor. Gespecialiseerde medische tijdschriften hebben een impactfactor van omstreeks 2,5. 9 De gemiddelde impactfactoren voor de klinische orthopedische publicaties in onze studie lagen dicht bij elkaar, tussen 2,2 en 3,1. Opvallend is dat de impactfactor van de klinische publicaties van academische opleidingsklinieken geen verband houdt met het aantal citaties per artikel. De academische kliniek met gemiddeld de hoogste impact factor (3,07) had gemiddeld het laagste aantal citaties per artikel (4,9). Uit onderzoek is naar voren gekomen dat de impactfactor een onnauwkeurige maat is voor het gemiddelde aantal citaties van een artikel. Artikelen in tijdschriften met een lage impactfactor kunnen vaak geciteerd worden en vice versa. 10 Het is niet goed mogelijk om louter op basis van een analyse van de publicatieproductiviteit een oordeel te geven over de inhoud of de kwaliteit van het wetenschappelijk onderzoek door orthopedische opleidingsklinieken. Door andere factoren in de analyse te betrekken, zoals de aanwezigheid van wetenschappelijke medewerkers, financieringsvormen en maten voor de kwaliteit van de publicaties, zou een vollediger beeld ONDERZOEK TABEL 3 Publicatiedata in geselecteerde klinisch orthopedische tijdschriften voor academische opleidingsklinieken in de periode kliniek aantal gepubliceerde artikelen (a) citaties (c)* citaties per artikel (c/a) impactfactor artikelen zonder citatie; % aantal orthopeden per kliniek; (n) publicaties per orthopeed (a/n) citaties per orthopeed (c/n) ,0 2,83 9, , ,8 2,92 12,2 11 6,7 52, ,7 2,77 18,3 8 8,9 50, ,1 2,54 22, , ,9 3,07 25,7 8 4,3 21, ,5 2,63 11, , ,9 2,67 8,6 9 3,8 22, ,8 2,20 38,5 11 1,2 6,8 *Bron: Science Citation Index Expanded, onderdeel van Web of Science. New York: Thomson Reuters; NED TIJDSCHR GENEESKD. 2011;155:A2915 5

6 ONDERZOEK Leerpunten Van opleidingsklinieken wordt verwacht dat zij wetenschappelijk onderzoek initiëren en faciliteren. In het nieuwe opleidingsplan orthopedie is een richtlijn opgenomen voor de wetenschappelijke participatie van de opleidingsgroepen. Van de 29 opleidingsklinieken orthopedie voldeden 9 klinieken nog niet aan de richtlijn voor aantallen publicaties. Bij toekomstige opleidingseisen zou niet alleen de kwantiteit maar ook de kwaliteit van de publicaties moeten meetellen. kunnen ontstaan van de bijdrage van opleidingsklinieken aan de kwaliteit van het klinische wetenschappelijke onderzoek. In onze studie speelde de grootte of de kwaliteit van het onderzoek dat aan de publicaties ten grondslag lag, geen rol; in het opleidingsplan voor het medisch specialisme orthopedie wordt daar evenmin rekening mee gehouden. Publicaties zijn onderdeel van wetenschappelijke activiteit. Om een vollediger beeld te krijgen van de wetenschappelijke activiteit binnen een opleidingskliniek zouden het schrijven van richtlijnen voor de praktijk, presentaties op congressen en boekbijdragen ook meegenomen kunnen worden in de analyse. Deze parameters zijn lastig te traceren en moeilijk op waarde te schatten. In het opleidingsplan orthopedie is een start gemaakt met een richtlijn voor wetenschappelijke activiteit; meerdere toetsbare parameters zouden moeten volgen. Conclusie De medische vervolgopleidingen zijn in beweging. Met ingang van 1 januari 2011 werd een modernisering van de opleidingen in de medische specialismen ingevoerd. 4 Daarmee wijzigen de regels voor de groepen die de opleidingen verzorgen. In het opleidingsplan van de orthopedie is een richtlijn opgenomen voor de wetenschappelijke activiteit van de opleidingsgroep, in de vorm van streefgetallen voor aantallen publicaties. Onze studie laat zien hoeveel artikelen werden gepubliceerd door orthopedische opleidingsklinieken in de periode Van de 29 opleidingsklinieken voldeden er 9 (31%) niet aan de publicatierichtlijn in het opleidingsplan orthopedie. Op basis van deze studie zouden de eisen voor het minimum aantal publicaties bijgesteld kunnen worden naar rato van het aantal orthopeden per opleidingskliniek. Verder zou de introductie van een weegfactor onderzocht kunnen worden die niet alleen de kwantiteit maar ook de kwaliteit van de publicaties naar verhouding mee laat tellen, ter ondersteuning van toekomstige opleidingseisen. Hiermee kan het vereiste wetenschappelijk actief zijn en wetenschappelijke interesse hebben uit het Kaderbesluit beter toetsbaar gemaakt worden. Belangenconflict: geen gemeld. Financiële ondersteuning: dr. C.C.P.M. Verheyen ontving financiering van AMG, Bayer en Boehringer voor advieswerkzaamheden en lezingen die geen verband hielden met dit onderzoek. Aanvaard op 5 februari 2011 Citeer als: Ned Tijdschr Geneeskd. 2011;155:A2915 > Meer op Literatuur 1 Van der Waaij D. Beks JWF, Haanen C, Tytgat TG, Wellens HJJ. Klinisch wetenschappelijk onderzoek. Ned Tijdschr Geneeskd. 1990;134: Nederlandse Federatie van Universitair Medische Centra. Zaaien en oogsten, een profileringnota over onderwijs en onderzoek in de umc s. Utrecht: NFU; KNMG. Kaderbesluit CCMS. Utrecht: KNMG; Nederlandse Orthopaedische Vereniging (NOV). Opleidingsplan Orthopedie. Utrecht: NOV; Bosker BH, Verheyen CCPM. The international rank order of publications in major clinical orthopaedic journals from 2000 to J Bone Joint Surg [Br]. 2006;88: Van der Meulen B, Horlings E. Financiering van en specialisering in medisch onderzoek. Den Haag, Rathenau Instituut; Van den Besselaar P, Horlings E. Focus en massa in het wetenschappelijk onderzoek: de Nederlandse onderzoeksportfolio in internationaal perspectief. Den Haag: Rathenau Instituut; Andriole DA, Whelan AJ, Jeffe DB. Characteristics and Career Intentions of the Emerging MD/PhD Workforce. JAMA. 2008;300: Journal Citation Reports. Science edition. New York: Thomson Reuters; Falagas ME, Kouranos VD, Michalopoulos A, Rodopoulou SP, Batsiou MA, Karageorgopoulos DE. Comparison of the distribution of citations received by articles published in high, moderate, and low impact factor journals in clinical medicine. Intern Med J. 2010;40: NED TIJDSCHR GENEESKD. 2011;155:A2915