In 1989 schreef Jan Vandenbroucke in het NTvG een

Transcriptie

1 Stand van zaken methodologie van onderzoek Zelf onderzoek doen* Een herzien recept voor een klinisch-wetenschappelijk leeronderzoek Bob Siegerink, Olaf M. Dekkers en Frits R. Rosendaal Het leren goed onderzoek te doen vraagt een behoorlijke tijdsinspanning van de jonge onderzoeker, maar dit is soms moeilijk te bewerkstelligen naast de studie of opleiding. In 1989 stond er in het NTvG een recept voor een klinisch-wetenschappelijk leeronderzoek. Hierin werden enkele aanbevelingen gedaan om een dergelijk onderzoek ook met beperkte tijd en middelen succesvol te voltooien. In dit artikel houden we deze 3 aanbevelingen tegen het licht en voegen er 2 nieuwe aan toe. De uiteindelijke aanbevelingen zijn: beperk de vraagstelling, voer een oriënterend onderzoek uit, schrijf het artikel voordat de gegevens verzameld zijn, stroomlijn het onderzoeksproces, en leg verantwoording af. *Dit artikel is gebaseerd op het artikel Een recept voor een klinischwetenschappelijk leeronderzoek, dat eerder werd gepubliceerd in het NTvG (1989;133:34-8). Deze herziene versie is tot stand gekomen in het kader van het emeritaat van prof.dr. Jan Vandenbroucke, hoogleraar klinische epidemiologie, LUMC, Leiden, de auteur van het oorspronkelijke artikel. Leids Universitair Medisch Centrum, afd. Klinische epidemiologie, Leiden. Dr. B. Siegerink, epidemioloog (tevens: Charité Universitätsmedizin, Berlijn, Duitsland); dr. O.M. Dekkers, internist-epidemioloog; prof.dr. F.R. Rosendaal, klinisch epidemioloog. Contactpersoon: dr. B. Siegerink (b.siegerink@lumc.nl). In 1989 schreef Jan Vandenbroucke in het NTvG een artikel getiteld Een recept voor een klinisch-wetenschappelijk leeronderzoek. 1 Hierin gaf hij 3 aanbevelingen die jonge clinici helpen een dergelijk leeronderzoek ook met beperkte tijd en middelen uit te voeren en zo het ambacht van klinisch-wetenschappelijk onderzoeker aan te leren. De inzet van deze leeronderzoeken was om de jonge specialist in opleiding in korte tijd een onderzoek te laten uitvoeren en daarmee het vak van klinisch-wetenschappelijk onderzoeker te leren. De oproep heeft gehoor gekregen. Zo is er in Leiden niet lang na de publicatie een onderzoeksstage binnen de opleiding Inwendige Geneeskunde in het leven geroepen. Sinds 1989 zijn een aantal zaken rond dit thema veranderd. Zo is er meer aandacht voor wetenschappelijk onderzoek tijdens de geneeskundestudie, zowel binnen als buiten het reguliere curriculum in de vorm van excellentietrajecten en MD-PhD-programma s. Het resultaat hiervan is dat 14,5% van de Nederlandse geneeskundestudenten één of meerdere artikelen publiceert gedurende de studie. 2 Daarnaast is er een sterke kwantitatieve groei in het aantal medische promoties, van 471 promoties in 1991 naar 1431 in Ongeacht deze kwantitatieve toename van medisch onderzoek moeten we blijven streven de kwaliteit en relevantie ervan hoog te houden. 4 Daarom blijft één zaak in al die jaren ongewijzigd: het leren goed onderzoek te doen vraagt een behoorlijke tijdsinspanning van de jonge onderzoeker. In het huidige artikel houden we, ruim 25 jaar later, de aanbevelingen van Vandenbroucke kritisch tegen het licht en vullen deze aan daar waar nodig. Om jonge onderzoekers te helpen volgen 5 aanbevelingen, waarvan de eerste 3 teruggaan op het oorspronkelijke artikel uit NED TIJDSCHR GENEESKD. 2015;159: A9117 1

2 1989. Deze aanbevelingen moeten het leereffect van onderzoek doen verbeteren en de kans van slagen verhogen. Aanbeveling I: beperk de vraagstelling Klinische dilemma s worden veelal herkend uit een klinische observatie die vragen oproept: is deze nieuwe test nuttig? Welke behandeling is het beste? Wat zijn risicofactoren voor deze ziekte? Vaak zijn dergelijke klinische dilemma s te omvangrijk voor een enkel leeronderzoek. Klinische dilemma s worden vaak pas opgelost na het beantwoorden van verschillende onderzoeksvragen. Het geheim van een succes van onderzoek ligt in de eerste plaats in het beperken van de vraagstelling tot het haalbaar aspect van één interessant probleem. 1 Een snelle controle van de al bestaande literatuur zal hierbij helpen om een lacune in de bestaande kennis te identificeren die met een duidelijke onderzoeksvraag gevuld kan worden. Een voorbeeld. Een arts ziet een patiënte met een opvallende combinatie: hyperthyreoïdie en een ischemisch herseninfarct op jonge leeftijd. Een snelle zoektocht in de literatuur laat zien dat niet alle vragen over deze relatie beantwoord zijn. Deze klinische observatie kan dus aanleiding geven tot verschillende onderzoeksvragen. Is deze relatie ook beschreven voor andere cardiovasculaire ziekten? Hoe groot is het risico op een herseninfarct bij patiënten met hyperthyreoïdie? Wordt het risico gemedieerd door atriumfibrillatie, een factor die duidelijk met hyperthyreoïdie geassocieerd is? De onderzoeker zal in eerste instantie één enkele onderzoeksvraag moeten selecteren en daarna de vraag uitwerken in termen van expositie (hyperthyreoïdie), uitkomst (herseninfarct) en het domein (patiënten < 55 jaar) van een onderzoeksvraag. Als hij of zij dit niet doet, is de kans groot dat het onderzoek te breed wordt opgezet en er mogelijk te veel of irrelevante gegevens van een te breed gedefinieerde patiëntengroep worden verzameld. Gaat het om klinische of subklinische hyperthyreoïdie, alleen om het herseninfarct of ook om andere cardiovasculaire uitkomsten, alleen om jonge vrouwen of om alle geslachten en leeftijden? Daarnaast moet de onderzoeker zich ook de vraag stellen wat de aard van het onderzoek zal zijn. Richt het onderzoek zich bijvoorbeeld op diagnose, therapie, etiologie of predictie. Het bepalen van het type onderzoek is belangrijk, omdat keuzes rond de verzameling en analyse van de gegevens hiermee verbonden zijn. Dit geldt in bijzondere mate voor het onderscheid tussen etiologie (is deze factor werkelijk een oorzaak van ziekte?) en predictie (kunnen we voorspellen welke hyperthyreote patiënten een herseninfarct ontwikkelen?). Bij etiologische vraagstukken is men geïnteresseerd in het effect van een specifieke factor en dient men de effecten van eventuele andere oorzaken die samenhangen met de factor van interesse, de zogenaamde potentiële confounders, te minimaliseren. Bij predictie zoekt men vaak naar een combinatie van factoren die gezamenlijk voorspellende waarde hebben, los van de vraag of het echte oorzaken zijn. Deze combinatie van voorspellende factoren kan vervolgens helpen bij risicostratificatie, zoals bekend van de Framingham-risicoscore. 5 Aanbeveling II: voer een oriënterend onderzoek uit Een oriënterend onderzoek, ook bekend als een pilot - of haalbaarheidsonderzoek, is primair een onderzoek om te beoordelen of de uiteindelijke uitvoering binnen de omstandigheden waarin men het onderzoek moet doen haalbaar is. 1,6 Zo kijkt men bijvoorbeeld of de benodigde gegevens voorhanden zijn, vragenlijsten niet te lang zijn en de instructies voor bloedafname voldoende duidelijk zijn. Een oriënterend onderzoek is dus bedoeld om eventuele problemen in de logistiek en haalbaarheid van het onderzoek op te sporen, en is dus geen wetenschappelijk onderzoek. 7 Er is weinig reden om bevindingen van een pilotonderzoek te publiceren in een wetenschappelijk tijdschrift, ook niet wanneer de bevindingen toevallig? veelbelovend blijken. Aanbeveling III: schrijf artikel vóór gegevens verzameld zijn Zodra men beslist heeft over de vraagstelling en een proefonderzoek heeft uitgevoerd, schrijve men onmiddellijk het artikel. 1 Deze suggestie lijkt tegenstrijdig met de bedoeling van een wetenschappelijke publicatie. Deze is immers bedoeld om te rapporteren over het verrichte onderzoek en zijn resultaten. Dat is juist, maar het daadwerkelijke onderzoek begint eigenlijk al op het moment dat het onderzoeksidee zich ontwikkelt. Vanaf dat moment worden er al keuzes gemaakt die richtinggevend zijn en gerapporteerd moeten worden in het uiteindelijke artikel. Maar wat kan men opschrijven, voordat het daadwerkelijke onderzoek is uitgevoerd? De inleiding en de vraagstelling kunnen worden geschreven zonder dat de resultaten bekend zijn. Hetzelfde geldt voor de. De gaat immers vooraf aan de, niet omgekeerd. Deze aanpak heeft als voordeel dat ook voor observationeel onderzoek goed nagedacht wordt over het hoe voordat de gegevens bekend zijn. Natuurlijk zijn de resultaten nog niet duidelijk, maar het is van tevoren al wel duidelijk welke analyses kunnen worden gedaan (zie ook aanbeveling IV). De opmaak van de tabellen kan daarom bepaald worden en de resultatensectie kan al grotendeels geschreven worden. Daarnaast weet men voorafgaand aan het onderzoek ook al wat de sterke en zwakke punten van het onderzoek zullen zijn, 2 NED TIJDSCHR GENEESKD. 2015;159: A9117

3 TABEL Overzicht van vaak gebruikte rapportagerichtlijnen* naam beschrijving website STROBE rapportage van observationele onderzoeken, met checklijsten voor de verschillende studieopzetten, onder andere voor patiënt-controle-, cohort- en dwarsdoorsnedeonderzoek CONSORT rapportage van klinische trials; naast de algemene richtlijn zijn er diverse varianten voor verschillende typen trials, zoals voor de noninferiority -trial en cluster-rct STARD rapportage van onderzoeken naar diagnostische accuratesse PRISMA systematische reviews en meta-analyse SAMPL richt zich niet op een bepaald type onderzoek, maar voornamelijk op het verbeteren van de rapportage van de - en resultatensectie; nadruk ligt op (a) voldoende detail voor replicatie, en (b) rapportage van alle details die nodig zijn voor additionele analyses zoals meta-analyses; SAMPL kan goed worden gezien als toevoeging op bovenstaande richtlijnen * Een compleet overzicht van de verschillende richtlijnen en hun afgeleiden staat op de website van de EQUATOR Network ( reporting-guidelines). waardoor ook de deels vooraf geschreven kan worden. Een goede hulp hierbij zijn de verschillende richtlijnen voor de rapportage van onderzoek, 8 die de afgelopen jaren verschenen zijn (tabel). Een voorbeeld is het initiatief STROBE, dat is gericht op observationeel onderzoek (STROBE staat voor Strengthening the reporting of observational studies in epidemiology ). Met deze checklist van 22 items kan de lezer zelf het onderzoek op waarde schatten. Een dergelijke checklist is natuurlijk geen garantie voor de kwaliteit van het onderzoek, maar de richtlijnen met bijbehorende uitleg zijn voor jonge onderzoekers een goede hulp bij het vroeg schrijven van het artikel. Aanbeveling IV: stroomlijn het onderzoeksproces Goed onderzoek wordt verricht door een team van onderzoekers. Maar veel onderzoek wordt uitgevoerd in een beperkte tijdsperiode, soms naast de opleiding of studie. Het is daarom noodzakelijk om het onderzoeksproces vloeiend te laten verlopen, waarbij elk teamlid zijn of haar kennis en kunde kan inbrengen. Een goed beeld hebben van de verschillende stappen in het onderzoekproces, samen met duidelijke afspraken hierover met de rest van het onderzoeksteam, is een juiste manier om zowel vertraging als teleurstelling te voorkomen. Hoewel in realiteit verschillende stappen in het onderzoeksproces parallel kunnen lopen, geven wij hieronder en in de figuur een voorbeeld van hoe een onderzoeksproces stapsgewijs gestroomlijnd kan worden. Dit voorbeeld benadrukt tevens dat grote delen van het uiteindelijke artikel al vroeg opgeschreven kunnen worden. Onderzoeksidee en -protocol De eerste stap is het onderzoeksidee, dat vervolgens omgezet moet worden in een onderzoeksprotocol. Dit document wordt besproken met alle leden van het onderzoeksteam, bij voorkeur in een ruimere groep in de vorm van bijvoorbeeld een afdelingsbrede wetenschapsbespreking. Toestemming De volgende stap is het verkrijgen van toestemming. Hierbij moet men denken aan toestemming van de medisch-ethische toetsingscommissie, als dit wettelijk vereist is, en van de wetenschapscommissie van de afdeling waar het onderzoek wordt uitgevoerd. Oriënterend onderzoek Daarna volgt het oriënterende onderzoek (zie aanbeveling II). Als het niet nodig is om patiënten te betrekken bij het oriënterende onderzoek, kan men ervoor kiezen om dit uit te voeren vóór het verkrijgen van toestemming. Analyseplan Het analyseplan is een uitgebreide beschrijving van de geplande statistische analyse. Het is goed gebruik om alvast de lege tabellen van het uiteindelijke artikel te maken, zodat de samenhang tussen de onderzoeksvraag, de gegevens die verzameld moeten worden en de analyse in één oogopslag duidelijk wordt. Patiënteninclusie en Alle onderzoeksgegevens moeten terug te leiden zijn naar de bron. Het is dus van belang om dit proces goed vast te leggen omdat afwijkingen van de standaardprocedure de kwaliteit van het onderzoek kunnen aantasten. Data-analyse De reden voor het scheiden van het analyseplan en het daadwerkelijk uitvoeren van de analyse is dat op deze manier de belangrijke beslissingen genomen worden voordat de resultaten bekend zijn. Resultaatge- NED TIJDSCHR GENEESKD. 2015;159: A9117 3

4 Een onderzoeksvoorstel wordt bij voorkeur direct geschreven na het eerste onderzoeksidee en wordt gebruikt als discussie voor het onderzoeksteam. De mate van detail hangt sterk af van het onderzoeksidee. Men heeft toestemming nodig om het onderzoek uit te voeren, van een METC, wetenschapscommissie of onderzoeksteam. Elk lid van het onderzoeksteam moet hierbij worden betrokken. Hierdoor is er duidelijkheid over de te nemen stappen, waardoor de kans op vertraging wordt verkleind. In het oriënterende onderzoek wordt alleen gekeken naar de logistieke haalbaarheid van het onderzoek. Het analyseplan beschrijft de (sub)analyses die nodig zijn om de onderzoeksvraag te beantwoorden. Het is goed gebruik de uiteindelijke tabellen uit het manuscript alvast leeg weer te geven en deze te bespreken met het onderzoeksteam. Problemen tijdens de moeten goed worden vastgelegd, omdat deze de kwaliteit van het onderzoek kunnen aantasten. Het vooraf opgestelde plan is leidend tijdens de analysefase. Beperk de hoeveelheid onvoorziene en resultaatgedreven analyses, omdat deze de validiteit van de resultaten kunnen aantasten. Gebruik een syntax. onderzoeksvoorstel toestemming oriënterend analyseplan patënteninclusie en data-analyse onderzoek inleiding lacune in kennis onderzoeksvraag methodologie en onderzoeksopzet te verzamelen gegevens in- en exclusiecriteria n om bias tegen te gaan tekortkoming en gebruikte studieopzet overig projectteam (auteurslijst) financiering conflicterende belangen gegevens voor eventuele steekproefgrootteberekening beschrijf eventuele bevindingen over de kwaliteit van de verzamelde gegevens statistische n tabellen en figuren lege tabellen en figuren stroomdiagram tekortkomingen van gebruikte analysetechnieken resultaten aantallen patiënten geïncludeerd en geëxcludeerd (stroomdiagram) afwijkingen van, bijvoorbeeld lost to follow-up, ontbrekende gegevens impact van eventuele afwijkingen tijdens de resultaten vul lege tabellen en figuren geef een overzicht van de resultaten in de tekst geef aantal patiënten, puntschatters en betrouwbaarheidsintervallen waar mogelijk interpretatie en hoofdconclusie FIGUUR Voorbeeld van een onderzoeksproces dat leidt van een onderzoeksidee tot een artikel. In realiteit kunnen bepaalde onderdelen, afhankelijk van de context van het onderzoek, van volgorde wisselen of zelfs parallel lopen. De groene vakken geven een korte beschrijving van de verschillende stappen die volgen op het onderzoeksidee. De blauwe vakken geven aan hoe deze stappen verbonden zijn aan bepaalde onderdelen van het manuscript. Zo is duidelijk dat het manuscript grotendeels al geschreven kan worden voordat de resultaten van het onderzoek bekend zijn. METC = medisch-ethische toetsingscommissie. dreven analyses worden hierdoor beperkt. Niet alleen wordt zo voorkomen dat er bewust gezocht wordt naar statistische significantie, maar wordt ook de kans op onnodige extra analyses klein en wordt vertraging minimaal gehouden. Het idee achter het stroomlijnen van het onderzoeksproces is dat alle stappen in het onderzoeksproces zo veel mogelijk van tevoren als groep zijn doordacht. Daarnaast kan men enkele go/no-go -beslissingen inbouwen. Dit zijn momenten waarop het onderzoeksteam besluit of doorgaan met het onderzoeksproject zinvol is. Hiermee verzekert men zich van een eenduidig idee bij alle leden van de onderzoeksgroep over het project en voorkomt men onnodige handelingen, wat leidt tot een efficiënt gebruik van tijd en energie. Aanbeveling V: leg verantwoording af De recente ontwikkelingen rond wetenschappelijke integriteitsvraagstukken hebben geleid tot een vijfde aanbeveling, namelijk dat elke onderzoeker verantwoording moet afleggen over zijn onderzoek. In klinisch-wetenschappelijk onderzoek zijn er 2 concepten die cruciaal zijn in het tegengaan van slordige wetenschap ( sloppy science ) en het waarborgen van de kwaliteit van het onderzoek. 9 Wetenschappelijke integriteit Ten eerste betreft het wetenschappelijke integriteit, een begrip met vele definities. In ieder geval betekent dit dat beslissingen rond onderzoek, methodologie, data-analyse en de beslissing tot publiceren niet afhankelijk zijn van de resultaten van het onderzoek. Het vooraf vastleggen van de verschillende stappen van het onderzoeksproces, is van belang om de wetenschappelijke integriteit zo veel mogelijk te waarborgen. Integriteit heeft ook te maken met zaken die wat verder afstaan van het daadwerkelijke onderzoek, zoals duidelijkheid over conflicterende belangen en auteurschappen. Het is onmogelijk om deze aspecten in zijn geheel te ondervangen door regels en formulieren, maar er zijn enkele momenten in het onderzoeksproces waarop sommige zaken besproken en vastgelegd kunnen worden. Zo kan men in het onderzoeksprotocol al duidelijk maken of er teamleden zijn met conflicterende belangen en of de voorziene rol van de teamleden hen zal kwalificeren voor een auteurschap volgens de vigerende 4 criteria van de International Committee of Medical Journal Editors. 10 Data-integriteit Ten tweede betreft het data-integriteit, wat zoveel inhoudt als dat de analysedataset en gepresenteerde resultaten terug te leiden zijn tot de brongegevens. Tegenwoordig is het gewenst dat goed gearchiveerd 4 NED TIJDSCHR GENEESKD. 2015;159: A9117

5 wordt hoe er tijdens de verschillende stappen in het onderzoek met de gegevens is omgegaan. Het onderzoeksprotocol, maar ook het analyseplan, biedt ruimte om goed te beschrijven hoe de gegevens en bijbehorende analysesyntax worden bewaard. Het is van belang dat men gebruikmaakt van specialistische software voor, controle, analyse en opslag. Een noodzakelijk eigenschap die dergelijke software moet bieden is dat de bewerkingen van de gegevens kunnen worden geprogrammeerd in een zogenaamde syntax. Deze syntax geeft niet alleen een beschrijving van de verschillende stappen in de gegevensverwerking, -controle en -analyse, maar schept ook de mogelijkheid bepaalde stappen opnieuw uit te voeren en de analyse te controleren. Het is dan ook aan te raden dat men uitgaat van 1 bronbestand, dat centraal wordt bewaard, met een kopie voor de uiteindelijke analyses. De uiteindelijke syntax, in combinatie met het bronbestand, kan dan altijd geraadpleegd worden als er vragen ontstaan over bepaalde stappen en keuzes. Conclusie De 3 basisprincipes voor het verrichten van een klinischwetenschappelijk leeronderzoek, zoals beschreven door Jan Vandenbroucke in 1989, zijn nog steeds relevant. Daarnaast hebben wij het stroomlijnen van het onderzoeksproces en het afleggen van verantwoording als aanbeveling toegevoegd. Deze laatste 2 aanbevelingen dienen om vertraging en onnodig werk te beperken en de wetenschappelijke integriteit te bevorderen. In de rubriek Stand van zaken verschijnen regelmatig bijdragen over n die gebruikt worden bij het opzetten van wetenschappelijk onderzoek. De artikelen in deze serie illustreren op begrijpelijke wijze wat een bepaalde behelst, zonder dat hier uitvoerige methodologische kennis voor nodig is. Zowel oude als nieuwe methodologische principes worden zo inzichtelijk gemaakt voor artsen die klinische onderzoeken goed willen interpreteren. Jenneke Hoekstra, BSc, student biomedische wetenschappen, hielp bij de totstandkoming van dit manuscript. Belangenconflict en financiële ondersteuning: geen gemeld. Aanvaard op 5 mei 2015 Citeer als: Ned Tijdschr Geneeskd. 2015;159:A9117 > Kijk ook op Leerpunten In 1989 stond een recept voor een klinischwetenschappelijk leeronderzoek in het NTvG, waarin 3 aanbevelingen werden gegeven die jonge clinici helpen een dergelijk leeronderzoek succesvol te voltooien. De oorspronkelijke aanbevelingen voor een klinischwetenschappelijk leeronderzoek zijn: beperk de vraagstelling, voer een oriënterend onderzoek uit, en schrijf het artikel voordat de gegevens verzameld zijn. De 3 oorspronkelijke aanbevelingen zijn nog steeds relevant. We voegden er 2 nieuwe aan toe: stroomlijn het onderzoeksproces door gebruik te maken van een onderzoeksprotocol en analyseplan, en leg verantwoording af op het gebied van zowel data-integriteit als wetenschappelijke integriteit zodat de kwaliteit van het onderzoek gewaarborgd is. Literatuur 1 Vandenbroucke JP. Een recept voor een klinisch-wetenschappelijk leeronderzoek. Ned Tijdschr Geneeskd. 1989;133: Van Eyk HJ, Hooiveld MHW, Van Leeuwen TN, Van der Wurff BLJ, De Craen AJM, Dekker FW; NVMO-Special Interest Group on Scientific Education. Scientific output of Dutch medical students. Med Teach. 2010;32: Centraal Bureau voor de Statistiek. Statline. geraadpleegd op 16 maart Clevers JC. Stop de promotiedwang voor arts-assistenten. Ned Tijdschr Geneeskd. 2014;158:A D Agostino RB Sr, Vasan RS, Pencina MJ, et al. General cardiovascular risk profile for use in primary care: the Framingham Heart Study. Circulation. 2008;117: Beurskens A. Vet de HCW, Kant I. Dwalingen in de methodologie. VIII. Pilotonderzoeken, zin en onzin. Ned Tijdschr Geneeskd. 1998;142: Arain M, Campbell MJ, Cooper CL, Lancaster GA. What is a pilot or feasibility study? A review of current practice and editorial policy. BMC Med Res Methodol. 2010;10:67. 8 Bossuyt PM. Ruim 200 richtlijnen voor rapportage van onderzoek. Ned Tijdschr Geneeskd. 2015;159:A Zorgvuldig en integer omgaan met wetenschappelijke onderzoeksgegevens. Amsterdam: Koninklijke Nederlandse Akademie van Wetenschappen; ICMJE. Defining the role of authors and contributors. recommendations/browse/roles-and-responsibilities/defining-the-roleof-authors-and-contributors.html, geraadpleegd op 6 mei NED TIJDSCHR GENEESKD. 2015;159: A9117 5