Meta-analyse op basis van individuelepatiëntengegevens

Transcriptie

1 Stand van zaken Meta-analyse op basis van individuelepatiëntengegevens Methodologie van onderzoek 5 Maroeska M. Rovers en Johannes B. Reitsma Een meta-analyse met data van individuele patiënten (IPD-meta-analyse) houdt in dat men de originele, individuele patiëntgegevens verzamelt en op basis daarvan een effectschatter berekent. Het gebruik van individuele patiëntgegevens heeft diverse voordelen: de originele gegevens en de resultaten van gepubliceerde analyses worden gecontroleerd; de vergelijkbaarheid tussen studies in definities, coderingen en analyses wordt vergroot; de mogelijkheden voor subgroepanalyses nemen toe en het is mogelijk om complexere statistische analyses te verrichten, zoals pooling van tijdsafhankelijke gegevens en multivariate regressieanalyse. Bij een IPD-meta-analyse kunnen extra gegevens worden gebruikt die niet in het oorspronkelijke artikel stonden, bijvoorbeeld gegevens uit een langere follow-up. Verbeteringen van deze methodiek zijn nog mogelijk, bijvoorbeeld het vinden van een juiste balans tussen voldoende power om een klinische relevante subgroep te identificeren en het laag houden van de kans op een fout-positief resultaat. Er zijn verschillende aspecten waarop lezers een IPD-meta-analyse kunnen beoordelen, onder andere de reden om voor een IPD-meta-analyse te kiezen, de methode voor identificatie en selectie van studies en het aantal aangeschreven auteurs dat hun data beschikbaar stelde. In de rubriek Stand van zaken verschijnen regelmatig bijdragen over methoden die gebruikt worden bij het opzetten van wetenschappelijk onderzoek. De artikelen in deze serie illustreren op begrijpelijke wijze wat een bepaalde methode behelst, zonder dat hier uitvoerige methodologische kennis voor nodig is. Zowel oude als nieuwe methodologische principes worden zo inzichtelijk gemaakt voor artsen die klinische onderzoeken goed willen interpreteren. UMC St Radboud, afd. Operatiekamers en afd. Epidemiologie, Biostatistiek & HTA, Nijmegen. Prof.dr. M.M. Rovers, klinisch epidemioloog. UMC Utrecht, Julius Centrum voor Gezondheidswetenschappen en Eerstelijns Geneeskunde, Utrecht. Dr. J.B. Reitsma, arts-epidemioloog. Contactpersoon: prof.dr. M.M. Rovers (M.Rovers@ebh.umcn.nl). Meta-analyses worden in toenemende mate gebruikt als basis voor medische en beleidsmatige beslissingen, en vormen een integraal onderdeel van de evidencebased geneeskunde. In dit artikel gaan we dieper in op de potentiële voordelen van een meta-analyse met data van individuele patiënten (IPD-meta-analyse) en de uitdagingen bij het uitvoeren van een dergelijke meta-analyse. We besteden hierbij specifieke aandacht aan subgroepanalyses, omdat dit soort analyses naar onze mening een van de belangrijkste redenen is om een IPD-meta-analyse te doen. Een illustratief voorbeeld Een illustratie van de voordelen van een IPD-meta-analyse is te vinden in de recent afgeronde studie naar de mortaliteit op de IC die toe te schrijven is aan beademingsgeassocieerde longontsteking (VAP). 1 De oorspronkelijke studies NED TIJDSCHR GENEESKD. 2012;156:A4743 1

2 Waar moet de lezer van een IPD-meta-analyse op letten? Uitleg Waarom is er voor een IPD-meta-analyse gekozen? Is er een protocol opgesteld en kan dit worden ingekeken? Hoe werden studies geïdentificeerd en geselecteerd? Hoeveel auteurs zijn aangeschreven en hoeveel van hen stelden hun data beschikbaar? Wat waren de redenen van auteurs om hun data niet beschikbaar te stellen? Waren er verschillen tussen studies waarvan de data wel en niet data beschikbaar kwamen? Hoe is omgegaan met ontbrekende waardes binnen studies? Zijn de statistische analyses in voldoende detail beschrevenen? Hoe robuust is het resultaat van de subgroepanalyse? die de mortaliteit van VAP onderzochten, lieten tegenstrijdige resultaten zien, waardoor de relatie tussen VAP en mortaliteit onduidelijk bleef. In een traditionele meta-analyse wordt een effect geschat op basis van gepoolde patiëntengegevens uit de oorspronkelijke studies. Bepaalde patiëntgebonden factoren kunnen het resultaat van zo n meta-analyse beïnvloeden. In dit voorbeeld betekent ontslag van de IC dat de toestand van de patiënt dusdanig veranderd is verbeterd of verslechterd dat verdere behandeling op de IC niet noodzakelijk of zinvol meer is. Bovendien sluit ontslag van de IC uit dat de patiënt overlijdt op de IC. Tevens leert de ervaring dat er wel eens een verschil zou kunnen bestaan tussen chirurgische patiënten, patiënten met een trauma of patiënten van de interne geneeskunde, al dan niet in combinatie met de ernst van de ziekte. In de IPD-meta-analyse werden de data van 24 studies met in totaal 6284 patiënten gepoold. Door gebruik te maken van de individuele data was het mogelijk om (a) subgroepen te bestuderen, en (b) een zogenoemde competing-risk analysis uit te voeren. Een competing risk-analyse hield in dit voorbeeld in dat naast de mortaliteit ook ontslag van de IC als uitkomstmaat werd meegenomen. Dit gaf extra inzicht, want de resultaten lieten zien dat niet de VAP zelf, maar vooral een langere ligduur op de IC ten gevolge van VAP leidt tot een verhoogd risico op sterfte. Bovendien bleek het risico groter bij chirurgische patiënten en patiënten met een gemiddelde ziekte-ernst. De resultaten van de IPDmeta-analyse maakten duidelijk waarom de tot nu toe uitgevoerde studies tegenstrijdige resultaten gaven. Voor- en nadelen In een IPD-meta-analyse wordt dus niet uitgegaan van de effecten in de oorspronkelijke publicaties, maar gebruikt men de individuele gegevens uit de diverse studies. 2,3 In een eerder artikel in het NTvG gaven onze Belgische collegae reeds een overzicht van de voor- en nadelen van een IPDmeta-analyse ten opzichte van de traditionele meta-analyse (tabel). 4 Plaatsbepaling van IPD-meta-analyses Overeenkomsten en verschillen Figuur 1 geeft inzicht in de overeenkomsten en verschillen tussen traditionele en IPD-meta-analyses. De eerste cruciale stap voor beide typen meta-analyse is het formuleren van een heldere en relevante vraagstelling. Of een IPDmeta-analyse vervolgens zinvoller is dan een traditionele meta-analyse hangt af van de vraag die men wil beantwoorden en van de beschikbare data. De belangrijkste redenen om een IPD-meta-analyse uit te voeren zijn: (a) een vraagstelling waarop een traditionele meta-analyse geen antwoord kan geven, bijvoorbeeld omdat essentiële data niet gerapporteerd zijn; (b) het kunnen uitvoeren van subgroepanalyses; (c) de mogelijkheid om tijdsafhankelijke of andere multivariabele analyses te doen. Als men alleen geïnteresseerd is in het hoofdeffect, is het meestal niet nodig om een IPD-meta-analyse uit te voeren, omdat daarin dan gebruik gemaakt wordt van dezelfde data als bij een traditionele meta-analyse. Een traditionele meta-analyse, die veelal minder tijd vergt, volstaat dan. De 2 cruciale stappen bij de uitvoering van een IPD-meta- TABEL Voor- en nadelen van meta-analyses met data van individuele patiënten (IPD-meta-analyse) in vergelijking met traditionele meta-analyses voordelen IPD-meta-analyse controle van de originele gepubliceerde gegevens en analyses binnen studies vergelijkbaarheid vergroten tussen studies in definities, coderingen en analyses gebruik maken van extra gegevens, bijvoorbeeld langere follow-up, die niet in het oorspronkelijke artikel stonden toegenomen mogelijkheden voor subgroepanalyses complexere statistische analyses mogelijk, zoals pooling van tijdsafhankelijke gegevens en toepassing van multivariabele regressiemodellen nadelen IPD-meta-analyse verkrijgen en hercoderen van alle data kost veel tijd en energie onderzoekers kunnen besluiten hun data niet beschikbaar te stellen, waardoor minder data beschikbaar zijn voor de IPD-meta-analyse analyses vereisen meer statistische expertise 2 NED TIJDSCHR GENEESKD. 2012;156:A4743

3 analyse betreffen de beslissing over de hoeveelheid benodigde gegevens en het daadwerkelijk verkrijgen van de individuele patiëntgegevens. Een eerste mogelijkheid is om de methoden van een systematische literatuurstudie te volgen, waarbij systematisch met behulp van duidelijke in- en exclusiecriteria gezocht wordt naar alle gepubliceerde en ongepubliceerde studies. Vervolgens kunnen de auteurs van de studies benaderd worden met de vraag of zij bereid zijn hun individuele data ter beschikking te stellen. De ervaring leert dat een goed protocol met duidelijke nieuwe doelstellingen, een goede methodologische aanpak en afspraken over het gebruik van de data, vastgelegd in een officiële overeenkomst, bijdragen aan de bereidheid om de individuele data ter beschikking te stellen. Afspraken over het gebruik van data houden bijvoorbeeld in dat de data alleen voor genoemde doelstellingen worden gebruikt, dat zij eigendom blijven van de oorspronkelijke onderzoeker en dat de oorspronkelijke onderzoeker medeauteur wordt. Een andere mogelijkheid is om samen te werken met enkele andere onderzoeksgroepen, waarvan bekend is dat ze gelijksoortige onderzoeken verricht hebben. Zo werden in een artikel in de BMJ de individuele data gecombineerd van 2 trials naar het effect van vertebroplastiek bij osteoporotische wervelfracturen. 5 In beide studies afzonderlijk was de conclusie dat vertebroplastiek geen effect had, waarna de beroepsgroep aangaf dat er mogelijk subgroepen waren waarbij vertebroplastiek wel zinvol zou zijn. Het doel van het combineren van deze 2 trials was dus het identificeren van subgroepen die mogelijk wél baat bij deze interventie hebben. De resultaten lieten zien dat vertebroplastiek ook in subgroepen geen effect had. Ongeacht de wijze waarop de individuele gegevens worden verzameld, is het belangrijk om de onderzoekers die hun data beschikbaar gesteld hebben, op de hoogte te houden van de voortgang. Dit kan middels nieuwsbrieven, een website met een afgeschermd deel voor de partners in het onderzoek, of een bijeenkomst met de betrokkenen. Een bijeenkomst met alle betrokkenen is vooral zinvol om de resultaten, noodzakelijke vervolgstappen en de daarbij behorende deadlines af te spreken. Het is gebruikelijk om de resultaten te publiceren namens alle deelnemers, waarbij ten minste 1 afgevaardigde per studie mee publiceert. Soms wordt gekozen voor meerdere auteurs per studie, afhankelijk van de studiegrootte. Ook kan gepubliceerd worden onder een groepsnaam, waarbij de individuele namen wel in PubMed herkenbaar zijn. Subgroepanalysen Iedere patiënt verwacht dat de diagnostische testen of de therapie die hij of zij krijgt, het gunstigst zijn voor zijn of haar situatie. In klinische studies en meta-analyses van die studies worden meestal alleen gemiddelde resultaten voor de hele groep van patiënten berekend. Het inzicht groeit dat patiënten verschillend kunnen reageren op een behandeling of dat het nut van een diagnostische test verschilt tussen patiënten; dit heet een subgroepeffect. Idealiter zouden van elke afzonderlijke studie in een review de resultaten van potentieel relevante subgroepen gepubliceerd moeten zijn, maar dit blijkt zelden het geval te zijn. formuleren onderzoeksvraag protocol: doelstellingen, zoekstrategie, inclusiecriteria, geplande analyses identificatie van alle relevante studies instellen van een project-, advies- en onderzoeksgroep verzamelen van de individuele patienten data (zo compleet mogelijk) controleren originele gegevens en analyses uniformeren van de data analyseren van de individuele data en relevante subgroepen een bijeenkomst met betrokkenen organiseren publicatie FIGUUR Overeenkomsten en verschillen tussen traditionele meta-analyse en meta-analyse op basis van individuele patiëntendata. IPD meta-analyse. Verklaring van de kleuren: Proces identiek aan conventionele meta-analyse Proces identiek maar methodologie verschillend ten opzichte van conventionele meta-analyse Geldt meestal alleen voor IPD meta-analyse NED TIJDSCHR GENEESKD. 2012;156:A4743 3

4 Als de resultaten van een specifieke subgroepanalyse niet in de publicatie van de studie staan, bestaat er een uitweg om toch gebruik te kunnen maken van een samenvattende uitkomstmaat over de subgroep op studieniveau. Een voorbeeld: als we willen onderzoeken of het behandeleffect verschillend is voor mannen en vrouwen of voor oudere en jongere patiënten, en de resultaten van deze subgroepen zijn niet weergegeven, kan men als alternatief het percentage mannen of de mediane leeftijd in de studie gebruiken. Het analyseren van subgroepen op basis van een samenvattende maat op studieniveau gaat echter gepaard met een fors verlies aan power (onderscheidingsvermogen) om een verschil tussen subgroepen te vinden. Een extreem voorbeeld laat dit het beste zien: zelfs in de situatie waarbij in iedere individuele studie mannen meer baat bij een behandeling hadden dan vrouwen, zal een traditionele metaregressieanalyse geen effect kunnen aantonen als het percentage mannen in elke afzonderlijke studie ongeveer gelijk is. Het grote voordeel van IPD-meta-analyse is dus de mogelijkheid om subgroepen op basis van patiëntkenmerken ook echt op het niveau van de patiënt te analyseren in plaats van toevlucht te moeten nemen in een samenvattende maat op studieniveau als deze al wordt gerapporteerd. Naast de vraag of het behandeleffect verschilt tussen specifieke klinische subgroepen, kunnen we met een IPDmeta-analyse ook beter onderzoeken welke rol het individuele risico speelt bij het tot stand komen van het absolute behandeleffect. 6 of de middenoorontsteking in 1 of beide oren aanwezig was. Andere studies hebben vervolgens laten zien dat er bij bilaterale acute middenoorontsteking bij jonge kinderen andere pathogenen betrokken zijn, waardoor antibiotica voor deze groep effectiever zijn. Inmiddels zijn de richtlijnen in de meeste landen aangepast aan deze bevindingen, met als gevolg dat er wereldwijd meer uniformiteit tussen de richtlijnen is gekomen. Diagnostische IPD-meta-analyses Het beter en gerichter kunnen onderzoeken van subgroepen met IPD is ook een groot voordeel bij diagnostische vraagstellingen. 9 Naast het voordeel dat verschillen in accuratesse tussen subgroepen onderzocht kunnen worden, hebben IPD-gegevens ook meerwaarde bij diagnostische testen met een continue uitkomst. In een traditionele meta-analyse komt het vaak voor dat in de afzonderlijke studies verschillende afkappunten zijn gebruikt om een testuitslag als afwijkend te bestempelen. Door deze verschillen in afkappunten zullen de sensitiviteit en specificiteit van dezelfde test tussen studies verschillen; bovendien kan de gevoeligheid van een afkappunt, waarvoor een receiver operating characteristic (ROC)-curve gebruikt wordt, dan alleen indirect geschat worden. 10 Bij een IPDmeta-analyse kan per studie de echte ROC-curve worden geschat en vervolgens worden samengevat voor alle studies gezamenlijk. De vraag of de ROC-curve verschilt tussen subgroepen en vragen over het optimale klinische afkappunt kunnen nu beter worden onderzocht. Meer mogelijkheden met IPD-meta-analyse Het volgende voorbeeld op het gebied van de acute middenoorontstekingen laat de ruimere mogelijkheden zien van een IPD meta-analyse. Rondom dit onderwerp was er veel onduidelijkheid bij welke kinderen antibiotica wél effectief zijn en bij welke kinderen niet, ondanks diverse traditionele meta-analyses. Internationale richtlijnen, waarin het belangrijkste afkapcriterium voor behandeling met antibiotica een leeftijd van 2 jaar was, vertoonden grote verschillen. Op basis van dezelfde evidence, nota bene uit een Nederlandse trial, werd in Amerika geadviseerd om alle kinderen onder de 2 jaar met antibiotica te behandelen, terwijl we in Nederland juist een afwachtend beleid adviseerden. 7 Een IPD-meta-analyse waarin de individuele data van 6 trials met in totaal 1643 kinderen gepoold werden, liet zien dat niet alleen de leeftijd maar ook leeftijd in combinatie met bilateraliteit van de oorontsteking belangrijk was. 8 Kinderen jonger dan 2 jaar met een middenoorontsteking beiderzijds bleken meer baat te hebben bij antibiotica dan kinderen jonger dan 2 jaar die slechts in 1 oor een ontsteking hadden of dan kinderen ouder dan 2 jaar; bij deze laatste groep maakte het niet uit Prognostische IPD meta-analyses Het beter kunnen onderzoeken van subgroepen is ook het grote voordeel van IPD-data bij prognostische vraagstellingen. Bij prognostische vraagstellingen wordt een multivariabel model gebruikt dat kwantificeert wat de bijdrage van diverse prognostische factoren is voor het krijgen van een specifieke uitkomst. Vaak bestaan er diverse prognostisch modellen voor een klinisch ziektebeeld. Zo zijn er maar liefst 31 verschillende modellen gepubliceerd om de kans op een slechte uitkomst na een traumatische hersenbeschadiging te voorspellen. 11 Kenmerkend is dat de overlap in prognostische factoren tussen de verschillende modellen vaak klein is. Dit maakt het nagenoeg onmogelijk om gegevens te combineren en daaruit te bepalen hoe sterk bepaalde voospellers met de uitkomst samenhangen. Immers, de regressiecoëfficiënt van de berekende ratio (odds-, hazard- of risk ratio) zal afhangen van de andere voorspellers in het model. Een IPD-meta-analyse biedt de mogelijkheid om 1 gemeenschappelijk model te ontwikkelen met allemaal dezelfde prognostische factoren die op een gelijke wijze zijn gedefinieerd. 4 NED TIJDSCHR GENEESKD. 2012;156:A4743

5 Statistische analyses Er bestaat geen geaccepteerde standaardtechniek voor IPD-meta-analyses. In de praktijk worden 2 benaderingen vaak gebruikt. In de zogenaamde two stage -methode analyseert men eerst de resultaten voor alle studies apart, om deze vervolgens te combineren, waarbij men gebruik maakt van standaard meta-analysetechnieken. Met de one stage - methode brengt men alle patiëntgegevens van alle studies samen, waarna de gegevens via 1 model worden geanalyseerd. Voor het uitvoeren van subgroepanalyses adviseren wij de one stage-methode, omdat daarbij gecorrigeerd kan worden voor confounding. 12 De methodologie van de IPD-meta-analyse voor de identificatie en kwantificatie van klinisch relevante subgroepen is overigens nog niet uitgekristalliseerd. Zo blijken er ten minste 9 verschillende strategieën gebruikt te worden om potentieel relevante subgroepen te identificeren. 13 Het is onbekend of deze verschillende strategieën ook daadwerkelijk tot verschillende uitkomsten leiden en zo ja, welke strategie onder welke omstandigheden de meest valide is. Ook blijft het lastig om een goede balans te vinden tussen enerzijds voldoende power om een klinische relevante subgroep te identificeren en anderzijds een lage kans op een fout-positief resultaat (in dit geval: het rapporteren van een subgroepeffect dat in werkelijkheid niet bestaat). Toekomstig onderzoek zou zich moeten richten op manieren om de validiteit en betrouwbaarheid van subgroepanalyses binnen IPD-meta-analyses te verhogen. Conclusie In een meta-analyse met individuele patiëntendata Of een IPD-meta-analyse meerwaarde heeft boven een traditionele meta-analyse, hangt af van de klinische vragen die worden gesteld: kunnen deze vragen ook met een traditionele meta-analyse beantwoord worden? Het belangrijkste voordeel van een IPD-meta-analyse is de mogelijkheid om subgroepen nauwkeuriger te bestuderen, want alleen als we weten welke patiënten beter of slechter af zijn bij een bepaald diagnostisch traject of behandeltraject, kunnen we daadwerkelijk zorg op maat leveren. Belangenconflict: geen gemeld. Financiële ondersteuning: geen gemeld. Aanvaard op 17 mei 2012 Citeer als: Ned Tijdschr Geneeskd. 2012;156:A4743 Leerpunten (IPD-meta-analyse) worden effectschatters berekend op basis van de originele individuele patiëntgegevens. Het grootste voordeel van een IPD-meta-analyse is de mogelijkheid om subgroepanalyse op basis van ziekte- en patiëntkenmerken uit te voeren Het blijft lastig om een goede balans te vinden tussen voldoende power om een klinische relevante subgroep te identificeren en een zo laag mogelijke kans op een fout-positief resultaat (het rapporteren van een subgroepeffect dat in werkelijkheid niet bestaat). > Meer op Literatuur 1 Melsen M. Ventilator-associated pneumonia and mortality. [proefschrift]. Utrecht: Universiteit Utrecht; Stewart LA, et al. Meta-analysis of the literature or of individual patient data: is there a difference? Lancet. 1993;341: Riley RD, et al. Meta-analysis of individual participant data: rationale, conduct, and reporting. BMJ. 2010;340:c Bekkering GE, et al. Meta-analyse op basis van individuele patiëntengegevens. Ned Tijdschr Geneeskd. 2009;153:B Staples MP, et al. Effectiveness of vertebroplasty using individual patient data from two randomised placebo controlled trials: meta-analysis. BMJ. 2011;343:d Dorresteijn JA, et al. Estimating treatment effects for individual patients based on the results of randomised clinical trials. BMJ. 2011;343:d Damoiseaux RA, et al. Primary care based randomised, double blind trial of amoxicillin versus placebo for acute otitis media in children aged under 2 years. BMJ. 2000;320: Rovers MM, et al. Antibiotics for acute otitis media: a meta-analysis with individual patient data. Lancet. 2006;368: Khan KS, et al. Systematic reviews with individual patient data metaanalysis to evaluate diagnostic tests. Eur J Obstet Gynecol Reprod Biol. 2003;108: Macaskill P, et al. Chapter 10: Analysing and presenting results. In: Deeks JJ, Bossuyt PM, Gatsonis C (red). Cochrane handbook for systematic reviews of diagnostic test accuracy version 1.0. The Cochrane Collaboration; Mushkudiani NA, et al. A systematic review finds methodological improvements necessary for prognostic models in determining traumatic brain injury outcomes. J Clin Epidemiol. 2008;61: Groenwold RHH, et al. Subgroup analysis in individual patient data metaanalysis and individual trials: are they confounded? Arch Intern Med. 2009;169: Koopman L, et al. Comparison of analytical methods used in (individual patient data) meta-analyses to study subgroups: a systematic review. J Clin Epidemiol. 2007;60: NED TIJDSCHR GENEESKD. 2012;156:A4743 5