Propensity scores in observationeel onderzoek

Transcriptie

1 Stand van zaken Methodologie van onderzoek Propensity scores in observationeel onderzoek Rolf H.H. Groenwold Een propensity score is de kans op een behandeling of blootstelling, gegeven gemeten confounders zoals leeftijd. Propensity-scoremethoden kunnen in observationeel onderzoek corrigeren voor gemeten confounders, maar niet voor ongemeten confounders. Groepen personen met dezelfde propensity-score zijn gemiddeld genomen vergelijkbaar ten aanzien van gemeten confounders. Correctie voor confounding met de propensity-score kan door stratificatie, door matching, door de propensity-score als co-variabele op te nemen in een multivariabel regressiemodel en door het wegen van de onderzoekspopulatie op basis van de propensity-score. Propensity-scoremethoden kunnen doorgaans voor meer confounders corrigeren dan andere methoden, vooral wanneer de onderzochte uitkomst weinig voorkomt. Rapportages over propensity-scoremethoden dienen te vermelden voor welke confounders is gecorrigeerd en in welke mate deze confounders gebalanceerd waren tussen de onderzoeksgroepen na uitsplitsing op basis van de propensity-score. Confounding is een belangrijk en veelvoorkomend probleem in observationeel, niet-gerandomiseerd onderzoek naar de effecten van geneesmiddelen of schadelijke blootstellingen. 1 Met name in onderzoek naar de bedoelde gunstige effecten van geneesmiddelen is confounding een groot probleem, maar ook in onderzoek naar onbedoelde effecten bijwerkingen van geneesmiddelen komt confounding voor. Verschillende methoden zijn voorgesteld om te corrigeren voor confounding. 2 Hier gaan we uitgebreider in op een van deze methoden, de propensity score -methode. Het afgelopen decennium is het aantal onderzoeken waarin gebruik wordt gemaakt van propensity-scores enorm toegenomen (figuur 1). Hoewel we ons in de rest van dit artikel richten op het gebruik van propensity-scoremethoden in onderzoek naar de effecten van een behandeling, is deze methode ook te gebruiken in etiologisch onderzoek naar de effecten van schadelijke blootstellingen. Universitair Medisch Centrum Utrecht, Julius Centrum voor Gezondheidswetenschappen en Eerstelijns Geneeskunde, Utrecht. Dr. R.H.H. Groenwold, arts-epidemioloog (tevens: divisie Farmacoepidemiologie en Klinische Farmacologie, Utrecht) (r.h.h.groenwold@umcutrecht.nl). Causale effecten onderzoeken De ideale onderzoeksopzet om de effecten van een behandeling te onderzoeken is een gerandomiseerde trial. Omdat het wel of niet krijgen van de behandeling slechts afhankelijk is van toeval, zullen de onderzoeksgroepen naar verwachting vergelijkbaar zijn ten aanzien van allerlei prognostische kenmerken. In observationeel onderzoek daarentegen is het de patiënt of de behande- NED TIJDSCHR GENEESKD. 2013;157: A6179 1

2 aantal publicaties FIGUUR 1 Toename van het gebruik van de propensity score in biomedisch onderzoek gedurende de afgelopen 30 jaar. Deze curve is gebaseerd op het aantal publicaties per jaar in Pubmed waarin de term propensity score wordt genoemd in de titel of het abstract. jaartal behandeling in dit voorbeeld: vaccinatie te schatten. Deze kans wordt de propensity-score genoemd. Figuur 2 toont een verdeling van propensity-scores uitgesplitst naar behandeling (gevaccineerd of niet-gevaccineerd). De zwangere vrouwen in het onderzoek hadden gemiddeld genomen een hogere kans op vaccinatie een hogere propensity-score naarmate zij ouder waren. De groep niet-gevaccineerde vrouwen was immers gemiddeld 5 jaar jonger. Maar op individueel niveau waren er ook vrouwen op hogere leeftijd dus met een hoge propensity-score die toch niet werden gevaccineerd. Dit is in figuur 2 te zien aan de overlappende kolommen bij een propensity-score van bijvoorbeeld 0,8. Voor de groep vrouwen met een propensity-score van ongeveer 0,5 is de kans op vaccinatie vrijwel gelijk aan de kans om geen vaccinatie te krijgen. Individuen met dezelfde propensity-score kunnen totaal verschillende kenmerken hebben, maar de verwachting is dat deze verschillen op groepsniveau zullen wegvallen. Voor een groep vrouwen met eenzelfde propensity-score bijvoorbeeld een propensity-score van 0,5 is het wel of niet krijgen van het vaccin onafhankelijk geworden van de leeftijd, het kenmerk waarop de propensity-score in dit voorbeeld gebaseerd is. Een propensity-score kan ook lend arts die bepaalt of de behandeling wel of niet wordt gestart. Dit is niet een toevalsproces, maar wordt doorgaans gedreven door karakteristieken van de patiënt, zoals leeftijd, ernst van de ziekte en de aanwezigheid van comorbiditeit. Wanneer hier geen rekening mee wordt gehouden, kunnen waargenomen effecten ten onrechte worden toegeschreven aan de onderzochte behandeling. Dit wordt confounding genoemd. 1 De propensity-score In observationeel onderzoek kan worden gecorrigeerd voor confounding met behulp van propensity-scores. 3,4 Een propensity-score is de kans op het krijgen van de behandeling, op basis van gemeten confounders, bijvoorbeeld leeftijd of gewicht. 3,4 Laten we als voorbeeld een onderzoek nemen naar aangeboren afwijkingen als bijwerking van vaccinatie tegen Mexicaanse griep bij zwangere vrouwen. Stel dat in dit onderzoek de zwangere vrouwen die gevaccineerd worden gemiddeld 5 jaar ouder zijn dan vrouwen die geen vaccinatie krijgen. Een directe vergelijking tussen de onderzoeksgroepen gaat dan waarschijnlijk mank, omdat een leeftijdsverschil van 5 jaar het risico op morbiditeit bij de foetus doet toenemen; met andere woorden: de onderzoeksgroepen verschillen in een belangrijk prognostisch kenmerk. Een alternatieve aanpak is om eerst op basis van de confounder leeftijd de kans op 0,0 0,2 0,4 0,6 0,8 1,0 propensity score FIGUUR 2 Hypothetisch voorbeeld van de verdeling van de propensity-scores van zwangere vrouwen die al dan niet gevaccineerd werden tijdens de zwamgerschap. Deze figuur is gebaseerd op hypothetische data en geïnspireerd op een onderzoek naar de effecten van vaccinatie tegen Mexicaanse griep bij zwangere vrouwen. 7 De roze kleur ( ) is het gevolg van het overlappen van de propensity-scoreverdelingen van de gevaccineerde ( ) en de nietgevaccineerde ( ) vrouwen. 2 NED TIJDSCHR GENEESKD. 2013;157: A6179

3 40 gemiddelde leeftijd (jr) n = 501 n = 499 n = 173 n = 27 n = 146 n = 54 n = 97 n = 103 n = 64 n = 136 n = 21 n = 179 totaal PS 1 PS 2 PS 3 PS 4 PS 5 FIGUUR 3 Gemiddelde leeftijd van zwangere vrouwen in een onderzoekspopulatie, onderverdeeld in vrouwen die tijdens de zwangerschap wel ( ) of geen ( ) vaccinatie hebben ontvangen. Weergegeven zijn de totale onderzoeksgroep en 5 kwintielen van deze populatie, ingedeeld op basis van de propensity-score (PS). De propensity-score is de kans op vaccinatie bij een bepaalde leeftijd. De getallen in de balken beschrijven het aantal mensen in elke groep. Deze figuur is gebaseerd op hypothetische data en geïnspireerd op een onderzoek naar de effecten van vaccinatie tegen Mexicaanse griep bij zwangere vrouwen. 7 worden gebaseerd op andere kenmerken (bijvoorbeeld comorbiditeit) of meer dan één kenmerk (leeftijd én comorbiditeit). De parallel met een gerandomiseerde trial is hier gemakkelijk te maken. Het verschil is dat in een gerandomiseerde trial zowel gemeten als ongemeten patiëntkarakteristieken gelijk verdeeld zijn tussen de onderzoeksgroepen, terwijl een propensity-scoremethode slechts kan corrigeren voor verschillen in gemeten patiëntkarakteristieken. Balans De propensity-score wordt in de oorspronkelijke artikelen omschreven als een score waarmee balans wordt bereikt ( balancing score ). 3 Het betreft dan een balans gelijke verdeling van confounders tussen de onderzoeksgroepen. In het bovenstaande voorbeeld is er in de hele onderzoeksgroep een relevant verschil in leeftijd tussen gevaccineerde en niet-gevaccineerde vrouwen. Een goed propensity-scoremodel zal leiden tot een gelijke verdeling van confounders tussen de onderzoeksgroepen voor patiënten met dezelfde propensity-score. Bij het gebruik van een propensity-scoremethode is het van belang om na te gaan of er inderdaad balans is bereikt. Om dit te beoordelen kunnen de patiënten op basis van hun propensity-score worden verdeeld in bijvoorbeeld 5 groepen, en binnen elke groep kunnen behandelde en niet-behandelde patiënten worden vergeleken ten aanzien van hun prognostische kenmerken. In figuur 3 is dit gedaan voor de confounder leeftijd. Figuur 3 laat zien dat binnen de subgroepen die zijn gedefinieerd op basis van de propensity-score de leeftijdsverdeling vrijwel gelijk is gebalanceerd voor gevaccineerde en niet-gevaccineerde vrouwen. In hoeverre de gemeten confounders gebalanceerd zijn tussen de behandelgroepen kan visueel worden beoordeeld, maar bij voorkeur wordt de balans kwantitatief beoordeeld met zogenoemde balansmaten. 5,6 Voorbeelden van balansmaten zijn het gestandaardiseerde verschil ( standardized difference ), 5 de overlappingscoëfficiënt, 6 en de Kolmogorov-Smirnov-afstand. 6 In dit artikel gaan we niet verder in op deze maten. Voorbeeld: onderzoek naar effect van vaccinatie In een Deens follow-uponderzoek werd de relatie onderzocht tussen vaccinatie tegen Mexicaanse griep tijdens NED TIJDSCHR GENEESKD. 2013;157: A6179 3

4 het eerste trimester van de zwangerschap en het risico op aangeboren afwijkingen bij het kind. 7 Er werden relatief meer kinderen met een aangeboren afwijking geboren in de groep gevaccineerde vrouwen dan in de groep nietgevaccineerde vrouwen (oddsratio (OR): 2,26; 95%-BI: 1,40-3,36). Een directe vergelijking tussen de 2 onderzoeksgroepen is echter niet valide, omdat de onderzoeksgroepen van elkaar verschilden: gevaccineerde vrouwen waren gemiddeld ouder en hadden vaker comorbiditeiten dan niet-gevaccineerde vrouwen. Om te corrigeren voor de verschillen tussen de groepen, werd gebruikt gemaakt van propensity score matching. Voor elke vrouw werd op basis van de gemeten kenmerken de kans op vaccinatie tijdens zwangerschap de propensity-score geschat. Vervolgens werden 330 gevaccineerde vrouwen gematcht met 330 vrouwen die eenzelfde propensity-score hadden, maar die niet waren gevaccineerd. Nu waren de onderzoeksgroepen wél vergelijkbaar ten aanzien van de confounders als leeftijd en comorbiditeit; er was dus een directe vergelijking mogelijk. Deze vergelijking gaf geen aanwijzingen dat vaccinatie tegen Mexicaanse griep in het eerste trimester van de zwangerschap het risico op aangeboren afwijkingen verhoogt (OR: 1,21; 95%-BI: 0,60-2,45). Schatting van de propensity-score In het Deense onderzoek werd de propensity-score geschat op basis van informatie over niet alleen leeftijd, maar ook andere demografische kenmerken en comorbiditeit. Als het gaat om een behandeling die wel of niet wordt gegeven, zoals het vaccin, dan kan de kans op de behandeling worden geschat met bijvoorbeeld een multivariabel logistisch regressiemodel. In dat model is de behandeling de afhankelijke variabele en zijn de confounders de onafhankelijke variabelen. Op die manier wordt de informatie over alle gemeten confounders als het ware samengevat in de propensity-score. Van propensity-score naar effectschatting De propensity-score kan op verschillende manieren worden gebruikt om te corrigeren voor confounding. In het voorbeeld in figuur 3 werd een uitsplitsing gemaakt in 5 groepen op basis van de propensity-score. Dit heet stratificatie. Binnen elk stratum is een directe vergelijking tussen de onderzoeksgroepen mogelijk. De keuze voor 5 strata komt voort uit het feit dat hiermee vrijwel volledig wordt gecorrigeerd voor gemeten confounding. 8 Deze methode stamt uit een tijd dat een analyse zonder uitsplitsing erg arbeidsintensief was. Tegenwoordig beschouwt men 5 strata als een ondergrens en wordt een groter aantal strata toegepast als de omvang van de onderzoekspopulatie dat toelaat. In het onderzoek naar de effecten van het vaccin tegen Mexicaanse griep werden gevaccineerde vrouwen gematcht met niet-gevaccineerde vrouwen die dezelfde propensity-score hadden, om vervolgens een vergelijking te maken tussen de gevaccineerde en niet-gevaccineerde vrouwen. De propensity-score kan daarnaast als covariabele worden opgenomen in een regressiemodel dat de uitkomst relateert aan de behandeling. Tot slot kan de propensity-score ook worden gebruikt als wegingsfactor, waarbij door weging de verdelingen van confounders gelijk worden tussen de groepen behandelde en onbehandelde patiënten. Op die manier wordt een directe vergelijking tussen de onderzoeksgroepen mogelijk. Voordelen van propensity-score-methoden Propensity-scoremethoden hebben verschillende voordelen in vergelijking met andere veelgebruikte methoden om te corrigeren voor confounding, zoals het opnemen van confounders als covariabelen in een multivariabel regressiemodel. Correctie voor meer confounders Ten eerste kan met propensity-scoremethoden doorgaans voor meer confounders worden gecorrigeerd dan met andere methoden. Het aantal confounders waarvoor in een regressiemodel kan worden gecorrigeerd hangt af van het aantal uitkomsten in de data waarmee het model wordt geschat. In het geval van zeldzame uitkomsten kunnen maar weinig confounders worden opgenomen in een standaard regressiemodel waarin de klinische uitkomst de uitkomstvariabele is. Wanneer de uitkomst relatief weinig, maar de behandeling relatief vaak voorkomt, kan met een propensity-scoremethode toch voor veel confounders worden gecorrigeerd, omdat in het propensity-scoremodel de behandeling de uitkomstvariabele is. Een voorbeeld hiervan is het onderzoek naar het vaccin tegen Mexicaanse griep en het risico op aangeboren afwijkingen: aangeboren afwijkingen zijn zeldzaam, maar een aanzienlijk deel van de zwangere vrouwen in het onderzoek (ruim 20%) had zich laten vaccineren. In onderzoek naar niet-zeldzame uitkomsten leiden propensity-scoremethoden en de gebruikelijke regressieanalyse doorgaans tot vergelijkbare resultaten. 9,10 Wanneer een groot aantal variabelen in een regressiemodel wordt opgenomen, kan dit leiden tot overfitting, dat wil zeggen: een model geeft goede voorspellingen binnen de data waarmee het is ontwikkeld, maar niet in nieuwe data. Bij propensity-scoremodellen is dit geen probleem, omdat de propensity-score niet in een andere onderzoekspopulatie zal worden gebruikt. 4 NED TIJDSCHR GENEESKD. 2013;157: A6179

5 Minder gevoelig voor verkeerd modelleren Ten tweede is de propensity-scoremethode minder gevoelig voor het verkeerd specificeren (modelleren) van statistische modellen. Wanneer confounders als covariabelen worden opgenomen in een regressiemodel, moet voor elke confounder de relatie met de uitkomst worden gemodelleerd. Dit proces is gevoelig voor fouten. In het propensity-scoremodel is dit niet van belang; het enige doel van het propensity-scoremodel is het bereiken van balans. Wanneer de propensity-score als co-variabele wordt opgenomen in een regressiemodel dat de uitkomst relateert aan de behandeling, is het natuurlijk wel van belang dat de relatie tussen de propensity-score en de uitkomst correct wordt gemodelleerd. Vergelijkbaarheid van onderzoeksgroepen beoordelen Een derde voordeel van propensity-scoremethoden boven andere methoden om te corrigeren voor confounding wordt duidelijk bij het beoordelen van de vergelijkbaarheid van de onderzoeksgroepen. Bij observationeel onderzoek verschillen de onderzoeksgroepen doorgaans ten aanzien van prognostische kenmerken. Maar dit verschil mag ook weer niet te groot zijn. Als alle behandelde patiënten mannen zijn, en alle onbehandelde patiënten vrouwen zijn, is een correctie voor het verschil in geslacht tussen de onderzoeksgroepen niet eens mogelijk; behandelde mannen kunnen dan immers niet met onbehandelde mannen worden vergeleken. Dit geldt voor alle confounders. Omdat de propensity-score een soort samenvatting is van alle gemeten confounders, kan dit eenvoudig worden gecontroleerd. Figuur 2 kan worden gelezen als de verdeling van patiënten over de propensity-scores voor behandelde en onbehandelde patiënten. Per propensity-score verschillen de aantallen patiënten die wel of geen behandeling hebben gehad. Voor vrijwel alle propensity-scores zijn er zowel patiënten in de behandelde groep als patiënten in de onbehandelde groep (weergegeven door de paarse balken in figuur 2) en is een vergelijking tussen wel of geen behandeling mogelijk. Van patiënten voor wie er geen overlap is in de 2 verdelingen de patiënten in de blauwe balk aan de linkerkant en de patiënten in de roze balk aan de rechterkant is een vergelijking tussen wel of geen behandeling niet mogelijk. Als we deze patiënten toch zouden meenemen in de analyse, nemen we impliciet aan dat het waargenomen effect van de behandeling kan worden geëxtrapoleerd naar deze specifieke groep, wat niet zeker is. Het is daarom verstandig deze niet-overlappende patiënten uit de analyse te laten. 11 Wanneer de overlap beperkt is, kan men zich afvragen hoe generaliseerbaar de resultaten van het onderzoek nog zijn. 12 Nadelen van propensity-scoremethoden Net als bij andere methoden om te corrigeren voor confounding, wordt de selectie van confounders niet gebaseerd op gevonden relaties in de data, maar op externe kennis. 13 Met de geselecteerde confounders kunnen verschillende propensity-scoremodellen worden gemaakt, die bijvoorbeeld verschillen in interacties tussen confounders en in niet-lineaire verbanden tussen confounders en de behandeling. 5 De keuze voor een concreet propensity-scoremodel uit een mogelijk zeer groot aantal modellen zal uiteindelijk worden gemaakt op basis van de balans van confounders die bereikt kan worden. De complexiteit en het grote aantal mogelijkheden van propensity-scoremodellen en -methoden wordt soms als een nadeel gezien. Niet elk onderzoek leent zich voor de toepassing van propensity-scoremethoden. Bij patiënt-controleonderzoek is het gebruik van een propensity-score alleen mogelijk als bekend is welk deel de controlepersonen uitmaken van de populatie waaruit zij afkomstig zijn (de zogenaamde sampling fractie ). 14 Niet alleen propensity-scoremethoden, maar ook meer gebruikelijke methoden om te corrigeren voor confounding, zoals stratificatie en regressieanalyse, hebben als nadeel dat zij slechts corrigeren voor geméten confounders; ongemeten confounders kunnen het waargenomen effect van de behandeling op de uitkomst nog steeds verstoren. Rapporteren van propensity-scoremethoden Doorgaans is er in wetenschappelijke artikelen te weinig ruimte om elke stap van een analyse met propensityscores in detail te beschrijven. Wat er precies gebeurt kan daardoor voor een lezer onduidelijk blijven. Om onderzoeksresultaten op waarde te kunnen schatten, is het van belang te rapporteren welke confounders in het propensity-scoremodel zijn opgenomen en in welke mate deze confounders gebalanceerd waren tussen de onderzoeksgroepen, gegeven de propensity-score. Wanneer patiënten buiten de analyse zijn gelaten omdat de propensity-scoreverdelingen niet overlapten, of wanneer de propensity-score is gebruikt om behandelde en onbehandelde patiënten te matchen is het bovendien van belang te vermelden hoeveel mensen er uiteindelijk zijn meegenomen in de analyse en dus ook hoeveel er níet konden worden gematcht; dit om de generaliseerbaarheid van de resultaten te kunnen inschatten. Niet alles is relevant Het is voor een lezer niet relevant of er bijvoorbeeld interacties tussen confounders in het propensity-scoremodel waren opgenomen om balans te bereiken. Ook is het niet van belang te rapporteren of er een statistisch significante relatie is tussen de confoun- NED TIJDSCHR GENEESKD. 2013;157: A6179 5

6 Leerpunten Een propensity score is de kans op het krijgen van een behandeling of blootstelling, geschat op basis van gemeten confounders zoals leeftijd of comorbiditeit. Propensity-scoremethoden worden gebruikt om in observationeel onderzoek te corrigeren voor gemeten confounding; voor ongemeten confounding kan niet worden gecorrigeerd. Propensity-scoremethoden kunnen doorgaans voor meer confounders corrigeren dan andere methoden. Bij rapportage over propensity-scoremethoden moet worden vermeld voor welke confounders is gecorrigeerd en in hoeverre deze confounders gelijkelijk verdeeld ( gebalanceerd ) waren over de onderzoeksgroepen. ders en de behandeling in het propensity-scoremodel. Het is evenmin informatief te vermelden in hoeverre het propensity-scoremodel onderscheid kan maken tussen behandelde en onbehandelde patiënten (doorgaans uitgedrukt in de veelvuldig gerapporteerde c-statistiek). Met statistisch significante relaties of een sterk discriminerend vermogen van het propensity-scoremodel wordt de suggestie gewekt dat er adequaat wordt gecorrigeerd voor confounding. Maar dat is schijn. Zowel statistische significantie p-waarden als onderscheidend vermogen c-statistiek geven geen informatie in hoeverre er met behulp van de propensity-score balans van confounders tussen de onderzoeksgroepen is bereikt. 15,16 Conclusie Groepen behandelde en onbehandelde patiënten met dezelfde propensity-score hebben een gelijke verdeling balans van gemeten confounders. Het is essentieel om bij het gebruik van de propensity-scoremethode deze balans voortdurend in het oog te houden, zowel bij het kiezen van een geschikt propensity-scoremodel als bij het rapporteren van resultaten op basis van een propensity-scoremethode. In de rubriek Stand van zaken verschijnen regelmatig bijdragen over methoden die gebruikt worden bij het opzetten van wetenschappelijk onderzoek. De artikelen in deze serie illustreren op begrijpelijke wijze wat een bepaalde methode behelst, zonder dat hier uitvoerige methodologische kennis voor nodig is. Zowel oude als nieuwe methodologische principes worden zo inzichtelijk gemaakt voor artsen die klinische onderzoeken goed willen interpreteren. Belangenconflict en financiële ondersteuning: geen gemeld. Aanvaard op 9 mei 2013 Citeer als: Ned Tijdschr Geneeskd. 2013;157:A6179 > Kijk ook op Literatuur 1 Groenwold RH. Verstoring in observationeel onderzoek: confounding. Ned Tijdschr Geneeskd. 2012;156:A Klungel OH, Martens EP, Psaty BM, et al. Methods to assess intended effects of drug treatment in observational studies are reviewed. J Clin Epidemiol. 2004;57: Rosenbaum PR, Rubin DB. The central role of the propensity score in observational studies for causal effects. Biometrika. 1983;70: Rosenbaum PR, Rubin DB. Reducing bias in observational studies using subclassification on the propensity score. J Am Stat Assoc. 1984;79: Belitser SV, Martens EP, Pestman WR, Groenwold RH, de Boer A, Klungel OH. Measuring balance and model selection in propensity score methods. Pharmacoepidemiol Drug Saf. 2011;20: Austin PC. Balance diagnostics for comparing the distribution of baseline covariates between treatment groups in propensity-score matched samples. Stat Med. 2009;28: Pasternak B, Svanström H, Mølgaard-Nielsen D, et al. Risk of adverse fetal outcomes following administration of a pandemic influenza A(H1N1) vaccine during pregnancy. JAMA. 2012;308: Cochran WG. The effectiveness of adjustment by subclassification in removing bias in observational studies. Biometrics. 1968;24: Shah BR, Laupacis A, Hux JE, Austin PC. Propensity score methods gave similar results to traditional regression modeling in observational studies: a systematic review. J Clin Epidemiol. 2005;58: Schneeweiss S, Rassen JA, Glynn RJ, Avorn J, Mogun H, Brookhart MA. High-dimensional propensity score adjustment in studies of treatment effects using health care claims data. Epidemiology. 2009;20: Stürmer T, Rothman KJ, Avorn J, Glynn RJ. Treatment effects in the presence of unmeasured confounding: dealing with observations in the tails of the propensity score distribution--a simulation study. Am J Epidemiol. 2010;172: Rutten FH, Groenwold RH. β-blocker use for patients with or at risk for coronary artery disease. JAMA. 2013;309: Robins JM. Data, design, and background knowledge in etiologic inference. Epidemiology. 2001;12: Månsson R, Joffe MM, Sun W, Hennessy S. On the estimation and use of propensity scores in case-control and case-cohort studies. Am J Epidemiol. 2007;166: NED TIJDSCHR GENEESKD. 2013;157: A6179

7 15 Groenwold RH, de Vries F, de Boer A, et al. Balance measures for propensity score methods: a clinical example on beta-agonist use and the risk of myocardial infarction. Pharmacoepidemiol Drug Saf. 2011;20: Westreich D, Cole SR, Funk MJ, Brookhart MA, Stürmer T. The role of the c-statistic in variable selection for propensity score models. Pharmacoepidemiol Drug Saf. 2011;20: NED TIJDSCHR GENEESKD. 2013;157: A6179 7