Beperkte invloed gegevensregistratie op gestandaardiseerd ziekenhuissterftecijfer (HSMR)

Onderzoek Beperkte invloed gegevensregistratie op gestandaardiseerd ziekenhuissterftecijfer (HSMR) nevendiagnosen, urgentie van opname en niet-gespecificeerde diagnosen D. (Daniël) Pieter, R.B. (Tijn) Kool and G.P. (Gert) Westert Doel Opzet Methode Resultaten Conclusie Nagaan in hoeverre de opnameregistratie tussen Nederlandse ziekenhuizen varieert en wat de invloed van deze variatie is op de gestandaardiseerde ziekenhuissterfte (HSMR). Retrospectief, beschrijvend. Gegevens van de Landelijke Medische Registratie over alle ziekenhuisopnamen in 25 werden gebruikt om de variatie tussen de ziekenhuizen in 3 variabelen in beeld te brengen: het aantal nevendiagnosen, het percentage nietgeplande opnamen en het percentage niet-gespecificeerde diagnosen ( overige diagnosen ). De invloed van deze variatie op de HSMR werd geanalyseerd door de correlatie te berekenen tussen deze variabelen en de HSMR. Ook werd de correlatie berekend tussen de HSMR en de HSMR ongecorrigeerd voor deze variabelen. Er was weinig variatie in de percentages niet-geplande opnamen en opnamen met overige diagnosen. De variatie in deze 2 variabelen had nauwelijks of geen invloed op de HSMR. Er was aanzienlijke variatie in het gemiddeld aantal nevendiagnosen per ziekenhuis. Deze variatie had een beperkte maar statistisch significante invloed op de HSMR. De HSMR zonder correctie voor nevendiagnosen correleerde sterk met de oorspronkelijke HSMR. Deze analyse ondersteunt niet de stelling dat de HSMR sterk beïnvloed wordt door variaties in de opnameregistratie en daardoor onbetrouwbaar is. Terughoudendheid in de publicatie van de HSMR is daarom niet nodig. Kiwa Prismant, Utrecht. Drs. D. Pieter, onderzoeker (tevens: Tranzo, Universiteit van Tilburg); dr. R.B. Kool, arts. Rijksinstituut voor Volksgezondheid en milieu, Bilthoven. Prof.dr. G.P. Westert, medisch socioloog (tevens: Tranzo, Universiteit van Tilburg). Contactpersoon: Drs. D. Pieter (daniel.pieter@prismant.nl). Steeds vaker gebruiken Nederlandse ziekenhuizen het gestandaardiseerde ziekenhuissterftecijfer ( hospital standardised mortality ratio, HSMR) om zicht te krijgen op de kwaliteit van de ziekenhuiszorg. 1,2 Tegelijkertijd wordt het gebruik van gestandaardiseerde sterftecijfers als indicator van kwaliteit bekritiseerd. 3-11 Met name de volledigheid en uniformiteit van de registratie in de Landelijke Medische Registratie (LMR) en de invloed daarvan op de HSMR bepalen de landelijke discussie. Op basis van een analyse van 6 ziekenhuizen werd eerder geconcludeerd dat de verschillen in de HSMR voor een belangrijk deel terug te voeren zijn op variaties in het registreren. 11 Op basis van dat artikel besloot de Inspectie voor de Gezondheidszorg vooralsnog geen openbaarheid van de HSMR te eisen en besloten de Nederlandse Vereniging voor Ziekenhuizen (NVZ) en de Nederlandse federatie van universitair medische centra (NFU) om eerst de ruwe sterftecijfers te publiceren. De vraag is echter of de conclusies van dit onderzoek overeind blijven bij een analyse met de data van alle Nederlandse ziekenhuizen. De 6 geanalyseerde topklinische ziekenhuizen (STZ-ziekenhuizen) vormen immers een selecte steekproef uit de 9 algemene en academische ziekenhuizen in Nederland. Daarnaast voldeden 2 van deze 6 ziekenhuizen de afgelopen jaren niet aan de kwaliteitscriteria voor openbare vergelijking van de HSMR NED TIJDSCHR GENEESKD. 21;154:A2186 1

2 1,8 gemiddeld aantal nevendiagnosen per opname 1,6 1,4 1,2 1,8,6,4,2 ziekenhuizen FIGUUR 1 Gemiddeld aantal nevendiagnosen per opname in 25 in alle 9 Nederlandse ziekenhuizen (klein ziekenhuis: ; algemeen ziekenhuis: ; topklinisch ziekenhuis: ; UMC: ). die Kiwa Prismant hanteert. Bovendien omvatte de groep STZ-ziekenhuizen ook een ziekenhuis dat juist landelijk koploper is voor wat betreft volledigheid van de registratie van LMR-variabelen. Kiwa Prismant is door Dutch Hospital Data aangewezen als de partij die in Nederland, in samenwerking met Dr. Foster Intelligence en de Praktijkindex, de HSMR berekent voor de Nederlandse ziekenhuizen. Om te voorkomen dat onbetrouwbare en onvolledige data van een ziekenhuis tot een onbetrouwbare HSMR leiden, legt Kiwa Prismant jaarlijks de data van alle Nederlandse ziekenhuizen langs de meetlat. Hierbij wordt gekeken of de registratie van een ziekenhuis sterk afwijkt van het landelijk gemiddelde of ten opzichte van voorgaande jaren. 2,12 Ziekenhuizen die niet aan de kwaliteitcriteria voldoen, worden niet meegenomen in de landelijke vergelijking. Gezien het eerdere artikel over de HSMR bij 6 STZ-ziekenhuizen, 11 is het interessant om te onderzoeken hoe groot de variatie in registreren is tussen alle Nederlandse ziekenhuizen en wat hiervan de invloed is op de hoogte van de HSMR. Deze analyse is noodzakelijk om te onderzoeken of de terughoudendheid in het publiceren van HSMR s in Nederland te rechtvaardigen is. Methode Wij bestudeerden de relevante data van alle algemene en academische ziekenhuizen die in 25 deelnamen aan de LMR-registratie. In dat jaar deden namelijk nog alle 9 Nederlandse ziekenhuizen mee aan de LMR. Van deze ziekenhuizen is de HSMR voor 25 berekend. Omdat we het huidige model voor de HSMR wilden testen, gebruikten wij hiervoor het model 28 (www.prismant.nl/ Kwaliteit_en_Veiligheid/Dossiers/HSMR). 2 Omdat het doel van deze studie was de variatie in de registratie en de relatie daarvan met de HSMR vast te stellen, gebruikten wij de gegevens van alle 9 ziekenhuizen, ongeacht de kwaliteit van hun LMR-data. Aangezien de discussie zich vooral richt op de variatie en invloed van 3 variabelen, namelijk urgentie van de opname, nevendiagnosen en niet-gespecificeerde opnamediagnosen (gecodeerd als diagnose overige ), maakten wij de variatie tussen ziekenhuizen van deze 3 variabelen inzichtelijk. Het percentage niet-geplande opnamen werd gebruikt als maat voor het aantal urgente opnamen. Voor het in kaart brengen van de registratievariatie van het aantal nevendiagnosen werden de ziekenhuizen in 4 groepen ingedeeld; in een academisch ziekenhuis zijn immers meer patiënten met nevendiagnosen dan in een algemeen ziekenhuis. 13 Deze 4 groepen zijn: algemene ziekenhuizen, kleine ziekenhuizen, de STZziekenhuizen en de universitair medische centra (UMC s). Vervolgens werd een eenzijdige pearson-correlatietoets gebruikt om het verband tussen de HSMR en de variabelen na te gaan. De pearsoncoëfficient werd gebruikt om de invloed van registreren op de HSMR inzichtelijk te maken. Ter controle van de invloed van de correctievariabelen nevendiagnosen en niet-geplande opnamen is de cor- 2 NED TIJDSCHR GENEESKD. 21;154:A2186

TABEL Spreiding in 3 variabelen die meetellen bij de berekening van het gestandaardiseerde ziekenhuissterftecijfe (HSMR) variabele* minimum maximum gemiddelde mediaan SD gemiddeld aantal nevendiagnosen per opname,14 1,85,9,89,34 gemiddeld percentage niet-geplande opnamen 7 5 49 12 gemiddeld percentage diagnosen overige 44 1,6 6 * Gemiddelden over alle 9 Nederlandse ziekenhuizen in het jaar 25, berekend op basis van de Landelijke Medische Registratie (LMR). relatie berekend tussen enerzijds de HSMR en anderzijds de HSMR zonder correctie voor ofwel de nevendiagnosen ofwel de niet-geplande opnamen. Resultaten Variatie in registratie In figuur 1 is de variatie weergegeven van het gemiddeld aantal nevendiagnosen per opname voor de 4 typen ziekenhuizen in Nederland in 25. Deze figuur laat zien dat bij alle typen ziekenhuizen variatie van het gemiddeld aantal nevendiagnosen per opname voorkomt. De standaarddeviatie van dit gemiddelde is weergegeven in de tabel. De tabel geeft ook de standaarddeviatie van de andere variabelen, namelijk het aantal niet-geplande opnamen en het aantal diagnosen overige bij de 9 Nederlandse ziekenhuizen in 25. De variatie in de registratie van niet-geplande opnamen was beperkt. De diagnose overige werd door een beperkt aantal ziekenhuizen geregistreerd; in 8 van de 9 ziekenhuizen was deze diagnose bij minder dan 1% van de ziekenhuisopnamen geregistreerd. Correlatie nevendiagnosen en HSMR Figuur 2 toont de HSMR-waarden in 25 afgezet tegen het gemiddeld aantal nevendiagnosen per opname. De HSMR-waarden liepen uiteen van 66-162 en de aantallen nevendiagnosen per opname van,14-1,85. Er was een licht negatieve trend, dat wil zeggen: naarmate het geregistreerde aantal nevendiagnosen hoger was, leek de HSMR iets lager te zijn. De pearsoncoëfficiënt van de correlatie tussen de HSMR en het aantal nevendiagnosen per opname per ziekenhuis was -,42; deze correlatie is statistisch significant (p <,1). De correlatie tussen de HSMR en de HSMR berekend zonder correctie voor nevendiagnosen was,8. Dit verband was eveneens statistisch significant (p <,1). Figuur 2 laat zien dat ziekenhuizen met relatief weinig nevendiagnosen toch een lage HSMR kunnen hebben. 18 16 14 12 HSMR 1 8 6 4 2,,2,4,6,8 1, 1,2 1,4 1,6 1,8 2, gemiddeld aantal nevendiagnosen per opname FIGUUR 2 Het gestandaardiseerde ziekenhuissterftecijfer (HSMR) van alle Nederlandse ziekenhuizen in 25, afgezet tegen het gemiddeld aantal nevendiagnosen per opname. Elke stip vertegenwoordigt een ziekenhuis; de doorgetrokken lijn is de regressielijn. NED TIJDSCHR GENEESKD. 21;154:A2186 3

18 16 HSMR 14 12 1 8 6 4 2 % 1% 2% 3% 4% 5% 6% 7% 8% percentage niet-geplande opnamen FIGUUR 3 Het gestandaardiseerde ziekenhuissterftecijfer (HSMR) van de Nederlandse ziekenhuizen in 25, afgezet tegen het percentage niet-geplande opnamen. Elke stip vertegenwoordigt een ziekenhuis; de doorgetrokken lijn is de regressielijn. Als we alleen kijken naar het middengebied, tussen de,3 en 1,4 nevendiagnose per opname, dan is er een beperkte correlatie (-,26) ten opzichte van de gehele groep. Correlatie niet-geplande opnamen en HSMR Figuur 3 toont de HSMR afgezet tegen het aantal nietgeplande opnamen in 25. Het gemiddeld percentage niet-geplande opnamen bedroeg 49 (SD: 12). Er waren 2 ziekenhuizen die niet bijhielden of een opname al dan niet gepland was. Aangezien hun percentage nietgeplande opnamen meer dan 4 maal de standaarddeviatie afweek van het landelijk gemiddelde, beschouwden we deze 2 ziekenhuizen als uitbijters en lieten wij hen bij de verdere analyse buiten beschouwing. Er was een licht negatief verband. De pearson-correlatiecoëfficiënt van de HSMR en het percentage niet-geplande opnamen per ziekenhuis was -,27; dit was statistisch significant (p <,1). De correlatie tussen de HSMR en de HSMR berekend zonder correctie voor niet-geplande opnamen was,76; dit was eveneens een significant verband. Figuur 3 laat zien dat ziekenhuizen met veel nietgeplande opnamen een hoge HSMR kunnen hebben. Als we alleen kijken naar de ziekenhuizen die voldoen aan de kwaliteitscriteria van Kiwa Prismant dat zijn er meer dan 34% dan is de correlatie -,11; dit is niet significant. Correlatie overige diagnosen en HSMR In 25 registreerden 45 ziekenhuizen deze code niet; 35 ziekenhuizen registreerden minder dan 1% van alle diagnosen als overige en bij 1 ziekenhuizen maakte deze diagnose meer dan 1% van alle diagnosen uit. Er was geen statistisch significante correlatie tussen de HSMR en het percentage diagnose overige per ziekenhuis (correlatiecoëfficiënt:,9). Beschouwing Dit onderzoek toont aan dat er aanzienlijke variatie bestaat in het registreren van nevendiagnosen en dat deze variatie invloed heeft op de HSMR. De sterke correlatie tussen de HSMR en de HSMR zonder correctie voor nevendiagnosen toont tevens aan dat de hoogte van de HSMR beperkt toe te rekenen is aan het gemiddeld aantal nevendiagnosen. De invloed van nevendiagnosen is weliswaar statistisch significant, maar beperkt. Ziekenhuizen met een hoge HSMR scoren nog steeds hoog als het model geen rekening houdt met nevendiagnosen; omgekeerd scoren dan ziekenhuizen met een lage HSMR niet veel hoger. Het niet of onvoldoende registreren van nevendiagnosen heeft vooral een negatieve invloed op de HSMR van ziekenhuizen met waarden die sterk van de gemiddelden afwijken. Er is beperkte variatie in het registreren van de variabele niet-geplande opname. Daardoor beïnvloedt deze variatie nauwelijks de hoogte van de HSMR. Het overmatige gebruik van de code voor overige diagnosen gebeurt slechts in enkele ziekenhuizen en is dus weinig van belang voor de bepaling van de rangorde in de HSMR. Wij kunnen de conclusies uit het onderzoek bij de 6 STZziekenhuizen derhalve slechts ten dele onderschrijven. Er bestaat inderdaad variatie in het registreren, met name van nevendiagnosen. Deze variatie heeft echter beperkte invloed op de hoogte van de HSMR. De variatie in de andere twee variabelen lijkt niet relevant te zijn voor de uitkomsten. 4 NED TIJDSCHR GENEESKD. 21;154:A2186

Naar aanleiding van het onderzoek bij de 6 STZ-ziekenhuizen is een discussie gestart over het wel of niet meenemen van nevendiagnosen in het HSMR-model als correctievariabele. Als men ervoor kiest de nevendiagnosen niet mee te nemen als correctievariabele vanwege de huidige variatie in registratie, zal het model een significante en belangrijke correctievariabele missen. Tevens zal de druk op de ziekenhuizen verminderen om hun registratie van nevendiagnosen op orde te hebben, terwijl de ziekenhuizen deze registratie juist nu verbeteren onder druk van een mogelijke publicatie van de HSMR. In 23 was bijvoorbeeld het gemiddeld aantal geregistreerde nevendiagnosen in Nederland,91 per opname. Dit was in 27 gedaald tot,73, mede onder invloed van de introductie van de diagnose-behandelcombinatie(dbc)-registratie. Door de aandacht voor de HSMR en de daarmee samenhangende noodzaak van het registreren van nevendiagnosen is in 29 het gemiddeld aantal nevendiagnosen gestegen naar,82. De meeste ziekenhuizen zijn kennelijk inmiddels begonnen aan de verbetering van de registratie, zoals ook in Engeland en Canada de naderende publicatie van de HSMR een impuls was tot verbetering van de registratie. 14 Dat beperkt overigens ook de mogelijkheid van een individueel ziekenhuis om door verbeterde registratie zijn HSMR positief te beïnvloeden; de HSMR wordt immers bepaald op basis van het landelijk gemiddelde. Het gestandaardiseerde ziekenhuissterfecijfer (HSMR) is gebaseerd op ziekenhuisregistraties en wordt in Nederland gebruikt als kwaliteitsindicator. In een analyse van 6 ziekenhuizen werd aangetoond dat de HSMR wordt beïnvloed door de kwaliteit van de registraties. Om die reden is er terughoudendheid in de openbaarmaking van de HSMR. Bij analyse van gegevens van alle 9 Nederlandse ziekenhuizen bleek de HSMR nauwelijks beïnvloed te worden door de percentages acute opnamen en opnamen met een nietgespecificeerde diagnose. Er is aanzienlijke variatie tussen ziekenhuizen in het registreren van nevendiagnosen. Deze variatie heeft een beperkte invloed op de HSMR. Belangenconflict: D. Pieter en R.B. Kool zijn beiden werkzaam bij Kiwa Prismant. Financiële ondersteuning: geen gemeld. Aanvaard op 14 juli 21 Citeer als: Ned Tijdschr Geneeskd. 21;154:A2186 > Meer op www.ntvg.nl/onderzoek Leerpunten Literatuur 1 Jarman B, Gault S, Alves B, et al. Explaining differences in English hospital death rates using routinely collected data. BMJ. 1999;318:1512-2. 2 Jarman B, Pieter D, van der Veen AA, et al. The Hospital Standardized Mortality Ratio: a powerful tool for Dutch hospitals to assess their quality of care? (29). Qual Saf Health Care. 21;19:9-13.. 3 Shojania KG, Forster AJ. Hospital mortality: when failure is not a good measure of success. CMAJ. 28;179:153-7. 4 Penfold RB, Dean S, Flemons W, Moffatt M. Do hospital standardized mortality ratios measure patient safety? HSMRs in the Winnipeg Regional Health Authority. Healthc Pap. 28;8:8-24. 5 Mohammed MA, Deeks JJ, Girling A, et al. Evidence of methodological bias in hospital standardised mortality ratios: retrospective database study of English hospitals. BMJ. 29;338:b78. 6 Lilford RJ, Brown CA, Nicholl J. Use of process measures to monitor the quality of clinical practice. BMJ. 27;335(7621):648-65. 7 Geelkerken RH, Mastboom WJB, Bertelink BP, Van der Palen J, Berg M, Kingma JH. Een onrijp instrument, Sterftecijfer niet geschikt als maat voor ziekenhuiskwaliteit. Medisch Contact. 28;63:37-4. 8 Van den Bosch WF, Silberbusch J, Roozendaal KJ. Schommelende sterftecijfers, HSMR nog geen betrouwbare maat voor zorgkwaliteit. Medisch Contact. 29;64:1344-8. 9 Van der Voort PH, Jonge E. de. Sterfte als maat kwaliteit. Medisch Contact. 27;62:1766-7. 1 Kool RB, van der Veen A, Westert GP. Sterftemaat is valide instrument. Medisch Contact. 27;63:29-1. 11 Van den Bosch WF, Roozendaal KJ, Silberbusch J. Variatie in codering patiëntgegevens beïnvloedt gestandaardiseerd ziekenhuissterftecijfer (HSMR). Ned Tijdschr Geneeskd. 21;154:A1189. 12 Borghans HJ, Pieter D, Hoenen JAJH, Kool RB. De toepasbaarheid van de HSMR in het toezicht van de Inspectie voor de Gezondheidszorg. Utrecht: Prismant; 28. 13 Vandermeulen LJR, Pieter D. Zorgzwaarte Samenwerkende Topklinische opleidingsziekenhuizen. Utrecht: Prismant; 27. 14 Bottle A, Aylin P. Application of AHRQ patient safety indicators to English hospital data. Qual Saf Health Care. 29;18:33-38.. NED TIJDSCHR GENEESKD. 21;154:A2186 5