De HSMR beproefd. Aard en invloed van meetfouten bij het bepalen van het. gestandaardiseerde ziekenhuissterftecijfer.

Transcriptie

1 De HSMR beproefd Aard en invloed van meetfouten bij het bepalen van het gestandaardiseerde ziekenhuissterftecijfer Wim van den Bosch

2 Het onderzoek beschreven in dit proefschrift werd uitgevoerd aan het EMGO Instituut van het VU Medisch Centrum te Amsterdam en aan het NIVEL, het Nederlands instituut voor onderzoek van de gezondheidszorg te Utrecht. Het onderzoek werd geïnitieerd, gefaciliteerd en financieel ondersteund door Santeon, een groep van zes samenwerkende topklinische ziekenhuizen in Nederland. Nederlandse titel: De HSMR beproefd: aard en invloed van meetfouten bij het bepalen van het gestandaardiseerde ziekenhuissterftecijfer English title: The HSMR tested: type and impact of measurement errors in determining hospital standardised mortality ratios ISBN Wim van den Bosch Ontwerp omslag en binnenwerk: Ferdinand van Nispen, Citroenvlinder DTP & Vormgeving Illustratie: Variaties, Janny van den Bosch - Boeve Drukwerk: GVO Ponsen & Looijen, Ede, Nederland

3 Vrije universiteit De HSMR beproefd Aard en invloed van meetfouten bij het bepalen van het gestandaardiseerde ziekenhuissterftecijfer ACADEMISCH proefschrift ter verkrijging van de graad Doctor aan de Vrije Universiteit Amsterdam, op gezag van de rector magnificus prof.dr. L.M. Bouter, in het openbaar te verdedigen ten overstaan van de promotiecommissie van de faculteit der Geneeskunde op woensdag 2 november 2011 om uur in de aula van de universiteit, De Boelelaan 1105 door Willem Frederik van den Bosch geboren te Apeldoorn

4 promotor: prof.dr. C. Wagner

5 promotiecommissie: dr. M. Berg, arts prof.dr. C.J. Kalkman prof.dr. J. Kievit prof.dr. A.P.W.P. van Montfort prof.dr. C.H. Polman prof.dr. G. van der Wal

6

7 Inhoudsopgave 1 Inleiding Schommelende sterftecijfers Aard en invloed van registratievariatie Aard en invloed van variatie door bijzondere medische verrichtingen Aard van ongecorrigeerde casemixvariatie Landelijke invloed van ongecorrigeerde casemixvariatie Aard van variatie in heropnamen Combinatie van effecten Algemene discussie Samenvatting Abstract Dankwoord Overzicht van artikelen Bijlagen

8

9 1 Inleiding Dit proefschrift beschrijft de betrouwbaarheid, validiteit en bruikbaarheid van het gestandaardiseerde ziekenhuissterftecijfer als indicator voor kwaliteit van zorg in Nederlandse ziekenhuizen. Aanleiding tot dit onderzoek vormde de behoefte van een groep van zes topklinische ziekenhuizen, verenigd onder de naam Santeon, om gezamenlijk te werken aan verbetering van kwaliteit van zorg. Als hulpmiddel bij het onderling vergelijken van kwaliteit van zorg werd gekozen voor het uit het Verenigd Koninkrijk afkomstige HSMR-instrument (hospital standardised mortality ratio). Gaandeweg groeide echter de twijfel. Hadden meetfouten niet veel meer invloed op de HSMR-scores dan kwaliteit van zorg? Reden genoeg om de aard en de invloed van deze meetfouten nader te onderzoeken.

10 De HSMR beproefd Kwaliteitsindicatoren Het Nederlandse zorglandschap wordt overspoeld met indicatoren. Het definiëren en uitrollen van indicatorensets voor de ziekenhuiszorg maakt een explosieve ontwikkeling door, waarbij het niet altijd duidelijk is in hoeverre de voordelen van het gebruik opwegen tegen nadelen als de registratie- en rapportagelast voor de ziekenhuizen. Indicatoren maken kwaliteit in de zorg meetbaar en transparant. 1 Daarbij hebben zij een signaalfunctie die ingezet kan worden om zwaktes in het zorgsysteem te lokaliseren en mogelijk weg te nemen. Veel partijen hebben belang bij deze ontwikkeling: de overheid en met name de Inspectie voor de Gezondheidszorg (IGZ) bij het houden van toezicht, 2 de media bij het publiceren over de kwaliteit van ziekenhuizen en de ziekenhuismanager bij het monitoren en verbeteren van de kwaliteit van zorgprocessen. Verder de zorgverzekeraars bij het aanbesteden van zorginkoop en niet in de laatste plaats de zorgcliënt, in de hoop de beste zorg te kunnen vinden voor zichzelf of een naaste. Colsen en Casparie 3 definiëren een indicator als volgt: Een meetbaar aspect van de zorg dat een aanwijzing geeft over de kwaliteit van zorg. Donabedian 4 maakt hierbij het onderscheid in structuur-, proces- en uitkomstindicatoren. De eerste twee indicatoren zeggen iets over de inrichting en het functioneren van de zorgorganisatie. De laatste zegt iets over het effect en daarmee over het succes van de behandeling en zou als maat voor kwaliteit van zorg de voorkeur genieten. Echter, een valide en betrouwbare uitkomstindicator is vaak lastiger te definiëren en te meten dan een structuur- of procesindicator. Daarom worden de twee laatstgenoemde veelvuldig gebruikt bij het toetsen van kwaliteit, onder de aanname dat van een goed functionerende organisatie, in termen van structuren en processen, ook betere uitkomsten verwacht mogen worden. Een additionele indicator Parallel hieraan is de afgelopen jaren nog een andere indicator in Nederland tot ontwikkeling gekomen. Dit betreft het gestandaardiseerde ziekenhuissterftecijfer, afkomstig uit het Verenigd Koninkrijk, vaak aangeduid als HSMR (hospital standardised mortality ratio). 5 Deze uitkomstindicator heeft vanaf 2003 jaarlijks ter beschikking gestaan van de Nederlandse ziekenhuizen; tot 2010 was er geen verplichting tot openbaarmaking. 6 De HSMR onderscheidt zich in een aantal opzichten van de andere indicatorensets: 10

11 Inleiding De HSMR geeft één enkel cijfer als overall indicator voor de kwaliteit van zorg van een ziekenhuis en is daarmee compacter dan een doorsnee indicatorenset, maar minder specifiek. De HSMR is de uitkomst van een geavanceerde statistische correctie voor verschillen tussen patiëntenpopulaties, wat voor vele andere indicatoren niet of beperkt geldt. Een gevolg is dat met deze indicator de ziekenhuizen in theorie beter onderling vergeleken kunnen worden. De HSMR is gebaseerd op gegevens die de meeste ziekenhuizen al geruime tijd jaarlijks standaard aanleveren via de landelijke medische registratie (LMR). Daardoor zou van een extra registratielast voor het ziekenhuis geen sprake hoeven te zijn. Op het eerste gezicht lijken deze verschillen de HSMR tot een aantrekkelijke indicator te bestempelen. Daar kan nog aan worden toegevoegd dat sterfte een harde uitkomst is, die door de patiënt natuurlijk als zeer relevant wordt ervaren. Toch zijn er vraagtekens te stellen bij het gebruik van de HSMR. Want hoe betrouwbaar, valide en toepasbaar is de Nederlandse HSMR? Hoofdstuk 1 Variaties Om die vraag te beantwoorden, is het eerst nodig de HSMR als kwaliteitsinstrument tegen het licht te houden. Wat meet de HSMR? In het ideale geval is de HSMR een indicator voor de kwaliteit van de geleverde zorg. Hoe hoger de kwaliteit van zorg, hoe lager het sterftecijfer. Anders gezegd, hoe effectiever de interventies in het zorgproces, hoe lager de ziekenhuismortaliteit. Een goed inzicht in deze kwaliteitsvariaties is belangrijk bij het onderling vergelijken van ziekenhuizen, omdat het daardoor mogelijk wordt verbeteringen aan te brengen in de zorgverlening. Echter, de HSMR mag dan idealiter de kwaliteit meten, in de praktijk is er niet alleen sprake van variatie in kwaliteit, maar ook van andere variaties, die het beeld kunnen vertekenen en correctie noodzakelijk maken. 7 Te denken valt hierbij aan patiëntspecifieke variaties, zoals leeftijd, geslacht, opnamediagnose en dergelijke. Voor deze risicofactoren, ook wel aangeduid als casemix, moet statistisch gecorrigeerd worden, voordat ziekenhuissterftecijfers onderling vergeleken kunnen worden. Ook toeval kan vertekenend werken. In een ziekenhuis met hoge kwaliteit van zorg is de sterftekans van een laagrisicopatiënt minimaal. Maar zelfs in dit voorbeeld kan de patiënt door toeval overlijden tijdens opname. De invloed van toeval kan worden gereduceerd door een hoger aantal opnamen in de analyse te betrekken. 11

12 De HSMR beproefd Niet alleen patiëntspecifieke variaties en het toeval kunnen het beeld vertekenen. Ook variaties bij het registreren van patiëntgegevens en variaties in het beleid rond opname en ontslag kunnen zo n ongewenste rol spelen. Deze variaties kunnen berusten op incidenten, maar kunnen voor een specifiek ziekenhuis ook zeer systematisch van aard zijn. HSMR: het instrument Het is bij de bepaling van de HSMR dus van belang om eerst de vertekenende variaties te bepalen, deze indien mogelijk te minimaliseren en vervolgens een risicocorrectie voor casemixverschil uit te voeren. In de landen waar de HSMR gebruikt wordt, blijkt dat veel patiëntspecifieke risicofactoren kunnen worden afgeleid uit al bestaande registraties. 8 Ook in Nederland is hiervoor een registratie beschikbaar: de LMR. De correctiefactoren betreffen in ieder geval: leeftijd, geslacht, opname-urgentie, jaartal van ontslag en hoofddiagnosegroep. Daarnaast nog: comorbiditeit, sociaaleconomische status, herkomst (thuis of andere instelling), maand van opname en zwaarte van aandoening binnen de diagnosegroep. 6 Tot en met 2009 werden zowel klinische als dagopnamen meegeteld; vanaf 2010 uitsluitend klinische opnamen. Om het aantal meetellende opnamen te beperken worden diagnoses met een geringe mortaliteit niet meegeteld. Als regel voor een ziekenhuis geldt dat de opnamen met diagnoses die wel meetellen tezamen tenminste 70% van de gehele ziekenhuissterfte moeten vertegenwoordigen. Bij de keuze van de risicofactoren is het van belang dat deze betrekking hebben op de casemix en niet op de behandeling. Zo heeft men bijvoorbeeld medische verrichtingen bewust buiten beschouwing gelaten, omdat deze onderdeel zijn van datgene wat men wil beoordelen: de kwaliteit van het zorgproces. Tot en met 2008 werd nog gecorrigeerd voor opnameduur, maar deze determinant heeft men laten vallen omdat deze meer samenhangt met behandeling en kwaliteit van zorg dan met patiëntkenmerken. Zodra de risicofactoren vastliggen, kan met gebruik van een statistisch model risicocorrectie plaatsvinden. Ziekenhuissterfte is hierbij de afhankelijke variabele; de invloed van de verschillende onafhankelijke variabelen (de risicofactoren) wordt vastgesteld met behulp van logistische regressie. De combinatie van risicofactoren voor een individueel geval bepaalt vervolgens de voorspelde sterftekans voor die opname. Deze vorm van standaardisatie, ook wel aangeduid als indirecte standaardisatie, vergelijkt in feite de waargenomen sterfte binnen een patiëntengroep met de verwachte of voorspelde sterfte uit gelijksoortige 12

13 Inleiding patiëntenpopulaties. De verhouding van de waargenomen sterfte in de geselecteerde populatie van opnamen in een ziekenhuis en het totaal van de door het model voorspelde sterfte in die populatie vormt de gestandaardiseerde ziekenhuissterfteratio. Vermenigvuldigd met 100 leidt dit tot de hospital standardised mortality ratio: Hoofdstuk 1 HSMR = 100 maal (som van de waargenomen sterfte/som van de verwachte sterfte) Als een ziekenhuis in een zeker jaar een HSMR scoort van minder dan 100, dan is dit gunstig; scoort het meer dan 100 dan is dat ongunstig. Om de mogelijke invloed van variatie als gevolg van toeval af te bakenen, wordt de uitkomst meestal voorzien van een 95%-betrouwbaarheidsinterval. Verder wordt het voorspellend vermogen van de HSMR vastgesteld in de vorm van de zogenaamde c-statistic. Deze factor geeft aan in hoeverre een gekozen model in staat is sterfte, versus overleven, correct te voorspellen. Bij een waarde van 0,5 is er geen onderscheidend vermogen. Bij waarden tussen de 0,7 en 0,8 is er sprake van een redelijk voorspellend vermogen; boven de 0,8 wordt dit als goed beschouwd. Het huidige model voor Nederland (2010) scoort ruim boven de 0,8. 6 De SMR De HSMR is een ziekenhuisbrede indicator die in principe weinig zegt over de kwaliteit van zorg van een specifieke afdeling of een specialisme. Naast de HSMR wordt ook de standardised mortality ratio (SMR) gehanteerd. Hierbij kijkt men naar een deelverzameling van de populatie, bepaald door opnamen binnen een diagnosegroep. Voor de Nederlandse situatie zijn 50 diagnosegroepen vastgesteld, gebruikmakend van de Clinical Classification Software (CCS), ontwikkeld door het Agency for Healthcare Research and Quality. 9 Hierbij worden ICD-9-codes, tot nu toe gebruikt in de LMR voor het coderen van hoofddiagnoses en nevendiagnoses, in een hanteerbaar aantal betekenisvolle categorieën geclusterd, bijvoorbeeld: Acuut Mycoardinfarct. Een SMR is daardoor veel specifieker dan de HSMR en beter geschikt om een potentieel zwakke plek in de organisatie van het ziekenhuis te detecteren en daarmee gerichte verbeteracties binnen een ziekenhuis mogelijk te maken. Het oorspronkelijke HSMR-model is ontwikkeld door de Dr. Foster Intelligence Unit in het Verenigd Koninkrijk. De Nederlandse variant is ontwikkeld in samenwerking met Kiwa Prismant en de PraktijkIndex. 13

14 De HSMR beproefd Een gedachte-experiment Als publieke indicator is de HSMR tot en met 2010 niet toegepast in Nederland. En dat terwijl vele andere publieke, al dan niet effectieve indicatorensets uitbundig opbloeien. Hoe moeten wij deze ontwikkeling duiden? Hiertoe is het nuttig inzicht te ontwikkelen in de mogelijke tekortkomingen van de HSMR en dit te plaatsen in de lopende discussie rond dit onderwerp. Tekortkomingen kunnen samenhangen met imperfectie van het HSMR-model en met variaties in omstandigheden waarvoor het model niet corrigeert. Om de focus van de discussie duidelijk te maken kan een gedachte-experiment van dienst zijn: Meetvariant 1 Beschouw eerst de ideale situatie, waarbij de HSMR de kwaliteit van zorg zuiver meet. Neem hierbij aan dat naast variatie in kwaliteit van zorg alleen nog variatie in casemix optreedt, waarvoor perfect gecorrigeerd kan worden. We doen dit onder de volgende aannames: º º de variatie in casemix is bepaald door een beperkt en bekend aantal determinanten, º º er zijn geen andere verstorende variaties, º º we beschikken over oneindig veel meetpunten (opnamen) per ziekenhuis, waardoor variatie door toeval tot nul gereduceerd wordt. De resulterende HSMR, aangeduid als HSMR 1, is dan een zuivere vergelijkingsmaat voor ziekenhuissterfte. We nemen aan dat verschillen in HSMR 1 toe te schrijven zijn aan bijvoorbeeld variaties in medische praktijk, ziekenhuiscultuur, organisatie en vermijdbare onbedoelde schade. De frequentieverdeling van de HSMR 1 -scores zou dan een klokvormige verdeling kunnen opleveren rond het gemiddelde van 100 met een zekere standaarddeviatie σ 1 (bijvoorbeeld 15). Figuur 1 visualiseert het idee. Meetvariant 2 Beschouw nu de fictieve situatie waarbij wij het HSMR-verstorende effect meten van alle variaties die in de werkelijkheid kunnen optreden en waarvoor het HSMR-model niet corrigeert. Neem hierbij het volgende aan: º º alle ziekenhuizen zijn gelijk in termen van kwaliteit van zorg, º º er is geen variatie in casemix voor zover die meetelt bij meetvariant 1, º º we hebben de beschikking over een eindig aantal opnamen per ziekenhuis. Vervolgens bepalen we met inzet van hetzelfde model de HSMR van alle ziekenhuizen, aangeduid als HSMR 2. Ook nu ontstaat een verdeling rond de 14

15 Inleiding 100, uitsluitend bepaald door de combinatie van de verschillende bronnen van ongecorrigeerde variatie en met een eigen standaarddeviatie σ 2, zie figuur 2. De hier vermelde bronnen van variatie zijn over het algemeen wel onderkend, maar de aard en de invloed hiervan op de HSMR zijn veelal niet adequaat gekwalificeerd en gekwantificeerd. Dit proefschrift beschrijft in het vervolg een aantal van deze bronnen en hun vertekenend effect op de HSMR. In termen van de signaaltheorie zouden we kunnen stellen dat de frequentieverdeling van de HSMR-uitkomsten van meetvariant 1 het ware HSMR-signaal oplevert (zuiver sterftecijfer als maat voor kwaliteit van zorg) en meetvariant 2 het effect van vertekenende variaties in de vorm van een stoorsignaal. Hoofdstuk 1 Variatie in kwaliteit van ziekenhuiszorg (frequentieverdeling ziekenhuizen) Variatie in casemix perfecte correctie door HSMR-model frequentieverdeling van HSMR 1 FIGUUR 1 Denkbeeldige meetvariant 1: frequentieverdeling van HSMR-scores van Nederlandse ziekenhuizen betreffende zuivere kwaliteit van zorg, ofwel het ware HSMR-signaal. Variatie in kwaliteit van ziekenhuiszorg (denkbeeldig op 0 gesteld) Variatie door toeval Variatie in LMR registratie Variatie in heropnames Variatie in bijzondere medische verrichtingen Variatie in niet adequaat gecorrigeerde casemix op ICD-9-niveau Variatie in ziekenhuissterfte van terminaal geïndiceerde patiënten Variatie in omgevingsrisico s tijdens inzamelen van variabelen Variatie door imperfectie van regressie (o.a. bias casemix-zwaarte) Variatie in sterfte buiten ziekenhuis, binnen 30 dagen na ontslag Overige niet gespecificeerde bronnen van variatie frequentieverdeling van HSMR 2 FIGUUR 2 Denkbeeldige meetvariant 2: combinatie van toevalsvariatie en overige systematische variaties, ofwel verschuivingen in de HSMR-verdeling als gevolg van het totaal van de optredende variaties. Wij duiden deze verdeling aan als het stoorsignaal. 15

16 De HSMR beproefd Meetvariant 3 In de niet ideale werkelijkheid meten we een HSMR, aangeduid als HSMR 3, waarbij het resultaat een combinatie is van meetvariant 1 en meetvariant 2, zie figuur 3. We weten echter niet bij voorbaat hoe sterk of zwak het HSMR-signaal is ten opzichte van het stoorsignaal. De kwaliteit van het HSMR 3 -signaal kunnen wij uitdrukken in de verhouding σ 1 /σ 2, waarmee wij bedoelen de verhouding tussen het ware HSMR-signaal en het stoorsignaal, ofwel de signal-to-distortion-ratio (S/D-ratio). Dit naar analogie van een begrip uit de signaaltheorie: de signaal-ruisverhouding ofwel de signal-to-noise-ratio. HSMR 3 zou een redelijke maat voor een zuiver sterftecijfer kunnen zijn, indien de standaarddeviatie σ 1 aanzienlijk groter is dan σ 2, ofwel de S/D-ratio aanzienlijk groter dan 1. Het ware HSMR-signaal is dan duidelijk sterker, vergeleken met het stoorsignaal. Maar hoe dienen we HSMR 3 te duiden als σ 1 en σ 2 dezelfde orde van grootte hebben? In dat geval zullen de ongewenste variaties een verstorende werking hebben op de uitkomsten van de HSMR. Naarmate het stoorsignaal (HSMR 2 ) sterker is, wordt het lastiger of onmogelijk om de HSMR 3 nog zinvol te kunnen interpreteren. Ter illustratie: figuur 4 toont een voorbeeld van een gemeten HSMR 3 -verdeling. Een blauw signaal, vermengd met het rode stoorsignaal, levert de mengkleur paars die wij meten en waarnemen. De vraag is nu echter: kijken wij naar paarsig blauw, paars, of paarsig rood? Anders geformuleerd: is het ware HSMR-signaal voldoende sterk tussen de vele vormen van mogelijk optredende stoorsignalen, of is het ware signaal hierin ondergedompeld en daardoor nog nauwelijks waarneembaar? Dit proefschrift gaat in op de aard en de invloed van meetfouten als gevolg van stoorsignalen en beschrijft welke inspanningen gedaan kunnen worden om de invloed van meetfouten te minimaliseren. Van opportunistisch tot sceptisch Bovengenoemd referentiemodel verschaft een basis voor de discussie over de betrouwbaarheid en de validiteit van de HSMR. Zowel in Nederland als daarbuiten blijken verschillende stromingen te bestaan met een keur aan meningen en soms tegengestelde belangen. Enerzijds zijn er min of meer gelijkgezinde partijen die de HSMR anno 2010 voldoende uitontwikkeld achten om te dienen als indicator voor kwaliteit van zorg. Deze partijen willen de HSMR binnen de ziekenhuizen gebruiken om de kwaliteit van zorg te benchmarken en te verbeteren. Dit laatste kan wat hen betreft 16

17 Inleiding Frequentieverdeling van HSMR 1 Nederlandse ziekenhuizen Frequentieverdeling verschuivingen van HSMR s als gevolg van niet gecorrigeerde variatie frequentieverdeling van HSMR 3 FIGUUR 3 Meetvariant 3: een combinatie van het HSMR-signaal en het stoorsignaal HSMR 3 is wat wij in werkelijkheid meten en waarnemen. 0 Hoofdstuk Aantal ziekenhuizen HSMR categorieen FIGUUR 4 Voorbeeld van een frequentieverdeling van de HSMR 3. Betreft 67 Nederlandse ziekenhuizen over de jaren 2007 t/m gepaard gaan met het publiek maken van de HSMR en eventueel SMRs van ieder ziekenhuis. Tot deze stroming behoren over het algemeen: vernieuwers, 5,10,11 een aantal wetenschappers 8,12, partijen die HSMR-gerelateerde diensten aanbieden aan ziekenhuizen 13 en de toezichthouder in de gezondheidszorg Verder ook sommige ziekenhuizen zelf 17 en media zoals het AD en Elsevier. 18 Deze voorstanders hebben zich de afgelopen jaren met name ingespannen om aan te tonen dat de HSMR inmiddels een valide methode is om ziekenhuiskwaliteit te meten. Zij spitsten hun aandacht vooral toe op de factoren van variant 1; zij verfijnden de casemixdeterminanten en toonden met de c-statistic aan dat de HSMR een goed onderscheidend vermogen bezit. Impliciet nemen zij daarbij aan dat de S/D-ratio, zoals hiervoor beschreven, voldoende groot is om zinnige interpretaties te doen op basis van de HSMR-uitkomsten. Kenmerkend voor de voorstanders is verder dat zij de invloed van meetvariant 2 slechts ten dele 17

18 De HSMR beproefd onderkennen en nauwelijks hebben onderzocht. Wel hebben zij aandacht voor onzekerheid als gevolg van toeval, die afgebakend wordt door het vaststellen van een betrouwbaarheidsinterval. Ook benadrukken zij het belang van goed coderen alvorens conclusies te trekken uit het getal. Maar wat goed coderen nu precies inhoudt en wat er allemaal mis kan gaan bij het coderen, daarover hullen deze voorstanders zich in stilzwijgen. Anderzijds zijn er de tegenstanders. Zij achten de huidige HSMR (2010) onvoldoende geschikt als indicator voor kwaliteit van zorg. In deze groep zijn eveneens wetenschappers vertegenwoordigd, 19,20 maar vooral ook ziekenhuizen die angst hebben voor stigmatiserende werking als gevolg van een ten onrechte hoge HSMR-score Deze partijen richten zich met name op de mogelijke invloed van de verstorende factoren uit meetvariant 2, zoals blijkt uit vele publicaties in binnen- en buitenland Overigens zijn ziekenhuizen vaak wel bereid om de HSMR te gebruiken bij de verbetering van kwaliteit van hun zorg, zie bijvoorbeeld het initiatief Move Your Dot. 28 Omdat dit soort activiteiten binnen de muren van het ziekenhuis plaatsvindt, is het minder bedreigend en kan er van geval tot geval bekeken worden in hoeverre de uitkomst vertekend is door meetfouten. HSMR op nationaal niveau De HSMR als ziekenhuisbrede indicator is al sinds 1999 in gebruik in het Verenigd Koninkrijk. 5,29 Ook de Verenigde Staten, Canada, Zweden, Australië 30 en andere landen maken er gebruik van. Voor Nederland werden de eerste HSMR-berekeningen uitgevoerd voor de jaren 2003 t/m 2005, mede op initiatief van het Reinier de Graaf Gasthuis dat een voortrekkersfunctie vervulde. 11 De ontwikkelingen trokken ook de aandacht van de Inspectie voor de Gezondheidszorg, die geïnteresseerd raakte in de mogelijkheid inzicht te krijgen in het optreden van vermijdbare sterfte, teneinde tijdiger te kunnen ingrijpen. Denk bij dit laatste aan situaties zoals in het Radboud Ziekenhuis, met de verhoogde mortaliteit op de afdeling hartchirurgie. 31 De afgelopen jaren is er vanuit de media en de politiek in toenemende mate aangedrongen op het openbaar maken van ziekenhuissterftecijfers. 32 Tegelijkertijd barstte de discussie los tussen voor- en tegenstanders van de HSMR, zoals vermeld in de vorige paragraaf. Voorstanders toonden bij voortduring aan dat de HSMR betrouwbaar en valide zou zijn en dat terughoudendheid in publicatie daarom niet nodig is. 6,12,13,33 Sceptici beweerden dat de methodologie niet zuiver zou zijn en dat vele bronnen van ongewenste variatie de HSMR ontoelaatbaar zouden 18

19 Inleiding vertekenen. 22,34-36 Desondanks lag het in de bedoeling van de Inspectie om openbaarmaking van de HSMR over het jaar 2009 verplicht te stellen. Gelijktijdig heeft Santeon, een vereniging van zes Santeon De volgende zes ziekenhuizen werken samen topklinische ziekenhuizen, zie onder de naam Santeon: kader, mij de opdracht 1. Canisius Wilhelmina Ziekenhuis Nijmegen gegeven om een uitgebreid 2. Catharina Ziekenhuis Eindhoven vergelijkend onderzoek te 3. Martini Ziekenhuis Groningen doen naar de Santeon-HSMRscores, gebaseerd op Medisch Spectrum Twente 5. Onze Lieve Vrouwe Gasthuis Amsterdam 6. St. Antonius Ziekenhuis Utrecht/Nieuwegein opnamen over de periode 2003 t/m De uitkomsten van dat onderzoek presenteerden wij in eerste instantie aan de Inspectie en aan de Minister van VWS. 21 Naar aanleiding hiervan bracht de landelijke Expertgroep-HSMR een advies uit en werd op voordracht van de NVZ en de NFU de openbaarmaking van de HSMR met ten minste één jaar uitgesteld. 37 Hoofdstuk 1 Onderzoeksvragen In dit proefschrift geef ik een antwoord op de volgende vragen: 1. Welke factoren kunnen de validiteit en de betrouwbaarheid van de HSMR en de bijbehorende SMRs beïnvloeden? Hierbij staan de volgende vier bronnen van variatie centraal: º º variatie bij het coderen van opnamen voor de LMR, º º variatie bij bijzondere medische verrichtingen voor hartaandoeningen, º º variatie in de casemixzwaarte op het niveau van de ICD-9- hoofddiagnose, º º variatie in de opnamefrequentie (heropnamen) van patiënten. 2. Hoe groot is deze invloed op de HSMR en SMRs? 3. In hoeverre is de HSMR geschikt, of kan hij geschikt gemaakt worden, om als indicator te gebruiken bij kwaliteitsverbetering en benchmarking van ziekenhuizen? Het HSMR-model volgens Dr. Foster is hierbij uitgangspunt. 19

20 De HSMR beproefd Opbouw proefschrift De onderzoeksvragen met betrekking tot de genoemde bronnen van variatie zijn ingekaderd in de volgende hoofdstukken: Hoofdstuk 2 geeft een overzicht van de uitgevoerde Santeon-studie die als basis diende voor dit proefschrift. De publicatie vormde de aanzet tot de beslissing om in 2010 de openbaarmaking van de HSMR voor minstens een jaar uit te stellen. Hoofdstuk 3 beschrijft de invloed op de HSMR als gevolg van variaties die optreden bij het coderen van opnamen voor de LMR. Hierbij is gekeken naar variatie-effecten in de LMR-database van de Santeon-ziekenhuizen en naar de operationele onderliggende oorzaken van variatie in het proces van het coderen binnen de zes ziekenhuizen. Naar aanleiding van onze publicatie, beschreven in hoofdstuk 3, hebben Pieter D, e.a. 13 de scope van dit onderwerp verbreed naar landelijk niveau. Echter bij deze laatste publicatie waren een aantal kritische kanttekeningen te plaatsen. De auteurs van hoofdstuk 3 hebben hiertoe een open brief geformuleerd die is bijgevoegd in dit proefschrift als bijlage 3. Hoofdstuk 4 onderzoekt het verband tussen bijzondere medische verrichtingen en de HSMR. Nederlandse hartcentra hebben het recht, maar ook een zekere plicht om patiënten met hartaandoeningen te dotteren of te opereren, terwijl niethartcentra dat niet mogen ingevolge de Wet Bijzondere Medische Verrichtingen (WBMV). Wordt hierdoor een ongelijk speelveld gecreëerd en levert dit verschillen op in de HSMR? Deze studie stond los van de Santeon-studie en werd al in een eerder stadium op landelijk niveau uitgevoerd. Hoofdstuk 5 richt zich op de vraag in hoeverre de HSMR binnen de Santeonziekenhuizen casemixvariatie accuraat corrigeert op het niveau waarop diagnoses gecodeerd worden (ICD-9). Hoofdstuk 6 is een vervolg op het onderwerp van hoofdstuk 5. Het onderzoek verbreedt zich naar de landelijke situatie en onderzocht wordt op welke wijze het HSMR-instrument de genoemde casemixvariatie corrigeert. Het ontwikkelen en toepassen van een verbeterde rekenmethode leidt tot een inschatting van de invloed van de casemixvariatie op het huidige HSMR-cijfer (2010). Hoofdstuk 7 gaat in op de volgende vraag: als ziekenhuizen een gelijksoortige patiënt onder dezelfde omstandigheden vaker versus minder vaak opnemen, 20

21 Inleiding leidt dit dan tot verschillen in voorspelde risico s en verschillen in waargenomen sterftecijfers? Ook hier vormen de Santeon-gegevens weer de basis van de analyse. Hoofdstuk 1 Hoofdstuk 8 combineert de resultaten van de voorgaande hoofdstukken, waarbij de gezamenlijke effecten van bijzondere medische verrichtingen, casemixverschillen op ICD-9-hoofddiagnoseniveau en heropnamen in één HSMRberekening worden bepaald. Dit om na te gaan of een en ander tot een nóg beter voorspellend model kan leiden. De algemene discussie vat de bevindingen van dit onderzoek samen en beantwoordt de gestelde algemene onderzoeksvragen. Verder bevat dit hoofdstuk een aantal aanbevelingen en een eindconclusie. 21

22 De HSMR beproefd Literatuur 1. Zichtbare Zorg. Zie 2. Website Inspectie voor de Gezondheidszorg handhavingsinstrumenten/gefaseerd-toezicht/kwaliteitsindicatoren. 3. Colsen PJA, Casparie AF. Indicatorregistratie: een model ten behoeve van integrale kwaliteitszorg in een ziekenhuis. Medisch Contact, 1995; 50: Donabedian A. Explorations in quality assessment and monitoring (vol 1): the definition of quality and approaches to its assessment. Michigan, Ann Arbor: Health Administration Press, Jarman B, Gault S, Alves B, Hider A, Dolan S, Cook A, et al. Explaining differences in English hospital death rates using routinely collected data. BMJ. 1999;318: Jarman B, Pieter D, Veen AA van der, et al. The Hospital Standardised Mortality Ratio: a powerful tool for Dutch hospitals to assess their quality of care? (2009). Qual Saf Health Care. 2010;19: Thomas JW, Hofer TP Research evidence on the validity of risk-adjusted mortality rate as a measure of hospital quality of care. Medical Care Research and Review 55(4): Aylin P, Bottle A, Majeed A. Use of administrative data or clinical databases as predictors of risk of death in hospital: comparison of models. BMJ 2007; 334: Clinical Classifications Software (CCS) for ICD-9-CM Fact Sheet ahrq.gov/toolssoftware/ccs/ccsfactsheet.jsp#what. 10. Jarman B, Aylin P. Death rates in England and Wales and the United States: variation with age, sex, and race. BMJ 2004 Dec 11; 329 (7479): Touwen L. HSMR: een heldere benchmark. Ervaringen in Reinier de Graaf Gasthuis. ZE-Magazine nummer 6, Heijink R, Koolman X, Pieter D, Veen A van der, Jarman B, Westert G. Measuring and explaining mortality in Dutch hospitals; the hospital standardised mortality rate between 2003 and BMC Health Serv Res 2008;8: Pieter D, Kool RB, Westert GP. Beperkte invloed gegevensregistratie op gestandaardiseerd ziekenhuissterftecijfer (HSMR), Ned Tijdschr Geneeskd. 2010; 154:A Borghans HJ, Pieter D, Hoenen JAJH, Kool RB. De toepasbaarheid van de HSMR in het toezicht van de Inspectie voor de Gezondheidszorg. Utrecht: Prismant; Ouden AL den, Nugteren WAH, Haeck J, Berg JMJ van den. Sterftecijfer niet afserveren. Medisch Contact, 63(13): 561; 28 maart Ouden AL den, Wal G van der. Het gestandaardiseerde ziekenhuissterftecijfer (HSMR) bruikbaar voor het volgen van ziekenhuissterfte. Ned Tijdschr Geneeskd. 2008;152: Wright J, Dugdale B, Hammond I, Jarman B, Neary M, et al. Learning from death: a hospital mortality reduction programme. J R Soc Med2006;99: Sterftecijfers: ja of nee? Elsevier, 24 oktober

23 Inleiding 19. Lilford R, Mohammed MA, Spiegelhalter D, Thomson R. Use and misuse of process and outcome data in managing performance of acute medical care: avoiding institutional stigma. Lancet 2004;363: Mohammed MA, Deeks JJ, Girling A, Rudge G, Carmalt M, Stevens AJ, Lilford RJ. Evidence of methodological bias in hospital standardised mortality ratios: retrospective database study of English hospitals. BMJ 2009;338:b Bosch WF van den, Roozendaal KJ, Silberbusch J. Schommelende sterftecijfers, HSMR nog geen betrouwbare maat voor zorgkwaliteit. Medisch Contact, Nr. 31/32-30 juli 2009: Geelkerken RH, Mastboom WJB, Bertelink BP, Palen J van der, Berg M, Kingma JH. Een onrijp instrument, Sterftecijfer niet geschikt als maat voor ziekenhuiskwaliteit. Medisch Contact. 2008;63: Pleizier CM, Geerlings W, Pieter D, Boiten J. Patiëntenmix beïnvloedt HSMR. Medisch Contact, Nr september 2010, p Black N. Assessing the quality of hospitals. BMJ 2010;340:c Bosch WF van den, Silberbusch J, Roozendaal KJ, Wagner C. Variatie in codering patiëntgegevens beïnvloedt gestandaardiseerd ziekenhuissterftecijfer (HSMR). Ned Tijdschr Geneeskd. 2010;154:A Lilford R, Pronovost P. Using hospital mortality rates to judge hospital performance: a bad idea that just don t go away. BMJ 2010: 340:c Penfold RB, Dean S, Flemons W, Moffatt M. Do hospital standardized mortality ratios measure patient safety? HSMRs in the Winnipeg Regional Health Authority. Healthc Pap. 2008;8: Everdingen JJE van, Smorenburg SM, Schellekens W. Praktijkboek Patiëntveiligheid, p ISBN How safe is your hospital? The Dr foster hospital guide co.uk (accessed 6 April 2010). 30. Ben-Tovim D, Woodman RJ, Harrison JE, Pointer S, Hakendorf P, Henley G. Measuring and reporting mortality in hospital patients. Canberra: AIHW, (Cat No HSE 69.) 31. Onderzoeksraad voor de veiligheid. Een onvolledig bestuurlijk proces: hartchirurgie in UMC St Radboud, april Beschikbaar via: Kamerstuk CZ-K-U , Antwoorden op kamervragen van Koser Kaya over het bericht dat ziekenhuizen zwijgen over hun sterftecijfers, 2 februari Kool RB, Veen A van der, Westert GP. Sterftemaat is valide instrument. Medisch Contact. 2007;63: Bosch WF van den, Graafmans WC, Pieter D, Westert GP. Hartcentra en de HSMR. Het effect van bijzondere medische verrichtingen op het gestandaardiseerde ziekenhuissterftecijfer. Ned Tijdschr Geneeskd. 2008;152: Voort PHJ van der, De Jonge E. Sterfte als maat voor kwaliteit. Medisch Contact 62(43): ; 26 oktober Nicholl J. Case-mix adjustment in non-randomised observational evaluations: the constant risk fallacy. J Epidemiol Community Health 2007;61: Redactie Medisch Contact. Sterftecijfer nog niet publiek in Medisch Contact. 2009: 31/32:1320. Hoofdstuk 1 23

24

25 2 Schommelende sterftecijfers Dit hoofdstuk werd gepubliceerd als: Bosch WF van den, Roozendaal KJ, Silberbusch J. Schommelende sterftecijfers; HSMR nog geen betrouwbare maat voor zorgkwaliteit. Medisch Contact, nr. 31/32-30 juli 2009:

26 De HSMR beproefd Samenvatting De toegenomen aandacht voor het gestandaardiseerde ziekenhuissterftecijfer past bij de behoefte aan verbetering en transparantie van de zorgkwaliteit. Santeon heeft de eigen HSMR-uitkomsten van de jaren 2003 tot en met 2007 onderzocht. De grote verschillen tussen de zes deelnemende ziekenhuizen en de fluctuaties in de tijd zijn niet volledig te verklaren door variaties in kwaliteit van zorg. Codeervariaties blijken grote invloed te hebben; correctie voor codeervariatie bij één factor deed de HSMR van één van de ziekenhuizen met 22 punten stijgen. Om van de HSMR een zinvol meetinstrument te maken, moeten de betrouwbaarheid en de onderlinge vergelijkbaarheid van de LMR-variabelen worden verbeterd door codeervariatie te minimaliseren. 26

27 Schommelende sterftecijfers Introductie Gestandaardiseerde sterftecijfers zijn een veelbelovend instrument voor het meten van zorgkwaliteit. Een onderzoek in zes ziekenhuizen toont echter aan dat de scores nu nog alle kanten op schieten. Variatie bij het coderen kan vele punten verschil maken. De toenemende aandacht voor gestandaardiseerde sterftecijfers past bij de behoefte aan verbetering en transparantie van zorgkwaliteit. De ruwe sterftecijfers van ziekenhuizen zijn lastig te vergelijken, omdat patiëntenpopulaties kunnen verschillen. Daarom is de hospital standardised mortality ratio (HSMR) ontwikkeld, gebaseerd op een al langer gebruikt model uit het Verenigd Koninkrijk. 1, 2 Een recente vertaling van dit model voor de Nederlandse situatie is door Prismant beschreven. 3 In het model wordt gecorrigeerd voor de volgende patiëntkenmerken: jaartal, geslacht, leeftijd, sociale klasse, opname-urgentie, hoofddiagnose, charlsonindex (comorbiditeit) en verpleegduur. En naast de ziekenhuisbrede HSMR worden ook gestandaardiseerde sterftecijfers op diagnosegroepsniveau bepaald. Voor de indeling van de diagnosegroepen is door de ontwerpers van het HSMR-instrument gekozen voor het Clinical Classification System (CCS) en daarbinnen voor vijftig CCS-diagnosegroepen. Hoofdstuk 2 Proeftuin De HSMR wordt ingezet bij het gezamenlijk ontwikkelen van kwaliteitsinitiatieven door Santeon, een vereniging van zes samenwerkende ziekenhuizen. Hierbij hebben de ziekenhuizen hun eigen HSMR-uitkomsten van de jaren 2003 tot en met 2007 op detailniveau met elkaar gedeeld. De basis voor de analyse is ontleend aan de landelijke medische registratie (LMR) over de periode 2003 tot en met Het betreft een database met bijna 1,5 miljoen opnamen van de zes ziekenhuizen, waarvan opnamen meetelden bij de HSMR-berekening. Kenmerkend voor de deelnemende ziekenhuizen is dat ze naast gewone zorg ook topklinische zorg bieden en als tertiaire centra functioneren, zonder dat er sprake is van een academisch ziekenhuis. Daarnaast liggen de ziekenhuizen verspreid door het hele land en bestaat er al jaren een innig samenwerkingsverband. Dit maakt Santeon geschikt om als proeftuin te dienen voor het zoeken naar optimale meetinstrumenten om zorgkwaliteit te schatten. Werken aan kwaliteit van zorg in Santeonverband biedt voordelen op het gebied van benchmarking en het uitwisselen van best practices. De inzet van het HSMR-instrument lijkt hierbij een efficiënt hulpmiddel, omdat snel en objectief 27

28 De HSMR beproefd duidelijk wordt welke sterke punten ieder deelnemend ziekenhuis in huis heeft. Deze kunnen vervolgens worden gedeeld met de andere ziekenhuizen. Sterke punten van een ziekenhuis manifesteren zich middels de HSMR-methodiek in de vorm van gekwantificeerde statistisch significante ondersterfte voor zekere CCSdiagnosegroepen. Een voorbeeld: ziekenhuis A blijkt voor de CCS-diagnose hartdecompensatie met stuwing; niet hypertensief een significante ondersterfte te hebben van 58. Dat wil zeggen: er zijn 58 mensen minder overleden in de periode 2003 tot en met 2007 dan volgens het landelijk gemiddelde statistisch mag worden verwacht met een betrouwbaarheid van 95 procent. Als nu in ziekenhuis B sprake is van significante oversterfte voor dezelfde aandoening gemeten over dezelfde periode, dan kan B wellicht van A leren. De ziekenhuizen A en B vergelijken de opnamen van de afgelopen jaren voor deze aandoening, proberen de verschillen te verklaren en onderzoeken of deze samenhangen met verschillen in werkwijze en behandelmethoden. Als dat zo is dan betrekt ziekenhuis B de ervaringen van ziekenhuis A bij een verbetertraject. Deze aanpak wordt algemeen toegepast voor de belangrijkste aandoeningen uit de lijst van de vijftig CCS-groepen. Dit betreft met name hartaandoeningen, longaandoeningen, oncologische aandoeningen en cerebrovasculaire aandoeningen. De Santeon-ziekenhuizen werken zodoende samen bij het verbeteren van elkaars zorgprocessen. En naast het werken aan best practices kan het verbeteren van ziekenhuisbrede onderwerpen zoals hygiëne en cultuur ook bijdragen aan het verbeteren van de HSMR. Vermijdbare schade Het landelijke veiligheidsprogramma Werk veilig, voorkom schade heeft tot doel binnen vier jaar de vermijdbare schade en dus ook de vermijdbare sterfte in Nederlandse ziekenhuizen met de helft te reduceren. Uit onderzoek is gebleken dat vermijdbare sterfte in ziekenhuizen circa vier procent van de totale ziekenhuissterfte uitmaakt. 4 Dit zou een jaarlijkse reductie van een halve procent betekenen die, gegeven de fluctuaties in de HSMR, nauwelijks of niet zichtbaar is in het HSMR-beloop. Voor het detecteren en monitoren van vermijdbare sterfte hebben de samenwerkende ziekenhuizen daarom naast het HSMR-instrument elk een aanvullend instrument: een eigen necrologiecommissie die werkt volgens een gemeenschappelijk protocol. Externe specialisten screenen de dossiers van alle overledenen met behulp van een triggerlijst op aanwijzingen voor mogelijk 28

29 Schommelende sterftecijfers vermijdbare schade. Maandelijks leggen ze de gevallen waarbij verdenking op vermijdbare schade is vastgesteld, voor aan de necrologiecommissie. De commissie nodigt vervolgens de betrokken zorgprofessionals uit voor gezamenlijke bespreking van de casus en het inzetten van verbeteracties. Schommelingen Om het sterftebeloop over de onderzoeksperiode 2003 tot en met 2007 te kunnen volgen zijn de HSMR-uitkomsten van de afzonderlijke ziekenhuizen uitgezet in een grafiek, zie figuur 1. Hoofdstuk 2 HSMR B F G E A C jaartal D FIGUUR 1 HSMR-beloop per ziekenhuis. De deelnemende ziekenhuizen zijn in willekeurige volgorde gelabeld van A tot G. Omdat in de getoonde periode Mesos Medisch Centrum en het St. Antonius Ziekenhuis nog gescheiden waren, zijn niet zes maar zeven ziekenhuizen getoond. Daaruit kunnen we aflezen dat de per ziekenhuis berekende gemiddelde HSMRuitkomsten over deze periode variëren van minimaal 65 (D) tot maximaal 114 (B). Verder vertonen de HSMRs van de ziekenhuizen A, B, D en E in vijf jaar tijd weinig schommelingen (circa 10%), en die van de ziekenhuizen C, F en G juist veel (30 tot 40%). Deze grote onderlinge verschillen en het grillige verloop in de tijd kunnen niet zonder meer worden verklaard uit variaties in kwaliteit van zorg. Er blijken meerdere, geheel niet met de zorg samenhangende factoren op te treden die de HSMR-uitkomsten kunnen beïnvloeden, zoals onjuiste, incomplete of 29

30 De HSMR beproefd inconsistente LMR-gegevens (codeervariatie), patiëntenfactoren waarvoor het HSMR-instrument niet corrigeert (casemixvariatie) en regionale factoren zoals doorverwijzingspatronen en terminale ketenzorg (overige variatie). Binnen het samenwerkingsverband van de ziekenhuizen zijn de LMR-gegevens van de jaren 2003 t/m 2007 op deze factoren onderzocht. Codeervariatie Uit dat onderzoek blijkt dat codeerfouten beperkt optraden en weinig variatie in de HSMR veroorzaakten. Wel werd bij het coderen van het veld hoofddiagnose veel variatie gevonden, omdat er voor eenzelfde aandoening meerdere codeermogelijkheden bestaan. Daardoor kan het gebeuren dat een identieke casus in het ene ziekenhuis wel en in het andere niet in de HSMR-berekening wordt meegenomen. Er bleken ook interpretatieverschillen te bestaan bij het coderen van het veld opname-urgentie. Zo codeerde ziekenhuis B veel te weinig acute opnamen, omdat de definitie van een acute opname anders werd geïnterpreteerd. Aangezien de mortaliteit van acute opnamen een factor vier hoger is dan die van niet acute opnamen, stuwt dit verschil in interpretatie de HSMR op. Dat verklaart gedeeltelijk de hoge score van B. Codeervariaties zijn meestal niet achteraf te corrigeren en maken daardoor de huidige HSMR-uitkomsten minder betrouwbaar. In ons onderzoek was het echter bij een bepaalde, systematisch toegepaste vorm van variatie wel mogelijk om de HSMR van twee ziekenhuizen voor codeervariatie te corrigeren. Daarbij daalde de HSMR van ziekenhuis A met 5 punten, terwijl C gemiddeld over vijf jaar 22 punten hoger scoorde. De uitzonderlijk goede scores in 2006 en 2007 van ziekenhuis C vallen na correctie terug naar waarden rond de 100. Kennelijk kan één enkele variatiefactor als gevolg van het systematisch onjuist invullen van één LMR-veld al een flinke invloed uitoefenen op de HSMR. Ook op het vlak van de nevendiagnoses bleken variaties te bestaan waarbij één ziekenhuis (D) meer volledigheid betrachtte dan de andere en daarmee zijn HSMR wist te verlagen. Het is dus evident dat de HSMR alleen bruikbaar is als binnen de samenwerkende ziekenhuizen, maar ook landelijk, eenduidige codeerafspraken gelden die leiden tot consistentie. Casemixvariatie Een andere variabele die voor vertekening van de mortaliteitsratio kan zorgen is casemix. De huidige HSMR-methodiek voor Nederland corrigeert voor de acht 30

31 Schommelende sterftecijfers eerdergenoemde determinanten. In vergelijking met de vele andere indicatoren in de Nederlandse gezondheidszorg is de HSMR een geavanceerde indicator. Een nadeel is echter dat de totstandkoming van de berekening voor ziekenhuizen niet voldoende transparant is, wat controle op de berekening hiervan door het eigen ziekenhuis onmogelijk maakt. Met betrekking tot de keuze van de casemix is het de vraag of de juiste combinatie is gekozen en of er ten onrechte andere, zeker zo belangrijke, factoren uitgesloten zijn. Een casemixvariabele die wellicht voor inclusie in aanmerking komt is heropname. Tussen de samenwerkende ziekenhuizen blijken op dit punt grote verschillen te bestaan. Zo heeft ziekenhuis D een relatief hoog aantal heropnamen en het blijkt dat een deel van de goede score hieraan moet worden toegeschreven. In ons onderzoek naar de HSMR-uitkomsten van de zes afzonderlijke ziekenhuizen, hebben wij het gedrag van deze variabele wél meegenomen en onze resultaten hiervoor gecorrigeerd. Een volgende factor die te maken heeft met de betrouwbaarheid van de HSMR betreft mogelijke verschillen in het functioneren van de terminale ketenzorg. Uit een onderzoek in West-Canada blijkt dat er een verband bestaat tussen de sterfteplek - ziekenhuis versus hospitium - en de HSMR. 5 In regio s waar het percentage van de totale regionale sterfte in hospices hoger is, blijkt de HSMR van omringende ziekenhuizen lager. Omdat dit effect in Nederland niet is onderzocht, hebben de deelnemende ziekenhuizen de intentie om zelf vast te stellen welk percentage patiënten met een indicatie voor een hospitium of terminale thuiszorg alsnog sterft in het ziekenhuis. Ook verwijzingen in verband met het uitvoeren van bijzondere medische verrichtingen door gespecialiseerde centra kunnen invloed hebben op de HSMR. Zo werkt het uitvoeren van dotterbehandelingen door hartcentra HSMRverlagend. 6 Openhartchirurgie werkt echter HSMR-verhogend. Bij de interpretatie van de HSMR dient ook hiermee rekening te worden gehouden. Hoofdstuk 2 Potentieel zinvol Santeon beschouwt het HSMR-instrument in potentie als een zinvol hulpmiddel om sturing te geven aan het gezamenlijk uitvoeren van kwaliteitsinitiatieven. Een voorwaarde is echter dat de ratio een betrouwbare indicator vormt voor kwaliteit van zorg. Uit ons onderzoek blijkt dat dit met de huidige LMR-data nog niet het geval is. Om hierin verandering te brengen, is het eerst nodig om de betrouwbaarheid en de onderlinge vergelijkbaarheid van de variabelen van de LMR te verbeteren door het minimaliseren van codeervariatie. De Santeon-ziekenhuizen pakken dit 31

32 De HSMR beproefd zo snel mogelijk op. HSMR-variaties als gevolg van verschillen in de terminale ketenzorg en verwijzingen voor bijzondere medische verrichtingen zullen wij betrekken bij het interpreteren én openbaar maken van HSMR-resultaten. Naar onze mening is het zaak dat ook andere ziekenhuizen de gelegenheid krijgen hun coderingen uniform uit te voeren voorafgaande aan openbaarmaking van de HSMR. Een landelijke termijn van twee jaar lijkt hierbij haalbaar. 32

33 Schommelende sterftecijfers Literatuur 1. Jarman B, Gault S, Alves B, Hider A, Dolan S, Cook A, et al. Explaining differences in English hospital death rates using routinely collected data. BMJ 1999; 318: Jarman B, Bottle A, Aylin P, Browne M. Monitoring changes in hospital standardised mortality ratios. BMJ 2005; 330: Borghans HJ, Pieter D, Hoenen JAHJ, Kool RB. De toepasbaarheid van de HSMR in het toezicht van de Inspectie voor de Gezondheidszorg. Prismant, september Bruijne MC de, Zegers M, Hoonhout LHF, Wagner C. Onbedoelde Schade in Nederlandse Ziekenhuizen; april Penfold RB, Dean S, Flemlons W, Moffatt M. Follow the Big Dots? HealthcarePapers 2008; vol. 8 no. 4; Bosch WF van den, Graafmans WC, Pieter D, Westert GP. Hartcentra en de HSMR. Het effect van bijzondere medische verrichtingen op de gestandaardiseerde ziekenhuissterfte. Ned Tijdschr Geneeskd. 2008; 152: Hoofdstuk 2 33

34

35 3 aard en invloed van registratievariatie Dit hoofdstuk werd gepubliceerd als: Bosch WF van den, Silberbusch J, Roozendaal KJ, Wagner C. Variatie in codering patiëntgegevens beïnvloedt gestandaardiseerd ziekenhuissterftecijfer (HSMR). Ned Tijdschr Geneeskd. 2010;154:A1189.

36 De HSMR beproefd Samenvatting Doel Onderzoeken van de invloed van codeervariaties op de het gestandaardiseerde ziekenhuissterftecijfer (HSMR) en maatregelen formuleren om de variatie in coderingen te reduceren. Opzet Retrospectief, beschrijvend. Methode Wij analyseerden codeervariaties van de HSMR-parameters hoofddiagnose, opname- urgentie en nevendiagnoses in het databestand landelijke medische registratie (LMR) van opnamen in zes topklinische ziekenhuizen, gedurende 2003 t/m Ruim een kwart van de geregistreerde opnamen telde mee bij de berekening van de HSMR. Van de ICD-9-codes voor hoofddiagnose die niet waren meegeteld bij de HSMR-berekening onderzochten wij of er verschillen waren tussen de ziekenhuizen en of opnamen met deze codes terecht waren uitgesloten bij de berekening. Variatie in het coderen van opname-urgentie werd gesignaleerd door opnamen te analyseren waarbij de diagnosetitel acuut van aard was. De variatie in het gemiddelde aantal nevendiagnoses per opname werd bepaald als indicatie voor codeervariatie. Door interviews met codeerteams werd geverifieerd of de conclusies van de analyse terecht waren. Resultaten Meer dan opnamen die niet meetelden voor de HSMR vertoonden grote verschillen tussen de ziekenhuizen. Dit aantal was 40% van het aantal opnamen dat wél meetelde. Van de opnamen met een hoofddiagnose die acuut van aard was, was per ziekenhuis 34% tot 93% als acute opname geregistreerd. Het gemiddelde aantal nevendiagnoses per opname varieerde tussen de ziekenhuizen van 0,9 tot 3,0. Conclusies Er waren tussen de onderzochte ziekenhuizen grote verschillen in de codering van de hoofddiagnose, opname-urgentie en nevendiagnoses, met een potentieel grote invloed op de HSMR-uitkomsten van de ziekenhuizen. De codeervariaties berustten op interpretatieverschillen bij het coderen, verschillen in de beschikbaarheid van codeurs, de kwaliteit van ontslagbrieven en dossiers en de al dan niet tijdige aanlevering hiervan. 36

37 Aard en invloed van registratievariatie Inleiding Het gestandaardiseerde ziekenhuissterftecijfer wordt in Nederland met de nodige voorzichtigheid geïntroduceerd als een indicator voor kwaliteit van zorg. Deze indicator is in het Verenigd Koninkrijk ontwikkeld ( hospital standardised mortality ratio, HSMR; tabel 1). 1-3 TABEL 1 De hospital standardised mortality ratio (HSMR) in het kort. De HSMR* is een gestandaardiseerde maat voor ziekenhuissterfte, waarin het ruwe sterftecijfer (aantal opnamen gedeeld door het aantal gevallen van ziekenhuissterfte) gecorrigeerd is voor de volgende acht patiëntkenmerken ( casemix ): jaartal van ontslag geslacht leeftijd bij ontslag sociaal economische status opname-urgentie ( acuut versus niet acuut ) hoofddiagnose (= opnamediagnose) verpleegduur charlsonindex Het in dit hoofdstuk gebruikte HSMR-model dat werd toegepast in 2008, telde zowel klinische als dagopnamen mee. De HSMR per ziekenhuis wordt bepaald door de formule: HSMR = 100 maal waargenomen ziekenhuissterfte / verwachte sterfte waarbij de verwachte sterfte berekend is door de ziekenhuissterfte te corrigeren voor de bovengenoemde acht kenmerken. Bij de uitkomst 100 is de HSMR van het ziekenhuis gelijk aan de landelijke gemiddelde HSMR; hogere waarden kunnen duiden op oversterfte, lagere waarden op ondersterfte. Naast de ziekenhuis-hsmr worden ook gestandaardiseerde sterftecijfers voor diagnosegroepen bepaald. Voor de indeling van deze diagnosegroepen kozen de ontwerpers van het HSMRinstrument 50 diagnosegroepen uit het Clinical Classification System (CCS). Voor de berekening van de HSMR wordt de in Nederland gebruikte ICD-9-codering voor diagnoses per hoofddiagnose vertaald naar een van de 50 CCS-groepen. Om doelmatigheidsredenen zijn de groepen zo gekozen dat slechts een beperkt deel van de ICD-9-codes (circa 20%) meetelt, namelijk de diagnoses die gepaard gaan met relatief hoge sterfte. Daardoor telt ook van de opnamen slechts een beperkt deel mee in de HSMR-berekening (in onze studie circa 28%). Hierbij geldt de voorwaarde dat in de meegetelde opnamen minstens 70% van de ziekenhuissterfte vertegenwoordigd moet zijn (in onze studie was dat > 80%). * De landelijk gemiddelde HSMR wordt berekend op basis van alle meegetelde opnamen in de landelijke medische registratie (LMR). De charlsonindex is een maat voor comorbiditeit en is gebaseerd op het aantal nevendiagnoses en de zwaarte hiervan. Hoofdstuk 3 37

38 De HSMR beproefd Illustratief voor de voorzichtigheid bij de introductie zijn de antwoorden van minister Klink van Volksgezondheid, Welzijn en Sport op vragen uit de Tweede Kamer over het niet openbaar maken van de HSMR. 4 Hij zegt daarin dat er nog vragen over de betrouwbaarheid en de interpreteerbaarheid van de gegevens bestaan. Critici stellen onder meer dat registraties van opnamegegevens in de landelijke medische registratie (LMR) niet altijd betrouwbaar en consistent zijn en daardoor de HSMR-uitkomsten ook niet. Een voorbeeld hiervan is de claim dat in de Engelse situatie twee HSMR-variabelen, opname-urgentie en charlsonindex, onbetrouwbaar en dus ongeschikt zouden zijn voor gebruik bij de correctie voor patiëntkenmerken ( casemix -correctie); die onbetrouwbaarheid is mede het gevolg van variaties in de registratie van ziekenhuisopnamen. 5 Variatie in de codering van gegevens in de LMR kan mogelijk leiden tot inconsistenties. Van codeervariatie is sprake als ziekenhuis A de opname van eenzelfde soort patiënt anders codeert dan ziekenhuis B onder identieke omstandigheden en een identiek verlopende opname. In de LMR-database treden dan verschillen tussen ziekenhuizen op in één of meer onderdelen van de gecodeerde opnamen. Dat kan invloed hebben op de HSMR. Santeon, een groep van zes Nederlandse topklinische ziekenhuizen, zet het HSMR-instrument in voor onderlinge vergelijking en verdere verbetering van de kwaliteit van zorg. 6 De gemiddelde HSMR per ziekenhuis over de periode 2003 t/m 2007 varieerde in deze groep van 65 (gunstig) tot 114 (niet gunstig). Dit houdt in dat de mortaliteit in het ziekenhuis met de hoogste HSMR (114) bijna twee maal zo hoog zou zijn als in het ziekenhuis met de laagste HSMR (65). Gezien het homogene karakter van deze ziekenhuizen is dat a priori ongeloofwaardig. Dit was voor ons reden om onderzoek te doen naar de belangrijkste afzonderlijke HSMR-determinanten en de factoren die de grote verschillen kunnen verklaren. Wij formuleerden onze onderzoeksvragen als volgt: 1. Zijn bepaalde opnamen ten onrechte uitgesloten van de HSMR-berekening doordat de criteria voor het coderen van de hoofddiagnose volgens de International Classification of Diseases Ninth Revision (ICD-9) niet in elk ziekenhuis op dezelfde wijze zijn geïnterpreteerd? 2. In hoeverre is er sprake van variatie in de codering van de acht HSMRdeterminanten bij de opnamen die wél meetelden voor de HSMR-berekening? 3. Wat is de mogelijke invloed van variaties in de codering op de HSMRs van elk der samenwerkende ziekenhuizen afzonderlijk? 38

39 Aard en invloed van registratievariatie Methode HSMR determinanten Bij de analyse richtten wij ons op LMR-parameters die gebruikt worden bij de HSMR-berekening. De volgende parameters zijn eenduidig vastgelegd en ongevoelig voor codeervariatie: jaartal van ontslag, leeftijdsklasse, ligduurklasse, geslacht en sociaal economische status (via postcode). Deze betrokken wij niet in onze analyse. Wij beperkten ons tot de drie LMR-parameters die bepalend zijn voor de HSMR en die potentieel onderhevig zijn aan codeervariaties: de ICD-9-code voor de hoofddiagnose; deze bepaalt of een opname meetelt voor de HSMR-berekening; opname-urgentie ( acuut versus niet acuut ); ICD-9-codes voor nevendiagnoses; deze bepalen de charlsonindex, een maat voor comorbiditeit, zie kader. Bij de analyse van ICD-9-codes Charlsonindex De charlsonindex wordt gebruikt als maat voor comorbiditeit voor een patiënten-populatie. De index is gebaseerd op ICD-9-codes en onderscheidt zeventien comorbiditeiten. Aan elke comorbiditeit wordt een gewogen score toegekend, gebaseerd op het relatieve risico van sterfte na één jaar. Hoe groter de comorbiditeit en dus de kans op overlijden des te hoger de score. Het is gebruikelijk om als maximale score 6 te gebruiken. voor hoofddiagnoses betrokken wij ook de indeling in de diagnosegroepen van het Clinical Classification System (CCS). Hoofdstuk 3 Hoofddiagnose volgens ICD-9 Van de onderzochte opnamen telden er (28,2%) mee bij de HSMR-berekening. Door verschillende interpretaties van de ICD-9-codering van de hoofddiagnose, codeervariatie, kon het voorkomen dat een opname bij het ene ziekenhuis niet meetelde en een identieke opname bij een ander ziekenhuis wél. Het onterecht uitsluiten van opnamen zou invloed kunnen hebben op de HSMR. Daarom inventariseerden wij variaties in het aantal opnamen van de ICD-9- codes die door Prismant uitgesloten waren voor de HSMR-berekening ( opnamen). 39

40 De HSMR beproefd Asymmetrische opnameverdeling Als enkele ziekenhuizen een ICD-9-code extreem vaak codeerden en de andere ziekenhuizen deze code nauwelijks registreerden, was dit een indicatie dat een opname met deze code onterecht was uitgesloten van de berekening. Een voorbeeld: ziekenhuis C codeerde maal de niet meetellende code V81.0, die staat voor screening ischemische hartziekten, terwijl andere ziekenhuizen deze code nauwelijks gebruikten. Wellicht gebruikten die andere ziekenhuizen in plaats van de code voor screening een code voor hartaandoeningen, die wél meetelde bij de HSMR-berekening. De onevenredige verdeling van hoofddiagnoses over de ziekenhuizen noemen wij asymmetrische opnameverdeling. Dit werd als volgt gedefinieerd: een opnameverdeling van een ICD-9- hoofddiagnose is in dit onderzoek asymmetrisch als > 50% van alle opnamen bij één ziekenhuis hoort en/of > 65% bij twee ziekenhuizen en/of > 85% bij drie ziekenhuizen en/of < 6% bij twee ziekenhuizen, en/of < 2% bij één ziekenhuis. Bij deze grenswaarden is het gemiddelde aantal opnamen in de ziekenhuizen met de hoogste percentages vijf tot zes maal zo groot als het gemiddelde van de ziekenhuizen met de laagste percentages. Iets andere keuzes voor grenswaarden leveren ruwweg dezelfde relevante asymmetrie op. Door iedere hoofddiagnose op asymmetrie van opnameverdeling te onderzoeken, konden we mogelijke codeervariatie opsporen. Wij bepaalden voor iedere uitgesloten hoofddiagnose de opnameverdeling over de ziekenhuizen en selecteerden voor nadere analyse de hoofddiagnoses die een asymmetrische opnameverdeling vertoonden. Analyse van asymmetrische opnameverdelingen Veel asymmetrische verdelingen konden worden verklaard door de aanwezigheid van specialistische centra in één of meer van deze zes ziekenhuizen of door kleine opnameaantallen, waardoor een verdeling al snel asymmetrisch is. Ook kunnen asymmetrische verdelingen van meerdere, overeenkomstige diagnoses wél symmetrisch zijn als de diagnoses worden samengevoegd; de ICD-9-codes verschillen dan, maar tussen de diagnosetitels is nauwelijks inhoudelijk verschil. Voor een aantal hoofddiagnoses leverde dit echter geen bevredigende verklaring op voor de asymmetrie. Wij hebben deze nader geanalyseerd voor diagnoses met in totaal meer dan 1000 opnamen in de zes ziekenhuizen. De uitkomsten werden getoetst door de codeurs te interviewen. 40

41 Aard en invloed van registratievariatie Opname-urgentie Prismant definieert een acute opname als een niet (voor dát moment) geplande opname, die niet uitgesteld kan worden, omdat onmiddellijke hulpverlening (observatie, onderzoek of behandeling) noodzakelijk is. Als patiënten niet als acute opname worden geregistreerd terwijl ze wel acuut zijn opgenomen, dan leidt dat tot een hogere HSMR (ongunstig). Wij onderzochten het codeergedrag bij de parameter opname-urgentie voor opnamen waarbij de diagnosetitel een acuut karakter aangaf, bijvoorbeeld acuut myocard infarct, voorwand (ICD-9- code 410.1). Dit kwam bij 33 verschillende ICD-9-diagnosetitels voor. Wij stelden vast hoe vaak opnamen van dit type daadwerkelijk als acuut waren gecodeerd en verkregen hieruit een indicatie van het gedrag bij het coderen van de opnameurgentie. De uitkomsten werden getoetst door de codeurs te interviewen. Hoofdstuk 3 Nevendiagnoses Er kunnen maximaal 9 nevendiagnoses per opname gecodeerd worden. We duiden deze in de database aan met n1, n2, n9; veldnummer n1 is de eerste nevendiagnose, enzovoort. Alle voor de opname relevante comorbiditeit behoort hierin gecodeerd te worden. Voor ieder veldnummer stelden wij vast hoe vaak het veld was ingevuld. De resultaten werden vastgelegd in frequentieverdelingen. Tevens bepaalden wij het gemiddelde aantal nevendiagnoses per ziekenhuis. Gezien het homogene karakter van de zes ziekenhuizen zouden deze gemiddelden onderling niet extreem mogen verschillen. Het coderen van veel nevendiagnoses kan in een hogere waardering van de comorbiditeit resulteren en leidt tot een lagere HSMR (gunstig). Interviews codeerteams Door interviews met de codeerteams verkregen wij een indruk hoe opnamen werden gecodeerd. In de interviews lag de nadruk op het coderen van hoofddiagnose, opname-urgentie en nevendiagnoses en in hoeverre coderen onder tijdsdruk plaatsvond. Tevens gaven de interviews ons de gelegenheid aan het codeerteam vragen te stellen die tijdens het onderzoek waren gerezen. 41

42 De HSMR beproefd Resultaten Van de zes ziekenhuizen is er één recent ontstaan door fusie van twee ziekenhuizen die gedurende de geanalyseerde periode bestuurlijk en operationeel al gefuseerd waren, maar juridisch nog gescheiden; deze scheiding vindt men nog terug in de LMR. In de tabellen en de bespreking van de resultaten is daarom sprake van zeven ziekenhuizen, willekeurig gelabeld A, B, C, D, E, F en G. Eerst geven wij hier de analyse van de verdeling van de opnameaantallen per ICD-9-code voor diagnoses die niet betrokken werden bij de HSMR-berekening. Vervolgens bespreken wij de codeervariaties van de opnamen die wél betrokken zijn bij de HSMR-berekening en tot slot geven wij de resultaten weer van de interviews met de codeerteams. Opnamen niet meegeteld bij de HSMR-berekening Van de opnamen die niet meegeteld waren bij de HSMR-berekening, bleken opnamen (56%) asymmetrisch verdeeld. De achttien belangrijkste van deze hoofddiagnoses, waarvan wij de asymmetrie niet konden verklaren, omvatten opnamen (16%). De verdeling hiervan over de ziekenhuizen is weergegeven in tabel 2. De meeste diagnoses in tabel 2, uitgezonderd multipel myeloom (14) en acute bronchitis (18), waren algemeen van aard of aspecifiek; daardoor kunnen diverse aandoeningen bij deze ICD-9-codes zijn ondergebracht, mogelijk verschillend per ziekenhuis. De codes en (afgekort 799.x) kunnen gebruikt worden als de diagnose onbekend is (1 en 2 in tabel 2). Deze codes werden maal toegepast, voornamelijk door ziekenhuizen A, C en G. De mortaliteit van A en C week hierbij sterk af van de bijbehorende ruwe ziekenhuismortaliteit, zie tabel 3, hetgeen kan duiden op een selectie-effect. Wij komen hier op terug in de sectie onder het kopje Interviews met codeerteams. Diagnose 3, V72.8 overige gespecificeerde onderzoeken, werd door drie ziekenhuizen veelvuldig gebruikt ( opnamen); de andere ziekenhuizen gebruikten deze code nauwelijks. Het was onduidelijk of vergelijkbare patiënten in de andere ziekenhuizen anders werden beoordeeld en gecodeerd. Dat gold ook voor codes die behandelingen of observaties in plaats van aandoeningen beschreven, zie tabel 2 diagnoses 4 t/m 11 en die waren oververtegenwoordigd in één of enkele ziekenhuizen. Voor de diagnoses 12 t/m 18 waren vermoedelijk eveneens andere ICD-9-codes toepasbaar. De onderste rij van tabel 2 geeft weer in hoeverre elk ziekenhuis bijdroeg aan de asymmetrische verdeling van de ICD- 9-hoofddiagnoses 3 t/m18. Ziekenhuizen A, D en G droegen relatief weinig bij aan de meerderheidsaandelen, ziekenhuizen B, C en F relatief veel. 42

43 Aard en invloed van registratievariatie TABEL 2 Overzicht van de hoofddiagnoses bij ziekenhuisopname in de periode 2003 t/m 2007 die onevenredig verdeeld waren over een groep van zeven topklinische ziekenhuizen ( asymmetrische opnameverdeling ). Alleen diagnoses die niet meetelden bij de berekening van de HSMR zijn weergegeven. Nr. ICD-9-hoofddiagnose aantal opnamen per ziekenhuis A B C D E F G totaal Overige slecht omschreven aandoeningen Overige onbekende en niet gespecificeerde oorzaken totaal aantal opnamen met diagnoses V72.8 overige gespecificeerde onderzoeken V58.1 onderhoudschemotherapie V58.2 bloedtransfusie zonder vermelding diagnose V58.8 overige gespecificeerde nazorg V58.9 niet gespecificeerde nazorg V67.2 follow-up onderzoek na chemotherapie V71.9 observatie i.v.m. verdenking op niet nader omschreven aandoening 10 V71.4 observatie na een ander ongeval V71.8 observatie i.v.m. verdenking andere gespecificeerde aandoening 12 V81.0 screening ischemische hartziekten V81.4 screening op overige niet gespecificeerde respiratoire aandoening multipel myeloom V67.0 follow-up onderzoek na operatie overige gespecificeerde geleidingsstoornissen overige symptomen van de urinewegen acute bronchitis Hoofdstuk 3 43

44 De HSMR beproefd TABEL 2 Vervolg Nr. ICD-9-hoofddiagnose aantal opnamen per ziekenhuis A B C D E F G totaal totaal aantal opnamen met diagnoses totaal aantal ziekenhuisopnamen diagnoses 3-18 als percentage van totaal aantal 2,4% 9,7% 11,6% 4,1% 7,0% 17,0% 4,6% 8,5% opnamen TABEL 3 Ziekenhuissterfte en mortaliteit van patiënten opgenomen met onbekende diagnose (ICD-9-code of 799.9) in zeven topklinische ziekenhuizen in de periode 2003 t/m ziekenhuis parameter* A B C D E F G J aantal opnamen K sterfte L mortaliteit ; % 0,02% 0,00% 4,37% 0,00% 0,26% 2,24% 1,48% M ruwe ziekenhuismortaliteit 1,28% 1,51% 1,16% 1,12% 1,07% 1,48% 1,42% * De parameters zijn aangeduid met een letter; in tabel 6 wordt naar deze letter gerefereerd. Het aantal sterfgevallen per 100 patiënten opgenomen met onbekende diagnose. Het aantal sterfgevallen in het ziekenhuis gedeeld door het aantal opnamen. 44

45 Aard en invloed van registratievariatie Codeervariaties bij meegetelde opnamen Codering hoofddiagnose Ook bij de ziekenhuisopnamen die meetelden voor de HSMR-berekening trad variatie op in de ICD-9-codering; dit was af te lezen aan de asymmetrische opnameverdelingen. Als asymmetrisch verdeelde codes die behoorden tot één CCS-diagnosegroep werden gecombineerd, dan bleken zij meestal alsnog evenredig verdeeld te zijn over de ziekenhuizen. Codeervariaties in meegetelde hoofddiagnoses hadden veel minder gevolgen op de HSMR omdat deze de teller (= het aantal overledenen voor alle CCS-groepen tezamen) van de HSMRberekening niet beïnvloeden, zie tabel 1. Hoofdstuk 3 Codering urgentie opname De 33 ICD-9-codes met een diagnosetitel die duidde op een acute aandoening kwamen voor bij ziekenhuisopnamen; meestal had de code betrekking op een hartaandoening ( opnamen; 70%). De mate waarin deze opnamen daadwerkelijk als acuut gecodeerd werden varieerde van 33,9% (ziekenhuis B) tot 92,5% (ziekenhuis D), zie tabel 4. In deze tabel is ter vergelijking ook weergegeven welk percentage van de opnamen die meetelden bij de HSMR-berekening als acute opname geregistreerd waren; dit varieerde van 29,3% (ziekenhuis A) tot 53,6% (ziekenhuis C). TABEL 4 Variatie in de codering van ziekenhuisopnamen als acute opname in de Santeonziekenhuizen. Weergegeven zijn de aantallen opnamen met een ICD-9-code die op een acute opname duidde en de daadwerkelijk als acute opname geregistreerde opnamen. Ziekenhuis opnamen met ICD-9-code passend bij acute opname opnamen geregistreerd als acute opname * aantal percentage van opnamen met acute ICD-9-code percentage van alle opnamen die meetelden bij de HSMR-berekening A ,5% 29,3% B ,9% 31,4% C ,3% 53,6% D ,5% 43,8% E ,7% 42,0% F ,9% 50,6% G ,0% 35,5% totaal ,7% 39,5% * Hierbij werden alleen opnamen meegeteld waarbij tevens de ICD-9-code voor de hoofddiagnose duidde op een acute aandoening, zoals bijvoorbeeld de code voor acuut myocardinfarct, voorwand. 45

46 De HSMR beproefd Codering nevendiagnoses Tabel 5 geeft de percentages nevendiagnoses per ziekenhuis weer. Het gemiddelde aantal varieerde van 0,87 (ziekenhuis C; ongunstig voor HSMR) tot 3,0 (ziekenhuis D; gunstig voor HSMR) per opname; de overige ziekenhuizen scoorden rond de 1,6. Ziekenhuis D scoorde gemiddeld het dubbele aantal nevendiagnoses in vergelijking met de andere ziekenhuizen. Ook registreerde ziekenhuis D drie tot vier maal zo vaak vijf of meer nevendiagnoses dan de andere ziekenhuizen. TABEL 5 Verdeling van het aantal nevendiagnoses per ziekenhuis, geregistreerd bij opname in de periode 2003 t/m ziekenhuis Nevendiagnose* als percentage van aantal opnamen n1 n2 n3 n4 n5 n6 n7 n8 n9 gemiddeld aantal nevendiagnoses A 63,8 39,4 24,6 15,2 8,7 4,7 2,5 1,4 0,8 1,61 B 69,9 42,1 26,3 13,9 7,6 4,1 2,3 1,4 0,9 1,68 C 48,8 19,9 9,3 4,3 2,2 1,2 0,7 0,4 0,3 0,87 D 83,1 63,5 49,0 36,2 25,9 17,9 12,5 8,7 6,3 3,03 E 67,3 39,0 25,4 12,0 5,2 2,1 1,0 0,5 0,4 1,53 F 63,3 36,9 22,4 12,6 8,3 5,1 3,7 2,4 1,8 1,57 G 63,8 37,1 23,0 13,5 8,4 5,1 3,5 2,3 1,7 1,58 Alle 65,7 39,7 25,7 15,4 9,5 5,7 3,7 2,5 1,7 1,7 * Bij elke patiënt die wordt opgenomen kan men naast de hoofddiagnose maximaal 9 nevendiagnoses registreren, hier aangeduid als n1, n2 etcetera. Zo codeerde ziekenhuis A gemiddeld 638 eerste nevendiagnoses (n1) per 1000 opnamen en gemiddeld acht van de 1000 patiënten had negen nevendiagnoses (n9). Alleen opnamen die meetelden bij de berekening van de HSMR. Interviews met codeerteams Codeurs coderen opnamen aan de hand van gegevens uit het ziekenhuis informatiesysteem (ZIS), de ontslagbrief, het ontslagformulier en eventueel operatieverslagen. De ontslagbrief wordt gebruikt voor het coderen van de hoofddiagnose en de nevendiagnoses. Hoofddiagnose en nevendiagnoses worden over het algemeen correct van elkaar onderscheiden. Bij de codering van opname-urgentie bleken de codeurs de definitie hiervoor niet uniform te interpreteren. Zo werd een elders acuut opgenomen patiënt, doorverwezen 46

47 Aard en invloed van registratievariatie voor acute behandeling, door ziekenhuis B als niet acuut gecodeerd omdat de doorverwijzing het een gepland karakter gaf. De overige ziekenhuizen gaven dan wél de code acuut, omdat de behandeling niet kon wachten. Het coderen van nevendiagnoses bleek wat vrijblijvender; de registratie van nevendiagnoses is namelijk facultatief. Codeurs gaven aan dat zij naast de ontslagbrief nog wel eens in dossiers verder zochten naar comorbiditeit, maar dat zij daarbij geremd werden omdat het zoeken arbeidsintensief en tijdrovend is. Het aantal fulltime-equivalent (fte) codeurs per opnamen varieerde van 0,45 in de ziekenhuizen A en E tot 0,90 in de ziekenhuizen D en G; de overige ziekenhuizen hadden circa 0,6 fte codeurs per opnamen. Ziekenhuizen A en E gaven aan sterke tijdsdruk te ervaren; ziekenhuis G nadrukkelijk niet. Het coderen van aspecifieke diagnosetitels trad vaak op tengevolge van onduidelijke of te late aanlevering van ontslagbrieven. Men was dan genoodzaakt minder specifieke diagnosecodes te gebruiken. Het veelvuldig gebruik van codes 799.x ( diagnose onbekend ) door ziekenhuizen A, C en G was goed te verklaren. Ziekenhuis A had gedurende twee jaren te weinig codeurs, zodat men uit tijdnood besloot de hoofddiagnoses van een groot aantal dossiers met 799.x te coderen, uitgezonderd die van de overleden patiënten bij wie wel aandoeningen gecodeerd waren in verband met de necrologie. In ziekenhuis C gebruikten de codeurs codes 799.x voor opnamen. Hierbij waren dossiers van een aantal specialismen met relatief een overmaat aan sterfgevallen te laat aangeboden. Ook daarvoor werd uit tijdnood code 799.x gekozen. In ziekenhuis G kon, wegens een tijdelijke ZIS-storing, een aantal dossiers niet adequaat worden gecodeerd. Men gebruikte toen de code 799.x. De mortaliteit in deze groep van dossiers, waarin geen systematische selectie van overledenen of overlevenden was opgetreden, was dan ook ongeveer gelijk aan de ruwe ziekenhuissterfte, zie tabel 3. Hoofdstuk 3 Effecten van codeervariaties op HSMR Het effect van de beschreven codeervariaties op de HSMR is achteraf moeilijk te corrigeren, maar de impact kan groot zijn. Het totaal van potentieel onterecht uitgesloten opnamen is namelijk , zie tabel 2 laatste kolom; dat is 40% van het aantal opnamen dat wél meetelde voor de HSMR ( ). Uit de interviews bleek dat ziekenhuis A met de codes 799.x onevenredig veel patiënten die in leven bleven, uitsloot van de HSMR-berekening. Dat verhoogt de HSMR-waarde voor dit ziekenhuis. In ziekenhuis C waren onevenredig veel overleden patiënten uitgesloten van de berekening; dit verlaagt de HSMR. Voor deze opnamen met code 799.x hebben wij een ruwe HSMR-correctie bepaald, zie tabel 6. 47

48 De HSMR beproefd TABEL 6 Correctie van de HSMR voor onevenredige toekenning van de ICD-9-codes en (onbekende diagnose) in zeven topklinische ziekenhuizen. parameter* N verwacht aantal sterfgevallen onder patiënten opgenomen met ICD-9- code of (J M) ziekenhuis A B C D E F G P sterftesurplus (0,8 (K - N)) Q verwachte sterftesurplus (0,0365-4,9 0 15,8 0-0,1 0,2 0,1 P) waargenomen ziekenhuissterfte R ongecorrigeerd S gecorrigeerd (R + P) verwachte ziekenhuissterfte** T ongecorrigeerd U gecorrigeerd (T + Q) HSMR ongecorrigeerd (R / T 100) 95,7 113, ,6 95, ,5 gecorrigeerd (S/U 100) 90,7 113,7 104,4 64,6 95,2 109,2 94,7 * De letters verwijzen naar parameters gebruikt in de berekeningen; parameters J, K, en M staan in tabel 3. Dit aantal is berekend als het aantal opnamen per ziekenhuis met deze ICD-9-code maal de ruwe ziekenhuissterfte; de getallen voor deze berekening staan in tabel 3. Het sterftesurplus is de waargenomen sterfte min het verwachte aantal sterfgevallen onder patiënten die voor de hoofddiagnose de ICD-9-code of kregen. Dit getal wordt vermenigvuldigd met 0,8 omdat onder de opnamen die meetellen voor de HSMR-berekeningen 80% van de sterfgevallen in het ziekenhuis voorkomen. Dit is een schatting van de verwachte sterfte van het aantal patiënten dat ten onrechte de code diagnose onbekend kreeg en overleed aan een aandoening die meetelt bij de HSMR-berekening. De waargenomen ziekenhuissterfte is de teller in de berekening van de HSMR. Bij de gecorrigeerde waarde zijn ook de sterfgevallen meegeteld van patiënten die ten onrechte de code diagnose onbekend hadden gekregen. ** De verwachte ziekenhuissterfte is de noemer in de berekening van de HSMR. Bij de gecorrigeerde waarde zijn de patiënten meegeteld die ten onrechte de code diagnose onbekend kregen en overleden aan een aandoening die meetelt bij de HSMR-berekening. Hier bespreken wij deze correctie voor ziekenhuis C als voorbeeld. Van alle opnamen in de periode 2003 t/m 2007 heeft ziekenhuis C opnamen gecodeerd met een diagnose onbekend (7% van totaal). Voor de bepaling van 48

49 Aard en invloed van registratievariatie de HSMR van C is dus 93% van de opnamen beschikbaar en 7% valt af. Op zich zou dat geen bezwaar hoeven zijn als die 7% een willekeurig gekozen groep was, zonder selectie van ontslagen of overleden patiënten. Volgens tabel 3 echter is de mortaliteit in deze diagnosegroep met 739 sterfgevallen 4,37%, terwijl de ruwe ziekenhuismortaliteit voor alle opnamen van ziekenhuis C circa 1,16% bedraagt, zie tabel 3. Als de patiënten met diagnose onbekend willekeurig gekozen waren, zouden dus 197 sterfgevallen zijn opgetreden. Er zitten dus circa = 542 sterfgevallen teveel in deze groep (surplus). Het surplus aan sterfgevallen moeten we in de HSMR-berekening meewegen met de overige 93% van de opnamen. Aangezien circa 80% van de sterfgevallen in deze 93% geïncludeerd wordt bij de HSMR-berekening, voegen we eveneens 80% van 542 = 434 sterfgevallen toe aan de waargenomen sterfte (de teller van de HSMR-berekening, zie tabel 1) ter correctie. Tot slot moet ook de verwachte sterfte in het ziekenhuis (de noemer) een bescheiden correctie ondergaan, omdat er nu 434 patiënten méér meetellen in de nieuwe HSMR-berekening. Omdat de hoofddiagnoses van deze 434 patiënten onbekend zijn, schatten we de verwachte sterftekans per patiënt op de verwachte mortaliteit van de gehele HSMR-populatie (3,65%, niet in tabel). De noemer moet dus verhoogd worden met 434 3,65% = 15,8. In principe verloopt de berekening voor de overige ziekenhuizen identiek. De onderste rij van tabel 6 toont de gecorrigeerde HSMR-uitkomsten. Hoofdstuk 3 Discussie Dit hoofdstuk laat zien hoe een aantal vormen van codeervariatie van invloed is op de hoogte van de HSMR. De opnameverdelingen van diagnoses die niet meetelden bij de HSMR-berekening, zie tabel 2, toonden een grote variatie tussen ziekenhuizen. Ziekenhuis C bijvoorbeeld registreerde opnamen onder de diagnose follow-uponderzoek na chemotherapie (niet geïncludeerd bij HSMR-berekening), terwijl de andere ziekenhuizen onder deze diagnosetitel bij elkaar slechts 70 opnamen codeerden. Hierbij is niet meteen duidelijk onder welke diagnosetitel deze ziekenhuizen dergelijke follow-uponderzoeken dan wél geregistreerd hebben. Als zij in plaats van follow-uponderzoek de code voor een oncologische aandoening gebruikt hebben, dan wordt die geïncludeerd bij de HSMR-berekening en kan vertekening van de HSMR-uitkomst zijn opgetreden. In zekere zin doet dit probleem zich voor bij alle achttien diagnosetitels in tabel 2. De meeste hiervan beschrijven een handeling waarbij de onderliggende aandoening niet of onvoldoende specifiek kan worden afgeleid. De vraag is nu of en zo ja, hoe vaak opnamen onterecht worden uitgesloten van de HSMR- 49

50 De HSMR beproefd berekening als gevolg van codeervariatie. De resultaten van ons onderzoek suggereren dat dit in een substantieel aantal gevallen gebeurt, maar een harde uitspraak hierover is niet mogelijk. Om twijfels in de toekomst weg te nemen is het dan ook wenselijk hoofddiagnoses uniformer te coderen en de codes voor diagnose onbekend te vermijden, evenals diagnosetitels die een handeling in plaats van een aandoening beschrijven. De opnamen die wél meetelden bij de HSMR-berekening vertoonden aanzienlijke variaties in de coderingen van de opname-urgentie en nevendiagnoses. In ziekenhuis B is een laag percentage van de opnamen met een acute ICD-9-code ook daadwerkelijk als acute opname geregistreerd. Dit heeft het ziekenhuis waarschijnlijk gevoelig benadeeld. De mortaliteit bij acute opnamen is gemiddeld namelijk veel hoger dan bij niet acute opnamen (7,2% versus 1,4%). De verwachte sterfte was in ziekenhuis B lager dan deze moest zijn door alle onterecht als niet acuut gecodeerde opnamen; de HSMR werd daardoor hoger. Deze vorm van codeervariatie had dus een vertekening van de HSMR tot gevolg. Toepassing van uniforme codeerafspraken is dan ook wenselijk. De spreiding in het gemiddeld aantal nevendiagnoses was opmerkelijk groot (0,9 3,0). Deze werkte door in de charlsonindex, die voor ziekenhuis D hoge scores opleverde en daarmee de HSMR van D gunstig beïnvloedde. De hoge score van D leek verband te houden met het zeer volledig coderen door dit ziekenhuis; de overige ziekenhuizen coderen nevendiagnoses kennelijk minder volledig. Deze codeervariatie zou kunnen inhouden dat de huidige nevendiagnoseregistraties in de LMR een wankele basis vormen voor de charlsonindex bij de HSMR-berekening. Impact van codeervariaties op HSMR Voor een aantal gevallen konden wij een ruwe schatting maken van de impact van codeervariatie op de HSMR. Zo scoorde ziekenhuis A vijf HSMR-punten lager (gunstiger), en C 22 punten hoger (ongunstiger) na correctie voor variatie in de verdeling van de code 799.x (diagnose onbekend) over de ziekenhuizen. Ziekenhuis G, waar deze code was toegekend aan een aselecte groep patiënten, ondervond daar nauwelijks invloed van. Gebruik van de codes 799.x kan de HSMR-uitkomsten sterk beïnvloeden en zou derhalve vermeden moeten worden. Ziekenhuizen B en D slaagden daar goed in. Ook bij de overige zestien onderzochte codes en diagnoses trad codeervariatie op. Het ging hierbij om grote aantallen ( ) waarbij voor iedere diagnose alternatieve codes beschikbaar waren die wél meetelden bij de HSMR-berekening, zoals hartaandoeningen, longaandoeningen en oncologische aandoeningen. Daarom is het wenselijk 50

51 Aard en invloed van registratievariatie om diagnosetitels zoals screening en nazorg zoveel mogelijk te vermijden en in plaats daarvan onderliggende aandoeningen, die de indicatie vormden voor opname, te achterhalen. Ziekenhuizen A, D en G slaagden daar beter in dan de andere; wellicht houden hun lagere HSMR-scores hier verband mee, zie tabel 6, gecorrigeerde HSMR. Tot slot bleken ook codeervariaties in de registratie van opname-urgentie en nevendiagnoses een potentieel sterke invloed op de HSMR te kunnen hebben. Oorzaken codeervariaties Codeervariaties zijn terug te voeren op tijdsdruk door een beperkt aantal codeurs, interpretatieverschillen van codeerregels, te late aanlevering van dossiers, codeervergissingen en enige vrijheid bij het kiezen van ICD-9-codes voor de hoofddiagnose. Dit laatste hangt samen met een matige verslaglegging door de arts; codeurs kunnen dan meer naar eigen inzicht interpreteren of slechts een behandelingsomschrijving kiezen. Codeerfouten door codeurs hebben wij niet onderzocht. Uit intern onderzoek bleken vergissingen bij hoofddiagnoses relatief weinig op te treden, zoals ook door anderen is vastgesteld. 7 Hoofdstuk 3 Kanttekeningen bij het onderzoek De analyse van verschillen in opnameverdelingen is een hulpmiddel om codeervariaties van hoofddiagnoses op het spoor te komen, maar kan codeervariaties niet met zekerheid vaststellen. Met de interviews konden we vermoedens van codeervariaties lang niet altijd bevestigen. Ook de 33 ICD-9- diagnosetitels voor acute aandoeningen vormden geen gouden standaard voor het toetsen van de codering voor opname-urgentie. De analyse hiervan gaf wel een indicatie dat codeervariatie was opgetreden. De variatie in het aantal nevendiagnoses leek groot, maar werd wellicht uitsluitend bepaald door variatie in de patiëntkenmerken. Voor meer zekerheid en een adequate HSMR-correctie zouden de drie onderzochte parameters voor veel opnamen opnieuw gecodeerd moeten worden, maar dat is onhaalbaar. Het onderzoek werd uitgevoerd in een samenwerkingsverband van zes grote ziekenhuizen. Kenmerkend voor deze ziekenhuizen is dat ze naast een breed aanbod van basiszorg topklinische zorg bieden en als tertiaire centra functioneren. Tevens hebben ze min of meer gelijke opleidingen tot specialist en universitaire affiliaties. Tot slot wisselen de ziekenhuizen onderling gegevens uit op diverse niveau s. Dit maakt het samenwerkingsverband geschikt om een kwaliteitsinstrument zoals de HSMR te toetsen. De omstandigheden waaronder 51

52 De HSMR beproefd de coderingen tot stand kwamen zullen niet veel verschillen van die in andere topklinische ziekenhuizen. Bij algemene en academische ziekenhuizen verschillen de omstandigheden meer vanwege verschillen in de complexiteit van aandoening en verschillen in de organisaties. Wij hebben dit niet onderzocht. Maatregelen ter verbetering HSMR-berekening In dit hoofdstuk signaleren wij problemen die samenhangen met variaties in de LMR-codering die leiden tot vertekening van de HSMR. Verder hebben wij vastgesteld dat hier diverse oorzaken aan ten grondslag liggen, die te maken hebben met de situatie in de ziekenhuizen. Het ene ziekenhuis kampt met een tekort aan codeurs, bij een ander ziekenhuis levert een aantal maatschappen statussen te laat aan, bij een derde ziekenhuis wordt een overmaat aan onbestemde diagnoses gecodeerd. En weer een ander ziekenhuis interpreteert de regels voor urgentiecodering anders dan de rest. Er is dus niet één algemeen recept voor succesvolle maatregelen ter verbetering binnen de zes ziekenhuizen, laat staan voor alle ziekenhuizen in Nederland. Een eerste belangrijke stap in de goede richting is het onderkennen van het probleem binnen de ziekenhuizen en het geven van een hoge prioriteit aan het oplossen hiervan. De raden van bestuur van de zes ziekenhuizen hebben daarom besloten deze problematiek breed aan te pakken. Hierbij worden medisch specialisten, hoofden van de afdelingen Financiën en Informatievoorziening, codeurs en hun leidinggevenden betrokken. De aanpak richt zich op de bewustwording bij artsen van het belang van tijdige aanlevering van adequate statussen, het inzetten van voldoende codeurs (tenminste 0,6 fte ervaren codeur per opnamen) en instructies aan alle codeurs over het uniform coderen van hoofddiagnose, nevendiagnoses en opname-urgentie. Het doel is om betrouwbare LMR-data over registratiejaar 2010 te realiseren, zodat de HSMRs over 2010 beter onderling vergelijkbaar zullen zijn. Tevens bereiden de zes ziekenhuizen zich hiermee voor op de aanstaande veranderingen van de LMR in het kader van het project DBC s op weg naar transparantie en de toekomstige overgang naar ICD-10-codes. De zes ziekenhuizen beogen met deze aanpak een herhaling van de problemen te voorkomen bij de introductie van de vernieuwde LMR. 52

53 Aard en invloed van registratievariatie Conclusies Er zijn grote verschillen tussen ziekenhuizen in de codering van de hoofddiagnose, nevendiagnoses en opname-urgentie bij ziekenhuisopnamen. Dit leidt tot vertekening van de HSMR. Codeervariaties bleken vooral voort te komen uit interpretatieverschillen bij het coderen en verschillen in codeercapaciteit, de kwaliteit van ontslagbrieven en dossiers en de beschikbaarheid van de dossiers. Bewustwording van het probleem van de codeervariaties en prioriteit geven aan de oplossing hiervan verdient navolging bij andere ziekenhuizen in Nederland. Alle stappen van het codeerproces binnen het ziekenhuis zouden hierbij gescreend kunnen worden op de tekortkomingen die wij beschreven hebben. Wellicht komen daarbij ook nog andere, hier niet gesignaleerde problemen aan het licht. Hoofdstuk 3 Literatuur 1. Jarman B, Gault S, Alves B, Hider A, Dolan S, Cook A, et al. Explaining differences in English hospital death rates using routinely collected data. BMJ. 1999;318: Jarman B, Bottle A, Aylin P, Browne M. Monitoring changes in hospital standardised mortality ratios. BMJ. 2005;330: Borghans HJ, Pieter D, Hoenen JAHJ, Kool RB. De toepasbaarheid van de HSMR in het toezicht van de Inspectie voor de Gezondheidszorg. Utrecht: Prismant; Ministerie van VWS. Antwoorden op kamervragen van Koser Kaya over het bericht dat ziekenhuizen zwijgen over hun sterftecijfers, Kamerstuk CZ-K-U februari Mohammed AH, Deeks JJ, Girling A, Rudge G, Carmalt M, Stevens AJ, et al. Evidence of methodological bias in hospital standardised mortality ratios: retrospective database study of English hospitals. BMJ. 2009;338:b Bosch WF van den, Roozendaal KJ, Silberbusch J. Schommelende sterftecijfers, HSMR nog geen betrouwbare maat voor zorgkwaliteit. Medisch Contact. 2009;64: Geelkerken RH, Mastboom WJB, Bertelink BP, Palen J van der, Berg M, Kingma JH. Een onrijp instrument, Sterftecijfer niet geschikt als maat voor ziekenhuiskwaliteit. Medisch Contact. 2008;63:

54

55 4 aard en invloed van variatie door bijzondere medische verrichtingen Dit hoofdstuk werd gepubliceerd als: Bosch WF van den, Graafmans WC, Pieter D, Westert GP. Hartcentra en de HSMR. Het effect van bijzondere medische verrichtingen op het gestandaardiseerde ziekenhuissterftecijfer. Ned Tijdschr Geneeskd. 2008;152:

56 De HSMR beproefd Samenvatting Doel Vaststellen van de invloed van bijzondere medische verrichtingen (BMV s) voor hartaandoeningen op het gestandaardiseerde ziekenhuissterftecijfer (HSMR) in hartcentra. Opzet Retrospectief, berekening van de HSMR. Methode Gegevens uit de landelijke medische registratie van 2004 werden gebruikt om de HSMR te berekenen voor twaalf hartcentra en alle overige ziekenhuizen in Nederland. Vervolgens werd de HSMR voor de hartcentra opnieuw berekend met weglating van het aantal opnamen voor hetzij dotterbehandeling (PTCA), hetzij openhartoperatie, hetzij beide ingrepen, om de invloed van deze BMV s op de HSMR vast te stellen. Resultaten Door het weglaten van het aantal opnamen voor de BMV s veranderde de HSMR van individuele hartcentra (uitersten: van 4,7% tot +5,3%). Deze spreiding in de verandering van de HSMR hield verband met de verhouding tussen de twee BMV s. PTCA s hadden een lager en openhartoperaties een hoger dan gemiddeld sterfterisico. Het aandeel PTCA s op het totale aantal opnamen varieerde van 5,6 tot 20,2% per ziekenhuis. Het uitvoeren van relatief veel PTCA s droeg bij aan een lagere HSMR, tot maximaal bijna 7% verlaging in één hartcentrum. Openhartoperaties maakten 2,1 tot 12,6% uit van het totale aantal ziekenhuisopnamen in de hartcentra. Het uitvoeren van relatief veel openhartoperaties droeg bij aan een hogere HSMR, tot maximaal bijna 8% in een van de hartcentra. Conclusies De BMV s voor hartaandoeningen hebben invloed op de HSMR van hartcentra. De verhoging of verlaging houdt verband met de relatieve frequentie van het uitvoeren van PTCA s en openhartoperaties. Deze resultaten kunnen worden gebruikt voor het interpreteren van verschillen in de HSMR tussen hartcentra en andere ziekenhuizen. 56

57 Aard en invloed van variatie door bijzondere medische verrichtingen Inleiding Ruwe sterftecijfers van ziekenhuizen zijn lastig te vergelijken omdat patiënten populaties tussen ziekenhuizen verschillen. Zoals hiervoor al aangegeven, kan hiervoor worden gecorrigeerd door het gebruiken van de HSMR, al langer gebruikt in het Verenigd Koninkrijk. 1, 2 Dat het sterftecijfer beïnvloed kan worden door kwaliteitsinitiatieven werd bijvoorbeeld zichtbaar in het Bradford Teaching Hospital. De HSMR werd door gerichte verbetertrajecten in een periode van vijf jaar teruggebracht van 95 naar De HSMR is dus toegepast om trends binnen een ziekenhuis te monitoren, maar de HSMR is ook gesuggereerd als maat voor het vergelijken van de kwaliteit van zorg tussen ziekenhuizen 4 ten behoeve van zorginkoop of ten behoeve van patiënten, zoals in het move-your-dot -programma ( nieuwsitem/article/pilotproject-move-your-dot-van-start). Bij een vergelijking tussen ziekenhuizen rijst de vraag over de vergelijkbaarheid van ziekenhuizen. Een mogelijke vertekening zou kunnen optreden bij het vergelijken van specialistische centra met overige ziekenhuizen. Specialistische centra zijn geautoriseerd om bijzondere medische verrichtingen (BMV s) uit te voeren, zoals vastgelegd in de Wet op Bijzondere Medische Verrichtingen en Bijzondere Hartinterventies (WBMV). Patiënten worden veelal verwezen naar deze ziekenhuizen als er behoefte is aan een BMV. Door deze verwijzingen kan de patiëntenpopulatie afwijken van andere, niet specialistische ziekenhuizen. Deze verschillen in patiëntenpopulaties kunnen van invloed zijn op de HSMR, omdat de standaardiseringsmethode van de HSMR hier mogelijk niet volledig voor corrigeert. Voor een vergelijking van de HSMR tussen ziekenhuizen is een goede correctie voor patiëntkenmerken van groot belang. Daarnaast zijn er nog meer factoren die mogelijk de interpretatie van verschillen tussen ziekenhuizen bemoeilijken, zoals verschillen in codering van diagnoses, verschillen in ontslagbeleid en, zoals gezegd, het al dan niet uitvoeren van BMV s, zie figuur 1. In deze studie hebben wij onderzocht of de HSMR in de hartcentra in Nederland beïnvloed wordt door het uitvoeren van BMV s gerelateerd aan hartaandoeningen. Hebben hartcentra door het uitvoeren van bijvoorbeeld dotterbehandelingen of openhartoperaties systematisch een hogere of een lagere HSMR dan de ziekenhuizen die geen hartcentrum zijn? Hoofdstuk 4 Methode Voor de behandeling van hartaandoeningen mogen zeventien hartcentra in Nederland openhartoperaties en dotterbehandelingen (PTCA s) uitvoeren; beide 57

58 De HSMR beproefd zijn BMV s. PTCA s worden met name toegepast bij de diagnosegroepen acuut myocardinfarct en coronaire arteriosclerose en overige hartaandoeningen van het Clinical classification system (CCS). Openhartoperaties worden met name toegepast bij de CCS-diagnosegroepen hartklepaandoeningen en coronaire arteriosclerose en overige hartaandoeningen. De zeventien hartcentra behandelen de gehele landelijke patiëntengroep die aangewezen is op een specifieke BMV voor hartaandoeningen. Hierbij behandelt een hartcentrum patiënten uit het eigen adherentiegebied, maar het grootste deel van de patiëntengroep is verwezen vanuit een ander ziekenhuis. Patiënten worden onder meer verwezen als een ziekenhuis de noodzakelijk geachte verrichting zelf niet kan of mag uitvoeren, omdat die een BMV is. patiënt patiëntkenmerken kwaliteit van zorg structuur processen ontslagbeleid terminale pati ënten bijzondere medische verrichtingen ziekenhuissterfte gestandaardiseerde sterfte (HSMR) medisch coderen van onder andere patiëntkenmerken FIGUUR 1 Schematische voorstelling van factoren die de HSMR kunnen beïnvloeden. Gegevensverzameling Om de invloed van het uitvoeren van BMV s op de HSMR in de hartcentra te onderzoeken, hebben wij gegevens uit de landelijke medische registratie (LMR) van 2004 geanalyseerd. In deze database hebben wij de sterfte onderzocht in een aantal categorieën: (a) alle ziekenhuisopnamen; (b) alle ziekenhuisopnamen exclusief de PTCA s en openhartoperaties; (c) alle ziekenhuisopnamen exclusief de PTCA s; en (d) alle ziekenhuisopnamen exclusief de openhartoperaties. In deze vier categorieën 58

59 Aard en invloed van variatie door bijzondere medische verrichtingen is de ruwe sterfte berekend, evenals de HSMR. Met deze cijfers is vervolgens vastgesteld in hoeverre de HSMR veranderde door exclusie van de BMV s. Door één type BMV te excluderen werd zichtbaar wat de impact was van deze BMV op de HSMR. Als de exclusie van een BMV resulteerde in een verhoging van de HSMR, maakten wij daaruit op dat die BMV de regulier berekende HSMR verlaagde. Exclusie van centra Wij hebben vijf van de zeventien hartcentra niet meegenomen in de analyses voor het bepalen van de veranderingen van de HSMR. In deze vijf centra was de kwaliteit van de gegevens onvoldoende om bij te kunnen dragen aan de conclusies. In de gegevens van één centrum ontbrak het veld urgentie ; dit centrum viel af omdat in het algemeen de sterfte onder acuut opgenomen patiënten aanzienlijk hoger was dan onder electief opgenomen patiënten. Bij één centrum ontbrak de PTCA-codering, zodat een vergelijking met andere centra niet mogelijk was; PTCA s vormen immers meer dan de helft van de BMV s voor hartaandoeningen; ook dit centrum viel af. In drie centra was het veld diagnose onbekend buitengewoon vaak gebruikt in combinatie met een sterk van het gemiddelde afwijkende sterfte: van één centrum was bij 43% van alle ziekenhuisopnamen de diagnose onbekend (sterfte: 0,75%); van het tweede centrum was dit 29% (sterfte: 0,0%) en in het derde centrum ging het om 244 opnamen (sterfte: 18%; 44 patiënten met de diagnose onbekend overleden). Omdat de diagnose onbekend niet meetelt in de HSMR, kan de HSMR-uitkomst voor de eerste twee centra nadelig en voor het derde centrum voordelig uitvallen. Omdat tevens onbekend is of ook hartaandoeningen geboekt werden onder deze diagnosenaam, hebben wij ook deze drie ziekenhuizen uitgesloten van de analyse. Hoofdstuk 4 Berekening HSMR De HSMR werd berekend volgens de methode die in Nederland door Prismant en de Praktijkindex wordt toegepast in In deze methode worden 50 CCSdiagnosegroepen geselecteerd die 80% van de ziekenhuissterfte bepalen. Alle klinische- en dagopnamen van patiënten met een diagnose uit deze groepen worden in de berekening meegenomen. Met een logistische regressieanalyse wordt een verwachte sterftekans per opname uitgerekend. In dit regressiemodel is ziekenhuissterfte de afhankelijke variabele en worden, zoals gezegd, de volgende determinanten meegenomen: leeftijd, opname-urgentie, geslacht, verpleegduur, hoofddiagnose en jaartal. In onze studie speelde het jaartal geen rol, omdat alleen gegevens uit 2004 werden gebruikt. Voor de regressieanalyse gebruikt deze methode gegevens van alle ziekenhuizen in Nederland. 59

60 De HSMR beproefd Resultaten In 2004 zijn binnen de 50 CCS-groepen van de HSMR in totaal opnamen geregistreerd in de LMR-registratie; opnamen hiervan (29,6%) vallen binnen de zeventien hartcentra. Van twaalf van deze hartcentra was de kwaliteit van de data voldoende voor analyse; in deze centra vonden in totaal opnamen plaats (21,4% van het totale aantal opnamen). De ruwe ziekenhuissterfte (aantal sterftes gedeeld door aantal opnamen) voor alle ziekenhuisopnamen in 2004 was 4,3%; voor de zeventien hartcentra was dat 3,9%. In totaal opnamen betroffen een BMV voor hartaandoeningen; dit komt overeen met 5,4% van alle opnamen binnen de genoemde 50 CCS-groepen. Van de opnamen met een BMV vond 86% plaats in een hartcentrum, de overige 14% in andere ziekenhuizen waar onder toezicht van een hartcentrum PTCA s werden verricht. Van de opnamen voor een BMV waren er (3,2% van het totale aantal opnamen) voor een dotterbehandeling (PTCA) en (2,2%) voor een openhartoperatie. De ruwe mortaliteit voor de BMV s voor hartaandoeningen was 1,7%. Uitgesplitst naar PTCA en openhartoperaties bedroeg de ruwe mortaliteit respectievelijk 1,0 en 2,7%. Wij onderzochten de invloed van de ruwe sterftecijfers voor BMV s op de HSMR door de gecorrigeerde sterfte te berekenen voor de opnamen mét en zónder de BMV s. De HSMR in de twaalf hartcentra in 2004 bedroeg gemiddeld 101,9, met uitersten van in de individuele centra. Na exclusie van de BMV s in de HSMRberekening bleef de gemiddelde HSMR in de twaalf hartcentra onveranderd 101,9. Er was dus geen systematisch effect van de BMV s op de HSMR van de gezamenlijke hartcentra. De HSMR van de individuele hartcentra veranderde echter wél: in een aantal ziekenhuizen was de HSMR lager na exclusie van de BMV s en in een aantal ziekenhuizen hoger. Het verschil tussen de HSMR mét BMV s en de HSMR zónder BMV s in de twaalf hartcentra varieerde van 4,7% tot +5,3%. Om meer inzicht te krijgen in de achtergrond van deze variatie hebben wij de analyse opgesplitst voor de belangrijkste BMV s: de PTCA en de openhartoperatie. Dotterbehandelingen (PTCA) Exclusie van de PTCA-opnamen in de berekening van de HSMR resulteerde in een hogere HSMR: gemiddeld 104,4 over de twaalf hartcentra, tegen 101,9 in de analyse van alle opnamen. Voor de twaalf hartcentra neemt de HSMR gemiddeld toe met 2,5%; de verandering in HSMR per hartcentrum varieerde van 0,6% (lichte afname) tot 6,9% (toename). In de individuele hartcentra varieerde het aandeel PTCA s van 5,6% tot 20,2% van het totale aantal opnamen dat meetelde voor de berekening van de HSMR per centrum. 60

61 Aard en invloed van variatie door bijzondere medische verrichtingen verandering HSMR (in%) dotterbehandelingen (% van totaal aantal ziekenhuisopnamen) FIGUUR 2 Invloed van dotterbehandelingen (x-as) op de HSMR (y-as) in twaalf hartcentra. * Het aantal dotterbehandelingen is weergegeven als percentage van het totale aantal opnamen dat meetelde voor de HSMR per hartcentrum. Op de y-as is weergegeven hoe sterk de HSMR van een hartcentrum veranderde als de dotterbehandelingen niet werden meegeteld; de verandering is per hartcentrum uitgedrukt als het verschil in de HSMRwaarden berekend mét en zonder dotterbehandeling. De punten stellen afzonderlijke hartcentra voor. Hoofdstuk 4 Figuur 2 illustreert het verband tussen het aandeel opnamen voor PTCA in het totale aantal ziekenhuisopnamen en de invloed van PTCA op de totale HSMR. In bijna alle hartcentra bleek de HSMR hoger te worden als men de PTCA-opnamen bij de berekening wegliet. De regressielijn in deze grafiek geeft aan dat deze stijging groter was naarmate het aandeel PTCA-behandelingen per centrum groter was; de grootste verhoging van de HSMR als de opnamen voor PTCA niet werden meegeteld, was 6,9%. Dit betekent dat het wél meetellen van PTCAbehandelingen voor hartcentra resulteert in een lagere HSMR. Openhartoperaties Evenals voor PTCA hebben wij ook voor openhartoperaties berekend wat de invloed was van het al dan niet meetellen daarvan op de HSMR. Exclusie van de openhartoperaties in de berekening van de HSMR resulteerde in een gemiddelde daling van de HSMR in de twaalf hartcentra van ongeveer 2,5%. In alle hartcentra bleek de HSMR te verbeteren, dat wil zeggen lager te worden, als de opnamen voor openhartoperaties waren weggelaten bij de berekening. Deze verlaging van de HSMR varieerde van 0,1% tot 7,7% per hartcentrum. Het aandeel openhartoperaties in de twaalf hartcentra varieerde van 2,1% tot 12,6% van het totale aantal ziekenhuisopnamen. Zie figuur 3. 61

62 De HSMR beproefd 0-1 verandering HSMR (in%) open hartoperaties (% van totaal aantal ziekenhuisopnamen) FIGUUR 3 Relatie tussen het aandeel openhartoperaties in het totale aantal opnamen per hartcentrum en de verlaging van de HSMR door het weglaten van openhartoperaties uit de berekeningen. * De regressielijn in de grafiek geeft aan dat deze verlaging groter was naarmate het aandeel openhartoperaties per centrum groter was; de grootste verlaging was 7,7%. Dit betekent dat het wél meetellen van openhartoperaties voor de hartcentra een hogere HSMR tot gevolg had. Veranderingen in HSMR bij exclusie van alle BMV s Zoals wij al opmerkten, varieerden de individuele veranderingen in de HSMR voor de twaalf hartcentra van 4,7% tot +5,3% na exclusie van BMV s. Deze veranderingen hingen samen met de verhouding tussen het aandeel PTCA s en het aandeel openhartoperaties per centrum. Hoe groter het aandeel PTCA s was, des te groter de verhoging van de HSMR als ze werden weggelaten. Hoe meer openhartoperaties werden weggelaten, des te lager werd de HSMR. Het gecombineerde effect hiervan is weergegeven in figuur 4. Het percentage PTCA minus het percentage openhartoperaties per centrum is de variabele op de x-as. Punten uiterst links in de grafiek corresponderen met relatief veel openhartoperaties en punten uiterst rechts met relatief veel PTCA s. De grafiek geeft per hartcentrum de relatie weer tussen het verschil in de percentages uitgevoerde PTCA s en openhartoperaties en de verandering van de HSMR na exclusie van deze BMV s. De x-as-variabele varieerde van 3,4% (meer openhartoperaties dan PTCA s) tot 9,7% (meer PTCA s dan openhartoperaties). De regressielijn in figuur 4 geeft aan dat naarmate een centrum meer PTCA s en minder openhartoperaties uitvoert, de exclusie hiervan resulteert in een hogere HSMR. Als wij deze BMV s wél meetellen, betekent dit dus dat relatief veel PTCA s een verlagend effect op de HSMR hebben en relatief veel openhartoperaties een verhogend effect.

63 Aard en invloed van variatie door bijzondere medische verrichtingen verandering HSMR (in%) veel openhartoperaties % dotterbehandelingen minus % open hartoperaties per hartcentrum veel dotterbehandelingen FIGUUR 4 Invloed van zowel dotterbehandelingen als openhartoperaties (x-as) op de HSMR (y-as) in twaalf hartcentra. * De verhouding tussen de twee behandelingen is weergegeven als het percentage dotterbehandelingen minus het percentage openhartoperaties per centrum. Op de y-as is weergegeven hoe sterk het gestandaardiseerde ziekenhuissterftecijfer (HSMR) van een hartcentrum veranderde als geen van beide behandelingen werd meegeteld; de verandering is per hartcentrum uitgedrukt als het verschil in de HSMR-waarden berekend mét en zonder bijzondere medische verrichtingen (dotterbehandeling en openhartoperatie). De punten stellen afzonderlijke hartcentra voor. Hoofdstuk 4 Discussie De sterfte bij de BMV s in de hartcentra is een beperkt deel van de totale sterfte zoals die in de HSMR wordt weergegeven. Dit beperkte deel heeft wel invloed op de totale HSMR, in de orde van grootte van een aantal procenten. De richting van deze invloed hangt af van de verrichting die het meest wordt uitgevoerd, PTCA of openhartoperatie, en tevens van de kwaliteit waarmee de BMV is uitgevoerd. De keuze voor het uitvoeren van een openhartoperatie of een PTCA wordt voor een belangrijk deel bepaald door de situatie van de patiënt. De meeste patiënten worden verwezen naar een van de zeventien hartcentra om een BMV te laten uitvoeren; hierbij is het type BMV door het verwijzende ziekenhuis al vastgelegd. Slechts in een beperkt aantal gevallen wordt afgeweken van dit verzoek. De verhouding tussen de aantallen van beide typen ingrepen kan daarom niet direct als een kwaliteitsaspect worden beschouwd. De invloed hiervan op de HSMR in de hartcentra varieerde van 4,7% tot +5,3%, waarbij naar schatting 2,5% tot +2,5% (uitersten van de regressie lijn in figuur 4) toe te schrijven is aan BMV- 63

64 De HSMR beproefd gerelateerde risico s. De spreiding rond de regressielijn in figuur 4 geeft mogelijk aan dat er verschillen zijn in de kwaliteit van de behandeling of de aanwezigheid van andere bronnen van variatie. De hartcentra 4 tot en met 10 in het midden van de grafiek, zie figuur 4, lijken de minste invloed op de HSMR te ondervinden, omdat de lagere sterfte bij PTCA s ongeveer opweegt tegen de hogere sterfte bij openhartoperaties (regressielijnvariatie van 0,5% tot +0,5% op de HSMR). De HSMR van de hartcentra 1 tot en met 3 lijken systematisch verhoogd te zijn als gevolg van het uitvoeren van relatief veel openhartoperaties. Opmerkelijk is de positie van hartcentrum 11 in figuur 4. Gezien het verschil van het aandeel PTCA s en het aandeel openhartoperaties in dit hartcentrum (7,3%) zou men op basis van de regressielijn verwachten dat exclusie van alle BMV s de HSMR met circa 1,5% zou verhogen. In werkelijkheid zagen wij een verlaging met 5,3% als wij de BMV s niet meetelden. Andere factoren spelen hier een belangrijke rol, zoals mogelijk de kwaliteit van de zorg of bias in de codering van de patiëntkenmerken. De resultaten van dit onderzoek kunnen bruikbaar zijn bij de interpretatie van de HSMR- gegevens van de hartcentra. Als een centrum relatief veel PTCA s uitvoert, kan de HSMR met een aantal procenten dalen. Relatief veel openhartoperaties kunnen de HSMR met een aantal procenten opschroeven. Aan de andere kant is het ook belangrijk te weten dat de invloed van de BMV s op de HSMR uiteindelijk beperkt is tot een maximum van ongeveer 6%, zoals de resultaten van deze studie laten zien. Deze invloed op de HSMR bepaalt mede de positie van een ziekenhuis ten opzichte van andere ziekenhuizen, maar zal niet leiden tot wezenlijk andere conclusies. De HSMR wordt verder ontwikkeld door Prismant en de Praktijkindex. In 2008 is een aangepast model geïntroduceerd om de HSMR te berekenen. Dit model corrigeert, afhankelijk van de diagnosegroep, voor de zes eerdergenoemde factoren aangevuld met nevendiagnoses, sociale herkomst, maand en heterogeniteit van de diagnosegroep. Dit nieuwe HSMR-model kan onze resultaten mogelijk enigszins beïnvloeden, maar ook in dit model wordt bewust niet gecorrigeerd voor verrichtingen zoals de BMV s. BMV s zijn geen patiëntkenmerken in strikte zin, maar onderdeel van de processen in de zorg. Doordat patiënten worden verwezen voor deze ingrepen en alleen de hartcentra deze ingrepen mogen uitvoeren, gaat het in hartcentra om een speciale vorm van het zorgproces. Daar kunnen wij rekening mee houden bij de interpretatie van de HSMR als wij de invloed op de HSMR kunnen schatten en de achtergronden begrijpen, zoals uitgewerkt in deze studie. De HSMR is gevoelig voor de verschillen in het sterfterisico tussen PTCA en openhartoperatie. Ook bij het vergelijken van ziekenhuizen kunnen wij daarmee rekening houden. De verhouding van het aantal PTCA s en openhartoperaties 64

65 Aard en invloed van variatie door bijzondere medische verrichtingen kan worden meegenomen bij het vergelijken van hartcentra onderling aan de hand van de HSMR, maar ook bij het volgen van de trend in de HSMR van een individueel hartcentrum en bij de vergelijking van hartcentra met ziekenhuizen die deze BMV s niet uitvoeren. Conclusies Op basis van de resultaten komen wij tot de conclusie dat de wettelijk vastgestelde selectie van patiënten voor een dotterbehandeling of een openhartoperatie in hartcentra invloed heeft op de hoogte van de HSMR. Een relatief groot aantal openhartoperaties resulteert in een systematische verhoging van de HSMR en een relatief groot aantal dotterbehandelingen resulteert in een systematische verlaging daarvan. Bij het gebruik van de HSMR voor het vergelijken van hartcentra en andere ziekenhuizen bevelen wij aan om bij de interpretatie rekening te houden met de verhoudingen van de aantallen PTCA s en openhartoperaties. Hoofdstuk 4 Literatuur 1. Jarman B, Gault S, Alves B, Hider A, Dolan S, Cook A, et al. Explaining differences in English hospital death rates using routinely collected data. BMJ. 1999;318: Jarman B, Bottle A, Aylin P, Browne M. Monitoring changes in hospital standardised mortality ratios. BMJ. 2005;330: Wright J, Dugdale B, Hammond I, Jarman B, Neary M, Newton D, et al. Learning from death: a hospital mortality reduction programme. J R Soc Med. 2006;99: Uitvoeringstoets op weg naar vrije prijzen. Maatstafconcurrentie voor medisch specialistische zorg. Utrecht: Nederlandse Zorgautoriteit; p Kool RB, Veen A van der, Westert GP. Sterftemaat is valide instrument. Med Contact. 2007;62:

66

67 5 aard van ongecorrigeerde casemixvariatie De tekst van dit hoofdstuk is ingediend als: Bosch WF van den, Spreeuwenberg P, Wagner C. Using standardised mortality ratios for detecting best practices. A retrospective database study of six large nonuniversity teaching hospitals.

68 De HSMR beproefd Samenvatting Doel Onderzoeken of gestandaardiseerde ziekenhuissterftecijfers op diagnosegroepsniveau gebruikt kunnen worden voor het detecteren van best practices binnen zes topklinische ziekenhuizen. Onderzocht wordt hoe adequaat de huidige correctie voor casemix op hoofddiagnoseniveau is. Opzet Retrospectief. Analyse van HSMRs (hospital standardised mortality ratios) en SMRs (standardised mortality ratios op diagnosegroepsniveau) van zes topklinische ziekenhuizen over vijf jaren. Methode Hierbij wordt een onderverdeling gemaakt van iedere diagnosegroep in een hoogrisico- en een laagrisico-subgroep, gebaseerd op nationale mortaliteitsratio s. Per diagnosegroep worden de SMRs van de hoogrisico- en de laagrisico-subgroep van de zes ziekenhuizen tezamen vergeleken. Vervolgens wordt de invloed op de SMRs als gevolg van niet gecorrigeerde casemixverschillen ingeschat. Resultaten Voor 44 van de 48 onderzochte hoogrisico-diagnosesubgroepen blijkt de SMR hoger dan de SMR van de corresponderende laagriscio-diagnosesubgroepen. Voor zeventien van de hoogrisico-diagnosesubgroepen, die samen circa 50% van de waargenomen sterfte vormen, zijn de SMRs significant hoger. De geschatte invloed op de SMR op diagnosegroepsniveau als gevolg van inadequate correctie is substantieel (0,43 tot 1,75 van oorspronkelijke SMR). De geschatte invloed op HSMR-niveau is beperkt. Conclusies Het huidige Nederlandse HSMR-model corrigeert niet adequaat voor casemix op hoofddiagnoseniveau. Samenwerkende ziekenhuizen die best practices willen detecteren en delen, dienen hiermee rekening te houden. Een betere correctie voor casemix is nodig. 68

69 Aard van ongecorrigeerde casemixvariatie Inleiding De HSMR wordt in verschillende landen gebruikt als indicator voor het beoordelen en verbeteren van de kwaliteit van de zorg. 1 Ook worden ziekenhuisprestaties op grond van HSMRs publiekelijk vergeleken 2 en beoordeeld, echter dat heeft niet ieders instemming. 3, 4 In hoeverre is de HSMR nu een bruikbare maat voor patiëntveiligheid, bij het werken aan kwaliteitsverbetering? Een ziekenhuis vindt het vaak lastig de HSMR te duiden en te gebruiken, omdat deze zo n hoog aggregatieniveau heeft 5 en omdat de gevoeligheid van het instrument op ziekenhuisniveau te wensen overlaat. Dit blijkt uit het volgende voorbeeld: Ziekenhuizen zoeken naar mogelijkheden om het aantal vermijdbare sterfgevallen, veroorzaakt door adverse events, te reduceren. Naar schatting 4% van de ziekenhuissterfte in Nederland betreft vermijdbare sterfte; 6 soortgelijke percentages komen voor in andere landen. 7,8 Het doel is om deze vermijdbare sterfte in Nederland in vijf jaar tijd te halveren. De HSMR werd genoemd als mogelijk instrument om deze reductie van 4% naar 2% te monitoren. Echter, een terugloop van de HSMR met 2% in vijf jaar is nauwelijks te meten, aangezien HSMRs tussen de 10 tot 30% kunnen fluctueren over een dergelijke periode. 9 Adverse events dragen slechts marginaal bij aan de ziekenhuissterfte en vormen geen verklaring voor de gerapporteerde spreiding in HSMRs: van 62 tot 142 in Nederland en van 71 tot 131 in het Verenigd Koninkrijk. 1,2 Deze variatie van de HSMR hangt meer samen met andere factoren dan met adverse events, bijvoorbeeld met verschillen in medische praktijkvoering, verschillen in de organisatie van de zorg en cultuurverschillen. Substantiële reducties in mortaliteit zullen daarom vooral volgen uit een beter inzicht in de invloed van deze factoren op ziekenhuissterfte. Hoofdstuk 5 De HSMR is samengesteld uit gestandaardiseerde sterfteratio s op diagnose groepsniveau (standardised mortality ratios, SMRs), bijvoorbeeld voor de diagnosegroep acuut myocard infarct. Het HSMR-model in Nederland gebruikt 50 van deze diagnosegroepen, zoals bepaald door de Clinical Classification Software (CCS) en ontwikkeld door het Agency for Healthcare Research and Quality. De CCS is een hulpmiddel dat ICD-9-hoofddiagnoses (ICD-9 staat voor International Classification of Diseases, Ninth Revision) clustert in een hanteerbaar aantal klinisch zinvolle categorieën. 10 SMRs zijn beter dan de HSMR in staat om verschillen in praktijken vast te stellen en potentiële problemen met de kwaliteit van zorg te detecteren. Diagnosegroepen kunnen gebruikt worden om te lokaliseren waar binnen het ziekenhuis onverwacht hoge mortaliteit optreedt, om vervolgens verbeteringen mogelijk te maken ter reductie van 69

70 De HSMR beproefd mortaliteit. 1 De detectie van een zwakke plek is gebaseerd op de SMR, behorende bij de diagnosegroep die statistisch significant hoger scoort dan het landelijke gemiddelde. Dat gemiddelde is voor iedere diagnosegroep op 100 genormeerd. Hierbij is het voor een ziekenhuis niet altijd duidelijk welke verbetermaatregelen te nemen. Een ziekenhuis met een hoge SMR beschikt vaak niet over (of is niet bekend met) de potentieel betere practices in ziekenhuizen met een lage SMR voor dezelfde diagnosegroep. TABEL 1 Gestandaardiseerde sterfteratio s voor de twintig CCS-diagnosegroepen met de hoogste aantallen sterfgevallen voor de jaren 2003 t/m CCS code 70 ccs-diagnosegroepstitel gestandaardiseerde sterftecijfers (SMRs) per ziekenhuis A B C D E F waargenomen aantal sterfgevallen 109 Cerebrovasculaire aandoening (CVA) 122 Pneumonie Acuut myocard infarct Hartfalen zonder hypertensie Longkanker/bronchuskanker Secundaire maligniteiten Aneurysmata aorta- / perifere/viscerale arteriën 127 COPD en bronchitis Coronaire artherosclerose/ overige hartaand 107 Hartstilstand en ventrikelfibrilleren 226 Heupfractuur Hartklepaandoeningen Overige aandoeningen lage luchtwegen 2 Sepsis (behalve tijdens bevalling) 114 Perifere en viscerale arteriosclerose 14 Colonkanker Darmobstructie zonder hernia 153 Gastro-intestinale bloeding Intracraniaal letsel Hartritmestoornis * De zes Santeon-ziekenhuizen zijn willekeurig gelabeld van A tot F. Groen: SMR is statistisch significant (95% BI) lager dan het landelijk gemiddelde (100), rood hoger dan het gemiddelde. De meest rechtse kolom toont het aantal waargenomen sterfgevallen in aflopende volgorde.

71 Aard van ongecorrigeerde casemixvariatie De eerder genoemde zes Santeon-ziekenhuizen hebben besloten om hun SMRgegevens met elkaar te delen en onderling te vergelijken. Het doel hiervan is om op basis van verschillen in SMRs, best practices te identificeren rond de organisatie van de zorg. De prioriteiten worden hierbij bepaald door verschillen in sterfte voor elk van de 50 CCS-diagnosegroepen uit het HSMR-model. Tabel 1 toont de SMRs per ziekenhuis voor de 20 diagnosegroepen met de hoogste aantallen sterfgevallen; de roodgekleurde vakjes geven een significant hoge sterfte aan en de groengekleurde vakjes een significant lage sterfte. Het idee is nu dat een Santeon-ziekenhuis met een significant hoge SMR-score een ander Santeon-ziekenhuis met een significant lage SMR-score voor dezelfde diagnosegroep, raadpleegt. Medici en medewerkers van het eerste ziekenhuis kunnen dan proberen te doorgronden waar de verschillen zitten en, indien mogelijk, de best practice van het andere ziekenhuis te adopteren. Bijvoorbeeld: voor de CCS-diagnosegroep 233 intracraniaal letsel scoren de ziekenhuizen B en E hoge (=ongunstige) SMRs: 211, respectievelijk 208. Zij hebben de mogelijkheid tot het raadplegen van ziekenhuizen A, D en F, die gunstige scores hebben van 37, 26, respectievelijk 44, zie tabel 1. Om tot zo n gezamenlijke inspanning te komen, moet er eerst aan een belangrijke voorwaarde voldaan zijn. Medici en ziekenhuismedewerkers moeten er vertrouwen in hebben dat de SMRs, die het vertrekpunt vormen voor verbeteracties, betrouwbaar en valide zijn. De validiteit van het HSMR-model, inclusief de onderliggende SMRs, wordt in verschillende publicaties bediscussieerd en de auteurs claimen dat de uitkomsten van goede kwaliteit zijn. 1,11 Een punt van discussie is echter of de casemix op hoofddiagnoseniveau (het niveau waarop ICD-9-codes gecodeerd worden) voldoende gecorrigeerd wordt. Het gebruikte HSMR-model corrigeert voor 28 van de 50 CCS-diagnosegroepen. 1 Binnen Santeon rezen twijfels over de effectiviteit van deze correctie, reden waarom Santeon een onderzoek startte met de volgende onderzoeksvragen: 1. Wordt de casemix op het niveau van de ICD-9-hoofddiagnoses adequaat gecorrigeerd? 2. En indien niet: in hoeverre heeft deze inadequate correctie invloed op de SMRs op diagnosegroepsniveau? Hoofdstuk 5 71

72 De HSMR beproefd Methode Setting Het onderzoek vond plaats in zes topklinische ziekenhuizen in Nederland. Hun HSMRs varieerden over vijf jaar van 65 tot 114, met een gezamenlijke waarde van 93. Het betrof patiënten, verdeeld over opnamen, gedurende de jaren 2003 t/m Genoemde ziekenhuizen hebben een landelijk marktaandeel van circa 10% van de klinische- en dagopnamen in Nederland. Het HSMR-model in dit onderzoek Zoals in de inleiding al aangegeven, baseert de HSMR van een ziekenhuis zich op voorspelde sterfterisico s per opname, waarbij gebruik wordt gemaakt van gegevens uit de landelijke medische registratie (LMR). 1 Het HSMR-model, zoals gebruikt in 2008 voor ons onderzoek, corrigeert voor leeftijd, geslacht, herkomst patiënt, opname-urgentie, ligduur, jaar van ontslag, sociaal-economische status, co-morbiditeit, diagnosegroep en, gedeeltelijk, de casemix op hoofddiagnoseniveau. 1 De HSMR-berekeningen zijn uitgevoerd door Prismant. Negeren van casemixvariatie op hoofddiagnoseniveau: een valkuil Voor de registratie van diagnoses in Nederland is tot nu toe de ICD-9 gebruikt als basis voor het coderen. Een opname wordt geïncludeerd bij de HSMR-berekening als de ICD-9- hoofddiagnose deel uitmaakt van een van de 50 geselecteerde CCS-diagnosegroepen. In zo n CCS-diagnosegroep zijn gemiddeld zo n twintig verschillende ICD-9-codes gegroepeerd. Omdat correctie plaatsvindt op diagnosegroepsniveau, kunnen er casemixverschillen optreden op het niveau hieronder, het diagnosesubgroepsniveau (ICD-9), waarvoor niet adequaat gecorrigeerd wordt. Een fictief voorbeeld We vergelijken twee ziekenhuizen met patiënten die identieke casemixeigen schappen hebben op diagnosegroepsniveau, maar verschillende casemix eigenschappen op diagnosesubgroepsniveau. We nemen het volgende aan: Ieder ziekenhuis behandelde patiënten voor dezelfde aandoening, zeg CCS-groep X, bijvoorbeeld cerebrovasculair accident (CVA), gedurende hetzelfde tijdsinterval. 387 patiënten stierven in ziekenhuis 1 en 296 in ziekenhuis 2, zie tabel 2. 72

73 Aard van ongecorrigeerde casemixvariatie De gemiddelde mortaliteit van beide ziekenhuizen bedraagt dan 22,8%, zie de onderste regel van tabel 2; wij normeren dit percentage op 100, als de standaard. Hiermee kunnen wij de voorspelde sterftecijfers en de SMRs op diagnosegroepsniveau voor beide ziekenhuizen berekenen, inclusief de 95%-betrouwbaarheidsintervallen. Wij zouden uit dit fictieve voorbeeld kunnen concluderen dat het eerste ziekenhuis een significant hoger dan verwachte SMR van 113 heeft (95% BI: ) en het tweede ziekenhuis een significant lagere SMR van 87 (95% BI: 77 97), zie tabel 2. TABEL 2 Fictief voorbeeld waarin mortaliteitscijfers van twee ziekenhuizen met identieke casemix op het niveau van CCS-diagnosegroep X vergeleken worden. CCS-diagnosegroep X aantal opgenomen patiënten aantal overleden patiënten ruwe mortaliteit voorspeld aantal doden SMR ondergrens 95% BI van SMR bovengrens 95% BI van SMR totaal ziekenhuis ,8% 341, totaal ziekenhuis ,7% 341, totaal ziekenhuizen 1 en ,8% Hoofdstuk 5 TABEL 3 De geëxpandeerde versie van tabel 2 toont fictieve opname- en sterfteaantallen voor twee diagnosesubgroepen. CCS-diagnosegroep X ziekenhuis 1: diagnosesubgroep 1 ziekenhuis 1: diagnosesubgroep 2 totaal ziekenhuis 1: (diagnosegroep X) ziekenhuis 2: diagnosesubgroep 1 ziekenhuis 2: diagnosesubgroep 2 totaal ziekenhuis 2: (diagnosegroep X) totaal ziekenhuizen 1 en 2 aantal opgenomen patiënten aantal overleden patiënten ruwe mortaliteit voorspeld aantal doden SMR ondergrens 95% BI van SMR bovengrens 95% BI van SMR % % ,8% 341, % % ,7% 341, ,8%

74 De HSMR beproefd Ziekenhuis 2 lijkt een significant betere prestatie te leveren dan ziekenhuis 1. Medici van ziekenhuis 1 zouden hun collega s van ziekenhuis 2 kunnen raadplegen om vast te stellen wat zij zelf wellicht anders (beter) zouden kunnen doen. Echter, wanneer de onderliggende subdiagnosegroepen sterke casemixvariaties en opnamevariaties vertonen, kan de situatie geheel anders blijken te liggen. Tabel 3 toont hiervan een fictief voorbeeld: een geëxpandeerde versie van tabel 2, met diagnosesubgroepen 1 en 2 (bijvoorbeeld bloedige en niet bloedige CVA). Ziekenhuis 1 blijkt voor beide subgroepen lagere ruwe mortaliteitscijfers te scoren dan ziekenhuis 2. Ook de gestandaardiseerde mortaliteitsratio s op subdiagnoseniveau (eveneens aangeduid als SMR) blijken onder de 100 uit te komen (gunstig). Voor ziekenhuis 2 blijken de SMR-uitkomsten op subdiagnoseniveau hoger uit te komen dan 100, waarvan één significant hoger dan 100. Medici uit ziekenhuis 2 zouden dus op zoek kunnen gaan naar best practices in ziekenhuis 1, in plaats van andersom. De fictieve CCS-diagnosegroep X in dit voorbeeld heeft duidelijk behoefte aan correctie op subdiagnose-groepsniveau. TABEL 4 Voorbeeld van splitsing in laag- en hoogrisico subgroep voor CCS-diagnosegroep CVA benchmark: alle Nederlandse ziekenhuizen 2004 en 2005 Santeon jaren 2003 t/m 2007 ICD-9- ICD-9-diagnosetitel code ruwe mortaliteit waargenomen aantal doden waargenomen aantal doden voorspelde aantal doden SMR laagrisico- en hoogrisico-subgroup (95% BI) 4320 Niet-traumatische extradurale 9,2% bloeding 4341 Cerebrale embolie 9,7% Subdurale bloeding 10,2% Niet gespecificeerde cerebrale 10,7% afsluiting 436 Acute niet scherp omschreven CVA 11,1% totalen laagrisico-subgroep 10,8% (76-86) 4340 Cerebrale trombose 13,9% Subarachnoïdale bloeding 22,5% Niet gespecificeerde intracraniale 30,1% bloeding 431 Intracerebrale bloeding 37,9% totalen hoogrisico-subgroep 32,6% ( ) * De splitsing is gebaseerd op de ranking van ICD-9-hoofddiagnoses op ruwe mortaliteit van alle Nederlandse ziekenhuizen over de jaren 2004 en Santeon-data over de jaren 2003 t/m 2007 zijn ook getoond, inclusief gestandaardiseerde sterfteratio s voor de laag- en hoogrisico subgroepen. 74

75 Aard van ongecorrigeerde casemixvariatie ccs-diagnosegroep splitsen in een laagrisico- en een hoogrisicosubgroep Wij hebben de 50 CCS-diagnosegroepen onderzocht door het splitsen van iedere groep in twee subgroepen: een hoogrisico-subgroep, waaronder de ICD-9- hoofddiagnoses met de hoogste ruwe mortaliteit en een laagrisico-subgroep, waaronder de ICD-9-hoofddiagnoses met de laagste ruwe mortaliteit. Als benchmark voor de ruwe mortaliteit hebben wij de ICD-9-mortaliteitsratio s gebruikt van alle Nederlandse ziekenhuizen in de jaren 2004 en Iedere CCS-diagnosegroep werd zodanig gesplitst dat de aantallen waargenomen sterfgevallen in de twee subgroepen zo goed mogelijk in balans waren. De eerste vier kolommen van tabel 4 illustreren hoe deze splitsing tot stand kwam voor de CCS-diagnosegroep CVA. De onderliggende ICD-9-codes werden gesorteerd in oplopende volgorde van ruwe mortaliteit. De splitsing tussen laag- en hoogrisico-icd-9 werd in dit voorbeeld bepaald door waargenomen sterfgevallen in de laagrisico-subgroep en waargenomen sterfgevallen in de hoogrisico-subgroep. Bij elke andere keuze voor de splitsingsgrens zouden deze aantallen minder gebalanceerd uitvallen. Tabel 4 laat als voorbeeld ook zien hoe de gestandaardiseerde sterfte voor de twee risicosubgroepen uitpakt voor de gezamenlijke Santeon-ziekenhuizen over de jaren 2003 t/m 2007, inclusief de 95%-betrouwbaarheidsintervallen (drie meest rechtse kolommen). Als deze twee betrouwbaarheidsintervallen niet overlappen, concluderen wij dat de SMR-uitkomst van de bijbehorende CCS-diagnosegroep een bias vertoont als gevolg van niet adequaat gecorrigeerde casemixverschillen op ICD-9-hoofddiagnoseniveau. Dit blijkt bijvoorbeeld het geval voor de CCSdiagnosegroep CVA in tabel 4. Hoofdstuk 5 Geschatte invloed op (H)SMRs van mortaliteitsverschillen in diagnosesubgroepen Om de invloed op de (H)SMR te schatten als gevolg van inadequate correctie op het niveau van de ICD-9-hoofddiagnose, hebben wij de voorspelde sterfte op ICD-9-niveau per ziekenhuis gecorrigeerd met een correctiefactor. Deze factor werd bepaald door de ICD-9-specifieke Santeon-SMR te delen door de Santeon diagnosegroep SMR. Op deze manier hebben wij de Santeon-gemiddelden gebruikt als standaard ; de uitkomsten van deze correcties moeten worden beschouwd als schattingen. Zij geven een indicatie over de mate waarin SMRs en HSMRs kunnen veranderen als we rekening houden met mortaliteitsverschillen op het niveau van de ICD-9-hoofddiagnose. 75

76 De HSMR beproefd Resultaten Setting Gedurende de vijfjaars studieperiode werden voor de zes Santeon-ziekenhuizen de HSMRs en SMRs berekend over opnamen. Tijdens deze opnamen overleden patiënten. Twee CCS-diagnosegroepen, prostaatkanker en aspiratiepneumonie, waren niet zinvol te splitsen en vielen af. Voor de overige 48 CCS-diagnosegroepen konden wij een zinvolle splitsing maken, gebaseerd op waargenomen mortaliteit in Nederland over de jaren 2004 en Deze 48 groepen betroffen opnamen (99% van totaal) en gevallen van sterfte (99% van totaal). Ons onderzoek betrof deze 48 groepen. Analyse van de mortaliteitscijfers voor de diagnosegroepen en subdiagnosegroepen Tabel 5 toont de berekende SMRs van de laag- en de hoogrisico-subgroepen voor elk van de 48 onderzochte CCS-diagnosegroepen, inclusief de 95%-betrouwbaarheidsintervallen. Voor diagnosegroep 109 Cerbrovasculaire aandoening bleek bijvoorbeeld de laagrisico-subgroep-smr (voornamelijk niet bloedig) 81 (95% BI: 76 86) te bedragen, terwijl de hoogrisico-subgroep-smr (voornamelijk bloedig) 116 (95% BI: ) bedroeg, zie ook tabel 4. Deze uitkomst werpt de vraag op: behandelen de zes ziekenhuizen tezamen de niet bloedige CVA-variant significant beter dan het nationale gemiddelde (100) en tegelijkertijd de bloedige CVA-versie significant slechter? Of duidt deze uitkomst op een inadequate correctie van de casemix? Wij komen op deze vraag terug in de discussiesectie. De volgorde van de resultaten in de tabel 5 is gebaseerd op het SMR-verschil tussen de hoog- en de laagrisico-subgroepen. Van de 48 hoogrisico-subgroep- SMRs bleken er 44 SMRs hoger dan de corresponderende laagrisico-subgroep- SMRs. De eerste zeventien getoonde hoogrisico-subgroep-smrs waren significant hoger dan de corresponderende laagrisico-subgroep-smrs. Deze zeventien groepen bevatten 50% van de totale sterfte. 76

77 Aard van ongecorrigeerde casemixvariatie TABEL 5 Het waargenomen aantal doden versus het voorspelde aantal doden voor laag- en hoogrisico-subgroepen binnen de 48 CCSdiagnosegroepen. ccs code ccs diagnosetitel ccs subgroep gecorrigeerd? 1 waargenomen aantal doden laagrisico subgroepen hoogrisico subgroepen voorspelde aantal doden SMR (95% BI) waargenomen aantal doden 233 Intracraniaal letsel ja (40-62) ( ) 116 Trombose van aorta- en perifere en viscerale arteriën ja (87-126) ( ) 85 Coma, stupor en hersenbeschadiging nee (47-91) ( ) 155 Overige gastro-intestinale aandoeningen ja (47-81) ( ) 114 Perifere en viscerale arteriosclerose ja (48-70) ( ) 100 Acuut myocardinfarct nee (69-79) ( ) 24 Borstkanker nee (12-64) (77-145) 44 Niet nader gespec. tumoren of tumoren onzekere aard nee (34-76) (83-171) 117 Overige circulatoire aandoeningen nee (34-75) (85-166) 115 Aneurysmata van aorta- en perifere en viscerale arteriën ja (63-80) ( ) 39 Leukemie nee (63-104) ( ) 151 Overige leveraandoeningen ja (37-79) (83-128) 133 Overige aandoeningen van de lage luchtwegen ja (38-60) (82-104) 109 Acute cerebrovasculaire aandoening ja (76-86) ( ) 107 Hartstilstand en ventrikelfibrilleren nee (68-92) ( ) 19 Longkanker/ bronchuskanker nee (77-91) ( ) 122 Pneumonie ja (59-82) (88-99) 158 Chronisch nierfalen nee (0-136) (89-142) 149 Galwegaandoening ja (65-112) ( ) 237 Complicatie van apparatuur, implantaat of transplantaat ja (68-105) ( ) 59 Deficiënties en andere anemie ja (62-112) (79-191) 150 Leveraandoening, alcoholgerelateerd nee (23-137) (82-125) 146 Diverticulose en diverticulitis ja (30-108) (74-118) 32 Blaaskanker nee (70-110) (75-185) 55 Aandoeningen van vocht- en electrolythuishouding ja (48-99) (85-122) 96 Hartklepaandoeningen ja (96-128) ( ) 38 Non-Hodgkin lymfoom nee (52-85) (73-120) 153 Gastro-intestinale bloeding ja (64-97) (85-131) 101 Coronaire arteriosclerose en overige hartaandoeningen ja (83-102) (99-135) voorspelde aantal doden SMR (95% BI) Hoofdstuk 5 77

78 De HSMR beproefd TABEL 5 vervolg ccs code ccs diagnosetitel ccs subgroep gecorrigeerd? 1 waargenomen aantal doden laagrisico subgroepen hoogrisico subgroepen voorspelde aantal doden SMR (95% BI) waargenomen aantal doden 106 Hartritmestoornis ja (56-88) (75-114) 159 Urineweginfectie ja (39-151) (85-119) 238 Complicatie chirurgische procedure of medische zorg ja (61-95) (75-119) 145 Darmobstructie zonder hernia ja (60-98) (77-110) 249 Shock nee (63-117) (79-127) 12 Slokdarmkanker nee (85-149) (95-164) 50 Diabetes mellitus met complicatie ja (58-102) (68-114) 226 Heupfractuur nee (78-103) (87-115) 13 Maagkanker nee (81-125) (84-145) 2 Sepsis (behalve tijdens bevalling) ja (81-112) (89-119) 42 Secundaire maligniteiten ja (87-104) (88-109) 108 Hartfalen, zonder hypertensie ja (83-100) (86-99) 14 Colonkanker nee (78-114) (81-113) 127 COPD en bronchitis ja (78-100) (79-100) 15 Kanker van rectum of anus nee (83-126) (69-145) 157 Acuut en niet gespecificeerd nierfalen ja (64-121) (62-111) 17 Alvleesklierkanker nee (72-142) (77-117) 103 Pulmonale hypertensie nee (71-155) (82-116) Totaal voor 48 van de 50 CCS-diagnosegroepen (79-83) ( ) voorspelde aantal doden SMR (95% BI) * De tabel is gesorteerd in volgorde van SMR-verschil (hoog minus laag). De eerste zeventien rijen tonen risico-subgroepen met niet overlappende betrouwbaarheidsintervallen. Per CCS-diagnosegroep is ook aangegeven of correctie op subdiagnoseniveau is toegepast in het huidige HSMR-model (ja/ nee).1 78

79 Aard van ongecorrigeerde casemixvariatie Geschatte invloed op de SMR en de HSMR Tabel 6 toont hoe de SMRs van het HSMR-model procentueel veranderen wanneer we extra zouden corrigeren voor casemix op ICD-9-hoofddiagnoseniveau. Deze resultaten betreffen een ruwe schatting van de potentiële invloed, omdat de correctie is gebaseerd op voorspelde en waargenomen mortaliteitsgetallen van slechts zes ziekenhuizen. Een correctie gebaseerd op de voorspelde en waargenomen mortaliteit op nationaal niveau zou een accurater beeld opleveren, echter landelijke gegevens waren niet beschikbaar voor dit onderzoek. Wij geven een voorbeeld hoe tabel 6 te duiden. Voor CCS-diagnosegroep 233 Intracraniaal letsel, zie ook tabel 1, bedroeg de SMR van ziekenhuis A: 37, significant laag, en voor ziekenhuis B: 211, significant hoog. Na correctie bedroegen deze SMRs 64, respectievelijk 91 beide waarden niet langer significant afwijkend van 100. Tabel 6 toont de relatieve veranderingen van de SMR voor deze twee ziekenhuizen; voor ziekenhuis A een verandering van 64/37=175% en voor ziekenhuis B, 91/211=43%. Een rode kleur in tabel 6 toont per CCS-diagnosegroep het ziekenhuis met de sterkste opwaartse verandering en een groene kleur het ziekenhuis met de sterkste neerwaartse verandering. Ieder ziekenhuis vertoont zowel opwaartse als neerwaartse veranderingen voor de verschillende CCSdiagnosegroepen; het netto effect, de verandering van de HSMR, is weergegeven in de onderste regel. De HSMR van ziekenhuis B (114; hoogste van alle Santeonziekenhuizen) zou na correctie worden gereduceerd met 2%; voor ziekenhuis D zou de HSMR (65; laagste van alle Santeon-ziekenhuizen) toenemen met 3%. De tabel toont ook hoe vaak de correctie een SMR veranderde van significant (hoog of laag) naar niet meer significant of andersom: van niet naar wel significant (hoog of laag). Bijvoorbeeld de twee wisselingen, getoond voor de CCSdiagnosegroep 233 Intracraniaal letsel werden veroorzaakt door ziekenhuizen A en B. Het totaal aantal wisselingen bedroeg 18, hetgeen 23% was van alle significant hoog/laag SMR-scores vóór extra correctie. De tabel toont verder voor ieder CCS-diagnosegroep of het HSMR-model corrigeerde (al dan niet effectief) voor casemix op ICD-9-hoofddiagnoseniveau. 1 Hoofdstuk 5 79

80 De HSMR beproefd TABEL 6 Het percentage veranderingen in SMRs na correctie voor casemix op ICD-9-hoofddiagnoseniveau per ziekenhuis, gesorteerd in aflopende mate van impact. CCS code ccs-diagnosegroepstitel waargenomen aantal doden aantal significantie wisselingen subgroep gecorrigeerd? percentage veranderingen in SMRs per ziekenhuis A B C D E F 233 Intracraniaal letsel ja 175% 43% 109% 148% 73% 130% 117 Overige circulatoire aandoeningen 65 1 nee 101% 75% 185% 91% 88% 102% 158 Chronisch nierfalen 75 0 nee 99% 96% 157% 96% 99% 102% 85 Coma, stupor en hersenbeschadiging 72 1 nee 124% 117% 139% 79% 86% 85% 24 Borstkanker 49 1 nee 95% 129% 87% 118% 101% 105% 39 Leukemie nee 100% 91% 106% 124% 87% 93% 114 Perifere en viscerale atherosclerose ja 93% 100% 76% 111% 105% 94% 44 Niet nader gespec. tumoren of tumoren onzekere aard 59 0 nee 108% 87% 101% 118% 89% 85% 155 Overige gastro-intestinale aandoeningen 92 0 ja 82% 115% 96% 102% 114% 102% 100 Acuut myocardinfarct nee 94% 94% 98% 123% 99% 99% 151 Overige leveraandoeningen ja 114% 91% 117% 92% 112% 88% 130 Pleuritis, pneumothorax, (is toch = )klaplong ja 104% 93% 101% 96% 98% 114% 237 Complicatie van apparatuur, implantaat of transplantaat ja 87% 103% 106% 108% 104% 102% 50 Diabetes mellitus met complicatie ja 100% 115% 102% 102% 95% 95% 107 Hartstilstand en ventrikelfibrilleren nee 96% 107% 90% 97% 104% 99% 32 Blaaskanker nee 103% 110% 103% 98% 94% 98% 101 Coronaire artherosclerose en overige ja 102% 99% 109% 96% 95% 100% hartaandoeningen 55 Aandoeningen van vocht- en electrolythuishouding 116 Trombose van aorta- en perifere en viscerale arteriën ja 103% 100% 94% 100% 107% 94% ja 97% 99% 99% 97% 101% 111% 80

81 Aard van ongecorrigeerde casemixvariatie 115 Aneurysmata van aorta- en perifere en viscerale arteriën ja 107% 98% 95% 97% 94% 97% 109 Acute cerebrovasculaire aandoening ja 98% 96% 107% 100% 102% 94% 19 Longkanker/ bronchuskanker nee 103% 98% 103% 103% 91% 97% 133 Overige aandoeningen van de lage luchtwegen ja 100% 105% 98% 102% 93% 97% 153 Gastro-intestinale bloeding ja 94% 105% 104% 103% 104% 94% 145 Darmobstructie zonder hernia ja 99% 94% 99% 105% 101% 99% 12 Slokdarmkanker nee 104% 98% 99% 95% 101% 105% overige 22 CCS-diagnosegroepen verschil tussen hoogste en laagste < 10% totalen voor 48 van de 50 CCS-diagnosegroepen HSMR verandering 100% 98% 101% 103% 99% 99% * Diagnosegroepen met een impact <10% zijn gecombineerd in de een na onderste regel. Kleuren geven de sterkste opwaartse verandering (rood) en de sterkste neerwaartse verandering (groen) aan per CCS-diagnosegroep. Hoofdstuk 5 81

82 De HSMR beproefd Discussie Het werken aan verbetering van kwaliteit van zorg wordt in toenemende mate bepaald door de uitkomsten van HSMR en SMRs, waarbij de potentieel zwakke plekken geïdentificeerd kunnen worden met behulp van significant hoge scores. Hoewel de HSMRs in Nederland tot en met 2010 niet openbaar gemaakt zijn, stimuleert de inspectie voor de gezondheidszorg de ziekenhuizen om de beschikbare (H)SMR-gegevens te gebruiken voor het beoordelen en verbeteren van de kwaliteit van zorg. SMR-gegevens vormen in de praktijk inderdaad de trigger voor het ondernemen van verbeteracties. Ziekenhuizen gaan ervan uit dat een significant hoge SMR-score samenhangt met een mindere kwaliteit van zorg. Andersom kunnen significant lage SMR-scores nuttig zijn voor het opsporen van potentieel betere of best practices voor het behandelen van zekere aandoeningen. Echter, ziekenhuizen twijfelen soms aan de validiteit van de SMR-uitkomsten, omdat zij menen dat de casemix op hoofddiagnoseniveau (ICD-9) niet voldoende gecorrigeerd wordt. De resultaten van ons onderzoek bevestigen deze twijfel. Dit ondanks het feit dat de ontwerpers van het huidige (2010) HSMR-model beweren dat deze correctie, althans voor 28 CCS-diagnosegroepen, wel degelijk plaatsvindt. 1 Ons onderzoek laat zien dat voor 44 van de 48 CCS-diagnosegroepen de onderliggende hoogrisico-subgroep-smr hoger was dan de corresponderende laagrisicosubgroep-smr. Voor zeventien CCS-diagnosegroepen, die samen goed zijn voor 50% van de waargenomen sterfte, bleek deze uitkomst statistisch significant (95% betrouwbaarheid). Dit kan worden toegeschreven aan variaties in kwaliteit van zorg voor die zeventien CCS-diagnosegroepen, maar ook aan inadequate correctie door het HSMR-instrument. Als de oorzaak gelegen is in verschillen in kwaliteit van zorg, dan zou dat betekenen dat de kwaliteit van zorg van de zes ziekenhuizen tezamen per CCS-diagnosegroep significant slechter zou zijn voor de hoogrisicosubgroep en tegelijkertijd significant beter voor de complementaire laagrisicosubgroep. Gegeven het grote aantal opnamen lijkt dit een zeer onwaarschijnlijke verklaring. Wij concluderen daarom dat variaties in casemix op het ICD-9-niveau van de hoofddiagnoses niet adequaat gecorrigeerd worden. Een mogelijk gevolg hiervan is dat een ziekenhuis met relatief veel hoogrisicoopnamen binnen een CCS-diagnosegroep hiervoor niet voldoende gecompen seerd krijgt in de SMR-berekening en hiervoor een niet gerechtvaardigd hoge SMRscore toebedeeld krijgt. Een schatting toont aan dat dit fenomeen in de Santeonsituatie circa 23% foutieve significantiescores tot gevolg had. De verhouding 82

83 Aard van ongecorrigeerde casemixvariatie tussen de SMR-score van een statistisch significante hoogrisico- en laagrisicosubgroep varieerde voor de bovengenoemde zeventien diagnosegroepen van 1,3 (pneumonie: 93/70) tot 7,6 (intracraniaal letsel: 379/50), wat wijst op inadequate casemixcorrectie. Samenwerkende ziekenhuizen, zoals Santeon, die best practices willen uitruilen, gebaseerd op het onderling vergelijken van SMRs, moeten zich bewust zijn van deze mogelijke vertekeningseffecten. Dit kan voorkómen dat samenwerkende verbeterteams gefrustreerd raken, omdat zij op zoek gaan naar denkbeeldige verschillen die in werkelijkheid helemaal niet bestaan. Neem bijvoorbeeld een geval dat zich bij Santeon voordeed: ziekenhuis B en E hadden zeer hoge scores voor CCS-diagnosegroep 233 Intracraniaal letsel : 211 respectievelijk 208, zie tabel 1. Vertegenwoordigers van beide ziekenhuizen claimden dat hun casemix voor deze diagnosegroep aanzienlijk zwaarder is vergeleken met de andere ziekenhuizen. Het is wellicht een begrijpelijke en natuurlijke reactie, wanneer geconfronteerd met ongunstige scores, om te wijzen naar casemixverschillen. In dit geval echter wezen de twee ziekenhuizen op het feit dat in hun nabije omgeving geen hooggespecialiseerd traumacentrum voor het behandelen van hoogrisico neurologische aandoeningen aanwezig was. De andere ziekenhuizen, met zeer goede scores (ver beneden de 100 voor deze CCS-diagnosegroep), bleken wel een traumacentrum dicht in de buurt te hebben. Na correctie op ICD-9-niveau, vielen de SMR-scores van ziekenhuis B en E veel lager uit: 43% respectievelijk 73% van de oorspronkelijke waarde, hetgeen de claim van de twee ziekenhuizen bevestigde. Het zou frustrerend zijn geweest indien, op grond van de ongecorrigeerde hoge SMRs, ziekenhuis B (significant hoge SMR) op zoek zou zijn gegaan naar een best practice in ziekenhuis A (significant lage SMR), terwijl na correctie ziekenhuis B zelfs onder de 100 scoort (schatting: 91) en ziekenhuis A niet meer significant laag scoort (schatting 64). Casemixvariaties op ICD-9- hoofddiagnoseniveau blijken een substantiële invloed uit te oefenen op de SMR. Hoofdstuk 5 Conclusies Het huidige HSMR-model voor Nederland corrigeert niet adequaat voor casemixverschillen op het ICD-9-hoofddiagnoseniveau. Bij 44 van de 48 onderzochte CCS-diagnosegroepen bleken de risico s van de hoogrisicopatiënten te laag en van de laagrisico-patiënten te hoog voorspeld. Als gevolg hiervan was voor de meeste CCS-diagnosegroepen de SMR van de hoogrisicosubgroep te hoog en van de complementaire laagrisico-subgroep te laag. Voor 83

84 De HSMR beproefd zeventien CCS-diagnosegroepen, goed voor 50% van de waargenomen sterfte, waren deze verschillen significant. Een geschatte correctie, waarbij de zes ziekenhuizen als referentie zijn genomen, toonde aan dat de vertekening van de SMRs door het huidige model voor deze groepen substantieel is. De procentuele veranderingen varieerden hierbij van 43% tot 175% van de oorspronkelijke SMRwaarden. Ziekenhuizen die op basis van SMRs best practices willen detecteren, doen er goed aan zich te realiseren dat hun SMR-waarden wel eens onvoldoende gecorrigeerd kunnen zijn op dit punt. De geschatte procentuele veranderingen van de HSMRs waren beperkt. Om een betrouwbaarder beeld van de invloed van het beschreven effect op de (H)SMR te verkrijgen is een berekening op landelijke schaal geboden; in het volgende hoofdstuk komt dit aan de orde. 84

85 Aard van ongecorrigeerde casemixvariatie Literatuur 1. Jarman B, Pieter D, Veen AA van der, et al. The hospital standardised mortality ratio: a powerful tool for Dutch hospitals to assess their quality of care? Qual Saf Health Care : How safe is your hospital? The Dr foster hospital guide co.uk. 3. Lilford R, Pronovost P. Using hospital mortality rates to judge hospital performance: a bad idea that just don t go away. BMJ 2010: 340:c Black N. Assessing the quality of hospitals. BMJ 2010;340:c Penfold RB, et al, Do Hospital Standardised Mortality Ratios Measure Patient Safety? HSMRs in the Winnipeg Regional Health Authority. HealthcarePapers Vol. 8 No. 4: Bruijne MC de, Zegers M, Hoonhout LHF, et al. Onbedoelde schade in Nederlandse ziekenhuizen. Amsterdam: EMGO Instituut/VUmc en NIVEL, Nederlands Instituut voor onderzoek van de gezondheidszorg, Baker GR, Norton PG, Flintoft V, et al. The Canadian Adverse Events Study: the incidence of adverse events among hospital patients in Canada. CMAJ, 2004: 170(11): p Brennan TA, Leape LL, Laird NM, et al. Incidence of adverse events and negligence in hospitalized patients. Results of the Harvard Medical Practice Study I. N Engl J Med, 1991; 324(6): p Bosch WF van den, Roozendaal KJ, Silberbusch J. Schommelende sterftecijfers, HSMR nog geen betrouwbare maat voor zorgkwaliteit. Medisch Contact, Nr. 31/32-30 juli 2009: Clinical Classifications Software (CCS) for ICD-9-CM Fact Sheet ahrq.gov/toolssoftware/ccs/ccsfactsheet.jsp#what. 11. Heijink R, Koolman X, Pieter D, Veen A van der, Jarman B, Westert G. Measuring and explaining mortality in Dutch hospitals; the hospital standardised mortality rate between 2003 and BMC Health Serv Res 2008:8: 73. Hoofdstuk 5 85

86

87 6 landelijke invloed van ongecorrigeerde casemixvariatie Dit hoofdstuk werd gepubliceerd als: Bosch WF van den, Spreeuwenberg P, Wagner C. Gestandaardiseerd ziekenhuissterftecijfer (HSMR): correctie voor ernst hoofddiagnose kan beter. Ned Tijdschr Geneeskd. 2011;155:A3299.

88 De HSMR beproefd Samenvatting Doel De invloed van casemixverschillen binnen diagnosegroepen op het gestandaardiseerde ziekenhuissterftecijfers (HSMR) onderzoeken en het huidige HSMR-model verbeteren. Opzet Beschrijvend, analyse van modellen. Methode Wij berekenden de HSMRs en de gestandaardiseerde sterftecijfers op diagnosegroepniveau (SMRs) van 84 Nederlandse ziekenhuizen over een periode van vijf jaren met behulp van twee HSMR-modellen. Beide modellen corrigeerden we voor de ernst van de diagnose bij opname (hoofddiagnose volgens de International classification of diseases (ICD-9) aan de hand van zwaarteklassen. De indeling in zwaarteklassen was in het gebruikelijke model (model 1) gebaseerd op mortaliteitcijfers volgens de WHO, terwijl ons aangepaste Nederlandse model (model 2) was gebaseerd op de Nederlandse ziekenhuismortaliteit. De HSMRen SMR-uitkomsten en bijbehorende c-statistics van beide modellen werden vergeleken om te toetsen in hoeverre de modellen adequaat corrigeerden voor ICD-9-codes met hoog of laag sterfterisico. Resultaten Model 1 corrigeerde bij 40 van de 48 geanalyseerde diagnosegroepen niet adequaat voor casemixverschillen op ICD-9-hoofddiagnoseniveau; model 2 corrigeerde niet adequaat voor 25 diagnosegroepen. De c-statistics voor model 2 waren beter dan voor model 1. De verschillen in SMR-uitkomsten tussen model 2 en model 1 varieerden van -63% tot 202%, afgemeten aan de uitkomst berekend met model 1. Bij de HSMR varieerden deze verschillen van -6,7% tot 4,3%. Conclusies Het huidige (2010) HSMR-model voor Nederland corrigeert onvoldoende voor casemixverschillen op het niveau van de ICD-9-hoofddiagnose. Een model met zwaarteklassenindeling van ICD-9-codes op basis van de geobserveerde ziekenhuismortaliteit in Nederland maakt een betere, zij het niet perfecte, correctie mogelijk. Ter verbetering van het HSMR-model wordt aanbevolen deze Nederlandse zwaarteklassenindeling toe te passen. 88

89 Landelijke invloed van ongecorrigeerde casemixvariatie Inleiding In oktober 2010 verspreidde de stichting Dutch Hospital Data (DHD) de (H)SMRrapportage met verdieping naar diagnosegroepen en patiëntencate gorieën onder Nederlandse ziekenhuizen, met voor ieder ziekenhuis specifieke informatie. Ieder ziekenhuis kreeg zodoende inzicht in de eigen gestandaardiseerde sterfte (SMRs) behorende bij de 50 CCS-diagnosegroepen. Dit biedt de mogelijkheid gericht te werken aan kwaliteitsverbeteringen. De Inspectie voor de Gezondheidszorg stimuleert dit HSMR-gebruik zoals beschreven in de basisset prestatie-indicatoren. 1 Verder bestaat er een publieke behoefte aan het vergelijken van ziekenhuizen door middel van openbaar gemaakte ziekenhuissterftecijfers ( 2-4 Er zijn echter ook twijfels over de betrouwbaarheid, 5,6 validiteit, 7,8 en bruikbaarheid van het HSMR-model. 9,10 In hoeverre zijn de huidige (2010) HSMR- en SMR-uitkomsten nog vertekend door meetfouten? In dit hoofdstuk beschrijven wij voor Nederland het effect van meetfouten die kunnen optreden als niet adequaat wordt gecorrigeerd voor casemixverschillen binnen diagnosegroepen. In Medisch Contact is een voorbeeld van de invloed van casemixverschillen op de SMR beschreven voor de diagnosegroep cerebrovasculaire aandoening (CVA). 11 Hierbij werd onvoldoende gecorrigeerd voor casemixverschil tussen bloedige CVA (hersenbloeding of subarachnoïdale bloeding; mortaliteit circa 35%) en niet bloedige CVA (herseninfarct; mortaliteit circa 10%). Bij inadequate correctie hiervoor bleken ziekenhuizen met verhoudingsgewijs veel patiënten met een hersenbloeding of subarachnoïdale bloeding in het nadeel ten opzichte van ziekenhuizen die veel patiënten met een herseninfarct opnamen. De oorzaak van dit verschijnsel hangt samen met de huidige (2010) correctiemethode, die is gebaseerd op een zwaarteclassificatie van de WHO. Deze vormt vermoedelijk geen adequate weergave van de feitelijke casemix in Nederland. In hoofdstuk 5 hebben wij dit verschijnsel voor 48 diagnosegroepen onderzocht voor de zes Santeonziekenhuizen. Wij konden bij dat onderzoek echter niet goed vaststellen hoe sterk dit effect de HSMR beïnvloedt, omdat onze studie beperkt bleef tot zes ziekenhuizen. Wij breiden het onderzoek nu uit met behulp van data van alle Nederlandse ziekenhuizen. Daardoor kunnen we een landelijk geldende uitspraak doen over de invloed van casemixverschillen binnen diagnosegroepen op de HSMR. Wij vergelijken het traditionele model met een model waarin de correctie was gebaseerd op de Nederlandse casemix. De centrale onderzoeksvragen hierbij waren: 1. In hoeverre beïnvloeden casemixverschillen binnen diagnosegroepen de (H)SMR? Hoofdstuk 6 89

90 De HSMR beproefd 2. In hoeverre kan het huidige HSMR-model worden verbeterd door betere correctie? Methode Voor de modelanalyse werd, met toestemming van DHD, gebruik gemaakt van een geanonimiseerde LMR-dataset over de jaren 2005 t/m 2009 van 84 Nederlandse ziekenhuizen. Ziekenhuizen werden geïncludeerd als zij de voor de berekening kritieke gegevens in de LMR hadden ingevoerd. Voor de HSMR-berekeningen gebruikten wij het Dr. Foster Intelligence -model zoals Kiwa Prismant dat in 2010 heeft toegepast, 12 waarbij alleen nog maar klinische opnamen en dagopnamen met sterfte meetellen. Casemixcorrectie binnen diagnosegroepen Een goed standaardisatiemodel corrigeert onder andere voor de verschillen in ernst van aandoening die tot uiting komen in verschillen in de hoofddiagnoses volgens de International classification of diseases (ICD)-9. Er kunnen meer dan 1000 verschillende ICD-9-diagnosecodes voorkomen bij een HSMR-berekening. Deze worden geclusterd in 50 diagnosegroepen volgens de Clinical classification software (CCS; De casemixcorrectie vond plaats op het niveau van deze diagnosegroepen, waardoor binnen een CCS-diagnosegroep geen onderscheid gemaakt werd tussen ernstige en minder ernstige aandoeningen op ICD-9-niveau. Om vertekening door de clustering tegen te gaan, heeft Dr. Foster Intelligence een extra correctievariabele ingevoerd die aan iedere diagnose bij opname een zwaarteklasse toekent, afhankelijk van de ICD-9-hoofddiagnose. De zwaarte varieert van 1 (licht) tot 7 (zwaar) en is gebaseerd op een indeling naar sterfterisico van de WHO. Voor een aantal ICD-9-codes heeft Dr. Foster Intelligence om onbekende redenen geen extra correctie ingevoerd; opnamen met deze ICD-9-codes krijgen in de classificatie een waarde 0. Bij deze waarde vindt geen extra correctie plaats. De modellen vergeleken In ons onderzoek draaide het om de indeling van ICD-9-codes in zwaarteklassen. Wij onderzochten in hoeverre de zwaarteclassificatie in het Dr. Foster Intelligence - model spoort met de geobserveerde ziekenhuismortaliteit van ICD-9-codes in Nederland en in hoeverre dit invloed heeft op de HSMR en SMR. Daartoe 90

91 Landelijke invloed van ongecorrigeerde casemixvariatie berekenden wij met twee modellen de HSMR- en SMR-waarden van de 84 ziekenhuizen over 2005 t/m De modellen waren identiek op het volgende verschil na: 1. model 1 maakt gebruik van de zwaarteclassificatie volgens Dr. Foster Intelligence; 2. model 2 maakt gebruik van een zwaarteclassificatie die gebaseerd was op de ziekenhuismortaliteit in Nederland in de jaren 2005 t/m 2009 per voorkomende ICD-9-code. Tabel 1 toont de mortaliteitsgrenzen die wij kozen voor de indeling in zeven zwaarteklassen. Voor een beperkt aantal ICD-9-codes stelden wij de zwaarteklasse in verband met representativiteit op 0, omdat die codes door te weinig ziekenhuizen (minder dan vijf) waren gebruikt. TABEL 1 Indeling in zwaarteklassen* voor ICD-9-codes, gebaseerd op de mortaliteit van aandoeningen in Nederlandse ziekenhuizen. zwaarteklasse mortaliteitsgrenzen in % ondergrens bovengrens 0 1 0,00 0,41 2 0,41 1,02 3 1,02 2,56 4 2,56 6,40 5 6,40 16, ,00 40, ,00 100,00 * Bij de berekening van de hospital standardised mortality ratio wordt gecorrigeerd voor de zwaarteklasse van de diagnose bij opname. De ondergrens is steeds 40% van de bovengrens, beginnend bij een bovengrens van 100%; de indeling van onder- en bovengrenzen is arbitrair, andere indelingen zijn ook mogelijk. Bij opnamediagnoses in deze zwaarteklasse vindt geen extra correctie plaats. Hoofdstuk 6 Beoordeling casemixverschillen Om de invloed van casemixverschillen binnen een CCS-diagnosegroep aan te kunnen tonen, verdeelden wij per CCS-diagnosegroep alle in die groep meetellende opnamediagnoses over: een hoogrisico -subgroep van ICD-9-hoofddiagnoses met hogere zieken huismortaliteit; een laagrisico -subgroep van ICD-9-hoofddiagnoses met lagere zieken huismortaliteit. De ICD-9-codes werden zodanig ingedeeld in hoog risico of laag risico dat het 91

92 De HSMR beproefd aantal sterfgevallen binnen een diagnosegroep bij benadering evenredig verdeeld was over deze twee subgroepen. De vraag was in hoeverre een onevenredig groot aantal patiënten in een van de twee subgroepen invloed had op de SMR van een individueel ziekenhuis. Bij de analyse keken we naar de verhouding (ratio) van de mortaliteit van de hoogrisico-subgroep en de laagrisico-subgroep per CCS-diagnosegroep voor alle ziekenhuizen tezamen. Zonder standaardisatie is deze ratio groter dan 1, maar na perfecte standaardisatie zou de ratio 1 moeten bedragen. Een ziekenhuis ondervindt dan geen voor- of nadeel bij relatief veel of weinig opnamen in een van de twee subgroepen. Wij bepaalden voor beide modellen per CCS-diagnosegroep in hoeverre deze ratio van 1 afweek. Als een model statistisch significant afweek van 1 (dat wil zeggen: 1 lag buiten het 95%-BI van de ratio), dan concludeerden wij dat dat model niet adequaat corrigeerde voor het casemixverschil binnen die CCS-diagnosegroep. Vergelijking HSMRs en SMRs Wij vergeleken de HSMR- en SMR-uitkomsten van beide modellen op drie punten: 1. procentueel: in hoeverre verschillen de SMRs berekend volgens model 1 en model 2 per CCS-diagnosegroep, per ziekenhuis? 2. significantiescore, dat wil zeggen: wijst de SMR op een sterfte die statistisch significant hoger, lager of niet afwijkend van het gemiddelde is? 3. voorspellende waarde, uitgedrukt in c-statistic per CCS-diagnosegroep. De procentuele verschillen in uitkomst tussen de modellen 1 en 2 werden berekend met de formule SMR delta = (SMR model 2 /SMR model 1-1) 100%. Deze verschillen werden weergegeven in een frequentieverdeling. Hetzelfde gebeurde voor de HSMRs. Resultaten Wij analyseerden 48 CCS-diagnosegroepen die een zinvolle splitsing in hoogrisicoen laagrisico-icd-9-codes toelieten. Het ging hierbij om opnamen met sterfgevallen. Van twee CCS-diagnosegroepen, prostaatkanker en aspiratiepneumonie door voedsel of braken, was splitsing niet zinvol en deze vielen dus af. 92

93 Landelijke invloed van ongecorrigeerde casemixvariatie Ratio s van gestandaardiseerde sterftecijfers Figuur 1 toont een puntendiagram met de ratio s van hoogrisico- en laagrisicogestandaardiseerde sterftecijfers voor 48 CCS-groepen voor beide modellen. Bij model 1 weken 40 van de 48 ratio s statistisch significant af van de waarde 1 en bij model 2 weken 25 ratio s af. De afwijkingen van model 1 waren zichtbaar groter dan die van model 2. ratio ccs-diagnosegroepen model 1 model 2 FIGUUR 1 Puntendiagram van de verhouding (ratio) in gestandaardiseerd sterftecijfer tussen patiënten met een hoogrisico-diagnose en die met een laagrisico-diagnose, berekend volgens een landelijk gebruikt model (ruit) of volgens een model aangepast aan de ziekenhuismortaliteit in Nederland (vierkant) Hoofdstuk 6 Verschillen in HSMR en SMR Wij berekenden de procentuele verschillen tussen SMRs (SMR delta ) voor 48 diagnosegroepen en 84 ziekenhuizen; dit leverde 4032 uitkomsten op. Figuur 2 geeft de frequentieverdeling van de verschillen. Op dezelfde wijze maakten wij een frequentieverdeling van de verschillen tussen de HSMRs van de 84 ziekenhuizen, berekend met model 1 en model 2, zie figuur 3. De uiterste waarden van de SMR delta waren -63% en 202% (SD: 14,6). De uiterste waarden van de HSMRs waren -6,7% en 4,3% (SD: 2,0). Voor beide modellen werd de c-statistic per CCS-diagnosegroep bepaald, zie tabel 2. Bij 38 diagnosegroepen vertoonde model 2 een hogere c-statistic dan model 1; de verschillen varieerden van 0,1% tot 17,5%. Bij 8 diagnosegroepen was 93

94 De HSMR beproefd de c-statistic van model 2 wat lager % tot -60% -60% tot -50% -50% tot -40% -40% tot -30% -30% tot -20% -20% tot -10% -10% tot 0% frequenties (logaritmische schaal) 0% tot 10% 10% tot 20% 20% tot 30% 30% tot 40% 40% tot 50% 50% tot 60% 60% tot 70% 70% tot 80% 80% tot 90% > 90% relatieve verandering SMRs FIGUUR 2 Frequentieverdeling van SMRdelta: het verschil in de SMR berekend met model 1 en de SMR berekend met model 2, uitgedrukt als procentuele verandering ten opzichte van de SMR van model 1. Verschillen zijn berekend voor 48 diagnosegroepen voor 84 ziekenhuizen (totaal: 4032 verschillen) frequentie % 1 tot 0,93-0,94-6% - 6% 1 tot 0,94-0,95-5% - 5% 1 tot 0,95-0,96-4% - 4% 4 tot 50,96-0,97-3% - 3% 3 tot 0,97-0,98-2% - 2% 9 tot 0,98-0,99-1% - 1% # tot 0,99-1 0% 0% # tot 1-1,01 1% 1% # tot 01,01-1,02 2% 2% 6 tot 1,02-1,03 3% 3% 2 tot 1,03-1,04 4% 4% 2 tot 1,04-1,05 5% Eindtotaal # - 7% tot - 6% - 6% tot - 5% - 5% tot - 4% - 4% tot - 3% - 3% tot - 2% - 2% tot - 1% - 1% tot 0% 0% tot 1% relatieve verandering HSMRs FIGUUR 3 Frequentieverdeling van het verschil in de HSMR van 84 ziekenhuizen berekend volgens 2 modellen: het gebruikelijke model 1 en het aangepaste model 2. Het verschil werd uitgedrukt als procentuele verandering ten opzichte van de HSMR berekend met model 1. 1% tot 2% 2% tot 3% 3% tot 4% 4% tot 5%

95 Landelijke invloed van ongecorrigeerde casemixvariatie Tot slot stelden wij per diagnosegroep vast bij hoeveel ziekenhuizen de SMR volgens het ene model wees op een statistisch significant hogere of lagere sterfte en volgens het andere model niet, zie tabel 2. Model 1 gaf bij 391 van de 4032 SMRs aan dat de sterfte statistisch significant verhoogd was ten opzichte van het gemiddelde. Bij 87 hiervan (22%) was de sterfte volgens model 2 niet hoger dan gemiddeld. Model 2 gaf bij 352 SMRs significant hogere sterfte aan; bij 48 hiervan (14%) was de sterfte volgens model 1 niet verhoogd. tabel 2 Voorspellende waarde van twee modellen voor berekening van standardised mortality ratios (SMRs), uitgedrukt als c-statistic * per diagnosegroep en significantie scores van de twee modellen. CCScode ccs-diagnosegroep c-statistic * per diagnosegroep model model verschillen in SMR-uitslagen lage sterfte hoge sterfte 1: niet 1: wel 1: niet 1: wel 2: wel 2: niet 2: wel 2: niet sepsis (behalve tijdens bevalling) 0,720 0, slokdarmkanker 0,723 0, maagkanker 0,735 0, colonkanker 0,779 0, kanker van rectum of anus 0,775 0, alvleesklierkanker 0,688 0, longkanker/bronchuskanker 0,793 0, borstkanker 0,921 0, blaaskanker 0,859 0, non-hodgkinlymfoom 0,792 0, leukemie 0,772 0, secundaire maligniteiten 0,744 0, niet nader gespec. tumoren/tumoren 0,808 0, van onzekere aard 50 diabetes mellitus met complicatie 0,804 0, aandoeningen van vocht- en elektrolythuishouding 0,770 0, deficiënties en andere anemie 0,741 0, coma, stupor en hersenbeschadiging 0,615 0, hartklepaandoeningen 0,759 0, acuut myocardinfarct 0,716 0, coronaire atherosclerose en overige 0,751 0, hartaandoeningen 103 pulmonale hypertensie 0,741 0, hartfalen, zonder hypertensie 0,636 0, acute cerebrovasculaire aandoening 0,730 0, perifere en viscerale atherosclerose 0,876 0, aneurysmata van aorta en perifere 0,839 0, en viscerale arteriën 116 trombose van aorta en perifere en viscerale arteriën 0,869 0, Hoofdstuk 6 95

96 De HSMR beproefd tabel 2 Vervolg CCScode ccs-diagnosegroep c-statistic * per verschillen in SMR-uitslagen diagnosegroep lage sterfte hoge sterfte model model 1: niet 1: wel 1: niet 1: wel 1 2 2: wel 2: niet 2: wel 2: niet 117 overige circulatoire aandoeningen 0,778 0, pneumonie 0,750 0, COPD en bronchitus 0,666 0, pleuritis, pneumothorax, klaplong 0,805 0, overige aandoeningen van de lage 0,822 0, luchtwegen 145 darmobstructie zonder hernia 0,796 0, diverticulose en diverticulitis 0,805 0, galwegaandoening 0,906 0, leveraandoening, alcoholgerelateerd 0,666 0, overige leveraandoeningen 0,665 0, gastro-intestinale bloeding 0,707 0, overige gastro-intestinale aandoeningen 0,862 0, acuut en niet-gespecificeerd nierfalen 0,716 0, chronisch nierfalen 0,850 0, urineweginfectie 0,817 0, heupfractuur 0,725 0, intracraniaal letsel 0,836 0, complicatie van apparatuur, implantaat 0,798 0, of transplantaat 238 complicatie chirurgische procedure 0,779 0, of medische zorg 249 shock 0,715 0, totaal * C-statistic geeft aan hoe goed een regressiemodel voorspelt. Bij een waarde van 0,5 heeft het model geen voorspellende waarde, bij 1,0 is de voorspellende waarde perfect. Model 1 is het gebruikelijke model voor de berekening van de standardized mortality ratio (SMR), gebaseerd op sterfterisico s volgens de WHO. Model 2 is een aangepast Nederlands model, gebaseerd op ziekenhuismortaliteit in Nederland. Per diagnosegroep werden SMR s van 84 ziekenhuizen berekend. Weergegeven zijn de aantallen ziekenhuizen waarbij de SMR volgens het ene model wees op een significant lagere of hogere sterfte dan gemiddeld, en volgens het andere model niet. Discussie In dit hoofdstuk werden de SMR- en HSMR-uitkomsten van twee modellen onderling vergeleken. Deze uitkomsten bleken substantieel te verschillen op het niveau van CCS-diagnosegroepen, zoals te zien aan de volgende waarnemingen: 96

97 Landelijke invloed van ongecorrigeerde casemixvariatie 1. De relatieve verschillen tussen de SMRs van model 1 en die van model 2 varieerden aanzienlijk, van -63% tot 202%. Dit betekent dat het modeltype dat werd toegepast grote invloed had op de waarde van de SMRs van ziekenhuizen, onafhankelijk van de kwaliteit van zorg. Het volgende rekenvoorbeeld laat zien wat de grootte van de relatieve verschillen betekent: stel SMR model 1 op 100 SMR-punt; als SMR model 2 = 50 SMR-punt, dan bedraagt het verschil -50%, en als SMR model 2 = 200 SMR-punt, dan is het verschil +100%. De standaarddeviatie van de verdeling van relatieve verschillen bedroeg 14,6%; ter vergelijking: de standaarddeviatie van de verdeling van de 4032 SMRs bedroeg 45 SMR-punt. 2. De modellen verschilden bij het aanwijzen van significant hoge sterfte. 22% van de SMRs die volgens model 1 op significant verhoogde sterfte wezen, deden dat niet volgens model 2. Omgekeerd was 14% van de SMRs die volgens model 2 op verhoogde sterfte wezen, volgens model 1 juist niet verhoogd. Dit betekent dat best practices net als rangordes van ziekenhuizen die gebaseerd zijn op SMR-berekeningen, kunnen verschillen afhankelijk van de modelkeuze. Op HSMR-niveau waren de verschillen minder sterk dan op SMR-niveau. Welk model is nu beter en waarom? Wij menen dat model 2 een betere, zij het niet perfecte correctie bewerkstelligt in de Nederlandse situatie, op grond van de volgende overwegingen: 1. De verdeling van de ratio s van hoogrisico en laagrisico gestandaardiseerde sterfte had bij model 2 een geringere spreiding (0,47-1,7) dan bij model 1 (0,35-9,5) en bevatte minder vaak significante afwijkingen van 1 (25 bij model 2 versus 40 bij model 1). 2. De c-statistics van model 2 zijn aanzienlijk beter dan die van model De indruksvaliditeit ( face validity ) van model 1 is beperkt. Zo is in figuur 4 op het eerste gezicht al duidelijk dat de zwaarteklassen volgens model 1 niet correleren met de mortaliteit in Nederlandse ziekenhuizen voor de afzonderlijke diagnoses binnen de CCS-diagnosegroepen Overige circulatoire aandoeningen en Overige leveraandoeningen. Model 2 vertoont wel een goede correlatie. Andere CCS-diagnosegroepen vertonen soortgelijke patronen. Mogelijk verschillen Nederlandse mortaliteitspatronen van die waarop de WHO-zwaarteklassen zijn gebaseerd. HSMRs en SMRs worden steeds vaker gebruikt bij het verbeteren van kwaliteit van zorg in ziekenhuizen. Vooral diagnosegroepen met significant hoge sterfte worden kritisch doorgelicht door zorgprofessionals. Hierbij is van belang dat de juiste diagnosegroepen worden aangepakt. Uit ons onderzoek blijkt dat het huidige model (2010) voor Nederland niet adequaat corrigeert voor casemixverschillen binnen CCS-diagnosegroepen. Daardoor kan een substantieel aantal SMRs ten onrechte Hoofdstuk 6 97

98 De HSMR beproefd aangemerkt worden als statistisch significant hoger dan het gemiddelde. Omgekeerd wordt ook een substantieel aantal SMRs aangemerkt als niet-significant verhoogd, terwijl de verhoging vermoedelijk wél statistisch significant is. Ziekenhuizen hebben derhalve nog onvoldoende zicht op sterke en zwakke punten van de verleende zorg. Bij de analyse van gestandaardiseerde ziekenhuissterftecijfers in de rapportages over dient men hierop bedacht te zijn; tabel 2 kan hierbij helpen. zwaarteklasse ,1% 1,0% 10,0% 100,0% Waargenomen mortaliteit voor ICD-9 diagnosen; betreft ccsgroep 117 (logaritmische schaal) model 1 model 2 zwaarteklasse ,1% 1,0% 10,0% 100,0% Waargenomen mortaliteit voor ICD-9 diagnosen; betreft ccsgroep 151 (logaritmische schaal) model 1 model 2 FIGUUR 4 Verband tussen de mortaliteit en de zwaarteklasse volgens model 1 (ruit) en model 2 (vierkant) van ICD-9-diagnosen in (a) de diagnosegroep 117 Overige circulatoire aandoeningen en (b) de diagnosegroep 151 Overige leveraandoeningen. In dit onderzoek bleek één bron van ongecorrigeerde variatie de uitkomsten van SMR- en HSMR-berekeningen al te kunnen vertekenen. Eerder onderzoek heeft laten zien dat variaties in codering, 5 het effect van bijzondere medische verrichtingen, 7 de onvergelijkbaarheid van context, 8 variaties in ziekenhuissterfte van terminaal geïndiceerde patiënten 13 en het effect van heropnamen 14 eveneens van invloed kunnen zijn op de HSMR van een ziekenhuis. Daarom is er behoefte aan een beter inzicht in de aard en impact van ongecorrigeerde variatiebronnen voordat men de HSMR-methodiek betekenisvol kan inzetten, zoals bij het werken aan verbetering van kwaliteit en patiëntveiligheid in ziekenhuizen. Deze behoefte wordt steeds groter naarmate het HSMR-model verder wordt ontwikkeld en de besluitvorming rond openbaarmaking van het gestandaardiseerde ziekenhuissterftecijfer voortschrijdt. Conclusies Het huidige HSMR-model voor Nederland corrigeert ook op nationaal niveau onvoldoende voor casemixverschillen op het niveau van ICD-9-hoofddiagnoses. Gebleken is nu dat de oorzaak hiervan samenhangt met een inadequate 98

99 Landelijke invloed van ongecorrigeerde casemixvariatie indeling van ICD-9-codes in zwaarteklassen. Een betere correctie wordt mogelijk na aanpassing van deze indeling op geleide van de ziekenhuismortaliteit in Nederland. Bij vergelijking van SMR-waarden volgens het oorspronkelijke model en volgens een nieuwe berekening springen substantiële verschillen op CCSdiagnosegroepsniveau in het oog. Op ziekenhuisniveau (HSMR-waarden) zijn de verschillen beperkt. Ter verbetering van het HSMR-model bevelen wij aan de zwaarteklassenindeling te baseren op de Nederlandse ziekenhuismortaliteit. Literatuur 1. Inspectie voor de Gezondheidszorg. Veiligheidsindicatoren ziekenhuizen 2010 t/m Utrecht: IGZ; Tweede Kamer der Staten-Generaal. Antwoorden op kamervragen van Koser Kaya over het bericht dat ziekenhuizen zwijgen over hun sterftecijfers. Aanhangsel der Handelingen , Den Haag: SDU, Sterftecijfer nog niet publiek in Med Contact. 2009;64: Sterftecijfers: ja of nee? Elsevier, 24 oktober Bosch WF van den, Roozendaal KJ, Silberbusch J, Wagner C. Variatie in codering patiëntgegevens beïnvloedt gestandaardiseerd ziekenhuissterftecijfer (HSMR). Ned Tijdschr Geneeskd. 2010;154:A Pieter D, Kool RB, Westert GP. Beperkte invloed gegevensregistratie op gestandaardiseerd ziekenhuissterftecijfer (HSMR). Ned Tijdschr Geneeskd. 2010;154:A Bosch WF van den, Graafmans WC, Pieter D, Westert GP. Hartcentra en het effect van bijzondere medische verrichtingen op de gestandaardiseerde ziekenhuissterfte. Ned Tijdschr Geneeskd. 2008;152: Mohammed MA, Deeks JJ, Girling A, et al. Evidence of methodological bias in hospital standardised mortality ratios: retrospective database study of English hospitals. BMJ. 2009;338:b Lilford R, Mohammed MA, Spiegelhalter D, Thomson R. Use and misuse of process and outcome data in managing performance of acute medical care: avoiding institutional stigma. Lancet. 2004;363: Penfold RB, Dean S, Flemons W, Moffatt M. Do hospital standardized mortality ratios measure patient safety? HSMRs in the Winnipeg Regional Health Authority. Healthc Pap. 2008;8: Pleizier CM, Geerlings W, Pieter D, Boiten J. Patiëntenmix beïnvloedt HSMR. Medisch Contact. 2010;65: Jarman B, Pieter D, Veen AA van der, et al. The Hospital Standardised Mortality Ratio: a powerful tool for Dutch hospitals to assess their quality of care? (2009). Qual Saf Health Care. 2010;19: Black N. Assessing the quality of hospitals. BMJ. 2010;340:c Bosch WF van den, Kelder HC, Wagner C. Predicting hospital mortality among frequently readmitted patients: HSMR biased by readmission. BMC Health Serv Res. 2011;11:57. Hoofdstuk 6 99

100

101 7 aard van variatie in heropnamen Dit hoofdstuk werd gepubliceerd als: Bosch WF van den, Kelder HC, Wagner C. Predicting hospital mortality among frequently readmitted patients: HSMR biased by readmission. BMC Health Serv Res 2011;11:57.

102 De HSMR beproefd Samenvatting Achtergrond Het HSMR-model anno 2010 houdt geen rekening met de effecten van heropname, want betrouwbare data over heropnamen zijn niet beschikbaar in de gebruikte standaardregistratie. Wij hebben de invloed van heropnamen onderzocht door het koppelen van opnamen van dezelfde patiënt. Zodoende konden wij ziekenhuissterfte vergelijken tussen frequent opgenomen patiënten en niet frequent opgenomen patiënten. Wij formuleerden ook een methode om te corrigeren voor heropnamen bij het berekenen van de HSMR. Methode Wij hebben een longitudinale retrospectieve studie gedaan aan de hand van de LMR van zes topklinische ziekenhuizen in Nederland, met HSMR-waarden die varieerden van 65 tot 114 en een gecombineerde waarde van 93 over een periode van vijf jaar. Het betrof patiënten die in totaal keer werden opgenomen in de periode 2003 t/m De voorspelde sterfte over deze vijf jaar, zoals berekend door het in 2008 in Nederland gebruikte HSMR-model, vergeleken wij met de waargenomen sterfte. Resultaten Bij onderlinge vergelijking van de ziekenhuizen bleek het gemiddeld aantal heropnamen substantieel te variëren, maximaal met een factor 2. Er was een sterk verband tussen het aantal heropnamen per patiënt en de door de HSMR voorspelde sterftekans. De waargenomen sterfte voor regelmatig opgenomen patiëntengroepen bleek significant lager dan de door de HSMR voorspelde sterfte. De oorzaak hiervan hing samen met ongecorrigeerde factoren die verband hielden met heropnamen. Conclusies Frequent opgenomen patiënten vertonen gemiddeld een lager sterfterisico per opname, vergeleken met niet frequent opgenomen patiënten. Deze terugloop in risico wordt slechts ten dele gedetecteerd door het huidige HSMR-model. Bij het vergelijken van frequent opgenomen patiënten met niet frequent opgenomen patiënten, blijkt de impliciete aanname van gelijke risico s voor beide groepen, onjuist. Dit heeft een HSMR-verlagend effect voor ziekenhuizen met relatief veel frequent opgenomen patiënten en een HSMR-verhogend effect voor ziekenhuizen met relatief weinig frequent opgenomen patiënten. Dit misleidende effect wordt zichtbaar over een langere periode, maar heeft een permanente uitwerking, 102

103 Aard van variatie in heropnamen ook over kortere periodes. Deze uitkomst is relevant voor alle landen waar ziekenhuizen de HSMR gebruiken voor het monitoren en verbeteren van kwaliteit van zorg. Het gebruik van opnamefrequentie als extra correctievariabele kan een meer accurate HSMR opleveren. Inleiding Variaties in ruwe ziekenhuissterfte kunnen samenhangen met verschillende bronnen van variatie, zoals variatie in registratie, casemix, kwaliteit van zorg en toeval. 1 Zoals in voorgaande hoofdstukken aan de orde is geweest kan voor casemix gecorrigeerd worden door het toepassen van de HSMR dat als startpunt kan dienen voor het verbeteren van de ziekenhuisprestaties. 2 Ook het openbaar maken van de HSMR is actueel, 3 maar blijkt tevens weerstand op te roepen. 4,5 Sommige publicaties noemen Nederland als een van de landen waar de HSMR publiekelijk beschikbaar zou zijn, 6,7 of stellen dat daar modeltechnisch geen bezwaar tegen zou zijn. 8 Echter tot en met 2010 zijn de HSMRs niet openbaar gemaakt. 9,10 Een van de bevindingen van deze laatste studie 10 betreft verschillen tussen ziekenhuizen met betrekking tot het gemiddeld aantal heropnamen per patiënt, gemeten over een periode van meerdere jaren. De huidige versie van het HSMRmodel in Nederland corrigeert niet voor enige vorm van heropname. Het Engelse HSMR-model corrigeert wel voor heropnamen die acuut van aard zijn, maar niet over een periode van meerdere jaren. Het verband tussen heropnamen en de HSMR wordt benoemd in een publicatie van Jarman. 11 Het effect van het corrigeren voor heropnamen beschrijft hij als volgt:.there is also not much difference between normal HSMRs based on all admissions and those based on only one (e.g., the last) admission in a year... Wij leggen deze bevinding als volgt uit: als een patiënt in een jaar meer dan eens het ziekenhuis bezoekt, dan kan één willekeurige opname in dat jaar de bijdrage van die patiënt aan de HSMR van dat jaar representeren. Het gebruik van een beperkt deel van de opnamehistorie van een patiënt zou gemiddeld geen verschil maken voor de HSMR van dat ziekenhuis. Dit suggereert dat correctie voor heropname niet zinvol zou zijn. Wij vragen ons hierbij echter af of een periode van één jaar voldoende lang is om de effecten van heropnemen te meten en of alle risicocondities rond heropnamen adequaat geadresseerd kunnen worden. In een meer recente publicatie adresseert Jarman 2 wel de behoefte aan onderzoek naar het effect van heropnamen: further improvements to the casemix model are being evaluated. The numbers of previous admissions within a given time period, Hoofdstuk 7 103

104 De HSMR beproefd which requires the linking of admissions of the same patient, could be of potential use.. In dit hoofdstuk laten wij zien in hoeverre het aantal voorgaande opnamen van een patiënt binnen een zekere tijdsperiode invloed heeft op de HSMRs van ziekenhuizen en wat we kunnen doen om het HSMR-model te verbeteren. Om een eerlijke vergelijking te kunnen maken tussen ziekenhuizen is het nodig te corrigeren voor verschillen in patiëntspecifieke risicofactoren, aangeduid als de casemix. Deze risico s kunnen echter verschillend uitpakken bij verschillende ziekenhuizen. Het negeren van dit niet constante niveau van risico s tussen ziekenhuizen kan dan tot een misleidende vergelijking leiden ( constant risk fallacy ). Als we de resterende (onverklaarde) variatie in de HSMR in dat geval zouden toeschrijven aan variatie in de kwaliteit van zorg, dan is de correctie voor casemix misleidend geweest ( case-mix adjustment fallacy ). 1,12 Een voorbeeld van dit fenomeen, toegepast op de Engelse HSMR, is beschreven door Mohammed e.a. 6 Hierbij bleken de uitkomsten van twee casemixvariabelen comorbiditeit en opname-urgentie sterk beïnvloed door verschillen in ziekenhuizen. Deze effecten konden verklaard worden door optredende verschillen bij het coderen en verschillen in de manier waarop patiënten opgenomen werden, en niet door verschillen in kwaliteit van zorg. Wij leren hieruit dat correctievariabelen voor verschillende ziekenhuizen een verschillende betekenis kunnen hebben. Aangezien de correctie voor variabelen gebaseerd is op opnamen, kunnen we ons nu afvragen of de praktijk van opname en heropnamen van dezelfde patiënt ook onderhevig kan zijn aan deze misleidende vorm van vergelijken. Ofwel, heeft de opname van een patiënt voor het ene ziekenhuis dezelfde betekenis als voor een ander, als dat ziekenhuis dezelfde patiënt zou hebben opgenomen? Meer toegespitst op onze studie: zijn de risicocondities hetzelfde voor een patiënt die slechts eenmaal opgenomen wordt, vergeleken met een gelijksoortige patiënt die regelmatig opnieuw opgenomen wordt? Wij hebben dit geanalyseerd aan de hand van de volgende onderzoeksvragen, met gebruik van de HSMRs van de zes Santeon ziekenhuizen. 1. Zijn er substantiële verschillen in het gemiddeld aantal heropnamen tussen de zes ziekenhuizen binnen een vaste tijdsperiode? 2. Is er een significant verband tussen HSMRs en het gemiddelde aantal heropnamen per patiënt per ziekenhuis? 3. Verandert de casemix als het aantal heropnamen toeneemt en zo ja, hoe verandert die? 4. Hoe kunnen we corrigeren voor heropnamen, teneinde meer accurate HSMRs en SMRs op diagnosegroepsniveau ( standardised mortality ratios ) te verkrijgen? 104

105 Aard van variatie in heropnamen Methode Setting De HSMRs van de zes Santeon-ziekenhuizen variëren van 65 (gunstig) tot 114 (niet gunstig), berekend over de jaren 2003 t/m 2007 en een overall HSMR-waarde van 93, zie tabel 1. De Santeon-ziekenhuizen bestrijken circa 10% van de Nederlandse ziekenhuiszorg, in termen van klinisch opnamen en dagbehandelingen. De in deze studie gebruikte dataset betrof een selectie van de landelijke medische registratie (LMR) met data van de zes Santeon-ziekenhuizen over de jaren 2003 t/m De zes Raden van Bestuur van de ziekenhuizen hebben hiervoor hun toestemming verleend. TABEL 1 Aantal opnamen en HSMR van Santeon-ziekenhuizen over de jaren 2003 t/m aantal opnamen over de jaren 2003 t/m 2007 HSMR-waarde over de jaren 2003 t/m % betrouwbaarheids-interval ziekenhuis San- teon- A B C D E F waarde (93-99) ( ) (78-86) (62-67) ( ) (90-99) (91-94) * De ziekenhuizen zijn in willekeurige volgorde gelabeld van A tot en met F. HSMR-model gebruikt in deze studie Hoofdstuk 7 Bij het Nederlandse HSMR-model 2008 (DHM-2008) dat is toegepast in dit hoofdstuk, wordt gecorrigeerd voor leeftijd, geslacht, opname-urgentie, opnameduur, jaar van ontslag, sociaal-economische status, comorbiditeit en CCSdiagnosegroep, gebaseerd op ICD-9-codering. Het model is beschreven door Jarman 2 en lijkt op het Engelse model. Verschillen met het Engelse model betreffen: het meetellen van dagbehandelingen (niet gebruikt in de UK) en het gebruik van 50 CCS-diagnosegroepen in Nederland (gebaseerd op ICD-9-codering) versus 56 CCS-diagnosegroepen (gebaseerd op ICD-10-codering) in UK waarvan 42 gemeenschappelijk. Verder corrigeert het Engelse model nog voor palliatieve zorg, herkomst en het aantal voorgaande acute opnamen; DHM-2008 corrigeert voor geen van deze drie. De HSMR-berekeningen werden uitgevoerd door Prismant. 105

106 De HSMR beproefd Definitie van heropname De term heropname wordt vaak gebruikt voor ongeplande heropnamen binnen een beperkte tijdsperiode, bijvoorbeeld 30 dagen, die het (ongewenste) gevolg zijn van de voorgaande behandeling. Geplande heropnamen zijn een andere veelvoorkomende vorm van het heropnemen van patiënten, in het bijzonder voor patiënten met een chronische aandoening, bijvoorbeeld een oncologische aandoening. In het laatste geval kan de behandeling een langere periode betreffen, zelfs een aantal jaren. Ook komt het voor dat een patiënt het ziekenhuis bezoekt voor behandeling van een andere ziekte dan die tijdens een voorgaand bezoek; ook in dit geval zou men kunnen spreken van een heropname. In ons onderzoek beschouwen wij al deze gevallen als heropname van dezelfde patiënt over de onderzoeksperiode van vijf jaar. Wij adopteerden de term n de opname 13, die volgens de definitie betrekking heeft op opnamen na de zesde opname, waarbij n een geheel getal is, beginnend bij 7. Wij gebruikten de term ook voor n=1, 2, 6. Vaststellen van de n de opname van een patiënt Gegevens met betrekking tot opnamen van patiënten worden standaard gecodeerd door ziekenhuizen in Nederland en jaarlijks verzameld in het centrale bestand van de landelijke medische registratie, de LMR. In het algemeen worden heropnamen hierin niet adequaat geregistreerd. Om aan de hand van opnamegegevens uit de LMR vast te kunnen stellen dat een patiënt voor de n de keer wordt opgenomen in een zeker ziekenhuis, hebben wij gebruik gemaakt van de ontslagdatum, in combinatie met het binnen een ziekenhuis unieke patiëntidentificatienummer. Opnamefrequentie Bij de HSMR-berekening wordt per opname een sterftekans bepaald, gebaseerd op de bij die opname behorende waarden van de regressievariabelen. Het model beschouwt iedere opname als een onafhankelijk kansexperiment, vergelijkbaar met het gooien van een dobbelsteen, gescheiden van voorgaande opnamen. De som van de sterftekansen van alle opnamen vormt de noemer van de HSMR voor het ziekenhuis. De opname is de basisbouwsteen voor het representeren van risicocondities die gepaard gaan met één enkele ziekenhuisopname van een patiënt. Echter, bij het vergelijken van ziekenhuissterfteratio s over een zeker tijdsinterval is men niet uitsluitend geïnteresseerd in de kwaliteit van 106

107 Aard van variatie in heropnamen individuele opnamen, maar ook in de kwaliteit van het eindresultaat. Werd de patiënt aan het eind levend ontslagen na een aantal successieve opnamen? Het draait voor de ziekenhuizen uiteindelijk om de patiënt, waarvoor zij een zorgverantwoordelijkheid dragen. Ten behoeve van ons onderzoek introduceren wij een nieuwe risicovariabele, die afhangt van alle opnamen van de patiënt gedurende het onderzochte tijdsinterval en daarmee een verband legt tussen de genoemde onafhankelijke kansexperimenten. Aangezien risicocondities gekoppeld kunnen zijn aan hoe vaak een patiënt in totaal wordt opgenomen, delen wij iedere patiënt in een aparte patiëntenklasse P(m) in, waarbij: Opnamefrequentie m = het aantal malen dat een patiënt werd opgenomen gedurende een vast tijdsinterval. (Soms werken we met het aantal malen dat een patiënt werd opgenomen na de eerste opname; in dat geval gebruiken we de term heropnamefrequentie = m-1). De tweede onderzoeksvraag test het sterftevoorspellend vermogen van het huidige HSMR-model voor deze klassen. Afhankelijk van deze uitkomst kunnen wij dan concluderen in hoeverre de nieuwe variabele een verrijking is voor het HSMR-model. Dit idee is wel geopperd door Jarman, 2 maar voor zover wij weten niet verder onderzocht. Opnameview versus patiëntview De gebruikte dataset met opnamen kan op verschillende manieren worden onderverdeeld in doorsneden. Wij hebben sterfterisico s onderzocht, gebruikmakend van de volgende twee doorsneden die haaks op elkaar staan. Hierbij gebruiken wij de term views, om aan te geven dat er langs verschillende dimensies gekeken kan worden naar de data. Opnameview: deze view is gebaseerd op een indeling met n de opnameklassen O(n) waarbij O(1), O(2), alle eerste opnamen, alle tweede opnamen,. representeren. Bijvoorbeeld: iedere patiënt in klasse O(3) komt met één opname precies eenmaal voor in klasse O(3), maar dan dus ook eenmaal in O(2) en ook eenmaal in O(1), wegens voorgaande opnamen. Patiëntview: deze view is gebaseerd op opnamefrequentieklassen P(m), waarin alle opnamen van een patiënt zijn opgenomen die precies m maal werd opgenomen in hetzelfde ziekenhuis gedurende de vijfjaar studieperiode. Bijvoorbeeld: iedere patiënt in klasse P(3) komt daarin voor met precies drie opnamen, maar in andere P-klassen komt hij niet voor. Zodoende worden patiënten die even vaak zijn opgenomen, geclusterd in dezelfde klasse, Hoofdstuk 7 107

108 De HSMR beproefd gescheiden van patiënten die in totaal vaker of minder vaak zijn opgenomen. Dit in tegenstelling tot de opnameklassen O(n), waarbij één patiënt in vele klassen eenmaal kan voorkomen. Bijvoorbeeld: iedere patiënt komt precies eenmaal voor in klasse O(1). Het berekenen van sterftecijfers Wij berekenden achtereenvolgens: ruwe mortaliteit, voorspelde mortaliteit gebaseerd op DHM-2008 en gestandaardiseerde sterfteratio s, door het toepassen van de HSMR-formule voor iedere klasse P(m) en O(n) voor m,n = 1, 2, 3, Teneinde voldoende power te bewaren hebben wij de resultaten van de hogere (m>4) klassen P(m) als volgt gecombineerd: m=5-6 in een groep, m=7-9 in een groep, m=10-20 in een groep, en m>20 in een groep. Analoog voor de waarden van n en de groepering van O(n). Voor de gestandaardiseerde sterfteratio s berekenden wij ook de 95% betrouwbaarheidsintervallen. Wij onderzochten de samenhang tussen de waargenomen en de voorspelde uitkomsten, en de goodness of fit voor beide views. Resultaten Gedurende het onderzoeksinterval van vijf jaar werden patiënten in totaal maal opgenomen. Bij patiënten (69% van alle patiënten) betrof het een eenmalige opname. De overige patiënten (31% van alle patiënten) die meer dan eens werden opgenomen, waren goed voor opnamen (61% van alle opnamen), waarvan heropnamen (43% van alle opnamen). Variaties in opnamefrequentie Wij onderzochten de verdeling van de opnamefrequenties per patiëntenklasse P(m) per ziekenhuis, zie tabel 2. Voor m=1 heeft ziekenhuis B relatief het hoogste aantal opnamen (46% van eigen totaal), ziekenhuis D het laagste aantal (29%). Voor de patiëntenklassen P(m>7) blijkt ziekenhuis D hoge scores te hebben. Bijvoorbeeld: 9% van de opnamen van dat ziekenhuis betrof opnamen van patiënten die in totaal meer dan 20 maal werden opgenomen, terwijl dat percentage bij ziekenhuizen E en F 0,6% bedroeg. Wij onderzochten ook de variatie tussen ziekenhuizen van het gemiddelde van de opnamefrequentie op het niveau van de twaalf hoofddiagnosegroepen, zie figuur

109 Aard van variatie in heropnamen TABEL 2 Verdeling van het aantal (her)opnamen over patiëntviewklassen m voor ieder van de zes ziekenhuizen. percentage opnamen van het totaal aantal opnamen per ziekenhuis patiëntviewklasse A B C D E F Santeon P(m=1) 39,1% 46,0% 37,7% 29,3% 38,9% 45,3% 39,4% P(m=2) 19,0% 20,8% 20,5% 17,3% 22,4% 21,2% 20,0% P(m=3) 10,2% 10,3% 12,3% 10,6% 12,6% 11,2% 11,0% P(m=4) 6,2% 6,3% 8,2% 6,6% 7,4% 6,8% 6,8% P(m=5, 6) 7,4% 6,5% 9,4% 8,1% 8,8% 7,3% 7,8% P(m=7-9) 5,8% 4,6% 5,8% 6,7% 5,2% 4,4% 5,5% P(m=10-20) 7,7% 3,9% 4,7% 12,2% 4,2% 3,2% 6,3% P(m>20) 4,6% 1,6% 1,5% 9,1% 0,6% 0,6% 3,3% Totaal 100% 100% 100% 100% 100% 100% 100% * Ziekenhuizen zijn getoond in willekeurige volgorde, gelabeld van A tot en met F. hoofddiagnosegroep Nieuwvormingen; totaal heropn. = Hartaandoeningen; totaal heropn. = Ademhalingsziekten; totaal heropn. = Gastro-intestinale ziekten; totaal heropn. = Complicaties; totaal heropn. = Metabole ziekten, shock etc; totaal heropn. = Perifere vasculaire ziekten; totaal heropn. = Nierziekten; totaal heropn. = Acute cerebrovasculaire aand; totaal heropn. = Heupfractuur; totaal heropn. = heropnamefrequentie 0,0 0,5 1,0 1,5 2,0 2,5 3,0 3,5 A B C D E F Sepsis; totaal heropn. = 542 Intracraniaal letsel; totaal heropn. = 488 Totaal heropnamen= Hoofdstuk 7 FIGUUR 1 Verdeling van het aantal heropnamen gedeeld door het aantal patiënten per ziekenhuis per CCS-hoofddiagnosegroep. De grafiek toont het gemiddeld aantal heropnamen. De zes ziekenhuizen zijn gelabeld van A tot en met F. Voor iedere hoofddiagnosegroep is ook het aantal heropnamen getoond, bijvoorbeeld: nieuwvormingen telden in totaal heropnamen. De eerste drie hoofddiagnosegroepen nieuwvormingen, hartaandoeningen en ademhalingsziekten betreffen tezamen tweederde van alle opnamen. Voor deze hoofddiagnosegroepen berekenden wij de ratio tussen het hoogste en het laagste waargenomen ziekenhuisgemiddelde van de heropnamefrequentie. Bij nieuwvormingen verschilden ziekenhuis D (3,3 heropnamen gemiddeld) en 109

110 De HSMR beproefd ziekenhuis B (1,1 heropnamen gemiddeld) een factor 3. Bij hartaandoeningen en ademhalingsziekten bedroeg de ratio tussen hoogste en laagste 1,8 respectievelijk 1,7. Over het geheel genomen, zie onderste regel van figuur 1, had ziekenhuis D gemiddeld de hoogste heropnamefrequentie (1,14) en ziekenhuizen B en F gemiddeld de laagste (0,57) - een factor 2 verschil tussen de hoogste en de laagste. Mortaliteit per patiëntviewklasse en per opnameviewklasse TABEL 3 Mortaliteitsgetallen per patiëntviewklasse m: ruwe mortaliteit per patiënt en per opname, voorspelde mortaliteit per opname. waargenomen aantal ruwe mortaliteit per DHM-2008 voorspelde patiëntviewklasse patiënten opnamen doden patiënt opname aantal doden mortaliteit per opname P(m=1) ,4% 5,4% ,2% P(m=2) ,8% 3,4% ,0% P(m=3) ,0% 3,0% ,1% P(m=4) ,3% 2,6% ,1% P(m=5, ,5% 2,1% ,0% 6) P(m=7-9) ,8% 1,8% 820 3,6% P(m= ,8% 1,0% 714 2,7% 20) P(m>20) ,9% 0,4% 157 1,1% Totaal ,3% 3,64% ,9% * De aantallen betreffen de totalen van de zes ziekenhuizen. De ruwe mortaliteit per patiënt stabiliseert rond de 13% voor patiënten die tien of meer opnamen hebben gehad. De voorspelde mortaliteit per opname verschilt in toenemende mate (hoger) van de waargenomen mortaliteit voor hogere patiëntviewklassen. De statistische significantie hiervan wordt getoond in tabel 5 met behulp van de corresponderende gestandaardiseerde mortaliteitsratio s en 95% betrouwbaarheidsintervallen. Tabel 3 toont het resultaat van de mortaliteitsberekeningen vanuit het patiëntview perspectief. De rij met klasse P(m=1) toont de uitkomsten voor alle patiënten die precies eenmaal werden opgenomen, rij P(m=2) voor de patiënten die precies tweemaal werden opgenomen, enzovoort. De ruwe mortaliteit per patiënt voor de eenmalig opgenomen patiënten bedraagt 5,4%. Voor m=2 tot en met m=9 zien we een gemiddelde groei in mortaliteit per patiënt van ongeveer 1% per patiëntviewklasse toename. Van m=10 tot en met m>20 vertoont de ruwe mortaliteit per patiënt geen verhoging meer en treedt hierin een stabilisatie op van 110

111 Aard van variatie in heropnamen rond de 13%. Tabel 3 laat ook zien dat DHM-2008 een daling in de mortaliteit per opname voorspelt van 4,2% voor P(m=1) tot 1,1% voor P(m>20). Tabel 4 toont de mortaliteitsgetallen vanuit het opnameview perspectief. De rij met O(n=1) toont de uitkomsten voor alle voor de eerste maal opgenomen patiënten. Van deze patiënten werden patiënten tenminste een tweede maal opgenomen volgens de rij met O(n=2), enzovoort. Met het oplopen van de opnameklassen O(n=1) tot en met O(n>20), blijkt de gemiddelde voorspelde mortaliteit per opname (binnen de opnameklasse) terug te lopen van 4,1% tot 1,1%. In de patiëntview blijkt het aantal waargenomen sterfgevallen voor eenmalig opgenomen patiënten (P(m=1)), aanzienlijk hoger dan voorspeld en voor P(m=2) tot en met P(m>20) lager dan voorspeld, zie tabel 3. In de opnameviews zijn de verschillen aanzienlijk geringer, zie tabel 4. TABEL 4 Mortaliteitsgetallen per opnameviewklasse: ruwe mortaliteit per opname en voorspelde mortaliteit per opname. opnameview- waargenomen aantal ruwe mortaliteit door DHM-2008 voorspelde klasse opnamen doden per opname aantal doden mortaliteit per opname O(n=1) ,7% ,1% O(n=2) ,8% ,9% O(n=3) ,1% ,1% O(n=4) ,9% 740 4,0% O(n=5,6) ,6% 714 3,7% O(n=7-9) ,2% 421 3,3% O(n=10-20) ,1% 293 2,2% O(n>20) ,0% 57 1,1% Totaal ,6% ,9% Hoofdstuk 7 * De aantallen betreffen totalen van de zes ziekenhuizen. De voorspelde mortaliteit per opname komt overeen met de waargenomen mortaliteit voor alle opnameview klassen. De statistische significantie hiervan wordt getoond in tabel 5 met behulp van de corresponderende gestandaardiseerde mortaliteitsratio s en 95% betrouwbaarheidsintervallen Uit de tabellen 3 en 4 kunnen we de gestandaardiseerde sterfteratio s voor beide views afleiden via het quotiënt van het aantal waargenomen sterfgevallen en de voorspelde sterfte per klasse. Tabel 5 toont het resultaat, inclusief de 95% betrouwbaarheidsintervallen (p<0,0001). 111

112 De HSMR beproefd TABEL 5 Gestandaardiseerde mortaliteitsratio s (SMRs) voor de patiëntview en de opnameview. patiëntviewklasse SMR per patiëntiewklasse ondergrens 95% BI van SMR bovengrens 95% BI van SMR opnameviewklasse SMR per opnameviewklasse ondergrens 95% BI van SMR bovengrens 95% BI van SMR P(m=1) 126,8 124,1 129,4 O(n=1) 90,4 88,5 92,3 P(m=2) 85,3 82,2 88,5 O(n=2) 96,0 92,5 99,6 P(m=3) 72,5 68,7 76,5 O(n=3) 99,2 94,1 104,6 P(m=4) 63,1 58,6 67,8 O(n=4) 98,1 91,1 105,5 P(m=5, 6) 53,4 49,5 57,5 O(n=5, 6) 97,4 90,3 104,9 P(m=7-9) 49,3 44,6 54,3 O(n=7-9) 95,8 86,7 105,6 P(m=10-20) 37,1 32,8 41,8 O(n=10-20) 90,4 79,9 102,0 P(m>20) 34,9 26,3 45,5 O(n>20) 96,1 72,4 125, gestandaardiseerde sterfteratios SANTEON HSMR = 93,0 ( 95% BI 91,5-94,5 ) Patient view Admission view P(m=1) P(m=2) P(m=3) P(m=4) P(m=5, 6) P(m=7-9) P(m=10-20) P(m>20) O(n=1) O(n=2) O(n=3) O(n=4) O(n=5,6) O(n=7-9) O(n=10-20) O(n>20) Patientviewklassen (P(m)) en Opnameviewklassen (O(n)) FIGUUR 2 Gestandaardiseerde sterfteratio s van patiëntviewklassen en opnameviewklassen, inclusief de 95% betrouwbaarheidsintervallen. Het Santeon overall HSMR-gemiddelde bedraagt 93,0 (95% BI: 91,5 94,5). Figuur 2 toont een grafische voorstelling hiervan. In de patiëntview neemt de gestandaardiseerde sterfteratio af van 127 (P(m=1)) tot 35 (P(m>20)) en geen van de bijbehorende 95% betrouwbaarheidsintervallen bevat de verwachte overall HSMR-waarde van 93,0 (95% BI: 91,5 94,5). Dit laat zien dat er een significante interactie optreedt tussen patiëntviewklassen en gestandaardiseerde sterfteratio s, wat duidt op een gebrek aan HSMR-modelfit. In de opnameview echter, blijken de 112

113 Aard van variatie in heropnamen gestandaardiseerde sterfteratio s te fluctueren tussen 90 en 99. Alle bijbehorende 95% betrouwbaarheidsintervallen bevatten de overall waarde van 93,0 (95% BI: 91,5 94,5), wat duidt op een goede HSMR-modelfit. Wij komen hier nog op terug. Casemix risicoprofiel voor de n de opname Tot slot hebben wij ook de variatie over de n de opnameklassen van vijf casemixvariabelen onderzocht, zie tabel 6. TABEL 6 Waarden/verdelingen van de belangrijkste variabelen waarvoor gecorrigeerd is door DHM-2008 per nde opname voor de zes ziekenhuizen. aantal opnamen patiëntspecifieke kenmerken gemiddelde leeftijd bij n de ontslag (jaren) O(n=1) O(n=2) O(n=3) O(n=4) O(n=5,6) O(n=7-9) O(n=10-20) O(n>20) ,2 64,7 65,5 65,5 64,8 63,7 62,4 59,0 verdeling charlsonindices: 0 68% 65% 60% 55% 49% 42% 37% 31% 1 20% 17% 16% 15% 13% 10% 6% 4% 2 en 3 10% 17% 22% 27% 35% 45% 54% 60% 4, 5 en 6 2% 2% 2% 3% 3% 3% 4% 5% opnameverdeling per CCS hoofddiagnosegroep nieuwvormingen 13% 20% 25% 31% 40% 52% 65% 72% metabolismen 4% 5% 6% 7% 8% 9% 12% 14% & shock hartaandoeningen 40% 34% 29% 25% 20% 13% 7% 2% ademhalingsziekten 11% 11% 12% 12% 11% 9% 6% 3% gastro-intestinale 13% 10% 9% 8% 6% 4% 3% 2% aandoe- ningen overige 7 hoofddiagnosegroepen 21% 19% 19% 17% 15% 12% 8% 6% Hoofdstuk 7 113

114 De HSMR beproefd TABEL 6 Vervolg O(n=1) O(n=2) O(n=3) O(n=4) O(n=5,6) O(n=7-9) O(n=10-20) O(n>20) opnamespecifieke casemix eigenschappen verdeling percentage acute opnamen gemiddelde ligduur (dagen) 43% 37% 39% 37% 34% 28% 18% 7% 6,8 7,2 7,0 6,5 6,0 5,0 3,4 1,8 Jaar van ontslag, geslacht en sociaal-economische status beschouwden wij als minder relevante variabelen hiervoor. De tabel is opgedeeld naar patiënt- en opnamespecifieke eigenschappen. De variatie in casemix behorende bij de n de opname als n varieert van n=1 tot en met n>20 wordt gekenmerkt door: een gemiddelde leeftijd die aanvankelijk toeneemt van 61 (n=1) naar 66 jaar (n=4) en dan geleidelijk afneemt tot 59 jaar; een geleidelijke toename van comorbiditeit, zoals blijkt uit een teruglopende bijdrage van de twee laagste en een toenemende bijdrage van de hogere charlsonindices; een dominerend aandeel van hartaandoeningen voor lagere waarden van n en een dominerend aandeel van nieuwvormingen voor hogere waarden van n; een relatieve afname van het aantal acute opnamen; een afname van de gemiddelde opnameduur voor n>3. De combinatie van deze vijf factoren laat zien hoe de casemix verandert met de toename van het aantal heropnamen. Deze veranderingen hangen samen met een daling van de mortaliteit per opname voor n>4 zoals voorspeld door DHM- 2008, zie tabel 4. Discussie (Her)opnamefrequenties vertonen een substantiële variatie tussen de ziekenhuizen. Bijvoorbeeld: de overall waarde van de heropnamefrequentie van ziekenhuis D is tweemaal die van ziekenhuis B en F. Voor de hoofddiagnosegroep nieuwvormingen is deze voor ziekenhuis D zelfs driemaal die van ziekenhuis B. Wij concluderen dat het gemiddeld aantal heropnamen, gemeten in een vast tijdsinterval, substantiële verschillen laat zien tussen de ziekenhuizen onderling. Voor patiënten in de klassen met een hogere opnamefrequentie worden lagere 114

115 Aard van variatie in heropnamen risico s per opname voorspeld, hetgeen samenhangt met veranderingen in de casemix. Echter in de patiëntview wordt dit verminderde risico slechts ten dele voorspeld door DHM Dit blijkt uit het aantal voorspelde sterfgevallen dat, vergeleken met het aantal waargenomen sterfgevallen, relatief laag was voor eenmalig opgenomen patiënten en relatief hoog voor meer dan eens opgenomen patiënten. De bijbehorende gestandaardiseerde sterfteratio is in de patiëntview hoog voor klasse P(m=1) (namelijk 127), vergeleken met het overall HSMR-gemiddelde van 93; het is laag voor de andere klassen (een geleidelijke daling naar 35 voor P(m>20)). Dit in tegenstelling met wat we vonden voor de gestandaardiseerde sterfteratio s van de verschillende klassen van de opnameview, die alle fluctueerden rond de 93, zoals verwacht. DHM-2008 vertoont een redelijke goede fit voor de n de opnameviewklassen. Dit is in overeenstemming met de bevindingen van Jarman, 11 waar geen verschillen in de HSMR werden geconstateerd door voor een willekeurige waarde van n, de n de opname te laten meetellen. Tegelijkertijd echter laat een vergelijking van voorspelde en waargenomen sterfte in de patiëntview geen goede modelfit zien. Maar waarom zou DHM-2008 wel een goede fit moeten vertonen voor de n klassen van de n de opnameview en niet voor de m klassen van de m de patiëntview? Bij het onderling vergelijken van de klassen van de patiëntview blijken er risicoverschillen op te treden die niet worden gedetecteerd door de huidige set van regressievariabelen. Omdat de risico s van de klassen niet constant zijn, kan dit misleidende resultaten geven bij de HSMR-berekening ( constant risk fallacy ). Een modelfit die beter aansluit bij de patiëntview zou derhalve te prefereren zijn boven een fit voor de opnameview. Wij illustreren dit punt met drie voorbeelden van procesmatige mechanismen die risicoverlagend werken voor hogere opnamefrequenties, maar die geen samenhang vertonen met hogere kwaliteit van zorg. Hoofdstuk 7 Voorbeeld 1 Het opnamebeleid kan dusdanig zijn dat er tussen ziekenhuizen verschillen in opnamefrequentie optreden voor diagnose en behandeling van eenzelfde aandoening. Het ene ziekenhuis kan diagnose en behandeling systematisch combineren in één opname. Een ander ziekenhuis kan dezelfde patiënt een keer opnemen voor diagnosestelling en daarna nog een keer voor behandeling, waardoor bij de HSMR-berekening tweemaal een voorspelde sterftewaarde meetelt, terwijl het werkelijke sterfterisico waarschijnlijk niet verdubbelt ten opzichte van het eerste ziekenhuis. 115

116 De HSMR beproefd Voorbeeld 2 Ziekenhuizen kunnen verschillende behandelpraktijken voeren met verschillen in opnamefrequentie bij het behandelen van chronische patiënten. De heropnamefrequenties bij nieuwvormingen bijvoorbeeld verschillen tussen ziekenhuis B en D met een factor 3. Ziekenhuis D telt vaker een dag- of klinische opname voor behandeling van nieuwvormingen dan ziekenhuis B. 14 De som van de voorspelde sterfterisico s per patiënt van ziekenhuis D kan zodoende drie maal hoger liggen dan die per patiënt van ziekenhuis B. Maar het is niet waarschijnlijk dat de patiënt in ziekenhuis D in werkelijkheid een driemaal zo hoog risico loopt. Integendeel, het sterfterisico per patiënt stabiliseert rond 13% bij meer dan tien opnamen, zie tabel 3. Iedere extra opname voor chemotherapie verhoogt de noemer van de gestandaardiseerde sterfteratio, maar de waargenomen sterfte (teller van de ratio) wordt hierdoor gemiddeld niet verder verhoogd. Voorbeeld 3 Het verwijzen van patiënten naar de tertiaire zorg, wat veel voorkomt in Nederland, kan ook tot verschillen leiden. Het overplaatsen van een patiënt van een verwijzend ziekenhuis naar een behandelend ziekenhuis en weer terug, is vaak een voordeel voor het verwijzende ziekenhuis, omdat de patiënt voor dit ziekenhuis als twee opnamen telt. Het behandelende ziekenhuis kan voor deze patiënt slechts één opname laten meetellen bij de HSMR-berekening. Daar komt nog bij dat de opname in dit laatste ziekenhuis gepaard gaat met een extra behandelrisico als gevolg van een potentieel gecompliceerde ingreep. Het is onwaarschijnlijk dat de patiënt in het verwijzende ziekenhuis een dubbel risico loopt ten opzichte van het behandelende ziekenhuis. Naast deze drie voorbeelden kan de fysieke conditie van de regelmatig opgenomen patiënt ook mogelijk invloed hebben. Als deze patiënten onverwacht fitter zijn dan voorspeld, zouden zij de klassen met hogere opnamefrequenties kunnen gaan domineren middels natuurlijke selectie. In dat geval zouden er verschillen in ongedetecteerde risico s optreden bij het vergelijken van klassen met frequent en niet frequent opgenomen patiënten. Dit effect zou dan ook zichtbaar worden in de casemixverschillen die wel bekend zijn, zoals leeftijd en comorbiditeit, zie tabel 6. De gemiddelde leeftijd van frequent opgenomen patiënten neemt inderdaad af voor de hogere waarden van n, hetgeen duidt op een fittere populatie. De comorbiditeit neemt echter toe, wat een logisch gevolg is van het feit dat wij het begrip heropname definieerden zonder onderscheid te maken naar aandoening. Dus van patiënten met meer comorbiditeit mag verwacht worden dat zij in een klasse met een hogere opnamefrequentie vallen, omdat zij voor meerdere ziektes 116

117 Aard van variatie in heropnamen behandeld worden. Dit laatste duidt echter op een hogere kwetsbaarheid, in tegenspraak met de hypothese dat de frequent opgenomen patiënt wellicht robuuster zou zijn. Het idee dat het veelvuldig heropnemen van patiënten samengaat met natuurlijke selectie van patiënten lijkt interessant, maar met de huidige data hebben wij de correctheid ervan niet kunnen aantonen. Additionele risicofactoren die gepaard gaan met het vaak heropnemen van een patiënt kunnen al in een vroeg stadium aanwezig zijn, bijvoorbeeld al tijdens de eerste opname. De n de opnameviewklasse bevat een doorsnede van opnamen uit de patiëntviewklassen P(m), waarvoor m n, met ieder een eigen, mogelijk verschillend, risicoprofiel. Daardoor kan de n de opnameview deze additionele risico s niet onderscheiden en is deze niet geschikt als correctieparameter voor heropnamen. In plaats daarvan menen wij dat de variabele opnamefrequentie, behorend bij de patiëntview, wel geschikt is voor dit doel. De patiëntview laat zien waarom DHM-2008 te hoge risico s voorspelt voor vaak heropgenomen patiënten, zoals geïllustreerd door de volgende door ons geobserveerde casus: Patiënt X van ziekenhuis D droeg in totaal 3,1 verwachte sterfte bij aan de noemer van de HSMR wegens zeven achtereenvolgende opnamen binnen zes maanden. Eén enkele patiënt kan echter maximaal een waarde 1 bij overlijden bijdragen aan de teller van de HSMR. In ons onderzoek kwamen wij veel soortgelijke gevallen tegen, bijvoorbeeld: in ziekenhuis D vonden wij 174 patiënten die ieder meer dan één voorspelde sterfte bijdroegen aan de noemer van de HSMR als gevolg van heropnamen. De totale voorspelde sterfte voor deze groep bedroeg 232, terwijl hiervan slechts 75 patiënten overleden. Dit bevestigt nogmaals dat DHM-2008 veel te hoge sterftevoorspellingen afgeeft voor regelmatig heropgenomen patiënten. Figuur 3 illustreert dit fenomeen: puntendiagrammen waarin wij de HSMRs en de gestandaardiseerde sterfteratio s van drie belangrijke hoofddiagnosegroepen hebben afgezet tegen de heropnamefrequentie, zie ook figuur 1. In alle gevallen is er sprake van een neerwaartse trend: een hogere heropnamefrequentie correspondeert met een lagere (H)SMR. Wij concluderen dat er een significante associatie is tussen HSMRs en het aantal heropnamen per patiënt. Hoofdstuk 7 117

118 De HSMR beproefd HSMR per ziekenhuis SMR hartaandoeningen 120 B 110 E 100 A 90 F R = 0, C 70 D 60 0,40 0,50 0,60 0,70 0,80 0,90 1,00 1,10 1,20 heropnamefrequentie 120 B 110 E 100 R = 0,46242 F 90 A 80 C D 0,40 0,50 0,60 0,70 0,80 heropnamefrequentie SMR nieuwvormingen SMR ademhalingsziekten B E A 100 F R = 0, C D 1,00 1,25 1,50 1,75 2,00 2,25 2,50 2,75 3,00 3,25 heropnamefrequentie 120 B 110 E 100 R = 0, F 80 C A 70 D 60 0,40 0,50 0,60 0,70 0,80 0,90 1,00 heropnamefrequentie FIGUUR 3 HSMRs en SMRs van: nieuwvormingen, hartaandoeningen en ademhalingsziekten versus heropnamefrequentie. Lineaire regressielijnen zijn weergegeven. Aangezien het onderzoek gericht was op een tijdsinterval van vijf opeenvolgende jaren, konden we niet het volledige beeld van de patiëntviewklassen verkrijgen. Opnamereeksen die begonnen met opnamen van voor 2003 en die doorliepen in de periode 2003 t/m 2007 werden afgekapt, evenals reeksen die doorliepen naar Het beeld zal dus nooit compleet zijn. Voor alle patiënten die vaker dan eens werden opgenomen in de studieperiode hebben wij de tijd berekend die verstreek tussen eerste opname en laatste ontslag. Bij 63% van deze patiënten bedroeg deze tijd minder dan een jaar en bij 91% minder dan drie jaar. Dit suggereert dat verreweg het grootste deel van het beschreven effect is vertegenwoordigd in de resultaten. Hoe kan de HSMR gecorrigeerd worden voor de effecten van heropnamen? Daartoe stellen wij voor om een additionele correctievariabele, opnamefrequentie, zoals beschreven in dit onderzoek in de patiëntview, toe te passen. Na correctie zullen de gestandaardiseerde sterfteratio s van de patiëntview fluctueren rond 93 met als gevolg dat de modelfit voor de opnameview verloren gaat. Dat is echter geen principieel bezwaar, omdat juist de patiëntview gepaard gaat met een duidelijke afbakening in onderling verschillende risicoklassen, waarvoor correctie nodig is. N de opnameklassen blijken betekenisloos met betrekking tot risicodifferentiatie. Om de beschreven effecten zichtbaar te maken was het, met name voor de 118

119 Aard van variatie in heropnamen hogere opnamefrequenties, nodig om een langer tijdsinterval van verschillende jaren te analyseren. De verstreken tijd, bijvoorbeeld tussen de eerste opname en het laatste ontslag bedroeg voor de patiëntviewklasse P(m>20) gemiddeld 2,5 jaar. Dit wil echter niet zeggen dat bij veel patiënten in P(m>20) het beschreven effect niet optreedt als we ons bij het bepalen van de HSMR beperken tot een kortere periode, bijvoorbeeld een jaar. Een laatste opmerking betreft het volgende: heropnamen worden soms als indicator beschouwd voor mindere kwaliteit van zorg. Maar in plaats van tegen de ziekenhuizen met hoge heropnamefrequenties te werken, lijkt de HSMR in het voordeel van die ziekenhuizen uit te pakken. Daarom bevelen wij het volgende aan: voordat overgegaan wordt tot openbaarmaking van de HSMR in Nederland zouden de bezwaren genoemd in Lilford e.a. 4 opgelost moeten worden. Bovendien zou de HSMR gecorrigeerd moeten worden voor heropnamen. Als HSMRs en in het bijzonder SMRs op diagnosegroepsniveau gebruikt worden door ziekenhuizen als startpunt voor verbeteracties, 2 dan is correctie voor heropnamen eveneens nodig, om te voorkomen dat er misleidende signalen gegenereerd worden. Het zal in dat geval minder vaak gebeuren dat een ziekenhuis actie onderneemt op een ten onrechte hoge SMR-waarde. Ook neemt de kans af dat een ziekenhuis meent geen actie te moeten ondernemen vanwege een ten onrechte lage SMR-waarde. Conclusies Dit onderzoek heeft aangetoond dat de kans op sterfte per ziekenhuisopname lager is voor patiënten die vaak opgenomen worden in vergelijking met patiënten die niet vaak opgenomen worden. Het gebruikte HSMR-model detecteert een verlaging van sterfterisico voor frequent opgenomen patiënten, maar de waargenomen sterfte van deze groepen laat zien dat de echte risico s nog lager zijn. De risicocondities van verschillende patiëntviewklassen kunnen derhalve verschillen en zonder correctie hiervoor kan een vergelijking van deze klassen tot misleidende uitkomsten leiden. Uit het onderzoek bleek dat de verdeling van de heropnamefrequenties substantieel verschilden tussen de zes Santeon-ziekenhuizen, oplopend tot een factor 2. Ziekenhuizen met relatief hoge opnamefrequenties ondervinden daardoor een risicoverlagend effect, waarvoor niet gecorrigeerd wordt. Ziekenhuizen met relatief lage opnamefrequenties ondervinden een risicoverhogend effect, waarvoor ook niet gecorrigeerd wordt. Deze uitkomst kan aangetoond worden door middel van een analyse over Hoofdstuk 7 119

120 De HSMR beproefd een langer tijdsinterval van tenminste drie jaar, maar het effect heeft iedere dag, week of maand zijn uitwerking. Aangezien 43% van alle opnamen in dit onderzoek heropnamen betrof, zou de impact op de HSMR van een aantal ziekenhuizen substantieel kunnen zijn. Dit resultaat is relevant voor alle landen waar ziekenhuizen gebruikmaken van (H)SMRs voor het monitoren en verbeteren van kwaliteit van zorg. Een verder onderzoek in andere landen naar de effecten op de HSMR als gevolg van heropnamen is gerechtvaardigd. De kwaliteit van het HSMR-getal kan verbeterd worden door opnamefrequentie als additionele correctievariabele toe te passen. Het volgende hoofdstuk zal onder meer het effect hiervan aantonen. 120

121 Landelijke invloed van ongecorrigeerde casemixvariatie Literatuur 1. Lilford R, Mohammed MA, Spiegelhalter D, Thomson R. Use and misuse of process and outcome data in managing performance of acute medical care: avoiding institutional stigma. Lancet 2004, 363: Jarman B, Pieter D, Veen AA van der, Kool RB, Aylin P, Bottle A, Westert GP, Jones S. The hospital standardised mortality ratio: a powerful tool for Dutch hospitals to assess their quality of care? Qual Saf Health Care 2010, 19: How safe is your hospital? The Dr foster hospital guide [ co.uk ] 4. Lilford R, Pronovost P. Using hospital mortality rates to judge hospital performance: a bad idea that just don t go away. BMJ 2010, 340:c Black N. Assessing the quality of hospitals. BMJ 2010, 340:c Mohammed AM, Deeks JJ, Girling A, Rudge G, Carmalt M, Stevens AJ, Lilford RJ. Evidence of methodological bias in hospital standardised mortality ratios: retrospective database study of English hospitals. BMJ 2009, 338:b Ben-Tovim D, Woodman R, Harrison JE, Pointer S, Hakendorf P, Henley G. Measuring and reporting mortality in hospital patients. Australian Institute of Health and Welfare Canberra. 2009:vii. 8. Heijink R, Koolman X, Pieter D, Veen A van der, Jarman B, Westert G. Measuring and explaining mortality in Dutch hospitals; the hospital standardised mortality rate between 2003 and BMC Health Serv Res 2008, 8: Redactie Medisch Contact. Sterftecijfers nog niet beschikbaar in Medisch Contact. Nr. 31/32-30 juli 2009: Bosch WF van den, Roozendaal KJ, Silberbusch J. Schommelende sterftecijfers, HSMR nog geen betrouwbare maat voor zorgkwaliteit. Medisch Contact, Nr. 31/32-30 juli 2009: Jarman, B. In Defence of the Hospital Standardised Mortality Ratio. HealthcarePapers 2008;Vol. 8, No. 4: Nicholl J. Case-mix adjustment in non-randomised observational evaluations: the constant risk fallacy. J Epidemiol Community Health 2007, 61: N th admission definition. McGraw-Hill Concise Dictionary of Modern Medicine by The McGraw-Hill Companies, Inc. 14. Mintzer DM, Zheng S, Sprandio J Jr. Toward the elimination of medical oncology admissions. Journal of Clinical Oncology, Vol 27, No 15S (May 20 Supplement), 2009: e Hoofdstuk 6 121

122

123 8 combinatie van effecten

124 De HSMR beproefd Inleiding In de voorgaande hoofdstukken zijn aard en invloed van vier verschillende bronnen van vooralsnog ongecorrigeerde variatie onderzocht bij het bepalen van de (H)SMR. De centrale vraag is nu welke impact deze bronnen gezamenlijk hebben op de (H)SMR. Die vraag kunnen we als volgt beantwoorden: bereken eerst de (H)SMR met behulp van het huidige model (2010) en daarna met een aangepast model, dat een extra correctie toepast voor de vier onderzochte factoren. Vergelijk vervolgens de uitkomsten met elkaar, zoals we dat ook in hoofdstuk 6 hebben toegepast. Eén van de variatiebronnen laat zich echter retrospectief niet eenvoudig corrigeren: de variatie in de registratie van de LMR. Daartoe zou het nodig zijn delen van de LMR opnieuw te coderen en dat is geen realistische optie. Gecombineerde correctie voor de drie andere variatiefactoren (bijzondere medische verrichtingen, verschillen in casemixzwaarte op hoofddiagnoseniveau en heropnamen) lukt echter wel. De onderzoeksvraag in dit hoofdstuk luidt dan ook: Wanneer een extra, gecombineerde correctie wordt toegepast voor bijzondere medische verrichtingen, verschillen in casemixzwaarte en heropnamen welke impact heeft een dergelijke correctie dan op de uitkomsten van het HSMR-model 2010 zowel op hoofddiagnoseniveau (SMR) als op ziekenhuisniveau (HSMR)? Methode Om deze onderzoeksvraag te beantwoorden, hebben we twee modellen doorgerekend: model 1, nagenoeg conform het HSMR-model 2010 (toegepast zoals in hoofdstuk 6) en model 2, hetzelfde model, maar dan onder gelijktijdige correctie voor de drie genoemde factoren. Bij de correctie voor heropnamen was het nodig te beschikken over patiëntidentificatienummers. Bij negentien ziekenhuizen ontbraken deze data; deze ziekenhuizen zijn daarom uitgesloten van het onderzoek. Er bleven voor de berekening uiteindelijk 70 ziekenhuizen over; de LMR van 2005 t/m 2009 diende daarbij als basis. Bij de correctie voor bijzondere medische verrichtingen is bij de zeven CCS-groepen met hartaandoeningen onderscheid gemaakt tussen hartcentra en niet-hartcentra. Bij de correctie voor casemixverschil op hoofddiagnoseniveau is gebruik gemaakt van de aangepaste zwaarteklassenindeling conform hoofdstuk 6. Bij de correctie voor heropnamen is 124

125 Combinatie van effecten de indeling in zeven opnamefrequentieklassen ( patiëntview ) conform hoofdstuk 7 toegepast. In totaal werden opnamen betrokken bij deze berekening. Voor de analyse is gebruik gemaakt van SPSS versie 18. De verschillen tussen beide modellen zijn uitgedrukt in: verschillen in c-statistics op diagnosegroepsniveau en op ziekenhuisniveau, aantallen verandering van significantiestatus van SMRs en HSMRs, pearsoncoëfficiënten, die de mate van overeenstemming aangeven tussen voorspelde sterftekansen per opname voor beide modellen per diagnosegroep, verdelingen van procentuele veranderingen van SMRs en HSMRs. Resultaten Impact op SMR-niveau Tabel 1 laat de verschillen zien tussen model 1 en 2. De tabel toont allereerst per CCS-diagnosegroep de verschillen in c-statistic: 46 van de 48 SMRs tonen een verbeterde tot sterk verbeterde waarde van de c-statistic. Alleen 24 borstkanker blijkt bij model 2 een aanzienlijk lagere c-statistic op te leveren. De verbeteringen in c-statistic bij oncologische aandoeningen (met uitzondering van borstkanker) en bij chronische aandoeningen blijken vooral veroorzaakt te worden door de correctie voor heropnamen. Bij hartaandoeningen speelde een combinatie van de drie correctiefactoren een rol. Aandoeningen die sterk reageerden op de correctie voor casemixverschillen op hoofddiagnoseniveau zijn af te lezen uit tabel 2 van hoofdstuk 6. De aantallen wisselingen in significantiestatus op SMR-niveau zijn tevens weergegeven in tabel 1. De modellen verschilden bij het vaststellen van de SMRs met een significant hoge sterfte. Model 1 gaf hiervoor 363 gevallen aan, waarvan 117 door model 2 niet als significant hoog bestempeld werden - ofwel 32%. Model 2 gaf 312 gevallen aan, waarvan 60 door model 1 niet als significant hoog bestempeld werden - ofwel 19%. Hoofdstuk 8 De pearsoncoëfficiënten geven een indruk van de verschillen in voorspelde sterfte tussen de twee modellen per CCS-groep. Deze variëren van 0,443 (minder correlatie, dus een relatief sterkere invloed als gevolg van ongecorrigeerde variatie) tot 0,896 (relatief minder invloed). 125

126 De HSMR beproefd TABEL 1 Voorspellende waarde van twee modellen voor het berekenen van SMRs, uitgedrukt als c-statistic per diagnosegroep, significantiescores van deze twee modellen, en statistische afstand tussen de twee modellen uitgedrukt in een pearsoncorrelatiecoëfficiënt per diagnosegroep. CCS code 126 ccs-diagnosegroeptitel c-statistic per diagnosegroep verschillen in SMR-uitslagen per diagnosegroep; * pearsoncorrela- lage sterfte hoge sterfte tiecoëf- model 1 model 2 1: niet 1: wel 1: niet 1: wel ficient 2: wel 2: niet 2: wel 2: niet 0,719 0, ,797 2 Sepsis (behalve tijdens bevalling) 12 Slokdarmkanker 0,732 0, , Maagkanker 0,739 0, , Colonkanker 0,777 0, , Kanker van rectum of anus 0,775 0, , Alvleesklierkanker 0,685 0, , Longkanker/ 0,793 0, ,858 bronchuskanker 24 Borstkanker 0,918 0, , Blaaskanker 0,860 0, , Non-Hodgkin lymfoom 0,802 0, , Leukemie 0,780 0, , Secundaire maligniteiten 0,743 0, , Niet nader gespecificeerde 0,797 0, ,793 tumoren 50 Diabetes mellitus met 0,806 0, ,652 complicatie 55 Aandoeningen vocht- / 0,767 0, ,754 elektrolythuishouding 59 Deficiënties en andere 0,737 0, ,723 anemie 85 Coma, stupor en 0,625 0, ,443 hersenbeschadiging 96 Hartklepaandoeningen 0,752 0, , Acuut myocardinfarct 0,714 0, , Coronaire artherosclerose/ 0,750 0, ,735 overige hartaand. 103 Pulmonale hypertensie 0,739 0, , Hartritmestoornis 0,792 0, , Hartstilstand en 0,622 0, ,649 ventrikelfibrilleren 108 Hartfalen, zonder 0,635 0, ,756 hypertensie 109 Acute cerebrovasculaire 0,730 0, ,896 aandoening 114 Perifere en viscerale arteriosclerose 0,874 0, ,487

127 Combinatie van effecten TABEL 1 Vervolg CCS code ccs-diagnosegroeptitel c-statistic per diagnosegroep verschillen in SMR-uitslagen per diagnosegroep; * pearsoncorrela- lage sterfte hoge sterfte tiecoëf- model 1 model 2 1: niet 1: wel 1: niet 1: wel ficient 2: wel 2: niet 2: wel 2: niet 115 Aneurysmata aorta- / 0,835 0, ,738 perifere/viscerale arteriën 116 Trombose aorta- / perifere/ 0,871 0, ,791 viscerale arteriën 117 Overige circulatoire 0,782 0, ,493 aandoeningen 122 Pneumonie 0,750 0, , COPD en bronchitis 0,670 0, , Pleuritis, pneumothorax, 0,804 0, ,761 klaplong 133 Overige aandoeningen 0,825 0, ,792 lage luchtwegen 145 Darmobstructie zonder 0,795 0, ,819 hernia 146 Diverticulose en 0,805 0, ,779 diverticulitis 149 Galwegaandoening 0,901 0, , Leveraandoening, alcohol 0,667 0, ,768 gerelateerd 151 Overige 0,662 0, ,553 leveraandoeningen 153 Gastro-intestinale bloeding 0,705 0, , Overige gastrolintestinale 0,860 0, ,492 aandoeningen 157 Acuut en niet 0,716 0, ,815 gespecificeerd nierfalen 158 Chronisch nierfalen 0,846 0, , Urineweginfectie 0,818 0, , Heupfractuur 0,721 0, , Intracraniaal letsel 0,834 0, , Complicatie apparaat / 0,793 0, ,505 implantaat/transplantaat 238 Complicatie chirurgische 0,776 0, ,596 procedure/ medische zorg 249 Shock 0,713 0, ,883 totaal aantal significantiewisselingen * Per diagnosegroep werden SMRs van 70 ziekenhuizen berekend over de jaren 2005 t/m Weergegeven zijn de aantallen ziekenhuizen waarbij de SMR volgens het ene model wees op significant lagere of hogere sterfte dan gemiddeld, en volgens het andere model niet. Hoofdstuk 8 127

128 De HSMR beproefd Signal-to-distortion-ratio van de SMR De verdeling van de procentuele veranderingen van alle 3500 SMRs (=70 ziekenhuizen maal 50 CCS-diagnosegroepen) is weergegeven in figuur 1. De standaarddeviatie van deze verdeling bedraagt 19%. Dit geeft een indicatie van de mate van verandering van alle SMRs als gevolg van de extra correctie, ofwel een indicatie voor de systematische meetfout als gevolg van niet gecorrigeerde variatie % tot -60% -60% tot -50% -50% tot -40% -40% tot -30% -30% tot -20% -20% tot -10% -10% tot 00% 00% tot 10% 10% tot 20% 20% tot 30% 30% tot 40% 40% tot 50% 50% tot 60% 60% tot 70% 70% tot 80% 80% tot 90% 90% tot 100% 100% tot 110% 110% tot 120% 120% tot 130% 140% tot 150% >150% relatieve verandering SMRs FIGUUR 1 Frequentieverdeling van de relatieve verandering van alle 3500 SMRs na herberekening van de SMRs door het aangepast model met correctie voor drie extra variabelen. De standaarddeviatie van de verdeling bedraagt 19%. Bij 32% van de SMRs blijkt de absolute waarde van de procentuele verandering meer dan 10%. Tegelijkertijd speelt de meetfout als gevolg van toeval ook nog een rol. Maatgevend hiervoor zijn de 95%-betrouwbaarheidsintervallen van alle 3500 SMRs, waarvan de gemiddelde grootte 116 bedroeg. Aangezien dit gemiddelde bepaald wordt door de breedte van het interval [-2σ tot +2σ], volgt hieruit een indicatie voor de verdeling van de meetfouten als gevolg van toeval. De standaarddeviatie σ van deze toevalsverdeling bedraagt circa 116/4= 29 HSMR-punt. 128

129 Combinatie van effecten De standaarddeviatie van de verdeling van alle 3500 SMR-uitkomsten bedroeg 45 SMR-punt (= signal ). We vergelijken dit met de systematische meetfout (19%) en de toevalsmeetfout (29 HSMR-punt) tezamen (= distortion ). Deze uitkomsten duiden op een S/D-ratio op SMR-niveau van circa 1. Hierbij is nog geen rekening gehouden met het lastig te kwantificeren niveau van verstoring als gevolg van registratievariatie en alle andere niet onderzochte bronnen van variatie. Impact op de HSMR De vergelijking tussen model 1 en model 2 op SMR-niveau kan op eenzelfde manier worden gemaakt op het niveau van de HSMR. Tabel 2 toont de karakteristieken van de HSMR-verdelingen voor beide modellen en van de verdeling van de HSMRverschuiving. De c-statistic op HSMR-niveau van model 2 blijkt ten opzichte van model 1 te zijn toegenomen van 0,839 naar 0,867. TABEL 2 Vergelijking HSMR-uitkomsten variant 1 en variant 2 voor 70 ziekenhuizen. Variant 1: model 2010, geen correctie voor variatiebronnen. Variant 2: extra correctie voor bijzondere medische verrichtingen, opnamefrequenties en casemixverschil op ICD-9-niveau. Kenmerken uitkomsten voor beide varianten c-statistic HSMR variant 1 0,839 c-statistic HSMR variant 2 0,867 standaarddeviatie HSMR-verdeling variant 1 (HSMR-punten) 13,7 standaarddeviatie HSMR-verdeling variant 2 (HSMR-punten) 13,8 Impact op de HSMR standaarddeviatie verdeling van relatieve verschuiving HSMR 4,4% standaarddeviatie verdeling toevalsruis (HSMR-punten) 2,5 aantal HSMRs significant hoog bij variant 1 en niet bij variant 2 3 aantal HSMRs significant hoog bij variant 2 en niet bij variant 1 6 Signal-to-distortion-ratio van de HSMR Hoofdstuk 8 De procentuele verschuiving van de HSMR-uitkomsten bij overgang van model 1 naar model 2 is grafisch weergegeven in figuur 2. De frequentieverdeling van de HSMR is bepaald door een standaarddeviatie van 13,8 HSMR-punt. We vergelijken deze met de standaarddeviatie van de meetfoutverdeling van verschuivingen als gevolg van de extra correctie (4,4%) en de standaarddeviatie 129

130 De HSMR beproefd van de meetfoutverdeling als gevolg van toeval (2,5 HSMR-punt). Deze uitkomsten duiden op een S/D-ratio van circa 2 op HSMR-niveau. Andere, niet onderzochte, bronnen van variatie kunnen deze ratio mogelijk nog verlagen (verslechteren). Ook de aantallen wisselingen in significantiestatus op HSMR-niveau werden bepaald. De significantiestatus van de uitkomsten van de twee rekenmodellen verschilde voor een aantal HSMRs. Model 1 gaf 21 ziekenhuizen aan met een significant hoge HSMR, waarvan drie HSMRs door model 2 niet als significant hoog bestempeld werden, ofwel 14%. Model 2 gaf 24 gevallen aan, waarvan zes door model 1 niet als significant hoog bestempeld werden, ofwel 24% frequentie ,5% tot -10% -10% tot -7,5% -7,5% tot -5% -5% tot -2,5% -2,5% tot 0% 0% tot 2,5% 2,5% tot 5% 5% tot 7,5% relatieve verandering HSMR 7,5% tot 10% 10% tot 12,5% >12,5% FIGUUR 2 Frequentieverdeling van de relatieve verandering van de 70 HSMRs na herberekening van de HSMR door het aangepast model met correctie voor drie extra variabelen. De standaarddeviatie van de verdeling bedraagt 4,4%. Discussie De combinatie van de drie extra correctiefactoren levert na herberekening een hogere c-statistic op, wat duidt op een hogere criteriumvaliditeit van model 2 in vergelijking met model 1. De argumenten voor het invoeren van de drie 130

131 Combinatie van effecten genoemde aanpassingen zijn in dit proefschrift beschreven en duiden op een indruksvaliditeit ( face validity ) van model 2, die eveneens hoger is. Model 2 is derhalve te prefereren boven model 1. Verder stellen wij vast dat de verschuivingen die optreden bij overgang van model 1 naar model 2 een maat zijn voor de ernst van de verstoring van de SMR en de HSMR anno 2010, als gevolg van de drie onderzochte factoren. Conclusies Op grond van het bovenstaande concluderen wij dat het verstoringsniveau van de SMR en de HSMR anno 2010 een onacceptabel hoog niveau heeft, uitgedrukt in signal-to-distortion-ratios en aantallen vals positieve en vals negatieve hoog-significant scores (negen ziekenhuizen voor de HSMR). Publicatie van de HSMR in 2011, berekend met het model dat gebruikt is in 2010, is op grond van modeltechnische argumenten dan ook niet te rechtvaardigen. Het verdient aanbeveling om het in 2011 te gebruiken HSMR-model ook te laten corrigeren voor de drie onderzochte factoren. Hoofdstuk 8 131

132

133 9 algemene discussie

134 De HSMR beproefd Achtergrond In dit proefschrift beschrijf ik de betrouwbaarheid, validiteit en bruikbaarheid van het gestandaardiseerde ziekenhuissterftecijfer als indicator voor kwaliteit van zorg in Nederlandse ziekenhuizen. Aanleiding vormde de behoefte van een groep van zes topklinische ziekenhuizen, verenigd onder de naam Santeon, om gezamenlijk te werken aan verbetering van kwaliteit van zorg. Als hulpmiddel bij het onderling vergelijken van kwaliteit van zorg koos Santeon voor het uit het Verenigd Koninkrijk afkomstige HSMR-instrument (hospital standardised mortality ratio). Gaandeweg groeide echter de twijfel. Werd de HSMR niet meer beïnvloed door een aantal meetfouten dan door verschillen in kwaliteit van zorg? Besloten werd om de aard en de invloed van deze meetfouten nader te onderzoeken. De volgende onderzoeksvragen stonden hierbij centraal: 1. Welke factoren kunnen de validiteit en de betrouwbaarheid van de HSMR en de bijbehorende SMRs beïnvloeden? 2. Hoe groot is deze invloed op de uitkomsten van HSMR en SMRs? 3. In hoeverre is de HSMR geschikt, of kan hij geschikt gemaakt worden, om als indicator te gebruiken bij kwaliteitsverbetering en benchmarking van ziekenhuizen? Dit hoofdstuk bediscussieert de belangrijkste bevindingen uit het proefschrift en formuleert aanbevelingen voor de verdere ontwikkeling en het gebruik van het HSMR-instrument. Bevindingen Deze studie heeft de verstorende effecten onderzocht van vier systematische bronnen van variatie, te weten: variatie in de registratie van de landelijke medische registratie (LMR), variatie door bijzondere medische verrichtingen bij hartaandoeningen, variatie van de casemixzwaarte op hoofddiagnoseniveau, variatie bij het heropnemen van patiënten. Niet alle denkbare vormen van verstorende variatie zijn onderzocht. Het hoofdstuk sluit daarom af met aanbevelingen voor vervolgonderzoek. 134

135 Algemene discussie Onderzoeksvraag 1: de aard van de verstorende factoren Registratie Tijdens het registreren van opnamegegevens in de landelijke medische registratie (LMR) treedt variatie op, met name bij de volgende onderdelen: opname-urgentie, hoofddiagnose en nevendiagnoses. Dit kan een aantal oorzaken hebben: onvolledig invullen van de ontslagbrief door de arts, tijdsdruk als gevolg van capaciteitstekorten bij de codeurs, ambigue diagnosecodes, een niet eenduidige codeerregel voor opname-urgentie en het maken van codeerfouten door de medisch codeurs. Bijzondere medische verrichtingen Bij het behandelen van hartaandoeningen blijkt variatie in de HSMR op te treden als gevolg van een tweedeling in de Nederlandse ziekenhuiszorg: hartcentra versus niet-hartcentra. Openhartchirurgie en dotterbehandelingen worden alleen toegepast in hartcentra. De verzameling van behandelmethoden van niethartcentra is beperkter en heeft een ander risicoprofiel dan dat van hartcentra. Omdat de HSMR-methodiek principieel niet corrigeert voor behandeltypen zoals bij hartaandoeningen, blijken deze aandoeningen een belangrijke bron van variatie voort te brengen. Dit kan zowel voordelig als nadelig uitpakken voor de HSMR van hartcentra. Casemix op diagnoseniveau Ook de casemixzwaarte op het niveau waarop de hoofddiagnose gecodeerd wordt (ICD-9) blijkt te variëren voor nagenoeg alle diagnosegroepen waarover de HSMR wordt berekend. Binnen een enkele diagnosegroep kan de mortaliteit van onderliggende hoofddiagnoses enorm verschillen. Als een ziekenhuis zich gespecialiseerd heeft in een bepaald ziektebeeld, bijvoorbeeld traumatologie, kan het voorkomen dat dat ziekenhuis onevenredig veel zware patiënten heeft, met als mogelijk gevolg een vertekening van de (H)SMR. Heropnamen Tot slot blijkt de frequentie waarmee ziekenhuizen patiënten opnieuw opnemen een bron van variatie te vormen. Het komt voor dat het ene ziekenhuis dezelfde patiënt, in termen van gelijke casemix, vaker opneemt dan een ander ziekenhuis zou doen onder gelijke omstandigheden. Met name bij oncologische patiënten treden grote onderlinge verschillen op. Ook het ontslaan en verwijzen van een patiënt naar een ander ziekenhuis voor een behandeling, gevolgd door een heropname na succesvolle behandeling elders, veroorzaakt variatie in opnamefrequenties die invloed blijkt te hebben op de hoogte van de HSMR. Hoofdstuk 9 135

136 De HSMR beproefd Onderzoeksvraag 2: de invloed van de verstorende factoren op de (H)SMR Registratievariatie In tegenstelling tot de andere onderzochte vormen creëert registratievariatie een vorm van vertekening die achteraf lastig te corrigeren is. Daardoor is het vaak ondoenlijk de invloed op de HSMR door herberekening vast te stellen. Het zou dan namelijk nodig zijn om voorafgaande aan de herberekening de verkeerd of ambigu gecodeerde dossiers opnieuw te coderen. Er bestaat echter één potentieel sterke bron van registratievariatie waarvoor achteraf wél een rekenkundige correctie gemaakt kan worden: de ICD-9-codes en 799.9, diagnose onbekend, zoals beschreven in hoofdstuk 3. Deze codes komen in de praktijk veelvuldig voor. Bij twee Santeon-ziekenhuizen bleek de impact op de HSMR substantieel: +22 respectievelijk -5 HSMR-punten als gevolg van deze enkele factor. Ook de in hoofdstuk 3 aangetoonde inconsistentie bij het coderen van de variabele opname-urgentie kan een substantiële invloed hebben op de HSMR. Het ontbreken van een eenduidige codeerregel veroorzaakte bij een ziekenhuis een aantoonbaar te laag percentage acute opnamen. Dit heeft waarschijnlijk tot een verhoging van de HSMR voor dat ziekenhuis geleid, aangezien acute opnamen gepaard gaan met een gemiddeld driemaal zo hoge mortaliteit vergeleken met electieve opnamen. Een concrete kwantificering van het effect op de HSMR bleek echter niet mogelijk. Tot slot stellen we vast dat de invloed van registratie-variatie op de HSMR in Nederland nog steeds ter discussie staat; 1 zie hiervoor ook hoofdstuk 3 en bijlage 3. Bijzondere medische verrichtingen Bijzondere medische verrichtingen kunnen de HSMR vertekenen. Herberekening kan dit effect kwantificeren, onder weglating van opnamen met bijzondere medische verrichtingen. Uit de analyse van hoofdstuk 4 bleek dat dotterbehandelingen HSMR-verlagend werken. Na weglating van alle opnamen van dit behandeltype daalde de HSMR bij één van de twaalf hartcentra (een daling van 0,7%); bij de overige elf steeg de HSMR (tot maximaal 6,9%). Het omgekeerde effect treedt op bij openhartchirurgie; deze blijkt HSMRverhogend te werken. Na weglating van alle opnamen van dit behandeltype bleek de HSMR van alle twaalf hartcentra te dalen (variërend van 0,1 tot 7,7%). De combinatie, waarbij beide behandeltypen werden weggelaten, laat een grote spreiding in de HSMR zien: van een daling van 4,7% tot een stijging van 5,3%. 136

137 Algemene discussie Ongecorrigeerde casemixvariatie op hoofddiagnoseniveau Deze variatie blijkt een flinke vertekening van de SMRs tot gevolg te hebben, zoals aangetoond in hoofdstuk 5 en 6. Herberekening en correctie levert een frequentieverdeling van procentuele veranderingen van de SMRs met een spreiding op van -63% tot +202% en een standaarddeviatie van 14,6%. De invloed op de HSMRs van de ziekenhuizen is beperkter. De frequentieverdeling van de procentuele veranderingen laat een spreiding zien van -6,7% tot +4,3% en een standaarddeviatie van 2,0%. Variatie in heropnamen Variatie in heropnamen, ofwel variatie in opnamefrequentie, blijkt samen te hangen met variatie in voorspelde sterfte. De voorspelde sterftekans van een frequent opgenomen patiënt blijkt substantieel hoger - en van een niet frequent opgenomen patiënt substantieel lager dan het verwachte gemiddelde, zoals aangetoond in hoofdstuk 7. Aangezien de opnamefrequenties tussen de ziekenhuizen onderling sterk verschillen is op dit punt correctie wenselijk. Anders zou een ziekenhuis met veel frequent opgenomen patiënten veel ten onrechte verhoogde sterftevoorspellingen krijgen (noemer HSMR) en daardoor een verlaagde HSMR. En andersom: een ziekenhuis met weinig frequent opgenomen patiënten een verhoogde HSMR. Een herberekening met als extra regressievariabele opnamefrequentie kan deze systematische vertekening corrigeren, zoals aangetoond in hoofdstuk 8. Combinatie De combinatie van de drie laatstgenoemde ongecorrigeerde factoren blijkt een significante vertekening van de SMRs tot gevolg te hebben. De frequentieverdeling van procentuele veranderingen van de SMRs als gevolg van extra correctie, heeft een standaarddeviatie van 19%. De standaarddeviatie van de verdeling van de betrouwbaarheidsintervallen bedraagt 29 SMR-punt. We vergelijken deze uitkomsten met de standaarddeviatie van de verdeling van alle SMRs, die 45 SMR-punt bedraagt. De verdeling van de SMRs (standaarddeviatie = 45) was in dezelfde orde van grootte als de verdelingen van de systematische meetfout en de toevalsmeetfout (standaarddeviatie = 19 en 29) samen. Het SMR-signaal en het meetfoutsignaal bleken dus vergelijkbaar sterk. De invloed van de drie genoemde factoren op de HSMRs van de ziekenhuizen is beperkter. De standaarddeviatie van de frequentieverdeling van procentuele veranderingen bedraagt 4,4% en die van de betrouwbaarheidsintervallen 2,5 HSMR-punt. Het HSMR-signaal (standaarddeviatie = 14) blijkt dus grofweg tweemaal zo sterk als het meetfoutsignaal (4,4 en 2,5). Hoofdstuk 9 137

138 De HSMR beproefd Beperkingen van het onderzoek Voordat ik in ga op de aanbevelingen van dit proefschrift, benoem ik een aantal beperkingen dat optrad tijdens het doen van dit onderzoek. Dat betreft de beperkingen met betrekking tot de beschikbaarheid van data en scripts alsmede de beperkingen bij het selecteren van geschikte onderzoeksonderwerpen. Beschikbaarheid van data en het HSMR-script In vier van de hoofdstukken in dit proefschrift, beschrijf ik de onderzoekingen binnen de zes Santeon ziekenhuizen. Daarbij werd gebruik gemaakt van de zogenoemde Santeon-database : de volledige LMR van de zes ziekenhuizen voor een aantal opeenvolgende jaren. De HSMR-berekening, waarvoor gegevens nodig waren van alle meetellende ziekenhuizen, werd uitgevoerd door het toenmalige Prismant, nu Kiwa Prismant. Deze partij voorzag de Santeondatabase van voorspelde sterftekansen per opname, waarmee alle HSMR- en SMR-waarden voor de zes ziekenhuizen bepaald konden worden. Gezien de grote aantallen, LMR-opnamerecords, bleek het goed mogelijk de aard van de verschillende bronnen van variatie te achterhalen. Voor het vaststellen van de mate van invloed van deze bronnen op de HSMR was echter een herberekening van de gehele HSMR noodzakelijk. Dit was niet mogelijk met alleen de Santeondatabase, wat op dat moment een beperkende factor was voor het onderbouwd formuleren van modelverbeteringen. Voor het onderzoek naar het effect van bijzondere medische verrichtingen stelde Prismant eenmalig de LMR van 2004 ter beschikking. De herberekening van de HSMR die dit effect kon aantonen, werd ook weer uitgevoerd door Prismant. Het gebruikte HSMR-script (SPSS), dat jaarlijks aangepast/verbeterd werd, behoorde tot en met 2010 exclusief tot het domein van de partijen die het concept ontwikkeld hadden: Dr. Foster Intelligence, Kiwa Prismant en de PraktijkIndex. Voor het doen van onderzoek naar de invloed op (en mogelijke verbeteringen van) het HSMR-model, stelde Tiëto in oktober 2010 een geanonimiseerde versie van de LMR van de jaren 2005 tot en met 2009 ter beschikking. Dit met toestemming van de stichting Dutch Hospital Data (DHD). Wij als onderzoekers hadden voor de berekening echter niet de beschikking over het SPSS-script van Prismant en hebben dat script toen zelf samengesteld, volgens de algoritme van het Dr. Foster Instituut. Dit leidde tot twee afwijkingen ten opzichte van het Prismant-model: 138

139 Algemene discussie 1. Bij de berekening van de charlsonindex is ervoor gekozen de hoofddiagnose niet mee te tellen en iedere comorbiditeitsgroep hooguit eenmaal mee te tellen. 2. Er is geen rekening gehouden met correctie voor sociaal-economische status. In de absolute uitkomsten van de HSMR traden hierdoor beperkte verschillen op ten opzichte van de uitkomsten van het Prismant-model, zoals bleek uit een onderlinge vergelijking. Dit vormde geen bezwaar voor ons onderzoek, ook omdat het erom ging aan te tonen welke verschuivingen er in de (H)SMR optreden als gevolg van het aanpassen en toevoegen van correctievariabelen, anders dan de charlsonindex en de sociaal-economische status. Onderzoekskeuze bronnen van variatie Bij het onderzoeken van de meetfouten die kunnen optreden bij de bepaling van de HSMR spelen verschillende bronnen van variatie een rol. Hieruit hebben wij een keus gemaakt. De afwegingen daarbij waren: de ingeschatte impact van de variatiebron, de haalbaarheid van het onderzoek en de tijd die hiervoor beschikbaar was. Dit resulteerde in het onderzoeken van een beperkt aantal duidelijk afgebakende bronnen van variatie: registratievariatie, variatie door bijzondere medische verrichtingen, variatie in casemixzwaarte op hoofddiagnoseniveau en variatie door heropnamen. De informatie over deze bronnen kon voor het merendeel worden ontleend aan de LMR. Deze keuze houdt niet in dat de niet gekozen bronnen minder invloed zouden hebben op de HSMR. Echter, de informatie over de niet onderzochte bronnen is veel minder toegankelijk in vergelijking met de voor dit onderzoek gekozen bronnen. Niet onderzocht zijn: ziekenhuissterfte van patiënten met palliatieve zorg, variatie in omgevingsrisico s tijdens het inzamelen van variabelen (de constant risk fallacy 5 ), sterfte onmiddellijk na binnenkomst op de afdeling Spoedeisende Hulp en sterfte binnen 30 dagen na ontslag. Hoofdstuk 9 139

140 De HSMR beproefd Aanbevelingen Geschiktheid van de HSMR voor interne verbetering en vergelijking van ziekenhuizen Hoe nu verder? Hoe kunnen de in deze studie ontwikkelde inzichten met betrekking tot de aard en de invloed van meetfouten, nuttig worden ingezet bij het monitoren en verbeteren van kwaliteit van zorg? Wat is er nog te verbeteren aan het HSMR-instrument? Wat is de invloed van de niet onderzochte bronnen van variatie? En in hoeverre is de HSMR nu rijp voor publicatie en onder welke condities? Interpretatie en gebruik HSMR door ziekenhuizen Bij de interpretatie van de HSMR en vooral de SMRs door ziekenhuizen ten behoeve van kwaliteitsverbetering is het raadzaam rekening te houden met de bevindingen die beschreven zijn in dit proefschrift en hierna zijn samengevat. Registratievariatie Het zinvol gebruiken van de (H)SMR begint met het goed coderen van opnamen. Het ziekenhuis heeft dit in principe zelf volledig in de hand. Dat houdt onder andere in dat medisch specialisten accuraat en tijdig opnamegegevens van patiënten aanleveren en dat er vervolgens voldoende, gekwalificeerde codeurs beschikbaar zijn voor het codeerwerk. Hierbij is een juiste codering van opnameurgentie, hoofddiagnose en nevendiagnoses van belang, als basis voor een zuivere HSMR. Soms heeft een ziekenhuis een abnormaal laag percentage acute klinische opnamen, bijvoorbeeld minder dan 30%. In dit soort verdachte gevallen kan een ziekenhuis zelf een check doen op het juist coderen. Er kan dan gekeken worden naar het percentage acuut gecodeerd voor opnamen met een van nature acuut karakter, bijvoorbeeld acuut myocard infarct. Ook kan zo n ziekenhuis het gemiddeld aantal gecodeerde nevendiagnoses per opname checken; waarden tussen 1 en 2 zijn normaal; minder dan 0,5 duidt op te weinig nevendiagnoses. Verder verdient het aanbeveling het coderen van hoofddiagnoses kritisch onder de loep te nemen. Bij het coderen kan het voorkomen dat er voor een enkele opname uit verschillende ICD-9-codes gekozen kan worden. Bijvoorbeeld: chemotherapie óf een kankersoort; deze keuze maakt een verschil bij de HSMR-berekening. In die twijfelgevallen is het raadzaam de ICD-9-aandoening te coderen en niet de ICD-9- therapie. Zie hiervoor ook de codeerrichtlijn van Santeon in bijlage

141 Algemene discussie Bijzondere medische verrichtingen Bijzondere medische verrichtingen zoals cardiologische interventies brengen een kunstmatige scheiding aan tussen ziekenhuizen. Hartcentra hebben het recht maar ook de plicht om openhartchirurgie en dotterbehandelingen te doen; de niet-hartcentra hebben dat niet. Ziekenhuizen kunnen aan deze situatie zelf weinig veranderen. Een correctie voor lichte of zware hartaandoeningen, zoals beschreven in hoofdstuk 6, heft het verschil tussen de twee soorten centra niet op. Als een patiënt met een hartklepaandoening verwezen wordt van een niet-hartcentrum naar een hartcentrum, dan coderen beide ziekenhuizen waarschijnlijk dezelfde ICD-9-hartklepaandoening. De niet-hartcentra passen daarnaast uitsluitend lagerrisico-verrichtingen toe, voornamelijk catheterisaties of geen verrichting, met als gevolg een lagere SMR. Hartcentra passen ook en vooral hogerrisico-openhartchirurgie toe voor dezelfde verwezen patiënt, met als gevolg een hogere SMR zoals aangetoond in hoofdstuk 4. Bij de interpretatie van SMRs voor de zeven hartaandoening-gerelateerde diagnosegroepen dienen ziekenhuizen rekening te houden met dit soort effecten, zoals betoogd in hoofdstuk 4. Ongecorrigeerde casemixvariatie op hoofddiagnoseniveau De gesignaleerde problemen die zich voordoen bij het model van 2010 zullen naar verwachting worden opgelost in het model van Dit betekent bijvoorbeeld dat er een correctie komt op de SMR van cerebrovasculaire aandoeningen (CVA s) van een ziekenhuis met onevenredig veel bloedige typen (hogere mortaliteit dan de niet bloedige CVA s). Ook een traumacentrum kan voor de diagnosegroep intracraniaal letsel bijvoorbeeld, een gunstiger resultaat verwachten dan in 2010, omdat deze diagnosegroep een flinke spreiding in mortaliteit vertoont voor de onderliggende ICD-9-codes. Daarvoor zal het model vanaf 2011 grotendeels corrigeren. Variatie in heropnamen De variatie in heropnamen hangt samen met de casemix, maar kan ook bepaald zijn door verschillen in behandelpraktijk. Als een ziekenhuis dezelfde patiënt in het algemeen vaker opneemt, leidt dat tot een lagere HSMR en dat is gunstig voor dat ziekenhuis. Omdat de impact van variatie in heropnamen op de HSMR substantieel kan zijn, is het raadzaam gebruik te maken van de aanpak en de bevindingen uit hoofdstuk 7. Dan kan elk ziekenhuis met de eigen LMR inschatten of hij door dit effect bevoor- of benadeeld wordt. Hoofdstuk 9 141

142 De HSMR beproefd Verbetering van het instrument Voor het realiseren van een nieuwe versie van het HSMR-instrument doen wij de volgende aanbevelingen: Maak voor hartaandoeningen onderscheid tussen hartcentrum versus niet-hartcentrum. Een verdergaande stap zou kunnen zijn om voor deze aandoeningen, gezien de risicoverschillen, onderscheid te maken tussen drie soorten verrichtingen: open hartchirurgie, dotteren en andere of geen verrichting. Verbeter de correctie voor casemixverschillen op hoofddiagnoseniveau. Hierbij kan de huidige (2010) risico-indeling in klassen verbeterd worden, zoals in hoofdstuk 6 beschreven is (het model van 2011 houdt rekening met deze factor). Corrigeer voor opnamefrequentie, bijvoorbeeld met toepassing van de klassenindeling, beschreven in hoofdstuk 7 en 8. Hierbij is een goede registratie van patiëntnummers noodzakelijk, wat in negentien ziekenhuizen in Nederland helaas nog niet het geval is. Verbeter de berekenwijze van de charlsonindex door iedere comorbiditeit hoogstens eenmaal mee te tellen en de hoofddiagnose buiten beschouwing te laten. Houd bij de berekening van de HSMR rekening met de ICD-9-codes en ( diagnose onbekend ). Dit kan met gebruik van de algoritme beschreven in hoofdstuk 3. Nader onderzoek naar aard en invloed van meetfouten De in dit onderzoek benoemde, maar niet onderzochte bronnen van variatie verdienen nader onderzoek en kwantificering op landelijk niveau. Dit betreft de volgende onderwerpen en vraagstellingen: Ziekenhuissterfte van patiënten met palliatieve zorg Welk percentage van de klinisch opgenomen patiënten betreft patiënten met palliatieve zorg en welk deel hiervan overlijdt in het ziekenhuis? In hoeverre wordt de (H)SMR hierdoor beïnvloed en is correctie hiervoor noodzakelijk? In het Verenigd Koninkrijk wordt bij de HSMR-berekening wel gecorrigeerd voor palliative care. Een betere ziekenhuisadministratie van indicaties kan een ziekenhuis helpen een beter zicht te krijgen op de eigen situatie. De invoering van een landelijke registratie van palliatieve patiënten in het ziekenhuis zou het mogelijk maken deze opnamen te excluderen bij de HSMR-berekening. 142

143 Algemene discussie Hierbij dienen wij overigens voorbereid te zijn op het gevaar van potentieel inconsistente registratie door ziekenhuizen. 4 Sterfte binnen 30 dagen na ontslag In hoeverre treden er tussen de ziekenhuizen verschillen op wat betreft deze parameter en in hoeverre beïnvloeden deze de HSMR? Welk deel van deze populatie had bij ontslag al een terminale indicatie? En moeten deze patiënten, net als bij het voorgaande punt, ook worden uitgesloten van de berekening? Variatie in omgevingsrisico s tijdens het inzamelen van variabelen In hoeverre treedt het effect, beschreven door Mohammed MA, et al, 5 (de zogenaamde constant risk fallacy ) ook op in Nederland? Bijvoorbeeld: als er in Nederland verschillen op zouden treden in gemiddelde sterfteleeftijd als gevolg van regionale verschillen in leefomstandigheden zoals het milieu. Werkt de correctie voor leeftijd dan wellicht nadelig uit voor ziekenhuizen in een, qua milieu, minder gezonde regio? En in hoeverre kunnen we dit soort effecten minimaliseren of corrigeren? Sterfte onmiddellijk na binnenkomst op de SEH van het ziekenhuis In hoeverre verschillen ziekenhuizen onderling in hun opnamebeleid en registratiebeleid bij dit soort gevallen? In hoeverre kloppen de waargenomen registraties van opname- en ontslagtijden? In hoeverre heeft dit invloed op de (H)SMR? Is correctie hiervoor noodzakelijk? Kwaliteit landelijke registratie Het is nodig een beter inzicht te ontwikkelen in de kwaliteit van het coderen door ziekenhuizen. Op Santeon-niveau is dit ontwikkeld en verbeterd; een soortgelijk onderzoek op landelijk niveau blijft nog steeds nodig. Over- en ondercorrectie door HSMR-model Er zijn aanwijzingen dat het HSMR-model gemiddeld ondercorrigeert voor lichte casemix en overcorrigeert voor zware casemix. Dit zou ziekenhuizen met een lichte casemix benadelen en ziekenhuizen met een zware casemix bevoordelen. In welke mate treedt dit op en in hoeverre worden hierdoor de HSMR-uitkomsten vertekend? Hoofdstuk 9 143

144 De HSMR beproefd Openbaarmaking HSMR De actuele wens van een aantal partijen in het land om de HSMR openbaar te maken vooronderstelt dat er een verband bestaat tussen HSMR en kwaliteit van zorg. Echter, uit dit proefschrift blijkt dat de HSMR anno 2010 nog substantieel vertekend wordt door een aantal bronnen van variatie. Bij het doorrekenen van het gecombineerde effect op de SMR (diagnosegroepsniveau) van slechts drie bronnen van systematische variatie en toeval, bleek de verhouding tussen de sterkte van het ware SMR-signaal en de sterkte van het meetfoutsignaal al in de orde van grootte van 1. Op ziekenhuisniveau was het HSMR-signaal ongeveer twee keer zo sterk als het meetfoutsignaal. Als we alle benoemde bronnen van variatie gecombineerd zouden doorrekenen, zou deze verhouding waarschijnlijk nog kleiner (ongunstiger) worden en openbaarmaking zou zeker niet gerechtvaardigd zijn. Met gebruik van het HSMR-model anno 2010 is er nog steeds een niet te verwaarlozen kans dat meerdere ziekenhuizen, bij openbaarmaking van de HSMR, ten onrechte publiekelijk geassocieerd zullen worden met significante oversterfte. Eindconclusie De HSMR is het resultaat van een geavanceerde statistische rekenmethode. Door zijn breedte en statistische onderbouwing kent deze indicator voor kwaliteit van zorg op ziekenhuis- en diagnosegroepsniveau zijn gelijke niet in Nederland. De ontwerpers van het HSMR-instrument voor Nederland claimden in 2010 dat het model inmiddels goed in staat zou zijn om sterfte te voorspellen. In dit proefschrift heb ik echter laten zien dat de betrouwbaarheid, de validiteit en de bruikbaarheid nog verbeteringen behoeven. Daarbij is gebleken dat de factoren die de HSMR vertekenen in veel gevallen systematisch van aard zijn. De bestaande onzekerheid over de mate waarin deze systematische meetfouten de resultaten van de HSMR beïnvloeden, maakt het op dit moment moeilijk om verschillen in kwaliteit tussen ziekenhuizen op te sporen. Sceptici zijn daarom van mening dat de HSMR een onbruikbare indicator is. Ikzelf vind dat de HSMR gekoesterd zou moeten worden en ik heb in dit proefschrift aangetoond dat het HSMR-model in potentie verbeterd kan worden. Er moet dus nog het nodige gebeuren om het tot een valide en breed inzetbaar instrument te maken. De partijen die het HSMR-model verder gaan ontwikkelen zouden de inzichten, weergegeven in dit proefschrift, kunnen gebruiken voor het reduceren 144

145 Algemene discussie van de beschreven effecten, door aanpassing van het rekenmodel. Ook de ziekenhuizen kunnen bijdragen aan een betere HSMR door het goed en consistent coderen van patiëntgegevens. Tevens moet er nog veel onderzoekwerk gedaan worden naar andere, niet in dit proefschrift beschreven effecten van verstorende variatie. Na het realiseren van de nodige verbeteringen, kan er een moment komen waarop de HSMR in Nederland geschikt is voor kwaliteitsverbeteringen en openbaarmaking. Het is echter raadzaam om op dat moment ook een goede schatting te publiceren van de onzekerheid in de uitkomst van de HSMR. Deze wordt bepaald door de dan nog resterende niet gecorrigeerde bronnen van variatie en de onzekerheid als gevolg van toeval. De onzekerheid kan uitgedrukt worden in signal-to-distortion-ratios voor SMR en HSMR. Dat zou de transparantie ten aanzien van de (H)SMR en zijn beperkingen ten goede komen en ik vind dat alle belanghebbenden daar recht op hebben. Wellicht kunnen sceptici en opportunisten elkaar dan vinden in het waarderen en toepassen van het HSMRinstrument. Ziekenhuizen en vooral patiënten zullen daar baat bij hebben. Literatuur 1. Pieter D, Kool RB, Westert GP. Beperkte invloed gegevensregistratie op gestandaardiseerd ziekenhuissterftecijfer (HSMR), Ned Tijdschr Geneeskd. 2010; 154:A Black N. Assessing the quality of hospitals. BMJ 2010;340:c Penfold RB, Dean S, Flemlons W, Moffatt M. Follow the Big Dots? HealthcarePapers 2008;Vol. 8 No. 4; Brien SE, Ghali WA. CIHI s Hospital Standardized Mortality Ratio: Friend or Foe. HealthcarePapers 2008;Vol. 8 No. 4; Mohammed MA, Deeks JJ, Girling A, Rudge G, Carmalt M, Stevens AJ, Lilford RJ. Evidence of methodological bias in hospital standardised mortality ratios: retrospective database study of English hospitals. BMJ 2009;338:b Ben-Tovim D, Woodman RJ, Harrison JE, Pointer S, Hakendorf P, Henley G. Measuring and reporting mortality in hospital patients. Canberra: AIHW, (Cat No HSE 69.) Hoofdstuk 9 145

146

147 Samenvatting

148 De HSMR beproefd Achtergrond en doelstellingen Het gestandaardiseerde ziekenhuissterftecijfer, de HSMR (hospital standardised mortality ratio), heeft het afgelopen decennium, zowel in binnen- als in buitenland, sterk in de belangstelling gestaan als indicator voor de kwaliteit van zorg van ziekenhuizen. Met deze indicator worden ziekenhuissterftecijfers onderling vergeleken, na correctie voor patiëntkenmerken en met gebruikmaking van logistische regressie, een geavanceerde statistische techniek. De HSMR kan op verschillende niveaus worden toegepast. Enerzijds op ziekenhuisniveau, voor het onderling vergelijken van ziekenhuizen, anderzijds op het niveau van diagnosegroepen, door middel van SMRs (standardised mortality ratios), voor het verbeteren van kwaliteit van zorg. Verschillende partijen hebben een belang bij het toepassen van de HSMR. Zo wordt de HSMR In Nederlandse ziekenhuizen al een aantal jaren gebruikt bij kwaliteitsverbetering van zorgprocessen. Ook is de HSMR in potentie een middel om de transparantie in de zorg te verhogen, door het openbaar maken van de cijfers. De Inspectie en de media juichen deze ontwikkeling toe. En uiteindelijk heeft de patiënt baat bij zowel verbetering van de kwaliteit van zorg, als bij meer openheid. Een goede indicator dient betrouwbaar en valide te zijn. Om dit aan te tonen voor de HSMR blijkt niet eenvoudig. Hoe betrouwbaar zijn de onderliggende data die gebruikt worden voor de berekening? En worden de kwaliteitsbepalende eigenschappen van de zorgprocessen adequaat vertaald door het HSMR-model? Welke factoren, niet bepaald door kwaliteit van zorg, kunnen hierbij verstorend werken op de uitkomst van de HSMR-berekening en hoe groot is deze invloed? Dit proefschrift beschrijft de resultaten van een onderzoek naar deze verstorende factoren aan de hand van de volgende onderzoeksvragen: 1. Welke factoren kunnen de validiteit en de betrouwbaarheid van de HSMR en de bijbehorende SMRs mogelijk beïnvloeden? 2. Hoe groot is deze invloed op de uitkomsten van HSMR en SMRs? 3. In hoeverre is de HSMR geschikt, of kan hij geschikt gemaakt worden, om als indicator te gebruiken bij kwaliteitsverbetering en benchmarking van ziekenhuizen? 148

149 Samenvatting Methode Om de onderzoeksvragen te kunnen beantwoorden zijn de volgende vormen van variaties geselecteerd en geanalyseerd: 1. Variatie in opnameregistraties Alle ziekenhuisopnamen worden vastgelegd in de landelijke medische registratie (LMR). Het onderzoek richtte zich op drie aspecten van het coderen die gevoelig zijn voor fouten of inconsistenties: de hoofddiagnose, de nevendiagnoses en de opname-urgentie. Hierbij zijn de gegevens geanalyseerd van de LMR-database van zes topklinische ziekenhuizen. Tevens zijn medisch codeurs van deze ziekenhuizen geïnterviewd. De onderzoeksperiode betrof de jaren 2003 tot en met Variatie in behandeltypen voor hartaandoeningen Deze behandeltypen zijn vastgelegd in de wet bijzondere medische verrichtingen (WBMV). Bij twaalf hartcentra in Nederland werd onderzocht wat het effect is op de HSMR van de volgende bijzondere medische verrichtingen: open hartchirurgie en dotterbehandelingen. Het onderzoek bestond uit het uitvoeren van een HSMR-berekening mét - en een berekening zónder deze verrichtingen, met onderlinge vergelijking van de resultaten. De onderzoeksperiode betrof het jaar Variaties in casemix op hoofddiagnoseniveau Onderzocht is of er in de patiëntenpopulatie casemixverschillen optreden op het niveau van de hoofddiagnose. Hierbij is gebruikgemaakt van de LMR van alle Nederlandse ziekenhuizen over een aaneengesloten periode van vijf jaar (2005 t/m 2009). Onderzocht is in hoeverre het HSMR-instrument adequaat corrigeerde voor mogelijke verschillen. Hiertoe werd de gestandaardiseerde sterfte berekend voor hoog- en laagrisico-diagnosesubgroepen, om vervolgens de uitkomsten onderling te vergelijken. 4. Variaties in de frequentie waarmee patiënten worden heropgenomen Hierbij is onderzocht in hoeverre zes topklinische ziekenhuizen (Santeon) onderling verschillen in het gemiddeld aantal (her)opnamen van een gelijksoortige patiënt - en in hoeverre voorspelde sterfte samenhangt met de opnamefrequentie. Daarna is op landelijk niveau bepaald in hoeverre variatie in opnamefrequentie de HSMR beïnvloedt als onderdeel van de gecombineerde effecten. De onderzoeksperiode betrof de jaren 2003 tot en met

150 De HSMR beproefd Belangrijkste bevindingen Registratie Hoofddiagnose, nevendiagnoses en opname-urgentie bleken niet eenduidig te worden gecodeerd. Oorzaken daarvoor zijn onder andere: het onvolledig invullen van de ontslagbrief door de arts, tijdsdruk als gevolg van capaciteitstekorten bij de medisch codeurs, ambigue diagnosecodes, een ambigue codeerregel voor opnameurgentie en het maken van codeerfouten. Het vaststellen van de invloed op de HSMR door middel van herberekening bleek in veel gevallen ondoenlijk. De impact van het veelvuldig gebruik van de codes en ( diagnose onbekend ) kon wel worden ingeschat: bij één van de zes onderzochte ziekenhuizen steeg de HSMR daardoor met 22 punten, bij een ander ziekenhuis daalde de HSMR met 5 punten. Tevens bleek dat variaties in het percentage van de als acuut gecodeerde opnamen, een sterke invloed kunnen hebben op de HSMR. Bijzondere medisch verrichtingen Bij het behandelen van hartaandoeningen blijkt variatie op te treden als gevolg van een tweedeling in de Nederlandse ziekenhuiszorg: hartcentra versus niet-hartcentra. Omdat de HSMR-methodiek principieel niet corrigeert voor behandeltype, blijken hartaandoeningen een belangrijke bron van variatie voort te brengen. Uit de analyse bleek verder dat dotterbehandelingen HSMR-verlagend werken en openhartchirurgie HSMR-verhogend. Bij het gecombineerde effect van weglaten van beide behandeltypen bleek het effect op de HSMR bij hartcentra te variëren van -4,7% tot 5,3%. Casemix op diagnoseniveau De zwaarte van de casemix blijkt op het niveau waarop de hoofddiagnose gecodeerd wordt (ICD-9) te variëren voor nagenoeg alle diagnosegroepen waarover de HSMR wordt berekend. De in 2010 gebruikte HSMR-berekening in Nederland blijkt hiervoor niet adequaat te corrigeren. Bij vergelijking van de oorspronkelijk en nieuw berekende gestandaardiseerde sterftecijfers treden relatieve verschuivingen op, variërend van -63% tot +202% van de oorspronkelijke SMR-waarden, respectievelijk van -6,7% tot +4,3% van de oorspronkelijke HSMR-waarden. De standaarddeviaties van de frequentieverdelingen van deze verschuivingen bedragen 14,6% (SMRs) respectievelijk 2,0% (HSMRs). 150

151 Samenvatting Heropnamen Ook de frequentie waarmee ziekenhuizen patiënten opnemen vormt een bron van variatie. Het komt voor dat het ene ziekenhuis dezelfde patiënt, in termen van casemixkenmerken, vaker opneemt dan een ander ziekenhuis zou doen onder gelijke omstandigheden. Variatie in opnamefrequentie blijkt samen te hangen met variatie in het gestandaardiseerde sterftecijfer. Deze ratio bleek bij frequent opgenomen patiënten significant lager te zijn dan bij niet frequent opgenomen patiënten. Aangezien de opnamefrequenties tussen ziekenhuizen onderling sterk verschillen, blijken ziekenhuizen met relatief veel frequent opgenomen patiënten bevoordeeld ten opzichte van ziekenhuizen met relatief weinig frequent opgenomen patiënten. Combinatie van effecten Bovenstaande factoren, met uitzondering van registratievariatie, bleken retrospectief gecorrigeerd te kunnen worden in één berekening. Hierbij zijn twee berekenvarianten vergeleken: een variant nagenoeg gelijk aan het HSMRmodel 2010 en eenzelfde model met extra correctie voor de drie laatst genoemde factoren (bijzondere medische verrichtingen, casemix op hoofddiagnoseniveau en heropnamen). Inclusief de invloed van variatie door toeval, resulteerde dit in een indicatie voor de S/D-ratio ( signal-to-distortion-ratio ) van de (H)SMR: op SMR-niveau bleek deze circa 1, wat aangeeft dat het signaalniveau (de SMR) en het niveau van de verstoring vergelijkbaar sterk zijn. Op HSMR-niveau lag de uitkomst rond de 2. Als alle andere wel gekwalificeerde maar niet gekwantificeerde bronnen van variatie ook zouden meetellen, dan komen deze waarden waarschijnlijk lager (ongunstiger) uit. 151

152 De HSMR beproefd Algemene discussie en aanbevelingen De HSMR anno 2010 is het resultaat van een geavanceerde statistische rekenmethode. Als indicator voor kwaliteit van zorg op ziekenhuis- en diagnosegroepsniveau kent deze indicator zijn gelijke niet in Nederland. Aan de andere kant blijkt het zuivere signaal dat hiervan uit moet gaan nog ondergedompeld in een veelheid van stoorsignalen. Sceptici beweren daarom dat de HSMR een onbruikbaar instrument is. Andere partijen vinden weer dat de HSMR gekoesterd moet worden. Dit proefschrift wil de huidige HSMR verwerpen noch omarmen; wel vraag ik aandacht voor de potentie van dit nu nog onzuivere instrument. Verbetering van het instrument Enkele suggesties voor de verbetering van de HSMR zijn: Maak bij de berekening voor hartaandoeningen onderscheid tussen hartcentrum versus niet-hartcentrum, eventueel verfijnd naar typen verrichtingen. Verbeter de correctie voor casemixverschillen op hoofddiagnoseniveau, met gebruik van een verbeterde indeling van de risicoklassen. Corrigeer voor opnamefrequentie. Verbeter de berekenwijze van de charlsonindex door iedere comorbiditeit hoogstens eenmaal mee te tellen en de hoofddiagnose buiten beschouwing te laten. Onderzoek een mogelijke over- en ondercorrectie voor casemix zwaarte van het HSMR-instrument en minimaliseer het effect. Gebruik HSMR bij kwaliteitsverbetering in ziekenhuizen Zolang de hierboven voorgestelde verbeteringen bij het berekenen van de HSMR niet doorgevoerd zijn dienen ziekenhuizen rekening te houden met het mogelijk optreden van vertekenende effecten. Tevens verdient het aanbeveling dat ziekenhuizen het coderen van de eigen LMR goed en eenduidig op orde hebben. Nader onderzoek naar aard en invloed meetfouten Niet onderzochte bronnen van variatie verdienen nader onderzoek en kwantificering op landelijk niveau. Dit betreft met name onderzoek naar variatie in ziekenhuissterfte van patiënten met palliatieve zorg, omgevingsrisico s tijdens 152

153 Samenvatting het inzamelen van variabelen, sterfte onmiddellijk na binnenkomst op de SEH van het ziekenhuis, sterfte binnen 30 dagen na ontslag en de kwaliteit van de LMR. Openbaarmaking HSMR Als de HSMR eenduidig en aantoonbaar samenhangt met de kwaliteit van zorg in ziekenhuizen, zou er technisch gezien geen bezwaar zijn tegen openbaarmaking. Echter, uit dit proefschrift is gebleken dat de huidige HSMR (2010) nog substantieel vertekend wordt door een groot aantal bronnen van variatie. Er bestaat bij de huidige HSMR nog steeds een reële kans dat meerdere goede en veilige ziekenhuizen ten onrechte een hoge HSMR scoren. Een dergelijke situatie maakt openbaarmaking ongewenst. Pas wanneer het HSMR-instrument verbeterd wordt, onder andere met behulp van de bevindingen in dit proefschrift, staat de kwaliteit van het instrument openbaarmaking niet meer in de weg. Het zou wenselijk zijn om bij die publicatie ook een indicatie te geven van de overgebleven S/D-ratio. 153

154

155 abstract

156 De HSMR beproefd The HSMR tested Type and impact of measurement errors in determining standardised mortality ratios Background and aims of the study The hospital standardised mortality ratio, the HSMR, has received attention in the Netherlands and abroad, as an indicator of the quality of care. The intention is that outcomes would enable comparisons on mortality ratios to be made between hospitals on a national level after statistical adjustment was made for the casemix. In addition to this, the indicator can also be used on the more detailed level of the diagnostic group within a hospital. This is called a standardised mortality ratio (SMR). Various parties have an interest in applying the HSMR and the SMRs. SMRs have, for example, been used in Dutch hospitals for several years in order to monitor and improve the quality of care. The HSMR can also be used to increase transparency in health care by making the figures public. The Inspectorate and the media welcomed this development. Finally, it is hoped that the potential improvement in the quality of care and the greater transparency may benefit the patient. The HSMR is an indicator that should reflect variations in quality of care. While a good indicator should be reliable and valid, demonstrating these properties for the HSMR is not easy. There are a number of factors that have nothing to do with quality of care, which could distort the validity of the HSMR. Firstly the data used to calculate the HSMR may be unreliable, incomplete or inconsistent. Secondly, there are factors or circumstances, different between hospitals, that may distort the HSMR-outcomes. This thesis describes the results of an investigation into these distorting factors. The questions we addressed are the following: 1. What factors could affect the validity and reliability of the HSMR? 2. What is the possible impact of these factors on the results of HSMR and SMRs? 3. And to what extent is the HSMR suitable as an indicator in support of improving the quality of care and allowing public disclosure? 156

157 Abstract Methods Four different types of variations, which we call sources of distortion, have been analysed in order to answer the research questions. 1. Variation in the registration of admissions, as collated in the national medical registration dataset (LMR). The study focused on three aspects of the coding process that are sensitive to errors or inconsistencies. These are: the principal diagnosis, secondary diagnoses and admission type. This involved the analysis of data from the LMR from six large non-university teaching hospitals (Santeon). Furthermore medical coders from these hospitals were interviewed. The study period covered the years 2003 to Variation in the type of treatment for heart disease as determined by the Special Medical Procedures Act (WBMV). The effect of carrying out open heart surgery and angioplasty treatment by twelve cardiac centres in the Netherlands has been examined. The impact upon the HSMR of these cardiac centres has been examined by calculating the HSMR with, and without carrying out these procedures and by comparing the results. The study period was Variations in the casemix on the primary diagnostic level. The occurrence of variations in the casemix on the primary diagnostic level was analysed using the LMR of all Dutch hospitals over the years 2005 to It was investigated whether the HSMR corrected adequately for possible variations, by calculating the standardised mortality ratios for high risk and for low risk diagnostic subgroups and by comparing the outcomes. 4. Variations in the frequency of readmission. This study analysed whether the number of times on average that a patient was admitted, the readmission frequency, differed among six, large, non-university teaching hospitals. In addition we looked at the extent to which predicted mortality was associated with the readmission frequency. The Santeon study period covered the years 2003 to The impact that differences in readmission frequency have on the HSMR was calculated using nationwide data over the years 2005 to

158 De HSMR beproefd Main findings Registration The principal diagnosis, secondary diagnoses and admission type showed variations in coding due to: the physician not (timely) delivering medical patient data at discharge; pressure on the time available to do the coding work, because of a limited number of coders; ambiguous diagnosis codes; ambiguous coding rules for coding admission-type and, to a limited degree, to mistakes in the coding. In most of the cases it turned out to be impossible to assess the impact upon the HSMR outcome by recalculation. The impact of the frequently used codes and ( diagnosis unknown ) could however be estimated. For one of the six hospitals the HSMR increased by 22 HSMR points after correction and for another hospital it fell by 5 HSMR points. Variations observed in the percentage of emergency admissions coded, may have had a strong impact on the HSMR but this could not be quantified. Special medical procedures In the treatment of heart disease, variation occurs as a consequence of a division of the Dutch hospitals into either cardiac, or non-cardiac, centres. Cardiac centres perform special medical procedures that non-cardiac centres are not allowed to perform. Because the HSMR-model does not adjust for medical procedures, the treatment of heart disease turns out to be a source of variation. The analysis showed that angioplasty is associated with a decrease of HSMR and open heart surgery is associated with an increase of HSMR. The combined effect of omitting both types of treatment in the calculation, showed the HSMR to change within a range from -4.7 to 5.3%. Casemix on the primary diagnostic level The casemix on the primary diagnostic level (ICD-9) varies substantially for virtually all diagnostic groups involved in the calculation of the HSMR. The HSMR calculation, used in the Netherlands in 2010, does not adequately adjust for these variations. When comparing the original and newly calculated standardised mortality ratios, relative shifts occur ranging from -63% to 202% of the original SMR values, respectively, and from -6.7% to 4.3% of the original HSMR values. The standard deviations of the frequency distributions of these shifts amount to 14.6% for the SMRs, respectively to 2.0% for the HSMRs. 158

159 Abstract Readmissions Differences in the readmission frequency turned out to be a source of variation. It may occur that one hospital admits the same patient, in terms of casemix variables, more frequently than another hospital would do under similar circumstances. Variation in the readmission frequency appears to be associated with a variation in predicted death and consequently with variation in standardised mortality ratios. The standardised mortality ratio for frequently admitted patients in general turned out to be significantly lower than the standardised mortality ratio for nonfrequently admitted patients. Since admission frequencies vary substantially between hospitals, this may favour hospitals with relatively many frequently admitted patients. Combination of effects Based on our findings we calculated a new HSMR by adjusting for the factors mentioned above, with the exception of variation in registration. We calculated and compared two variants. One variant was nearly identical to the 2010 HSMRmodel while the other included additional adjustment for the three factors mentioned. This resulted in an indication of the signal-to-distortion-ratio of the (H)SMR while including the impact of random noise. On the SMR level this ratio equalled approximately 1, indicating that the signal (distribution of all SMRs) and the distortion had a comparable level. On the HSMR level the ratio equalled approximately 2. If all the other known sources of distortion were to be quantified and counted, then these ratios would most likely turn out to be lower (worse). General discussion and recommendations The HSMR is the result of a sophisticated statistical calculation. There is no other such indicator of the quality of care on the hospital level and on the diagnostic group level in the Netherlands. However the signalling function it should perform is still immersed in a multitude of distorting factors. The current signal-to-distortionratio of the HSMR is unacceptably low. Sceptics may therefore consider it a useless tool. Other parties, who believe in the potential of the instrument, think that the HSMR should be utilised. Both would benefit from a HSMR free of distortion. 159

160 De HSMR beproefd Improving the instrument Improvements can be made to the HSMR instrument. A distinction can be made between cardiac centres and non-cardiac centres for heart diseases. By using an enhanced classification of risk categories improvements are possible in the adjustment for casemix differences on the primary diagnostic level. The HSMR can be adjusted for readmission frequency if a unique patient identification is available in the registration of the hospitals. By counting each co-morbidity no more than once and by excluding the primary diagnosis from the calculation, the method of calculating the charlsonindex can be improved. Using the HSMR for quality improvement in hospitals If the improvements suggested above in calculating the HSMR are not yet implemented, then we would recommend taking into account the possible occurrence of distorting effects. It is also important to maintain an adequate, unambiguous and complete registration of admissions (LMR). Further investigation of the type and impact of measurement errors Sources of distortion not investigated in this study deserve to be analysed and quantified on the national level. In particular we would highlight the following: the impact of palliative care; the constant risk fallacy ; death immediately after entering the emergency room of the hospital; death within 30 days after discharge; and the quality of the admission registration nationwide. Public disclosure of the HSMR If the HSMR can be clearly and demonstrably linked to the quality of care in hospitals, then there would be no technical arguments against disclosure. However, this thesis has shown that the HSMR, according to the Dutch 2010 model, is distorted by numerous sources of uncorrected variation. There is a fair chance that various good and safe hospitals could still score an unduly high HSMR in which case disclosure is undesirable. Only after improvement of the HSMR instrument, by applying among other things, the findings of this thesis, can the quality of the instrument be sufficiently guaranteed so as not prohibit disclosure. It is recommended that the publication also includes an indication of the residual level of distortion, expressed as a signal-to-distortion-ratio, including the level of random noise determined by confidence intervals. 160

161

162