Stand van zaken Prestatie-indicatoren voor ziekenhuizen Methodologie van onderzoek 9: meten van de kwaliteit van zorg Sabrina Siregar, Rolf H.H. Groenwold, Michel I.M. Versteegh en Lex A. van Herwerden Gerelateerd artikel: Ned Tijdschr Geneeskd. 2012;156:A4918 Een goede prestatie-indicator meet de kwaliteit van de zorg, waarbij gebruik kan worden gemaakt van klinische uitkomsten. Wanneer dit niet mogelijk is, kunnen het proces en de structuur van de zorg een beeld geven van de kwaliteit. Een uniforme prestatie-indicator voor een ziekenhuis als geheel is een utopie; men dient zich te richten op prestatie-indicatoren voor specifieke aandoeningen. Er zitten haken en ogen aan het gebruik van prestatie-indicatoren voor het onderling vergelijken van ziekenhuizen; onder meer de correctie voor casemix, de statistische betrouwbaarheid van de metingen en de validatie van de prestatie-indicatoren. Weloverwogen prestatie-indicatoren kunnen worden gebruikt om trends te monitoren en om die praktijken te herkennen die onder een vastgestelde norm presteren, maar niet om ranglijsten op te stellen. De kwaliteit van zorg in Nederlandse ziekenhuizen wordt op alle mogelijke manieren gemeten. Het Algemeen Dagblad en Elsevier presenteren jaarlijks ranglijsten van de beste ziekenhuizen, de discussie rondom de hospital standardized mortality ratio (HSMR) woedt al jaren en de lijst met kwaliteitsindicatoren van de Inspectie voor de Gezondheidszorg (IGZ) is recentelijk uitgebreid. 1-4 Om kwaliteit te kunnen meten is het allereerst noodzakelijk vast te stellen wat het doel is van de kwaliteitsmeting. Vervolgens kunnen we bepalen wat de beste manier is om dit te meten. Tot slot zijn er overwegingen en beperkingen die van belang zijn voor de interpretatie van de kwaliteitsmeting. In dit artikel zullen we dieper op deze zaken ingaan. Waarom meten? Universitair Medisch Centrum Utrecht, Utrecht. Afd. Cardio-Thoracale Chirurgie: drs. S. Siregar, arts-onderzoeker cardio-thoracale chirurgie; prof.dr. L.A. van Herwerden, cardio-thoracaal chirurg. Julius Centrum voor Gezondheidswetenschappen en eerstelijns Geneeskunde: dr. R.H.H. Groenwold, arts-epidemioloog. Leids Universitair Medisch Centrum, afd. Thoraxchirurgie, Leiden. Drs. M.I.M. Versteegh, cardio-thoracaal chirurg. Contactpersoon: drs. S. Siregar (s.siregar@umcutrecht.nl). Er zijn 2 belangrijke redenen om kwaliteit van zorg te meten: interne kwaliteitsbewaking en openbare verantwoording. Het initiatief tot interne kwaliteitsbewaking wordt genomen door een klinische afdeling, ziekenhuis of door de beroepsgroep zelf. Verbeteringen of verslechteringen van de kwaliteit van zorg worden zichtbaar gemaakt en het beleid wordt zo nodig aangepast. Een voorbeeld is het voortdurend meten van het aantal wondinfecties op chirurgische afdelingen, waarop het beleid van onder andere de ziekenhuishygiëne kan worden aangepast. Er kan ook vergeleken worden met andere ziekenhuizen of met een algemene norm, ook wel een benchmark genoemd (figuur 1). Wanneer de kwaliteit van zorg overal aan de norm voldoet zou ook kunnen worden gekeken naar best practices : instellingen met de beste zorg worden als voorbeeld gesteld. NED TIJDSCHR GENEESKD. 2012;156:A5487 1
Uitleg Verschillen in casemix De casemix van een ziekenhuis wordt omschreven door de karakteristieken van de patiëntenpopulatie. De typische casemix van academische ziekenhuizen omvat bijvoorbeeld complexe ingrepen bij relatief zieke patiënten en verschilt daarmee van de casemix in niet-academische ziekenhuizen. Verschillen in casemix zijn van invloed op een onderlinge vergelijking van ziekenhuizen. Om deze reden kunnen prestatie-indicatoren niet zomaar worden vergeleken zonder kennis van de verschillen in casemix. Risicomodellen zoals de hospital standardized mortality ratio (HSMR) kunnen worden gebruikt om verschillende patiëntkarakteristieken samen te vatten in 1 score. 16-18 Een dergelijk risicomodel levert een verwachte uitkomst, waartegen de werkelijke uitkomst kan worden afgezet. Dit kan door de verhouding tussen de geobserveerde ( observed ) en verwachte ( expected ) sterfte te bepalen (O:E-ratio). Een O:E-ratio van 1 betekent dat de sterfte precies even groot is als verwacht. Een O:E-ratio boven de 1 betekent dat de sterfte hoger is dan verwacht en een O:E-ratio kleiner dan 1 houdt in dat de sterfte lager is dan verwacht. HSMR De hospital standardized mortality ratio (HSMR) is een relatieve maat voor sterfte in een ziekenhuis en wordt samengesteld uit de standardized mortality ratio (SMR) van 50 diagnosegroepen. 4 Elke diagnosegroep wordt gevormd uit verschillende aandoeningen. Voor elke diagnosegroep wordt bepaald hoeveel mensen er zijn overleden in een bepaald ziekenhuis, en hoe zich dat verhoudt tot de gemiddelde sterfte in Nederland in die diagnosegroep. Hierbij wordt rekening gehouden met verschillende patiëntkarakteristieken. Bij het evalueren van de mortaliteit in een bepaald ziekenhuis kan op deze manier rekening worden gehouden met verschillen in casemix tussen ziekenhuizen. De gegevens die gebruikt worden om de HSMR te bepalen, zijn afkomstig uit ziekenhuisadministraties. Een belangrijke kritiek op de HSMR is dat de administratieve gegevens incompleet en inaccuraat zijn. Daarnaast bestaat het gevaar dat de correctie voor verschillen in casemix onvolledig is. Interne kwaliteitsbewaking is in de regel niet openbaar. Voorbeelden zijn de Nederlandse Vereniging voor Thoraxchirurgie (NVT) (zie: www.nvtnet.nl) en de Dutch Institute for Clinical Auditing (DICA) (zie: www.dica.nl). De NVT registreert sinds 2007 alle cardiochirurgische ingrepen in Nederland en de DICA registreert behandelingen van patiënten met darm-, borst-, maag-, slokdarmen longkanker. 5 Externe kwaliteitsbewaking wordt uitgevoerd in het kader van openbare verantwoording. De IGZ voert externe kwaliteitsbewaking uit om na te gaan of zorgverleners en ziekenhuizen aan een bepaalde minimumnorm voldoen. Patiënten, zorgverzekeraars en de media zullen de nadruk leggen op het identificeren van de beste ziekenhuizen. Het meten van kwaliteit In Nederlandse ziekenhuizen worden prestaties voornamelijk gemeten aan de hand van de kwaliteit van de geleverde zorg. In tegenstelling tot in het bedrijfsleven worden zaken als efficiëntie, winst, groei en uitbreiding over het algemeen niet meegewogen. Hiermee worden in de zorg de termen prestatie-indicator en kwaliteitsindicator uitwisselbaar. Kwaliteit van zorg is een complex begrip dat door de Raad voor Gezondheidsonderzoek wordt omschreven als de mate waarin het geheel van eigenschappen (het gerealiseerde) van een product, proces en dienst voldoet aan de eraan gestelde eisen (norm of verwachting), die voorvloeien uit een gebruikersdoel. 6 De definitie van de kwaliteit van zorg weerspiegelt dus de doelen en de eisen die worden gesteld aan de geleverde zorg. Om te meten of de zorg hieraan voldoet, kunnen concrete aspecten van de zorg worden beoordeeld, zogenaamde prestatie-indicatoren. De hierboven genoemde doelen en perspectieven van een kwaliteitsmeting kleuren het begrip kwaliteit van zorg en beïnvloeden de selectie van de prestatie-indicatoren. In het algemeen is het doel van een behandeling dat de klinische toestand of de kwaliteit van leven van een patiënt verbetert. De kwaliteit van zorg wordt daarom primair gemeten aan de hand van klinische uitkomsten van patiënten: uitkomstindicatoren. Wanneer informatie over de klinische uitkomsten van patiënten onvoldoende beschikbaar zijn, moeilijk te meten zijn of om andere redenen niet gebruikt kunnen worden, kunnen de structuur en het proces van de zorg ook een beeld geven van de kwaliteit. Andersom zijn structuur- en procesindicatoren minder noodzakelijk wanneer betrouwbare uitkomstmaten voorhanden zijn. Deze trias van uitkomsten, structuur en proces weerspiegelt de complexiteit van het begrip kwaliteit van zorg. 7 Structuurindicatoren reflecteren het kader of het systeem waarin de zorg wordt geleverd en beschrijven het ziekenhuis als organisatie. De meest gebruikte structuurindicator in de zorg is volume. 8,9 Andere voorbeelden van structuurindicatoren zijn de aanwezigheid van gespecialiseerde afdelingen, zoals een hartbewaking- of een ICafdeling, apparatuur en personeel,, de status van opleidingsziekenhuis en het aantal patiënten per verpleegkundige. Structuurindicatoren zijn minder direct te beïnvloeden door de zorgverleners en zijn daarom minder nuttig in programma s die bedoeld zijn voor directe kwaliteitsverbetering. Gegevens over structuurindicatoren zijn relatief gemakkelijk te verkrijgen, omdat deze op ziekenhuisniveau worden verzameld. 2 NED TIJDSCHR GENEESKD. 2012;156:A5487
Procesindicatoren beschrijven het zorgproces, bijvoorbeeld uitgedrukt in wachttijden of het naleven van specifieke richtlijnen. 8 Voorbeelden zijn het aantal patiënten dat na een coronaire-bypassoperatie bètablokkers krijgt voorgeschreven of het gebruik van trombo-embolische profylaxe bij bedlegerige patiënten. Deze indicatoren kunnen wel verbeterd worden door ziekenhuizen. Ook procesindicatoren kunnen vaak op ziekenhuisniveau worden verzameld. Uitkomstindicatoren zijn de meest gebruikte prestatieindicatoren. Hieronder vallen mortaliteit, complicaties, succespercentage van een behandeling en kwaliteit van leven. Een nadeel van het gebruik van uitkomstindicatoren is dat deze per patiënt dienen te worden verzameld. Dit vergt tijd en geld. Is de prestatie-indicator relevant? Structuur-, proces- en uitkomstindicatoren voor het ene ziektebeeld zijn niet altijd relevant voor een ander ziektebeeld. Voor elk ziektebeeld, iedere behandeling of vergelijkbare groep behandelingen dient kwaliteit opnieuw gedefinieerd te worden door het vaststellen van relevante parameters. Er moet een verband bestaan tussen de prestatie-indicator en de kwaliteit van zorg. Binnen de hartchirurgie bijvoorbeeld wordt ziekenhuissterfte gebruikt als prestatie-indicator, maar voor de palliatieve zorg heeft deze indicator geen waarde. Patiënttevredenheid is gebaseerd op allerlei aspecten van de zorg. De relatie tussen sommige aspecten, zoals vriendelijkheid van personeel en kamervoorzieningen, en de uitkomst van de geleverde zorg is onduidelijk, waardoor de bruikbaarheid van patiënttevredenheid als prestatieindicator twijfelachtig is. 10 De relatie tussen zorgvolume en klinische uitkomsten is niet voor elk ziektebeeld even sterk. 9 Dit betekent dat volume slechts in enkele gevallen als prestatie-indicator gebruikt kan worden. Een prestatie-indicator moet voldoen aan indruksvaliditeit zijn de parameters op het eerste gezicht relevant? en constructvaliditeit is er voldoende relatie tussen de gemeten aspecten en de kwaliteit, in dit geval de uitkomst van de zorg? 11,12 Met name voor structuur- en procesindicatoren is vaak het verband met de kwaliteit van zorg en daarmee de geschiktheid als prestatie-indicator niet duidelijk. Overwegingen bij het kiezen van een prestatieindicator prestatie-indicator 5 4 3 2 1 ziekenhuizen FIGUUR 1 Voorbeeld van een willekeurige prestatie-indicator (bijvoorbeeld mortaliteit) met betrouwbaarheidsinterval, waarin deze voor een ziekenhuis wordt vergeleken met de benchmark (stippellijn). De prestatie-indicator wijkt af van de benchmark wanneer het gehele betrouwbaarheidsinterval lager (groen) of hoger (rood) is dan de benchmark. Is de definitie van de prestatie-indicator eenduidig? Een ander punt van aandacht is de definitie van een prestatie-indicator. Mortaliteit is eenduidig en redelijk eenvoudig vast te stellen. Functionaliteit van een ledemaat, patiënttevredenheid en een gecompliceerd beloop zijn echter indicatoren die een duidelijke definitie vereisen. En zelfs bij mortaliteit is er ruimte voor discussie, bijvoorbeeld over de periode waarin de mortaliteit wordt gemeten. Meestal meet men mortaliteit gedurende de opname in het ziekenhuis waar de ingreep plaats vond, maar ook 30-dagen- en 1-jaarsmortaliteit worden gehanteerd. Is de prestatie-indicator volledig? Samengestelde prestatie-indicatoren combineren verschillende parameters, bijvoorbeeld mortaliteit, volume én wachttijden. Voor het samenvoegen van verschillende parameters tot 1 score zal allereerst vastgesteld moeten worden of de onderdelen onafhankelijk zijn van elkaar. Wanneer de parameters te sterk samenhangen, meten ze hetzelfde en mogen ze niet zomaar worden opgeteld. Daarnaast is het de vraag in welke mate de onderdelen bijdragen aan de totale score. Verschillen in het combineren van indicatoren kan grote invloed hebben op de samengestelde score en daarmee op de prestatie-indicator. 13-15 Tot slot is wellicht de grootste uitdaging het meten van alle aspecten van kwaliteit. Dit is een inhoudelijke kwestie en wordt ook wel inhoudsvaliditeit genoemd. Beperkingen bij het meten van kwaliteit Is vergelijking mogelijk? Naast de kwaliteit van zorg kunnen er ook andere factoren bestaan die de prestatie-indicator beïnvloeden, bijvoorbeeld patiëntkarakteristieken zoals leeftijd of stadium van de ziekte. 11 De karakteristieken van de patiëntenpopulatie van een ziekenhuis worden ook wel casemix genoemd (zie uitlegkader). NED TIJDSCHR GENEESKD. 2012;156:A5487 3
In het voorbeeld van de hartchirurgie wordt met bestaande risicomodellen op basis van patiëntkarakteristieken het risico op mortaliteit ingeschat. 16-18 Door te corrigeren voor verschillen in dit risico kunnen ziekenhuizen toch worden vergeleken. Wanneer correctie voor verschillen in casemix onvoldoende is, komt de prestatieindicator niet overeen met de werkelijke kwaliteit van zorg. Het is daarom cruciaal dat een goede prestatieindicator voldoet aan toeschrijfbare validiteit (zijn verschillen in de indicator toe te schrijven aan verschillen in kwaliteit?). 11,12 Indien ziekenhuizen een totaal verschillende casemix hebben, is correctie niet mogelijk en is een vergelijking niet op zijn plaats. 19 Het is bijvoorbeeld zinloos een kinderziekenhuis te vergelijken met een ziekenhuis dat voornamelijk staaroperaties uitvoert. Hieruit blijkt waarom het onmogelijk is om de kwaliteit van zorg in een ziekenhuis als geheel met 1 prestatie-indicator te meten. Van de meeste aandoeningen is er noch consensus over de prestatie-indicator, noch over de factoren waarvoor gecorrigeerd moet worden. Administratieve of klinische data? Administratieve data, onder andere verzameld door ziekenhuisadministraties, bevatten slechts enkele patiëntkarakteristieken, zoals leeftijd, geslacht, hoofddiagnose en secundaire diagnoses. De HSMR is een score die wordt gebruikt voor correctie van verschillen in casemix op basis van zulke administratieve gegevens (zie uitlegkader). 4 Het gevaar bestaat dat deze informatie onvoldoende is om adequaat te corrigeren voor verschillen in de casemix. De ernst van aandoeningen is vaak niet vastgelegd in administratieve data, net zomin als de conditie van de patiënt. Doorgaans is uitgebreidere klinische informatie nodig voor adequate correctie voor verschillen in de casemix, maar dit kost tijd en geld. Onzekerheid van de prestatie-indicator Prestaties van ziekenhuizen kunnen variëren door toeval. 20 Het komt zelden voor dat een ziekenhuis in 2 opeenvolgende jaren precies evenveel sterfgevallen heeft. Wanneer er geen rekening gehouden wordt met deze op toeval berustende variatie, zullen de gemeten verschillen ten onrechte worden toegeschreven aan verschillen in kwaliteit, terwijl ten minste een deel hiervan berust op toeval. 20 Hoe groter het aantal patiënten, des te kleiner deze toevalsvariatie is. Het is daarom zaak om informatie te gebruiken over zo veel mogelijk patiënten, eventueel uit opeenvolgende jaren. Een onderzoek naar lokaal recidief als prestatie-indicator voor borstkanker toonde bijvoorbeeld aan dat de lage incidentie van recidieven het onmogelijk maakte om met deze indicator ziekenhuizen te vergelijken. 21 Een 2e punt van aandacht is de clustering van patiënten binnen een ziekenhuis. Patiënten die in een bepaald ziekenhuis worden behandeld lijken doorgaans meer op elkaar dan op patiënten die in een ander ziekenhuis worden behandeld. Dit zorgt ervoor dat de werkelijke verschillen in de kwaliteit van zorg waarschijnlijk kleiner zijn dan wordt gemeten. Er bestaan statistische methoden om ook hier rekening mee te houden, zogenaamde random effect -modellen. 22,23 Verschillen tussen ziekenhuizen dienen in verband met toeval of clustering binnen ziekenhuizen altijd geïnterpreteerd te worden met oog voor de onzekerheid van de prestatie-indicator. 14 De beperkingen van ranglijsten Ranglijsten zijn een op het oog aantrekkelijke manier om resultaten te vermelden. In een oogopslag is te zien welk ziekenhuis het beste presteert. Een rangschikking suggereert dat er een wezenlijk verschil bestaat tussen ziekenhuizen de ziekenhuizen staan immers op verschillende plaatsen in de ranglijst en dat het verschil evenredig toe- of afneemt met de plaats op de ranglijst. In werkelijkheid zullen er ziekenhuizen zijn die nauwelijks van elkaar verschillen maar toch op verschillende posities staan. Bovendien is in een ranglijst de norm onbekend, alles is relatief. Het hoogstgeplaatste ziekenhuis is de beste van de ziekenhuizen in de lijst, maar dit zegt niets over de absolute kwaliteit in dat ziekenhuis. Een goed alternatief voor ranglijsten is een vergelijking ten opzichte van een norm, anders gezegd benchmark, uiteraard rekening houdend met de statistische onzekerheid van die vergelijking (zie figuur 1). 24 Gewenste en ongewenste effecten van prestatiemetingen Het meten van kwaliteit lijkt op zichzelf al een positief effect te hebben op de kwaliteit van zorg. 25-28 Ongeacht of de resultaten openbaar worden gemaakt, zijn reflectie en feedback op uitkomsten een drijfveer om de zorg te verbeteren. Het meten van prestatie-indicatoren op zichzelf heeft bijvoorbeeld al geleid tot een verlaging van de mortaliteit na hartchirurgie; dit gebeurde zowel bij een openbare als een interne rapportage. 26,27 Daarnaast stimuleert openbare verantwoording in de zorg in theorie de marktwerking, wat ten goede zou kunnen komen aan de kwaliteit. Slecht presterende ziekenhuizen ontvangen mogelijk minder patiënten wanneer dit bekend is bij het publiek en de best presterende ziekenhuizen verwachten juist een toename in patiëntenstroom. Tot slot is het meten van kwaliteit noodzakelijk om te voorkomen dat ondermaats presterende zorgverleners kunnen blijven praktiseren. Prestatiemetingen kunnen echter ook ongewenste effecten teweegbrengen. Ziekenhuizen zouden bijvoorbeeld risico- 4 NED TIJDSCHR GENEESKD. 2012;156:A5487
100 score in Algemeen Dagblad 80 60 40 20 0 0 20 40 60 80 100 score in Elsevier FIGUUR 2 Correlatie tussen de ziekenhuisranglijsten van het Algemeen Dagblad en Elsevier (correlatiecoëfficiënt (r): 0,14). 2,3 Bij volledige overeenstemming van de beoordelingen zouden de punten op een rechte, stijgende lijn liggen (r = 1). volle ingrepen of complexe patiënten kunnen gaan weigeren. Daarnaast zouden ziekenhuizen minder sterfte of ziekere patiënten kunnen rapporteren dan in werkelijkheid het geval is, wat kan resulteren in een gunstiger prestatiemeting. Bovendien zou eenzijdige aandacht voor prestatiemetingen kunnen leiden tot verwaarlozing van elementen die moeilijker te meten zijn, zoals de werksfeer. Verkeerde prestatie-indicatoren kunnen leiden tot onterechte kritiek of sancties en hebben mogelijk een catastrofaal effect op de marktpositie van een ziekenhuis of zorgverlener. Kritiek Ranglijsten, zoals bijvoorbeeld samengesteld door het Algemeen Dagblad en Elsevier, lijken de complexiteit van het begrip kwaliteit van zorg te reduceren tot iets simpels. 2,3 Aan de hand van voornamelijk structuur- en procesindicatoren wordt bepaald welke ziekenhuizen het beste presteren. Daarbij worden belangrijke uitkomstindicatoren, zoals sterfte of complicaties na grote operaties, achterwege gelaten. Overige bezwaren hebben betrekking op de selectie van de indicatoren, de zwaarte van de indicatoren onderling en het ontbreken van foutmarges in de vergelijking van ziekenhuizen ten opzichte van elkaar zonder daarbij een absolute norm te hanteren. Dat dergelijke lijsten dan ook allemaal iets anders meten, blijkt uit figuur 2. 29 Wellicht het grootste bezwaar tegen dergelijke lijsten, en ook tegen de HSMR, is het reduceren van de beoogde prestatiemeting bij een zeer heterogene groep van aandoeningen en behandelingen tot 1 score. Een hoge ziekenhuisscore zegt namelijk nog niets over de kwaliteit van zorg die wordt geleverd voor 1 specifieke aandoening. Wat relevante prestatie-indicatoren zijn, verschilt per ziektebeeld. Het combineren van uiteenlopende prestatie-indicatoren heeft tot gevolg dat het uiteindelijke resultaat al haar betekenis verliest voor zowel de patiënt als de zorgverlener. Conclusie Een goede prestatie-indicator meet de kwaliteit van de geleverde zorg, die meestal wordt uitgedrukt in klinische uitkomsten van patiënten. Wanneer dit niet mogelijk is, kunnen het proces en de structuur van de zorg ook een beeld geven van de kwaliteit van zorg. Gezien de verscheidenheid van ziektebeelden en behandelingen is een uniforme prestatie-indicator voor een ziekenhuis als geheel een utopie en dient men zich te richten op prestatie-indicatoren voor specifieke aandoeningen. Er zitten vele haken en ogen aan het gebruik van prestatie-indicatoren en de vergelijking van ziekenhuizen onderling. Weloverwogen prestatie-indicatoren kunnen gebruikt worden om trends te monitoren en om praktijken te herkennen die onder een vastgestelde norm presteren. Kwaliteit is echter niet zo nauwkeurig te meten dat ziekenhuizen in een ranglijst geplaatst kunnen worden, laat staan dat deze gebruikt kan worden om het beste ziekenhuis van Nederland aan te wijzen. NED TIJDSCHR GENEESKD. 2012;156:A5487 5
Belangenconflict: geen gemeld. Financiële ondersteuning: geen gemeld. Citeer als: Ned Tijdschr Geneeskd. 2012;156:A5487 Aanvaard op 16 oktober 2012 Literatuur 1 Veiligheidsindicatoren ziekenhuizen 2010 t/m 2012. Toezicht op het VMS Veiligheidsprogramma Voorkom schade, werk veilig.utrecht: Inspectie voor de Gezondheidszorg; 2010. 2 AD Ziekenhuis Top 100-2012. AD.nl, www.ad.nl/ad/nl/1401/home/ integration/nmc/frameset/nieuws/ziekenhuistop100.dhtml, geraadpleegd op 19 oktober 2012. 3 Van Leeuwen A. Elsevier-onderzoek: De beste ziekenhuizen van 2011. Elsevier 19 oktober 2011, www.elsevier.nl/web/weekblad-78/de-besteziekenhuizen-2011.htm, geraadpleegd op 19 oktober 2012. 4 Jarman B, Pieter D, van der Veen AA, Kool RB, Aylin P, Bottle A, et al. The hospital standardised mortality ratio: a powerful tool for Dutch hospitals to assess their quality of care? Qual Saf Health Care. 2010;19:9-13 5 Siregar S, Versteegh IM, van Herwerden LA. Risicogewogen ziekenhuismortaliteit. Ned Tijdschr Geneeskd. 2011;155:A4103. 6 Raad voor Gezondheidsonderzoek. Advies kwaliteit van zorg: terreinverkenning en prioriteiten voor wetenschappelijk onderzoek kwaliteit van zorg. Den Haag: RGO; 1990. 7 Donabedian A. Explorations in quality assessment and monitoring. The definition of quality and approaches to its assessment. Chicago: Health Administration Press; 1980. 8 Birkmeyer JD, Dimick JB, Birkmeyer NJ. Measuring the quality of surgical care: structure, process, or outcomes? J Am Coll Surg. 2004;198:626-32 9 Birkmeyer JD, Siewers AE, Finlayson EV, Stukel TA, Lucas FL, Batista I, et al. Hospital volume and surgical mortality in the United States. N Engl J Med. 2002;346:1128-37 10 Kupfer JM, Bond EU. Patient satisfaction and patient-centered care: necessary but not equal. JAMA. 2012;308:139-40 11 Iezzoni LI. Risk adjustment for measuring health care outcomes. Ann Arbor, Chicago: Health Administration Press; 1994. 12 Shahian DM, Edwards FH, Ferraris VA, Haan CK, Rich JB, Normand SL, et al. Quality measurement in adult cardiac surgery: part 1--Conceptual framework and measure selection. Ann Thorac Surg. 2007;83:S3-12 13 O Brien SM, DeLong ER, Dokholyan RS, Edwards FH, Peterson ED. Exploring the behavior of hospital composite performance measures: an example from coronary artery bypass surgery. Circulation. 2007;116:2969-75 14 Jacobs R, Goddard M, Smith PC. How robust are hospital ranks based on composite performance measures? Med Care. 2005;43:1177-84 15 O Brien SM, Shahian DM, DeLong ER, Normand SL, Edwards FH, Ferraris VA, et al. Quality measurement in adult cardiac surgery: part 2--Statistical considerations in composite measure scoring and provider rating. Ann Thorac Surg. 2007;83:S13-26 16 Shahian DM, O Brien SM, Filardo G, Ferraris VA, Haan CK, Rich JB, et al. The Society of Thoracic Surgeons 2008 cardiac surgery risk models: part 1--coronary artery bypass grafting surgery. Ann Thorac Surg. 2009;88:S2-22 > Meer op www.ntvg.nl/klinischepraktijk 17 Nashef SA, Roques F, Michel P, Gauducheau E, Lemeshow S, Salamon R. European system for cardiac operative risk evaluation (EuroSCORE). Eur J Cardiothorac Surg. 1999;16:9-13 18 Parsonnet V, Dean D, Bernstein AD. A method of uniform stratification of risk for evaluating the results of surgery in acquired adult heart disease. Circulation. 1989;79:I3-12 19 Shahian DM, Normand SL. Comparison of risk-adjusted hospital outcomes. Circulation. 2008;117:1955-63 20 Van Dishoeck AM, Looman CM, van der Wilden-van Lier EC, Mackenbach JP, Steyerberg EW. Prestatie-indicatoren voor ziekenhuizen. De invloed van onzekerheid. Ned Tijdschr Geneeskd. 2009;153:B161. 21 Van der Heiden-van der Loo M, Ho VK, Damhuis RA, Siesling S, Menke MB, Peeters PH, et al. Weinig lokaal recidieven na mammachirurgie: goede kwaliteit van de Nederlandse borstkankerzorg. Ned Tijdschr Geneeskd. 2010;154:A1984. 22 Lingsma HF, Steyerberg EW, Eijkemans MJ, Dippel DW, Scholte Op Reimer WJ, van Houwelingen HC. Comparing and ranking hospitals based on outcome: results from The Netherlands Stroke Survey. QJM. 2010;103:99-108 23 Austin PC, Tu JV, Alter DA. Comparing hierarchical modeling with traditional logistic regression analysis among patients hospitalized with acute myocardial infarction: should we be analyzing cardiovascular outcomes data differently? Am Heart J. 2003;145:27-35 24 Siregar S, Groenwold RH, Jansen EK, Bots ML. van der Graaf Y, van Herwerden LA. Limitations of ranking lists based on cardiac surgery mortality rates. Circ Cardiovasc Qual Outcomes. 2012;5:403-9 25 Bradley EH, Holmboe ES, Mattera JA, Roumanis SA, Radford MJ, Krumholz HM. Data feedback efforts in quality improvement: lessons learned from US hospitals. Qual Saf Health Care. 2004;13:26-31 26 Hannan EL, Sarrazin MS, Doran DR, Rosenthal GE. Provider profiling and quality improvement efforts in coronary artery bypass graft surgery: the effect on short-term mortality among Medicare beneficiaries. Med Care. 2003;41:1164-72 27 O Connor GT, Plume SK, Olmstead EM, Morton JR, Maloney CT, Nugent WC, et al. A regional intervention to improve the hospital mortality associated with coronary artery bypass graft surgery. The Northern New England Cardiovascular Disease Study Group. JAMA. 1996;275:841-6 28 Scales DC, Dainty K, Hales B, Pinto R, Fowler RA, Adhikari NK, et al. A multifaceted intervention for quality improvement in a network of intensive care units: a cluster randomized trial. JAMA. 2011;305:363-72 29 Giard RW. Ziekenhuizentop-100: wisselende ranglijsten, wisselende reputaties. Ned Tijdschr Geneeskd. 2006;150:2355-8. 6 NED TIJDSCHR GENEESKD. 2012;156:A5487