Prestatie-indicatoren voor ziekenhuizen DE INVLOED VAN ONZEKERHEID

Transcriptie

1 Prestatie-indicatoren voor ziekenhuizen DE INVLOED VAN ONZEKERHEID Anne-Margreet van Dishoeck, Caspar M.N. Looman, Els C.M. van der Wilden-van Lier, Johan P. Mackenbach en Ewout W. Steyerberg DOEL OPZET METHODE RESULTATEN CONCLUSIE Inzichtelijk maken wat de invloed van het toeval is op ogenschijnlijke verschillen in kwaliteit tussen ziekenhuizen, gemeten met prestatie-indicatoren. Retrospectief-statistisch. Wij analyseerden de publiek toegankelijke data uit 2005 van de prestatie-indicatoren voor decubitus, cerebrovasculair accident en acuut myocardinfarct met 3 verschillende, moderne grafische weergaven: forestplot, funnelplot en rankplot. De invloed van toeval werd inzichtelijk gemaakt door de weergave van betrouwbaarheidsintervallen. Bij funnelplots werd de uitkomst van de prestatie-indicator afgezet tegen het patiëntenaantal in het betreffende ziekenhuis; zo kon de rol van groepsgrootte op de uitkomst zichtbaar worden gemaakt. Voor bijna alle prestatie-indicatoren waren er statistisch significante verschillen in de uitkomsten tussen ziekenhuizen (p < 0,001). De betrouwbaarheidsintervallen gaven echter aan dat een gering aantal ziekenhuizen significant beter of slechter presteerde dan de norm, weergegeven in een forestplot. Goed en slecht presterende ziekenhuizen waren gemakkelijker te identificeren met een funnelplot. In rankplots, waarbij betrouwbaarheidsintervallen rond de rang van ieder ziekenhuis met bootstrapping waren berekend, bleek de rangordening van ziekenhuizen zeer onzeker. De funnelplot is een gemakkelijk interpreteerbare weergave van de grootte van verschillen tussen ziekenhuizen. Deze weergave houdt rekening met onzekerheid in de resultaten. Bij de beoordeling van individuele ziekenhuizen tonen gerapporteerde prestatie-indicatoren statistisch significante verschillen, maar toeval is een essentiële factor die moet worden meegewogen. Erasmus MC-Centrum, afd. Maatschappelijke Gezondheidszorg, Center for Medical Decision Making, Rotterdam. Drs. A.M. van Dishoeck, onderzoeker; dr.ir. C.M.N. Looman, statisticus; drs. E.C.M. van der Wilden-van Lier en prof.dr. J.P. Mackenbach, sociaal geneeskundigen; prof.dr. E.W. Steyerberg, epidemioloog. Contactpersoon: drs. A.M. van Dishoeck (a.m.vandishoeck@erasmusmc.nl). Dankzij de ontwikkeling van de Basisset prestatie-indicatoren ziekenhuizen door de Inspectie voor de Gezondheidszorg (IGZ) is de aandacht voor prestatie-indicatoren (PI) als instrument voor het meten van de kwaliteit van de zorgverlening in Nederlandse ziekenhuizen in de afgelopen jaren fors toegenomen. 1-3 Na de publiekelijke bekendmaking van de resultaten van individuele ziekenhuizen kwamen er verschillende, niet-consistente top 100-lijsten. In deze lijsten wordt de uitkomst van een indicator gelijkgesteld aan de kwaliteit van de zorgverlening in het onderhavige ziekenhuis, zonder dat men aandacht besteedt aan de invloeden van toeval en verscheidenheid in ziekten ( case-mix ). De IGZ beoogt met de basisset PI een indicatie te krijgen van ziekenhuizen waar de zorg mogelijk onder de maat is en waar nader onderzoek wenselijk is. Jaarlijks publiceert de IGZ het rapport Het resultaat telt. Hierin beschrijft zij de resultaten van ziekenhuizen voor ruim 30 indicatoren en illustreert zij die met grafieken van scores die oplopen van laag naar hoog. 4 Deze weergave suggereert een rangordening van goede naar slechte prestatie, zonder dat men inzicht krijgt in de rol van het toeval. Daarnaast is er meer fundamentele kritiek op PI. Zo bestaat er scepsis over de onderliggende methoden. Ook zouden PI pervers gedrag oproepen. 5-8 NED TIJDSCHR GENEESKD. 2009;153:B161 1

2 Een prestatie-indicator is een meetbaar aspect van de zorg dat een aanwijzing geeft over de kwaliteit van de geleverde zorg. 9 Fundamentele kenmerken van een indicator zijn betrouwbaarheid (precisie), validiteit, haalbaarheid, acceptatie door de professional, en gevoeligheid voor verandering. 10 PI moeten helder gedefinieerd zijn en uniform toepasbaar in de Nederlandse ziekenhuizen. Deze overwegingen zijn met name belangrijk bij de ontwikkeling van indicatoren. De uitkomst van een ziekenhuis weerspiegelt de ziekteverscheidenheid (bepaald door de patiëntenpopulatie in dat specifieke ziekenhuis), de kwaliteit van zorg en het toeval (bepaald door het totale aantal patiënten waarmee de indicator wordt berekend) (figuur 1). Naarmate gerekend wordt met een kleinere patiëntengroep, speelt het toeval een grotere rol, zoals gereflecteerd in een grotere standaardfout. Bij de presentatie van de resultaten moet men de in - vloed van het toeval betrekken bij de beoordeling van eventuele verschillen in de kwaliteit van de geleverde zorg. Die invloed kan men op verschillende manieren weergeven. Een forestplot toont zowel de puntschatting als het betrouwbaarheidsinterval per ziekenhuis in een grafiek. Men heeft echter gepleit voor het gebruik van funnelplots. 11 Wij pasten beide grafische methoden toe op enkele PI. De waarde van rangordening onderzochten wij door het betrouwbaarheidsinterval rond de rangordening te berekenen en weer te geven in een rankplot. Met dit onderzoek willen wij aantonen dat het goed mogelijk is om de invloed van toeval mee te laten wegen bij de beoordeling van de kwaliteit van zorg in een ziekenhuis en bij de vergelijking van ziekenhuizen. METHODE DATA Voor de analyse maakten wij gebruik van publiek toegankelijke data van de PI decubitus, CVA en acuut myocardinfarct voor ziekenhuizen in Wij kozen deze indicatoren, omdat ze verschillende situaties illustreren: (a) een groot totaalaantal patiënten en aanzienlijke verschillen tussen ziekenhuizen (puntprevalentie van decubitus); (b) een kleine patiëntengroep en grote verschillen tussen de ziekenhuizen (sterfte in de eerste 7 dagen na opname bij patiënten met CVA); (c) een lage gemiddelde uitkomst van de indicator en geringe verschillen tussen de ziekenhuizen (sterfte in de eerste 30 dagen na opname bij patiënten met een acuut myocardinfarct). We namen hierbij aan dat de data een reële afspiegeling waren van de kwaliteit van zorg in individuele ziekenhuizen en dat ziekteverscheidenheid geen belangrijke invloed had. De data werden verkregen van de cd-rom uit het rapport Het resultaat telt 2005, waarop de door de inspectie gecorrigeerde gegevens staan. BEREKENING BETROUWBAARHEIDSINTERVAL Wij berekenden per indicator de standaardfout (SE), het 95%-BI en verschillen tussen de ziekenhuizen op basis van de totale aantallen patiënten per ziekenhuis die meetelden voor een indicator (n), bijvoorbeeld alle patiënten jonger dan 65 jaar met een ischemisch CVA. Ook stelden wij de uitkomsten vast van de indicator (y), bijvoorbeeld de 7-daagse sterfte bij patiënten jonger dan 65 jaar met een ischemisch CVA. Het betrouwbaarheidsinterval werd berekend volgens de formule BI = e α± 1,96.se. Hierbij is SE = (1/y+(1/n-y)), en α = log (y/n/(1-y/n)), waarbij y het case mix ontwikkeling van prestatie-indicator: eenduidige definitie en uniforme toepassing in de Nederlandse ziekenhuizen prestatie-indicatoren kwaliteit van zorg uitkomst bijvoorbeeld prevalentie of sterfte toeval FIGUUR 1 Conceptueel kader voor de beoordeling van de uitkomst van een prestatie-indicator. Niet alleen de kwaliteit van zorg, maar ook toeval en de ziekteverscheidenheid ( case mix ) in een ziekenhuis kunnen van invloed zijn op de uitkomst. 2 NED TIJDSCHR GENEESKD. 2009;153:B161

3 TABEL Overzicht van prestatie-indicatoren, geanalyseerd in een onderzoek naar de rol van toeval bij verschillen tussen ziekenhuizen (bron: Inspectie voor de Gezondheidszorg, gegevens over 2005; indicator aantal ziekenhuizen gemiddelde teller/noemer* gemiddelde puntschatting in % (95%-BI) puntprevalentie decubitus 89 14/238 6,0 (4,7-7,8) < 0,0001 ischemisch CVA; 7-daagse sterfte bij patiënt jonger dan 65 jaar 91 2/63 3,2 (1,6-6,3) < 0,0001 patiënt van 65 jaar en ouder 91 10/178 5,6 (4,1-7,7) < 0,0001 hemorragisch CVA; 7-daagse sterfte bij patiënt jonger dan 65 jaar 90 2/12 16,7 (8,4-30,3) 0,0005 patiënt van 65 jaar en ouder 90 9/35 25,7 (19,0-33,8) < 0,0001 acuut myocardinfarct bij patiënt van 65 jaar en ouder; ziekenhuissterfte 37 16/131 12,2 (9,6-15,4) < 0, daagse sterfte 53 16/146 11,0 (8,6-13,8) < 0,0001 acuut myocardinfarct bij patiënt jonger dan 65 jaar; ziekenhuissterfte 37 3/102 2,9 (1,7-5,2) 0,06 30-daagse sterfte 53 4/124 3,2 (0,2-5,3) 0,003 p * De gemiddelde uitkomst refereert aan de uitkomst van 'het gemiddelde Nederlandse ziekenhuis'. De teller is het gemiddeld aantal patiënten met de indicatoruitkomst, bijvoorbeeld het aantal patiënten met decubitus. De noemer is het gemiddeld aantal patiënten voor wie de indicator is geregistreerd, bijvoorbeeld alle patiënten met een acuut myocardinfarct jonger dan 65 jaar. De p-waarde betreft de nulhypothese dat er geen verschillen tussen de Nederlandse ziekenhuizen bestaan behalve verschillen die berusten op louter toeval. aantal patiënten met de uitkomst voorstelt en n het totale aantal patiënten in een ziekenhuis. Bij een uitkomst van y = 0% werd het betrouwbaarheidsinterval berekend met 0;1-e log (0,05/n). Dit is een exacte methode. Een p-waarde van 0,05 werd gezien als grens voor statistische significantie bij gebruik van de likelihoodratiotoets voor het detecteren van verschillen tussen ziekenhuizen. GRAFISCHE WEERGAVEN We gebruikten 3 grafische methoden om de invloed van het toeval inzichtelijk te maken: forestplot, funnelplot en rankplot. In een forestplot wordt in oplopende volgorde zowel de puntschatting als het bijbehorende betrouwbaarheidsinterval weergegeven. 12 Bij de vooraf gekozen significantiegrens van 5%, laat het 95%-BI zien welke andere positie het ziekenhuis op basis van toeval had kunnen hebben. In een funnelplot worden de resultaten van de ziekenhuizen geplot samen met betrouwbaarheidsgrenzen rond een gestelde norm of landelijk gemiddelde. 11 De betrouwbaarheidsgrenzen worden berekend in relatie tot het aantal patiënten per ziekenhuis bij wie de te scoren uitkomst is gemeten. Het is gebruikelijk om hierbij zowel 95%-BI als 99,8%-BI te hanteren. Wij berekenden de betrouwbaarheidsgrenzen met een exacte methode, dat wil zeggen, rekening houdend met het discrete karakter van de aantallen. Hierdoor ontstaat een zaagtandeffect in de grafiek in plaats van een vloeiende lijn. De exacte berekening was noodzakelijk door het soms grote aantal scores van y = 0. In een rankplot wordt het betrouwbaarheidsinterval rond het rangnummer met behulp van bootstrapping gesimuleerd. 13 Hierbij worden door trekking met teruglegging steekproeven genomen uit de populatie van het onderzochte ziekenhuis, waarbij elke steekproef evenveel personen bevat als de groep waaruit hij is getrokken. Per ziekenhuis werden 1000 steekproeven genomen door willekeurige trekkingen uit een binominale verdeling op basis van teller y en noemer n. Op die manier werden 1000 nieuwe datasets gemaakt, die resultaten weerspiegelen die onder dezelfde omstandigheden in de onderzochte ziekenhuizen evengoed hadden kunnen worden waargenomen. Voor iedere nieuwe dataset werden weer rangnummers per ziekenhuis bepaald. De verdeling van rangnummers over de 1000 datasets vormde de basis van het 95%-BI rond de rangnummers. RESULTATEN RAPPORTAGE VAN GESELECTEERDE INDICATOREN Veel ziekenhuizen (92 van de 98) rapporteerden in 2005 gegevens over de ziekenhuisbrede puntprevalentie van decubitus (tabel). Hiervan gaven 3 ziekenhuizen cijfers over ziekenhuisbrede incidentie in plaats van puntprevalentie; deze werden geëxcludeerd. In het gemiddelde Nederlandse ziekenhuis waren 238 patiënten bij de meting betrokken, van wie 14 patiënten decubitus graad 2-4 hadden. De gemiddelde puntprevalentie in 2005 was 6,0% (95%-BI: 4,7-7,8). Tussen de 89 ziekenhuizen bestonden significante verschillen (p < 0,0001). NED TIJDSCHR GENEESKD. 2009;153:B161 3

4 Door 91 ziekenhuizen werden gegevens gerapporteerd over de 7-daagse sterfte na een CVA. Daarbij werden 4 groepen patiënten onderscheiden op grond van oorzaak (ischemisch of hemorragisch) en leeftijd (jonger dan 65 jaar of 65 jaar en ouder). Eén ziekenhuis gaf geen cijfers bij het hemorragisch CVA. De grootste groep waren patiënten van 65 jaar met een ischemisch CVA (gemiddeld 178 patiënten). De groep jonger dan 65 jaar met ischemisch CVA bevatte gemiddeld 63 patiënten. De aantallen patiënten met een hemorragisch CVA waren veel lager, namelijk 12 en 35 in de groepen < 65 jaar respectievelijk 65 jaar. De gemiddelde 7-daagse sterfte na een ischemisch CVA was 3,2% (< 65 jaar) en 5,6% ( 65 jaar). Bij patiënten met een hemorragisch CVA waren deze percentages 17 respectievelijk 26. Tussen de ziekenhuizen bestonden statistisch significante verschillen. De meeste ziekenhuizen (90 van de 98) rapporteerden gegevens over de sterfte na een acuut myocardinfarct. Cijfers over ziekenhuissterfte werden door 37 ziekenhuizen gegeven, terwijl 53 ziekenhuizen over de 30-daagse 0,20 decubitusprevalentie per ziekenhuis 0,15 0,10 0,05 0 0,025 0,05 0,075 0,1 0,125 0,15 0,175 0,2 a decubitusprevalentie per ziekenhuis populatieomvang mediaan en 95%-BI van bootstrap -replica s rangorde naar decubitusprevalentie c b FIGUUR 2 Drie verschillende weergaven van de decubitusprevalentie per ziekenhuis in (a) Forestplot met de puntschatting per ziekenhuis en het 95%-BI. De verticale lijn geeft de norm voor decubitusprevalentie. (b) Funnelplot met de decubitusprevalentie afgezet tegen de populatie omvang van het ziekenhuis. De doorgetrokken lijn geeft de norm voor decubitusprevalentie, de onderbroken lijnen de grenzen van het 95%-BI ( ) en het 99,8%-BI ( ); ziekenhuizen met scores buiten deze betrouwbaarheidsintervallen presteren significant slechter of beter dan de norm. (c) Rankplot met rangordening van ziekenhuizen op basis van zogeheten bootstrapping. Daarbij werden per ziekenhuis 1000 steekproeven uit de patiëntenpopulatie genomen om datasets ( bootstrap -replica s) te genereren. De rangorde naar decubitusprevalentie werd afgezet tegen de rangorde volgens de mediaan van de bootstrap -replica s. 4 NED TIJDSCHR GENEESKD. 2009;153:B161

5 1,0 0,8 mortaliteit 0,6 0,4 0,2 0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1,0 a mortaliteit hemorragisch CVA b populatieomvang rangorde naar decubitusprevalentie c mediaan en 95%-BI van bootstrap -replica s FIGUUR 3 Drie verschillende weergaven van de sterfte per ziekenhuis in de eerste 7 dagen na een hemorragisch CVA bij patiënten jonger dan 65 jaar (gegevens uit 2005). (a) Forestplot met de mortaliteit en het 95%-BI per ziekenhuis. De verticale lijn geeft de norm voor de mortaliteit. (b) Funnelplot met de mortaliteit afgezet tegen de populatieomvang (dat wil zeggen: het aantal patiënten jonger dan 65 jaar met een hemorragisch CVA in elk ziekenhuis). De doorgetrokken lijn geeft de norm voor de mortaliteit, de onderbroken lijnen de grenzen van het 95%-BI ( ) en het 99,8%-BI ( ); ziekenhuizen met scores buiten deze betrouwbaarheidsintervallen presteren significant slechter of beter dan de norm. (c) Rankplot met rangordening van ziekenhuizen op basis van zogeheten bootstrapping. De rangorde naar mortaliteit werd afgezet tegen de rangorde volgens de mediaan van de bootstrap -replica s. sterfte rapporteerden. De ziekenhuissterfte bij patiënten jonger dan 65 jaar was gemiddeld 3%, en 12% voor patiënten 65 jaar. De 30-daagse sterfte verschilde daar niet veel van en bedroeg respectievelijk 3 en 11%. DECUBITUSPREVALENTIE IN FOREST-, FUNNEL- EN RANKPLOT De forestplot voor de prevalentie van decubitus toont oplopend de puntschattingen van 1,3 tot 19,4%. De betrouwbaarheidsintervallen rondom de puntschattingen variëren sterk door de verschillen in populatiegrootte (figuur 2a). De decubituspuntprevalentie van het eerste ziekenhuis is 1,3%, maar met een betrouwbaarheidsinterval van 0-9%. Het is niet uitgesloten dat de puntprevalentie puur op basis van toeval ook 5% had kunnen bedragen. Het ruime interval wordt veroorzaakt door het kleine aantal patiënten (n = 74). Het tweede ziekenhuis heeft ook een puntprevalentie van 1,3%, maar met een betrouwbaarheidsinterval van 0,5-4%. Daarom is dit ziekenhuis significant beter dan de norm voor decubitusprevalentie van 5% en het eerste ziekenhuis niet. NED TIJDSCHR GENEESKD. 2009;153:B161 5

6 In de funnelplot is de landelijke norm van de inspectie van 5% aangehouden (zie figuur 2b). Onder en boven de grens van het 95%-BI bevinden zich de ziekenhuizen waarvoor de puntschatting meer dan 2 maal de standaardfout verschilde van het gemiddelde. Van de 89 ziekenhuizen voldeden 25 niet aan die norm, met inachtneming van de variatie op basis van toeval. De 7 ziekenhuizen onder de ondergrens van het 95%-BI presteerden beter dan de norm, zoals is af te lezen uit de funnelplot. Met deze weergave kunnen ziekenhuizen zich spiegelen aan ziekenhuizen met een vergelijkbare populatieomvang. Rangordening van ziekenhuizen op basis van decubituspuntprevalentie toont ruime betrouwbaarheidsinterval- 0,10 0,08 ziekenhuissterfte 0,06 0,04 0,02 0 0,01 0,02 0,03 0,04 0,05 0,06 0,07 0,08 0,09 0,1 a ziekenhuissterfte na acuut myocardinfarct b populatieomvang 36 rangorde naar ziekenhuissterfte c mediaan en 95%-BI van bootstrap -replica s FIGUUR 4 Drie verschillende weergaven van de ziekenhuissterfte in de eerste 30 dagen na een acuut myocardinfarct bij patiënten jonger dan 65 jaar (gegevens uit 2005). (a) Forestplot met de ziekenhuissterfte en het 95%-BI per ziekenhuis. De verticale lijn geeft de norm voor de ziekenhuissterfte. (b) Funnelplot met de ziekenhuissterfte afgezet tegen de populatieomvang (dat wil zeggen: het aantal patiënten jonger dan 65 jaar met een acuut myocardinfarct in elk ziekenhuis). De doorgetrokken lijn geeft de norm voor de ziekenhuissterfte, de onderbroken lijnen de grenzen van het 95%-BI ( ) en het 99,8%-BI ( ); ziekenhuizen met scores buiten deze betrouwbaarheids intervallen presteren significant slechter of beter dan de norm. (c) Rankplot met rangordening van ziekenhuizen op basis van zogeheten bootstrapping. De rangorde naar mortaliteit werd afgezet tegen de rangorde volgens de mediaan van de bootstrap -replica s. 6 NED TIJDSCHR GENEESKD. 2009;153:B161

7 len (zie figuur 2c). De positie die een ziekenhuis inneemt in de rangordening is behoorlijk onzeker. CVA Om de invloed van kleine patiëntenaantallen op de uitkomsten te illustreren kozen wij voor de weergave van de sterfte in de eerste 7 dagen na een hemorragisch CVA onder patiënten jonger dan 65 jaar (figuur 3). De puntschattingen van de ziekenhuizen varieerden oplopend van 0-100% sterfte. De forestplot toont ruime betrouwbaarheidsintervallen door de veelal kleine patiëntenaantallen. In de eerste 24 ziekenhuizen was de 7-daagse sterfte 0%. Bij een populatie van 2 patiënten, zoals in het laatste ziekenhuis met 0%, is het betrouwbaarheidsinterval echter 0-100%. De funnelplot toont aan dat er behoudens de variatie op basis van toeval maar weinig verschillen tussen de ziekenhuizen lijken te zijn. Verder blijkt de rangordening zeer onzeker. ACUUT MYOCARDINFARCT Als voorbeeld van een indicator met lage gemiddelde waarden kozen wij voor de ziekenhuissterfte na een acuut myocardinfarct bij patiënten jonger dan 65 jaar. De puntschattingen van de prevalentie variëren in de forestplot van 0-9,8%, met een wisselend betrouwbaarheidsinterval door verschillen in de patiëntenaantallen (figuur 4a). Slechts 2 ziekenhuizen scoren significant slechter dan de norm van 2,5% sterfte binnen 30 dagen. Uit de funnelplot (zie figuur 4b) blijkt dat goed en slecht presterende ziekenhuizen nauwelijks te identificeren zijn. In de funnelplot bevindt zich maar 1 ziekenhuis buiten de grens van het 95%-BI. Ook de rangordening is onzeker (zie figuur 4c). DISCUSSIE UITLEG Kenmerken van een goede indicator 9 Een indicator heeft een relatie met wat onder kwaliteit van zorg wordt begrepen. Een indicator moet veranderingen in kwaliteit aangeven. Een indicator moet betrouwbaar geregistreerd kunnen worden, waarbij iedereen dus op dezelfde wijze registreert. Uit onze vergelijking van drie moderne methoden blijkt dat de funnelplot een aantrekkelijke en eenvoudig interpreteerbare weergave is voor het rapporteren van uitkomsten op prestatie-indicatoren. De variatie die kan bestaan op basis van toeval alleen wordt helder, en daarmee wordt overinterpretatie voorkomen van ogenschijnlijke verschillen tussen ziekenhuizen. Buiten de grenzen van het 95%-BI bevinden zich de ziekenhuizen met een significant slechter of beter resultaat. Binnen deze grenzen presteren de ziekenhuizen conform de norm, indien rekening gehouden wordt met variatie door toeval. De forestplot toont aan dat de betrouwbaarheidsintervallen rondom individuele scores sterk kunnen verschillen, zoals zichtbaar bij het eerste en tweede ziekenhuis in de forestplot van decubitusprevalentie (zie figuur 2a). Daarmee is ook de interpretatie van de kwaliteit van de geleverde zorg per ziekenhuis verschillend. Een nadeel van forestplots is de overschatting van de waarde van rangordening. Rangordening heeft als nadeel dat er maar één de beste en één de slechtste kan zijn. De rankplot maakt inzichtelijk dat een ziekenhuis puur op basis van toeval ook een geheel andere plaats in de rangorde kan innemen. Rangordening van ziekenhuizen met behulp van deze gegevens lijkt daarom niet zinnig. Het kan zelfs misleidend zijn, aangezien toeval een dominante rol speelt bij enkele indicatoren, zoals CVA en acuut myocardinfarct. WAT ZEGT EEN INDICATOR? Het doel van PI voor de IGZ is het opsporen van ziekenhuizen waar de zorg mogelijk onder de maat is. Bij die ziekenhuizen worden nadere vragen gesteld over de ge - leverde prestaties. Voor dit doel is de puntprevalentie van decubitus bruikbaar: 25 ziekenhuizen moeten nader onderzoek doen naar de oorzaak van de hogere puntprevalentie van decubitus. Het is veel moeilijker om aan de hand van de CVA-indicatoren een uitspraak te doen over de kwaliteit van de zorgverlening, doordat de aantallen patiënten in individuele ziekenhuizen klein zijn. Deze indicator kampt met een gebrek aan onderscheidend vermogen ( power ). De kleine aantallen maken de beoor- UITLEG Onderverdeling van kwaliteitsindicatoren volgens het paradigma van Donabedian ( 18 Structuurindicatoren: deze geven informatie over de organisatorische voorwaarden waarbinnen een instelling verantwoord zorg kan leveren. Bijvoorbeeld: het hebben van een hartfalenpoli of een voorziening voor deelname aan de landelijke registratie van bloedtransfusiereacties. Procesindicatoren: deze geven een indicatie over het verloop van processen in een organisatie. Bijvoorbeeld: de tijd tussen binnenkomst in het ziekenhuis en het moment waarop de patiënt met een acuut herseninfarct een trombolyticum krijgt toegediend ( door to needle-time ). Uitkomstindicatoren: deze geven een indicatie over de uitkomst van de zorg. Bijvoorbeeld: de sterfte na myocardinfact of CVA. NED TIJDSCHR GENEESKD. 2009;153:B161 7

8 LEERPUNTEN De resultaten van ziekenhuizen worden gerapporteerd aan de hand van prestatie-indicatoren. De weergave van deze resultaten in een rangorde van laag naar hoog geeft geen inzicht in verschillen op basis van toeval. Een funnelplot is een weergave van de resultaten waarbij ook de betrouwbaarheidsintervallen duidelijk zijn. Uit die weergave blijkt dat toeval een belangrijke factor is. Toeval moet meegewogen worden bij de beoordeling van prestaties van individuele ziekenhuizen. deling vrijwel onmogelijk, omdat het overgrote deel van de ogenschijnlijke verschillen toe te schrijven is aan het toeval. Deze indicator is in de basisset van 2006 dan ook vervallen. 14 Bij het acuut myocardinfarct zijn absolute verschillen tussen de ziekenhuizen klein, terwijl de sterfte laag is. Dit beperkt het onderscheidend vermogen van deze indicator om verschillen in de kwaliteit van zorg aan te tonen. De ziekenhuissterfte van patiënten van 65 jaar en ouder laat zelfs geen significante verschillen tussen de ziekenhuizen zien. Deze indicator voldoet daarom niet als kwaliteitsindicator. PI bergen een paradox in zich. 5 Enerzijds geven ze inzicht in de geleverde prestaties, wat kan leiden tot nader onderzoek en mogelijk tot kwaliteitsverbetering. Sinds het openbaar maken van de PI vanaf 2005 zijn positieve resultaten bereikt, zoals de landelijke daling van de puntprevalentie decubitus. 4 Anderzijds kunnen toezicht, de mogelijkheid van sanctie en vergelijking van PI leiden tot pervers gedrag en datapoetsen. 5-7 Door recht te doen aan de invloed van het toeval op de score voor PI ontstaat hopelijk een minder absolute interpretatie, die minder bedreigend is of minder snel als onterecht wordt ervaren. Van een indicator moet een stimulerende werking uitgaan, wil deze leiden tot kwaliteitsverbetering bij de professionals. 15 Dit onderbouwt de noodzaak van realistische rapportage van PI, bijvoorbeeld met behulp van funnelplots. 16 CONCLUSIE De invloed van toeval en ziekteverscheidenheid moet al bij de ontwikkeling van PI meegewogen worden. Dit stelt eisen aan het selectieproces van PI, waarbij naast validiteit en betrouwbaarheid ook meetbaarheid en het vermogen verbetering aan te tonen selectiecriteria moeten zijn. 17 In ons onderzoek bleken de indicatoren voor CVA en acuut myocardinfarct niet aan deze eis te voldoen. In ons onderzoek concentreerden wij ons op de rol van toevalsvariatie. Wij besteedden geen aandacht aan andere verstorende factoren, zoals registratieverschillen, organisatieverschillen, en de invloed van ziekteverscheidenheid. Wat betreft dit laatste is het aannemelijk dat academische ziekenhuizen en topklinische ziekenhuizen een heel andere patiëntenpopulatie hebben dan basisziekenhuizen. Statistische correctie voor deze verschillen in ziekteverscheidenheid kan lastig of zelfs onmogelijk zijn. Dit vraagt nader onderzoek. Wij concluderen dat de funnelplot een aantrekkelijke grafische weergave is voor de prestaties van Nederlandse ziekenhuizen. Het maakt ziekenhuizen beter duidelijk of zij aan de norm voldoen dan een simpele rangordening zonder weergave van onzekerheid, zoals nu gebruikelijk is in IGZ rapporten als Het resultaat telt en in de verschillende top 100-lijsten. Dit onderzoek maakt onderdeel uit van het project Prestatie-indicatoren in het Erasmus MC, Rotterdam: een onderzoek naar de relatie met kwaliteit van zorg. Belangenconflict: geen gemeld. Financiële ondersteuning: geen gemeld. Aanvaard op 27 oktober 2008 Citeer als: Ned Tijdschr Geneeskd. 2009;153:B161 > Meer op 8 NED TIJDSCHR GENEESKD. 2009;153:B161

9 LITERATUUR 1 Berg M, Gras M, Meijerink Y, Eland A, Kallewaard M, Haeck J, et al. Leren van cijfers; ziekenhuizen gaan prestaties openbaar maken. Med Contact. 2003;58: Berg M, Meijerink Y, Gras M, Goossensen A, Schellekens W, Haeck J, et al. Feasibility first: developing public performance indicators on patient safety and clinical effectiveness for Dutch hospitals. Health Policy. 2005;75: Basisset prestatie-indicatoren ziekenhuizen Den Haag: Inspectie voor de Gezondheidszorg; Het resultaat telt 2005; prestatie-indicatoren als onafhankelijke graadmeter voor de kwaliteit van in ziekenhuizen geleverde zorg. Den Haag: Inspectie voor de Gezondheidszorg; De Bruijn H. Prestatiemeting in de publieke sector. Tussen professie en verantwoording. 2e dr. Den Haag: Lemma; Giard RW. Prestatie-indicatoren als maat voor de kwaliteit van medische zorg: retoriek en realiteit. Ned Tijdschr Geneeskd. 2005;149: Lilford R, Mohammed MA, Spiegelhalter D, Thomson R. Use and misuse of process and outcome data in managing performance of acute medical care: avoiding institutional stigma. Lancet. 2004;363: Wachter RM. Expected and unanticipated consequences of the quality and information technology revolutions. JAMA. 2006;295: Colsen P, Casparie A. Indicatorregistratie: een model ten behoeve van integrale kwaliteitszorg in een ziekenhuis. Med Contact. 1995;50: Campbell SM, Braspenning J, Hutchinson A, Marshall MN. Research methods used in developing and applying quality indicators in primary care. BMJ. 2003;326: Spiegelhalter DJ. Funnel plots for comparing institutional performance. Stat Med. 2005;24: Marshall EC, Spiegelhalter DJ. Reliability of league tables of in vitro fertilisation clinics: retrospective analysis of live birth rates. BMJ. 1998;316: Hinkley DV. Bootstrap methods. J R Stat Soc Series B. 1988;50: Basisset prestatie-indicatoren ziekenhuizen Den Haag: Inspectie voor de Gezondheidszorg; Berwick DM, James B, Coye MJ. Connections between quality measurement and improvement. Med Care. 2003;41: Guthrie B, Love T, Fahey T, Morris A, Sullivan F. Control, compare and communicate: designing control charts to summarise efficiently data from multiple quality indicators. Qual Saf Health Care. 2005;14: Wollersheim H, Hermens R, Hulscher M, Braspenning J, Ouwens M, Schouten J, et al. Clinical indicators: development and applications. Neth J Med. 2007;65: Donabedian A. The quality of care. How can it be assessed? JAMA. 1988;260: NED TIJDSCHR GENEESKD. 2009;153:B161 9