T o e l i c h t i n g b i j h e t o n d e r z o e k. Elsevier s De beste ziekenhuizen Gebruikte methode om te komen tot een 2 1/93

Transcriptie

1 a T o e l i c h t i n g b i j h e t o n d e r z o e k Elsevier s De beste ziekenhuizen 2013 Gebruikte methode om te komen tot een samengestelde score op effectiviteit, veiligheid, dienstverlening en wachttijden en tot scores op patiëntervaringen, zorgzwaarte en financiële positie per ziekenhuis Versie 4.0, /93

2 Samenvatting SiRM ondersteunt het weekblad Elsevier bij het onderzoek De beste ziekenhuizen 2013 naar de prestatie-indicatoren en andere publiek beschikbare gegevens over Nederlandse ziekenhuizen. Voor het onderzoek zijn prestatie-indicatoren geselecteerd, zowel zorginhoudelijke indicatoren als gegevens over wachttijden, gegevens over de financiële toestand van een ziekenhuis en over de ervaringen van patiënten met borstzorg, rughernia en spataderen (CQ-index). De zorginhoudelijke indicatoren zijn ingedeeld naar de domeinen effectiviteit, veiligheid en dienstverlening. Samen met de wachtlijsten bepalen de scores op die drie domeinen de positie in het Elsevier-onderzoek De beste ziekenhuizen. Aantal meegenomen indicatoren gestegen door verplichtstelling ZiZo sets We hebben 542 van de 1516 beschikbare indicatoren uit de basisset en de veiligheidsset van de IGZ en de wettelijk verplichte indicatorsets Zichtbare Zorg geselecteerd. In de selectie is een groot deel uit de ziekenhuisbrede indicatorsets meegenomen en een groot deel van de indicatoren voor acute zorg die door alle ziekenhuizen wordt geleverd. Uit indicatorsets voor aandoeningspecifieke electieve zorg zijn alleen de indicatoren geselecteerd die iets zeggen over de kwaliteit van het gehele ziekenhuis, en niet enkel over één specifieke aandoening. Er zijn geen indicatoren geselecteerd waarvoor een casemixcorrectie noodzakelijk is en ontbreekt. Methode van onderzoek In dit onderzoek worden verschillende indicatoren gecombineerd tot samengestelde indicatoren. De indicatoren worden eerst geschaald naar een uniforme schaal (z-score) en worden daarna gewogen bij elkaar opgeteld. De gewichten zijn samen met Elsevier vastgesteld. De verhouding in gewicht tussen structuur-, proces- en uitkomstindicatoren is vastgesteld op 1:1,5:2. Ziekenhuizen die gegevens niet hebben aangeleverd, krijgen de laagst gescoorde waarde. Ziekenhuizen konden mogelijk foutieve waarden corrigeren: 68 ziekenhuizen hebben SiRM updates van hun waarden gestuurd. Bollensystematiek verdeeld de totale groep in vieren De score van een ziekenhuis wordt uitgedrukt in één tot vier bolletjes. De bolletjes bevatten geen waardeoordeel van SiRM of Elsevier, maar geven aan hoe het ziekenhuis scoort op de geselecteerde indicatoren vergeleken met het gemiddelde in Nederland. De uitslag kwalificeert ziekenhuizen dus niet als slecht of goed in absolute zin. Voor indicatoren waarbij toeval een rol speelt, houden we rekening met de statistische betrouwbaarheid. De score van een ziekenhuis en het betrouwbaarheidsinterval van toevalsindicatoren bepalen dan samen het aantal bolletjes van een ziekenhuis. Op 2 2/93

3 indicatoren met toeval kunnen het domein effectiviteit kunnen ziekenhuizen ook halve bolletjes scoren. Wachttijden Vergelijking van de wachttijden is alleen gedaan voor specialismen en behandelingen die de meeste ziekenhuizen aanbieden. Financiële gegevens Voor de financiële toestand is een combinatie van vijf indicatoren, gevuld met gegevens uit de enkelvoudige jaarrekeningen, gebruikt. De jaarverslagen zijn door SiRM verzameld en geanalyseerd. Zorgzwaarte Als achtergrondinformatie is de zorgzwaarte van ziekenhuizen geschat. Alle ziekenhuizen worden daarvoor gescoord op zeven dimensies. Drie die te maken hebben met de omgeving waarin het ziekenhuis zich bevind (gemiddelde leeftijd en sociaal economische omgeving, geschat op basis van het aandeel allochtonen en het aandeel werklozen) en vier dimensies die te maken hebben met het karakter van het ziekenhuis (Omzet per EPB, type ziekenhuis (UMC, STZ, overig), niveau van de IC, aantal WBMV vergunningen). Patiëntervaringen Er is in 2012 een nieuwe CQI uitvraag geweest voor de CQI Ziekenhuisopname en polikliniek bezoek. Echter, deze scores waren niet op tijd beschikbaar om mee te nemen in de algemene analyses. Deze indicatoren zijn daarom dit jaar niet verwerkt in de ziekenhuisbrede scores. Op specifieke aandoeningen is wel gekeken naar patiëntervaringen van ziekenhuizen voor Borstzorg, Rughernia en Spataderen. 2 3/93

4 Inhoud Samenvatting... 2 Inhoud Inleiding Selectie ziekenhuizen Zorginhoudelijke indicatoren Selectie van zorginhoudelijke indicatoren Definities en bronnen van de indicatoren Schoningsuitvraag Eerste selectie van de indicatoren Types medisch inhoudelijke indicatoren Selectie van indicatoren op basis van categorie-indeling Domeinen veiligheid, effectiviteit en dienstverlening Bronnen van geselecteerde indicatoren Berekenen van samengestelde zorginhoudelijke indicatoren Gebruik van uniforme schaal Samengestelde indicatorwaarde Gewichten per categorie indicatoren Betrouwbaarheidsinterval Wachtlijstgegevens Selectie van wachtlijstgegevens Berekenen van samengestelde indicator wachtlijstgegevens Berekenen thema scores voor Elsevier Transparantie score Financiële gegevens Bron voor financiële gegevens Selectie van financiële gegevens Berekenen van samengestelde indicator financiële gegevens Zorgzwaarte Selectie van indicatoren zorgzwaarte Berekenen van samengestelde indicator zorgzwaarte Specifieke aandoeningen CQ-index gegevens Borstzorg Appendix A Ziekenhuizen opgenomen in Elsevier Appendix B Wijzigingen schoningsprocedure Appendix C Geselecteerde indicatoren Appendix D Hercodering antwoorden Appendix E Rekenregels Appendix F Corrigeren uitbijters...70 Appendix G Wijzigingen verantwoordingsdocument /93

5 1 Inleiding SiRM ondersteunt Elsevier bij haar onderzoek naar de prestatie-indicatoren van Nederlandse ziekenhuizen. Dit document beschrijft de twee stappen die genomen zijn om tot de scores te komen die door Elsevier zijn gebruikt; (1) de selectie van indicatoren en (2) de berekening van een score per ziekenhuis. Relevante indicatoren selecteren Voor het onderzoek zijn publiek beschikbare indicatoren geselecteerd, zowel zorginhoudelijke indicatoren als gegevens over wachttijden, de financiële toestand van een ziekenhuis en de ervaringen van patiënten. De ziekenhuizen en specialisten zijn zelf betrokken geweest bij het vaststellen van de zorginhoudelijke indicatoren die bijvoorbeeld ook gebruikt worden door de Inspectie voor de gezondheidszorg voor haar toezicht en door verzekeraars voor de inkoop van ziekenhuiszorg. Voor het onderzoek naar de ziekenhuisbrede kwaliteit van de Nederlandse ziekenhuizen zoekt Elsevier naar een zo representatief mogelijk beeld van het gehele ziekenhuis. Daarom hebben we geen zorginhoudelijke indicatoren meegenomen waarvoor zorgzwaartecorrectie nodig is. Hoe berekenen we de totaal score? Verschillende indicatoren worden gecombineerd tot samengestelde indicatoren 1. De indicatoren worden eerst omgeschaald naar een uniforme schaal en worden daarna gewogen bij elkaar opgeteld. De gewichten zijn samen met Elsevier vastgesteld. De score van een ziekenhuis wordt uitgedrukt in één tot vier bolletjes. De bolletjes bevatten geen waardeoordeel van SiRM, maar geven aan hoe het ziekenhuis scoort op de geselecteerde indicatoren vergeleken met het gemiddelde in Nederland. Voor indicatoren waarbij toeval een rol speelt, houden we rekening met de statistische betrouwbaarheid. De score van een ziekenhuis en het betrouwbaarheidsinterval bepalen dan samen het aantal bolletjes van een ziekenhuis. Op die indicatoren kunnen ziekenhuizen ook halve bolletjes scoren. 1 Nardo, M. et al. (2005), Handbook on Constructing Composite Indicators: Methodology and User Guide, OECD Statistics Working Papers, 2005/3, OECD Publishing. Jacobs, R., P. Smith, M. Goddard (2004) Measuring performance: An examination of composite performance indicators, The University of York Center for health economics CHE technical paper series 29. We passen hier de stappen toe die in Nardo et al. zijn beschreven. 2 5/93

6 De scores op de domeinen veiligheid en effectiviteit zijn gebundeld in een score voor medische zorg. De scores op wachttijden en het domein dienstverlening in een score op patiëntgerichtheid De scores voor medische zorg en dienstverlening bepalen samen weer de totaalscore (Figuur 1). De scores op de financiële gegevens, de CQI en zorgzwaarte worden apart beschouwd. Figuur 1 De totaalscore wordt bepaald op basis van scores op effectiviteit, veiligheid, dienstverlening en wachttijden Wat leest u in dit document? In dit document beschrijven we de selectie van de indicatoren van het onderzoek en de stappen waarmee ze zijn verwerkt tot samengestelde indicatoren per soort indicator: 1. Zorginhoudelijke indicatoren, ingedeeld naar drie domeinen: a. veiligheid b. effectiviteit en c. dienstverlening. 2. Wachtlijstgegevens. 3. Financiële gegevens. 4. Zorgzwaarte. 5. CQI gegevens In hoofdstuk 2 worden de ziekenhuizen waarvoor scores zijn uitgerekend besproken. In hoofdstuk 3 tot en met 8 wordt de indicatorenselectie en berekening van de ziekenhuisbrede score op kwaliteit beschreven. Hierbij wordt achtereenvolgens ingegaan op de geselecteerde zorginhoudelijke indicatoren, wachttijdgegevens, de berekening van de themascores, de financiële gegevens en de zorgzwaarte. In hoofdstuk 9 wordt CQI gegevens van Borstzorg, Rughernia en Spataderen gepresenteerd. 2 6/93

7 2 Selectie ziekenhuizen Voor het Elsevier onderzoek zijn alle Nederlandse ziekenhuizen geselecteerd die openbare gegevens hebben aangeleverd. ZBC s zijn buiten beschouwing gelaten. Een 2-tal ziekenhuizen heeft zowel bij de Inspectie van de Gezondheidszorg (IGZ) als bij Zichtbare Zorg voor afzonderlijke locaties gegevens aangeleverd. Deze ziekenhuizen zijn apart opgenomen in het Elsevier onderzoek. Dit betreft de volgende ziekenhuizen: 1. Gelre ziekenhuizen, locatie Apeldoorn 2. Gelre ziekenhuizen, locatie Zutphen 3. Zorggroep Leveste Middenveld, locatie Scheper Ziekenhuis 4. Zorggroep Leveste Middenveld, locatie Ziekenhuis Bethesda In 2012 waren Ziekenhuisgroep Twente, locatie Almelo en Hengelo apart, nu samen in IGZ databestand. Dit geldt ook voor Ommelander Ziekenhuis Groep, locaties Winschoten en Delfzijl. In totaal zijn 91 ziekenhuizen opgenomen in de Elsevier Ranglijst. Alle 91 ziekenhuisnamen zijn terug te vinden in appendix A. 3 Zorginhoudelijke indicatoren 3.1 Selectie van zorginh oudelijke indicatore n We hebben een selectie gemaakt uit publiek beschikbare indicatoren die door het veld zelf zijn gedefinieerd. We onderscheiden indicatorsets voor ziekenhuisbrede aspecten van kwaliteit en aandoeningspecifieke indicatorsets (Figuur 2). Indicatoren uit ziekenhuisbrede sets worden vrijwel allemaal meegenomen in dit onderzoek. Van de aandoeningspecifieke sets, nemen we acute zorg voor het grootste deel mee. Uit indicatorsets voor electieve aandoeningen hebben we indicatoren geselecteerd die iets zeggen over het gehele ziekenhuis. 2 7/93

8 Figuur 2 Schematische weergave van selectie van indicatoren uit diverse bronnen D e fini ti es en bro nn en v an d e in di c at o r en De gebruikte indicatoren zijn door het veld zelf vastgesteld. Zowel ziekenhuizen als medisch specialisten waren nauw betrokken bij de ontwikkeling en selectie van de indicatoren die wij hier ook gebruikt hebben. Die komen uit vier verzamelingen: De basisset die de IGZ gebruikt bij het toezicht op ziekenhuizen; De veiligheidsset waarmee de IGZ het veilig werken in ziekenhuizen monitort; en De wettelijk verplichte Ziekenhuis indicatorsets van Zichtbare zorg, die door zorgaanbieders, -inkopers en gebruikers is vastgesteld om de transparantie op de zorgmarkt te bevorderen. Basisset. De IGZ hanteert een basisset voor kwaliteitsindicatoren die zij vaststelt in overleg met de Nederlandse Federatie van Universitair Medische Centra (NFU), de Nederlandse Vereniging van Ziekenhuizen (NVZ) en de Orde van Medisch specialisten (Orde). De uitgangspunten voor de basisset zijn 2 : Een prestatie-indicator geeft een signaal over de kwaliteit van de zorg op grond waarvan de inspectie kan besluiten nader onderzoek te verrichten. Ziekenhuizen maken de gegevens zelf openbaar. 2 Prestatie-indicatoren ziekenhuizen. Basisset 2009, IGZ, Utrecht /93

9 Naast externe verantwoording is ook het stimuleren van interne kwaliteitsverbetering een doel. Registratielast moet beperkt blijven. De basisset van de IGZ is een ontwikkelingsmodel. De stichting Dutch Hospital Data (DHD) verzamelt de indicatoren bij de ziekenhuizen en plaatst ze op de website De indicatorset van verslagjaar 2012 is gewijzigd ten opzichte van de indicatoren uit verslagjaar Veiligheidsindicatoren. De set met veiligheidsindicatoren zijn ook beschikbaar gesteld door DHD. Het veiligheidsprogramma bevat indicatoren binnen de thema s ziekenhuissterfte, vermijdbare sterfte & schade, Surveillance postoperatieve wondinfecties, Sepsis, Vitaal bedreigde patiënten, Medicatieverificatie bij opname en ontslag, High Risk Medicatie, Verwisseling van/bij patiënten, en Voorkomen nierinsufficiëntie. Zichtbare Zorg. In het Zichtbare Zorg Ziekenhuizen programma werden indicatoren gedefinieerd met zorgaanbieders en zorggebruikers samen. De volgende partijen vormden de stuurgroep: de Consumentenbond, de IGZ, de NFU, de Nederlandse Patiënten en Consumenten Federatie (NPCF), de NVZ, de Orde, V&VN en Zorgverzekeraars Nederland (ZN). Bij de ontwikkeling van de indicatoren speelden medisch specialisten ook een belangrijke rol 4. Alle indicatorsets van Zichtbare Zorg bevatten indicatoren voor electieve zorg. Voor het meetjaar 2012 zijn ziekenhuizen verplicht om voor 42 indicatorsets gegevens aan te leveren als onderdeel van het Jaardocument Maatschappelijke Verantwoording: 3 Zie: IGZ basisset kwaliteitsindicatoren 2013, pp /93

10 a 1. Baarmoederhalsafwijkingen 2. Bariatrische Chirurgie 3. Benigne Prostaat Hyperplasie 4. Beroerte 5. Blaascarcinoom 6. Carpaletunnelsyndroom 7. Cataract 8. Chirurgische behandeling van lage rug hernia en stenose 9. Chronische belemmering bloedstroom been 10. Coeliakie 11. Colorectaal Carcinoom 12. Constitutioneel Eczeem 13. Cystic Fibrosis 14. Dementie 15. Diabetes 16. Dialyse bij nierziekten 17. Galblaasverwijdering 18. Heupvervanging 19. HIV/AIDS 20. IBD 21. In opzet curatieve behandeling prostaatcarcinoom 22. Knievervanging 23. Liesbreukoperaties 24. Longcarcinoom 25. Maagcarcinoom 26. Maculadegeneratie 27. Maligne Lymfoom: Diffuus grootcellig B-cel lymfoom 28. Mammacarcinoom 29. Melanoom van de huid 30. Meniscus en voorste kruisband 31. Migraine 32. Nierstenen 33. Obstructief slaapapneusyndroom (OSAS) bij volwassenen 34. Operatieve ingrepen bij stressincontinentie bij de vrouw 35. Osteoporose 36. Parkinson 37. Psoriasis 38. Reumatoïde Artritis 39. Ruggenmergstimulatie bij Failed Back Surgery Syndrome 40. Varices 41. Ziekten van Adenoïd en Tonsillen 42. Zwangerschap en bevalling Er zijn dit jaar geen aanvullende indicatorsets opgesteld waarvoor gegevensaanlevering niet wettelijk verplicht is. Een aantal indicatoren zijn facultatief. Dit betreffen indicatoren van de sets Beroerte (Tijdigheid TIA-diagnostiek), Chirurgische behandeling van lage rug hernia en stenose (Volume), Constitutioneel Eczeem (Gestructureerde voorlichting), Migraine (Enkelvoudig poliklinisch consult), Osteoporose (Dexametrie en BMD meting) en Psoriasis (Intensieve therapie). Het College van Zorgverzekeringen heeft de Zichtbare Zorg Ziekenhuizen indicatoren voor verslagjaar 2012 in een Excel bestand aangeleverd. Voor één ziekenhuis Zuwe Hofpoort 2 10/93

11 uit Woerden- zijn de gegevens verzameld via de jaarverslagenzorg 5 website omdat dit ziekenhuis de gegevens niet geaccordeerd had en geheel ontbrak in de openbare dataset Schoni ngsu itvraag Vanuit de gedachte dat er bij de administratie en registratie van indicatoren fouten kunnen plaatsvinden, zijn de ziekenhuizen in de gelegenheid gesteld mogelijk foutief ingevulde waarden te corrigeren. Hiertoe is naar de ziekenhuizen een document opgestuurd met daarin de voor het desbetreffende ziekenhuis relevante indicatoren waarvoor de ingevulde waarden mogelijk afwijkend zijn. Deze zijn als volgt berekend: 1. Ja/nee vragen waarbij >90% van de ziekenhuizen nee antwoord en het desbetreffende ziekenhuis ja. 2. Ja/nee vragen waarbij >90% van de ziekenhuizen ja antwoord en het desbetreffende ziekenhuis nee. 3. Waarden die 3* de standaardafwijking boven het gemiddelde liggen (waar nodig gecorrigeerd voor de grootte van het ziekenhuis). In totaal hebben 70 ziekenhuizen gereageerd, waarvan 56 ziekenhuizen ook daadwerkelijk wijzigingen hebben toegezonden. In totaal zijn 499 wijzigingen verwerkt, waarvan 204 relevant voor Elsevier beste ziekenhuizen In Appendix B zijn de gewijzigde waarden opgenomen /93

12 3.1.3 Ee rs te sele c tie v a n de indi c a toren In totaal zijn er 1516 indicatoren, die bestaan uit meerdere 3419 subvragen. 542 van de 1516 indicatoren zijn in 2013 geselecteerd. Dit betekent dat 36% geselecteerd is. In 2012 en 2011 waren respectievelijk 48% en 38% van de indicatoren geselecteerd. Voor de selectie worden dezelfde regels gebruikt als vorig jaar. De 542 indicatoren geven een indicatie van de kwaliteit van het gehele ziekenhuis. Deze zijn afkomstig van 50 van de 60 beschikbare indicatorsets. De geselecteerde indicatoren komen uit de volgende indicatorsets: 12 indicatorsets voor ziekenhuisbrede aspecten. Dit zijn sets die een ziekenhuisbreed aspect van de zorg meten zoals het percentage doorligwonden, het percentage ondervoede patiënten, en de behandeling van pijn na een operatie. Deze sets zijn alleen afkomstig van de IGZ. In totaal zijn 72 van de 233 indicatoren uit deze sets meegenomen. 3 indicatorsets voor acute zorg. Vrijwel ieder ziekenhuis biedt deze acute zorg en patiënten hebben nauwelijks keuze voor acute zorg. In totaal zijn 50 van de 195 indicatoren uit de indicatorsets infectieziekten, hart en vaten en operatief proces meegenomen in het onderzoek. o Bij Hart en vaten (onderdeel risicovolle interventies) is het aantal operaties dit jaar wederom meegenomen. Voor deze indicator is een minimum norm uitgebracht door de Nederlandse Vereniging van Heelkunde 6. De indicator wordt omgevormd tot een indicator die aangeeft of het ziekenhuis meer of minder operaties uitvoert dan de gehanteerde norm. De gestelde norm voor risicovolle interventies (AAA=Aneurysma van de Aorta Abdominalis) is vastgesteld op 20 operaties op jaarbasis per ziekenhuis. o Een deel van de indicatoren uit de set Operatief proces van de IGZ zijn indicatoren voor acute zorg. Hierbij gaat het om indicatoren omtrent de behandeling van een heupfractuur, pijn na een operatie en juist uitgevoerde stopmomenten. 6 op 13 september /93

13 o o Een deel van de indicatoren van de set Infectieziekten van de IGZ zijn indicatoren voor acute zorg Hierbij gaat het om indicatoren met betrekking tot de behandeling van Pneunomie. Een deel van de indicatoren binnen deze 3 sets wordt meegenomen als zijnde indicatoren voor electieve zorg. Deze indicatoren vallen namelijk niet onder acute zorg 35 indicatorsets voor electieve zorg. Hieruit is een selectie van 420 indicatoren gemaakt. Er zijn totaal 1088 indicatoren voor aandoeningspecifieke electieve zorg. Deze selectie hangt af van de beschikbaarheid van indicatoren en van de categorie activiteiten waarover ze informatie geven. In de volgende paragraaf wordt nader ingegaan op die selectie. Figuur 3 - Beschikbare en geselecteerde indicatoren per soort indicatorset [aantallen] Totaal 1516 Acuut 195 Ziekenhuisbreed 233 Electief 1088 Geselecteerd 542 Acuut 50 Ziekenhuisbreed 72 Electief /93

14 Tabel 1 Gebruikte indicatorsets ingedeeld naar soort Selectie van indicatoren Soort indicatorset Indicatorset Bron Volledig Gedeeltelijk Helemaal niet Acuut Hart en vaten IGZ X Infectieziekten IGZ X Operatief proces IGZ X Electief Oncologie IGZ X Verloskunde IGZ X Baarmoederhalsafwijking ZiZo X Bariatrische Chirurgie ZiZo X Benigne Prostaat Hyperplasie ZiZo X Beroerte ZiZo X Blaascarcinoom ZiZo X Carpaletunnelsyndroom ZiZo X Cataract ZiZo X Chirurgische behandeling ZiZo X Chronische belemmerin ZiZo X Coeliakie ZiZo x Colorectaal Carcinoom ZiZo X Constitutioneel Eczeem ZiZo X Cystic Fibrosis ZiZo X Dementie ZiZo X Diabetes ZiZo X Dialyse bij nierziekten ZiZo X Galblaasverwijdering ZiZo X Heupvervanging ZiZo X HIV/aids ZiZo X IBD ZiZo X In opzet curatieve behandeling ZiZo X prostaatcarcinoom Knievervanging ZiZo X Liesbreukoperaties ZiZo X Longcarcinoom ZiZo X Maagcarcinoom ZiZo X Maculadegeneratie ZiZo X Maligne Lymfoom: Diffuus ZiZo X grootcellig B-cel lymfoom Mammacarcinoom ZiZo X Melanoom van de huid ZiZo X 2 14/93

15 Selectie van indicatoren Soort indicatorset Indicatorset Bron Volledig Gedeeltelijk Helemaal niet Meniscus en voorste kruisband ZiZo X Migraine ZiZo X Nierstenen ZiZo X Obstructief slaapapneusyndroom ZiZo X (OSAS) Operatieve bij volwassenen ingrepen bij ZiZo X stressincontinentie bij de vrouw Osteoporose ZiZo X Parkinson ZiZo X Psoriasis ZiZo X Reumatoïde Artritis ZiZo X Ruggenmergstimulatie bij Failed ZiZo X Back Surgery Syndrome (FBSS) Varices ZiZo X Ziekten van Adenoïd en Tonsillen ZiZo X Zwangerschap en bevalling ZiZo X Ziekenhuisbreed Verwisseling van/bij patiënten IGZ X Ziekenhuissterfte IGZ X Algemeen kwaliteitsbeleid IGZ X High Risk Medicatie IGZ X Intensive care IGZ X Kwetsbare groepen IGZ X Sepsis IGZ X Surveillance postoperatief IGZ X Vermijdbare sterfte e IGZ X Verpleegkundige zorg IGZ X Vitaal bedreigde patiënten IGZ X Voorkomen nierinsufficiëntie IGZ X Medicatieverificatie IGZ X 2 15/93

16 3.1.4 Ty pes m edis ch inhou d e lij k e in di c ato re n De selectie uit de sets met electieve indicatoren is gebaseerd op een onderverdeling van indicatoren in types en categorieën. Indicatoren kunnen worden ingedeeld in drie types 7 : Structuurindicatoren beschrijven of de zorgaanbieder bepaalde voorzieningen heeft getroffen in de organisatie, bijvoorbeeld of folders over een bepaalde ziekte aanwezig zijn. Procesindicatoren volgen een serie gebeurtenissen tijdens een onderzoek en/of behandeling van een patiënt, bijvoorbeeld hoeveel patiënten binnen een bepaalde tijd de juiste medicijnen krijgen toegediend. Uitkomstindicatoren meten uitkomsten van de zorg zoals bijvoorbeeld het percentage doorligwonden. De 542 beschikbare indicatoren bestaan voor 87% uit structuur-, 11% uit proces- en 2% uit uitkomstindicatoren (Figuur 4). Verreweg de meeste indicatoren zijn dus structuurindicatoren. Deze verdeling komt overeen met gegevens uit verslagjaar Evenals in 2011 en 2010 zijn voor het merendeel structuurindicatoren geselecteerd en slechts een beperkt aantal uitkomstindicatoren. Er zijn weinig uitkomstindicatoren beschikbaar die iets zeggen over de ziekenhuisbrede kwaliteit. Het merendeel van de aandoening specifieke uitkomstindicatoren richt zich op uitkomsten op maatschapniveau. Figuur 4- Verdeling van beschikbare en geselecteerde indicatoren over type [aandeel] 7% 11% 2% 26% 66% 87% Uitkomst Proces Structuur Beschikbaar Geselecteerd 7 Donabedian, A. (1966). Evaluating the Quality of Medical Care. Milbank Memorial Fund Quarterly: Health and Society 44(3; pt. 2): /93

17 Binnen deze types hebben we een verfijning aangebracht in categorieën (Tabel 2). Iedere categorie van indicatoren zoomt in op een bepaald onderdeel van de ziekenhuisorganisatie. We hebben alle indicatoren in categorieën ingedeeld (Figuur 5). Bij de berekening van de samengestelde zorginhoudelijke indicatoren gebruiken we een weging per categorie. Deze categorieën worden eerst gebruikt voor de selectie van indicatoren uit indicatorsets voor electieve aandoeningen. In de volgende paragraaf bespreken we hoe we tot de selectie van de indicatoren zijn gekomen. Tabel 2- Gehanteerde indeling in categorieën van indicatoren Type/Categorie Structuur Administratie Registratie Behandeltraject Communicatie Behandelfaciliteiten Informatievoorziening Protocollen Aantal artsen Indicatoren geven inzicht in of een ziekenhuis de administratieve processen op orde heeft. deelname aan een (landelijk) registratiesysteem, bijvoorbeeld voor complicaties en/of infecties. hoe het ziekenhuis het behandeltraject van patiënten inricht, bijvoorbeeld met altijd een vaste arts, alle onderzoeken op één dag. hoe uitslagen van onderzoeken en diagnoses aan de patiënt bekend worden gemaakt welke faciliteiten er bij het ziekenhuis aanwezig zijn voor behandelingen of processen, zoals het IC niveau, ICT apparatuur hoe de informatievoorziening naar de patiënt is geregeld, zoals informatie over een aandoening op de website of met folders. of met bepaalde protocollen voor een bepaalde aandoening gewerkt wordt en/of een procesbeschrijving aanwezig is. hoeveel artsen er werkzaam zijn bij het ziekenhuis op specifieke gebieden. Proces Realisatie processen Aantal behandelingen Wachttijden bij hoeveel patiënten bepaalde processen worden toegepast bijvoorbeeld aandeel van patiënten met trombolyse met behandeling binnen 1 uur. hoeveel specifieke behandelingen jaarlijks door de artsen van het ziekenhuis worden uitgevoerd. de wachttijden voor bepaalde behandelingen bij het ziekenhuis. 2 17/93

18 Type/Categorie Uitkomst Indicatoren geven inzicht in wat de medisch inhoudelijke uitkomsten van een bepaalde behandeling of van de verpleging in het ziekenhuis is, bijvoorbeeld het percentage doorligwonden of het percentage ondervoede patiënten. Figuur 5 Beschikbare en afgevallen indicatoren per categorie [aantallen] Geselecteerd Beschikbaar Se le c tie v a n in di c at o r e n op b asi s van ca t egorie-i ndelin g Hieronder volgt per categorie-indeling informatie over de beslissingen die genomen zijn: Van de structuurindicatoren valt 1 categorie indicatoren af. Binnen deze categorie, aantal artsen, is geen enkele indicator geselecteerd omdat het te sterk gekoppeld is aan de schaal van een ziekenhuis. De volgende categorieën van structuurindicatoren worden wel meegenomen: o Binnen de categorieën administratie en registratie is een deel van de indicatoren meegenomen, om dubbeltelling met de acute en ziekenhuisbrede indicatoren te voorkomen. Hierdoor zijn in totaal 70 indicatoren binnen deze categorieën geselecteerd. Binnen 15 sets zijn indicatoren voor administratie en registratie geselecteerd 2 18/93

19 o Binnen de categorie behandeltraject zijn 197 van de 387 indicatoren geselecteerd. Hierbij zijn bijvoorbeeld indicatoren die vragen naar de specialismen die bij een specifieke behandeling betrokken zijn niet geselecteerd. Binnen 30 sets zijn indicatoren voor behandeltraject geselecteerd. o Binnen de categorie faciliteiten zijn 36 van de 156 indicatoren geselecteerd. De score op indicatoren binnen de categorie faciliteiten hebben veelal betrekking op de omvang van een ziekenhuis. Om een vertekend beeld te voorkomen worden deze indicatoren niet meegenomen. Binnen 20 sets zijn indicatoren geselecteerd. o Binnen de categorie informatievoorziening worden 62 van de 84 indicatoren meegenomen. De geselecteerde indicatoren hebben betrekking op welke informatie aan de patiënt wordt gegeven en op welke manier informatie toegankelijk is. De indicatoren die niet geselecteerd zijn indicatoren die veelal subjectief beoordeeld moeten worden. Indicatoren binnen de categorie informatievoorziening zijn in 23 indicatorsets beschikbaar. o Binnen de categorie protocollen worden 91 van de 178 indicatoren meegenomen. Indicatoren die vragen naar de beschikbaarheid van een multidisciplinair overleg zijn geselecteerd. Voor 27 indicatorsets zijn indicatoren over protocollen beschikbaar. Bij de procesindicatoren zijn indicatoren beschikbaar voor zowel de categorie processen als de categorie aantal behandelingen. In totaal zijn 61 indicatoren binnen 22 indicatorensets meegenomen binnen deze 2 categorieën. Wachttijdgegevens worden gebaseerd op andere data. o Voor de indicatoren met betrekking tot het aantal behandelingen is nagegaan of een ziekenhuis voldoende behandeling uitvoert. Hiervoor wordt gebruik gemaakt van minimale volumenormen per behandeling, die zijn vastgesteld door de Nederlandse Vereniging voor Heelkunde (NVvH), de Nederlandse Vereniging voor Urologie (NVvU), de Nederlandse Vereniging voor Cardiologie (NVvC) of de IGZ. o Het aantal behandelingen wordt verzameld voor 35 aandoeningen. Deze indicatoren zijn heel specifiek voor een behandeling. Idealiter geven we hier punten als het aantal behandelingen boven een minimumnorm uitkomt. Voor 12 indicatoren zijn dergelijke veldnormen opgesteld. Voor deze indicatoren bepalen we of een ziekenhuis voldoende behandelingen uitvoert. In tabel 3 is een overzicht gegeven van de indicatoren waarvoor een norm beschikbaar is en meegenomen zijn in het Elsevier onderzoek. 2 19/93

20 Tabel 3.. Overzicht van de beschikbare indicatoren met aantallen behandelingen met bijbehorende volumenormen Verrichting Volumenorm Bron 1. Verwijderen van de alvleesklier 20 NVvH/ IGZ 2. Verwijderen van de darm (darmkanker) 50 NVvH 3. Verwijderen van de blaas (blaascarcinoom) 10 NVU 4. Aneurysma buikslagaderoperatie 20 IGZ 5. Slokdarmkanker 20 NVvH 6. Borstkanker 50 NVvH 7. Longkanker 20 NVvH 8. Maagkanker 10 8 NVvH 9. Maagverkleining 100 NVvH 10. Aantal PCI's uitgevoerd in het verslagjaar 600 NVvC Of op de witte lijst van de NVvC 11. Totaal aantal pacemakers, met of zonder ICD functie 120 NVvC Aantal ICD s zonder biventriculaire 60 pacemakerfunctie Biventriculaire pacemakers met ICD functie 20 Danwel opname op de witte lijst na visitatie o Indicatoren in de categorie processen bij aandoeningspecifieke aandoeningen die gericht zijn op de activiteiten van de specialisten voor een specifieke behandeling zijn niet geselecteerd. Bovendien is hier vaak een zorgzwaartecorrectie nodig. Die correctie wordt nog niet door ZiZo of de IGZ uitgevoerd. En er zijn onvoldoende gegevens om zelf te corrigeren voor zorgzwaarte. Een voorbeeld van een dergelijke indicator: Het percentage patiënten met een niet-spierinvasieve tumor, waarbij na TUR een eenmalige spoeling met een cytostaticum binnen 24 uur werd gegeven 8 Verslagjaar 2012 is de norm 10, verslagjaar /93

21 o In totaal zijn 50 van de 275 indicatoren binnen de categorie processen geselecteerd. Deze zijn beschikbaar binnen 16 van de 55 indicatorsets. In totaal zijn 9 uitkomstindicatoren meegenomen. 99 van de 108 beschikbare uitkomstindicatoren zijn niet meegenomen. Dit heeft twee oorzaken: o er kan geen zorgzwaartecorrectie toegepast worden, wat voor het gebruik van deze indicatoren noodzakelijk is o de indicatoren geven geen indicatie van de ziekenhuisbrede kwaliteit van zorg. In Appendix C is een lijst terug te vinden met alle geselecteerde indicatoren met bijbehorende subvragen D o m ein en vei lig he id, effe c tivi te it en di ens tv e rleni ng Ziekenhuizen krijgen een score per domein. De drie domeinen die we hier gebruiken, definieert Zichtbare Zorg als volgt 9 : Veiligheid: het vermijden van veiligheidsrisico s en fouten die schade kunnen toebrengen aan patiënten en medewerkers. Effectiviteit: het leveren van nauwkeurige en juiste zorg gebaseerd op wetenschappelijke kennis. Patiëntgerichtheid: het respecteren van de unieke noden, wensen en waarden van de patiënt. Dit domein wordt hier verder dienstverlening genoemd. ZiZo heeft een deel van de indicatoren al ingedeeld in een domein 10. Wij hebben de overige indicatoren van ZiZo en de IGZ ook in deze domeinen ingedeeld 11. De meeste geselecteerde indicatoren vallen onder dienstverlening aan de patiënt (42%). Daarna volgen effectiviteit en veiligheid met respectievelijk 25% en 33% van de geselecteerde zorginhoudelijke indicatoren (Figuur 6). 9 Zichtbare Zorg hanteert ook nog de domeinen doelmatigheid (vermijden van zorg die niet bijdraagt aan de vraagstelling van de patiënt en die niet redelijkerwijs kosteneffectief is) en gelijkheid (leveren van gelijke zorg aan alle patiëntengroepen ongeacht achtergrondkenmerken). Het blijkt echter dat geen enkele indicator ingedeeld wordt in deze twee domeinen. Daarom laten wij deze domeinen buiten beschouwing. Zie Daarnaast is er het domein tijdigheid (het leveren van zorg op de juiste tijd, verhinderen van wachttijden voor patiënten en medewerkers). Indicatoren in dit domein zijn hier ingedeeld bij effectiviteit of dienstverlening. 10 Het is niet duidelijk waarom er een aparte categorie klantpreferentievragen is. Deze vragen hebben vaak ook het domein effectiviteit (bijvoorbeeld vragen over het aantal patiënten per arts) 11 Een klein deel van de geselecteerde indicatoren is niet eenduidig aan één domein toe te delen. Wij hebben dan een hoofddomein gekozen, dat hier wordt gebruikt. 2 21/93

22 Figuur 6- Verdeling van beschikbare en geselecteerde indicatoren over domein [aandeel] 33% 33% 41% 26% Beschikbaar 25% 42% Geselecteerd Veiligheid Effectiviteit Dienstverlening Bronnen van geselectee rde in di c a toren 74% van de geselecteerde indicatoren is afkomstig uit de Zichtbare Zorg sets en 26% van de geselecteerde indicatoren komt uit de IGZ basis en veiligheidsset. 3.2 Berekenen van samengestelde zo rginhoud elijke indicatore n Totaal score gebaseerd op domein scores Op basis van de geselecteerde indicatoren krijgen ziekenhuizen tussen de één en vier bolletjes om de door de indicatoren gemeten kwaliteit in vergelijking met andere ziekenhuizen per domein (effectiviteit, veiligheid en dienstverlening) aan te duiden. Berekenen domeinscore d Het aantal bolletjes per domein voor een ziekenhuis hangt af van de samengestelde score, het betrouwbaarheidsinterval voor toevalindicatoren en van het gemiddelde en de standaarddeviatie van de samengestelde scores van alle ziekenhuizen 12. Berekening ening samengestelde s score s Om de samengestelde score per domein te berekenen, herschalen we de indicatorwaardes naar een uniforme schaal en verwijderen we onwaarschijnlijke indicatorwaardes. De 12 Deze methode is vergelijkbaar met die van het Centrum voor Klantervaring Zorg (Handboek CQI metingen: richtlijnen en voorschriften voor metingen met een CQI meetinstrument Deel 3: Rapportage, Versie 2.0 november 2008 en de Agency for Health care Research and Quality in de VS. 2 22/93

23 herschaalde indicatorwaardes worden vervolgens gewogen bij elkaar opgeteld tot de samengestelde indicatorwaarde per ziekenhuis. In onderstaande paragrafen leggen we uit hoe we komen tot een uniforme schaal per indicatoren en hoe de betrouwbaarheidsintervallen rondom indicatoren die gevoelig zijn voor toeval worden bepaald Geb ruik v an u ni forme schaal Voor ieder ziekenhuis j, worden de waardes voor indicator i omgeschaald naar een uniforme schaal zodat ze later bij elkaar opgeteld kunnen worden 13. We gebruiken hiervoor de z-score: Vergelijking 1 z-score, =, Hierin is,de gemeten waarde van de indicator i voor ziekenhuis j. De gemiddeldes en standaarddeviaties voor de indicator i worden bepaald voor alle ziekenhuizen. Alle indicatoren hebben hiermee een gemiddelde waarde van 0 en een standaarddeviatie van 1 (zie verder voor betrouwbaarheidsinterval). Alle structuurindicatoren zijn geherdefinieerd voordat ze werden omgeschaald. Bovendien zijn de gegevens aangepast voor onwaarschijnlijke waardes en voor niet aangeleverde waardes voordat de z-score is berekend. Indicatoren waarbij een lagere score beter is (denk aan percentage doorligpunten) zijn geschaald zodat hoger beter is voordat deze indicatoren meegenomen zijn bij de berekening H e rd e f i ni t i e v a n i ndic at o re n De geselecteerde indicatoren hebben verschillende meetniveaus: 13 Zie Jacobs et al 2004, Nardo 2005 en Freudenberg, M. (2003), Composite Indicators of Country Performance: A Critical Assessment, OECD Science, Technology and Industry Working Papers, 2003/16, OECD Publishing. 2 23/93

24 Nominaal meetniveau indicatoren met ja/nee vragen of vragen waarvoor twee of meer antwoorden mogelijk zijn. Voorbeelden zijn neemt het ziekenhuis deel aan complicatieregistratie (ja/nee), en zo ja, welk soort (eigen/lokaal/landelijk). Ratio meetniveau indicatoren die in berekeningen kunnen worden gebruikt waaronder: o Percentage: teller/noemer vragen zoals het percentage patiënten dat decubitus heeft. o Tijd: vragen over het aantal weken of dagen wachttijd voor een bepaalde behandeling. o Waarde: vragen uitgedrukt in een getal zoals de gemiddelde opnameduur. Nominale indicatoren Indicatoren met meetniveau nominaal worden samengevoegd tot een indicator met meetniveau ratio. Indien meerdere ja/nee antwoorden mogelijk zijn ( klasses ), zijn punten toegekend. Nul voor de minst waardevolle optie een half punt voor de volgende optie en één punt voor de meest waardevolle optie. Bijvoorbeeld bij aanwezigheid van bepaalde disciplines: 0 voor niet aanwezig, 0,5 voor op indicatie aanwezig en, 1 voor aanwezig. Zie appendix C voor de puntentoekenning die bij dergelijke vragen afhangt van de specifieke vraag. Sommige indicatoren geven informatie over welke zorgaanbieders betrokken zijn. Daar worden punten aan toegekend (zoals hierboven bij klasses ). Er kunnen meerdere antwoorden zijn waarbij het verschil in waarde voor de patiënt niet duidelijk is (bijvoorbeeld of het eerste aanspreekpunt een medisch specialist of een specialistisch verpleegkundige is). Die krijgen dan allemaal één punt voor ja toegekend. De score op een dergelijke indicator is dan het maximaal aantal toegekende punten. Zodoende wordt niet dubbel geteld. Bij een aantal indicatoren is er van uitgegaan dat meer ook beter is. Het aantal malen ja wordt dan geteld en gedeeld door het aantal nominale vragen in indicator (groep met samenhangende vragen). Een voorbeeld van een dergelijke indicator is het vertrekken van informatie via de website, brochures en op papier. Een ziekenhuis kan daarop 0%, 33%, 66% of 100% scoren. Ook deelname aan een MDO wordt gemeten me dergelijke indicatoren. Zodoende wordt een MDO met meerdere deelnemers beloond. Deze berekening wordt per groep van vragen uitgevoerd De verwerking van meetniveau nominaal is verbeterd ten opzichte van Voorheen werden alle antwoorden op klasse en ja/nee vragen per domein en categorie bij elkaar 2 24/93

25 opgeteld. De score op behandelingen waarvoor relatief veel vragen per indicator worden gesteld, maar die niet ieder ziekenhuis uitvoert, kon het resultaat verstoren. Door de score nu eerst per indicator (groep van vragen) om te zetten in een ratio variabele, wordt dit bezwaar weggenomen. Ratio Indicatoren met meetniveau ratio kunnen direct worden uitgedrukt in een z-score A a np a s s e n v a n on w a a r s c h i j nlij k e w aa r d e s Onwaarschijnlijke waardes vallen buiten het verwachte bereik van de indicator. Deze waardes beïnvloeden de schaling naar een z-score omdat zij het gemiddelde naar boven of naar beneden trekken. Hoewel ziekenhuizen zowel bij de IGZ als bij ZiZo de kans krijgen om hun data te schonen op onwaarschijnlijke waardes zijn er nog steeds uitbijters in de dataset. Dit jaar hebben ziekenhuizen de kans gekregen aanpassingen aan SiRM te leveren. Zeventig ziekenhuizen hebben aanpassingen gemeld die allemaal zijn goedgekeurd door de Raad van Bestuur van het desbetreffende ziekenhuis. Zie Appendix B voor de aanpassingen. Als een ziekenhuis meer dan 3 keer de standaardafwijking van het gemiddelde afwijkt, krijgt die een waarde gelijk aan het gemiddelde plus 3 keer de standaard afwijking. Dit is voor 266 indicatorwaardes bij 74 ziekenhuizen gedaan. In 2012 (meetjaar 2011) zijn bij 32 ziekenhuizen correcties uitgevoerd voor onwaarschijnlijke waarden. We zien dus dat het aantal correcties is toegenomen ten opzichte van vorig jaar en nog meer ten opzichte van Toen zijn 23 waarden aangepast. In appendix F is weergegeven welke indicatoren dit betreft en welke waardes als onwaarschijnlijk zijn gedefinieerd. Door deze waardes aan te passen daalt de spreiding op de indicator. Het ziekenhuis met de uitbijter krijgt steeds dezelfde z-score toebedeeld omdat het ziekenhuis nog steeds de minimum of maximum waarde binnen de set toebedeeld krijgt Niet aang e l e v e rd e i ndic at o re n Ziekenhuizen krijgen, bij indicatoren met het meetniveau ratio, voor niet aangeleverde indicatoren de slechtste waarde uit de dataset. Zodoende zit er een straf op het niet aanleveren van indicatorwaardes. Hiervoor wordt voor elke indicator het minimum (bij 2 25/93

26 indicatoren waar een hogere score beter is) en het maximum (bij indicatoren waar een lagere score beter is) berekend. Indicatoren die niet van toepassing zijn voor ziekenhuizen worden niet meegenomen in de analyse. Het percentage indicatoren dat niet van toepassing is varieert tussen de 24% en 56% per ziekenhuis. De score voor ziekenhuizen wordt dan bepaald over de indicatoren die wel van toepassing zijn. Ziekenhuizen worden dus niet gestraft voor het niet aanleveren van indicatoren die niet voor hen van toepassing zijn. De z-waarde voor een indicator wordt pas na deze aanpassingen berekend voor alle ziekenhuizen Same ng estelde indicatorw aa r de Voor ieder ziekenhuis wordt de samengestelde indicatorwaarde getrapt berekend. Eerst worden alle indicatoren uitgedrukt op een uniforme schaal. Voor variabelen met een nominaal meetniveau, wordt een indicatorwaarde per indicatorset, per categorie, per domein bepaald. Vervolgens is de overkoepelende samengestelde indicatorwaarde gelijk aan het gewogen gemiddelde van de indicatorwaardes per domein. De gewichten zijn samen met Elsevier vastgesteld. Ontbrekende waardes verlagen de mogelijke samengestelde indicatorwaarde van een ziekenhuis. Indicatoren die niet van toepassing zijn worden niet meegenomen in de berekening, ziekenhuizen krijgen hier dus geen strafpunten voor. Dus de samengestelde indicatorwaarde voor ziekenhuis j is: Vergelijking 2 samengestelde indicatorwaarde i per ziekenhuis = Waarbij w m de gewichten voor categorie m zijn en de samengestelde indicatorwaardes per categorie (m) voor ziekenhuis j: 2 26/93

27 Vergelijking 3 samengestelde indicatorwaarde per categorie =,!"#$%&# (' Hierin, die z-score voor indicator i van het ziekenhuis j ( Vergelijking 1). Er wordt gesommeerd over alle indicatoren in de categorie m en ' is het aantal indicatoren in de categorie m Ge w i ch te n per c at ego ri e in di c ato re n De gewichten zijn samen met Elsevier vastgesteld (Tabel 4). Er is gekozen voor een aanpak in twee stappen. In eerste instantie hechten we een belang aan het type indicator. Hieruit volgt een ideaal gewicht als alle categorieën waarvoor binnen een domein indicatoren worden gebruikt, met voldoende indicatoren gevuld zijn. Helaas is dat nog niet altijd het geval. Dus is een tweede, subjectieve, stap nodig om het gewicht van een categorie bij te stellen. Stap 1 De kwaliteit kan gemeten worden met structuur-, proces- en uitkomstvariabelen. De verhouding tussen de scores structuur: proces: uitkomst indicatoren is vastgesteld op 1 : 1,5 : 2. Alle categorieën indicatoren binnen één type wegen even zwaar. Stap 2 Uit de eerste stap volgen de ideale gewichten per domein (w in de tabel hieronder). Als er voldoende indicatoren per categorie per domein waren, zouden we die gewichten kunnen gebruiken. Nu zijn aanpassingen nodig (w in de tabel): Voor het domein effectiviteit zijn heeft de categorie behandeltraject meer gewicht gekregen, omdat deze categorie in verhouding meer indicatoren bevat dan protocollen en faciliteiten. Voor het domein veiligheid hebben we het gewicht van de structuurindicatoren binnen de categorie protocollen een zwaarder gewicht dan de overige categorie. Deze gewichten zijn aangepast omdat het aantal indicatoren binnen de overige categorie relatief laag is. 2 27/93

28 Voor het domein dienstverlening hebben zowel de categorie faciliteiten en communicatie een lager gewicht gekregen aangezien het aantal indicatoren binnen deze twee categorieën relatief laag is. Tabel 4 Gewichten per categorie, per domein (w berekend gewicht, w gekozen gewicht) Effectiviteit Veiligheid Dienstverlening Type/Categorie Belang # w w w w w w Structuur (472) Administratie ,25 0, Registratie ,25 0, Inf. voorziening ,25 0,25 Behandeltraject 62 0,33 0, ,25 0,50 Protocollen 21 0, ,25 0, Faciliteiten 16 0, ,25 0, ,25 0,125 Communicatie ,25 0,125 Aantal artsen Proces (61) 1, Processen 23 1,50 1, ,75 0, Aantal behand ,75 0, Wachttijden Uitkomst (9) 2 9 Uitkomsten 2,00 2, Be trou w b aa rh ei dsi nter v a l T o e k e n ne n b o ll e n op b a s i s v a n e e n b e t r ouwb a a r h e i d s i n t e rv a l Het betrouwbaarheidsinterval van de samengestelde indicatorwaarde voor een ziekenhuis hangt af van de betrouwbaarheidsintervallen van de onderliggende indicatorwaarden van dat ziekenhuis. De betrouwbaarheidsintervallen worden alleen berekend voor uitkomstindicatoren. Deze indicatoren kunnen van toeval afhankelijk zijn. Als een ziekenhuis bijvoorbeeld het aantal doorligwonden meet, kan het zijn dat er net iemand is opgenomen met doorligwonden. De score is dan hoger. De invloed van deze onzekerheid is 2 28/93

29 kleiner naarmate er gemeten wordt bij meer patiënten of gedurende een langere periode. Dit betekent dat er alleen een betrouwbaarheidsinterval bepaald wordt bij het domein effectiviteit. Binnen de twee andere domeinen zijn geen uitkomstindicatoren opgenomen. Het aantal bolletjes voor het domein effectiviteit, dat ontvankelijk is voor toeval, wordt gebaseerd op de berekende betrouwbaarheidsintervallen rondom de samengestelde score (Figuur 7, Tabel 5). Tabel 5 Indeling bollen voor samengestelde score inclusief betrouwbaarheidsinterval Bolletjes Indeling 4 De ondergrens van het betrouwbaarheidsinterval van de score van het ziekenhuis ligt boven het landelijk gemiddelde plus de standaarddeviatie. 3 1/2 De ondergrens van het betrouwbaarheidsinterval van de score van het ziekenhuis ligt onder het landelijk gemiddelde plus de standaarddeviatie. De score van het ziekenhuis ligt daarboven. 3 De score van het ziekenhuis valt boven het landelijk gemiddelde. De bovengrens van het betrouwbaarheidsinterval van de score van het ziekenhuis valt onder het landelijk gemiddelde plus de standaarddeviatie. 2 1/2 De score van het ziekenhuis valt boven het landelijk gemiddelde. De ondergrens van het betrouwbaarheidsinterval van de score van het ziekenhuis valt daaronder. 2 De score van het ziekenhuis valt onder het landelijk gemiddelde. De bovengrens van het betrouwbaarheidsinterval van de score van het ziekenhuis valt daarboven. 1 1/2 De score van het ziekenhuis valt boven het landelijk gemiddelde minus de standaarddeviatie. De bovengrens van het betrouwbaarheidsinterval van de score van het ziekenhuis valt onder het landelijk gemiddelde. 1 De bovengrens van het betrouwbaarheidsinterval van de score van het ziekenhuis ligt boven het landelijk gemiddelde minus de standaarddeviatie. De score ligt daaronder. 1/2 De bovengrens van het betrouwbaarheidsinterval van de score van het ziekenhuis ligt onder het landelijk gemiddelde minus de standaarddeviatie. De laatste twee scores van 1/2 en 1 bolletje worden samengevoegd en krijgen beide 1 bolletje. 2 29/93

30 Figuur 7 Methode om bolletjes aan scores en betrouwbaarheidsinterval toe te kennen van toevalsindicatoren M on t e C a r l o sim u l atie Met een Monte Carlo simulatie berekenen we de verwachte verdeling van de samengestelde indicatorwaarde per ziekenhuis. Met die verdeling is dan het betrouwbaarheidsinterval van de samengestelde indicatorwaarde te berekenen. In de Monte Carlo simulatie berekent de computer voor ieder ziekenhuis herhaaldelijk een samengestelde indicatorwaarde met de Vergelijking 1, Vergelijking 2 en de * gewichten uit (Tabel 4) (,) voor ziekenhuis j en berekeningsronde k). Daarbij gebruikt de computer de volgende onderliggende indicatorwaardes: Voor de indicatoren zonder betrouwbaarheidsinterval zijn de waardes gelijk aan de geobserveerde indicatorwaardes,. Voor indicatoren met een betrouwbaarheidsinterval trekt de computer voor * ziekenhuis j en indicator i in berekeningsronde k een waarde,,) uit de verwachte verdeling van de waardes van *,. Die verdeling hangt af van de geobserveerde waarde voor indicator i en ziekenhuis j (,) en van het aantal patiënten (, ) waarbij een ziekenhuis j indicator i heeft gemeten. 2 30/93

31 Dit wordt maal herhaald. Uit de berekende waardes van de samengestelde * indicatorwaardes,) worden de verwachte 95%-betrouwbaarheidsintervallen voor de samengestelde indicatorwaarde voor ziekenhuis j ( ) berekend. Voor dit soort indicatoren worden de boven- en ondergrenzen van het betrouwbaarheidsinterval (respectievelijk - en. ) als volgt berekend 14 : Vergelijking 4 Betrouwbaarheidsinterval per indicatorwaarde = ± 1 5 (1 ) In deze formule is de gemeten indicatorwaarde van een ziekenhuis voor patiënten. De indicatorwaarde ligt tussen 0 en 1. Bijvoorbeeld een waarde van 0,03 voor doorligwonden omdat er 6 mensen in een groep van 200 doorligwonden hadden. De parameter 1 is de z-waarde van een normale verdeling waaronder een aandeel van 2 van de geobserveerde indicatorwaardes wordt verwacht als de gemiddelde indicatorwaarde 0 is en de standaarddeviatie 1. Monte Carlo simulatie * De verzameling waardes,) wordt gerealiseerd met een Monte Carlo simulatie met het volgende algoritme per ronde k: De computer genereert een random getal tussen 0 en 1. Dit getal stellen we gelijk aan de parameter in Vergelijking 3. Voor iedere indicator i met betrouwbaarheidsinterval worden voor ieder * ziekenhuis twee waardes van,,) berekend; de onder- en bovengrens ( - en. ) uit formule Agresti en Coull, Approximate is better than exact for interval estimation of binomial proportions, The American Statistician, Vol. 52, No. 2 (mei 1998), pp Deze methode wordt ook door ZiZo gebruikt bij het vaststellen van de vlaggen voor betrouwbaarheid. 2 31/93