Aanvullende vergelijking Zorgkaart Nederland met CQ-index Ziekenhuisopname Maarten Krol Stichting Miletus, april 2014 1
Inhoud Samenvatting... 3 1. Achtergrond... 4 2. Methoden... 4 Gegevens... 4 Analyses... 5 3. Resultaten... 5 3.1 Methodologische verschillen Zorgkaart Nederland en CQ-index... 5 3.2 Verbanden beoordelingen Zorgkaart Nederland en CQ-index... 6 3.3 Respons Zorgkaart Nederland en CQI Ziekenhuisopname... 8 4. Discussie... 10 Bijlage 1. Overzicht geselecteerde ziekenhuizen... 12 Bijlage 2. CQI-thema s met items Ziekenhuisopname verkort... 13 2
Samenvatting Op de website Zorgkaart Nederland (ZKNL) kunnen patiënten Nederlandse zorgaanbieders beoordelen, waaronder ziekenhuizen. Iedereen kan op de website op eigen gelegenheid een beoordeling plaatsen. Dit in tegenstelling tot onderzoeken met de CQ-index, waarbij uitnodigingen na gecontroleerde steekproeftrekking worden verstuurd. Om de validiteit en betrouwbaarheid van deze twee gegevensbronnen te vergelijken, beantwoorden we in deze notitie de volgende vraag: 1. Welke methodologische verschillen zijn er tussen Zorgkaart Nederland en de CQ-index? In een onderzoek van VUmc lijken de gemiddelde (tevredenheids-)oordelen van ziekenhuizen op ZKNL en het algemene waarderingscijfer uit de CQI-meting 2009 redelijk samen te hangen. Er zijn echter nieuwe data beschikbaar (2011 en 2013). Ook kunnen de resultaten mogelijk meer inhoudelijk met elkaar vergeleken worden aan de hand van overeenkomstige thema s: Hoe verhouden de beoordelingen van patiënten zich tussen de twee gegevensbronnen op de totaalscores? En op de afzonderlijke thema s? Tot slot is de zeggingskracht van de gegevensbronnen afhankelijk van de respons: 2. Hoe verhoudt de respons op ZKNL zich tot die op de CQI-vragenlijsten? En zijn hierin trends te ontdekken? Het is goed denkbaar dat ZKNL voor patiënten en zorgaanbieders waardevolle informatie biedt, vooral ook vanuit de toelichting die respondenten kunnen achterlaten bij hun beoordeling. Echter, het onderzoek laat wel zien dat ZKNL-gegevens voor kwantitatief vergelijkend onderzoek tussen zorgaanbieders weinig geschikt is, omdat er geen controle is op wie het invult en over welke behandeling. Bijvoorbeeld voor kwaliteitsinspectie of zorginkoop zijn de cijfers en de methodiek te weinig specifiek, valide en betrouwbaar om beslissingen op te baseren. Representativiteit, casemixcorrectie, specifieke maten en respons zijn daarbij de grote troeven van de CQI ten opzichte van ZKNL. Evenals bij de CQI-meting 2009 worden op de CQ-index in 2011 en 2013 positievere waardeoordelen van de ziekenhuiszorg gevonden dan op ZKNL. Een belangrijk verschil met het VUmc-onderzoek was in eerste instantie de veel lagere correlatie tussen de waarderingscijfers op ziekenhuisniveau van ZKNL en de CQI (0,44 versus 0,65). Dit lijkt echter vooral te maken te hebben gehad met de inclusiecriteria van de ziekenhuizen, op basis van het aantal beoordelingen per ziekenhuis: de correlatie loopt op naarmate er meer beoordelingen per ziekenhuis beschikbaar zijn (tot 0,64 bij minstens 60 waarnemingen per ziekenhuis op zowel ZKNL als CQI). Een inhoudelijke vergelijking van beoordelingen bleek lastig, aangezien maar weinig thema s uit de twee bronnen inhoudelijk exact op elkaar aansluiten. Dit biedt echter nog geen verklaring voor de matige samenhang tussen ZKNL en de CQI, aangezien de onderwerpen wel zeer veel op elkaar lijken. Voor wat betreft de respons lijkt de methodiek van de CQ-index meer vruchten af te werpen dan ZKNL; het aantal beoordelingen is voor de 90 onderzochte ziekenhuizen na zes jaar Zorgkaart Nederland gemiddeld nog lager dan dat van één CQI-meting (85 versus 405). Bovendien spelen er rond de selectie van juiste respondenten een aantal methodologische kwesties. Bijvoorbeeld, wat zijn de achtergrondkenmerken, in welke periode is men behandeld? De enige manier om de representativiteit van ZKNL te verbeteren is door te zorgen dat meer patiënten een beoordeling geven, juist ook als hun ervaring niet zeer uitgesproken slecht of goed was. 3
1. Achtergrond Zorgkaart Nederland (ZKNL) is een website waarop patiënten Nederlandse zorgaanbieders kunnen beoordelen, waaronder ziekenhuizen. De site wordt beheerd door de Nederlandse Patiënten- en Consumentenfederatie (NPCF) en gefinancierd met behulp van diverse sponsoren, waaronder patiëntenverenigingen, zorgaanbieders en adverteerders. Iedereen kan op de website op eigen gelegenheid een beoordeling plaatsen. Dit in tegenstelling tot onderzoeken met de CQ-index, waarbij er vooraf middels een gecontroleerde steekproeftrekking alleen mensen worden uitgenodigd die in een bepaalde periode met een specifieke behandeling of zorgaanbieder te maken hebben gehad. In een onderzoek van VUmc naar de representativiteit lijken de gemiddelde (tevredenheids- )oordelen van ziekenhuizen op ZKNL en het algemene waarderingscijfer (global rating) uit een CQImeting redelijk samen te hangen. 1 Qua spreiding blijkt dat er op ZKNL iets vaker negatief geoordeeld wordt, wat wel weer wordt gecompenseerd door meer oordelen in de hoogste antwoordcategorieën. Voor Miletus is dit onderzoek interessant, aangezien het inzicht geeft in de vergelijkbaarheid van verschillende bronnen van patiëntervaringen. Niet alleen qua beoordeling, maar ook qua responscijfers. Voor de betrouwbaarheid en zeggingskracht van de gegevensbronnen is voldoende respons uiteraard van groot belang. In dat opzicht is het de moeite waard om te kijken in hoeverre patiënten bereid zijn om hun ervaringen te delen via ZKNL en op de CQ-index; hoeveel patiënten nemen er deel? Bovendien zijn er diverse methodologische verschillen tussen ZKNL en de CQ-index, zoals de toegankelijkheid, vraagstelling en bewerking van de antwoorden. Ook deze brengen we kort in kaart. Naast het vergelijken van de twee waarderingscijfers, kunnen de resultaten ook meer inhoudelijk met elkaar vergeleken worden. Daarbij kan gedacht worden aan vergelijking met scores op de CQI-thema s uit de vragenlijst die lijken op de thema s van ZKNL-thema s. Dit levert mogelijk meer gedetailleerde informatie op. In het VUmc-onderzoek is gebruik gemaakt van de CQI-meting 2009 van ziekenhuizen. Er zijn in de daaropvolgende jaren echter nieuwe metingen uitgevoerd. In dit onderzoek worden de nieuwe(re) ziekenhuis metingen van 2011 en 2013 gebruikt. Deze gegevens worden gebruikt bij het beantwoorden van de volgende vragen: 1. Welke methodologische verschillen zijn er tussen Zorgkaart Nederland en de CQ-index? 2. Hoe verhouden de beoordelingen van patiënten zich tussen de twee gegevensbronnen op de totaalscores? op de afzonderlijke thema s? 3. Hoe verhoudt de respons op ZKNL zich tot die op de CQI-vragenlijsten? En zijn hierin trends te ontdekken? 2. Methoden Gegevens De NPCF heeft de beoordelingen van ZKNL doorgegeven aan Miletus, het betreft alle gegevens vanaf de start/oprichting van de website (2008) tot en met december 2013. Daaruit zijn de beoordelingen van patiënten over ziekenhuizen geselecteerd. Daar tegenover zijn de gegevens uit de CQI-metingen over ziekenhuisopname (2011 en 2013) gezet, afkomstig van Miletus. Om het verband tussen de gegevensbronnen te kunnen onderzoeken, zijn alleen ziekenhuizen geselecteerd die in beide bronnen voorkomen. Dit leidde tot een selectie van 90 ziekenhuizen (bijlage 1 geeft een overzicht). 1 Geeft ZorgkaartNederland.nl een representatief beeld van de kwaliteit van zorgaanbieders? R. Geesink & X. Koolman (Talma Instituut, VUmc Amsterdam), 2013. 4
Analyses Op ZKNL wordt een zestal thema s uitgevraagd, waarop respondenten een rapportcijfer (1-10) geven aan de zorgverlener: 1. Afspraken; 2. Accommodatie; 3. Medewerkers; 4. Luisteren; 5. Informatie en 6. Behandeling. Deze zes rapportcijfers worden gemiddeld tot een totaalscore die getoond wordt op de website. Deze score wordt vergeleken met het gemiddelde algemene waarderingscijfer van de CQI per ziekenhuis, zoals ook in het VUmc-onderzoek is gedaan, in paragraaf 3.2. Uit het onderzoek van de Geesink & Koolman (2013) bleek dat de gemiddelde waarderingscijfers over alle respondenten op ZKNL (7,84) en de CQI Ziekenhuisopname (7,97) significant van elkaar verschilden. Hierbij hebben zij de waarderingen op respondentniveau met elkaar vergeleken over alle ziekenhuizen. In dit onderzoek hebben we dit op een iets andere wijze bekeken, namelijk aan de hand van gemiddelde scores per ziekenhuis. Als verdieping van het VUmc-onderzoek is bekeken in hoeverre de afzonderlijke ZKNL-thema s samenhangen met het algemene rapportcijfer uit de CQI. Bovendien zijn de scores van de ZKNL-thema s vergeleken die van relevante CQI-thema s. Vergelijkingen zijn gedaan aan de hand van Pearson correlatiecoëfficiënten. Zoals bekend worden CQI-resultaten van zorgaanbieders altijd gecorrigeerd voor relevante respondentkenmerken. Bij ZKNL is dit niet het geval. Daarom zullen in de analyses ongecorrigeerde CQI-gegevens worden gebruikt. Daarnaast is er nog de vraag over de respons op beide instrumenten. Hiervoor zal gekeken worden naar het aantal beoordelingen op ZKNL over diverse periodes en per zorgaanbieder, vergeleken met het aantal ingevulde CQI-vragenlijsten. Dit is weergegeven in paragraaf 3.3. 3. Resultaten 3.1 Methodologische verschillen Zorgkaart Nederland en CQ-index Doelgroep en respons Via ZKNL kan iedereen een beoordeling plaatsen over een bepaalde zorgaanbieder. Er worden geen steekproeven getrokken en de representativiteit van respondenten is niet te controleren. Met een cynische blik valt op te merken dat er geen controle is of de beoordelaar überhaupt bij de betreffende zorgaanbieder is geweest. Ook zou men meerdere beoordelingen over dezelfde zorgaanbieder kunnen plaatsen. Bij het aanmelden om een beoordeling te geven worden weliswaar een aantal drempels ingebouwd om mogelijk misbruik te voorkomen en men moet zich conformeren aan de gedragscode, maar het valt niet uit te sluiten. In dit opzicht is de validiteit van CQI-metingen niet alleen groter omdat specifieke patiënten worden uitgenodigd, maar ook omdat de uitnodigingen worden verstuurd naar patiënten die binnen een bepaald tijdskader en specialisme zorg hebben ontvangen. Dit valt helaas niet te controleren bij beoordelingen op ZKNL; er is niet met zekerheid te zeggen wanneer respondenten een bepaalde zorgaanbieder of zorgverlener hebben bezocht. Daardoor zijn verschillen in de tijd lastig te bepalen. Desondanks zullen er mogelijk over lange termijn wel trends zichtbaar zijn; het is te verwachten dat men niet lang na een behandeling of bezoek een beoordeling zal plaatsen. Een groei van het aantal oordelen per zorgaanbieder maakt de gegevens van ZKNL mogelijk betrouwbaarder. Dit valt onder de theorie van big data ; door de grote hoeveelheid oprechte beoordelingen, is de invloed van outliers ( toevallige zeer lage en hoge beoordelingen) minder groot. Bovendien lijkt het er vooralsnog op dat met name meer ontevreden en meer tevreden patiënten een beoordeling plaatsen; de gematigd tevreden patiënt zal zich hiertoe minder geneigd voelen. Zeker bij een klein aantal beoordelingen kan dit gevolgen hebben voor de positie van de 5
zorgaanbieder op de website. Dit kan eventueel opgelost worden door de patiënt actief uit te nodigen en aan te moedigen om een beoordeling te plaatsen, zoals bij enkele zorgaanbieders gebeurt of lijkt te gebeuren. Hierdoor kan een evenwichtiger beeld ontstaan van de zorgaanbieder. Casemix Op ZKNL worden beoordelingen geplaatst op zes thema s, die omgerekend worden naar één waarderingscijfer. Waarom men een bepaald cijfer geeft kan toegelicht worden in een open tekstveld. Nu is het bekend dat de antwoordstijl m.b.t. ervaringen en beoordelingen van patiënten beïnvloed kunnen worden door hun achtergrondkenmerken. Deze invloed kan los staan van de daadwerkelijk verleende zorg; de ervaring is anders voor verschillende patiëntengroepen. Om deze reden worden resultaten uit de CQ-index vragenlijsten vrijwel altijd gecorrigeerd voor de leeftijd, het opleidingsniveau en de ervaren gezondheid van de respondent. Hiermee worden zorgaanbieders met een groter aandeel van een bepaalde patiëntengroep niet benadeeld of bevoordeeld bij de presentatie van hun resultaten. Bovendien worden de CQI-resultaten nog gecorrigeerd voor het aantal respondenten dat heeft meegedaan. Omdat bij een klein aantal respondenten de kans op afwijkende scores groter is (door een toevallig positieve of juist negatieve steekproef), worden de scores van zorgaanbieders met een klein aantal respondenten meer gecorrigeerd richting het gemiddelde over alle zorgaanbieders (zgn. Empirical-Bayes-schattingen). Daarnaast wordt er bij het presenteren van de resultaten voor gekozen om de scores van zorgaanbieders niet te tonen als zij minder dan 10 respondenten hebben. Op ZKNL worden de beoordelingen ongecorrigeerd getoond; er vindt geen correctie van de gegevens plaats voor wat betreft achtergrondkenmerken van de invullers. Dit maakt een vergelijking tussen zorgaanbieders wellicht minder eerlijk; het is goed mogelijk dat twee ziekenhuizen die dezelfde kwaliteit van zorg leveren verschillen in hun scores, doordat hun patiëntengroep verschilt. Ook vindt er op ZKNL geen correctie of selectie plaats op basis van het aantal beoordelingen; ook als er slechts één beoordeling is geplaatst, komt dit in beeld. 3.2 Verbanden beoordelingen Zorgkaart Nederland en CQ-index Waarderingscijfer De gemiddelde score over de 90 ziekenhuizen bleek 7,56 te zijn op ZKNL (2008-2013) en 7,97 op de CQI (2011 & 2013). De gemiddelden zijn significant verschillend van elkaar (gepaarde t-toets); op ZKNL worden ziekenhuizen gemiddeld lager beoordeeld dan op de CQI. Deze conclusie is overeenkomstig met het VUmc-onderzoek. Tabel 3.1 Gemiddelde waarderingscijfers ziekenhuizen ZKNL en CQI per jaar ZKNL CQI Gem. waarderingscijfer s.d. N Gem. waarderingscijfer s.d. N 2008 6,95 1,2 76 - - - 2009 5,74 2,1 51 - - - 2010 7,20 0,7 89 - - - 2011 7,31 1,1 89 7,95 0,3 90 2012 7,53 0,8 89 - - - 2013 7,98 0,7 89 8,02 0,2 38 Totaal 7,56 0,6 90 7,97 0,3 90 6
Wat is de statistische samenhang tussen de twee waarderingscijfers? Geesink & Koolman vonden een Pearson s correlatie van 0,65 voor de waarderingscijfers van ZKNL en CQI op ziekenhuisniveau (N=75). In ons onderzoek blijkt dit verband opvallend veel lager uit te vallen; over de 90 ziekenhuizen wordt er een Pearson s correlatie van 0,44 gevonden tussen ZKNL en de CQI (sign. bij p<0,001). Dit verband is zwak te noemen en suggereert dat het waarderingscijfer op ZKNL ten opzichte van de CQImetingen 2011 en 2013 minder representatief is dan voor de meting van 2009 (gebruikt in het VUmconderzoek). Dit lijkt echter vooral te maken te hebben gehad met de inclusiecriteria van de ziekenhuizen, op basis van het aantal beoordelingen per ziekenhuis: de correlatie loopt op naarmate er meer beoordelingen per ziekenhuis beschikbaar zijn (tot 0,64 bij minstens 60 waarnemingen per ziekenhuis op zowel ZKNL als CQI). Daarnaast lijkt het er in tabel 3.1 op dat het waarderingscijfer op ZKNL steeds meer gaat lijken op dat van de CQI. Dit is ook te zien aan de aparte correlatie tussen de gemiddelde score op ZKNL en de twee afzonderlijke CQI-metingen. Voor de meting 2011 is dit 0,42 en voor de meting 2013 0,53. Dit is echter nog steeds ver verwijderd van de 0,65 uit het VUmconderzoek. Tot slot blijkt de spreiding in scores op ZKNL ook met de jaren iets is afgenomen. Figuur 3.1 geeft het verband tussen de waarderingscijfers op ZKNL en de CQI grafisch weer. Hieruit blijkt duidelijk dat de gemiddelde scores per ziekenhuis op ZKNL meer van elkaar verschillen dan op de CQI. Figuur 3.1 Verband gemiddelde waarderingscijfers ZKNL (Gem_waardering_mean) en CQI (vr035_gem) Inhoudelijke thema s Daarnaast zijn de beoordelingen ook per thema met elkaar vergeleken. Dit wordt hieronder weergegeven in tabel 3.2. Er zijn maar weinig thema s en items uit beide bronnen die inhoudelijk goed bij elkaar aansluiten en een vergelijking mogelijk maken. 7
Tabel 3.2 Pearson s correlaties tussen thema s Zorgkaart Nederland en CQ-index Thema Zorgkaart NL (0-10) Thema/item CQI Correlatie Afspraken: Was het eenvoudig om een afspraak of Waarderingscijfer 0,38** behandelplan met deze zorgaanbieder te maken? Accommodatie: Is de behandelruimte of woon- en verblijfruimte net, schoon en toegankelijk? Medewerkers: Bent u vriendelijk en patiëntgericht geholpen door het ondersteunende zorgpersoneel? Luisteren: Is uw vraag, probleem of hulpverzoek goed begrepen? Informatie: Hebt u voldoende informatie gekregen over het (vervolg van) uw behandeling? Behandeling: Hoe beoordeelt u het (voorlopige) effect van uw behandeling? Aanbeveling: Zou u deze zorginstelling aanbevelen bij uw familie en vrienden? **: sign. bij p<0,001; *: sign. bij 0,05. 12. Waren het toilet, de douche en de 0,49** badkamer op of bij de kamer schoon? Waarderingscijfer 0,48** T2: Communicatie verpleegkundigen 0,40** Waarderingscijfer 0,38** T2: Communicatie verpleegkundigen 0,44** T3: Communicatie artsen 0,38** Waarderingscijfer 0,42** T5. Uitleg behandeling 0,40** Waarderingscijfer 0,46** Waarderingscijfer 0,39** Aanbevelingsvraag 2011 (1-4) 0,25* Aanbevelingsvraag 2013 (0-10) 0,38* Alle correlaties blijken (zeer) significant, maar zijn zwak tot matig voor alle vergelijkingen. Het thema Accommodatie van ZKNL laat nog de sterkste samenhang zien met de CQI (voor zowel het losse item als het waarderingscijfer), maar ook deze correlaties zijn matig. De vergelijkbaarheid van ZKNL en de CQ-index is daarmee matig te noemen. De items bij de CQI-thema s en de correlaties met de losse items zijn weergegeven in bijlage 2. 3.3 Respons Zorgkaart Nederland en CQI Ziekenhuisopname Tabel 3.3 geeft het aantal beoordelingen weer over de ziekenhuizen, opgesplitst naar categorieën. Daaraan is te zien dat 68 van de 90 ziekenhuizen (75%) tot nu toe minder dan 100 beoordelingen hebben gekregen op ZKNL. Er zijn echter ook uitschieters, zoals de Gelre Ziekenhuizen met bijna 850 beoordelingen. Zoals op de website van ZKNL vermeld is, zijn er ook ziekenhuizen die het gebruik van Zorgkaart zelf actief promoten onder hun patiënten. Dit is vooral terug te zien in de hoge respons bij het Deventer Ziekenhuis (N=2.002). 8
Het aantal respondenten op de CQI-metingen van 2011 en 2013 ligt een stuk hoger; op één ziekenhuis na zijn er van elk ziekenhuis minstens 100 beoordelingen en twee derde van de ziekenhuizen heeft er 150 of meer. Tabel 3.3 Aantal beoordelingen op Zorgkaart Nederland en CQ-index voor 90 ziekenhuizen (2008-2013) Zorgkaart Nederland (2008-2013) CQ-index (2011 & 2013) Aantal beoordelingen N ziekenhuizen % N ziekenhuizen % 1-20 1 1,1 0 0,0 21-40 18 20,0 0 0,0 41-60 26 28,9 0 0,0 61-80 10 11,1 0 0,0 81-100 13 14,1 1 1,1 / 101-150 8 8,9 30 33,3 151-200 6 6,7 20 22,2 / 201-300 4 4,4 1 1,1 301-500 2 2,2 0 0,0 / 500-750 0 0,0 26 28,9 751-1.000 1 (846) 1,1 8 8,9 1.001-2.000 0 0,0 4 4,4 >2.000 1 (2.002) 1,1 0 0,0 In figuur 3.2 staat het verband tussen de respons op ZKNL en de CQI grafisch weergegeven. Daarin is ook duidelijk te zien dat de meeste ziekenhuizen tot 200 beoordelingen (maar vaak minder) hebben op ZKNL en veel ziekenhuizen 150 of meer op de CQI. Aan de linkerzijde zijn echter de Gelre Ziekenhuizen en het Deventer Ziekenhuis duidelijk te zien als uitbijters op ZKNL. Figuur 3.2 Vergelijking respons Zorgkaart Nederland (2008-2013) en CQI Ziekenhuisopname (2011 & 2013) 9
In tabel 3.4 staan de reacties weergegeven op ZKNL en de CQ-index, uitgesplitst naar jaar. Aangezien Gelre Ziekenhuizen en het Deventer Ziekenhuis de responscijfers enorm beïnvloeden, zijn de aantallen voor ZKNL zowel zonder als met (tussen haakjes) deze twee ziekenhuizen getoond. Tabel 3.4 Respons Zorgkaart Nederland en de CQ-index Ziekenhuisopname voor 90 ziekenhuizen ZKNL Aantal reacties 389 (391) Gem. per ziekenhuis 4,4 (4,3) 2008 2009 2010 2011 2012 2013 Totaal 85 (93) 1,0 (1,0) 1.525 (1.582) 17,3 (17,6) 875 (1.432) 9,9 (15,9) 1.942 (3.075) 22,1 (34,2) 2.674 (3.783) 30,4 (42,0) 7.490 (10.356) 85,1 (115,1) CQ-index Aantal reacties - - 14.445-22.030 36.475 Gem. per ziekenhuis - - 160,5-579,7* 405,3 *: N=38 De eerste reacties over ziekenhuiszorg zijn eind februari 2008 op ZKNL geplaatst. Het is duidelijk te zien dat patiënten de site eerst nog moesten vinden; in 2010 was er een flinke groei, weliswaar gevolgd door een dal in 2011. Vooral in 2012 en 2013 zijn er veel beoordelingen geplaatst, al dient opgemerkt te worden dat daarvan maar liefst 36 (2012) en 29 procent (2013) beoordelingen afkomstig waren van patiënten van Gelre Ziekenhuizen of het Deventer Ziekenhuis. Uit de totalen valt duidelijk op te maken dat twee metingen met de CQ-index meer beoordelingen hebben opgeleverd dan zes jaar ZKNL; ruim drie keer zoveel. 4. Discussie Evenals in het onderzoek van Geesink & Koolman werden op de CQ-index positievere waardeoordelen van de ziekenhuiszorg gevonden dan op ZKNL. Hoewel de gemiddelden over alle 10
ziekenhuizen meer op elkaar zijn gaan lijken door de jaren, zijn respondenten op ZKNL nog steeds gemiddeld negatiever dan die bij de CQ-index. We vonden in eerste instantie een veel lagere correlatie tussen de waarderingscijfers op ziekenhuisniveau van ZKNL en de CQI dan in het VUmc-onderzoek (0,44 versus 0,65). Dit lijkt echter vooral te maken te hebben gehad met het aantal beoordelingen per ziekenhuis: de correlatie liep op naarmate er meer beoordelingen per ziekenhuis beschikbaar waren (tot 0,64 bij minstens 60 waarnemingen per ziekenhuis op zowel ZKNL als CQI). Een inhoudelijke vergelijking van beoordelingen bleek lastig, aangezien maar weinig thema s uit de twee bronnen inhoudelijk exact op elkaar aansluiten. Dit biedt echter nog geen verklaring voor de matige samenhang tussen ZKNL en de CQI, aangezien de onderwerpen wel zeer veel op elkaar lijken. Wat wel opviel, was dat het algemene waarderingscijfer uit de CQI de meeste samenhang vertoonde met de onderwerpen Accommodatie en Informatie (over behandeling) op ZKNL. Voor wat betreft de respons lijkt de methodiek van de CQ-index meer vruchten af te werpen dan ZKNL; het aantal beoordelingen is voor deze 90 ziekenhuizen na zes jaar Zorgkaart Nederland gemiddeld nog lager dan dat van één CQI-meting (85 versus 405). Bovendien spelen er rond de selectie van juiste respondenten een aantal methodologische kwesties, die voor ZKNL niet gemakkelijk op te lossen zijn. Hoewel het ook bij de respondenten op de CQ-index soms de vraag is in hoeverre zij representatief zijn voor de hele doelgroep, speelt dit probleem bij Zorgkaart Nederland in nog veel grotere mate. Bijvoorbeeld, wat zijn de achtergrondkenmerken, in welke periode is men behandeld? Zoals ook gesuggereerd door Koolman en Geesink is de enige manier om de representativiteit van ZKNL te verbeteren door te zorgen dat meer patiënten een beoordeling geven, juist ook als hun ervaring niet zeer uitgesproken slecht of goed was. Het is goed denkbaar dat ZKNL voor patiënten en zorgaanbieders waardevolle informatie biedt. Niet alleen vanuit de gegeven cijfers, maar vooral ook vanuit de toelichting die respondenten achterlaten bij hun beoordeling. Dit kan voor zorgaanbieders aanknopingspunten bieden voor verbetering. Echter, het onderzoek laat wel zien dat ZKNL-gegevens voor kwantitatief vergelijkend onderzoek tussen zorgaanbieders weinig geschikt is. Bijvoorbeeld voor kwaliteitsinspectie of zorginkoop zijn de cijfers en de methodiek te weinig specifiek, valide en betrouwbaar om beslissingen op te baseren. Representativiteit, casemix-correctie, specifieke maten en respons zijn daarbij de grote troeven van de CQI ten opzichte van ZKNL. 11
Bijlage 1. Overzicht geselecteerde ziekenhuizen Academisch Medisch Centrum Medisch Spectrum Twente Admiraal De Ruyter Ziekenhuis Onze Lieve Vrouwe Gasthuis Albert Schweitzer ziekenhuis Orbis Medisch Centrum Amphia Ziekenhuis Radboudumc Antoni van Leeuwenhoek - NL Kanker Instituut Refaja Ziekenhuis Antonius Ziekenhuis Reinier de Graaf Gasthuis Atrium Medisch Centrum Parkstad Rijnland Ziekenhuis Beatrixziekenhuis Rijnstate Bernhoven Rode Kruis Ziekenhuis BovenIJ ziekenhuis Röpcke-Zweers Ziekenhuis Canisius-Wilhelmina Ziekenhuis Scheper Ziekenhuis Catharina Ziekenhuis Sint Franciscus Gasthuis Deventer Ziekenhuis Sint Lucas Andreas Ziekenhuis Diaconessenhuis Leiden SJG Weert Diaconessenhuis Meppel Slingeland Ziekenhuis Diakonessenhuis Slotervaartziekenhuis Elkerliek ziekenhuis Spaarne Ziekenhuis Erasmus MC Spijkenisse Medisch Centrum Flevoziekenhuis St. Anna Ziekenhuis Franciscus Ziekenhuis Roosendaal St. Antonius Ziekenhuis Gelre ziekenhuis St. Elisabeth Ziekenhuis Gemini Ziekenhuis Streekziekenhuis Koningin Beatrix Groene Hart Ziekenhuis Tergooi Ziekenhuis HagaZiekenhuis TweeSteden ziekenhuis Havenziekenhuis en Instituut voor Tropische Ziekten UMC Groningen Het Van Weel-Bethesda ziekenhuis UMC Utrecht IJsselland Ziekenhuis VieCuri Ikazia ziekenhuis Vlietland Ziekenhuis Isala, polikliniek Kampen VU medisch centrum Jeroen Bosch Ziekenhuis Waterlandziekenhuis Kennemer Gasthuis Westfriesgasthuis LangeLand Ziekenhuis Wilhelmina Ziekenhuis Assen Laurentius Ziekenhuis Zaans Medisch Centrum Leids UMC ZGT Lievensberg Ziekenhuis Ziekenhuis Amstelland Maasstad Ziekenhuis Ziekenhuis Bethesda Maastricht UMC Ziekenhuis Bronovo Maasziekenhuis Pantein Ziekenhuis De Sionsberg Martini Ziekenhuis Ziekenhuis Gelderse Vallei Máxima Medisch Centrum Ziekenhuis Nij Smellinghe MC Zuiderzee Ziekenhuis Rivierenland Meander Medisch Centrum Ziekenhuis St Jansdal Medisch Centrum Alkmaar Ziekenhuis Tjongerschans Medisch Centrum Haaglanden ZorgSaam Ziekenhuis Medisch Centrum Leeuwarden Zuwe Hofpoort Ziekenhuis 12
Bijlage 2. CQI-thema s met items Ziekenhuisopname verkort T1. Inhoud opnamegesprek 4a uw rechten als patiënt (klachtprocedure, enzovoorts) 4b wat er gaat gebeuren bij de opname 4c een kaart of film over patiëntveiligheid 4d de persoon in het ziekenhuis bij wie u terecht kunt met vragen 4e de medicijnen die u gebruikt 4f of u wel of niet gereanimeerd wilt worden 4g eventuele dieet- en voedingsvoorschriften 4h eventuele overgevoeligheid voor stoffen/medicijnen 4i uw voorlopige ontslagdatum 4j uw persoonlijke wensen tijdens de opname T2. Communicatie verpleegkundigen 6 Luisterden de verpleegkundigen aandachtig naar u? 7 Hadden de verpleegkundigen genoeg tijd voor u? 8 Legden de verpleegkundigen u dingen op een begrijpelijke manier uit? T3. Communicatie artsen 9 Hadden de artsen genoeg tijd voor u? 10 Legden de artsen u dingen op een begrijpelijke manier uit? T4. Eigen inbreng 13 Had u genoeg privacy bij uw persoonlijke verzorging? 14 Kon u bezoek ontvangen op de tijdstippen dat u dat wilde? 15 Kon u zich ongestoord even terugtrekken wanneer u dat wilde? 17 Kon u eten op de tijdstippen dat u dat wilde? 25 Kon u bij uw opname in het ziekenhuis meebeslissen over zaken die u belangrijk vindt? T5. Uitleg behandeling 18 Vertelden artsen of verpleegkundigen u vooraf waarom een behandeling, onderzoek of ingreep nodig was? 19 Vertelden artsen of verpleegkundigen u vooraf wat een behandeling, onderzoek of ingreep precies inhield? 20 Vertelden artsen of verpleegkundigen u op een begrijpelijke manier over de eventuele bijwerkingen of gevolgen van de behandeling, onderzoek of ingreep? T6. Pijnbeleid 21 Reageerden medewerkers van het ziekenhuis snel wanneer u aangaf pijn te hebben? 22 Werd uw pijn goed onder controle gehouden? T7. Communicatie medicatie 23 Voordat u een nieuw geneesmiddel kreeg of de medicatie werd veranderd, werd toen verteld waarvoor het nieuwe geneesmiddel diende? 24 Voordat u een nieuw geneesmiddel kreeg of de medicatie werd veranderd, werden toen de mogelijke bijwerkingen op een begrijpelijke manier uitgelegd? T8. Gevoel veiligheid 27 Werd, bij het verstrekken van medicijnen, nagegaan of dit medicijn ook echt voor u bestemd was, bijvoorbeeld door te vragen naar uw naam of het controleren van uw polsbandje? 28 Werd, voordat een behandeling, onderzoek of ingreep begon, gecontroleerd of u de juiste persoon was, bijvoorbeeld door te vragen naar uw naam en geboortedatum? 29 Hadden medewerkers van het ziekenhuis genoeg aandacht voor 13
onveilige situaties? T9. Informatie bij ontslag 30 Kreeg u, bij uw ontslag uit het ziekenhuis, schriftelijke en mondelinge informatie over het gebruik van nieuwe medicijnen in combinatie met geneesmiddelen die u al gebruikte? 31 Kreeg u, bij uw ontslag uit het ziekenhuis, informatie over eventuele klachten of gezondheidsproblemen waarop u moest letten? 32 Kreeg u, bij uw ontslag uit dit ziekenhuis, informatie over welke activiteiten u wel en niet kon doen? 33 Hebt u, voor uw ontslag uit het ziekenhuis, met medewerkers van het ziekenhuis gesproken over de hulp die u na uw ontslag wellicht nodig zou hebben? 34 Hebt u, bij uw ontslag uit het ziekenhuis, informatie gekregen over wat u moet doen als er na uw ontslag problemen optreden? Rapportcijfer 35 Welk cijfer geeft u dit ziekenhuis? Een 0 betekent: heel erg slecht. Een 10 betekent: uitstekend. Pearson s correlaties tussen Zorgkaart Nederland thema s en CQI-thema s en items Luisteren Informatie Medewerkers Afspraken Behandeling Accommodatie CQI-waardering 0,42 ** 0,46 ** 0,38 ** 0,38 ** 0,39 ** 0,48 ** T2. Communicatie verpleegkundigen 0,44 ** 0,45 ** 0,40 ** 0,40 ** 0,35 ** 0,39 ** T3. Communicatie artsen 0,38 ** 0,39 ** 0,35 ** 0,32 ** 0,34 ** 0,28 ** T5. Uitleg behandeling 0,39 ** 0,40 ** 0,34 ** 0,32 ** 0,31 ** 0,31 ** vr06 Aandachtig luisteren verpleegkundigen (T2) 0,45 ** 0,45 ** 0,41 ** 0,42 ** 0,36 ** 0,40 ** vr07 Genoeg tijd verpleegkundigen (T2) 0,40 ** 0,42 ** 0,36 ** 0,35 ** 0,33 ** 0,36 ** vr08 Begrijpelijke uitleg verpleegkundigen (T2) 0,41 ** 0,42 ** 0,38 ** 0,37 ** 0,31 ** 0,35 ** vr09 Genoeg tijd artsen (T3) 0,38 ** 0,40 ** 0,36 ** 0,34 ** 0,35 ** 0,31 ** vr10 Begrijpelijke uitleg artsen (T3) 0,37 ** 0,37 ** 0,33 ** 0,29 ** 0,32 ** 0,25 * vr12 Toilet/douche/badkamer schoon 0,29 ** 0,32 ** 0,29 ** 0,26 * 0,24 * 0,49 ** vr18 Vooraf verteld waarom ingreep nodig (T5) 0,38 ** 0,40 ** 0,34 ** 0,33 ** 0,32 ** 0,31 ** vr19 Vooraf verteld wat ingreep inhield (T5) 0,36 ** 0,37 ** 0,32 ** 0,29 ** 0,27 ** 0,29 ** vr20 Begrijpelijke uitleg bijwerkingen ingreep (T5) 0,38 ** 0,39 ** 0,33 ** 0,32 ** 0,32 ** 0,30 ** **: sign. bij p<0,001; *: sign. bij p<0,05. N=90. 14