Handle with Care Een handreiking voor het gebruik van de resultaten van het kwaliteitskader Verantwoorde zorg Versie 1.0 ActiZ Oudlaan 4, 3515 GA Utrecht Postbus 8258, 3503 RG Utrecht Telefoon 030 2739393 Fax 030 2739787 E-mail: info@actiz.nl Branchebelang Thuiszorg Nederland (BTN) Everdenberg 5, 4902 TT Oosterhout Postbus 4050, 4900 CB Oosterhout Telefoon 0162 460077 Fax 0162 434400 E-mail: info@branchebelang-thuiszorg.nl Zorgverzekeraars Nederland Sparrenheuvel 16, 3708 JC Zeist Postbus 530, 3700 AM Zeist Telefoon 030 6988911 Fax 030 6988533 E-mail info@zn.nl ActiZ BTN - ZN 1
Eigendom en gebruiksrecht van deze handreiking Deze handreiking is eigendom van ActiZ, BTN en ZN en is ontwikkeld in samenwerking met het Centrum Klantervaring Zorg en Significant. De handreiking is openbaar en mag door derden worden gebruikt. Aanpassen of overnemen van (delen van) de handreiking mag enkel na voorafgaande schriftelijke toestemming van alle drie partijen. Deze publicatie is gratis te downloaden via het Ledennet van ActiZ op www.actiz.nl, via de ledensite van BTN, www.branchebelang-thuiszorg.nl en de website van Zorgverzekeraars Nederland, www.zn.nl. ActiZ, BTN, ZN juni 2011 ActiZ BTN - ZN 2
Inhoudsopgave Voorwoord... 4 Aanleiding en opzet van de handreiking... 5 Uitkomsten cliëntervaringen... 6 Veelgestelde vragen... 8 1. Wat is het minimum aantal cliënten per OE waarvoor CQ-gegevens moeten worden verzameld?... 8 2. Wat betekenen de sterren van de CQ-index nu precies?... 8 3. Is een score van 1 of 5 sterren bij de CQ-index altijd haalbaar?... 9 4. Kunnen de sterren van 2010 vergeleken worden met die van een vorige meting?... 9 5. Voor welke kenmerken van cliënten wordt gecorrigeerd (casemix-correctie) bij de berekening van CQ- indicatoren?...10 6. Worden alle items uit de CQ-index meegenomen in berekening van indicatoren?...10 7. Kan het rapportcijfer uit de CQ-index worden gezien als een totaalscore?...10 8. Kan op basis van de CQ-index een totaalscore berekend worden?...11 9. Wat zijn aandachtspunten bij het maken van een selectie of het toepassen van een weging?...11 10. Kan een rangorde worden gemaakt op basis van de indicatoren?...11 Referenties...11 ActiZ BTN - ZN 3
Voorwoord Voor u ligt de handreiking Handle with Care, dat hoort bij het kwaliteitskader Verantwoorde zorg voor de Verpleging, Verzorging en Zorg thuis. De handreiking heeft als doel zorgvuldig gebruik van de indicatoren van het kwaliteitskader te bevorderen. Deze handreiking is opgesteld door ActiZ organisatie van zorgondernemers, Branchebelang Thuiszorg Nederland (BTN) en Zorgverzekeraars Nederland (ZN). Het Centrum Klantervaring Zorg en Significant zijn betrokken om de handreiking inhoudelijk mede vorm te geven en te zorgen voor een objectief eindresultaat. ActiZ, BTN en ZN nemen deel aan de Stuurgroep Verantwoorde zorg die het kwaliteitskader beheert. Samen met de overige stuurgroepleden vinden zij het van groot belang dat de kwaliteit van de zorgverlening in de VV&T wordt gemeten en inzichtelijk wordt gemaakt. Dit document is ontwikkeld omdat een handzame uitleg over de wijze waarop de resultaten uit het kwaliteitskader Verantwoorde zorg geïnterpreteerd moeten worden ontbrak. Daardoor is het ook niet duidelijk waar deze uitkomsten zich wel en niet voor lenen. ActiZ, BTN en ZN hebben de handen ineen geslagen om aan dit probleem tegemoet te komen. De titel Handle with care geeft aan dat de rode draad van de handreiking is dat de resultaten vooral met zorg geïnterpreteerd en verwerkt moeten worden; misinterpretatie ligt op de loer. Deze handreiking richt zich enkel op de cliëntervaringen zoals deze worden verzameld met de CQindex VV&T. De handreiking gaat niet in op de interpretatie van de zorginhoudelijke indicatoren. Voor de zorginhoudelijke indicatoren is voor het meetjaar 2010 een aantal fouten geconstateerd, die een juist gebruik van de resultaten voor 2010 onmogelijk maken. ActiZ heeft de zorgkantoren en de Inspectie van de Gezondheidszorg opgeroepen de uitkomsten op de zorginhoudelijke indicatoren van 2010 niet te gebruiken voor zorginkoop en toezicht. Dit is de eerste versie van de handreiking bij de cliëntervaringen van het kwaliteitskader Verantwoorde zorg. De inhoud van deze handreiking is besproken met een afvaardiging van leden van ActiZ, BTN en ZN op 18 mei 2011. Aan de hand van deze bespreking is de handreiking aangepast. De auteurs willen graag expliciet benadrukken dat de handreiking moet worden gezien als een groeidocument. De handreiking zal worden aangepast op basis van nieuwe vragen en inzichten. ActiZ organisatie van zorgondernemers, Branchebelang Thuiszorg Nederland, Zorgverzekeraars Nederland, Juni 2011 ActiZ BTN - ZN 4
Aanleiding en opzet van de handreiking Het kwaliteitskader Verantwoorde zorg Het kwaliteitskader Verantwoorde zorg is ontwikkeld om de kwaliteit van de zorg in de Verpleging, Verzorging en Zorg Thuis (VVT) zichtbaar te maken en te verbeteren, zodat de zorg zo optimaal mogelijk en op vakbekwame wijze de kwaliteit van leven van cliënten ondersteunt. Het kwaliteitskader VVT richt zich op langdurige en/of complexe zorg die geleverd wordt door zorgorganisaties. Dit kan zorg zijn binnen de muren van een zorgorganisatie of thuis bij de cliënt (kwaliteitskader verantwoorde zorg, 2010). De visie voor het kwaliteitskader is vastgesteld in 2005. In 2007 is hier een indicatorenset aan toegevoegd. Op dit moment worden de resultaten uit het kwaliteitskader als volgt ingezet: Voor het bepalen van interne verbeterpunten van zorgorganisaties. Als criteria bij de zorginkoop door zorgkantoren. Voor het bepalen van bezoekprioriteiten door de Inspectie voor de Gezondheidszorg. Als keuze-informatie voor consumenten, bijvoorbeeld via websites van het RIVM. (kiesbeter.nl), de Consumentenbond, de Volkskrant. Voor het zichtbaar maken van de kwaliteit van de branche voor politiek en maatschappij. Het instrumentarium van het kwaliteitskader Verantwoorde zorg kent twee onderdelen: 1) de Zorginhoudelijke Indicatoren (ZI), zoals gemeten door de zorgorganisaties en 2) de cliëntervaringen, zoals gemeten met de CQ-index door onafhankelijke meetbureau s. Deze handreiking richt zich expliciet op de indicatoren m.b.t. de cliëntervaringen. De handreiking beschrijft handzaam hoe de uitkomsten op deze indicatoren geïnterpreteerd moeten worden, en hoe deze op een verantwoorde manier gebruikt kunnen worden. Daarbij ligt de focus op de openbaar beschikbare informatie. De informatie in deze handreiking is gebaseerd op bestaande informatie, vaak beschikbaar via het internet. Alle gebruikte bronnen zijn opgenomen in de referenties. Doelgroep De handreiking is bedoeld voor de professionele gebruikers van de resultaten van de CQ-index van het kwaliteitskader Verantwoorde zorg. Daarmee bedoelen we de organisaties en medewerkers die de resultaten verder verwerken, gebruiken en interpreteren. Bijvoorbeeld voor doelen als interne kwaliteitsverbetering, zorginkoop, toezicht, het informeren van consumenten, maatschappelijke verantwoording, onderzoek, et cetera. De berekeningen die worden uitgevoerd op de gegevens uit het kwaliteitskader zijn vaak complex; wij hebben geprobeerd deze berekeningen zo helder mogelijk weer te geven. Desalniettemin zullen sommige passages in deze handreiking vrij technisch zijn. Meer informatie: - Kwaliteitskader Verantwoorde zorg, 2010 - www.centrumklantervaringzorg.nl - www.zichtbarezorg.nl ActiZ BTN - ZN 5
Uitkomsten cliëntervaringen Cliëntervaringen zoals verzameld met de CQ-index worden per Organisatorische Eenheid (OE) berekend. Hierbij wordt een onderscheid gemaakt tussen cliënten die zorg thuis (ZT) ontvangen, en cliënten die verblijven in een zorgorganisatie (VV). In de VV wordt bovendien een onderscheid gemaakt tussen cliënten die verblijven in de organisatie (VV) en vertegenwoordigers van psychogeriatrische cliënten (PG). Onderstaande tabel geeft een overzicht van de openbaar beschikbare informatie. Voorbeeld: Indicator 2.4 Ervaren veiligheid woon- en leefomgeving De mate waarin cliënten of vertegenwoordigers een veilige woon- en leefomgeving ervaren Gecorrigeerde Score Gemiddelde landelijke score Sterren N= 3,4 3,3 21 Gecorrigeerde score De gecorrigeerde score is gebaseerd op Empirical Bayes-schattingen (zie kader 1) die zijn gecorrigeerd voor: 1) kenmerken van cliënten, zoals leeftijd en 2) het aantal cliënten waarbij is gemeten. NB: aan de OE zelf wordt ook een ruwe score terug gekoppeld. Dit is geen openbare informatie, maar dit cijfer vormt wel de basis voor de gecorrigeerde score. Voor indicatoren die uit een vraag bestaan is de ruwe score berekend als het gemiddelde over de gegeven antwoorden. Voor indicatoren die uit meerdere vragen bestaan is eerst per cliënt het gemiddelde over de vragen berekend. Vervolgens is hiervan een gemiddelde van alle cliënten berekend. Gemiddelde landelijke score Deze score geeft de gemiddelde score voor alle OE s samen. Het betreft hier een gemiddelde van alle gecorrigeerde scores. Sterren Het aantal sterren geeft aan hoe de score van een OE zich verhoudt tot het landelijke beeld. Drie sterren betekent min of meer gemiddeld. Voor 1 en 2 sterren geldt dat de score statistisch significant lager is vergeleken met OE s die 4 of 5 sterren scoren (zie ook vraag 3 bij veelgestelde vragen). N Dit cijfer geeft het aantal cliënten weer waarop de indicator is berekend. Dit zijn niet automatisch alle cliënten waarvoor gegevens zijn aangeleverd. Cliënten kunnen bijvoorbeeld buiten de analyses zijn gehouden als gegevens onvolledig zijn of wanneer er exclusiecriteria gelden. Meer informatie: - Leeswijzer bij het Prestatie-overzicht Kwaliteitskader VV&T, versie 1.8 - www.zichtbarezorg.nl - www.centrumklantervaringzorg.nl ActiZ BTN - ZN 6
Kader 1: Een korte uitleg bij de analyses van de CQ-index Het is de verwachting dat uitkomsten van cliënten binnen een zorgorganisatie met elkaar samenhangen. De zorgorganisatie faciliteert immers de kwaliteit van zorg die geleverd kan worden en is voor alle cliënten binnen de zorgorganisatie identiek. In de analyses wordt met deze samenhang van uitkomsten van cliënten binnen een zorgorganisatie rekening gehouden. Dit gebeurt op basis van multilevel analyses. Daarnaast zullen kenmerken van cliënten, zoals leeftijd en zorgbehoefte, ook de uitkomsten van zorg beïnvloeden. De ene OE heeft een meer zorgbehoeftige cliëntenpopulatie dan de andere. Hiermee wordt rekening gehouden door cliëntkenmerken op te nemen in de analyses, de zogenaamde casemix correctie. De uitkomst op een indicator van een OE is onderhevig aan toeval:de gegevens van een individuele cliënt worden door toevallige factoren beïnvloed, waardoor de indicatorwaarde soms te hoog en soms te laag uitvalt. Wanneer een indicator is gebaseerd op een kleine groep cliënten, zal dit toeval een grotere rol spelen in de uiteindelijke uitkomst van de OE op de indicator. Om vergelijkingen tussen OE s zo betrouwbaar mogelijk uit te voeren is gekozen voor een multilevel model op basis van Empirical Bayes (EB) schattingen. Met deze schattingen veronderstellen we dat er landelijk gezien één gemiddelde indicatorwaarde is; alle OE s zitten rondom dit gemiddelde. Door het gebruik van Empirical Bayes schattingen wordt de indicatorwaarde van een OE als het ware getrokken naar het landelijke gemiddelde (dit wordt shrinkage genoemd). Hoe sterk deze correctie richting het landelijk gemiddelde is hangt onder andere af van het aantal cliënten waarover een OE gegevens aanlevert: naarmate een OE gegevens aanlevert van minder cliënten zal er sterker worden gecorrigeerd richting het landelijk gemiddelde. Ook de spreiding tussen de scores op een indicator is belangrijk voor de mate van correctie. Wanneer verschillen in uitkomsten tussen OE s groot zijn, dan zal er minder gecorrigeerd worden; indicatorwaarden worden in dit geval minder snel als afwijkend gezien. Een EB schatting voor een instelling is opgebouwd uit twee elementen: 1) De geobserveerde waarde. Dit is het gemiddelde over de gegevens van een OE. 2) De verwachte waarde. Dit is het gemiddelde over alle OE s. Wanneer we niets weten van een instelling verwachten we namelijk dat die instelling ongeveer gemiddeld zal scoren. De EB schatting ligt altijd tussen de verwachte waarde en de geobserveerde waarde in (zie ook onderstaand figuur voor een illustratie; CQI_bijsluiter_vergelijken van instellingen). ActiZ BTN - ZN 7
Veelgestelde vragen 1. Wat is het minimum aantal cliënten per OE waarvoor CQ-gegevens moeten worden verzameld? Voor organisatorische eenheden (OE) geldt een vereiste steekproefgrootte van 30 respondenten voor interviews met cliënten. Bij vertegenwoordigers van bewoners en thuiswonende cliënten geldt een steekproefgrootte van respectievelijk 70 en 110 cliënten, wat een uiteindelijke respons van 54 respondenten (78%) voor de vertegenwoordigers en 57 respondenten (52%) voor de thuiswonende cliënten moet opleveren. Soms hebben OE s minder cliënten dan de vereiste steekproefomvang. Afgesproken is dat deze OE s toch moeten deelnemen aan de CQ-meting. Alle cliënten die aan de inclusiecriteria voldoen, worden meegenomen in de meting tenzij het aantal cliënten minder is dan 15 of de respons naar verwachting lager is dan 10 (www.centrumklantervaringzorg.nl). De ondergrens van 10 is er vooral vanwege privacydoeleinden. Voorkomen moet worden dat een zorgorganisatie kan inschatten wie welke antwoorden heeft gegeven of welke cliënten zich wellicht negatief hebben uitgelaten. Voor de CQ-index geldt dat wanneer aan de vereiste respons van 30 interviews met cliënten, 54 vragenlijsten van vertegenwoordigers, of 57 vragenlijsten van thuiswonende cliënten is voldaan, het vanuit statistisch oogpunt goed mogelijk is zinnige vergelijkingen te doen tussen de score van een OE en het landelijk gemiddelde. In de praktijk komt het echter geregeld voor dat OE de vereiste steekproefgrootte niet haalt en/of de respons tegenvalt (zie ook Tabel 1 t/m 3 voor de gemiddelde landelijke respons). Dit kan een gevolg zijn van een kleine OE of doordat de respons lager is dan verwacht. De scores worden in dat geval minder betrouwbaar of onbetrouwbaar. Met de Empirical Bayes schattingstechnieken worden deze OE s doorgaans als gemiddeld geclassificeerd. 2. Wat betekenen de sterren van de CQ-index nu precies? Voor de cliëntervaringen worden sterren berekend. Deze sterrensystematiek is vooral bedoeld om complexe gegevens presenteerbaar te maken op websites, kwaliteitskaarten et cetera. De complexere gegevens die aan de sterren ten grondslag liggen betreffen de casemixgecorrigeerde gemiddelden per OE met daarbij een betrouwbaarheidsinterval. Voor de CQindex geldt dat OE s die twee sterren krijgen significant verschillen van OE s die vier sterren krijgen. Significant wil hier zeggen dat men ergens voor minimaal 95% zeker van is. Voor iedere OE met twee sterren is het dus voor minimaal 95% zeker dat deze daadwerkelijk lager scoort dan een OE met vier sterren. Hieronder geven we in een tabel en een figuur weer hoe de sterindeling tot stand komt. Het betrouwbaarheidsinterval valt geheel onder de gemiddelde ondergrens van alle betrouwbaarheidsintervallen Het betrouwbaarheidsinterval valt geheel onder het gemiddelde van alle OE s, maar niet geheel onder de gemiddelde ondergrens over alle betrouwbaarheidsintervallen Het betrouwbaarheidsinterval overlapt het gemiddelde van alle OE s Het betrouwbaarheidsinterval valt geheel boven het gemiddelde van alle OE s maar niet geheel boven de gemiddelde bovengrens van alle betrouwbaarheidsintervallen Het betrouwbaarheidsinterval valt geheel boven de gemiddelde bovengrens van alle betrouwbaarheidsintervallen ActiZ BTN - ZN 8
5 sterren 4 sterren Gemiddelde bovengrens betrouwbaarheidsinterval 3 sterren ------------------------------------------------------------------------------------------------- Gemiddelde scores 2 sterren Gemiddelde ondergrens betrouwbaarheidsinterval 1 ster 3. Is een score van 1 of 5 sterren bij de CQ-index altijd haalbaar? Eén en vijf sterren zijn de meest extreme categorieën. Voor de categorie 1 ster geldt dat dit altijd mogelijk is, maar bij sommige indicatoren nauwelijks voorkomt. Voor de categorie 5 sterren geldt dat dit bij een aantal indicatoren een onhaalbare score is (zie ook Tabel 1 t/m 3). Dit komt omdat het landelijk gemiddelde dan al zo hoog ligt dat de hoogst haalbare score onvoldoende extreem is om 5 sterren te behalen Uit onderzoek is gebleken dat kleine OE s met minder dan 30 cliënten- zich niet altijd kunnen onderscheiden van de gemiddelde score op de indicatoren (de Boer e.a., 2010). Een gemiddelde score van drie sterren is voor die kleine OE s dan ook minder informatief omdat het voor deze eenheden relatief moeilijk is om buiten deze categorie te vallen. Niettemin is het bij een aantal indicatoren nog wel mogelijk voor kleine OE s om zich te onderscheiden van anderen. Hun score moet dan wel een groot verschil laten zien met het landelijk gemiddelde. 4. Kunnen de sterren van 2010 vergeleken worden met die van een vorige meting? Het vergelijken van sterren tussen twee metingen in de tijd is over het algemeen niet zinvol. Of een verschil in sterrenscore tussen twee metingen nu wel of niet optreedt, in beide gevallen geldt dat het de vraag blijft of dat de instelling is aan te rekenen. Dit komt deels doordat de sterrenscore een relatieve prestatie is t.o.v. het landelijke beeld. Dit landelijk beeld is in 2010 opnieuw vastgesteld. Bij de aan- of afwezigheid van een verschil in sterrenscore tussen twee metingen is het de vraag of dit te wijten is aan de prestaties van de instelling of aan een ontwikkeling in het landelijke beeld. Daar komt nog bij dat de sterrenscore noodzakelijkerwijs een wat grofmazige maat is. Het is immers bedoeld om complexe gegevens vereenvoudigd weer te geven met het oog op presentatie op bijvoorbeeld websites. Het is daardoor waarschijnlijk dat een verandering in prestaties niet goed tot uiting komt in een vergelijking van deze grofmazige sterrenscores. Bovendien is de indicatorenset in 2010 inhoudelijk aangepast. Hieruit volgt dat niet alle indicatoren uit 2010 inhoudelijk overeenkomen met de indicatoren uit 2009. In Tabel 1 t/m 3 wordt aangegeven welke indicatoren gelijk zijn gebleven met 2009. Een redelijk alternatief is een vergelijking van de gecorrigeerde gemiddelden van een OE over de verschillende jaren. Dat geldt uiteraard alleen voor de indicatoren die inhoudelijk gelijk zijn gebleven. Dit geeft een eerste indruk van de verandering in de tijd, maar op grond van de openbare data is niet te zeggen of die ontwikkeling significant is. ActiZ BTN - ZN 9
5. Voor welke kenmerken van cliënten wordt gecorrigeerd (casemix-correctie) bij de berekening van CQ- indicatoren? Bij de berekening van de CQ-indicatoren wordt zowel voor de gegevensverzameling bij cliënten als voor de gegevensverzameling van vertegenwoordigers van psychogeriatrische cliënten en cliënten thuiszorg een casemix-correctie toegepast. De kenmerken waarvoor wordt gecorrigeerd verschillen echter per type CQ-index. In de praktijk wordt sinds 2010 voor de volgende kenmerken gecorrigeerd: Cliënten: verblijfsduur in de zorgorganisatie, leeftijd, hoogst voltooide opleiding en ervaren gezondheid; Vertegenwoordigers PG: relatie met cliënt (zoon/dochter of partner etc.), verblijfsduur in de zorgorganisatie van de cliënt, leeftijd, hoogst voltooide opleiding en ervaren gezondheid van de vertegenwoordiger; Zorg thuis: zorgduur, leeftijd, hoogst voltooide opleiding, ervaren gezondheid en het al dan niet ontvangen van hulp bij het invullen van de vragenlijst door de zorgverlener. 6. Worden alle items uit de CQ-index meegenomen in berekening van indicatoren? Vrijwel alle vragen uit de CQ-index worden gebruikt bij de berekening van indicatoren, de meeste vragen zijn onderdeel van een indicator. Daarnaast zijn er enkele vragen die worden gebruikt voor de casemix-correctie of om te controleren of een cliënt inderdaad tot de beoogde doelgroep behoort. Ten slotte is er nog een aantal selectievragen; die zijn bedoeld om cliënten voor wie bepaalde vervolgvragen niet van toepassing zijn door te verwijzen. Er is een klein aantal indicatorvragen die niet worden gebruikt voor de openbare resultaten. In het eerste meetjaar (2007) heeft het Centrum Klantervaring Zorg analyses uitgevoerd op de eerste meetgegevens. In deze analyses keek het CKZ naar de samenhang van vragen binnen een indicator. Dat leidde tot het stuurgroepbesluit om sommige vragen niet in een indicator mee te nemen vanwege onvoldoende interne samenhang. In 2009 is door het Centrum Klantervaring Zorg (CKZ) in nauwe samenwerking met LOC Zeggenschap in zorg en ActiZ een verkorting van de vragenlijst tot stand gebracht: items die niet werden gebruikt of die geen zinvolle verbeterinformatie opleverden zijn uit de lijsten verwijderd. Met de nieuwe set van meetjaar 2010 heeft het CKZ opnieuw analyses gedaan en zijn wederom een aantal vragen buiten de indicator gehouden. Deze vragen zijn echter nog wel opgenomen in de lijsten. Onderstaand kader geeft een overzicht van de items die door onvoldoende samenhang in de laatste analyses van 2010 zijn weggevallen en niet worden meegenomen in de openbare resultaten. Indicatorvragen die niet worden meegenomen in de openbare resultaten Interviews bewoners Nr Vraag Hoorde bij indicator 27 Heeft de zorginstelling u genoeg informatie gegeven over haar beleid 6.3 Ervaren informatie bij beslissingen over de zorg rond het levenseinde? (reanimatiebeleid, beleid rond euthanasie) 28 Is er een cliëntenraad? 6.3 Ervaren informatie 29 Weet u bij wie u met uw vragen, problemen terecht kunt in het 6.3 Ervaren informatie verpleeg-/ verzorgingshuis? 57 Wordt u goed op de hoogte gehouden van de activiteiten in huis 3.1 Ervaringen met dagbesteding en participatie 58 Organiseert het huis genoeg activiteiten? 3.1 Ervaringen met dagbesteding en participatie 59 Vindt u de activiteiten die georganiseerd worden leuk? 3.1 Ervaringen met dagbesteding en participatie 61 Is er hulp van verzorgenden, vrijwilligers of naasten als u ergens naar toe wilt? (naar buiten, bezoek aan anderen, uitstapjes, activiteiten, enz.) 3.1 Ervaringen met dagbesteding en participatie 7. Kan het rapportcijfer uit de CQ-index worden gezien als een totaalscore? Ja en nee. Het rapportcijfer is het totaaloordeel van een cliënt en in die zin kan het gezien worden als een totaalscore. Het is echter onduidelijk hoe de cliënt tot deze totaalscore komt. Zijn alle indicatoren daarin vertegenwoordigd, of hebben slechts één of twee indicatoren daar invloed op? Onderzoek toont bijvoorbeeld aan dat een rapportcijfer met name iets lijkt te zeggen over communicatie tussen cliënten en medewerkers van de organisatie, terwijl andere ActiZ BTN - ZN 10
belangrijke aspecten minder goed vertegenwoordigd zijn in het rapportcijfer (de Boer et al., 2010; Rademakers et al., 2011). Kortom, het rapportcijfer is wel een totaalscore, maar geen evenwichtige afspiegeling van belangrijke aspecten van zorg. Daarom wordt afgeraden het rapportcijfer als een op zichzelf staande totaalscore te gebruiken. Dit betekent niet dat een rapportcijfer geen interessante informatie bevat, maar wel dat een rapportcijfer moeilijk te interpreteren is zonder aanvullende informatie over bijvoorbeeld afzonderlijke indicatorscores. 8. Kan op basis van de CQ-index een totaalscore berekend worden? Vooralsnog is dit niet mogelijk. De indicatoren van de CQ-index staan namelijk voor afzonderlijke schalen die niet zomaar bij elkaar opgeteld kunnen worden. Momenteel wordt door het Centrum Klantervaring nagegaan of op basis van de CQ-index een totaalscore kan worden berekend. 9. Wat zijn aandachtspunten bij het maken van een selectie of het toepassen van een weging? De indicatoren van de CQ-index hebben ieder hun eigen plek in het kwaliteitskader. Wanneer men een selectie wil maken van deze indicatoren is het goed om te kijken naar de kwaliteit van de indicatoren en enkel die indicatoren te kiezen met een adequate validiteit en betrouwbaarheid. De indicatoren van de CQ-index VV&T zijn in het algemeen voldoende bevonden (Wiegers e.a., 2007). Verder zijn er veel verschillende redenen waarom je meer of minder gewicht kunt toekennen aan een indicator. Deze redenen kunnen afhankelijk zijn van de gebruiker en het gebruiksdoel. Wanneer men een weging wil toepassen is het goed om uit te gaan van de gecorrigeerde score van een OE, waarbij op basis van Empirical Bayes schattingstechnieken rekening is gehouden met het aantal cliënten waarvoor is gemeten en hun zorgbehoefte. 10. Kan een rangorde worden gemaakt op basis van de indicatoren? Het rangordenen van indicatorwaarden is niet wenselijk. Een rangorde suggereert immers vaak veel grotere verschillen dan er zijn. In een rangorde kan het verschil tussen nummer 1 en nummer 100 van de rangorde gemakkelijk als groot worden geïnterpreteerd, zonder dat duidelijk is hoe groot het werkelijke verschil is en of dat ook een significant verschil is. Om deze reden wordt afgeraden gebruik te maken van rangordes. Referenties Boer, D. de, Hoek, L. van der, Delnoij, D., Groenewegen, P. Kleine zorgaanbieders in multilevel vergelijkende analyses. De CQI Verpleging, Verzorging en Thuiszorg. Utrecht: NIVEL 2010. Boer, D. de, Delnoij, D., Rademakers, J. (2010). Do patient experiences on priority aspects of health care 297. Rademakers, J., Delnoij, D., Boer, D.,de (2011). Structure, process or outcome: which contributes most to patients' overall assessment of healthcare quality? BMJ Quality and Safety (doi:10.1136/bmjqs.2010.042358) Booij, J., Boer, D. de, van der Hoek, L., Delnoij, D., (2011). Meetverantwoording cliëntgebonden indicatoren VV&T 2010. Schoning van data, schaalanalyses en casemixcorrectie. Utrecht, Centrum Klantervaring Zorg. Stuurgroep Verantwoorde zorg. Bijlage Indicatorenset Verantwoorde zorg behorend bij het Kwaliteitskader Verantwoorde zorg, Verpleging Verzorging en Zorg Thuis (VVT), mei 2007. Wiegers TA, Stubbe JH, Triemstra M: Ontwikkeling van een CQ-Index voor verpleeg- en verzorgingshuizen en thuiszorg: kwaliteit van zorg volgens bewoners. Utrecht: NIVEL; 2007. www.centrumklantervaringzorg.nl/vragenlijsten/verpleging-verzorging-en-thuiszorg predict their global rating of quality of care? A study in five patient groups. Health Expectations, 12 (3), 285- www.centrumklantervaringzorg.nl/fileadmin/site/ckz/richtlijnen/cqi_bijsluiter_- _Vergelijken_van_instellingen_schattingsmethode.doc http://www.zichtbarezorg.nl/mailings/files/htmlcontent/vv&t/leeswijzer%20prestatieoverzicht%201.8%2015 042011.pdf ActiZ BTN - ZN 11
Tabel 1: Kengetallen indicatoren CQ-index 2010 - Interviews bewoners (VV) indicator Landelijk gemiddelde score Landelijk Gemiddelde N % OE s met 1 ster 2 sterren 3 sterren 4 sterren 5 sterren 95% van de OE s bevinden zich tussen: Indicator is vergelijkbaar met die uit 2009 1.1: Ervaringen met lichamelijke verzorging 3.46 21 5 12.2 64.2 17.4 1.2 3.18 3.68 Ja 1.2: Ervaringen met maaltijden 3.05 26 7.5 12.2 58.7 15.7 5.9 2.57 3.47 Ja 2.1: Ervaringen met schoonmaken 3.34 26 9.2 12.2 55.1 20 3.5 2.81 3.73 Ja 2.2: Ervaren sfeer 3.43 25 10.6 12 50.6 20.5 6.3 3.1 3.7 Ja 2.3: Ervaren privacy en woonruimte 3.88 25 12.8 2.8 26.6 57.6 0.2 3.36 4.0 Nee 2.4: Ervaren veiligheid woon- en leefomgeving 3.78 26 2.4 9 82.7 5.9 0 3.61 3.89 Ja 3.1: Ervaringen met dagbesteding en participatie 3.56 24 3 12.1 71.7 13.3 0 3.29 3.79 Nee 3.2: Ervaren zelfstandigheid/autonomie 3.45 26 13.8 8.3 43.6 22.8 11.6 2.74 3.83 Ja 4.1: Ervaringen op het gebied van mentaal welbevinden 3.25 26 3.5 12.2 67.3 14.3 2.7 3.02 3.46 Nee 5.1: Ervaren professionaliteit en veiligheid zorgverlening 3.52 24 6.5 11.2 60.4 19.1 2.8 3.26 3.72 Ja 5.2: Ervaren bejegening 3.51 26 6.1 14.7 55.9 21.4 2 3.24 3.72 Ja 6.1: Ervaringen met zorgleefplan en evaluatie 3.65 20 8.7 12.6 47.7 30.9 0.2 3.09 3.95 Nee 6.2: Ervaren inspraak en overleg 3.08 22 9.4 12.8 54.9 16.4 6.6 2.55 3.51 Ja 6.3: Ervaren informatie 3.29 24 5.4 12.3 63.9 16.9 1.6 2.74 3.71 Nee 6.6: : Ervaren beschikbaarheid in personeel 2.85 25 12.4 15.9 40.8 19 12 2.35 3.31 Nee
Tabel 2: Kengetallen indicatoren CQ-index 2010 - Vertegenwoordigers cliënten (PG) indicator Landelijk gemiddelde score Landelijk Gemiddelde N % OE s met 1 ster 2 sterren 3 sterren 4 sterren 5 sterren 95% van de OE s bevinden zich tussen: Indicator is vergelijkbaar met die uit 2009 1.1: Ervaringen met lichamelijke verzorging 3.19 26 3.8 12.8 67.1 14.7 1.6 2.95 3.41 Ja 1.2: Ervaringen met maaltijden 3.53 23 3.4 14.2 70.6 11.1 0.7 3.35 3.69 Ja 2.1: Ervaringen met schoonmaken 3.17 27 6.3 19.2 53.6 17.4 3.5 2.77 3.52 Ja 2.2: Ervaren sfeer 3.06 26 8.6 13.7 55.6 18.5 3.5 2.73 3.33 Ja 2.3: Ervaren privacy en woonruimte 3.55 27 18.5 8.5 32.6 37 3.4 2.75 3.91 Ja 2.4: Ervaren veiligheid woon- en leefomgeving 2.90 26 5.6 13.8 61.2 17.8 1.6 2.52 3.22 Nee 3.1: Ervaringen met dagbesteding en participatie 2.92 25 7.3 15.3 54.6 19.8 2.9 2.58 3.21 Ja 4.1: Ervaringen op het gebied van mentaal welbevinden 3.14 26 2.2 13.3 72.7 10.5 1.3 2.89 3.35 Ja 5.1: Ervaren professionaliteit en veiligheid zorgverlening 3.29 27 4.4 13.9 65.8 14.9 0.9 3.08 3.47 Nee 5.2: Ervaren bejegening 3.50 27 2.2 10.7 75.1 11.7 0.3 3.32 3.64 Nee 5.3: Ervaren betrouwbaarheid zorgverleners 3.25 25 3.3 12.4 70.2 13.7 0.3 2.95 3.47 Ja 6.1: Ervaringen met zorgleefplan en evaluatie 3.81 27 3.2 9.5 79.8 7.6 0 3.63 3.92 Nee 6.2: Ervaren inspraak en overleg 3.13 27 2.8 12.6 66.7 17 0.9 2.89 3.33 Nee 6.3: Ervaren informatie 3.52 27 5.3 11.6 60.4 21.7 0.9 3.22 3.75 Nee 6.4: Ervaren telefonische bereikbaarheid 3.40 27 6.6 9.1 67.9 15.1 1.3 3.15 3.58 Ja 6.6: Ervaren beschikbaarheid in personeel 2.85 25 6.1 14.2 60.5 16.2 2.9 2.54 3.12 Nee 7.12: Ervaren respectering rechten vrijheidsbeperking 3.31 22 1.3 8.9 75.1 14.8 0 2.87 3.64 Ja
Tabel 3: Kengetallen indicatoren CQ-index 2010 - Thuiswonende cliënten (ZT) Indicator Landelijk gemiddelde score Landelijk Gemiddelde N % OE s met 1 ster 2 sterren 3 sterren 4 sterren 5 sterren 95% van de OE s bevinden zich tussen: Indicator is vergelijkbaar met die uit 2009 1.1: Ervaringen met lichamelijke verzorging 3.54 24 1.2 6.7 85.5 6.7 0.0 3.41 3.65 Ja 2.4: Ervaren veiligheid woon- en leefomgeving 3.32 21 1.4 4.8 91.0 2.8 0.0 3.12 3.46 Nee 3.1: Ervaringen met dagbesteding en participatie 2.74 17 1.1 5.4 81.7 10.8 1.1 2.44 3.04 Ja 3.2: Ervaren zelfstandigheid/autonomie 3.48 26 1.1 4.5 89.3 5.1 0.0 3.39 3.56 Nee 4.1: Ervaringen op het gebied van mentaal welbevinden 3.45 26 1.1 9.0 79.8 10.1 0.0 3.32 3.56 Nee 5.1: Ervaren professionaliteit en veiligheid zorgverlening 3.52 26 0.6 9.8 82.2 7.5 0.0 3.39 3.64 Nee 5.2: Ervaren bejegening 3.59 26 1.7 11.2 80.4 6.1 0.6 3.44 3.69 Nee 5.3: Ervaren betrouwbaarheid zorgverleners 3.72 26 0.6 4.5 91.0 4.0 0.0 3.66 3.78 Nee 6.1: Ervaringen met zorgleefplan en evaluatie 3.81 25 1.8 10.7 76.2 11.3 0.0 3.63 3.92 Nee 6.2: Ervaren inspraak en overleg 3.10 26 2.3 13.7 72.6 10.9 0.6 2.85 3.32 Nee 6.3: Ervaren informatie 3.37 26 1.1 5.7 89.1 4.0 0.0 3.22 3.49 Nee 6.4:Ervaren telefonische bereikbaarheid 3.37 23 3.1 8.8 80.5 7.5 0.0 3.06 3.55 Ja 6.5: Ervaren samenhang in zorg 3.18 24 1.8 12.7 78.2 7.3 0.0 2.86 3.40 Ja 6.6: Ervaren beschikbaarheid in personeel 3.24 26 2.3 14.9 69.1 12.0 1.7 2.99 3.43 Nee