Leeswijzer bij het Prestatie-overzicht Kwaliteitskader VV&T versie 1.8

Transcriptie

1 Leeswijzer bij het Prestatie-overzicht Kwaliteitskader VV&T versie 1.8 Uitgave : Stuurgroep Kwaliteitskader Kwaliteitskader VV&T Versie : 1.8 Datum : 15 april 2011 leeswijzer_prestatie_overzicht_v1.8

2 INHOUDSOPGAVE 1 WAT KUNT U VAN DE LEESWIJZER VERWACHTEN? Doel van de leeswijzer Inhoud van de leeswijzer Interpretatie van de uitkomsten Vragen en opmerkingen LEESWIJZER DE SAMENVATTING IN HET PRESTATIE-OVERZICHT De inhoud van de samenvatting De samenvatting Uitkomsten interpreteren ten opzichte van andere organisaties De nieuwe uitkomstmaat voor zorginhoudelijke indicatoren Sterrenaanduiding cliëntgebonden indicatoren... 7 De betekenis van de sterrenscore voor de cliëntgebonden indicatoren is nog eens expliciet weergegeven in de volgende tabel: LEESWIJZER BIJ DE ZORGINHOUDELIJKE INDICATOREN Resultaten op de zorginhoudelijke indicatoren De bewerking van de zorginhoudelijke kwaliteitsgegevens LEESWIJZER BIJ DE CLIËNTGEBONDEN INDICATOREN Resultaten op de cliëntgebonden indicatoren De scoreberekening Rekening houden met de cliëntgroep: de casemix-correctie LEESWIJZER BIJ DE REGISTRATIEFORMULIEREN BIJLAGE 1 TOELICHTING BIJ DE SIGNAALVLAGGEN

3 1 WAT KUNT U VAN DE LEESWIJZER VERWACHTEN? 1.1 Doel van de leeswijzer Deze leeswijzer hoort bij het Prestatie-overzicht kwaliteitsgegevens VV&T. In het Prestatie-overzicht worden de uitkomsten van uw metingen op basis van het instrumentarium uit Kwaliteitskader VV&T weergegeven. In het Prestatie-overzicht kunt u teruglezen hoe uw instelling scoort op de verschillende indicatoren. U kunt zien hoe uw (meet)gegevens zijn bewerkt en tot welke uitkomsten dat heeft geleid. Op die manier bent u in de gelegenheid de uitkomsten te interpreteren. Voor elke organisatorische eenheid wordt een afzonderlijk Prestatie-overzicht opgesteld. In het Prestatie-overzicht staan de resultaten van zowel de meest recente Zorginhoudelijke metingen als de meest recente CQ-metingen. De uitkomsten zijn met grote zorgvuldigheid berekend, na een gedegen proces van schoning en validering. Zo is er steeds uitgegaan van het vierogenprincipe : bewerkingen zijn altijd door twee onafhankelijk van elkaar werkende onderzoekers uitgevoerd, waarna de resultaten met elkaar zijn vergeleken en omissies zijn hersteld. De bij de bewerking gehanteerde uitgangspunten en rekenregels zijn opgesteld na overleg met zowel methodologisch als inhoudelijk deskundigen. Meer informatie hierover vindt u op de website Mocht u desondanks fouten in de cijfers ontdekken of twijfelen aan de juistheid, stuurt u dan een mailbericht naar helpdesk@zichtbarezorg.nl, of belt u naar De leeswijzer heeft als doel om de gehanteerde begrippen en de cijfers uit het Prestatie-overzicht toe te lichten. Omdat het Prestatie-overzicht alleen beschikbaar komt voor organisaties die al hebben deelgenomen aan de metingen, wordt ervan uitgegaan dat de lezers bekend zijn met de inhoud van de indicatoren en met de manier waarop ze gemeten zijn. Als u meer wilt weten over de indicatoren en de meetmethodes, bezoekt u de website De leeswijzer is bestemd voor zorgmedewerkers, kwaliteitsfunctionarissen en managers. 1.2 Inhoud van de leeswijzer De leeswijzer hanteert de volgorde van de terugkoppeling in het Prestatie-overzicht, dus: o Samenvatting; o Zorginhoudelijke indicatoren (ZI), een terugkoppeling over de zorginhoudelijke indicatoren voor de VV en ZT; o Cliëntgebonden indicatoren (CQ), een terugkoppeling over de cliëntgebonden indicatoren voor de VV (bewoners en vertegenwoordigers) en ZT; o De registratieformulieren A, B en C: een rechtstreekse weergave (tellingen) van de ingevulde antwoorden per vraag op de registratieformulieren. In het Prestatie-overzicht wordt voor zorginhoudelijke én voor cliëntgebonden indicatoren een onderscheid gemaakt tussen cliënten zorg thuis (ZT) en cliënten verpleging en verzorging (VV); de cliënten die in een zorginstelling verblijven. Het onderscheid is gemaakt omdat voor de cliënten die zorg thuis ontvangen andere indicatoren gelden dan voor de cliënten verpleging en verzorging. Voor de cliëntgebonden indicatoren wordt de groep verpleging en verzorging nog verder onderverdeeld in somatische cliënten enerzijds en vertegenwoordigers van psychogeriatrische cliënten anderzijds. Dit is gedaan omdat aan cliënten zélf deels andere vragen zijn gesteld dan aan de vertegenwoordigers. Maar ook wijkt de meetmethode af: cliënten worden geïnterviewd, de vertegenwoordigers worden schriftelijk geraadpleegd. De scores die cliënten zelf geven en de scores die vertegenwoordigers geven kunnen niet zonder meer bij elkaar worden opgeteld; cliënten kijken nu eenmaal met andere ogen naar de zorg dan vertegenwoordigers. 3

4 1.3 Interpretatie van de uitkomsten De uitkomsten op de indicatoren zijn de eindresultaten van de metingen en de bewerkingen. Met de uitkomsten kan een belangrijk traject gestart worden: het gebruik van de uitkomsten. De zorgorganisatie kan de uitkomsten gebruiken voor het doorvoeren van verbeteringen, voor het afleggen van verantwoording enzoverder. De uitkomsten van een indicator geven een indicatie van de kwaliteit. In gedachten moet worden gehouden dat de uitkomsten alleen de resultaten weergeven en niet de verklaring daarvoor. Er wordt weliswaar rekening gehouden met de kenmerken van de cliëntgroepen als verklaring voor verschillen (zie paragraaf 3.2 en 4.3) maar dan nog kan er een reden zijn voor een bepaalde uitkomst. Daarom is het altijd van belang om een uitkomst van een indicator in de context te zien en nadere verklaring te zoeken. Houd er daarnaast rekening mee dat de indicatoren niet los van elkaar staan. Zo kan een minder gunstige uitkomst op de indicator valincidenten samengaan met een gunstige uitkomst op de indicator vrijheidsbeperkende maatregelen : als cliënten niet worden gefixeerd, is de kans dat zij vallen groter. Op dezelfde manier kunnen zorginhoudelijke indicatoren niet los worden gezien van cliëntgebonden indicatoren. Ook als een organisatorische eenheid laag scoort op bijvoorbeeld de zorginhoudelijke indicatoren voor veiligheid, kunnen de cliënten over de ervaren veiligheid heel positief oordelen. Zij letten nu eenmaal op andere aspecten. Het Prestatie-overzicht is niet openbaar. Het bevat namelijk ook de niet-bewerkte gegevens die in de openbare documenten zullen ontbreken. Zo vindt u in het Prestatie-overzicht de ruwe (nietbewerkte) percentages, zoals het gemeten percentage cliënten met huidletsel. Dit cijfer wordt niet openbaar gemaakt. In het openbare domein ( Jaardocument Maatschappelijke Verantwoording) worden alleen de openbare scores weergegeven. Dit zijn voor de ZI de gecorrigeerde scores, het percentage onbekend, de N, de landelijk gemiddelden en signaalvlaggen. Voor de CQ worden de gecorrigeerde scores, de sterren en de N openbaar. 1.4 Vragen en opmerkingen Hebt u na lezing van het Prestatie-overzicht nog vragen waarop deze leeswijzer geen antwoord geeft of wilt u een reactie geven? Stuurt u dan een naar helpdesk@zichtbarezorg.nl De helpdesk die u via deze bereikt, beantwoordt uw vragen of schakelt andere partijen (zoals ActiZ of de Inspectie voor de Gezondheidszorg) in bij de beantwoording ervan. Hebt u algemene vragen over Kwaliteitskader Verantwoorde zorg VV&T of over accordering van het prestatieoverzicht in de ZiZo-portal VVT dan kunt u terecht bij de helpdesk Zichtbare Zorg. Deze helpdesk bereikt u via helpdesk@zichtbarezorg.nl of telefonisch ( ). Antwoorden op veelgestelde vragen kunt u vinden op 4

5 2 Leeswijzer de samenvatting in het Prestatie-overzicht 2.1 De inhoud van de samenvatting In het Prestatie-overzicht wordt een samenvatting gegeven van de uitkomsten van uw organisatie. Het prestatieoverzicht bevat alleen de actuele geldige kwaliteitsgegevens. Voor meetjaar 2010 geldt dat in het prestatieoverzicht twee tabellen zijn opgenomen met daarin de geldige gegevens uit 2010 en (indien aanwezig) de nog geldige uitkomsten uit Dit overzicht bevat zowel de geldige zorginhoudelijke indicatoren als de cliëntgebonden indicatoren, dat zijn de indicatoren afkomstig uit de meting van de CQ-index. Zo ziet u in één oogopslag de uitkomsten van de meting(en). 2.2 De samenvatting De inhoud van de tabel met de samenvatting wordt hieronder aan de hand van een voorbeeld beschreven. U leest de overzichtstabel voor de CQ indicatoren als volgt: 1. In de eerste kolom staat het nummer van het thema of van de bijbehorende indicatoren. 2. In de tweede kolom staat het type indicator: CQ. 3. De volgende kolom bevat de omschrijving van de indicator. 4. In de vierde kolom staan de uitkomsten (de toegekende sterren) die betrekking hebben op de cliënten Zorg Thuis. Als uw organisatorische eenheid geen zorg levert aan cliënten thuis is de betreffende kolom leeg. 5. In de kolommen onder Verpleging en Verzorging staan de uitkomsten van de CQ-meting voor intramurale cliënten. Per indicator worden de uitkomsten voor de CQ-meting voor bewoners (VV) of vertegenwoordigers van psychogeriatrische cliënten (PG) weergegeven. Als uw organisatorische eenheid geen zorg levert aan één van deze groepen cliënten, is het betreffende veld leeg. U leest de overzichtstabel voor de ZI indicatoren als volgt: 1. In de eerste kolom staat het nummer van het thema of van de bijbehorende indicatoren. 2. In de tweede kolom staat het type indicator: ZI. 3. De volgende kolom bevat de omschrijving van de indicator. 5

6 4. In de vierde en vijfde kolom staan de uitkomsten (de gecorrigeerde score ten opzichte van het landelijke gemiddelde) die betrekking hebben op de cliënten Zorg Thuis. Als uw organisatorische eenheid geen zorg levert aan cliënten thuis is de betreffende kolom leeg. 5. In de daarop volgende kolommen staan de uitkomsten (de gecorrigeerde score ten opzichte van het landelijke gemiddelde) die betrekking hebben op de cliënten in de V&V. Als uw organisatorische eenheid geen zorg levert aan intramurale cliënten is de betreffende kolom leeg. Voor de ZI wordt binnen de groep intramurale cliënten verpleging en verzorging geen onderscheid gemaakt naar somatische en psychogeriatrische cliënten. Bij sommige indicatoren staat achter de omschrijving een * weergegeven. Dit betekent dat deze indicator alleen voor intern gebruik bedoeld is en de uitkomsten niet openbaar worden gemaakt. De uitkomsten zijn weergegeven in de vorm van sterren (CQ). Hoe meer sterren gevuld, hoe beter de prestatie. in de vorm van een gecorrigeerde score (ZI) ten opzichte van het landelijk gemiddelde. in de vorm van Ja / Nee voor indicatoren waar een Ja of Nee op gescoord kan worden. Tussen haakjes staat achter iedere score het aantal cliënten (N = ) genoemd. Zie ook toelichting in onderstaand kader. De N Zowel bij de zorginhoudelijke indicatoren als de cliëntgebonden indicatoren staat naast de uitkomst tussen haakjes de N benoemd. De N geeft het aantal cliënten weer waarop de indicator gebaseerd is. Dat kunnen er minder zijn dan het aantal dat u hebt opgegeven. Het gaat dus om de nettopopulatie waarop de uitkomst is berekend. De N komt tot stand door van het aantal cliënten in de organisatorische eenheid het aantal cliënten af te trekken dat niet is meegenomen in de berekening: de uitgesloten cliënten. Bij de cliëntgebonden indicatoren kan het bijvoorbeeld gaan om cliënten die jonger zijn dan 18 jaar of thuiszorgcliënten die niet zelf de vragen hebben beantwoord. Ook kunnen cliënten zijn uitgesloten omdat de vraag waarmee de indicator wordt berekend niet is ingevuld (bijv. decubitusgraad niet aangegeven), omdat ze niet vallen onder de cliëntgroep waarvoor de indicator is gedefinieerd (cliënten met kanker of terminale cliënten worden bijvoorbeeld niet meegenomen bij de indicator voedingstoestand ) of omdat andere vragen niet of onvoldoende zijn ingevuld (bijvoorbeeld leeftijd of gegevens uit de Care Dependency Scale). Al deze omstandigheden kunnen ertoe leiden dat de N niet voor iedere indicator even groot is. 2.3 Uitkomsten interpreteren ten opzichte van andere organisaties De Stuurgroep Kwaliteitskader Verantwoorde zorg VV&T heeft gekozen om de uitkomsten van uw zorgorganisatie presenteren in vergelijking met die van andere zorgorganisaties. De uitkomsten (gecorrigeerde scores voor ZI en sterren voor CQ) geven uw resultaten weer ten opzichte van het landelijke beeld. Houd er rekening mee dat de vergelijking alleen wordt gemaakt tussen zorgorganisaties die in dit meetjaar hebben deelgenomen. 2.4 De nieuwe uitkomstmaat voor zorginhoudelijke indicatoren Vanaf meetjaar 2010 worden de uitkomsten voor zorginhoudelijke indicatoren niet meer teruggekoppeld in de vorm van sterren, maar in gecorrigeerde scores ten opzichte van het landelijk gemiddelde. In het volgende hoofdstuk wordt deze nieuwe uitkomstmaat nader toegelicht. 6

7 2.5 Sterrenaanduiding cliëntgebonden indicatoren Voor de CQ metingen zijn de scores vertaald in sterren die aangeven hoe de organisatie heeft gepresteerd in vergelijking met andere organisaties. Bij de omrekening van de ruwe (nietbewerkte) uitkomst naar deze sterrenaanduiding is rekening gehouden met de specifieke cliëntgroep van de zorgorganisaties. De ruwe uitkomsten zijn namelijk bewerkt met een correctie voor verschillen waar organisaties zelf geen invloed op hebben. Voor de interpretatie van de sterren voor CQ zijn twee begrippen zijn hier van belang: het gemiddelde en het betrouwbaarheidsinterval. Deze begrippen worden aan de hand van onderstaande figuur uitgelegd. Wat u ziet is (horizontaal) een x-as en (verticaal) een y-as. Elke punt in de figuur geeft de score weer van een zorgorganisatie (x-as) en haar score op een bepaalde indicator (y-as). Alle scores zijn geordend naar hoogte: de laagste score staat links en de hoogste staat rechts. De horizontale blauwe lijn (ter hoogte van ± 3,3) geeft de gemiddelde score weer. Vanuit elk punt loopt er een streepje naar boven en naar beneden en aan weerszijden wordt het afgesloten met een dwarsstreepje. Dit streepje geeft het betrouwbaarheidsinterval weer. Het betrouwbaarheidsinterval zegt iets over de betrouwbaarheid van een uitkomst. Voorbeeld: uw gemiddelde score is een 3 en het 95% betrouwbaarheidsinterval ligt tussen de 2,2 en 3,8. Dit wil zeggen dat de kans dat het interval de gemiddelde score bevat 95% is. Hoe kleiner het interval, hoe betrouwbaarder het resultaat. Net als bij de scores is gedaan, is ook een gemiddelde berekend van de bovengrens en de benedengrens van de betrouwbaarheidsintervallen. Bij de cliëntgebonden indicatoren wordt het aantal sterren berekend aan de hand van de positie van de score inclusief het betrouwbaarheidsinterval; o als de score inclusief het interval boven de gemiddelde bovengrens van de intervallen ligt, krijgt de organisatie vijf sterren; o als de score inclusief het interval wel boven het gemiddelde ligt, maar niet boven de bovengrens van de intervallen, krijgt de organisatie vier sterren, enzovoorts (zie ook de figuur hierna). 7

8 5 sterren 4 sterren 4 sterren 3 sterren 2 sterren 2 sterren gemiddelde bovengrens betrouwbaarheidinterval gemiddelde scores 1 ster gemiddelde ondergrens betrouwbaarheidinterval De betekenis van de sterrenscore voor de cliëntgebonden indicatoren is nog eens expliciet weergegeven in de volgende tabel: Symbool N Betekenis bij cliëntgebonden indicatoren: sterren op basis van significante afwijking van het gemiddelde Het betrouwbaarheidsinterval valt geheel onder de gemiddelde ondergrens van alle betrouwbaarheidsintervallen Het betrouwbaarheidsinterval valt geheel onder het gemiddelde van alle zorgorganisaties, maar niet geheel onder de gemiddelde ondergrens over alle betrouwbaarheidsintervallen Het betrouwbaarheidsinterval overlapt het gemiddelde van alle zorgorganisaties Het betrouwbaarheidsinterval valt geheel boven het gemiddelde van alle zorgorganisaties maar niet geheel boven de gemiddelde bovengrens van alle betrouwbaarheidsintervallen Het betrouwbaarheidsinterval valt geheel boven de gemiddelde bovengrens van alle betrouwbaarheidsintervallen Het aantal cliënten waarop de indicator is gebaseerd (netto populatie) 8

9 3 Leeswijzer bij de zorginhoudelijke indicatoren Na de samenvatting volgt een overzicht van uw resultaten op de zorginhoudelijke indicatoren. 3.1 Resultaten op de zorginhoudelijke indicatoren Er zijn afzonderlijke rapportages voor cliënten zorg thuis en voor cliënten verpleging en verzorging. Als uw organisatorische eenheid geen zorg levert aan een van de twee groepen, blijft de betreffende rapportage leeg. In de registratieformulieren zijn de kenmerken van de meting zorginhoudelijke indicatoren voor respectievelijk VV en ZT-cliënten per OE gespecificeerd. Er wordt weergegeven hoeveel cliënten op basis van het A-formulier in zorg zijn (VV of ZT), hoeveel cliënten zijn uitgesloten van de meting en hoeveel geldige formulieren uiteindelijk zijn meegenomen in de berekening van de indicatoren. Dit komt overeen met de aantallen zoals teruggekoppeld in het verwerkingsverslag. Op grond van een aantal situaties kan een formulier worden afgekeurd (zie hiervoor ook uw verwerkingsverslag). Het aantal aangeleverde formulieren minus het aantal afgekeurde formulieren levert het aantal goedgekeurde formulieren op: de nettopopulatie. De inhoud van de tabellen met resultaten over zorginhoudelijke indicatoren wordt hieronder beschreven aan de hand van een voorbeeld. De rapportage volgt steeds hetzelfde patroon. Eerst ziet u een balk met het nummer en de naam van de indicator, met daaronder de omschrijving. Vervolgens ziet u een tabel met zeven kolommen: 1. Vanaf meetjaar 2010 zijn signaalvlaggen aan het prestatieoverzicht toegevoegd. Deze vindt u in de eerste kolom. Signaalvlaggen zeggen niet direct iets over de kwaliteit, maar over de zeggingskracht van de indicator en haar waarden. Van links naar rechts zijn de vlaggen weergegeven voor: - validiteit; - vergelijkbaarheid; - registratiebetrouwbaarheid; - statistische betrouwbaarheid. Een uitgebreide toelichting op de interpretatie van deze vlaggen is beschikbaar in bijlage 1 van deze leeswijzer. 2. De tweede kolom toont de gecorrigeerde score: deze score houdt rekening met verschillen in cliëntenpopulatie en is gebaseerd op empirical Bayes schattingen. De gecorrigeerde scores kunnen tussen de zorgorganisaties vergeleken worden. 3. De derde kolom toont het landelijk gemiddelde; Dit betreft het gemiddelde over alle zorgorganisaties. 4. De vierde kolom toont de ruwe score: deze score is direct te herleiden naar de gegevens door een zorgorganisatie aangeleverd en geeft het percentage weer dat werkelijk in de organisatorische eenheid werkelijk gemeten is. Deze ruwe score houdt geen rekening met cliëntenpopulatie en empirical Bayes schattingen. Hoe de ruwe score tot stand komt, kunt u terugvinden in de rekenregels. 9

10 5. Het percentage onbekend staat weergegeven in de vijfde kolom: het percentage cliënten waarvan op de registratieformulieren was ingevuld dat de indicator niet bekend is; onbekend omdat de cliënt niet onderzocht wilde of kon worden of dat de indicator niet berekend kon worden op basis van de ingevulde gegevens Dit percentage wordt niet voor iedere indicator berekend. In dat geval is dit veld leeg. 6. Het landelijk percentage onbekend staat weergegeven in de zesde kolom. Dit betreft het gemiddelde over alle zorgorganisaties. 7. De laatste kolom toont de N; het aantal cliënten waarop de indicator betrekking heeft, dus het aantal opgegeven cliënten minus het aantal cliënten dat niet in de berekening is meegenomen. Dit aantal hoeft niet voor elke indicator hetzelfde te zijn. Per indicator kan om een aantal redenen een verschillend aantal cliënten afvallen. In de meeste gevallen gaat het dan om situaties waarin niet, of niet goed bepaald kan worden hoe een cliënt scoort op die indicator. In de rekenregels kunt u terugvinden om welke redenen cliënten niet worden meegenomen in de berekening van een indicator. Tot slot: het kan zijn dat de cellen met cijfers en sterren helemaal leeg zijn. In dat geval waren er te weinig complete gegevens om een voldoende betrouwbare berekening te maken. 3.2 De bewerking van de zorginhoudelijke kwaliteitsgegevens In de gecorrigeerde score wordt rekening gehouden met verstorende factoren binnen de kenmerken van cliëntenpopulatie en de grootte van de organisatorische eenheid. Dit rekening houden met gebeurt tijdens de bewerking van de ruwe scores volgens een Multilevel model met empirical Bayes schattingen en casemix-correctie. In de analyse volgens dit multi-level model vindt een correctie plaats voor de grootte van en de kenmerken van de cliëntenpopulatie binnen uw OE. Het doel van deze bewerking is dat er bij het maken van een vergelijking met andere organisaties alléén het verschil in de prestaties op het gebied van kwaliteit van zorg door de organisaties wordt meegenomen. Het kan echter zijn dat die prestaties worden beïnvloed door factoren waarop de organisaties geen invloed hebben, terwijl deze factoren ongelijk zijn verdeeld over de verschillende organisaties. In deze correctie worden alleen factoren meegenomen die de indicator echt beïnvloeden. Zie ook onderstaand schema: Prestaties tussen zorgaanbieders kunnen niet direct met elkaar vergeleken worden als: 1. Er factoren (V) zijn die de prestaties (I) beïnvloeden; 2. De zorgaanbieder deze factoren niet kan beïnvloeden; 3. Deze factoren ongelijk verdeeld zijn over de zorgaanbieders (Z). Voorbeeld: leeftijd in relatie tot de indicator incontinentie. Er is gebleken dat er een verband is tussen hoe ouder de cliënt is, hoe groter de kans op incontinentie (pijl 2). Bovendien heeft de zorgorganisatie geen invloed op de leeftijd van de cliënt en is de gemiddelde leeftijd in de ene organisatie hoger dan in de andere (pijl 1). Deze factor wordt daarom meegenomen in de correctie. De verstorende factoren worden in de correctie uitgeschakeld, zodat de prestaties vergelijkbaar worden. Hoe is nu bepaald voor welke factoren de ruwe scores worden gecorrigeerd? Dat is in twee stappen gedaan. 10

11 Allereerst heeft een expertpanel de factoren benoemd die zij als verstorende factoren zouden aanmerken. Vervolgens is onderzocht of deze factoren inderdaad de score beïnvloeden. Daar waar dat het geval bleek, is de factor meegenomen. Overigens bleek dat niet alle factoren voor elke indicator relevant zijn. Om die reden zijn de factoren waarvoor wordt gecorrigeerd, per indicator bepaald. Daarnaast is er nog onderscheid gemaakt tussen cliënten zorg thuis en cliënten verpleging en verzorging. Factoren die voor de ene groep relevant zijn, waren dat niet altijd voor de andere groep. Negen factoren zijn uiteindelijk meegenomen in de correctie: 1. Leeftijd 2. Geslacht 3. Houding. De cliënt is in staat bij een bepaalde activiteit de juiste houding aan te nemen. 4. Mobiliteit. De cliënt is fysiek in staat zich zelfstandig voort te bewegen. 5. Gevaar ontwijken. De cliënt is in staat zelfstandig voor de eigen veiligheid te zorgen. 6. Contactuele vaardigheden. De cliënt is in staat te communiceren en tot het aangaan, onderhouden en afbreken van sociale contacten. 7. Leercapaciteit. De cliënt is in staat om zelfstandig kennis en vaardigheden aan te leren dan wel het geleerde in stand te houden. 8. Gebruik van antipsychotica 9. Aantal cliënten met kanker De factoren 3 t/m 7 zijn gebaseerd op de Care Dependency Scale, de CDS. Meer informatie over CDS vindt u op: Er zijn enkele indicatoren waarvoor geen enkele factor relevant bleek, zoals medicijnincidenten. Hiervoor wordt daarom niet gecorrigeerd. In het Kwaliteitskader (inclusief het erratum bij het Kwaliteitskader vindt u het overzicht van de definitieve factoren voor meetjaar 2010). Naast de correctie voor verstorende variabelen wordt in deze bewerking ook de grootte van de organisatorische eenheid meegewogen. Dit betekent dat de uitkomsten worden gecorrigeerd voor het aantal observaties van een zorgorganisatie, waardoor de schattingen voor kleine organisatorische eenheden minder afhankelijk zijn van toeval. De N weegt mee in de berekening van de uiteindelijke gecorrigeerde score. Hoe kleiner de organisatorische eenheid, hoe zwaarder het landelijk gemiddelde meeweegt in de berekening van de gecorrigeerde score. Stel, bij een zorgaanbieder met 11 cliënten hebben 3 cliënten in de afgelopen dertig dagen te maken gehad met een valincident. De ruwe score is daarmee 27%. Het landelijk gemiddelde is 10,6%. De score van de kleine zorgaanbieder wijkt sterk af van het landelijke beeld. De score is op weinig cliënten gebaseerd en hangt hiermee erg af van de toevallige samenstelling van de cliëntengroep. Om deze reden wordt ook voor de N gecorrigeerd. Na bewerking krijgt deze organisatie een gecorrigeerde score van 14%. Hierin zijn zowel de vastgestelde verstorende variabelen als de N meegewogen. 11

12 4 Leeswijzer bij de cliëntgebonden indicatoren Na de resultaten op de zorginhoudelijke indicatoren volgen de resultaten van de CQ-metingen over De nog geldige CQ-data over 2009 konden om technische redenen niet in dit deel worden geladen. Deze kunt u terugvinden in het overzicht in de samenvatting of in het Prestatieoverzicht van vorig jaar. 4.1 Resultaten op de cliëntgebonden indicatoren Ook voor de cliëntgebonden indicatoren geldt dat er afzonderlijke rapportages voor cliënten zorg thuis en voor cliënten verpleging en verzorging worden teruggekoppeld. Als uw OE geen zorg levert aan een van de twee groepen, blijft de betreffende rapportage leeg. Voor de cliënten verpleging en verzorging geldt bovendien het onderscheid tussen somatische cliënten (in de rapportage aangeduid als bewoners) en vertegenwoordigers van psychogeriatrische cliënten. De scores zijn steeds in twee tabellen onder elkaar opgenomen. De betreffende cellen in de tabellen blijven leeg als uw organisatorische eenheid aan een van de groepen geen zorg levert. De inhoud van de tabellen met resultaten over cliëntgebonden indicatoren wordt hieronder beschreven aan de hand van een voorbeeld. Na de omschrijving van de indicator volgt een tabel met vijf kolommen: 1. De eerste kolom toont de gecorrigeerde score. Dit is de score waarin rekening is gehouden met de kenmerken van de cliëntgroep, zie ook paragraaf De tweede kolom toont de gemiddelde landelijke score. 3. De derde kolom toont de ruwe score, dat wil zeggen de gemiddelde score van alle cliënten of vertegenwoordigers van de organisatorische eenheid. De scores lopen van 1 tot en met 4. Hoe hoger de score, hoe beter de prestatie. 4. De vierde kolom toont het aantal sterren dat u ook al in de samenvatting heeft kunnen zien. Voor de cliëntgebonden indicatoren geldt altijd: hoe hoger de score, hoe beter de prestatie en hoe meer sterren. 5. In de vijfde kolom ziet u het aantal cliënten op basis waarvan deze indicator tot stand is gekomen. Dit aantal hoeft niet overeen te komen met het aantal goedgekeurde formulieren. Een cliënt kan uitvallen bij de berekening van de indicator indien meer dan de helft van de vragen (behorende bij die indicator) voor die cliënt niet is beantwoord. 4.2 De scoreberekening Van uw meetbureau heeft u waarschijnlijk na het uitvoeren van de meting een overzicht ontvangen waarop vermeld stond hoeveel cliënten een bepaald antwoord op de vragen hebben gegeven. Op basis van deze frequentieverdeling wordt de score berekend. De vragen die aan de cliënten of hun vertegenwoordigers zijn gesteld, bevatten in het algemeen vier antwoordcategorieën: de reeks altijd, meestal, soms en nooit. Aan elke categorie is een aantal punten gekoppeld: altijd krijgt vier punten, meestal krijgt er drie, soms krijgt er twee en 12

13 nooit krijgt één punt. Ook aan afwijkende antwoordcategorieën zoals ja/nee werden punten toegekend. De antwoordcategorie niet van toepassing/niet nodig is bij de berekening buiten beschouwing gebleven. De score voor een indicator is berekend door het gemiddelde te nemen van de score op de vragen die bij de indicator horen, voor respondenten die de helft of meer van de vragen hebben ingevuld. Voor een aantal indicatoren kon geen gemiddelde vastgesteld worden en is op inhoudelijke gronden voor één vraag gekozen. Deze vraag geeft het best de essentie van de indicator weer of is de meest concrete vraag. In de meetverantwoording op de website van het CKZ ( vindt u overzichten die per CQ-Index-lijst weergeven welke vragen na de schaalanalyses zijn opgenomen in de definitieve indicatoren. 4.3 Rekening houden met de cliëntgroep: de casemix-correctie Evenals bij de zorginhoudelijke indicatoren is bij de cliëntgebonden indicatoren rekening gehouden met verstorende factoren, door hiervoor te corrigeren met een statistische methode: de multilevel lineaire regressieanalyse met twee niveaus: zorgaanbieder en respondent. Welke factoren zijn meegenomen, is op basis van inhoudelijke gronden en via statistische analyse bepaald: Voor de cliëntinterviews (somatische cliënten) zijn dat: verblijfsduur leeftijd opleiding ervaren gezondheid Voor vertegenwoordigers van psychogeriatrische cliënten zijn dat: soort vertegenwoordiger (zoon/dochter of partner etc.) verblijfsduur bewoner leeftijd vertegenwoordiger opleidingsniveau vertegenwoordiger ervaren gezondheid vertegenwoordiger Voor cliënten zorg thuis zijn dat: verblijfsduur leeftijd opleiding ervaren gezondheid wel/geen hulp bij invullen door eigen zorgverlener De antwoorden die cliënten en vertegenwoordigers hebben gegeven, zijn in een eerder stadium al bewerkt (geschoond) door het meetbureau dat de meting heeft uitgevoerd en de beheerder van de landelijke database. De ruwe scores zijn op deze geschoonde data gebaseerd. De gegevens worden als volgt geschoond: De codes worden gecontroleerd; kloppen alle codes (de code van de organisatorische eenheid, de codes van de bewoners, de code van het bureau); Er wordt gecontroleerd op dubbele records: indien twee vragenlijsten zijn ingevoerd of gescand voor één en dezelfde respondent, wordt in principe de laatst teruggestuurde/ingevoerde lijst verwijderd; Lege records (blanco vragenlijsten) worden verwijderd; Gegevens van respondenten die hebben aangegeven niet te willen meewerken (die een kruisje hebben geplaatst op pagina 2 van de vragenlijst) worden verwijderd; Gegevens van respondenten die niet tot de doelgroep behoren worden verwijderd; Gegevens van respondenten die behalve de inleidende vragen ( Over uzelf of Over de bewoner of in de vragenlijst voor thuiswonende cliënten over De zorg thuis ) geen andere vragen hebben beantwoord, worden verwijderd; Frequentieverdelingen worden gecontroleerd op opmerkelijke waarden (bijvoorbeeld: uitschieters of waarden die buiten het bereik van de antwoordmogelijkheden liggen of ten 13

14 onrechte ontbrekende cijfers) en deze opmerkelijke waarden worden met behulp van de originele vragenlijsten opgelost. Er wordt gecontroleerd of er mogelijk structurele problemen zijn bij de data-invoer en of er inconsistente waarden zijn. De uit te voeren controle is afhankelijk van de wijze waarop de data zijn ingevoerd; Als data-invoer met de hand heeft plaatsgevonden, dient het meetbureau 5% van de ingevoerde lijsten een tweede keer in te voeren. Daarbij dienen de betreffende records vergeleken te worden op inconsistenties, zodat een indruk kan worden verkregen van de kwaliteit van het data-invoer. Indien het percentage inconsistenties meer dan 1% van de waarden bedraagt, dienen alle vragenlijsten twee keer te worden ingevoerd. Beide datasets dienen dan te worden vergeleken en inconsistenties dienen te worden opgelost aan de hand van de originele vragenlijsten. Als vragenlijsten zijn gescand, dient een steekproef van 75 ingevoerde lijsten handmatig te worden vergeleken met de originele vragenlijsten. Ook hier dient een percentage inconsistenties te worden berekend en mag dit percentage niet meer dan 1% van de waarden bedragen. Als blijkt dat er sprake is van meer dan 1% inconsistente waarden, kan dit wijzen op scan-problemen en verkeerde instellingen van de scanner. Na aanpassingen van de scannerinstellingen moeten de vragenlijsten opnieuw worden gescand. 14

15 5 Leeswijzer bij de registratieformulieren Behalve de overzichten die in de vorige hoofdstukken zijn besproken, ontvangt u als onderdeel van het Prestatie-overzicht ook de onderliggende rapportages van registratieformulieren voor de zorginhoudelijke metingen: Registratieformulier A: organisatiegegevens om de organisatorische eenheid te identificeren en zorginhoudelijke indicatoren die te maken hebben met de organisatie, zoals de beschikbaarheid van een arts of verpleegkundige (de gegevens zijn gebaseerd op het meest recent geleverde A-formulier); Registratieformulier B: kenmerken van de cliënten (waaronder de zorgzwaarte) en zorginhoudelijke indicatoren die betrekking hebben op individuele cliënten verpleging en verzorging; Registratieformulier C: kenmerken van de cliënten (waaronder de zorgzwaarte) en zorginhoudelijke indicatoren die betrekking hebben op individuele cliënten zorg thuis. De formulieren bevatten voor elke vraag en elke deelvraag een tabel met een overzicht van de antwoorden. U vindt in de formulieren per indicator en per registratievraag de ingevulde antwoorden. In onderstaand voorbeeld ziet u bijvoorbeeld de tellingen en percentages van cliënten per antwoordcategorie voor vraag B22. 15

16 Bijlage 1 Toelichting bij de signaalvlaggen 1. Inleiding Zichtbare Zorg VV&T ondersteunt verpleeghuizen, verzorgingshuizen en thuiszorgorganisaties bij het inzichtelijk maken van hun kwaliteitsprestaties. De uitgangspunten daarbij zijn één taal, één loket en één werkwijze zodat er met eenduidige sets van kwaliteitsindicatoren, op een gestandaardiseerde manier inzicht gegeven kan worden in het zorgproces en de resultaten. Zichtbare Zorg maakt de aangeleverde gegevens openbaar. Met deze openbare gegevens kunnen verschillende doelgroepen informatie over kwaliteit van zorg gebruiken als: 1.keuze-informatie voor cliënten; 2.inkoopinformatie voor zorgverzekeraars; 3.toezichtinformatie voor de IGZ; 4.spiegel- en sturingsinformatie voor zorgverleners voor het verbeteren van de eigen prestaties; 5.beleidsinformatie. Gebruikers van de kwaliteitsgegevens moeten voldoende context geboden krijgen, zodat zij verantwoord kunnen omgaan met de gegevens. Het is daarbij belangrijk dat de indicatoren, de aangeleverde data en de indicatorwaarden aan kwaliteitseisen voldoen. Zichtbare Zorg heeft daarom eind 2010 in samenwerking met experts uit het veld een Zichtbare Zorg Indicatorstandaard ontwikkeld. De Zichtbare Zorg Indicatorstandaard legt een methodiek vast om de kwaliteit van de indicatoren op de volgende criteria te beoordelen: inhoudsvaliditeit; vergelijkbaarheid; registratiebetrouwbaarheid; statistisch betrouwbaar onderscheidend Per indicator wordt de zeggingskracht op elk bovengenoemd criterium gescoord. De score wordt vastgelegd met een groene (goed), oranje (matig) of rode (slecht) signaalvlag. Hoofdstuk 2 geeft een toelichting op de signaalvlaggen voor de criteria inhoudsvaliditeit en vergelijkbaarheid. Signaalvlaggen De zorginhoudelijke indicatoren zijn tot nu toe beoordeeld op twee van de vier criteria: inhoudsvaliditeit en registratiebetrouwbaarheid. De beoordeling op vergelijkbaarheid en statistisch betrouwbaar onderscheiden wordt de komende maanden toegevoegd. De beoordelingscriteria houden het volgende in: 1.Inhoudsvaliditeit De relatie tussen de geleverde zorg (of het ontbreken daarvan) en de zorguitkomsten bij de cliënt is duidelijk. Voor uitkomstindicatoren betekent dit dat is aangetoond dat de gemeten uitkomst beïnvloedbaar is door de zorgaanbieder(s) waar de indicator betrekking op heeft. Voor structuuren procesindicatoren betekent dit dat is aangetoond dat de gemeten structuur of processen ook daadwerkelijk de gewenste zorguitkomsten beïnvloeden. De inhoudsvaliditeit op setniveau is goed als de set van indicatoren de relevante aspecten van de geleverde zorg goed dekt. Hierbij wordt gelet op de relevante fasen (indicatie, proces van zorg zelf, uitkomsten) en de kwaliteitsdomeinen (effectiviteit, veiligheid, cliëntgerichtheid). 2.Vergelijkbaarheid De indicatorwaarden van verschillende zorgaanbieders op een bepaalde indicator zijn vergelijkbaar. Dat wil zeggen dat de berekende indicatorwaarden daadwerkelijke verschillen in de kwaliteit van de geleverde zorg weerspiegelen en niet de verschillen in de cliëntenpopulaties van de zorgaanbieders. 3.Registratiebetrouwbaarheid Het proces van meten, registreren, aanleveren en verwerken van de voor de indicator benodigde 16

17 gegevens dient tijdig, juist, volledig en uniform en zonder systematische meetfouten te gebeuren. 4.Statistisch betrouwbaar onderscheiden De kans dat de indicatorwaarde op toeval berust is klein. Hiertoe moet het aantal waarnemingen afdoende groot zijn. De invloed van toeval op de indicatorwaarde is te verkleinen door het aantal waarnemingen te verhogen: de toevallige afwijkingen heffen elkaar dan min of meer op. In de praktijk lukt het vaak niet om grote hoeveelheden waarnemingen te realiseren, waardoor de indicatorwaarde van een zorgaanbieder wel wordt beïnvloed door toeval. De toevallige gezondheidstoestand van de cliëntenpopulatie tijdens de meetmomenten kan dan dus bepalend zijn voor de indicatorwaarden. Zeggen de signaalvlaggen iets over de kwaliteit van zorg? Nee, de signaalvlaggen zeggen niets over de kwaliteit van zorg. De signaalvlaggen zeggen iets over de zeggingskracht van de indicatoren en hun waarden. Als de vier signaalvlaggen voor een indicator groen zijn, dan betekent dit dat verantwoorde conclusies over de kwaliteit van zorg aan de indicatorwaarden verbonden kunnen worden. Waarom de signaalvlaggen? De doelstellingen van de beoordelingsmethodiek zijn: 1. Gegevens verantwoord openbaar maken Op basis van de score op de kwaliteitscriteria kan de Stuurgroep een onderbouwd besluit nemen over het al dan niet of deels openbaar maken van de gegevens. Het uitgangspunt daarbij is dat alle indicatorwaarden openbaar worden samen met een beoordeling over hun zeggingskracht. 2. Optimalisatie De beoordeling geeft de Stuurgroep inzicht in de kwaliteit van de indicatoren en de indicatorwaarden. Hierdoor kunnen ze doelmatige keuzes maken bij de acties voor verbeteringen van zeggingskracht van de indicatoren. 3. Monitoring Aan de hand van de uitkomsten op de beoordeling kan de Stuurgroep over de jaren heen monitoren of de zeggingskracht van de indicatoren verbeteren. 4. Leeswijzer De beoordeling geeft de gebruikers, die van de indicatorwaarden informatie maken voor hun doelgroep, inzicht in de mate waarin de indicatoren en indicatorwaarden aan de criteria voldoen. Het is de verantwoordelijkheid van deze partijen hoe ze met deze beoordeling in relatie tot de bruikbaarheid van de indicatorwaarden voor hun doeleinden omgaan. Zijn alle criteria even belangrijk? De scores op de criteria vormen samen het beeld van de zeggingskracht van de indicatoren en indicatorwaarden. Tegelijkertijd geven ze inzicht in de kwaliteit op deze onderliggende criteria, zodat de verbeterrichting helder wordt. Essentieel is het inzicht dat voor wat betreft de afzonderlijke criteria de zwakste schakel de uiteindelijke kwaliteit van de indicator bepaalt. De inhoudsvaliditeit van een indicator kan goed zijn, maar als de registratiebetrouwbaarheid matig is, dan is de gebruikswaarde van de indicator gering. Zijn er meerdere zwakke plekken (bijvoorbeeld naast een matige registratiebetrouwbaarheid ook nog een matige vergelijkbaarheid), dan wordt de uiteindelijke kwaliteit (en dus ook de gebruikswaarde) zwakker dan de zwakste schakel. 17

18 Een cliënt kan zo iets ingewikkelds toch niet begrijpen? Deze signaalvlaggen zijn voor de professionele gebruikers van de kwaliteitsgegevens. Omdat Zichtbare Zorg geen informatie, maar gegevens verzamelt, is het van groot belang dat gebruikers van die gegevens specifieke informatieproducten maken ten behoeve van hun doelgroep. Voorbeelden van gebruikers van de data zijn: beleidsmedewerkers/projectleiders bij cliënten organisaties, adviseurs zorginkoop bij zorgverzekeraars en kwaliteitsmanagers in de instellingen. De individuele burger of kiezende consument zelf is nadrukkelijk niet de doelgroep van deze signaalvlaggen. De signaalvlaggen dienen als achtergrond- en contextinformatie bij de gegevens. Scores op de indicatoren kunnen opvallend zijn. Het is aan de gebruikers van de gegevens om verantwoord om te gaan met schijnbaar afwijkende scores van verpleeghuizen, verzorgingshuizen of thuiszorgorganisaties. Deze kunnen de werkelijkheid weerspiegelen maar kunnen bijvoorbeeld ook wijzen op registratieproblemen. Wat betekenen de kleuren van de signaalvlaggen? In de tabellen op de volgende pagina staat per criterium beschreven wat een rode (slecht), groene (goed) of oranje (matig) vlag betekent. 18

19

20 20

21 21