Het vergelijken van patiëntervaringen tussen zorgaanbieders

Transcriptie

1 Het vergelijken van patiëntervaringen tussen zorgaanbieders Meerwaarde van ordinale modellen voor indicatoren gebaseerd op één vraag met een beperkt aantal antwoordcategorieën Dolf de Boer Lucas van der Hoek

2 ISBN Telefoon Fax NIVEL, Postbus 1568, 3500 BN UTRECHT Niets uit deze uitgave mag worden verveelvoudigd en/of openbaar gemaakt worden door middel van druk, fotokopie, microfilm of op welke andere wijze dan ook zonder voorafgaande schriftelijke toestemming van het NIVEL te Utrecht. Het gebruik van cijfers en/of tekst als toelichting of ondersteuning in artikelen, boeken en scripties is toegestaan, mits de bron duidelijk wordt vermeld.

3 Inhoud Voorwoord 5 Samenvatting 7 1 Inleiding Bestaande richtlijnen voor vergelijkende analyses Een mogelijke lacune in de richtlijnen voor vergelijkende analyses Modellen voor ordinale variabelen Gevolgen van aanbevelen ordinale modellen Onderzoeksvragen en opbouw van het rapport 12 2 Methode Gebruikte datasets en variabelen Analyses Testen van de proportional odds assumptie Lineaire en ordinale modellen Verschil tussen de zorgaanbiedersscores uit verschillende modellen 18 3 Resultaten Welk ordinaal model? De ervaringen met ordinale modellen op een rijtje Een vergelijking van de resultaten van de verschillende modellen Presentatiewijze 21 4 Discussie Belangrijkste bevindingen Implicaties voor toekomstige metingen 24 Literatuur 25 Vergelijken patiëntervaringen tussen zorgaanbieders, NIVEL/Zorginstituut Nederland

4 4 Vergelijken patiëntervaringen tussen zorgaanbieders, NIVEL/Zorginstituut Nederland 2015

5 Voorwoord In dit rapport worden drie modellen lineair, logistisch en ordinaal- voor het analyseren van de prestaties van zorgaanbieders op basis van één vraag met elkaar vergeleken. Het rapport bouwt daarmee voor op eerdere discussies over geschikte methoden voor het vergelijken van zorgaanbieders en speelt tevens in op de ontwikkeling dat vergelijkingen steeds vaker worden gebaseerd op één vraag als gevolg van het inkorten van vragenlijsten. Het rapport is bedoeld voor onderzoekers, methodologische experts en gegevensmakelaars die geïnteresseerd zijn in methoden voor het vergelijken van zorgaanbieders op basis van één vraag (of variabele) met een beperkt aantal categorieën. Teneinde een zo groot mogelijk publiek te bereiken wordt de lezer waar mogelijk bij de hand genomen. De werkzaamheden voor dit rapport zijn uitgevoerd binnen een samenwerkingsverband tussen Zorginstituut Nederland en het NIVEL en hebben mede geleid tot het verfijnen van de werkinstructie Vergelijkende analyse en casemixadjustment die gezien kan worden als tool voor gegevensmakelaars. Daarmee is een belangrijke stap gezet in de verdere verfijning en verantwoording van methoden voor het vergelijken van kwaliteit van zorg tussen zorgaanbieders. Vergelijken patiëntervaringen tussen zorgaanbieders, NIVEL/Zorginstituut Nederland

6 6 Vergelijken patiëntervaringen tussen zorgaanbieders, NIVEL/Zorginstituut Nederland 2015

7 Samenvatting Het openbaar maken van cijfers over kwaliteit van zorg kan grote (financiële) consequenties hebben voor zorgaanbieders. Het is dan ook essentieel dat de best mogelijke analysetechnieken worden gebruikt om die cijfers te berekenen. In dit rapport is bekeken in hoeverre ordinale multilevel regressie-analyses tot andere resultaten leiden voor scores die gebaseerd zijn op één enkele vraag met een beperkt aantal antwoordcategorieën in vergelijking met lineaire of logistische regressie analyses. De verschillen met lineaire multilevel regressie blijken beperkt, maar zeker niet verwaarloosbaar. Tevens is gebleken dat de resultaten van deze techniek zodanig kunnen worden bewerkt dat de interpretatie en presentatie nauw aan kan sluiten bij de reeds bestaande strategieën. Het toevoegen van ordinale multilevel regressie aan de bestaande technieken voor het analyseren van gegevens over kwaliteit van zorg wordt dan ook aanbevolen. Vergelijken patiëntervaringen tussen zorgaanbieders, NIVEL/Zorginstituut Nederland

8 8 Vergelijken patiëntervaringen tussen zorgaanbieders, NIVEL/Zorginstituut Nederland 2015

9 1 Inleiding Patiëntervaringen vormen een belangrijke bron van informatie over de kwaliteit van zorg in Nederland. De basale gedachte is dat patiëntervaringen worden gemeten en vergeleken tussen zorgaanbieders teneinde vast te stellen bij welke zorgaanbieders de ervaringen goed zijn en bij welke zorgaanbieders verbetering mogelijk is. Met dit idee is de afgelopen jaren een groot aantal vragenlijsten ontwikkeld en geïmplementeerd die bekend staan onder de naam Consumer Quality Index (CQ-index of CQI). Deze vragenlijsten meten ervaringen van patiënten met de kwaliteit van zorg. Iedere vragenlijst is ontwikkeld voor een specifieke patiëntengroep, behandeling of sector. Wat patiënten belangrijk vinden wordt onderzocht tijdens de ontwikkeling van de vragenlijst en bepaald in belangrijke mate welke onderwerpen aan bod komen (Hopman et al., 2011). CQI vragenlijsten zijn de afgelopen jaren ingezet bij verschillende grootschalige en landelijke metingen waarbij tientallen meetorganisaties betrokken waren. Om te zorgen dat het hele proces van data verzamelen, data verwerken en analyseren gestandaardiseerd en op de juiste wijze plaats vindt zijn richtlijnen opgesteld. Tevens werd middels een accreditatieprocedure geborgd dat alleen meetorganisaties die in staat zijn de richtlijnen te volgen, metingen met de CQ-index verrichten en/of analyseren (CKZ, 2013). Deze richtlijnen zijn grotendeels gebaseerd op wetenschappelijke kennis en daarmee vanzelfsprekend ook toepasbaar voor allerlei vragenlijsten over patiëntervaringen buiten de CQ-Index. Uiteraard is het van groot belang dat dergelijke richtlijnen correct, dekkend en uitvoerbaar zijn. 1.1 Bestaande richtlijnen voor vergelijkende analyses Een belangrijk onderdeel van de richtlijnen betreft de wijze waarop de scores van zorgaanbieders met elkaar worden vergeleken. Voor de CQ-index behelzen deze richtlijnen onder meer dat vergelijkingen tussen zorgaanbieders worden getrokken o.b.v. multilevel regressie modellen waarin wordt gecorrigeerd voor casemix (CKZ, 2013; Sixma et al., 2008; De Boer et al., 2010). Deze benadering is uiteraard ook toepasbaar op zorginhoudelijke indicatoren en wordt daar inmiddels ook toegepast (Visser et al., 2012). Op dit moment voorzien de richtlijnen in twee typen multilevel regressie: lineair en logistisch, waarbij lineaire regressie verreweg het meest wordt toegepast. Alleen wanneer een score gebaseerd op één vraag met twee antwoordcategorieën wordt geanalyseerd (bijvoorbeeld ja en nee ) wordt logistische regressie toegepast. De vraag is echter of lineaire regressie in alle andere gevallen voldoet. Lineaire regressie is in beginsel bedoeld voor normaal verdeelde afhankelijke variabelen die zich op een intervalschaal bevinden. Een intervalschaal is een schaal waarbij er een oneindig aantal waarden mogelijk is tussen de minimale en maximale waarde. De vragen uit patiëntervaringsvragenlijsten bevinden zich echter nooit op een intervalschaal omdat Vergelijken patiëntervaringen tussen zorgaanbieders, NIVEL/Zorginstituut Nederland

10 het altijd gaat om (discrete) antwoordcategorieën van 3 of 4 mogelijke antwoorden. Wanneer er voldoende antwoordmogelijkheden zijn en deze geordend kunnen worden (bijvoorbeeld van klein naar groot, of van slecht naar goed), dan is het vrij breed geaccepteerd om hier toch een lineaire regressie voor te gebruiken. Een vuistregel die in dit verband wel wordt gehanteerd is dat variabelen die bestaan uit zeven of meer opeenvolgende categorieën als intervalschaal kunnen worden behandeld (Tabachnik en Fidell, 2001). In feite wordt daarmee wel een belangrijke aanname gedaan, namelijk dat de categorieën waarden vertegenwoordigen zich bevinden op een onderliggende intervalschaal. Hiermee hangt samen dat wordt veronderstelt dat de afstanden tussen de categorieën gelijk zijn. Met andere woorden: het verschil tussen de eerste en de tweede antwoordmogelijkheid moet dezelfde betekenis hebben als het verschil tussen de tweede en derde antwoordmogelijkheid. De overgrote meerderheid van vragen uit de CQ-index bestaat slechts uit drie à vier antwoordcategorieën en kan dus in beginsel niet worden behandeld als intervalschaal, maar komt ook niet in aanmerking voor een logistische regressie omdat er meer dan twee antwoordcategorieën zijn. De scores worden echter vaak gebaseerd op een gemiddelde over een aantal vragen, waarmee het aantal mogelijke scores al snel in de buurt komt bij de eerdergenoemde vuistregel van zeven of meer (Tabachnik en Fidell, 2001). En waarmee het dus geaccepteerd is om een lineair model toe te passen, op voorwaarde dat de afstanden tussen de categorieën gelijk zijn. 1.2 Een mogelijke lacune in de richtlijnen voor vergelijkende analyses Het goede gebruik om scores te baseren op een gemiddelde over enkele vragen komt steeds meer onder druk te staan. Er bestaat namelijk een sterke behoefte om vragenlijsten zo kort mogelijk te maken, wat resulteert in forse beperkingen van het aantal vragen waarmee een onderwerp wordt uitgevraagd (Asmoredjo et al., 2012). Deze beweging wordt versterkt door de opkomst van patient reported outcome measures, een ander type patiëntervaringen die stakeholders in groeiende mate willen toevoegen aan vragenlijsten zonder de lijsten langer te willen maken. Er wordt, kortom, gesneden in het aantal vragen in vragenlijsten, waarmee het steeds vaker voorkomt dat een score wordt gebaseerd op één enkele vraag. Dit werpt de vraag op of de huidige richtlijnen al dan niet moeten worden uitgebreid met mogelijkheden die zich speciaal richten op scores die gebaseerd zijn op één enkele vraag met een beperkt aantal opeenvolgende antwoordcategorieën. Het belang van dit vraagstuk wordt nader onderstreept wanneer we de aanname dat de afstanden tussen de antwoordcategorieën gelijk zijn, nader bekijken. De antwoordcategorieën nooit, soms, meestal en altijd komen verreweg het meest voor in de CQ-index. Het is niet direct aannemelijk dat deze afstanden gelijk zijn. In dit verband wordt door de auteurs, alsmede door verschillende experts waar de auteurs in de afgelopen jaren contact mee hebben gehad, ernstig betwijfeld dat de afstanden tussen deze categorieën gelijk zijn. Met name de afstand tussen soms en meestal lijkt op het oog groter dan de overige afstanden (Knapp, 1990). 10 Vergelijken patiëntervaringen tussen zorgaanbieders, NIVEL/Zorginstituut Nederland 2015

11 Een mogelijke oplossing kan zijn om de antwoordcategorieën middels een hercodering terug te brengen tot twee mogelijke scores (dit heet ook wel dichotomiseren) en te analyseren met behulp van een logistische multilevel regressie. Hiermee wordt op voorhand echter al wel informatie verloren wat ook vertekenend kan werken. Zo is in tabel 1.1 een fictief voorbeeld gepresenteerd waarin de patiënten van aanbieder A duidelijk betere ervaringen rapporteren, terwijl deze zorgaanbieder na dichotomisering toch slechter scoort dan aanbieder B. Dichotomiseren is dus ook niet echt een aantrekkelijke oplossing. Tabel 1.1 Een voorbeeld van vertekening door dichotomisering van de antwoordcategorieën nooit-soms-meestal-altijd aanbieder a aanbieder b antwoord* hercodering** antwoord hercodering Respondent 1 4 (altijd) 1 3 (meestal) 1 Respondent 2 2 (soms) 0 3 (meestal) 1 Respondent 3 4 (altijd) 1 3 (meestal) 1 Respondent 4 4 (altijd) 1 3 (meestal) 1 Gemiddelde 3,5 0, * hogere scores zijn beter ** nooit/soms=0; meestal/altijd=1 Op grond van voorgaande lijkt het zeer de moeite waard om te bekijken of ordinale modellen leiden tot beduidend andere resultaten bij indicatoren die zijn gebaseerd op één enkele vraag met een beperkt aantal discrete antwoordcategorieën. Naarmate dat meer het geval is wordt het belangrijker om ordinale modellen toe te passen in dit soort situaties omdat een ordinaal model theoretisch gezien ook beter past. 1.3 Modellen voor ordinale variabelen Regressiemodellen voor het analyseren van ordinale variabelen kunnen worden gezien als een uitbreiding van logistische regressie. Ter illustratie volgt hieronder de notatie van een logistische regressie met één onafhankelijke variabele, gevolgd door een beschrijving van de wijze waarop regressiemodellen voor ordinale variabelen hierop aansluiten: ln[p/(1 p)] = cons + bx + e (1) De rechterkant van formule (1) is identiek aan die van een lineaire regressie: een constante plus het effect (b) van een onafhankelijke variabele (X) en een residu (e). De linkerkant van formule (1) betreft de natuurlijke logaritme van de kans (p) op één van twee uitkomsten (bijvoorbeeld het antwoord ja ) gedeeld door de kans op de andere uitkomst (bijvoorbeeld het antwoord nee ). Dit wordt de odds genoemd Vergelijken patiëntervaringen tussen zorgaanbieders, NIVEL/Zorginstituut Nederland

12 De formule voor een ordinale regressie is in feite een serie van formules zoals formule (1). De linkerkant van iedere formule heeft nog steeds betrekking op twee mogelijke uitkomsten: een antwoord kleiner of gelijk aan een gegeven antwoord (bijvoorbeeld soms ) versus een groter antwoord. Voor de veelgebruikte antwoordcategorieën nooit-soms-meestal-altijd bestaat het model dus uit drie formules: een formule voor het antwoord nooit versus grotere antwoorden, een formule voor het antwoorden kleiner of gelijk aan soms versus grotere antwoorden en een formule voor antwoorden kleiner of gelijk aan meestal versus het antwoord altijd. Iedere formule heeft zijn eigen constante en ook het effect (b) van een onafhankelijke variabele (X) kan voor iedere formule variëren. Het leidt echter tot wat minder overzichtelijke resultaten wanneer het effect (b) varieert omdat de analyse dan een aparte coëfficiënt oplevert voor iedere overgang van antwoordcategorieën. Er bestaan ook ordinale regressiemodellen die uitgaan van de aanname dat het effect (b) gelijk is over de range van antwoordcategorieën. Deze aanname wordt ook wel de proportional odds assumptie genoemd en de modellen die uitgaan van deze aanname heten dan ook proportional odds modellen. Het grote voordeel van een proportional odds model is dat het effect van onafhankelijke variabelen eenvoudiger te interpreteren is omdat het effect van iedere onafhankelijke variabele maar één keer wordt geschat, in plaats van apart voor iedere overgang. Dit verklaart ook ongetwijfeld de grote populariteit van proportional odds modellen. Of de proportional odds assumptie past bij de data kan echter worden getoetst waaruit dan regelmatig blijkt dat deze assumptie niet gerechtvaardigd is. Het grote nadeel is dus dat het proportional odds model vaak niet past. 1.4 Gevolgen van aanbevelen ordinale modellen Het toevoegen van ordinale modellen aan de gebruikelijke strategieën heeft twee belangrijke consequenties. De eerste is dat de resultaten van vergelijkingen op basis van ordinale modellen mogelijk lastiger te presenteren zijn aan een publiek dat niet statistisch onderlegt is. Een tweede gevolg betreft het gegeven dat bij de meetbureaus die geaccrediteerd zijn voor het uitvoeren van vergelijkende analyses, niet is getoetst of zij dit ook kunnen met behulp van een ordinaal model. Het wordt dus lastiger om partijen te vinden die hier bedreven in zijn. 1.5 Onderzoeksvragen en opbouw van het rapport Gegeven de gevolgen van het aanbevelen van ordinale modellen voor indicatoren gebaseerd op één vraag met een beperkt aantal antwoordcategorieën is een zorgvuldige afweging op dit punt wenselijk. In dit licht formuleren we de volgende vraagstellingen: 1 Wat is een geschikt ordinaal multilevel model voor het vergelijken van zorgaanbieders op basis van één enkele vraag met een beperkt aantal antwoordcategorieën? 12 Vergelijken patiëntervaringen tussen zorgaanbieders, NIVEL/Zorginstituut Nederland 2015

13 2 In hoeverre leidt een ordinaal multilevel model tot andere resultaten dan een lineair of logistisch model voor het vergelijken van zorgaanbieders? 3 Op welke wijze kunnen de resultaten van vergelijkingen van zorgaanbieders o.b.v. een ordinaal multilevel model worden gepresenteerd? Vergelijken patiëntervaringen tussen zorgaanbieders, NIVEL/Zorginstituut Nederland

14 14 Vergelijken patiëntervaringen tussen zorgaanbieders, NIVEL/Zorginstituut Nederland 2015

15 2 Methode 2.1 Gebruikte datasets en variabelen Voor het beantwoorden van de vraagstellingen uit dit rapport zijn vijf verschillende datasets gebruikt van metingen met CQ-index vragenlijsten (zie tabel 2.1). Deze zijn geselecteerd uit een veel grotere verzameling datasets waar het NIVEL vanuit haar werkzaamheden een gebruiksrecht op heeft voor het doen van onderzoek. De keuze voor deze datasets is mede ingegeven door een voorkeur voor een groot aantal deelnemende zorgaanbieders. Voor meer informatie over de steekproeftrekking, dataverzameling, respons, representativiteit etc. verwijzen we naar de rapporten die zijn verschenen over deze metingen (Van Greuningen et al., 2009; Booij et al., 2011; Donselaar et al., 2010; Sixma et al., 2009; Stichting Miletus, 2010). Tabel 2.1 Gebruikte datasets 1.ziekenhuiszorg 2.bewoners V&V onderzoek 3.zorg en zorgverzekering 4.heup- of knieoperatie 5.farmacie Jaar N totaal Aantal zorgaanbieders Leeftijd <45 22,6% 0,2% 29,4% 6,3% 23, ,2% 3,0% 41,7% 61,6% 38,0 >65 45,1% 96,8% 29,0% 32,1% 38,9 Opleiding geen, lager onderwijs, LBO 47,9% 72,4% 25,0% 50,9% 42,6 VMBO/MAVO, MBO, 40,9% 22,8% 46,3% 38,2% 44,7 HAVO/VWO HBO/Universiteit 11,2% 4,8% 28,7% 10,9% 12,6 Gezondheid slecht / matig 40,9% 55,5% 15,5% 20,5% 42,5 goed 43,0% 38,5% 53,3% 58,4% 43,4 zeer goed / uitstekend 16,1% 6,1% 31,2% 21,1% 14,0 V&V: Verpleging en verzorging Voor iedere dataset zijn de vragen met de antwoordcategorieën nooit-soms-meestalaltijd en de vragen met de antwoordcategorieën groot probleem-klein probleem-geen probleem geselecteerd als afhankelijke variabelen. Het gaat om in totaal 181 vragen met de antwoordcategorieën nooit-soms-meestal-altijd en 17 vragen met de antwoord- Vergelijken patiëntervaringen tussen zorgaanbieders, NIVEL/Zorginstituut Nederland

16 categorieën groot probleem-klein probleem-geen probleem. Deze aantallen weerspiegelen dat de antwoordcategorieën nooit-soms-meestal-altijd relatief veel voorkomen in de CQ-index. Bij wijze van illustratie bevat figuur 2.1 een typische frequentieverdeling voor beide typen antwoordcategorieën. Uiteraard zijn deze verdelingen niet voor iedere vraag exact hetzelfde, maar wel geldt voor de meeste vragen wat in figuur 2.1 ook duidelijk te zien is: de frequentieverdeling is (zeer) scheef met de meeste waarnemingen in de meer positieve categorieën. De patiëntkenmerken uit tabel 2.1 zijn gebruikt als onafhankelijke variabelen, oftewel: casemix adjusters. De keuze voor deze variabelen als casemix adjusters stemt overeen met wat gebruikelijk is voor vergelijkende analyses op basis van patiëntervaringsvragenlijsten (Koopman et al., 2013). De casemix adjusters zijn steeds als categorische variabelen meegenomen in de analyses. Figuur 2.1 Illustratie van de verdeling over antwoordcategorieën voor twee willekeurige vragen uit de CQI Ziekenhuiszorg Percent nooit soms meestal altijd Percent groot probleem klein probleem geen probleem Hoe vaak tijdens uw ziekenhuisopname namen verpleegkundigen u serieus? In hoeverre heeft u de wachttijd tot uw opname als een probleem ervaren? 16 Vergelijken patiëntervaringen tussen zorgaanbieders, NIVEL/Zorginstituut Nederland 2015

17 2.2 Analyses Testen van de proportional odds assumptie Voor het testen van de proportional odds assumptie is gebruik gemaakt van het commando omodel in Stata (versie12.1; StataCorp, 2011). Dit commando voert een ordinale regressie uit en bekijkt met een likelihood-ratio toets of de proportional odds assumptie is geschonden. Dit is een algemene test die nog niet aangeeft voor welke van de casemix variabelen de assumptie is geschonden. Om dit laatste te achterhalen zijn alle modellen waarvoor omodel een significante schending van de proportional odds assumptie liet zien, gevolgd door een analyse met het commando gologit2, eveneens in Stata waarmee is bekeken welke onafhankelijke variabelen (casemix adjusters) niet aan de proportional odds assumptie voldoen. Het percentage van de variabelen dat niet voldoet aan de proportional odds assumptie wordt gerapporteerd. Tevens wordt voor iedere casemix adjuster aangegeven hoe vaak deze verantwoordelijk was voor een schending van de proportional odds assumptie. Aangezien de gebruikte datasets vele duizenden waarnemingen bevatten waarmee schendingen van de proportional odds assumptie sneller significant worden is de toets van de proportional odds assumptie een tweede keer uitgevoerd op een selectie van cases per dataset. Het getal heeft echter geen speciale betekenis en dient primair om te illustreren in welke mate de grootte van de gebruikte datasets van invloed is op de significantie van de schending van de proportional odds assumptie Lineaire en ordinale modellen De lineaire modellen zijn conform de huidige richtlijnen voor de CQ-index gespecificeerd (14). In het kort betekent dit dat de modellen steeds twee niveaus kennen: zorgaanbieder en individu. Op basis van ieder model zijn casemix gecorrigeerde gemiddelden per zorgaanbieder geschat, met een standaard error (SE). Voorgaande werkwijze is voor logistische en ordinale modellen zoveel mogelijk gevolgd. Zo zijn dezelfde niveaus gespecificeerd, zijn casemixgecorrigeerde schattingen met SE per zorgaanbieder opgevraagd en zijn vergelijkingsintervallen en sterren berekend in drie categorieën (één, twee en drie sterren), waarbij zorgaanbieders met één ster significant verschilden van zorgaanbieders met drie sterren (Koopman et al., 2013). Een belangrijk verschil in de achterliggende techniek is echter dat de schattingen per zorgaanbieder zich op de logitschaal bevinden. Tevens is er op deze logitschaal geen betekenisvol overall gemiddelde maar zijn de zorgaanbiederschattingen verspreid rond de waarde nul. De stappen die zijn doorlopen zijn dus min of meer gelijk aan die voor de lineaire analyses, maar de schattingen bevinden zich op een andere schaal. Voornoemde bewerkingen zijn alleen uitgevoerd voor variabelen waarvoor het multilevel model significant beter paste dan een model zonder levels. Is dat niet het geval dan is de conclusie dat er geen verschillen tussen zorgaanbieders zijn, waarmee het weinig zinvol is om te kijken naar het effect van analysemethoden op die verschillen. Vergelijken patiëntervaringen tussen zorgaanbieders, NIVEL/Zorginstituut Nederland

18 2.2.3 Verschil tussen de zorgaanbiedersscores uit verschillende modellen Een belangrijke vraag is uiteraard hoe groot eventuele verschillen tussen een lineair en een ordinaal model zijn voor individuele zorgaanbieders. Een direct vergelijk van zorgaanbiedersschattingen van het lineaire en het ordinale model is niet mogelijk, omdat de onderliggende schalen onvergelijkbaar zijn. Het bekijken van verschillen in rangorde is ook maar beperkt informatief. Een zorgaanbieder die zich bevindt in een groep min of meer gelijk scorende zorgaanbieders kan als gevolg van een nauwelijks andere score al snel veel plaatsen opschuiven in de rangorde. Dit probleem wordt iets kleiner door te werken met percentielen van de rangorde, maar ook dan speelt dit een rol. Om een vergelijkbare reden is het vergelijken van sterrenclassificaties tussen beide typen analyses weinig informatief: een zeer klein (verwaarloosbaar) verschil kan ervoor zorgen dat een zorgaanbieder net wel of net niet een bepaald aantal sterren krijgt. Om deze redenen is een andere strategie gekozen om de uitkomsten van beide analyses op zorgaanbiedersniveau te vergelijken. In figuur 2.2 staat geïllustreerd hoe per zorgaanbieder is bekeken in hoeverre de ordinale analyse tot andere resultaten leidt dan een ander model. Hiertoe is de range van scores voor zowel de lineaire als de ordinale analyse opgedeeld in 100 delen van gelijke grootte. Ieder deel beslaat dus 1% van de totale range. Wanneer een zorgaanbieder in beide analyses in hetzelfde deel van de 100 gelijke delen valt, is deze zorgaanbieder minder dan 1% opgeschoven in range. Wanneer een zorgaanbieder slechts één deel opschuift (bijvoorbeeld van 6 naar 7; zie figuur 2.2) hoeft dit nog steeds geen verschil aan te duiden: wellicht is de zorgaanbieder slechts 0,0001% verschoven waardoor deze in de ordinale analyse net één deel opschuift. Voor zorgaanbieders die twee delen opschuiven kunnen we echter zonder meer zeggen dat die meer dan 1% van de range zijn verschoven, van zorgaanbieders die drie delen opschuiven kunnen we zonder meer zeggen dat die meer dan 2% zijn verschoven etc. Figuur 2.2 Illustratie van wijze van vergelijk van verschillende modellen tegen het beste model alternatief model min max min max beste model 18 Vergelijken patiëntervaringen tussen zorgaanbieders, NIVEL/Zorginstituut Nederland 2015

19 3 Resultaten 3.1 Welk ordinaal model? De belangrijkste vraag in dit verband is in hoeverre de proportional odds assumptie wordt geschonden bij geanalyseerde vragen. Idealiter is dit niet het geval zodat er geen enkel bezwaar is tegen het gebruik van het minder complexe proportional odds model. In tabel 3.1 is te zien hoe vaak schendingen van de proportional odds assumptie voorkwamen bij de geanalyseerde variabelen. De eerste regel van de tabel toont de resultaten voor de analyses op de volledige datasets. Hieruit blijkt dat deze assumptie wordt geschonden voor 65% van alle afhankelijke variabelen en dat alle drie de casemix adjusters frequent betrokken zijn bij deze schendingen. Omdat de gebruikte datasets vele duizenden waarnemingen bevatten waardoor een schending van de proportional odds assumptie snel significant wordt (zie tabel 2.1) zijn de analyses herhaald, waarbij het aantal waarnemingen steeds werd beperkt tot In deze analyse wordt de proportional odds assumptie geschonden voor 33% van de onafhankelijke variabelen en wederom zijn alle drie de casemix adjusters daarbij betrokken (zie tabel 3.1). Tabel 3.1 Schending van de proportional odds assumptie voor de volledige datasets en voor samples van maximaal waarnemingen Case mix variabelen totaal leeftijd opleiding gezondheid schending (n=198 variabelen) 65% 43% 32% 52% schending (n=198 variabelen, N<=3000) 33% 18% 19% 22% 3.2 De ervaringen met ordinale modellen op een rijtje Binnen het softwarepakket Stata (versie 13.1) is het commando meologit beschikbaar waarmee een ordinaal multilevel model kan worden geschat dat gebruik maakt van de proportional odds assumptie. Dit model draait soepel en op vergelijkbare wijze als lineaire en logistische multilevel modellen. Hetzelfde model kan worden geschat met behulp van het userwritten commando gllamm. Dit loopt aanmerkelijk minder soepel dan het meologit commando wat zich voornamelijk uit in een veel langere doorlooptijd. Zoals verwacht leveren beide modellen wel nagenoeg dezelfde resultaten op, waarmee de voorkeur bij het meologit commando komt te liggen om redenen van efficiency. Zoals aangetoond in paragraaf 3.1 wordt de proportional odds assumptie echter veelvuldig geschonden waarmee een ordinaal model dat niet stoelt op deze assumptie in theorie nog beter is. Binnen Stata is ten tijde van het schrijven van dit rapport nog niet voorzien in een dergelijk commando. Met het userwritten commando gllamm is het wel mogelijk om een ordinaal multilevel model te schatten dat geen gebruik maakt van de proportional odds assumptie. Dit model draait echter behoorlijk traag en convergeert Vergelijken patiëntervaringen tussen zorgaanbieders, NIVEL/Zorginstituut Nederland

20 niet voor een groot deel van de variabelen (41/202 variabelen = 20,3%), wat betekent dat de resultaten voor die variabelen niet betrouwbaar zijn. In een aantal gevallen kon geen eerste iteratie worden voltooid, wat deels weer kon worden opgelost door enkele parameters uit het proportional odds model op te nemen als startwaarden voor het model dat geen gebruik maakt van de proportional odds assumptie; het aantal variabelen waarvoor geen convergentie werd bereikt daalde van 41 naar 28 (=13,9%). Voor de variabelen waarvoor dit model wel convergeert zijn de resultaten in theorie echter wel het meest accuraat, waardoor dit model voor het resterende deel van de resultatensectie als uitgangspunt is genomen. Het aantal variabelen daalt daarmee in eerste instantie naar 174 (202 28) en wanneer we de variabelen verwijderen waarvoor het multilevel model niet beter past als het model zonder levels (er zijn dus geen verschillende tussen de zorgaanbieders) blijven er 157 variabelen over. Voor de overige analyses zijn alleen deze 157 variabelen gebruikt. 3.3 Een vergelijking van de resultaten van de verschillende modellen Tabel 3.2 toont de mate waarin zorgaanbiedersscores van de verschillende modellen afwijken van de zorgaanbiedersscores van het ordinale model dat geen gebruik maakt van de proportional odds assumptie. Te zien is dat de zorgaanbiedersscores van het lineaire model over het algemeen minder dan 10% van de range verschillen ten opzichte van het ordinale model zonder proportional odds assumptie. Tevens blijkt dat het logistische model verreweg het meeste afwijkt. Zo n 5,5% van de zorgaanbiedersscores wijkt zelfs meer dan 35% van de range af. Dat de resultaten van de logistische multilevel regressie heet meest afwijken heeft wellicht ook te maken met de hercodering die plaatsvindt en die vertekenend kan werken (zie tabel 1.1). Tabel 3.2 Mate waarin zorgaanbiedersscores van verschillende modellen afwijken van die van het ordinale model zonder proportional odds assumptie verschuiving lineair logistisch propodds stata propodds gllamm (% van range) aantal % aantal % aantal % aantal % < , , , ,19 1/ , , , ,66 6/ , , , ,15 11/ , ,55 16/ , ,10 21/ , ,79 13/ , ,57 31/ , ,64 36/ ,02 41/ ,63 46/ ,86 51/ ,33 56/ ,15 61/ ,04 66/70 4 0,02 71/75 3 0,01 20 Vergelijken patiëntervaringen tussen zorgaanbieders, NIVEL/Zorginstituut Nederland 2015

21 3.4 Presentatiewijze Bij aanvang van dit onderzoek was de veronderstelling dat het lastig zou zijn de resultaten van een ordinale multilevel regressieanalyse te presenteren aan een publiek dat statistisch niet is onderlegd. Dit zou met name aan de orde zijn als de score van een zorgaanbieder zou variëren voor iedere overgang van de antwoordcategorieën, want dat zou betekenen dat voor een vraag met 4 antwoordcategorieën (drie overgangen) in beginsel drie scores voor een zorgaanbieder worden geschat. En dat een zorgaanbieder voor de ene overgang bovengemiddeld kan scoren en voor de andere overgang benedengemiddeld. Dit zou de presentatie van de resultaten buitengewoon ingewikkeld maken. Op dit punt bleken multilevel modellen echter een voordeel te hebben ten opzichte van single-level modellen. Bij een single-level model zouden de zorgaanbieders namelijk als een set van dummyvariabelen worden opgenomen in het model net als casemix adjusters. Bij een schending van de proportional odds assumptie voor die dummyvariabelen is dan een aparte score per overgang van antwoordcategorieën nodig voor iedere zorgaanbieder. In het multilevel model worden de zorgaanbieders echter niet opgenomen als een set van dummyvariabelen, maar als een niveau waarmee de proportional odds assumptie niet meer aan de orde is. De scores per aanbieder worden vervolgens berekend als een constante en een zorgaanbieder afhankelijke afwijking van die constante (random effect). Iedere overgang van antwoordcategorieën heeft een eigen constante, maar de zorgaanbieder afhankelijke afwijking wordt slechts één keer geschat en is dus voor iedere overgang van antwoordcategorieën hetzelfde. Het gevolg hiervan is dat zorgaanbieders die voor een overgang van antwoordcategorieën benedengemiddeld of bovengemiddeld scoren, of significant van elkaar verschillen, dit voor alle andere overgangen ook zullen doen. De vergelijking van zorgaanbieders is namelijk iedere keer gebaseerd op dezelfde zorgaanbieder afhankelijke afwijking. Voorgaande betekent dat voor de presentatie van de resultaten kan worden gekozen voor één overgang van antwoordcategorieën, zonder dat dit leidt tot informatieverlies. Voor de gekozen overgang van antwoordcategorieën kunnen de resultaten worden omgerekend tot percentages met een onzekerheidsmarge zoals ook gebruikelijk is bij logistische regressie. Figuur 3.1 bevat hier een voorbeeld van. Strategieën om deze informatie verder te vereenvoudigen, zoals het berekenen van sterren, kunnen eveneens op dezelfde wijze worden uitgevoerd als bij een logistische regressie wordt gedaan: de aanbieders wiens interval overlapt met het algemene gemiddelde krijgen twee sterren; ligt het interval geheel onder of boven het algemene gemiddelde, dan krijgt een aanbieder respectievelijk één of drie sterren (zie figuur 3.1) (Koopman et al., 2013; Goldstein en Healy, 1995). Vergelijken patiëntervaringen tussen zorgaanbieders, NIVEL/Zorginstituut Nederland

22 Figuur 3.1 Wormgrafiek met casemixgecorrigeerde proporties en vergelijkingsinterval 1 uit een ordinaal multilevel model met twee niveaus: zorgaanbieder en patiënt. De proporties geven de kans weer op de antwoorden meestal en altijd (goede ervaring) Besteedden de verpleegkundigen voldoende tijd aan u? (ordinaal - meologit) Kans op score 3 of 4 (gemiddeld.93) * ** *** 1 78 Rangnummer zorginstelling 1 1 conform de CQI Handboeken is dit interval berekend als de geschatte proportie +/- 1,39 maal de standaarderror * het betrouwbaarheidsinterval valt geheel onder het gemiddelde over alle zorgaanbieders ** het betrouwbaarheidsinterval overlapt met het gemiddelde over alle zorgaanbieders *** het betrouwbaarheidsinterval valt geheel boven het gemiddelde over alle zorgaanbieders zorgaanbieders met één ster scoren significant verschillend van zorgaanbieders met drie sterren Uiteraard zou figuur 3.1 er anders uitzien wanneer de resultaten voor een andere overgang waren berekend (bijvoorbeeld de categorie altijd versus de andere categorieën), al was het alleen maar omdat de gemiddelde kans op bijvoorbeeld de ervaring altijd een andere is dan de gemiddelde kans op de ervaringen meestal én altijd. De rangorde van de aanbieders zou echter hetzelfde blijven en ook het aantal sterren dat aan een zorgaanbieder wordt toegekend blijft hetzelfde. Het presenteren van de resultaten voor één overgang leidt dus niet tot informatieverlies met betrekking tot de wijze waarop de scores van zorgaanbieders zich tot elkaar verhouden. 22 Vergelijken patiëntervaringen tussen zorgaanbieders, NIVEL/Zorginstituut Nederland 2015

23 4 Discussie Tot nu toe zijn vooral lineaire en logistische multilevel modellen gebruikt voor het vergelijken van patiëntervaringen tussen zorgaanbieders. Vanuit de oorspronkelijke gedachte waarbij scores altijd werden gebaseerd op meerdere vragen was dit toereikend omdat lineaire regressie dan geoorloofd is. Vanuit theoretisch oogpunt zijn deze lineaire en logistische regressies niet of minder geschikt voor het analyseren van één enkele vraag uit een vragenlijst met een beperkt aantal antwoordcategorieën. Nu vragenlijsten steeds korter worden en aspecten van kwaliteit van zorg steeds vaker met één enkele vraag worden uitgevraagd komt het steeds vaker voor dat scores worden gebaseerd op één enkele vraag met een beperkt aantal antwoordcategorieën. In dit rapport is dan ook bekeken in hoeverre ordinale modellen die vanuit theoretisch oogpunt beter geschikt zijn voor deze situaties tot wezenlijk andere resultaten leiden dan lineaire of logistische multilevel regressies. 4.1 Belangrijkste bevindingen De eerste onderzoeksvraag betrof de vraag welk ordinaal multilevel model het meest geschikt zou zijn. Dit gaat in feite om de vraag of de aanname wordt geschonden dat het effect van een casemix adjuster hetzelfde is voor de overgang van antwoordcategorie één naar twee, twee naar drie etc. (proportional odds assumptie). Gebleken is dat deze assumptie regelmatig wordt geschonden, waarmee een model dat geen gebruik maakt van deze assumptie vanuit theoretisch oogpunt beter is. In het statistisch pakket Stata bleek echter dat dit model buitengewoon traag tot resultaten komt en met enige regelmaat geen betrouwbare resultaten oplevert als gevolg van convergentieproblemen. Het model dat geen gebruik maakt van de proportional odds assumptie is dus, in ieder geval in het programma Stata, minder aantrekkelijk vanuit praktisch oogpunt. Mogelijk speelt dit probleem minder of niet in sommige andere statistische pakketten. De tweede onderzoeksvraag was in hoeverre de resultaten van een ordinaal multilevel model afwijken van de resultaten van andere modellen. Het ordinale multilevel model dat geen gebruik maakte van de proportional odds assumptie is hiervoor als uitgangspunt genomen en alleen die variabelen waarvoor dit model betrouwbare resultaten leverde zijn meegenomen voor het beantwoorden van deze onderzoeksvraag. Ten opzichte van dit model is gebleken dat het dichotomiseren van ordinale variabelen, gevolgd door een logistische multilevel analyse de grootste afwijking in resultaten oplevert. De resultaten van een lineair multilevel model komen beduidend dichter in de buurt, maar voor een deel van de zorgaanbieders is het verschil nog altijd aanzienlijk. Het multilevel proportional odds model levert resultaten op die het meest in de buurt komen van de resultaten van het model dat geen gebruik maakt van de proportional odds assumptie. Aangezien het proportional odds multilevel model altijd convergeerde Vergelijken patiëntervaringen tussen zorgaanbieders, NIVEL/Zorginstituut Nederland

24 is dit wellicht een aanvaardbaar alternatief voor het model dat geen gebruik maakt van de proportional odds assumptie. De laatste onderzoeksvraag had betrekking op de presentatiewijze van de zorgaanbiedersscores. De eenvoudigste oplossing die uit dit rapport naar voren is gekomen, is om één overgang van antwoordcategorieën te kiezen en de scores daarvoor te presenteren als een percentage zoals dat ook al gebeurt voor resultaten gebaseerd op multilevel logistische regressieanalyse. Dit leidt niet tot informatieverlies omdat bij de resultaten voor een andere overgang van antwoordcategorieën precies dezelfde aanbieders hoog of juist laag scoren en precies dezelfde significante verschillen tussen zorgaanbieders worden gevonden. Het toekennen van sterren voor benedengemiddelde, gemiddelde en bovengemiddelde scores kan ook op precies dezelfde wijze plaats vinden als voor scores gebaseerd op een lineair of logistisch multilevel model. Kort samengevat laten de bevindingen uit dit rapport zien dat de presentatiewijze van zorgaanbiedersscores uit een ordinaal multilevel model identiek kan zijn aan die uit een logistisch multilevel model. 4.2 Implicaties voor toekomstige metingen Nu duidelijk is dat een ordinaal multilevel model leidt tot andere resultaten dan lineaire of logistische multilevel modellen is het de vraag of ordinale modellen de nieuwe standaard moeten worden voor indicatoren gebaseerd op één vraag met een beperkt aantal antwoordcategorieën. Dit lijkt in beginsel verstandig, met name als verzekeraars deze informatie gebruiken voor zorginkoop of als patiënten die informatie gebruiken voor de keuze voor een zorgaanbieder. Een punt van aandacht is wel de uitvoerbaarheid van dit soort analyses. Het uitbreiden van de huidige analysestrategieën met ordinale multilevel modellen betekent een verdere complicering van analysemethoden die toch al als ingewikkeld en bewerkelijk worden gezien. Dit betekent ook dat het lastiger zal zijn om partijen te vinden die zich toeleggen op een rol als trusted third party / gegevensmakelaar en ook in dit soort analyses bedreven in zijn. In dit licht is het wellicht verstandig om ordinale multilevel modellen voorlopig te beschouwen als voorkeursmethode voor het vergelijken van zorgaanbieders op basis van één enkele vraag met een beperkt aantal antwoordcategorieën, zonder lineaire modellen direct uit te sluiten. Dit geeft bureaus enige ruimte om zich die ordinale technieken ook eigen te maken. 24 Vergelijken patiëntervaringen tussen zorgaanbieders, NIVEL/Zorginstituut Nederland 2015

25 Literatuur Asmoredjo J, Boer D de, Delnoij D. Verantwoording aanpassing vragenlijsten en indicatoren CQI VV&T. Utrecht: NIVEL, 2012 Boer D de, Hoek L van der, Delnoij D, Groenewegen P. Kleine zorgaanbieders in multilevel vergelijkende analyses: de CQI verpleging, verzorging en thuiszorg. Utrecht: NIVEL, 2010 Booij J, Boer D de, Hoek L van der, Delnoij D. Meetverantwoording cliëntgebonden indicatoren VV&T 2010: schoning van data, schaalanalyses en casemixcorrecties. Utrecht: NIVEL, 2011 Centrum Klantervaring Zorg. Handboek Eisen en Werkwijzen CQI-metingen. [Internet] /26/2013 Donselaar CG, Boer D de, Hoek L van der, Booij JC, Rademakers J, Hendriks M, et al. Ervaringen van verzekerden met de zorg en de zorgverzekeraars: CQ-index Zorg en Zorgverzekering, meting Utrecht: NIVEL, 2010 Goldstein H, Healy MJR. The Graphical Presentation of a Collection of Means. J Royal Stat Society Seris A, 1995; 158(1):175-7 Greuningen M van, Vervloet M, Hoek L van der, Dijk L van. Het discriminerend vermogen van de CQ-index Farmaceutische Zorg. Utrecht: NIVEL, 2009 Hopman P, Boer D de, Rademakers J. Kennisvraag: wat heeft vijf jaar CQ-index opgeleverd? Utrecht: NIVEL, 2011 Knapp TR. Treating ordinal scales as interval scales: an attempt to resolve the controversy. Nursing Res, 1990; 39(2):121-3 Koopman L, Sixma H, Boer D de, Delnoij D. Handboek Eisen en Werkwijzen CQI Metingen. Diemen: College voor Zorgverzekeringen; 2013 Sixma H, Hendriks M, Boer D de, Delnoij D. Handboek CQI Metingen: richtlijnen en voorschriften voor metingen met een CQI meetinstrument. Utrecht: NIVEL, 2008 Sixma H, Spreeuwenberg P, Zuidgeest M, Rademakers J. CQ-index Ziekenhuisopname: meetinstrumentontwikkeling: kwaliteit van de zorg tijdens ziekenhuisopnames vanuit het perspectief van patiënten. De ontwikkeling van het instrument, de psychometrische eigenschappen en het discriminerend vermogen. Utrecht: NIVEL, 2009 Stichting Miletus. Beleidsrapportage CQI HeupKnie Zeist: Stichting Miletus, 2010 Vergelijken patiëntervaringen tussen zorgaanbieders, NIVEL/Zorginstituut Nederland

26 Tabachnik BG, Fidell LS. Using Multivariate Statistics. Columbus (Ohio): 4th ed: Allyn and Bacon; 2001 Visser J, Appelman M, Koolman X. Routekaart. Te maken keuzes bij de ontwikkeling van betrouwbare kwaliteitsindicatoren in de zorg Zichtbare Zorg. Den Haag: Ministerie van VWS, Programma Zichtbare Zorg, Vergelijken patiëntervaringen tussen zorgaanbieders, NIVEL/Zorginstituut Nederland 2015