Werkinstructie Vergelijkende analyses en casemix-adjustment

Transcriptie

1 Werkinstructie Vergelijkende analyses en casemix-adjustment Versie: 2.0 Datum: Code: WIS Eigenaar: KI 1. Inleiding Vergelijkende analyses dienen te worden uitgevoerd met multi-level methoden. Daarbij dient te worden gecorrigeerd voor casemix om invloeden van elementen waar zorgaanbieders niets aan kunnen/moeten doen eruit te halen (bijvoorbeeld leeftijd en geslachtssamenstelling van respondenten). De casemix-correctie leidt tot een gecorrigeerde gemiddelde score per instelling voor schalen of vragen. 2. Doel Het doel van deze procedure is om de data te analyseren en corrigeren voor casemix volgens de richtlijnen zodat deze data gebruikt kunnen worden om gemiddelde scores per schaal of vraag te berekenen en te vergelijken, en om de verdeling over antwoordcategorieën te berekenen, en dat de casemix-adjustment wordt uitgevoerd door gekwalificeerde medewerkers. 3. Taken, verantwoordelijkheden, bevoegdheden De CQI-onderzoeksleider van het meetbureau is verantwoordelijk voor het gehele uitvoerende proces inclusief de werkzaamheden van de methodologisch expert. De methodologisch expert werkt in opdracht van de CQI-onderzoeksleider en is verantwoordelijk voor het uitvoeren van multi-level analyses en het vergelijken van instellingen. 4. Werkwijze 4.1 Multi-level analyses voor landelijke metingen Uitgangspunt voor dit stappenplan is dat het bestand waarop multi-level vergelijkende analyses moeten plaatsvinden geschoond en gecontroleerd is conform de richtlijnen van het Handboek Eisen en Werkwijzen CQI metingen en dat schalen zijn vastgesteld en berekend conform de richtlijnen. Uitgangspunt is ook dat de multi-level analyse tot doel heeft gecorrigeerde instellingsgemiddelden met vergelijkingsinterval op te leveren die worden teruggekoppeld aan externe partijen. De volgende stappen worden doorlopen: 1. De medewerker van de meetorganisatie 1 kijkt naar het aantal instellingen in de dataset, alsmede het aantal waarnemingen per instelling. Voor beide geldt: hoe hoger hoe beter. Meer specifiek gelden op dit punt de volgende richtlijnen: a. Het aantal instellingen is idealiter groter dan 30, maar moet minimaal 20 zijn. Indien het aantal instellingen lager is dan 30 wordt bekeken of er op korte termijn instellingen aan kunnen worden toegevoegd alvorens te analyseren. Indien het aantal instellingen lager is dan 20 is dit acceptabel op het moment dat het gaat om alle instellingen binnen Nederland. Hoe dan ook dient bij minder dan 20 instellingen contact te worden gezocht met het Kwaliteitsinstituut voor overleg. 1 Deze medewerker werkt onder verantwoordelijkheid van de methodologisch expert. WIS Vergelijkende analyses en casemix-adjustment, versie 2.0 blz. 1 van 5

2 b. Het beoogde aantal waarnemingen per instelling is te vinden in de vragenlijstspecifieke werkinstructies. Indien het behaalde aantal respondenten fors lager is dan het beoogde aantal zullen naar alle waarschijnlijkheid nauwelijks verschillen worden gevonden. Dit dient te worden gemeld aan het Kwaliteitsinstituut en aan de opdrachtgever. 2. Indien de dataverzameling en/of aanlevering door verschillende partijen is uitgevoerd (bijvoorbeeld meetbureaus): De medewerker van de meetorganisatie 2 kijkt naar gemiddelden per partij voor alle afhankelijke en onafhankelijke variabelen. De medewerker van de meetorganisatie onderzoekt opvallende afwijkingen op mogelijke coderingsfouten en legt deze zonodig voor aan de betrokken partij. De controle wordt vastgelegd in een syntax en afwijkingen worden geregistreerd in het logboek; 3. De medewerker van de meetorganisatie meldt of overlegt de volgende zaken met de methodologisch expert: a. De locatie en bestandsnaam van het te analyseren bestand; b. De locatie waar de methodologisch expert resultaatbestanden kan achterlaten; c. De specificatie van de casemix-adjusters en onafhankelijke variabelen. Hierbij gaat het bijvoorbeeld over de keuze voor lineaire of logistische regressie (ordinale of nominale regressies worden zelden uitgevoerd voor de CQ-index). Maar ook of ordinale onafhankelijke variabelen als lineair dan wel categorisch dienen te worden gespecificeerd. De variabelen voor casemix-adjustment zijn doorgaans te vinden in de vragenlijstspecifieke werkinstructies; d. Eventuele referentiewaarden van onafhankelijke variabelen i.g.v. casemixadjustment. Hierbij wordt aanbevolen casemix-adjusters te centreren. Voor een adjuster die als continue variabele wordt behandeld, betekent dit dat voor alle individuen de referentiewaarde van de adjuster wordt afgetrokken. Voor een adjuster die als set van dummyvariabelen wordt gespecificeerd betekend dit dat een centrale en veel voorkomende categorie als referentiecategorie wordt gekozen. Voor meer informatie over het centreren van covariaten in multi-level analyse verwijzen we naar Enders & Tofighi (2007); e. De niveaus die in de analyse worden opgenomen en de variabelen die deze niveaus vertegenwoordigen; f. De voor het project benodigde output van de analyse. Voor de keuzes bij c, d en e geldt dat de medewerker van de meetorganisatie moet bekijken of er eerder multi-level analyses zijn uitgevoerd voor deze CQ-index en welke keuzes daar gemaakt zijn. Indien mogelijk en verantwoord worden deze keuzes gevolgd. De meetorganisaties moeten zich hierin meetbaar opstellen. 4. De methodologisch expert voert de hoofdanalyse uit conform de algemene richtlijnen uit de eisen en werkwijzen CQI-metingen en de vragenlijstspecifieke werkinstructies. In verband met foutgevoeligheid dienen instellingsschattingen niet te worden berekend aan de hand van modelparameters, maar dienen deze rechtstreeks te worden opgevraagd uit het softwarepakket. Voor de meeste softwarepakketten zal gelden dat bij een juiste centrering van de casemix-adjusters (zie punt 2d) de referentiewaarden al verwerkt zijn in de opgevraagde schattingen. De methodologisch expert vraagt ook de standaard fout per instelling op en berekend vergelijkingsintervallen per instelling door de standaardfout te vermenigvuldigen met het getal 1,39 (zie voor een toelichting: Goldstein & Healy, 1995). Met behulp van deze vergelijkingsintervallen kent de methodologisch expert sterren toe. Het toekennen van sterren 2 Deze medewerker werkt onder verantwoordelijkheid van de methodologisch expert. WIS Vergelijkende analyses en casemix-adjustment, versie 2.0 blz. 2 van 5

3 is alleen geoorloofd en/of zinvol indien het multi-level model significant verschilt van een model zonder niveaus. Indien dit niet het geval is en er worden toch sterren toegekend, dan zullen alle instellingen in dezelfde gemiddelde categorie vallen. In principe zijn er altijd drie categorieën van sterren (1,2 of 3 sterren) omdat meer categorieën een grotere spreiding suggereert dan er in werkelijkheid is. Wanneer de ondergrens van het vergelijkingsinterval geheel boven het gemiddelde over alle instellingen ligt, krijgt de instelling 3 sterren. Wanneer de bovengrens onder het gemiddelde over alle instellingen ligt krijgt de instelling 1 ster. Overlapt het vergelijkingsinterval met het gemiddelde over alle instellingen, dan krijgt de instelling 2 sterren. Instellingen met 1 ster verschillen significant van instellingen met 3 sterren. Nadat de methodologisch expert de analyses voltooid heeft meldt deze eventuele opvallende zaken of afwijkingen aan de CQI-onderzoeksleider. 5. De medewerker van de meetorganisatie bewerkt het resultaatbestand met geschatte gemiddelden per instelling, onzekerheidsmarges etc. tot een format waarin het naar externe partijen kan worden verzonden. Dit bestand bevat in ieder geval de ruwe gemiddelden per instelling, de gecorrigeerde gemiddelden per instelling, de onder- en bovengrens van het vergelijkingsinterval, de sterrenclassificatie en het aantal waarnemingen waarop een schatting gebaseerd is. Dit bestand wordt pas verspreid na intensieve controles (zie stap 6 en verder). De controles kunnen worden uitgevoerd op (een kopie van) het format voor externe partijen, waarbij het voordeel is dat de analyses én het omzetten naar dit format met één controle gedekt zijn; 6. De medewerker van de meetorganisatie voert een schaduwanalyse uit en hanteert daarbij de volgende stappen: a. De medewerker van de meetorganisatie schat zelf de benodigde modellen en vergelijkt deze met de modellen uit de outputfiles van de methodologisch expert. Eventuele inconsistenties worden in overleg met de methodologisch expert opgelost; b. De medewerker van de meetorganisatie schat gecorrigeerde instellingsgemiddelden en standaard errors per instelling en vergelijkt deze steekproefsgewijs met de schattingen van de methodologisch expert. Eventuele inconsistenties worden in overleg met de expert opgelost; c. De medewerker van de meetorganisatie legt de controles onder b en c neer in een apart document; d. De medewerker van de meetorganisatie rekent de sterrenclassificatie na door op grond van het resultaatbestand zelf sterren toe te kennen en te bekijken of dit overeenkomt met de classificatie van de methodologisch expert. Eventuele afwijkingen worden opgelost en vermeld in het logboek (Zie BIJ Intern Logboek). 7. De medewerker van de meetorganisatie bekijkt per afhankelijke variabele de ICC en de reliability per instelling.: a. Opvallend hoge ICC (>10%): Mogelijk sprake van een coderingsfout door een meetbureau. Medewerker van de meetorganisatie voert aanvullende controle uit; b. Lage reliabilities per instelling (<0,70): te weinig waarnemingen om instellingsgemiddelden goed te schatten. Als de gemiddelde reliability per instelling lager is dan 0,70 bespreekt de medewerker van de meetorganisatie dit met de CQIonderzoeksleider en legt dit vast in het logboek. De CQI-onderzoeksleider bespreekt dit vervolgens met betrokken externe partijen De reliability per instelling hangt af van de grootte van de verschillen tussen instellingen en van het aantal waarnemingen voor een instelling. De reliability per instelling is een maat voor de precisie van instellingsschattingen. Voor een lineair model is de reliability λ bij benadering: WIS Vergelijkende analyses en casemix-adjustment, versie 2.0 blz. 3 van 5

4 λ j = τ 2 0 / (τ σ 2 /n j ) (1) waarbij τ 2 0 staat voor de variantie tussen organisatorische eenheden, σ 2 staat voor de variantie binnen organisatorische eenheden en n j het aantal waarnemingen weergeeft binnen organisatorische eenheid j (Snijders, T. A. B & Bosker, R. J., 1999). Voor een logistisch model is de reliability λ bij benadering: λ j = τ 2 0 / (τ (π 2 /3)/n j ) (2) waarbij π staat voor het getal pi. Bij formules (1) en (2) geldt dat deze de reliability benaderen omdat de reliability vooral van belang is voor het model met casemix adjusters terwijl deze formules in principe bedoeld zijn voor modellen zonder casemix adjusters. Daarnaast is de variant voor logistische regressie nog gevoelig voor de kritiek dat deze net als de lineaire variant gebaseerd is op een correlatie, namelijk de ICC, en het is wat discutabel om correlaties te baseren op dichotome variabelen. Niettemin geven deze reliabilities inzicht in de precisie waarmee instellingsscores kunnen worden berekend en daarmee samenhangend hoe informatief het is om op basis van die scores vergelijkingen te trekken tussen instellingen. Ook in de internationale literatuur wordt de reliability veelvuldig gebruikt als maat voor de precisie van instellingsschattingen (Fung, V. et al., 2010; Hargraves, J. L., Hays, R. D., & Cleary, P. D., 2003; Keller, S. et al., 2005; Solomon, L. S., Hays, R. D., Zaslavsky, A. M., Ding, L., & Cleary, P. D., 2005) 5. Bijbehorende documenten Handboek CQI Ontwikkeling: richtlijnen en voorschriften voor de ontwikkeling van een CQI meetinstrument : Hoofdstuk 6 BIJ Intern Logboek 6. Referenties Enders CK, Tofighi D: Centering predictor variables in cross-sectional multilevel models: a new look at an old issue. Psychol Methods 2007, 12: Fung, V., Schmittdiel, J. A., Fireman, B., Meer, A., Thomas, S., Smider, N., Hsu, J., & Selby, J. V. (2010). Meaningful variation in performance: a systematic literature review. Med Care, 48, Goldstein, H. & Healy, M. J. R. (1995). The Graphical Presentation of a Collection of Means. Journal of the Royal Statistcial Society.Seris A (Statistics in Society), 158, Hargraves, J. L., Hays, R. D., & Cleary, P. D. (2003). Psychometric properties of the Consumer Assessment of Health Plans Study (CAHPS) 2.0 adult core survey. Health Serv.Res., 38, Keller, S., O'Malley, A. J., Hays, R. D., Matthew, R. A., Zaslavsky, A. M., Hepner, K. A., & Cleary, P. D. (2005). Methods used to streamline the CAHPS Hospital Survey. Health Serv Res, 40, WIS Vergelijkende analyses en casemix-adjustment, versie 2.0 blz. 4 van 5

5 O'Malley, A. J., Zaslavsky, A. M., Elliott, M. N., Zaborski, L., & Cleary, P. D. (2005). Case-mix adjustment of the CAHPS Hospital Survey. Health Serv.Res., 40, Snijders, T. A. B. & Bosker, R. J. (1999). Multilevel Analysis: An introduction to basic and advanced multilevel modeling. Sage Publishers. Solomon, L. S., Hays, R. D., Zaslavsky, A. M., Ding, L., & Cleary, P. D. (2005). Psychometric properties of a group-level Consumer Assessment of Health Plans Study (CAHPS) instrument. Med Care, 43, Zaslavsky, A. M. (2001). Statistical issues in reporting quality data: small samples and casemix variation. Int.J.Qual.Health Care, 13, Zaslavsky, A. M., Zaborski, L. B., Ding, L., Shaul, J. A., Cioffi, M. J., & Cleary, P. D. (2008). Adjusting Performance Measures to Ensure Equitable Plan Comparisons. Health care financing review, 22, WIS Vergelijkende analyses en casemix-adjustment, versie 2.0 blz. 5 van 5