Procedure Psychometrische en discriminerend vermogen testfase Versie: 1.0 Datum: 01-04-2014 Code: PRO 04 Eigenaar: 1 Inleiding De richtlijnen en aanbevelingen voor de test naar de psychometrische en onderscheidende eigenschappen van het meetinstrument, staan in deze procedure beschreven. Op basis van de resultaten van deze fase vindt aanpassing (het definitief maken) van het CQI meetinstrument plaats. Eekholt 4 1112 XH Diemen Postbus 320 1110 AH Diemen www.zorginstituutnederland.nl T +31 (0)20 797 89 59 Contactpersoon mw. K. Smith Versienummer PRO 04 1.0 2 Doel Het doel van deze procedure is om met behulp van analyses het CQI meetinstrument op de punten validiteit en betrouwbaarheid te verbeteren. Een ander belangrijk doel is om het meetinstrument waar mogelijk in te korten. Bij de analyses naar het discriminerend vermogen van het CQI meetinstrument wordt gekeken of het nieuwe instrument het mogelijk maakt om verschillen tussen zorgaanbieders, zorginstellingen en/of zorgverzekeraars te detecteren. 3 Werkwijze Voordat een CQI meetinstrument mag worden ingezet voor reguliere metingen moet het meetinstrument in twee fases getest worden. Dit zijn: Test m.b.v. cognitieve interviews Test naar de psychometrische eigenschappen en naar het discriminerend vermogen Op basis van de resultaten van iedere fase moet het CQI meetinstrument (in ontwikkeling) aangepast worden. De herziene versie wordt gebruikt in de volgende testfase. Na de test naar psychometrische eigenschappen en het discriminerend vermogen kan de definitieve versie van het CQI meetinstrument worden vastgesteld. In deze procedure worden de richtlijnen voor deze laatste testfase beschreven. De test m.b.v. cognitieve interviews komt in PRO 03 aan bod. De volgende onderwerpen komen in deze procedure aan bod: Aanpassen vragenlijst; Steekproeftrekking en dataverzameling; Opschonen databestand; Psychometrische analyses; Power analyses; Toetsen op verschillen tussen subgroepen; Multilevel analyses Vaststellen definitieve versie CQI meetinstrument Verslaglegging over het ontwikkeltraject Pagina 1 van 5
3.1 Aanpassen vragenlijst Om de vragenlijst uit te kunnen zetten voor de test op het discriminerend vermogen is een aanvullende aanpassing van de vragenlijst noodzakelijk. Het instrument moet geschikt worden gemaakt om ervaringen met een specifieke zorgaanbieder, zorginstelling of zorgverzekeraar te kunnen uitvragen. Zowel in de introductie en in de vragen zal specifiek moeten worden gevraagd naar de ervaringen met zorgaanbieder, zorginstelling of zorgverzekeraar X. Voorbeeld vraag 1 test discriminerend vermogen: Heeft u <tijdsperiode><aanduiding van betreffende zorgconsumptie>gehad van <naam zorgaanbieder, zorginstelling of zorgverzekeraar X>? Bij screenervragen moet tevens een antwoordmogelijkheid worden toegevoegd Nee bij/in een andere zorgaanbieder, zorginstelling of zorgverzekeraar. 3.2 Steekproeftrekking en dataverameling Voor de steekproeftrekking en dataverzameling zijn de richtlijnen zoals beschreven in PRO 02, 03 en 04 en de bijbehorende WISsen van het Handboek Eisen & Werkwijzen CQI Metingen onverminderd van toepassing op de dataverzameling in de psychometrische testfase. 3.3 Controle data-invoer en opschonen databestand 3.3.1 Controle data-invoer De controles die uitgevoerd moeten worden om de kwaliteit van de data-invoer na te gaan staan beschreven in WIS 05.01 van het Handboek Eisen & Werkwijzen CQI Metingen. 3.3.2 Opschonen databestand Bij het opschonen van het databestand moeten een aantal stappen doorlopen worden. Deze stappen staan uitgebreid beschreven in WIS 06.01 en WIS 06.02 van het Handboek Eisen & Werkwijzen CQI Metingen. De opschoningsprocedure wijkt iets af van een reguliere meting. Dit is verder beschreven in WIS 04.01 Opschoning data-bestand. 3.4 Psychometrische analyses 3.4.1 Itemanalyses De resultaten worden eerst op itemniveau bekeken. De volgende drie aspecten dienen bekeken te worden: De scheefheid van de verdeling van antwoorden op ervaringsvragen en probleemvragen; Non-respons op ervaringsvragen en probleemvragen; De antwoorden op de belangvragen. Lees hierover meer in WIS 04.02. 3.4.2 Inter-item analyses Met behulp van correlatie-analyses (Pearson correlatiecoëfficiënt) wordt nagegaan hoe groot de overlap is in de antwoordpatronen tussen de verschillende items. Als Pagina 2 van 5
er een grote overlap in antwoordpatronen is tussen twee verschillende items en de items ook inhoudelijk over hetzelfde onderwerp gaan, dan betekent dit dat één van de twee betreffende items verwijderd zou kunnen worden. De items leveren dan geen eigen (unieke) bijdrage aan het meten van het specifieke kwaliteitsthema. Lees hierover meer in WIS 04.02. 3.4.3 Factoranalyses Om de onderliggende structuur van het CQI meetinstrument vast te stellen worden factoranalyses uitgevoerd. De factoranalyses worden bij voorkeur afzonderlijk uitgevoerd op de ervaringsvragen met de antwoordcategorieën nooit altijd en de probleemvragen met de antwoordcategorieën groot probleem geen probleem. Verder mogen niet alle items worden meegenomen in de factoranalyses, en moet vooraf aan een aantal eisen worden voldaan. Lees hierover en over de geldende richtlijnen en volgorde van uitvoering meer in WIS 04.02. 3.4.4 Betrouwbaarheidsanalyses Om te bekijken welke betrouwbare en goed interpreteerbare schalen gevormd kunnen worden, dienen betrouwbaarheidsanalyses (interne consistentie) uitgevoerd te worden. De interne consistentie kan geanalyseerd worden met behulp van Cronbach s alfa. Een schaal is voldoende betrouwbaar als Cronbach s alfa hoger is dan 0,70. Als Cronbach s alfa tussen de 0,60 en 0,70 ligt, wordt gesproken van een schaal met een geringe betrouwbaarheid. Schalen met een geringe betrouwbaarheid worden voorlopig geaccepteerd. Het is belangrijk om in het vervolgtraject met het CQI meetinstrument te kijken of deze schalen voldoende betrouwbaar zijn. Lees hierover meer in WIS 04.02. 3.5 Power analyses Voor de test van het discriminerend vermogen is het nodig om te weten hoeveel respondenten per zorgaanbieder/zorgverzekeraar (zogenaamde analyse-eenheid) de vragenlijst moeten invullen om de analyse-eenheden met elkaar te kunnen vergelijken. Dit aantal is afhankelijk van de variatie die te vinden is in de ervaringen van mensen met een kwaliteitsaspect. De resultaten uit de psychometrische testfase dienen daarom gebruikt te worden om power analyses uit te voeren. De analyses worden uitgevoerd voor de geconstrueerde schalen en de resterende losse items. Zie WIS 07.01 van het Handboek Eisen & Werkwijzen CQI Metingen voor de richtlijnen voor het berekenen van schaalscores. De volgende procedure dient gehanteerd te worden om het minimum aantal ingevulde vragenlijsten per analyse-eenheid vast te stellen: Bereken per schaal/item de geschatte variantie; Bepaal het kleinste verschil dat men wil kunnen aantonen bij een significantieniveau van p=0,05 (bijvoorbeeld 0,5 bij een algemeen oordeel); Bereken het benodigde aantal ingevulde vragenlijsten (= N) om het gewenste kleinste verschil aan te kunnen tonen als volgt: N = variantie * (kleinste verschil/1,96)-2. 3.6 Multilevel analyses Er zijn verschillende statistische methoden om verschillen tussen zorgaanbieders/ zorgverzekeraars (zogenaamde analyse-eenheden) in kaart te brengen. Bij CQI onderzoeken is altijd sprake van een hiërarchische datastructuur, waarbij de Pagina 3 van 5
aanname dat waarnemingen onafhankelijk zijn van elkaar wordt geschonden. Respondenten horen bij een bepaalde analyse-eenheid, zoals patiënten bij een ziekenhuis of verzekerden bij een zorgverzekeraar. De waarnemingen van respondenten van eenzelfde ziekenhuis of zorgverzekeraar staan niet geheel los van elkaar. Gezien deze hiërarchische datastructuur schrijft Zorginstituut Nederland voor dat gebruik wordt gemaakt van multilevel analyses. Van deze richtlijn kan alleen afgeweken worden na overleg met het Zorginstituut. Meer specifiek wordt gebruik gemaakt van multilevel analyse volgens de IGLS (Iterative Generalized Least Squares) methode (zie Goldstein 1986). Met deze methode worden de uitkomstvariabelen als latente variabele geschat op basis van de individuele items behorende bij een schaal. De volgende onderzoeksvragen dienen te worden beantwoord voor de geconstrueerde schalen en eventuele losse items: Hoe groot is het discriminerend vermogen van het CQI Meetinstrument? Komen uit de analyses significante verschillen tussen analyse-eenheden naar voren? Welke case-mix adjusters moet gebruikt worden bij het vergelijken van patiëntervaringen tussen analyse-eenheden? Hoeveel ingevulde vragenlijsten zijn nodig per analyse-eenheid om op betrouwbare wijze verschillen tussen analyse-eenheden te kunnen vaststellen? Lees hierover meer in WIS 04.03. 3.7 Vaststelling definitieve CQI meetinstrument Op basis van de resultaten van de psychometrische (zie WIS 04.02) en mulitlevel analyses (zie WIS 04.03) dient het CQI meetinstrument aangepast te worden. Wanneer een item in aanmerking komt voor verwijdering uit het CQI meetinstrument, staat beschreven in WIS 04.04 Vaststelling definitieve CQI meetinstrument. 3.8 Validatierapport over psychometrische testfase In het validatierapport over de psychometrische testfase dienen alle stappen van de constructie van het CQI meetinstrument tot en met de psychometrische testfase duidelijk beschreven te worden. Welke stappen dit zijn en hoe de aanbiedingsprocedure gaat, staat beschreven in WIS 04.05. 4 Bijbehorende documenten PRO 03 Cognitieve interviews WIS 04.01 Controle data-invoer en opschonen databestand WIS 04.02 Psychometrische analyses WIS 04.03 Multilevel analyses WIS 04.04 Vaststelling definitieve CQI meetinstrument WIS 04.05 Validatierapport over psychometrische testfase en discriminerend vermogen Handboek Eisen en Werkwijzen CQI meting: PRO 02 Handboek Eisen en Werkwijzen CQI meting: PRO 03 Handboek Eisen en Werkwijzen CQI meting: PRO 04 Handboek Eisen en Werkwijzen CQI meting: WIS 05.01 Handboek Eisen en Werkwijzen CQI meting: WIS 06.01 Handboek Eisen en Werkwijzen CQI meting: WIS 06.02 Handboek Eisen en Werkwijzen CQI meting: WIS 07.01 Pagina 4 van 5
5 Literatuur Zuidgeest, M., Boer, D. de, Hendriks, M., Rademakers, J. Verschillende dataverzamelingsmethoden in CQI onderzoek: een overzicht van de respons en representativiteit van respondenten. TSG: Tijdschrift voor Gezondheidswetenschappen: 2008, 86(8), 455-462 Pagina 5 van 5