Validering van de Nederlandse vertaling van de CAHPS 3.0 Adult Commercial Questionnaire

Transcriptie

1 Validering van de Nederlandse vertaling van de CAHPS 3.0 Adult Commercial Questionnaire Technisch achtergronddocument behorende bij Wat vinden Nederlanders van de gezondheidszorg en de zorgverzekering? Eerste landelijke resultaten van de Nederlandse vertaling van de CAHPS 3.0 Adult Commercial Questionnaire Diana Delnoij 1, Guus ten Asbroek 2, Onyebuchi Arah 2, Johan de Koning 2, Niek Klazinga 2 Inleiding In samenwerking met de afdeling Sociale Geneeskunde van het AMC en in opdracht van Agis heeft het NIVEL een onderzoek uitgevoerd naar de mogelijkheid om de Amerikaanse Consumer Assessment of Health Plan Survey CAHPS vragenlijsten te vertalen en aan te passen voor gebruik in de Nederlandse context. Het doel van deze vragenlijsten bestaat uit het inventariseren van ervaringen van verzekerden met hun verzekeraar en met de aangeboden zorg. De voor Agis vertaalde vragenlijst is uitgezet onder een steekproef van Agis verzekerden. Op basis daarvan zijn de psychometrische eigenschappen van het vertaalde meetinstrument onderzocht. Dit resulteerde in een beperkt aantal aanpassingen. De aangepaste vragenlijst is vervolgens uitgezet in het Consumentenpanel Gezondheidszorg van het NIVEL met als doel landelijke referentiecijfers te verkrijgen. In dit technische achtergronddocument rapporteren we kort de uitkomsten van de pilotstudie onder Agis verzekerden, die voorafgegaan is aan de meting in het Consumentenpanel Gezondheidszorg. Methode Constructie vragenlijst CAHPS is een nationaal project in de Verenigde Staten waarin gemeten wordt wat patiënten ervaren, denken en weten over hun zorgverzekeraar en de door hun zorgverzekeraar aangeboden gezondheidszorg. CAHPS bestaat uit een set van gestandaardiseerde vragenlijsten en rapportage instrumenten waarmee op betekenisvolle manier de waardering van verzekerden over de kwaliteit van gezondheidszorg wordt vastgelegd. Sinds het begin van CAHPS zijn er drie versies ontwikkeld. De laatste CAHPS 3.0 is in gebruik sinds In het onderzoeksproject in opdracht van Agis is de CAHPS 3.0 Adult Commercial Questionnaire door twee vertalers uit het Engels vertaald in het Nederlands en vervolgens door twee andere vertalers weer terug naar het Engels. Voor gebruik in het onderzoek is gekozen voor die vertaling in het Nederlands, die resulteert in de meest accurate terugvertaling. Daarbij is de vragenlijst wel op een aantal punten aangepast aan de Nederlandse context. Bijvoorbeeld, in de Amerikaanse lijst kwamen beroepen voor als nurse practitioner en physician assistant. Omdat een dergelijke functie nog niet 1 NIVEL, Postbus 1568, 3500 BN Utrecht 2 Academisch Medisch Centrum van de Universiteit van Amsterdam, afdeling Sociale Geneeskunde, Postbus 22660, 1100 DD Amsterdam

2 wijd verspreid is in de Nederlandse gezondheidszorg, zijn deze termen geschrapt. Ook is een vraag toegevoegd over het bezoek aan de huisartsenpost voor spoedeisende medische hulp. Deze voorziening is in de Amerikaanse gezondheidszorg niet bekend. Verder is de Amerikaanse vraag How much of a problem, if any, was it to see a specialist that you needed to see? vervangen door twee vragen, namelijk in hoeverre het een probleem was om een verwijzing te krijgen en in hoeverre het een probleem was om een afspraak te krijgen. Tenslotte zijn de vragen naar achtergrondkenmerken van de respondent op twee punten aangepast. De vraag over etniciteit in de CAHPS is vervangen door etniciteitsvragen die relevant zijn voor de Nederlandse context en de antwoordcategorieën van de vraag naar het opleidingsniveau zijn aangepast aan het Nederlandse onderwijssysteem. De vragenlijst die voor Agis is gevalideerd bestaat uit de volgende onderdelen: Onderdeel Vragen Domeinen Inleiding 1-3 Controle verzekeringsstatus Persoonlijke arts / verpleegkundige 4-7 Hebben van een persoonlijke arts/verpleegkundige Problemen bij het vinden van een persoonlijke arts/verpleegkundige (groot/klein/geen probleem) Beoordeling persoonlijke arts/verpleegkundige op een schaal van 0 (slechtst mogelijke) tot 10 (best mogelijke) Specialistische zorg 8-13 Gebruik van specialist Problemen om verwijzing en afspraak te krijgen (groot/klein/geen probleem) Beoordeling specialist op een schaal van 0 (slechtst mogelijke) tot 10 (best mogelijke) Ambulante medische zorg in de afgelopen 12 maanden Gebruik ambulante medische zorg binnen en buiten kantooruren Problemen bij het krijgen van ambulante medische zorg (groot/klein/geen problem) Frequentie waarmee zorg voldoet aan kwaliteitseisen met betrekking tot wachttijd, beleefdheid, informatie, bejegening etc. (altijd, meestal, soms, nooit) Beoordeling van ambulante medische zorg op een schaal van 0 (slechtst mogelijke) tot 10 (best mogelijke) Zorgverzekeraar Problemen bij het zoeken van informatie, contact opnemen met klantenservice, klachtafhandeling etc. (groot/klein/geen probleem) Frequentie waarmee service voldoet aan kwaliteitseisen (altijd, meestal, soms, nooit) Beoordeling zorgverzekeraar op een schaal van 0 (slechtst mogelijke) tot 10 (best mogelijke) Achtergrondkenmerken leeftijd (8 categorieën vanaf years tot 80 en ouder) geslacht algemene en mentale gezondheidstoestand op een vijfpuntschaal (uitstekend tot slecht) Etniciteit en taal Opleiding (11 categorieën) Ontvangen hulp bij het invullen van de vragenlijst Dataverzameling en respons De dataverzameling is uitgevoerd door Agis in samenwerking met een bureau dat gespecialiseerd is in verzending en verwerking van vragenlijsten. Agis heeft voor de verzending van de vragenlijst een steekproef getrokken van 1000 verzekerden. Deze steekproef was qua leeftijd en geslacht

3 representatief voor de verzekerdenpopulatie van Agis. Aan elk van de verzekerden in de steekproef is ten behoeve van dit onderzoek een uniek identificatienummer toegekend. Voor verzending van de vragenlijsten en bij elk rappel is gecontroleerd of de geadresseerde niet inmiddels was overleden. Er zijn bij de eerste verzending 977 vragenlijsten verstuurd. Daarvan zijn er na drie herinneringen 545 terugontvangen. Van deze 545 vulden er zeventien de eerste enquêtevraag (Volgens onze gegevens bent u nu ziekenfondsverzekerd bij Agis Zorgverzekeringen, is dat juist?) niet in. Conform de richtlijnen die bij de analyse van CAHPS-vragenlijsten in de Verenigde Staten worden gehanteerd, moeten respondenten waarvan niet zeker is of zij tot de doelgroep behoren (in dit geval AGISverzekerden) verwijderd worden uit de steekproef en respons. De brutorespons op de vragenlijst is dus =528 / =960, ofwel 55%. Analyse Bij de analyse van de gegevens zijn de stappen gevolgd, zoals beschreven in T4: Preparing the Data for Analysis, Document Number 14 uit de CAHPS Kit. Volgens deze technische handleiding, die beschikbaar wordt gesteld via het internet zijn er drie redenen om cases uit te sluiten van de analyse: 1. De respondent is niet of minder dan twaalf maanden verzekerd bij de verzekeraar in kwestie. 2. De vragenlijst is niet compleet ingevuld (minder dan de helft van de zogeheten key questions is beantwoord). 3. De vragenlijst is ingevuld door iemand anders dan de geadresseerde. Na schoning van het bestand volgens deze richtlijnen bleven 500 cases over voor verdere analyse. Met behulp van dit onderzoeksbestand is nagegaan: Of de vragenlijst consistent was ingevuld (dat wil zeggen, of de skip-instructies door respondenten werden opgevolgd); Wat de percentages missende waarden waren (bij een percentage missing van meer dan 5% moet worden overwogen het item in een volgende versie van de vragenlijst te schrappen); In welke mate items extreem scheef verdeeld waren (dat wil zeggen, dat 90% of meer van de respondenten kiest voor de uiterste antwoordcategorie); Of het meetinstrument betrouwbare schalen bevat Dit laatste is onderzocht via principale componenten analyse met varimax rotatie en betrouwbaarheidsanalyse. Resultaten Uit de analyses blijkt dat de vragenlijst in het algemeen consistent en volledig is ingevuld. Een beperkt aantal vragen kent een hoog percentage missende waarden, omdat zij niet van toepassing zijn op een groot aantal respondenten. Voorbeelden daarvan zijn vragen over het gebruik van een tolk in het contact met de arts, of het indienen van klachten bij de zorgverzekeraar. Ook de vraag rond het vinden van een persoonlijke arts is door een groot aantal respondenten (40,5%) niet ingevuld. De vragen naar ervaringen met de toegankelijkheid van de zorg en de bejegening en communicatie van artsen en andere hulpverleners tenderen zoals gebruikelijk in dit soort onderzoek naar positieve antwoorden. Maar geen van de items was zo scheef verdeeld dat 90% of meer van de respondenten de uiterste antwoordcategorie had gekozen. In de tabellen 2 en 3 zijn de frequentieverdelingen weergegeven in percentages. Ook is het aantal respondenten weergegeven dat de vraag heeft ingevuld. Deze n is wisselend omdat niet alle vragen op alle respondenten van toepassing waren.

4 Tabel 2 Percentage respondenten naar frequentie waarmee de zorg voldeed aan de genoemde kwaliteitseisen en aantal respondenten dat de vraag heeft ingevuld (n) Hoe vaak in de afgelopen 12 maanden Nooit Soms Meestal Altijd n Heeft u binnen kantooruren de hulp gekregen die u nodig vond? 0,4 8,6 32,2 58,8 267 Heeft u buiten kantooruren de hulp gekregen die u nodig vond? 3,8 10,0 32,5 53,8 80 Heeft u de SEH gekregen die u nodig vond? 2,7 7,2 27,0 63,1 111 Kon u een afspraak maken zo snel als u wilde? 2,7 11,8 38,0 47,5 221 Bent u binnen 15 minuten binnengelaten in de 307 spreekkamer? 17,3 22,8 39,4 20,5 Behandelde de arts u met beleefdheid en respect? 1,0 4,2 22,5 72,3 311 Waren de medewerkers van de praktijk / polikliniek 312 behulpzaam? 3,8 8,0 28,5 59,6 Luisterde de arts met aandacht? 1,3 7,7 31,3 61,0 319 Had u problemen omdat u verschillende talen 88,3 7,8 1,9 1,9 308 sprak? Kreeg u uitleg op een begrijpelijke manier? 9,5 6,5 24,8 59,2 306 Toonde de arts respect voor wat u te zeggen had? 1,3 6,0 36,5 56,1 310 Werd voldoende tijd voor u uitgetrokken 1,0 8,1 34,2 56,8 310 Was u zo veel als u wenste betrokken bij 1,4 8,4 21,0 69,2 143 beslissingen? Kreeg u een tolk die u nodig had? 22,2 22,2 11,1 44,4 9 Tabel 3 Percentage respondenten dat in de afgelopen 12 maanden op de genoemde terreinen problemen heeft ervaren en aantal respondenten dat de vraag heeft ingevuld (n) In hoeverre was het een probleem Groot Klein Geen n probleem probleem probleem Om een persoonlijke arts/verpleegkundige te vinden? 4,9 5,5 89,6 182 Om een verwijzing naar de specialist te krijgen? 2,8 9,5 87,7 211 Om een afspraak te maken bij de specialist? 5,6 14,5 79,9 214 Om zorg, onderzoek of een behandeling te krijgen? 1,5 11,9 86,2 196 Om te wachten op toestemming van het ziekenfonds 11,4 5,7 82,9 35 Om artsen het met u eens te laten zijn? 4,8 14,4 78,8 143 Om informatie te vinden over het ziekenfonds? 14,9 28,4 56,8 75 Om hulp te krijgen van de klantenservice? 24,2 25,8 48,8 124 Om de formulieren in te vullen? 4,3 9,1 86,6 164 Uit de principale componenten analyse bleek dat een zestal items over het primair proces van zorgverlening één achterliggende factor representeren. Deze items zijn Hoe vaak in de afgelopen 12 maanden : Luisterden artsen of andere zorgverleners met aandacht naar wat u te vertellen had; Toonden artsen of andere zorgverleners respect voor wat u te zeggen had;

5 Behandelden medewerkers van dokterspraktijk of polikliniek u met beleefdheid en respect; Besteedden artsen of andere zorgverleners voldoende tijd aan u; Vond u de medewerkers van dokterspraktijk of polikliniek net zo behulpzaam als volgens u zou moeten; Legden artsen of andere zorgverleners dingen uit op een manier die u kon begrijpen? Deze zes items vormen samen een betrouwbare schaal (Cronbach s alpha.83). Een tweetal items uit dezelfde serie vragen bleken niet schaalbaar te zijn. Dit waren de vragen: hoe vaak in de afgelopen 12 maanden bent u binnen vijftien minuten toegelaten tot de spreekkamer; en hoe vaak was het moeilijk voor u om met een arts te praten of elkaar te begrijpen omdat u verschillende talen sprak. Conclusie De algemene conclusie van de studie die onder Agis verzekerden is uitgevoerd, is dat de vertaalde CAHPS 3.0 Adult Commercial Questionnaire goed in te vullen is door Nederlandse respondenten en valide antwoorden genereert. Uit het onderzoek onder Agis verzekerden kwamen ook een aantal punten naar voren die aanpassing van de vragenlijst vergden: 1. Daarbij betreft het in de eerste plaats de vragen over de persoonlijke arts. Deze vragen worden door een deel van de respondenten niet goed ingevuld, mogelijk omdat het begrip persoonlijk arts onduidelijk is. In de versie van de vragenlijst die in het Consumentenpanel is uitgezet, zijn daarom ook expliciet vragen gesteld over de huisarts. 2. De tweede categorie vragen betreft de twee vragen over het primair proces die niet schaalbaar bleken te zijn. Het item over binnen vijftien minuten toegelaten worden tot de spreekkamer is om redenen van inhoudelijke relevantie gehandhaafd, maar de vraag over elkaar niet begrijpen omdat men verschillende talen spreekt is geschrapt in de vragenlijst die in het Consumentenpanel is uitgezet. De formulering was namelijk voor meerdere uitleg vatbaar. 3. De derde serie vragen die niet goed werkbaar bleek in de pilot onder Agis verzekerden, betroffen de vragen naar de informatie die men bij inschrijving had gekregen over de zorgverzekeraar en de kwaliteit van die informatie. Deze vraag werd door veel respondenten niet ingevuld. Voor de meeste respondenten was het tien of meer jaar geleden dat men zich inschreef bij de verzekeraar. Het is dus niet verwonderlijk dat veel mensen zich niet meer kunnen herinneren wat zij destijds aan informatie hebben ontvangen. De vraag over de kwaliteit van de informatie is niet meegenomen in de meting in het Consumentenpanel. 4. De vierde categorie vragen die minder goed in te vullen bleek, betrof een aantal vragen over de afhandeling van klachten door de verzekeraar. Het percentage missings op de vragen of de klacht naar tevredenheid is opgelost en hoe lang men al wacht op afhandeling van de klacht lag relatief hoog. Gevoegd bij het feit dat het aantal respondenten op met name deze laatste vraag sowieso relatief klein is, is overwogen dit onderwerp minder uitgebreid te bevragen. In de peiling van het Consumentenpanel is de vraag toch gehandhaafd, vanwege zijn inhoudelijke relevantie in een onderzoek naar prestaties van verzekeraars. Om dit onderwerp echter goed in kaart te brengen, zouden eigenlijk grotere steekproeven van de verzekerde populatie benaderd moeten worden.