De bruikbaarheid van een CQ-index voor de ggz, verslavingszorg en gehandicaptenzorg: eerste bevindingen

Transcriptie

1 Postprint Version 1.0 Journal website Pubmed link DOI De bruikbaarheid van een CQ-index voor de ggz, verslavingszorg en gehandicaptenzorg: eerste bevindingen BOB VAN WIJNGAARDEN*,INEKE KOK*,HERMAN SIXMA** Tot voor kort werden CQI vragenlijsten vooral ontwikkeld voor het meten van cliëntervaringen bij somatische aandoeningen en ingrepen. Inmiddels zijn ook voor de geestelijke gezondheidszorg (ggz), de verslavingszorg (vz) en de zorg aan mensen met een verstandelijke handicap (vg) CQI vragenlijsten ontwikkeld of in ontwikkeling. Gezien de omvang en moeilijkheidsgraad van de CQI is het de vraag of het een bruikbaar instrument is voor deze specifieke groepen cliënten. Een antwoord op deze vraag is van belang omdat de CQI resultaten als verantwoordingsgegevens gebruikt gaan worden waarbij die gegevens valide en betrouwbaar dienen te zijn. In dit artikel worden de eerste bevindingen met de CQI voor de ggz, vz en vg besproken. De CQI voor de kortdurende ambulante ggz en vz levert valide en betrouwbare resultaten op. De bruikbaarheid van de CQI voor de langdurende en klinische ggz en vz, en de vg is meer beperkt. De CQI lijkt voldoende bruikbaar voor klinisch opgenomen cliënten, terwijl cliënten van beschermd en begeleid zelfstandig wonen de lijst met hulp kunnen invullen. De bruikbaarheid van de CQI voor de langdurende verblijfspsychiatrie is zeer beperkt. Voor deze groep wordt de CQI afgeraden. In de gehandicaptenzorg blijkt dat cliënten met een ernstige verstandelijke beperking moeite hebben met de moeilijkheidsgraad van de CQI en het interviewprotocol. Voor deze specifieke groepen worden alternatieve afnamemethoden aangeraden. INLEIDING Tot voor kort werden CQI vragenlijsten eerst en vooral ontwikkeld en psychometrisch onderzocht voor het meten van cliëntervaringen bij somatische aandoeningen en ingrepen. Inmiddels zijn ook in de geestelijke gezondheidszorg (ggz), de verslavingszorg (vz) en de zorg voor verstandelijk gehandicapten (vg) vragenlijsten ontwikkeld of in ontwikkeling. Gezien de omvang en moeilijkheidsgraad van de meeste CQI vragenlijsten voor de somatische gezondheidszorg, was het de vraag of de CQI een bruikbaar instrument is voor het meten van de ervaringen van deze specifieke groepen cliënten. In dit artikel bespreken we de eerste resultaten en trachten we antwoord te geven op de volgende vragen: Wat kan op basis van de resultaten tot nu toe gezegd worden over de geschiktheid, validiteit en betrouwbaarheid van CQI vragenlijsten voor specifieke doelgroepen, zoals de ggz en de verslavingszorg? Welke problemen doen zich voor bij de ontwikkeling en afname van CQI vragenlijsten in specifieke settings als de ggz, de verslavingszorg en de (verstandelijke) gehandicaptenzorg en hoe kunnen deze worden opgelost? Een antwoord op deze vragen is voor de sectoren van groot belang omdat de uitkomsten van met de CQI verkregen informatie onder andere gebruikt zullen worden als verantwoordingsgegevens. Voor de ggz en verslavingszorg betreft dit de vulling van de Basisset Prestatie-indicatoren. Deze Basisset Prestatie-indicatoren voor de ggz en verslavingszorg bevat 32 indicatoren verdeeld over drie thema s: 1) effectiviteit van

2 behandeling en/of begeleiding, 2) veiligheid, en 3) cliëntgerichtheid. 1 Een aanzienlijk deel van die indicatoren moet (mede) worden vastgesteld aan de hand van de ervaringen van cliënten. Dit geldt vooral het thema cliëntgerichtheid. Voor de gehandicaptenzorg is een vergelijkbare set indicatoren in ontwikkeling, maar de kaders hiervoor zijn al wel vastgesteld in de vorm van kwaliteitsdomeinen. 2 In dit artikel wordt gestart met een beschrijving van de ontwikkeling van de CQI voor de kortdurende ggz en verslavingszorg en worden de psychometrische resultaten, zoals tot nu toe bekend, beschreven. Vervolgens wordt ingegaan op een aantal specifieke problemen in de langdurende en klinische ggz en verslavingszorg en in de gehandicaptenzorg, waarmee rekening moet worden gehouden bij de afname van CQI vragenlijsten. DE ONTWIKKELING VAN EEN CQ-INDEX VOOR DE GGZ EN VERSLAVINGSZORG (VZ) De CQ-index (CQI) voor de ggz en vz wordt ontwikkeld door het Trimbos-instituut, in samenwerking met het NIVEL. Zowel de ggz als de vz kennen, naast een diversiteit aan stoornissen, diverse behandelvormen. Er is sprake van zowel kortdurende als (zeer) langdurende zorg, van klinische, ambulante en deeltijdbehandeling, van curatieve en verblijfspsychiatrie, van groot- en kleinschalige voorzieningen, en van specialismen als geriatrie en jeugd- en forensische psychiatrie. Deze behandelvormen kunnen niet worden opgevat als één geheel, oftewel als dé ggz en vz. Cliënten uit de langdurende verblijfspsychiatrie verschillen aanzienlijk van cliënten met een kortdurende op genezing gerichte behandeling. Cliënten uit de eerste categorie hebben vaak cognitieve belemmeringen - in veel gevallen een direct gevolg van de stoornis -, kunnen zich vaak niet goed concentreren, zijn vaak verward, en zijn vaak moeilijk te motiveren. Cliënten uit de tweede categorie functioneren over het algemeen goed, ook op cognitief niveau. Gezien de grote onderlinge verschillen ligt het niet voor de hand één CQI voor de gehele ggz en vz te ontwikkelen, maar bij een deelpopulatie te beginnen. In eerste instantie is gekozen voor het ontwikkelen van een CQI voor de kortdurende ambulante ggz en vz. Twee redenen lagen hieraan ten grondslag. In de eerste plaats maakt deze groep ongeveer 70% van het totale cliëntenbestand in de ggz uit en, zoals hierboven beschreven, kan in de tweede plaats verwacht worden dat deze cliënten het beste in staat zijn zelfstandig een CQI in te vullen. Ingeschat werd dat de methodiek van de CQI vragenlijsten die geregeld leidt tot redelijk omvangrijke vragenlijsten (te) moeilijk en/of te inspannend kunnen zijn voor cliënten met een ernstig of chronisch psychisch of psychiatrisch ziektebeeld. De CQI kortdurende ambulante ggz is volgens de handleiding van het Centrum Klantervaring Zorg ontwikkeld. 3 Aan de hand van twee focusgroepen met cliënten uit de doelgroep werden de belangrijkste thema s vastgesteld en vragen geformuleerd voor de eerste versie van de CQI. Vervolgens zijn twee pilotonderzoeken uitgevoerd, een pilot naar de psychometrische kwaliteiten en een pilot naar het onderscheidend vermogen. De eerste versie van de CQI bevatte 113 vragen. Voor het pilotonderzoek naar de psychometrische kwaliteiten werden in totaal 1540 vragenlijsten uitgezet bij vijf geïntegreerde ggz-instellingen. De bruto respons bedroeg 32%, met een variatie van 21 tot 36% tussen de instellingen. De netto respons bedroeg gemiddeld 30,8%. 4 Deze respons is (veel) lager dan die bij CQI onderzoek bij somatische aandoeningen (50 tot 75%). Op het eerste gezicht lijkt er sprake te zijn van een geringere bereidheid of een geringer vermogen - om aan het onderzoek deel te nemen. Een andere oorzaak voor de lagere respons is wellicht gelegen in het feit dat een aantal respondenten de CQI ten onrechte hebben ontvangen. Zij waren bijvoorbeeld niet meer in behandeling, maar stonden nog steeds ingeschreven. In 77 gevallen (5,0%) is bekend dat de CQI ten onrechte was verzonden. Deze lijsten werden leeg teruggestuurd. Hoeveel lijsten in totaal onterecht zijn verzonden is niet bekend. Het is echter goed mogelijk dat een deel van de nonrespons hieraan te wijten is.

3 Uit de nonresponsanalyse bleek dat er in de responsgroep een significante oververtegenwoordiging was van vrouwen (65,7% versus 53,2% in de nonresponsgroep) en oudere respondenten (ouder dan 45 jaar). Dit is overigens een bekend verschijnsel bij dit type onderzoek. Op de overige achtergrondvariabelen waren de verschillen tussen respons en non-respons niet te toetsen, omdat hiervoor de data van de nonresponders ontbraken. Van de respondenten is meer dan 80% in Nederland geboren, de overigen vooral in Suriname, Marokko of Turkije. Het opleidingsniveau varieert van minder dan lagere school tot universiteit, met als grootste categorie een opleiding op MAVO/VMBO-niveau. Deze verdeling naar geboorteland en opleidingsniveau is vergelijkbaar met de landelijke cijfers. 5 De vragenlijsten waren over het algemeen goed ingevuld. Het percentage missende waarden per item bedroeg gemiddeld 4% of lager. In totaal 82,4% van de lijsten was vrijwel volledig, met minder dan 5 missings op een totaal van 113 vragen. Slechts negen lijsten bevatten meer dan 40 missende waarden. De respondenten hadden wel moeite gehad met de selectievragen. In ongeveer 10% van de gevallen werden vragen die moesten worden overgeslagen tóch beantwoord. Een grote meerderheid (86,5%) van de respondenten gaf aan dat de CQI gemakkelijk in te vullen is, tegen 12,6% die hulp had gekregen bij het invullen van de vragenlijst, zoals het voorlezen van de vragen. Het invullen van de CQI duurde meestal minder dan 20 minuten (71,4%). Een minderheid (11,5%) deed er langer dan 30 minuten over. Op de vragen naar de ervaringen van cliënten is een factoranalyse met Varimax rotatie uitgevoerd, met als voorwaarde dat een factorlading groter moet zijn dan 0.40 en in het geval van dubbele ladingen het item wordt toegekend aan de factor waarop deze het hoogste laadt. Verder moet een schaal minimaal drie items bevatten. Deze factoranalyse resulteerde in zeven betekenisvolle schalen (thema s), met een interne consistentie van minimaal 0,70 (tabel 1). In totaal 15 vragen waren niet schaalbaar. Samengevat kon worden gesteld dat de cliënten die respondeerden goed in staat waren de CQI in te vullen. Ook de kwaliteit van de data en de vorming van betekenisvolle schalen wijst er op dat de CQI geschikt is voor afname bij cliënten die een kortdurende ambulante ggz-behandeling (hebben) ontvangen. De vraag was echter of de lage respons deze resultaten vertekent. Bijvoorbeeld omdat alleen de best functionerende cliënten respondeerden. 6 [TABEL 1] Het tweede pilotonderzoek, naar het discriminerend vermogen van de CQI, is uitgevoerd op een verkorte versie van de vragenlijst (79 items). Onder meer het aantal selectievragen was tot een minimum teruggebracht. Verder zijn items verwijderd die in de eerste pilot zeer scheef verdeeld waren. Deze versie van de CQI werd uitgezet bij 20 ggz- en verslavingszorginstellingen, 300 vragenlijsten per instelling. 7 Gezien het aantal ten onrechte verzonden vragenlijsten in de eerste pilot, waren de inclusiecriteria voor de steekproef aangescherpt. Nu moest er onder meer sprake zijn van tenminste één behandelcontact in de afgelopen drie maanden. De respons was deze keer gemiddeld 41,1%, bijna 10% hoger dan bij de eerste pilot. Ook deze keer was de lijst goed ingevuld, met minder dan 5% missende waarden, ook wat betreft de selectievragen. In totaal 50% van de vragenlijsten was volledig ingevuld, en 95% had maximaal 10 missende waarden. Evenals bij de eerste pilot had bijna 90% van de respondenten de vragenlijst zelfstandig ingevuld. Hoewel de respons van de tweede pilot als geheel hoger uitkwam dan die van de eerste, was er tussen de instellingen sprake van grote verschillen in respons, variërend van 20,8 tot 57,7% (tabel 2). De geïntegreerde ggz- en de verslavingszorginstellingen scoorden gemiddeld de laagste respons, respectievelijk 37,4 en 36,3%. De zogeheten nieuwe aanbieders scoorden een gemiddelde respons van 50,7%. De andere instellingen, riaggs en een paaz-afdeling, scoorden daar tussenin. Het is overigens niet zo dat álle ggz- en verslavingszorginstellingen slechter scoorden. Een ggz-instelling bijvoorbeeld had een respons boven de 50%. De verschillen in respons lijken deels samen te hangen met het type

4 instelling en de daarbij behorende doelgroep. De verschillen binnen typen aanbieders zijn lastiger te verklaren. Een van de contactpersonen van een instelling met een relatief hoge respons gaf aan dat dit wellicht te maken had met het feit dat men veel aandacht aan de introductie van het onderzoek had besteed, onder ander door het inschakelen van de cliëntenraad en het rondsturen van een informatiebrief. De nonresponsanalyse werd uitgevoerd op leeftijd, geslacht en diagnose. Van negen van de twintig instellingen waren alle drie typen achtergrondgegevens voorhanden, van één instelling ontbraken alle drie. In totaal kon de nonresponsanalyse worden uitgevoerd op twaalf sets diagnosegegevens, twaalf sets leeftijden en zeventien sets sekseverdeling (tabel 2). [TABEL 2] Over de gehele linie zijn zoals verwacht - de responders gemiddeld iets ouder dan de nonresponders. Het verschil varieert van nul tot vierenhalf jaar. In acht van de twaalf gevallen is het verschil significant. Wat betreft de sekseverdeling blijkt dat de responsgroep in tien van de zeventien gevallen naar verhouding meer vrouwen bevat dan de nonresponsgroep. Deze verschillen zijn echter in slechts twee gevallen significant. De analyses op zowel leeftijd als op geslacht laten hiermee de bekende trend zien. Vrouwen en oudere personen zijn zoals gezegd - eerder geneigd aan dit type onderzoek deel te nemen. De verschillen zijn echter gering, zeker wat betreft de sekseverdeling. Vanwege de verschillende typen instellingen in de pilot (geïntegreerde ggz-instellingen, zelfstandige riaggs, vz-instellingen, een paaz, en zogeheten nieuwe aanbieders ) is er sprake van verschillende respondentengroepen en daarmee verschillen in de verdeling van diagnoses. Per instelling zijn de diagnoses ingedeeld in hoofdgroepen, waarop de verschillen in respons- en nonresponsgroepen zijn getoetst. Er worden nauwelijks verschillen gevonden. In de meeste gevallen is er vrijwel geen verschil tussenbeide groepen. Bij één instelling is er sprake van een (niet significante) trend. Cliënten met een stemmingsstoornis zijn iets oververtegenwoordigd in de responsgroep en cliënten met een somatoforme stoornis iets ondervertegenwoordigd. Bij één verslavingszorginstelling is wel sprake van een selectieve nonrespons. Cliënten met een alcoholverslaving zijn oververtegenwoordigd in de responsgroep, cliënten met andere verslavingen (vooral cocaïne en opiaten) zijn ondervertegenwoordigd. Wat betreft de etnische achtergrond en het opleidingsniveau werd vrijwel dezelfde verdeling gevonden als bij de eerste pilot. Ruim 80% van de respondenten is in Nederland geboren, de overigen vooral in Turkije, Marokko of Suriname, en het meest voorkomende opleidingsniveau is middelbaar beroepsonderwijs, vergelijkbaar met de landelijke cijfers. 5 Een nieuwe factoranalyse leverde elf factoren op (tabel 1). Hiervan waren er zes vrijwel identiek aan die uit de eerste pilot. In één geval kreeg de factor een wat andere betekenis. De factor Deskundigheid van de hulpverlener uit de eerste pilot veranderde door de toevoeging van extra items in Vervulling hulpwensen. Vier factoren waren nieuw. Op zes na konden alle vragen bij een factor worden ingedeeld. Ten slotte blijkt dat er sprake is van een redelijke mate van discriminerend vermogen. Door middel van multilevel analyse is onderzocht in hoeverre de 20 deelnemende instellingen van elkaar onderscheiden kunnen worden. In tabel 3 is het resultaat van deze analyse weergegeven. Eén ster geeft aan hoeveel instellingen significant lager scoren dan de andere instellingen, twee sterren geven aan hoeveel instellingen rond het gemiddelde scoren en drie sterren geven aan hoeveel instellingen significant hoger scoren. Hoewel de onderlinge verschillen in absolute getallen gering zijn, is het voor vrijwel alle factoren mogelijk significant hoger of lager scorende instellingen aan te wijzen. Alleen bij de factor Afronding behandeling is dit niet het geval. Ook op een aantal losse items is het mogelijk een onderscheid tussen instellingen aan te tonen. De grootste verschillen treden op bij informatie

5 over cliëntenrechten. Zes instellingen doen het op dit punt significant slechter dan de andere, terwijl vijf instellingen het juist significant beter doen. [TABEL 3] TUSSENTIJDSE CONCLUSIE Op basis van de ervaringen tot nu toe kan worden gesteld dat de CQI goed toepasbaar is bij cliënten die kortdurende ambulante ggz- of verslavingszorg ontvangen. Een positieve bevinding is dat de respondenten over het algemeen goed in staat waren de vragenlijsten in te vullen. Het aantal missende waarden bleef beperkt, minder dan 5% en ongeveer 90% van de vragenlijsten was vrijwel volledig ingevuld. Er werden geen aanwijzingen gevonden dat men voortijdig afhaakte omdat de lijst te lang is. Naar het einde van de vragenlijst toe blijft het aantal missende waarden per item gelijk. Het feit dat vrijwel alle vragen in een betekenisvolle factor kunnen worden ondergebracht, is een aanwijzing dat deze antwoorden valide zijn. Er is onderlinge samenhang waar dat kan worden verwacht. De respondenten hebben niet zo maar wat ingevuld. Een andere aanwijzing voor een valide beantwoording van de vragen is het onderscheidend vermogen van de CQI. Op vrijwel alle factoren (thema s) is het mogelijk relatief beter en relatief slechter scorende instellingen te onderscheiden. Dus ook met de CQI voor kortdurende ambulante ggz en vz kan betekenisvolle cliëntinformatie worden gegeven. Bijna 90% van de respondenten had geen hulp nodig bij het invullen. Dit lijkt verrassend omdat uit een taalanalyse op de versie van de CQ-index die wordt gebruikt in de thuiszorg bleek, dat het taalniveau hoog ligt en dat slechts 40% van de Nederlanders taalvaardig genoeg is om de vragen uit de CQI te begrijpen en te beantwoorden. 8 Dit deed vermoeden dat alleen goed functionerende en hoger opgeleide cliënten, of cliënten met minder ernstige problematiek, in staat zijn geweest de lijst in te vullen. Dit vermoeden kan niet worden gestaafd met de onderzoeksresultaten. Uit de nonresponsanalyse komt niet naar voren dat er sprake is geweest van een selectieve bias, behalve de bekende oververtegenwoordiging van wat oudere cliënten en in mindere mate van vrouwen. De nonresponsanalyse op de diagnostiek laat op één geval na - geen selectieve bias zien. De verschillen zijn vaak minimaal en verre van significant. Ook de verdeling van opleidingsniveau en etnische achtergrond geven geen aanleiding om een selectieve bias te vermoeden. De verschillen in responspercentages zijn interessant. Deze verschillen hangen deels samen met het type aanbieder. Geïntegreerde ggz- en vz-instellingen doen het gemiddeld wat slechter dan de andere, hoewel ook binnen deze groep aanzienlijke verschillen bestaan. Bij een aantal instellingen is het gelukt een respons van meer dan 50% te behalen, vergelijkbaar met andere CQI onderzoeken. Hoewel dit geen onderwerp van onderzoek was, lijkt een goede introductie van de CQI bij de cliënten en het benadrukken van het belang van deelname (uw stem wordt gehoord) een positief effect op de respons te hebben. Desalniettemin blijft de respons wel een punt van aandacht. EERSTE ERVARINGEN MET CQI VRAGENLIJSTEN IN DE GEHANDICAPTENSECTOR EN DE LANGDURENDE GGZ De hierboven beschreven pilots wijzen uit dat de CQI vragenlijst goed bruikbaar is voor een schriftelijke afname bij cliënten in de kortdurende ambulante ggz en verslavingszorg. Dit lijkt echter niet van toepassing te zijn voor bepaalde groepen cliënten in de gehandicaptenzorg (mensen met een matig tot ernstige verstandelijke beperking) en de langdurende ggz. Er is hier bijna per definitie sprake van cliënten met een complexe problematiek die veel invloed heeft op het dagelijks functioneren. De cliënt mist de verstandelijke vermogens, mist cognitieve vaardigheden, kan zich niet goed concentreren, of

6 mist de energie tot handelen, waardoor het invullen van een omvangrijke vragenlijst als de CQI een grote opgave is. In de langdurende ggz geldt daarnaast dat sommige ziektebeelden, bijvoorbeeld in geval van een psychose, worden gekenmerkt door symptomen als hallucinaties of overmatige argwaan. Antwoorden op vragen naar de ervaringen van de cliënt met de hulpverlening kunnen hierdoor worden gekleurd. Er is dan geen sprake van een min of meer objectieve evaluatie van de ontvangen hulp, maar eerder van een zeer persoonlijke invulling van die ervaring. Verwacht mag worden dat bovenstaande specifieke kenmerken van invloed zijn op de metingen met de CQI bij deze cliënten en dit impliceert dat het lastig wordt uitspraken te doen over de betrouwbaarheid, validiteit en generaliseerbaarheid van de verkregen uitkomsten. Daarom was het van belang om bij deze populaties uit te zoeken waar de grenzen liggen wat betreft de haalbaarheid van afname van CQI vragenlijsten. Belangrijke vragen daarbij zijn welke cliëntgroepen zelf in staat zijn CQI vragenlijsten in te vullen, wie dat kunnen met ondersteuning, bij wie de CQI in de vorm van een interview kan worden afgenomen, en bij wie een afname niet (meer) mogelijk is. Ook moet worden bepaald wat de kwaliteit van de verzamelde data is. Over de bruikbaarheid van de CQI bij genoemde groepen cliënten is op dit moment al iets bekend. In de gehandicaptenzorg is in 2007 de benchmark cliëntenraadpleging in de gehandicaptenzorg uitgevoerd en in 2008 is een haalbaarheidsonderzoek uitgevoerd bij verblijfscliënten in de langdurende zorg en bij klinisch opgenomen cliënten in de ggz en vz. 9,10 Benchmark gehandicaptenzorg In de benchmark gehandicaptenzorg werd de CQI afgenomen onder een groep cliënten met een verstandelijke, lichamelijke of zintuiglijke beperking. Onder de eerste categorie vielen mensen met een matige tot ernstige verstandelijke handicap, licht verstandelijk gehandicapten en sterk gedragsgestoorde licht verstandelijk gehandicapten. Gezien de verwachting dat schriftelijke afname moeilijk zou zijn en op basis van de resultaten van het ontwikkeltraject, was de op cliënten met een verstandelijke beperking toegespitste CQI bedoeld voor mondelinge afname. Verder werd vooraf, samen met de betrokken instellingen, vastgesteld welke cliënten op grond van hun problematiek (geen communicatie mogelijk, te emotioneel belastend) niet konden worden geïnterviewd. Hoewel het hier ging om een reguliere meting met de CQI was het hierdoor vaak niet mogelijk een aselecte steekproef te trekken. Bij instellingen waar minder dan 20% van de cliënten in staat werd geacht aan een interview deel te nemen, werden geen interviews afgenomen. Werd geschat dat 30% van de cliënten zou kunnen deelnemen, dan werden de potentiële deelnemers door de instelling geselecteerd. Alleen bij instellingen met meer dan 30% geschikte cliënten werd een steekproef getrokken. Ondanks deze voorselectie moest 29% van de interviews voortijdig worden beëindigd, of ging het interview helemaal niet door. De belangrijkste oorzaak van uitval betrof problemen van cognitieve aard. De cliënten hadden soms veel problemen met het taalniveau en de lengte van de vragenlijst, en met de aard van de vragen. Een bijkomend probleem was dat werd gewerkt met een interviewprotocol dat enerzijds moest voldoen aan de (strenge) CQI eisen, maar anderzijds voldoende ruimte moest bieden aan de interviewers, zodat zij zo veel mogelijk complete interviews konden realiseren. Met andere woorden: zeilen tussen Scylla en Charybdis. Gezien de geconstateerde problemen is het de vraag in hoeverre de interviews die wel zijn gerealiseerd betrouwbare data hebben opgeleverd. In de haalbaarheidsstudie in de ggz en vz was een inschatting van deze betrouwbaarheid een expliciet onderzoeksdoel. Haalbaarheidsstudie langdurende en klinische ggz en vz Gezien de te verwachten problemen bij de afname van een CQI bij cliënten uit de langdurende en klinische ggz, werd besloten een voorstudie te houden, voordat een officiële pilotstudie wordt gestart. Aanleiding tot de voorstudie vormden onder andere de resultaten

7 van de bovengenoemde pilot in de gehandicaptenzorg. De haalbaarheidsstudie werd uitgevoerd onder de vijf groepen cliënten die tot de doelgroep behoren: 1) cliënten op een afdeling voor langdurig verblijf van een psychiatrische kliniek, 2) cliënten die verblijven op de psychiatrische afdeling van een verpleeghuis, 3) cliënten die beschermd of begeleid zelfstandig wonen, 4) cliënten opgenomen in een verslavingskliniek, en 5) cliënten opgenomen op een psychiatrische opnameafdeling. Per groep werden tien proefafnames met de CQI gepland. Op voorhand werd geen enkele cliënt uitgesloten van deelname. Indien medewerkers van de instelling van mening waren dat cliënten niet konden deelnemen, moesten zij aangeven welke contra-indicaties hier van toepassing waren. Als volgende stap kozen de medewerkers tien cliënten uit, die een zo goed mogelijke afspiegeling vormden van de totale cliëntenpopulatie. Dus niet alleen de best functionerende cliënten, maar ook degenen waarover men twijfel had of het wel zou lukken. De geselecteerde cliënten werden door onderzoekers bezocht. Als eerste werd bekeken of de cliënt de vragenlijst zelf kon invullen en zo niet, welke hulp hierbij van de onderzoeker/interviewer nodig was. Na afloop gaf de onderzoeker een inschatting van de betrouwbaarheid van de antwoorden (heeft de cliënt de vragen begrepen, werden de vragen serieus beantwoord of deed de cliënt maar wat, kon de cliënt zich voldoende concentreren, etc). Uit de haalbaarheidsstudie bleek dat de CQI niet bruikbaar is voor afname bij cliënten in langdurende klinische verblijfsvoorzieningen. In de eerste plaats was slechts een klein deel in staat deel te nemen (15-25%). In de tweede plaats lukte het bij de cliënten die wel meededen vrijwel nooit de vragenlijst te voltooien, hoewel alle cliënten werden geïnterviewd. Cliënten haakten af door concentratieverlies of begrepen de vragen niet. Veel vragen moesten worden overgeslagen en de betrouwbaarheid van de antwoorden werd door de onderzoekers matig tot laag ingeschat. De resultaten bij opgenomen cliënten in een psychiatrische of verslavingszorgkliniek waren echter bemoedigend. Deze cliënten konden meestal de lijst zelfstandig invullen en de betrouwbaarheid van hun antwoorden werd hoog ingeschat. Ook de cliënten van beschermd en begeleid zelfstandig wonen waren veelal goed in staat de CQI vragen te beantwoorden. Zij hadden hierbij echter wel vaker hulp nodig, meestal in de vorm van een interview. Al met al werd in het haalbaarheidsonderzoek geconcludeerd dat bij cliënten van langdurende verblijfsafdelingen de grens van de bruikbaarheid is bereikt. In de geplande eerste pilot zullen deze cliënten dan ook niet worden meegenomen. De hoeveelheid tijd en geld die in het onderzoek bij deze groepen cliënten moet worden aangewend, weegt niet op tegen de te verwachten opbrengst. Voor hen zullen andere methoden moeten worden bedacht om toch hun ervaringen met de ontvangen zorg te peilen. Overige haalbaarheidsaspecten Naast de geconstateerde problemen met de afname van de CQI bij bepaalde groepen cliënten, spelen ook andere haalbaarheidsaspecten een rol. Zowel in de gehandicaptenzorg als de langdurende en klinische ggz en vz is er vaak sprake van kleine instellingen of afdelingen, wat een onderlinge vergelijking in kwaliteit, een belangrijke aanleiding voor de afname van een CQI, bemoeilijkt, zeker als er dan ook nog sprake is van een beperkte respons. Bovendien is de afname van de CQI bij deze groepen moeilijker te organiseren. Het volstaat niet deze cliënten een vragenlijst op te sturen, maar er zal sprake moeten zijn van een persoonlijke benadering en veelal hulp bij het invullen van de lijst. Dit maakt de afname van de CQI bij deze groepen zeer kostbaar. Ook is vooraf overleg met medewerkers van instellingen noodzakelijk voor het inschatten van de mogelijkheden van de te benaderen cliënten en of het inschatten van hun vorm van de dag. Ten slotte bleek dat het zeer strakke stramien van de CQI vraagwijze bij deze groep cliënten niet goed toepasbaar is.

8 DISCUSSIE Een standaardafname van CQI vragenlijsten in de ggz, vz en gehandicaptenzorg is niet zonder meer mogelijk. Daarvoor zijn er te veel deelpopulaties met hun eigen specifieke kernmerken en aanpak. Voor de kortdurende ambulante ggz en vz is de standaardprocedure geen probleem, al moet worden gelet op een voldoende respons. Ook de bruikbaarheid bij cliënten die klinisch opgenomen zijn (geweest) lijkt voldoende, al moet dit in de eerste pilotstudie nog nader worden bepaald. Bij de langdurende ggz- en (een deel van de) gehandicaptenzorg zullen alternatieve strategieën moeten worden ontworpen. Een aangepaste manier van respondentwerving, aangepaste manier van vraagstelling, flexibiliteit in de instructies voor de interviewers, en het inkorten van het aantal vragen en thema s, bieden hier wellicht de mogelijkheid, ook deze doelgroep beter bij een CQI onderzoek te betrekken. Tegelijkertijd vormt dit dan weer een bedreiging voor de nagestreefde standaardisering in het meten van cliëntervaringen met behulp van CQI meetinstrumenten. De beoogde anonieme en onafhankelijke afname zal lang niet (altijd) kunnen worden gerealiseerd, en ook aselecte steekproeven zullen niet altijd haalbaar zijn. De vraag is dan in hoeverre de resultaten van de CQI als verantwoordingsdata kunnen dienen of niet. FEASIBILITY OF A CQ-INDEX FOR PSYCHIATRIC, ADDICTED OR DISABLED PATIENTS: FIRST RESULTS Until recently CQI questionnaires for measuring patient s experiences with health care generally were developed for use in somatic care. Nowadays CQI s are also developed for psychiatric, addicted or (mentally) disabled patients. Due to the length and wording of the CQI the feasibility for these patients groups is questioned. As the results of the CQI will be used as national quality indicators, the necessity of reliable and valid data is obvious. In this paper the first results of the CQI psychiatric, addicted or (mentally) disabled patients are discussed. Two studies indicate that the CQI for patients in short-term ambulatory care results in valid and reliable data, using standard CQI assessment by mail survey. Also results for inpatients are promising although some help is needed. Those living in sheltered houses are able to complete the CQI with assistance of an interviewer. The results of the CQI for mentally disabled patients are less promising. Patients have difficulties understanding the questions and several do not complete the interview. Alternative methods of assessment are recommended. The CQI is not feasible for use in patients living in long-stay clinical facilities. Only few are able to complete the instrument. Use in this patient group therefore is dissuaded. LITERATUUR Prestatie-indicatoren geestelijke gezondheidszorg en verslavingszorg; Basisset Utrecht: IGZ, Vereniging Gehandicaptenzorg Nederland (VGN). Kwaliteitskader Gehandicaptenzorg; 2. Visiedocument. Utrecht: VGN, Sixma H, Delnoij D, Stubbe J et al. Handboek CQI Meetinstrumenten. Utrecht: Centrum 3. Klantervaring Zorg (CKZ), Wijngaarden B van, Kok I, Meije D, Fotiadis L. Een Consumer Quality Index voor 4. kortdurende ambulante ggz; De ontwikkeling en psychometrische kwaliteiten van een vragenlijst voor het meten van cliëntervaringen. Utrecht: Trimbos-instituut, Wijngaarden B van, Kok I. Prestatie-indicatoren en meetinstrumenten: prestaties door de 6. ogen van de cliënt. In: Havenaar J, Splunteren P van, Wennink HJ (red). Koersen op kwaliteit in de GGZ. Assen: Koninklijke Van Gorcum, Wijngaarden B van, Meije D, Kok I. Het onderscheidend vermogen van een Consumer 7. Quality Index voor kortdurende geestelijke gezondheidszorg en verslavingszorg. Utrecht: Trimbos-instituut, 2008.

9 BureauTaal. Analyse taalniveau CQ Index; Ervaringen met de zorg thuis. Beusichem: BureauTaal, 2008 Brandt H, Zuidgeest M, Sixma H. Pilot ontwikkeling CQ-index Gehandicaptenzorg; meten van de kwaliteit van de gehandicaptenzorg vanuit het cliëntenperspectief. Utrecht: NIVEL, Wijngaarden B van, Kok I, Meije D, Fotiadis L. Een Consumer Quality Index voor de langdurende en klinische ggz. De haalbaarheid van het afnemen van CQ-Index vragenlijsten bij lza- en klinisch opgenomen cliënten: verslag van een kwalitatieve prepilotstudie. Utrecht: Trimbos-instituut, TABELEN Tabel 1. Factorstructuur van de eerste en tweede versie van de CQI ambulante ggz en verslavingszorg Versie 1 Versie 2 Factor N items Cronbach s α N items Cronbach s α Ervaren functioneren 4 0,95 3 0,93 Bejegening door hulpverlener 10 0,86 8 0,89 Informatie over cliëntenrechten 6 0,77 4 0,80 Informatie over de behandeling 4 0,72 6 0,73 Communicatie tussen behandelaars 3 0,70 3 0,64 Informatie over medicatie 3 0,69 3 0,73 Deskundigheid hulpverlener 3 0,75 Vervulling van hulpwensen 4 0,83 Keuzemogelijkheden 4 0,62 Afronding van de behandeling 3 0,62 Bereikbaarheid 3 0,71 Behandelaars op één lijn 4 0,63

10 Tabel 2. Nonresponsanalyse CQI Instelling Respons Diagnose 1 Leeftijd P %-age p (%) 2 vrouw ,7 n.s. 39,436,3 0,033 oo n.s. 2 46, , , n.s. 4 35, oo n.s. 5 40,6 n.s. 43,641,3 0, n.s. 6 40, ,045,0 n.s. +- n.s. 7 31, n.s. 8 50,0 n.s. 41,838,8 0,024 oo n.s. 9 51,7 > stemmingsstoornis< n.s. somatoformp = 0, ,3 n.s. 37,236,1 n.s. -+ n.s , n.s ,3 n.s 41,037,2 0, n.s , n.s ,0 n.s. 39,635,0 0, n.s , ,7 n.s. 38,636,9 n.s ,3 n.s. 41,841,6 n.s ,8 n.s. 42,038,8 0,002 oo n.s ,5 n.s. 42,039,2 0, , ,0 > alcoholmisbruik< overige verslavingp = 0,006 43,539,6 0, n.s. 1 Diagnosegroepen die zijn over- of ondervertegenwoordigd in de responsgroep 2 Gemiddelde leeftijd in de responsgroep (boven) en nonresponsgroep (onder) 3 Relatieve over- of ondervertegenwoordiging in respons- en nonresponsgroep (o=gelijk, +=relatief meer, -=relatief minder)

11 Tabel 3. Onderscheidend vermogen van de CQI; aantal instellingen dat in een klasse valt. 3 klassen Factoren * ** *** Ervaren functioneren Bejegening door hulpverlener Informatie over cliëntenrechten Informatie over behandeling Communicatie tussen behandelaars Informatie over medicatie Vervulling hulpwensen Keuzemogelijkheden Afronding behandeling 20 Bereikbaarheid hulpverlener Behandelaars op één lijn 17 3 Losse items Informed consent Bijstellen behandelplan 20 Keuze behandelaar Keuze tijdstip behandeling Meebeslissen behandelplan 2 18