2 1/111. Pilot GGZ Dr. Lieke Boonen. Drs. Marja Appelman. Dr. Xander Koolman. Bouke-Jan Otter, MSc. Dr. Marloes Zuidgeest. Dr.

Transcriptie

1 1 Pilot GGZ Online afnemen van cliëntervaringen binnen de ROM Cyclus Dr. Lieke Boonen Drs. Marja Appelman Dr. Xander Koolman Bouke-Jan Otter, MSc Dr. Marloes Zuidgeest Dr. M SiRM Strategies in Regulated Markets Nieuwe Uitleg BR Den Haag Rotterdam, 20 november /111

2 Inhoud Belangrijkste bevindingen Aanleiding Plan van aanpak ontwikkeling vragenlijst Programma van Eisen Opstellen pilot vragenlijst Beoordeling van de pilotvragenlijst Eindbeoordeling Ontwikkeling van de pilotvragenlijst Stap 1 tot en met 4 selectie mogelijke vragen Stap 5 - focusgroepen om de belangscores per thema te bepalen Stap 6 - Opstellen mogelijke vragenlijsten Stap 7 Beoordeling (ex-ante) pilot vragenlijsten Stap 8 - Testdag met cliënten Stap 9- opstellen uiteindelijke pilotvragenlijst Resultaten pilotfase Uitvraag gegevens Schonen en opbouwen databestand Respons en representativiteit Psychometrische analyses Onderscheidend vermogen Geaggregeerde score Vergelijking CSQ en CQI thema s Inkorten vragenlijst Conclusies en aanbevelingen nieuwe vragenlijst GGZ cliëntervaringen Conclusies Aanbevelingen Referentielijst Bijlage A: Programma van Eisen Bijlage B: Raamwerk ex-post analyse van de pilot vragenlijst /111

3 Bijlage C: Inventarisatie bestaande vragenlijsten...74 Bijlage D: focusgroep, expertgroep en Stuurgroep Bijlage E: Criteria op vraagniveau Bijlage F: Opgestelde vragenlijsten Bijlage G: WAR Notitie 6 april Bijlage H: Reactie WAR op het voorstel van SiRM Bijlage I: Pilot vragenlijst Bijlage J: tabellen en grafieken...95 Bijlage K: Definitieve vragenlijst Bijlage L: Knelpunten analyse voor implementatie /111

4 Belangrijkste bevindingen Naar aanleiding van de kritieken op de huidige Consumer Quality Index (CQI) vragenlijst om cliëntervaringen te meten binnen de kortdurende ambulante Geestelijke GezondheidsZorg (GGZ) en VerslavingsZorg (VZ), hebben zorgverzekeraars, zorgaanbieders en patiëntenorganisaties bij Stichting Miletus een verzoek neergelegd om een gestandaardiseerde, korte, vragenlijst te ontwikkelen om cliëntervaringen binnen de GGZ en VZ te meten. Stichting Miletus heeft hiertoe een onderzoek laten uitvoeren door SiRM. Centrale doelstelling van het onderzoek is: Het ontwikkelen en testen van een vragenlijst om op een gestandaardiseerde manier, binnen de ROM cyclus, cliëntervaringen te kunnen meten De belangrijkste vereisten die door de betrokken partijen gesteld zijn aan de nieuwe vragenlijst zijn: Vragenlijst die voldoet aan de informatiebehoeften van zowel zorgaanbieders, zorgverzekeraars als cliënten; Een vragenlijst die binnen 3 minuten is in te vullen; Een vragenlijst die binnen de ROM cyclus online en continu kan worden uitgevraagd. Op grond van ons onderzoek adviseert SiRM een verkorte vragenlijst met maximaal vijf CQI thema s ( bejegening, vervulling hulpwensen, bereikbaarheid, informatie over behandeling en keuzemogelijkheden met in totaal 13 onderliggende vragen), één waarderingsvraag (rapportcijfer), één aanbevelingsvraag, twee effectvragen en twee achtergrondvragen. In totaal betekent dit dat de vragenlijst bestaat uit 19 vragen (zie Tabel 1). Tabel 1: vragen in de uiteindelijke verkorte vragenlijst Vraag 1 Neemt de behandelaar u serieus? 2 Legt uw behandelaar u dingen op een begrijpelijke manier uit? 3 Begrijpt uw behandelaar in voldoende mate wat uw klachten zijn? 4 Is/was de behandeling naar uw mening de juiste aanpak voor uw klachten? 5 Wordt/werd het behandelplan naar uw wens uitgevoerd? 6 Is het een probleem om een afspraak met uw behandelaar snel te laten plaatsvinden? 7 Is het een probleem om uw behandelaar overdag tussen 9.00 en uur telefonisch te bereiken? 8 Heeft u informatie gekregen over de behandelingsmogelijkheden die er voor uw klachten zijn? 9 Heeft u informatie gekregen over hoe u met uw klachten om kunt gaan? 10 Heeft u informatie gekregen over het resultaat dat u van de behandeling kunt verwachten? 2 4/111

5 Vraag 11 Heeft u informatie gekregen over andere vormen van behandeling of ondersteuning zoals zelfhulpprogramma s, cliëntondersteuning, patiëntenverenigingen, E-hulp en alternatieve geneeswijzen 12 Kunt u uw voorkeuren aangeven voor een bepaalde vorm van een behandeling? 13 Kunt u kiezen uit verschillende soorten behandelingen? 14 Zijn er samen met u doelen voor de behandeling geformuleerd? 15 Heeft uuw doelen dankzij de behandeling bereikt? 16 Hoe waarschijnlijk is het dat u deze instelling bij anderen, met dezelfde problematiek, aanbeveelt? 17 Welk cijfer geeft u aan de behandeling? Een 0 betekent heel erg slecht. Een 10 betekent uitstekend. 18 Hoe zou u over het algemeen uw gezondheid noemen? 19 Wat is uw hoogst voltooide opleiding? (een opleiding afgerond met een diploma of getuigschrift) Deze vragenlijst voldoet aan de gestelde vereisten in het programma van eisen. Daarbij zijn 6 van de 8 verplichte indicatoren binnen het Jaarverslag Maatschappelijke Verantwoording (JMV) opgenomen. De indicatoren die niet opgenomen zijn (evaluatie van de behandel- /begeleidingsplannen en continuïteit van zorg) hebben een lage belangscore. Aanbevolen wordt om met het Kwaliteitsinstituut na te gaan wat de verplichte indicatoren worden voor het JMV als bovenstaande vragenlijst opgenomen wordt voor een landelijke uitvraag. Voor de definitieve validatie van de vragenlijst bij het Centrum Klantervaring Zorg (CKZ) bevelen we aan om tijdens de eerste landelijke meting het onderscheidend vermogen van de nieuwe cliëntervaringsvragenlijst in kaart te brengen en te rapporteren aan het CKZ. Met deze aanbeveling volgen we het advies van het CKZ. Het CKZ heeft namelijk positief gereageerd op de uitkomsten van onderhavig onderzoek en heeft aangegeven mogelijkheden te zien om de vragenlijst op basis van de huidige gegevens voorlopig te valideren. Bij een landelijke uitvraag dient dan nog gekeken te worden naar het onderscheidend vermogen. Totstandkoming vragenlijst Voor de totstandkoming van deze vragenlijst heeft SiRM diverse stappen doorlopen, die in het achtergrondrapport uitgebreid worden toegelicht. Hier noemen we de belangrijkste punten. Op basis van de opgestelde vereisten heeft SiRM een inventarisatie gemaakt van de bestaande vragenlijst binnen de GGZ om cliëntervaringen te meten, deze vormen het startpunt van het onderzoek. Tijdens een aantal gebruikersbijeenkomsten zijn met alle gebruikers de belangscore van alle afzonderlijke vragen in kaart gebracht. Naast de belangscores hebben we, op basis van de CQI meting uit 2011, gekeken naar een aantal selectiecriteria om een verkorte vragenlijst op te stellen. De selectiecriteria zijn gebaseerd op de criteria die binnen het CKZ gebruikt worden om een CQI vragenlijst te verkorten en te ontwikkelen. Dit betrof het onderscheidend vermogen per vraag, het percentage missende waarden per vraag, de scheefheid per vraag en het verbeterpotentieel. In 2 5/111

6 samenspraak met een aantal partijen (het CKZ, expertgroep, de Stuurgroep GGZ en Stichting Miletus) is de verkorte vragenlijst opgesteld die getest is in de pilotfase. De verkorte vragenlijst voor de pilot bevatte 28 vragen, te weten de vijf CQI thema s, de waarderings- en aanbevelingsvraag, twee effectvragen en acht CSQ (Consumer Satisfaction Questionnaire) vragen. Door de experts is aanbevolen om vast te houden aan de bestaande CQI thema s en tijdens de pilotfase na te gaan of deze thema s aangepast konden worden. Door de Stuurgroep is de wens uitgesproken omnaast de CQI thema s ook de CSQ op te nemen in de pilotvragenlijst. Binnen de pilot wordt nagegaan in welke mate de CSQ voldoet aan de programma van eisen en in welke mate er correlatie is tussen de CQI thema s en de CSQ.. Stichting Miletus heeft de opgestelde vragenlijst in een pilot uitgezet onder zeven instellingen waarbij de uitvraag gekoppeld is aan de ROM cyclus. Tijdens de pilot is gebleken dat de Routine Outcome Measurement (ROM) cyclus nog niet bij alle instellingen zodanig is ingericht dat de CQI vragenlijst opgenomen kan worden in de reguliere ROM uitvraag. Binnen de pilotmeting kwamen daardoor minder respondenten beschikbaar dan vooraf verwacht. Daarnaast bleken niet alle achtergrondkenmerken opgenomen in de ROM databestanden, wat leidt tot de noodzaak deze, tot de ROM systemen in orde zijn, uit te vragen binnen de cliëntervaringsvragenlijst (zie ook onderstaande aanbevelingen). Op basis van de resultaten kunnen slechts voorlopige conclusies getrokken worden over de representativiteit. Dit vanwege de beperkte beschikbaarheid van gegevens. De eerste resultaten laten wel zien dat de respons in voldoende mate representatief is voor de populatie binnen de instellingen. De resultaten laten verder zien dat de CQI schalen in de verkorte vragenlijst betrouwbaar en valide zijn. De kwaliteit van de ingevulde vragenlijsten is hoog. De vergelijking tussen de CQI en de CSQ heeft laten zien dat de CSQ in sterke mate correleert met de meer subjectieve schalen en items binnen de CQI zoals bejegening, de waarderingsvraag en de aanbevelingsvraag. De CSQ wordt sterker beïnvloed door achtergrondkenmerken dan de CQI schalen. Gegeven de gestelde vereisten wordt aanbevolen om de CQI schalen uit te vragen in combinatie met de waarderingsvraag, de aanbevelingsvraag en de effectvragen. Deze laatste kunnen uitgevraagd worden in plaats van de CSQ. De resultaten hebben laten zien dat twee CQI schalen, namelijk bereikbaarheid en bejegening, met een vraag verkort kunnen worden. Daarnaast wordt aanbevolen na te gaan of de informatiewaarde van de schaal keuzemogelijkheden nog voldoende is om deze schaal op te nemen in de vragenlijst. Dit is een beleidsmatige keuze. 2 6/111

7 Aanbevelingen Uit het onderzoek komen een aantal aanbevelingen naar voren voor de implementatie van de verkorte vragenlijst voor de kortdurende ambulante GGZ: Blijf de achtergrondkenmerken (gezondheid en opleiding) uitvragen om de CQI schalen die gebruikt worden om op Kiesbeter.nl instellingen met elkaar te vergelijken en te kunnen corrigeren voor deze achtergrondkenmerken. Vooral de wat meer subjectieve schalen zijn gevoelig voor verschillen in achtergrondkenmerken. Voor rapportage via BRAM (Stichting Benchmark GGZ) is het niet nodig om scores vooraf te corrigeren voor achtergrondkenmerken. Gebruikers van BRAM zullen namelijk instellingen onderling met elkaar te vergelijken door in te zoomen op één of meerdere subcategorieën volgens bepaalde criteria, zoals leeftijd en geslacht (stratificeren). Dit is een alternatieve wijze van correctie van achtergrondkenmerken; Vraag de achtergrondkenmerken binnen de cliëntervaringsvragenlijst uit zolang deze nog niet beschikbaar zijn binnen de ROM systemen; Integreer de cliëntervaringsvragenlijst binnen de ROM systemen via een continue uitvraag. Stel hiervoor een eenduidige werkinstructie inclusief codeboek op zodat alle analyses, behalve de vergelijkende analyses, binnen de ROM systemen kunnen worden uitgevoerd; Vraag de verkorte vragenlijst online uit; Rapporteer de resultaten op zowel instellings- als afdelingsniveau. Op afdelingsniveau lijken de eerste resultaten meer onderscheidend dan op instellingsniveau. Vanwege het geringe aantal waarnemingen per instelling en per afdeling konden we in onderhavig onderzoek alleen verkennende analyses uitvoeren naar het onderscheidend vermogen. Deze verkennende analyses laten zien dat het onderscheidend vermogen op afdelingsniveau groter is dan het onderscheidend vermogen op instellingsniveau. Dit houdt in dat er meer variatie is tussen afdelingen dan tussen instellingen. Tot slot heeft SiRM een aantal aanbevelingen voor vervolgonderzoek: Onderzoek of het al dan niet anoniem uitvragen leidt tot een vertekening in de antwoorden op de individuele items en de CQI schalen. Door de vormgeving van 2 7/111

8 de pilot is het niet mogelijk om hierover op basis van de beschikbare gegevens uitspraken te doen; Ga na of het thema keuzemogelijkheden nog voldoende informatiewaarde heeft. Dit thema is niet onderscheidend en heeft de laagste belangscores van de vijf CQI thema s. Mogelijk dat het aanpassen van de antwoordcategorieën van een tweenaar een vierpuntschaal leidt tot meer onderscheidend vermogen. In de verkorte vragenlijst is deze mogelijke aanpassing doorgevoerd. Onderzoek het onderscheidend vermogen van de items en schalen in de verkorte vragenlijst tijdens een landelijke uitvraag. Het verkorten van CQI vragenlijsten is ook relevant voor andere sectoren. In dit onderzoek is naar voren gekomen dat het aandacht verdient bij het verkorten van de vragenlijst te kijken naar de complexiteit van een thema. Complexe thema s dienen met meerdere vragen te worden uitgevraagd terwijl bij minder complexe thema s mogelijk een vraag volstaat. We bevelen aan dit nieuwe inzicht ook te gebruiken bij de verkorting van CQI vragenlijsten buiten de GGZ. 2 8/111

9 1 Aanleiding Vertegenwoordigers van instellingen, cliënten en verzekeraars in de Geestelijke GezondheidsZorg (GGZ) onderschrijven nut en noodzaak van het gestandaardiseerd meten van klantervaringen, maar zijn tot op heden niet tevreden met de manier waarop dit gebeurt. Partijen zijn van mening dat de vragenlijst om klantervaringen te meten (CQI vragenlijst), in de huidige vorm, onvoldoende informatie oplevert. De CQI vragenlijst laat te weinig onderscheidend vermogen zien en de inspanningen en kosten van een meting zijn groot. Deze onvrede heeft geleid tot een verzoek vanuit de Stuurgroep GGZ om een gestandaardiseerde vragenlijst te ontwikkelen om cliëntervaringen binnen de kortdurende ambulante GGZ en VerslavingsZorg (VZ) te meten. De centrale doelstelling van het onderzoek is als volgt omschreven: Het ontwikkelen en testen van een vragenlijst om op een gestandaardiseerde manier, binnen de ROM 1 cyclus, cliëntervaringen te kunnen meten Hierbij moet het ontwerp van een vragenlijst, in eerste instantie, geschikt zijn voor de doelgroep kortdurende ambulante zorg. Via een pilot onder zeven GGZ aanbieders 2 dient de vragenlijst uitgezet te worden gedurende de ROM cyclus 3 en te worden getest op validiteit en betrouwbaarheid. Dit rapport vormt een verantwoording op het proces waarbinnen de vragenlijst is ontwikkeld en beschrijft welke stappen doorlopen zijn om de vragenlijst op te stellen. Hoofdstuk 2 beschrijft het plan van aanpak en de werkwijze die gehanteerd is om de vragenlijst op te stellen en geeft aan welke criteria gehanteerd zijn om de vragenlijst te beoordelen. In hoofdstuk 3 beschrijven we hoe de pilotvragenlijst tot stand is gekomen. Hoofdstuk 4 beschrijft de resultaten van de pilot fase waarin o.a. ingegaan wordt op de validiteit en betrouwbaarheid van de nieuwe vragenlijst. Hoofdstuk 5 vat de belangrijkste conclusies samen en formuleert een advies over de op te stellen vragenlijst. Hoofdstuk 6 1 Routine Outcome Measurement. De ROM cyclus verwijst naar het afnemen van vragenlijsten over de kwaliteit van leven bij cliënten aan de start, tijdens en aan het einde van de behandeling. Instellingen hebben met zorgverzekeraars afgesproken dat zij deze vragenlijsten uitzetten onder hun cliëntenpopulatie. De gegevens leveren zij aan bij Stichting Benchmarking GGZ (SBG) die op basis van deze informatie benchmark rapportages opstelt voor instellingen en verzekeraars. 2 Namelijk Dimence, Emergis, GGZ Breburg, Mentaal Beter, Lentis, Pro Persona en Rivierduinen. 3 Routine Outcome Measurement. Binnen GGZ instellingen wordt de kwaliteit van leven gemeten binnen de ROM cyclus. Cliënten krijgen aan de start, gedurende en aan het einde van hun behandeling een aantal kwaliteit van leven vragenlijsten voorgelegd. De uitkomsten op deze vragenlijst bespreekt de cliënt gedurende en aan het einde van de behandeling met de cliënt. GGZ Nederland en Zorgverzekeraars Nederland hebben afgesproken ernaar te streven dat in % van alle cliënten de vragenlijsten binnen de ROM cyclus invult en bespreekt met de behandelaar. Instellingen leveren meetgegevens aan bij Stichting Benchmarking GGZ die een benchmark rapportage opstellen voor zorgaanbieders en zorgverzekeraars. 2 9/111

10 bevat een lijst met referenties. Voor de totstandkoming van de verkorte vragenlijst is een groot aan tussenproducten tot stand gebracht, die zijn opgenomen als bijlagen. 2 Plan van aanpak ontwikkeling vragenlijst 2.1 Programma van Ei sen Met de afgevaardigden van alle betrokkenen (cliënten, instellingen en zorgverzekeraars), de wetenschappelijke experts en de Stuurgroep is een Programma van Eisen (PvE) opgesteld waaraan de nieuw te ontwikkelen vragenlijst aan moet voldoen. Voor dit Programma van Eisen is gekeken naar een aantal aspecten, te weten: a. Het doel van de vragenlijst; b. De relevante thema s; c. De lengte van de vragenlijst (aantal vragen/items); d. Vergelijkbaarheid van de uitkomsten, validiteit en de rol van toeval; e. De doelgroep; f. De methode van uitvraag; g. De rapportage van de uitkomsten. Samen met de verschillende partijen is per aspect gekeken waaraan de nieuwe vragenlijst moet voldoen. Bijlage A bevat het vastgestelde Programma van Eisen. Dit vormt het startpunt voor het selecteren van de thema s en vragen die opgenomen moeten worden in de nieuw te ontwikkelen verkorte vragenlijst. De belangrijkste voorwaarden waaraan de vragenlijst moet voldoen zijn de volgende: De vragenlijst richt zich op de doelgroep kortdurende ambulante GGZ en VZ, waarbij wordt aangesloten bij de indeling die binnen het ROM system wordt gemaakt. De vragenlijst moet zich richten op een kernset 4 van vragen die bruikbaar is voor zowel zorginkoop, zorgverbetering als zorgkeuzeinformatie; De vragenlijst hoeft niet een volledig beeld te geven van de cliëntervaringen maar is gericht op een kernset, volledigheid is geen doel op zich; 4 Met kernset bedoelen we de uiteindelijke set vragen die opgenomen wordt in de vragenlijst. De nadrukkelijke wens van de Stuurgroep is een korte vragenlijst waarbinnen vragen zijn opgenomen die relevant zijn voor alle doelgroepen. De kernset is de set vragen die verplicht worden uitgevraagd. Instellingen kunnen hiernaast zelf andere vragen stellen, maar die behoren dan niet tot de verplichte kernset van vragen. 2 10/111

11 De vragenlijst mag 2 á 3 minuten kosten om in te vullen; De vragenlijst bevat altijd 1 vraag over het effect van de behandeling, een waarderingsvraag (rapportcijfer) en een aanbevelingsvraag. De analysekaders die gebruikt zijn om de pilotvragenlijst op te stellen en te beoordelen zijn gebaseerd op een aantal belangrijke uitgangspunten. In onderstaand kader staan deze belangrijkste uitgangspunten opgesomd. De gebruikte referenties zijn opgenomen in de referentielijst (hoofdstuk 6). 2 11/111

12 Kader: Belangrijke uitgangspunten SiRM is bij het opstellen van de pilotvragenlijst uitgegaan van de reeds ontwikkelde vragenlijsten en beschikbare informatie. Het doel is niet om een volledig nieuwe lijst te ontwikkelen maar juist om gebruik te maken van de reeds beschikbare kennis over de ontwikkelde vragenlijsten, de belangrijke thema s en de bestaande situatie. Dit heeft invloed op het ontwikkelde analysekader. De belangrijkste uitgangspunten zijn geformuleerd in onderstaand kader. Belangrijke uitgangspunten die binnen de opdracht geformuleerd zijn: a. De Stuurgroep GGZ heeft de kaders van het onderzoek bepaald. b. Het onderzoek voeren we uit aan de hand van het analysekader dat ontwikkeld is bij het Centrum Klantervaring Zorg (CKZ). Hiervoor gebruiken we de handboeken over de ontwikkeling van de vragenlijst en de rapporten over de verkorting van vragenlijsten. c. We gebruiken de reeds uitgevoerde onderzoeken van bestaande vragenlijsten waaronder de GGZ Thermometer, de CSQ, en de CQI. De onderzoeken naar de validiteit en betrouwbaarheid van de gebruikte schalen, vragen, antwoordcategorieën, en de correctie voor verschillen in achtergrondkenmerken zijn meegenomen bij de ontwikkeling en beoordeling van de pilotvragenlijst. d. Waar relevant verrijken we de bestaande onderzoeken met eigen onderzoek op de data die is verzameld met de uitvraag in 2011 van de CQI kortdurende ambulante GGZ en VerslavingsZorg. e. We sluiten aan bij de gedachte dat cliëntervaringen uitgevraagd worden door middel van zo veel mogelijk feitelijke vragen die minder gevoelig zijn voor interpretatieverschillen en verschillen in achtergrondkenmerken 1. De CQI is ontwikkeld vanuit deze gedachte en is gebaseerd op de CAHPS en QUOTE vragenlijsten uit de VS. Naast cliëntervaringen is het ook mogelijk om cliënttevredenheidsvragen op te nemen. Dit zijn vragen die minder feitelijk zijn (meer subjectief) en die gevoeliger zijn voor de interpretatie van de cliënt. Bij de ontwikkeling van de CAHPS en de QUOTE is afstand genomen van de tevredenheidsvragen omdat deze minder geschikt zijn om zorgaanbieders met elkaar te vergelijken. De uitkomsten zijn gevoeliger voor verschillen in achtergrondkenmerken en interpretatie dan feitelijke vragen. Een voorbeeld is bijvoorbeeld de vraag naar informatievoorziening: a. Cliëntervaringsvraag: Heeft u folders ontvangen over hoe u om kunt gaan met u aandoening? b. Cliënttevredenheid: bent u tevreden met de hoeveelheid ontvangen materiaal over uw aandoening? 2.2 Opstellen pi lot vragenlij st Bij het selecteren van de thema s en vragen maakt SiRM gebruik van het volgende selectiekader: 2 12/111

13 1. Verzamel alle vragen uit de in Nederland gebruikte cliëntenvragenlijsten voor de GGZ en VZ. 2. Laat alle vragen vervallen die kunnen worden gevuld met gegevens uit andere bronnen (met name ROM). 3. Laat uit de CQI vragenlijst de losse vragen met een lage belangscore vervallen. 4. Behoud vanuit de CQI vragenlijst de twee algemene waarderingsvragen (een rapportcijfer en een aanbevelingsvraag) en 1 vraag naar het ervaren effect van de behandeling Organiseer focusgroepen met gebruikers om het belang van de (a) thema s en (b) individuele vragen vast te stellen. 6. Bepaal meerdere mogelijke pilot vragenlijsten op basis van de gestelde eisen in het PvE. 7. Beoordeel de mogelijke pilot vragenlijsten ex ante aan de hand van de volgende (methodologische) criteria: a. Validiteit 6 b. Betrouwbaarheid van de schaal 7 c. Betrouwbaarheid per vraag (discriminerend vermogen gemeten door middel van ICC, scheefheid, maximaal verschil tussen beste en slechtste score); d. Percentage non-respons; e. Mogelijkheid tot kwaliteitsverbetering (percentage suboptimale ervaringen en verbeterscore); f. Continuïteit ten opzichte van eerdere uitgezette vragenlijsten (met name m.b.t. de CQI) g. Rapportagemogelijkheden. Na de selectie van de relevante thema s en vragen, is een testdag met cliënten georganiseerd om na te gaan of de vragen voldoende samenhang vertoonden en of de 5 Dit is een specifieke wens die geformuleerd is door de Stuurgroep GGZ. 6 In principe beoordelen we de validiteit op basis van de ontwikkelrapporten van de CQI en de GGZ Thermometer. Omdat we uitgaan van een reeds bestaande situatie gebruiken we vragen en thema s die al in eerdere trajecten zijn ontwikkeld. We letten vooral op de inhoudsvaliditeit: meten de vragen daadwerkelijk de kwaliteit van de geleverde zorg. 7 De betrouwbaarheid van de schaal wordt gemeten met de Cronbach s alpha. De vuistregel is dat een Cronbach s alpha van 0,7 of hoger duidt op een betrouwbare schaal (CKZ, Handboek ontwikkeling CQI meting). 2 13/111

14 geselecteerde vragen binnen de gestelde termijn te beantwoorden zijn. Daarnaast is gekeken naar de formulering van de vragen om de leesbaarheid te bevorderen. De selectie van relevante thema s en vragen is besproken met de (wetenschappelijk) experts. 2.3 Beoordeling van de p ilotvragenlijst Nadat de pilotvragenlijst is opgesteld, wordt deze getest onder 7 GGZ instellingen. De pilot wordt ingebed in de ROM cyclus waarbij alle cliënten, die voldoen aan de selectiecriteria, worden uitgenodigd om de vragenlijst in te vullen. Het beoordelingskader is gebaseerd op de kaders en richtlijnen van het CKZ die gebruikt worden bij de ontwikkeling en verkorting van CQI vragenlijsten. 8 9 De beoordeling van de pilotvragenlijst vindt plaatst aan hand van de volgende vijf stappen: 1. Respons en representativiteitsanalyse; 2. Psychometrische analyses op item- en op inter-item niveau; 3. Mogelijkheid tot anonieme versus niet-anonieme uitvraag; 4. Onderscheidend vermogen; en 5. Mogelijkheid tot het construeren van één geaggregeerde score voor cliëntervaringen. Een uitgebreide beschrijving van het analyseraamwerk waarbinnen de vragenlijst wordt geanalyseerd is opgenomen in bijlage B. De resultaten van de pilot worden, alvorens een definitief advies op te stellen, besproken met de Stuurgroep GGZ, het CKZ en (wetenschappelijk) experts. De adviezen die hieruit volgen worden meegenomen bij het opstellen van het advies over de definitieve vragenlijst. 8 De betrouwbaarheid per vraag geeft inzicht in hoeverre verschillen tussen zorgaanbieders op een betrouwbare manier gemeten kunnen worden. Dit hangt samen met het aantal respondenten dat de vragen invult en de mate van verschillen tussen zorgaanbieders en binnen een zorgaanbieder. 9 Triemstra, M, et al (2008), Sixma et al (2008), Asmoredjo et al (2012) 2 14/111

15 2.4 Eindbeoordeling De vragenlijst wordt uiteindelijk beoordeeld op validiteit en betrouwbaarheid en er wordt een advies gegeven over de op te stellen vragenlijst om cliëntervaringen binnen de Kortdurende ambulante GGZ en VZ te meten. Hierin worden alle bovenstaande punten meegenomen. 2 15/111

16 3 Ontwikkeling van de pilotvragenlijst Voor de ontwikkeling van de vragenlijst hebben we diverse stappen doorlopen. Allereerst hebben we de mogelijke vragen geselecteerd (stap 1 tot en met 4). Vervolgens hebben we via focusgroepen de belangscores per thema bepaald (stap 5). Op basis van de bevindingen hebben we mogelijke vragenlijsten opgesteld (stap 6) beoordeeld (stap 7) en getest onder cliënten (stap 8). Op basis van de bevindingen uit stap 1 tot en met 8 hebben we samen met de Stuurgroep GGZ de pilotvragenlijst opgesteld. In dit hoofdstuk worden de 9 stappen nader toegelicht. 3.1 Stap 1 tot e n met 4 selectie mogelijke vragen Op basis van stap 1 tot en met 4 van het selectiekader zijn thema s en vragen geselecteerd die gebruikt zijn binnen de focusgroepen om de belangscores vast te stellen. Het betrof 68 vragen, geclusterd in 12 thema s. 10 Een uitgebreide beschrijving van dit proces is opgenomen in bijlage C. De selectie van vragen is beperkt tot vragen die andere aspecten of thema s uitvragen. Vragen die inhoudelijk hetzelfde vragen zijn slechts een keer geselecteerd. Bij bijvoorbeeld de CQI en de GGZ Thermometer is er een grote overlap in vragen. De CQI is gebaseerd op de ontwikkelde GGZ Thermometer waarbij we zien dat de 28 vragen die in de GGZ Thermometer opgenomen zijn, grotendeels terugkomen in de CQI. Indien vragen dus dubbel voorkomen in bepaalde vragenlijsten, zijn ze maar één keer geselecteerd om te beoordelen in de focusgroepen. Binnen de ROM zijn alle achtergrondgegevens 11, behalve ervaren gezondheid, beschikbaar. Dit houdt in dat deze gegevens niet meer worden opgenomen binnen de cliëntervaringsvragenlijst. De losse CQI vragen die in de ontwikkel-fase van de CQI een lage belangscore hadden, zijn niet geselecteerd. Daarbij worden de twee algemene waarderingsvragen ( zou u de instelling aanbevelen? en welk rapportcijfer geeft u de instelling? ), en een vraag over het 10 Hierbij zijn de thema s gebaseerd op de thema s die uitgevraagd worden binnen de CQI. Ook alle andere vragenlijsten die in omloop zijn zoals de GGZ thermometer. 11 Met achtergrondgegevens doelen we op kenmerken van cliënten binnen de kortdurende ambulante GGZ. Bij de ontwikkeling van de CQI is onderzocht of de uitkomsten gecorrigeerd moeten worden voor verschillen in achtergrondkenmerken van cliënten. Hieruit is naar voren gekomen dat gecorrigeerd dient te worden voor leeftijd, geslacht, opleidingsniveau en ervaren gezondheid. Met de term achtergrondkenmerken doelen we dus altijd op deze vier achtergrondkenmerken. 2 16/111

17 effect van de behandeling altijd opgenomen. Dit zijn vragen die in het Programma van Eisen door de Stuurgroep GGZ/ VZ aangemerkt zijn als verplichte vragen. De volgende stap is uit de selectie van 68 mogelijke vragen, te komen tot de uiteindelijke pilotvragenlijst. Dit proces wordt beschreven in de volgende paragraaf. In Bijlage E staan alle 68 mogelijke vragen opgenomen die meegenomen zijn binnen het selectieproces. 3.2 Stap 5 - focu sgroep en om de belangsco res per thema te bepalen In stap 5, zijn de thema s en individuele vragen door de gebruikers (afgevaardigden cliënten, instellingen en zorgverzekeraars) gescoord naar belangrijkheid. Hierbij zijn twee focusgroepen georganiseerd met elk ongeveer 10 deelnemers (zie bijlage D). 12 De deelnemers is gevraagd de thema s en de individuele vragen te rangschikken van belangrijk naar onbelangrijk en daarna een belangscore tussen de 1 (heel onbelangrijk) en 5 (zeer belangrijk) toe te kennen aan het thema. Hierbij mochten ze nooit twee keer dezelfde score geven en moesten ze dus een onderscheid maken tussen de thema s. In Tabel 2 staan de belangscores gepresenteerd 13. De belangscores zijn onderverdeeld in een totaalscore (gemiddelde over alle type gebruikers) en een score per type gebruiker (cliënt, zorgaanbieder en zorgverzekeraar). Vier thema s scoren boven de 4 voor de totale belangscore. Vier thema s scoren lager dan 3.5 (algemene waarderingsvragen, afstemming tussen behandelaars, informatie over cliëntenrechten en informatie-uitwisseling tussen behandelaars). Deze thema s worden consequent door alle groepen lager gewaardeerd. Tabel 2 Belangscores van de thema s, uitgesplitst naar totaalscore, score per cliënt, zorgaanbieder en zorgverzekeraar Thema Totaal score Cliënt Zorg- Aanbieder Zorgverzekeraar Informatie over behandeling Bejegening door de behandelaar Vervulling hulpwensen Bereikbaarheid van de behandelaar(s) Keuzemogelijkheden De richtlijnen van het CKZ geven aan minimaal 2 focusgroepen te organiseren met bij voorkeur tussen de 8 en 12 deelnemers. 13 Als aan een thema geen belangscore toegekend is, kan deze niet meegenomen worden in de berekening van de belangscore. 6 respondenten hebben aan een of meerdere thema s geen belangscore toegekend. Een andere mogelijkheid is het geven van een score die gelijk is aan de laagste score gegeven aan het thema. Hierdoor daalt de belangscore van de thema s maar de prioritering van de thema s veranderen niet. Om vertekening te voorkomen nemen we alleen de thema s mee met een toegekende belangscore. 2 17/111

18 Veranderingen in klachten en functioneren Informatie over medicatie Afronding behandeling Algemene waarderingsvragen Afstemming tussen behandelaars Informatie over cliëntenrechten Informatie uitwisseling tussen behandelaars Naast de belangscores per thema, zijn ook belangscores per vraag bepaald. Deze zijn uitgesplitst naar gebruikersgroep. De totaal belangscore per vraag is berekend als de gemiddelde belangscore vermenigvuldigd met de thema belangscore. De belangscores per vraag (zie bijlage E) worden gebruikt om de vragen te selecteren voor de vragenlijst. 3.3 Stap 6 - Op stellen mogelijke vragenlijste n Voor het opstellen van de vragenlijst zijn we uitgegaan van maximaal vijftien vragen. Hiervoor is gekozen omdat cliënten naar verwachting 15 vragen binnen 3 minuten kunnen beantwoorden. De 3 minuten eis is gesteld door de Stuurgroep in het programma van eisen. Voor de selectie van de 15 vragen voor de uiteindelijke vragenlijst, hebben we drie routes onderzocht. 1. Selecteer per thema de belangrijkste vraag op basis van de belangscore die vastgesteld is binnen de focusgroepen (in totaal 10 thema s) en vul deze aan met de waarderingsvraag, aanbevelingsvraag en de effectvraag (in totaal 13 vragen). 2. Selecteer de belangrijkste vraag voor de zes belangrijkste thema s en selecteer daarna zes extra vragen op basis van het totale belang per vraag (belangscore per vraag * belangscore van het thema) en vul deze aan met de waarderingsvraag, aanbevelingsvraag en de effectvraag (in totaal 15 vragen). 3. Selecteer de vier belangrijkste thema s op basis van de belangscore die vastgesteld is binnen de focusgroepen en behoud de CQI schaal met een maximum van drie vragen voor dit thema en vul deze aan met de waarderingsvraag, aanbevelingsvraag en de effectvraag (in totaal 15 vragen). Deze drie routes hebben we uitgewerkt tot drie vragenlijsten (zie bijlage F). Elke vragenlijst hebben we beoordeeld aan de hand van de methodologische criteria en de criteria rondom continuïteit en rapportagemogelijkheden. 2 18/111

19 3.4 Stap 7 Beoordeli ng (ex-ante) pilot vrage nlij sten De drie vragenlijsten zijn beoordeeld aan de hand van een aantal criteria (stap 7). Deze zijn onder te verdelen in (1) validiteit, (2) betrouwbaarheid van de schaal, (3) overige methodologische criteria, (4) continuïteit in de uitvraag, en (5) de rapportagemogelijkheden Validiteit Bij het onderzoek gaan we er van uit dat de validiteit onderzocht is bij de ontwikkeling van de CQI vragenlijst en de GGZ Thermometer. We gaan er bij de beoordeling dus van uit dat de opgenomen vragen valide zijn. In het kader van het onderzoek hebben we bestudeerd of het mogelijk is om de vragenlijst te verkorten, met behoud van de validiteit van de vragenlijst. De inhoudsvaliditeit staat in deze analyse centraal. De inhoudsvaliditeit refereert aan de mate waarin de opgenomen vragen en thema s daadwerkelijk de kwaliteit van zorg meten. In de analyse stelden we ons bij elk thema de volgende vraag: Gaat om een complex construct dat met meerdere vragen moet worden gemeten, of om meer eenduidige zaken waarin met één vraag kan worden volstaan? Een specifiek kwaliteitsthema kan een complex construct zijn. Binnen de bestaande CQI kortdurende GGZ worden binnen één thema vaak meerdere vragen gesteld. Het stellen van meerdere vragen binnen één thema kan leiden tot zowel een hogere inhoudsvaliditeit als een hogere statistische betrouwbaarheid van de schaal. Meerdere vragen binnen één thema kunnen leiden tot een hogere inhoudsvaliditeit wanneer een individuele vraag niet representatief is voor het hele thema. In dat geval kunnen op basis van de vraag (zonder aanvullende analyses naar de samenhang van de vraag en het thema) alleen maar uitspraken worden gedaan over die specifieke vraag. Indien er één vraag geselecteerd wordt, bijvoorbeeld de vraag kunt u de behandelaar tussen 9:00u-17:00u bereiken?, kan dan alleen iets gezegd worden over dit aspect van bereikbaarheid. Het antwoord geeft geen oordeel over het thema bereikbaarheid in het algemeen. Door meerdere vragen uit te vragen binnen een thema (bijvoorbeeld bereikbaarheid in weekenden en in spoedgevallen), wordt een beter beeld verkregen op themaniveau. Vanuit deze invalshoek scoren de vragenlijsten verschillend op het criterium validiteit: Vragenlijst 1 scoort laag. Binnen elk thema wordt slechts één vraag gesteld waardoor uitspraken op themaniveau minder valide zijn. 2 19/111

20 Vragenlijst 2 scoort matig, doordat bij vier van de zeven thema s slechts één vraag wordt gesteld. Bij drie thema s worden twee of meer vragen gesteld en is de validiteit beter. Vragenlijst 3 scoort goed op dit criterium omdat per thema de volledige CQI schaal (met maximum van drie vragen) wordt behouden. De CQI schalen zijn getest op validiteit en nemen de aspecten die door gebruikers belangrijk worden gevonden mee binnen de schaal. Vervolgens hebben we geanalyseerd of de vragenlijst kan worden verkort door vragen te laten vervallen. In het algemeen geldt namelijk: hoe hoger de correlaties tussen de items in een schaal en hoe hoger de Cronbach s alpha, des te eenduidiger is het concept en des te minder informatie gaat er verloren als met één vraag gemeten worden. We hebben daarom getest welke vragen we kunnen laten vervallen, met behoud van een Cronbach s alpha hoger dan 0.7 (de vuistregel voor betrouwbaarheid van het thema). De WAR heeft aangegeven dat met de pilotvragenlijst getest kan worden of één tot twee vragen per schaal kunnen volstaan. Zie hierover ook de correspondentie met de WAR in het kader van deze opdracht (bijlage G en H). Deze analyse valt samen met de beoordeling van de betrouwbaarheid van de schaal en wordt daarom in de volgende paragraaf beschreven Betrouwbaarheid van de sch aal Omdat de CQI gegevens op geaggregeerd niveau geïnterpreteerd worden, en niet op individueel cliëntniveau, kan op een andere manier gekeken worden naar de betrouwbaarheid van de schalen dan bij vragenlijsten voor psychosomatische doeleinden. SiRM heeft hierover contact gehad met de WAR (zie bijlage G en H). Een vragenlijst dient te leiden tot betrouwbare antwoorden op het niveau van de relevante groep (de afdeling of de instelling). Het is niet nodig dat de vragenlijst leidt tot betrouwbare antwoorden op cliëntniveau. De betrouwbaarheid van de schaal geeft inzicht in hoe betrouwbaar de antwoorden van respondenten zijn. Door meerdere items binnen een schaal op te nemen, neemt de betrouwbaarheid van de gemeten uitkomsten toe. De schaal geeft dan een betrouwbaarder beeld van het gemeenschappelijke thema. De Cronbach s alpha wordt binnen de CQI gebruikt om de betrouwbaarheid van een schaal aan te geven. Een hoge interne consistentie (hoge Cronbach s alpha) duidt op een hogere betrouwbaarheid op schaalniveau. Een vuistregel is dat een schaal met een Cronbach s alpha hoger dan 0.7 voldoende betrouwbaar is voor groepen. 2 20/111

21 Het doel van de vragenlijst is inkorting. In overleg met de expertgroep werken we met een maximum aantal van 3 items per schaal, waarbij de items worden geselecteerd op basis van belangscores en de samenhang met de schaal. De vragenlijsten scoren verschillend op het criterium betrouwbaarheid: Vragenlijst 1 scoort laag op dit criterium. De thema s zijn geoperationaliseerd door de selectie van één vraag, waardoor toeval een grotere rol speelt. Vragenlijst 2 scoort matig op dit criterium. Binnen drie thema s (bereikbaarheid, bejegening en informatievoorziening) worden meerdere items uitgevraagd. Omdat de selectie is gebaseerd op de hoogste belangscore zijn niet alle items uit de oorspronkelijke CQI schaal geselecteerd. Bij bereikbaarheid worden slechts twee van de drie CQI items geselecteerd, bij informatievoorziening worden drie van de vier CQI items geselecteerd en bij bejegening zijn twee van de drie vragen gebaseerd op CQI items en een op een vraag uit de zorgthermometer. Vragenlijst 3 scoort hoog op dit criterium, omdat de vragen zijn geselecteerd op basis van de huidige CQI schalen. Van de geselecteerde thema s hebben er drie een Cronbach s alpha van boven de 0,7. Dit betreft Informatie over de behandeling, Bejegening door de behandelaar, en Vervulling hulpwensen. Alleen de Bereikbaarheid van de behandelaar heeft een Cronbach s alfa die lager is dan 0,7, namelijk 0,67. De bereikbaarheid betreft echter een thema met uiteenlopende vragen waardoor de inhoudsvaliditeit van dit thema hoog is. Bij het thema informatievoorziening variëren de belangscores van de vier vragen tussen de 3.7 en de 4.5. De Cronbach s Alpha voor de gehele schaal (vier vragen) is gelijk aan Het selecteren op basis van de belangscore leidt ertoe dat vraag 8 Heeft u informatie gekregen over de aanpak van uw huidige behandeling? zou komen te vervallen. Dit leidt echter tot een daling in de Cronbach s Alpha (van 0,74 naar 0,67). Uit de testronde met cliënten blijkt vraag 10 heeft u informatie gekregen over het resultaat van de behandeling minder relevant. Deze vraag draagt ook het minste bij aan de betrouwbaarheid van de schaal. Vanwege de geringe verschillen in belangscores (3.9 versus 3.7) is ervoor gekozen vraag 10 te laten vervallen en vraag 8 te selecteren. Dit leidt tot een Cronbachs alpha van 0.71 voor deze schaal. Bij het thema bejegening variëren de belangscores van de vier vragen tussen de 3.0 en 4.5. Vraag 29 Heeft uw behandelaar voldoende tijd voor u? heeft de laagste belangscore (3.0). De andere vragen hebben een hogere belangscore (3.5, 3.8 en 4.5). Het laten vervallen van vraag 29 uit de schaal leidt tot een Cronbach s Alpha voor de schaal van /111

22 3.4.3 Overige methodologische criteria De overige methodologische criteria die gehanteerd zijn om de vragen te beoordelen, zijn het onderscheiden vermogen, de non-respons en het verbeterpotentieel. Deze criteria zijn gebruikt om inzicht te geven in hoeverre de geselecteerde vragen, voldoen aan de verschillende methodologische criteria. Omdat deze criteria alleen beoordeeld kunnen worden op basis van de CQI uitvraag over 2011, zijn deze criteria niet doorslaggevend in de uiteindelijke selectie Onderscheidend vermogen per vra ag Eén van de doelen van het verzamelen van cliëntervaringen is het vergelijken van zorgaanbieders. Belangrijk is dus dat de geselecteerde vragen verschillen kunnen tonen tussen zorgaanbieders. Met de intraklasse correlatie (de maat voor discriminerend vermogen), de scheefheid (het percentage ja) en het verschil tussen de minimum en maximum score wordt inzicht gegeven in het onderscheidend vermogen op vraagniveau. Alle vragenlijsten scoren gelijk op het criterium onderscheidend vermogen. Dit criterium geeft ook geen reden om vragen te laten vervallen of niet te selecteren. Het onderscheidend vermogen laat namelijk geen grote verschillen zien tussen individuele vragen. Hierbij dient opgemerkt te worden dat het onderscheidend vermogen gebaseerd is op de CQI uitvraag in De gegevens zijn op concernniveau verwerkt, terwijl gebruikers aangeven eerder verschillen op afdelings- of instellingsniveau te verwachten. Het lage onderscheidend vermogen hoeft dus niet direct samen te hangen met de gestelde vragen en antwoordcategorieën. Er zijn enkele vragen waarbij meer dan 80% van de respondenten ja heeft geantwoord. Dit betreft vragen binnen het thema afstemming met de behandelaar (vraag komt in geen van de drie vragenlijsten voor), informatie over de behandeling (vragen komen in alle vragenlijsten terug), en informatie over medicatie (vraag komt terug in vragenlijst 1 en vragenlijst 2). Scheefheid wordt, volgens de richtlijnen van het CKZ, problematisch bij een score van boven de 90% Percentage non-resp ons Een hoog percentage non-respons (>5%) geeft aan dat de vraag ofwel niet duidelijk gesteld of niet relevant geacht wordt waardoor respondenten de vraag niet invullen. Bij een nonrespons van meer dan 5% wordt aanbevolen na te gaan of de vraagstelling moet worden aangepast of dat de vraag moet komen te vervallen. 2 22/111

23 Met uitzondering van één vraag, spelen bij de vragen geen problemen rondom nonrespons. Dit criterium geeft daarom (met uitzondering van die ene vraag) geen reden om vragen te laten vervallen of niet te selecteren. Op basis van de CQI uitvraag in 2011, heeft één vraag een non-respons hoger dan 5%. Dit is vraag 6 Is het een probleem om een behandelaar s avonds of in het weekend telefonisch te bereiken in geval van nood?. Deze vraag is opgenomen binnen vragenlijst 3, bij de schaal Bereikbaarheid. Aanbevolen wordt om na te gaan of deze vraag anders geformuleerd moet worden, of dat de antwoord categorieën moeten worden aangepast om de non-respons te verlagen Verbeterpotentieel Het verbeterpotentieel geeft inzicht in hoeverre een vraag geschikt is voor het meten van verbeterpotentieel of kwaliteitsverbetering. Ook dit criterium is niet leidend omdat het gebaseerd is op de CQI meting uit Bij het verbeterpotentieel hebben we gekeken naar het percentage suboptimale ervaringen (% nooit/soms, % klein/groot en % nee) en naar de verbeterscore (% suboptimale ervaringen/100* gemiddelde belangscore) 14. Bij een percentage van meer dan 10% suboptimale ervaringen, moeten kwaliteitsverbeteringen worden overwogen 7. De verbeterscore moet minimaal 0,3 zijn uitgaande van het voorgenoemde criteria van >10% suboptimale ervaringen en een gemiddeld belang (3 op een schaal van 1-4). 7 Op basis van de CQI meting uit 2011 zien we dat het verbeterpotentieel matig is bij enkele vragen uit het thema bereikbaarheid, bejegening en afstemming tussen behandelaars. Bij de overige vragen voldoen de vragen aan de gestelde criteria. De scores geven geen aanleiding om vragen niet te selecteren Continuïteit Zowel de gebruikers als de wetenschappelijk experts geven aan dat continuïteit in de meting een belangrijk aspect is bij de selectie van de vragen. Daarbij gaat het enerzijds om de mogelijkheid om uitkomsten van de metingen te vergelijken en anderzijds om continuïteit voor aanlevering van gegevens aan het jaardocument maatschappelijke verantwoording (JMV). Ten eerste hebben we gekeken naar continuïteit wat betreft de mogelijkheid om uitkomsten van de metingen te vergelijken. Daarbij is de context dat de vragenlijsten de 14 Triemstra et al (2008), Doelspecifieke versies van CQ-index meetinstrumenten: korter, krachtiger, en specifieker meten?, TSG, jaargang 86, nr 8 ( ) 2 23/111

24 afgelopen jaren al enkele malen zijn aangepast, waardoor er geen vergelijking over de jaren heen kan worden gemaakt. Voor gebruikers is de mogelijkheid om gegevens tussen jaren te vergelijken een belangrijk onderdeel. De vragenlijsten scoren verschillend op het criterium continuïteit: Zowel vragenlijst 1 als 2 scoren laag op dit criterium. Door uit te gaan van een selectie van één vraag en niet aan te sluiten bij de bestaande CQI schalen, is het minder goed mogelijk om de uitkomsten van deze meting te vergelijken met metingen uit voorgaande jaren. Vragenlijst 3 scoort goed op dit criterium. Door aan te sluiten bij de huidige thema s binnen de CQI blijft de mogelijkheid bestaan om zowel gegevens te vergelijken over de jaren als om op vrijwillige basis niet geselecteerde thema s uit te vragen. Door de kernset te focussen op de drie tot vier belangrijkste thema s wordt de mogelijkheid geboden om jaarlijks extra thema s uit te vragen en de continuïteit te behouden doordat aangesloten wordt bij de thema s die de afgelopen jaren binnen de CQI zijn uitgevraagd. Ten tweede hebben we gekeken naar continuïteit voor het aanleveren van gegevens aan het JMV. Gegevens verzameld met de huidige CQI vragenlijst worden namelijk gebruikt om kwaliteitsindicatoren te vullen die zijn opgenomen in het JMV. Instellingen zijn verplicht om jaarlijks een aantal indicatoren aan te leveren voor het JMV. De drie vragenlijsten scoren matig op dit thema. Optie 3, scoort het beste omdat vier van de acht thema s die zijn opgenomen vereist zijn voor het JMV (zie Tabel 3). Tabel 3 Prestatie-indicatoren voor het JMV Thema Selectie Opmerkingen Cliëntperspectief /oordeel van de cliënt over verandering van de ernst van de problematiek Ja Drie vragen over klachten & functioneren vervangen door één effectvraag Informed consent Nee Het betrof één losse itemvraag uit de CQI die is komen te vervallen Keuzevrijheid Nee De vragen binnen het thema keuzevrijheid en het thema zelf hebben een lage belangscore Vervulling zorgwensen Ja Volledige schaal opgenomen in de vragenlijst Evaluatie behandel- en begeleidingsplannen Nee Het betrof één losse itemvraag uit de CQI die is komen te vervallen Verder heeft het thema heeft een relatief lage belangscore. Daarbij wordt de vragenlijst in het voorlaatste gesprek uitgezet waardoor de vragen binnen het thema nog niet van toepassing zijn. 2 24/111

25 Thema Selectie Opmerkingen Continuïteit van zorg: goede samenwerking en afstemming ketenpartners Nee De beide thema s hebben een relatief lage belangscore en zijn komen te vervallen uit de kernset Adequate bejegening door de hulpverleners Adequate informatieverstrekking door de hulpverlener Ja Ja Volledig schaal opgenomen in de vragenlijst Volledig schaal opgenomen in de vragenlijst Rapportage format De wens die vanuit de Stuurgroep is neergelegd is het rapporteren van één score per thema, naast de scores op de algemene waarderingsvragen. De vragenlijsten scoren verschillend in de wensen met betrekking tot het rapportage format: Vragenlijst 1 scoort laag op dit criterium. Het uitvragen van 15 losse itemvragen die niet behoren tot een schaal, biedt niet de mogelijkheid om één totaalscore te rapporteren. Dit leidt ertoe dat binnen vragenlijst 1 niet gewerkt kan worden met een schaalscore per thema maar dat 15 scores moeten worden gerapporteerd. Vragenlijst 2 scoort matig op dit criterium. Bij vragenlijst 2 worden voor drie thema s meerdere vragen gesteld, wat inhoudt dat er voor drie thema schaalscores kunnen worden bepaald. Voor vier thema s kan dit niet. Vragenlijst 3 scoort goed op dit criterium. De vragenlijst biedt, door drie tot vier thema s uit te vragen, de mogelijkheid om binnen de rapportage te focussen op 3 of 4 thema scores, naast de twee algemene waarderingvragen en de effect vraag. Daarbij kan binnen de rapportage ook gekeken worden naar de scores op de individuele items, maar geeft de themascore wel inzicht in de kwaliteit binnen dat specifieke thema. 2 25/111

26 3.5 Stap 8 - Testd ag met c liënten Op de testdag zijn aan cliënten de twee vragenlijst voorgelegd die als beste naar voren kwamen uit stap 1 tot en met 7. Hiervoor zijn twee testrondes georganiseerd met iedereen minimaal 10 cliënten. Daarbij zijn met de cliënten een aantal punten besproken: a. Anonieme of niet-anonieme uitvraag; b. Tijdsduur; c. Volledigheid van de vragenlijst; en d. Vraagstelling en antwoordcategorieën. Ad a. Uit de testdag met cliënten blijkt ten eerste dat er geen behoefte is de vragen op individueel niveau terug te koppelen naar de behandelaar. De evaluatie vindt net voor het einde plaats, waardoor behandelaars de mogelijkheid hebben om in het eindgesprek middels een open vraag te vragen of de cliënt opmerkingen heeft over de behandeling n.a.v. de ingevulde vragenlijst. De mogelijkheid tot het niet anoniem invullen van de vragenlijst wekt wantrouwen op bij de cliënten en kan leiden tot sociaal wenselijke antwoorden. Advies is deze optie niet te testen en de vragenlijst dus altijd anoniem uit te vragen. Ad b. De gemiddelde invultijd op de testdag lag rond de 4 minuten voor vijftien vragen. 15 We verwachten echter dat cliënten de vijftien vragen in de praktijk binnen circa 3 minuten kunnen beantwoorden. Bij de test besteedden cliënten namelijk extra aandacht aan de vraagstelling en de antwoordcategorieën. Ad c. De volledigheid is voldoende bevonden door de cliënten. Aangegeven is dat de belangrijkste onderwerpen opgenomen zijn in de vragenlijst. Door een maximum te stellen aan het aantal minuten dat het mag kosten om de vragenlijst in te vullen, wordt je beperkt in het aantal vragen dat gesteld kan worden. De vragen die nu opgenomen zijn, zijn volgens cliënten van belang en geven ook een voldoende beeld van het behandeltraject. Ad d. Wat betreft de vragenlijst en antwoordcategorieën zijn tijdens de testdag diverse punten naar voren gekomen Cliënten vinden het prettig om per onderwerp een korte toelichting (een zin) te lezen waarbij vermeld staat waar de vragen over gaan. Dit helpt om te focussen. Cliënten ervaren dit niet als storend of tijdrovend. 15 Cliënten uit het testpanel hebben extra tijd besteed aan het invullen van de vragenlijst omdat hen ook gevraagd is te kijken naar de formulering van de vragen en antwoordcategorieën. 2 26/111