CQ-index Indicatiestelling AWBZ. Meetinstrumentontwikkeling

Transcriptie

1 CQ-index Indicatiestelling AWBZ Meetinstrumentontwikkeling

2

3 CQ-index Indicatiestelling AWBZ Meetinstrumentontwikkeling Ineke Bloemendaal Sorien Kleefstra Dagmar Strikwerda Sjenny Winters Utrecht, 10 december 2012

4 Kiwa Prismant is hét kennis- en expertisecentrum in het hart van de zorg. Wij willen de Nederlandse zorgsector optimaal informeren, adviseren en ondersteunen en daarmee bijdragen aan een goede sturing en kwaliteit van de zorg. Uitgangspunten zijn: objectiviteit, gedegenheid, betrouwbaarheid en onafhankelijkheid. Kiwa Prismant wortelt in de basis en heeft een sterke verbinding met de top van de zorg. Door die unieke sleutelpositie zijn wij bij uitstek in staat om actief bij te dragen aan de ontwikkeling van het landelijke beleid en ontwikkelingen in het veld. Wij ondersteunen onze klanten in hun streven de doeltreffendheid, doelmatigheid, toegankelijkheid en kwaliteit van de zorg te verbeteren. Kiwa Prismant, Utrecht, Alle rechten voorbehouden. Niets uit dit werk mag worden verveelvoudigd, opgeslagen in een geautomatiseerd gegevensbestand en/of openbaar gemaakt, hetzij elektronisch, mechanisch, door fotokopieën, opnamen of welke andere wijze dan ook, zonder voorafgaande schriftelijke toestemming van Kiwa Prismant. Publicatie van cijfers en/of tekst uit dit werk als toelichting of ondersteuning bij wetenschappelijke artikelen, boeken of scripties, is toegestaan mits daarbij geen sprake is van commerciële doeleinden en voor zover de bron duidelijk wordt vermeld. Indien het werk bedoeld is voor openbare publicaties dan mag dat zonder schriftelijke toestemming louter in zijn geheel en zonder enige toevoeging of weglating openbaar gemaakt worden. Uitgever Kiwa Prismant Ptolemaeuslaan 900, 3528 BV Utrecht Postbus 85200, 3508 AE Utrecht Telefoon Fax prismant@kiwa.nl Bestellingen Publicaties zijn te bestellen via Prismant is een wettig gedeponeerd dienst- en warenmerk.

5 Inhoudsopgave Inhoudsopgave 3 1 Inleiding Het CIZ, haar clienten en het indicatieproces Afbakening van het onderzoek Achtergrond van het meten van ervaren kwaliteit: de CQ-index Doelstellingen en betrokkenheid relevante stakeholders Onderzoeksvragen Leeswijzer 9 2 Ontwikkeling van de concept vragenlijst Inleiding Onderzoek literatuur en bestaande meetinstrumenten Interviews en groepsdiscussies over de indicatiestelling Belang en samenhang van de kwaliteitsaspecten Verwerking van de resultaten in een concept CQ-index Input van deskundigen Cognitieve test Uiteindelijke testversie van de CQI Indicatiestelling AWBZ Belangvragenlijst 18 3 Dataverzameling en analyses Steekproeftrekking Dataverzameling Statistische analyses Testen van het discriminerend vermogen 22 4 Opschoning en respons Opschoning en respons Non-respons Achtergrondkenmerken van de respondenten 28

6 5 Resultaten psychometrische testfase Itemanalyses Factoranalyse en betrouwbaarheid Eerste analyse van de items Confirmatieve factoranalyse Samenhang tussen de schalen Belangscores 37 6 Resultaten van de test op het discriminerend vermogen Verschillen tussen respondenten Testen van het discriminerend vermogen: covariantie-analyse Aantal respondenten nodig voor het bepalen van verschillen Indeling van de CIZ-units in drie groepen 44 7 Ervaringen van zorgaanvragers met de indicatiestelling voor de AWBZ Ervaringsscores op schaalniveau Algemene waardering door zorgaanvragers Verbeterpunten en hun urgentie 46 8 De nieuwe CQI Indicatiestelling AWBZ Argumenten voor het verwijderen of handhaven van items Overzicht van de resultaten per onderdeel van de vragenlijst Conclusie 54 9 Conclusies en aanbevelingen 55 Bijlage 1 Begeleidingsgroep 59 Bijlage 2 Topiclijst 61 Bijlage 3 Kwaliteitsaspecten interviews 63 Bijlage 4 Ervaringenvragenlijst 69 Bijlage 5 Belangvragenlijst 79 Bijlage 6 Resultaten Belangvragenlijst 89 Bijlage 7 Aangepaste vragenlijst 91 CQ-index Indicatiestelling AWBZ 4

7 1 Inleiding In het najaar van 2011 heeft Kiwa Prismant voor het Centrum indicatiestelling zorg (CIZ) een cliëntervaringsonderzoek uitgevoerd. Doel van dit onderzoek was, om naast het opleveren van een onderzoeksrapport met verantwoordings-en verbeterinformatie, een CQindex te ontwikkelen voor het meten van de kwaliteit van de indicatiestelling voor de AWBZ, gezien vanuit het perspectief van de indicatie-aanvragers. Het CQI ontwikkeltraject is uitgevoerd vanaf juni 2011 tot juni 2012 en is uitgevoerd onder AWBZ-zorgvragers uit 2010 en Dit rapport gaat in op de verschillende stappen die hebben geleid tot de CQ-index. In dit inleidende hoofdstuk gaan we achtereenvolgens in op de indicatiestelling voor de AWBZ door het CIZ, op de onderzoeksvraagstellingen, de afbakening van het onderzoek. 1.1 Het CIZ, haar clienten en het indicatieproces Het CIZ Het Centrum indicatiestelling zorg (CIZ) is een uitvoeringsorganisatie die beoordeelt of mensen recht hebben op AWBZ-zorg. AWBZ-zorg is gericht op mensen die hulp of zorg nodig hebben door ziekte, handicap of ouderdom. Er zijn zes soorten AWBZ-zorg: - Persoonlijke verzorging - Verpleging - Begeleiding - Behandeling - Verblijf - Kortdurend Verblijf De beoordeling of mensen recht hebben op deze zorg gebeurt op basis van objectieve criteria, die een vertaling zijn van ministeriële beleidsregels. De criteria zijn door het CIZ vastgelegd in een toelichting op de beleidsregels, de CIZ Indicatiewijzer. Naast het onderzoek of de cliënt aanspraak kan maken op AWBZ-zorg, stelt het CIZ ook vast welke hulp de cliënt nodig heeft, hoeveel en hoe lang. Het CIZ is opgedeeld in 10 regionale rayons en heeft in totaal 1423 fte medewerkers in dienst (peildatum 1 januari 2011). In 2010 werden in totaal indicatieaanvragen in behandeling genomen, waarvan 83% leidde tot een positief besluit. In totaal hebben in 2010 ruim cliënten één of meer aanvragen ingediend, gemiddeld dus bijna twee aanvragen per cliënt. De meeste indicaties voor AWBZ-zorg werden afgegeven aan 65-plussers (68%). Bijna twee derde van de indicaties werd toegekend aan cliënten op basis van hun lichamelijke aandoening. Daarnaast zijn de groepen cliënten die een indicatie kregen op basis van een verstandelijke handicap (10%), een psychogeriatrische aandoening of beperking (9%) of een psychiatrische aandoening (9%) relatief groot. De cliënten van het CIZ Het CIZ heeft te maken met verschillende klanten. In eerste instantie zijn dit de zorgvragers, die ten behoeve van zichzelf een aanvraag (laten) indienen. Daarnaast brengt de verschuiving van de rol van het CIZ van uitvoerder naar toezichthouder met zich mee dat 1 Over de cliëntwaardering van cliënten uit 2010 is inmiddels gerapporteerd naar het CIZ (Bloemendaal e.a., 2012) ten behoeve van kwaliteitsverbetering van de geleverde dienstverlening door het CIZ en verantwoording naar VWS CQ-index Indicatiestelling AWBZ 5

8 ook zorgprofessionals en zorgorganisaties in toenemende mate kunnen worden beschouwd als klant van het CIZ. Het CQI ontwikkeltraject waar dit onderzoek deel van uitmaakt, is gericht op de eerste groep: de zorgvragers die ten behoeve van zichzelf zorg aan (laten) vragen. Zorgprofessionals en zorgaanbieders vallen daarmee buiten de scope van dit CQI ontwikkeltraject. Het CIZ voert afzonderlijk klanttevredenheidsonderzoek uit bij deze klanten. Het CIZ onderzoekt of de cliënt aanspraak kan maken op AWBZ-zorg, welke hulp deze nodig heeft, hoeveel en hoe lang. De AWBZ-grondslagen vormen de basis van de indeling in subdoelgroepen van het CIZ: - somatische ziekte/aandoening (SOM) - psychogeriatrische aandoening/stoornis (PG) - psychiatrische aandoening/stoornis (PSY) - lichamelijke handicap (LH) - verstandelijke handicap (VG) - zintuiglijke handicap (ZG) De grondslagen kunnen alleen of in combinatie met elkaar voorkomen. In 2010 werden in totaal indicatieaanvragen in behandeling genomen, waarvan 83% leidde tot een positief besluit. De meeste indicaties voor AWBZ-zorg werden afgegeven aan 65-plussers (68%). Bijna twee derde van de indicaties werd toegekend aan cliënten op basis van een lichamelijke aandoening. Daarnaast zijn de groepen cliënten die een indicatie kregen op basis van een verstandelijke handicap (10%), een psychogeriatrische aandoening of beperking (9%) of een psychiatrische aandoening (9%) relatief groot. Het indicatieproces Het CIZ beoordeelt of mensen recht hebben op AWBZ-zorg. Dit gebeurt op basis van objectieve criteria die zijn afgeleid van richtlijnen van het Ministerie van VWS. AWBZ-zorg is uitsluitend gericht op cliënten die zorg nodig hebben vanwege een ziekte, beperking of ouderdom. De cliënt die AWBZ-zorg nodig heeft kan deze zorg zelf aanvragen door zich aan te melden bij een loket in zijn gemeente, telefonisch of via internet. Als de cliënt dit zelf niet kan, kan de vertegenwoordiger van de cliënt dit doen. In toenemende mate kan de aanvraag ook worden verzorgd door professionele zorgverleners (thuiszorginstelling, huisarts). In dat geval is een handtekening van de cliënt of diens wettelijk vertegenwoordiger verplicht. Bij de aanvraag voor AWBZ-zorg worden met behulp van enkele papieren of elektronisch aanvraagformulier gegevens van de cliënt in kaart gebracht die van belang zijn om de aanvraag te beoordelen. Het gaat dan bijvoorbeeld om gegevens over de woonsituatie en de gezondheid van de cliënt, maar ook over de hulp die de partner van de cliënt of mantelzorgers kunnen bieden. Hierbij is ook de duur van de hulp en zorg die nodig is van belang. In een deel van de gevallen kan het CIZ op basis van de gegevens op het aanvraagformulier komen tot een indicatiebesluit. In het indicatiebesluit staat of de cliënt een indicatie krijgt voor AWBZ-zorg en, zo ja, voor welke zorg en hoeveel. Het is ook mogelijk dat het CIZ meer informatie nodig heeft om een indicatiebesluit te kunnen nemen. Dan volgt een huisbezoek en wordt soms, in overleg met de aanvrager, informatie aan de huisarts of behandelend specialist gevraagd. In alle gevallen streeft het CIZ ernaar om binnen 6 weken te komen tot een indicatie-besluit. Het is mogelijk om tegen het indicatiebesluit in beroep te gaan door bezwaar aan te tekenen. CQ-index Indicatiestelling AWBZ 6

9 1.2 Afbakening van het onderzoek Het CQi- ontwikkeltraject is uitsluitend gericht op de zorgvragers die ten behoeve van zichzelf AWBZ-zorg aan (laten) vragen. Dat betekent dat in dit onderzoek alleen die cliënten zijn betrokken die deze zorg zelf aanvragen of waarvan de vertegenwoordiger de aanvraag heeft gedaan. De toenemende groep cliënten waarvan de indicatie-aanvraag is verzorgd door professionele zorgverleners (thuiszorginstelling, huisarts) vallen daarmee buiten de scope van dit CQi-ontwikkeltraject. Bij deze laatste vorm van indicatiestelling hebben cliënten en hun vertegenwoordigers erg weinig contact met het CIZ. Het CIZ voert afzonderlijk cliënttevredenheidsonderzoek uit bij de professionele indicatie-aanvragers. 1.3 Achtergrond van het meten van ervaren kwaliteit: de CQ-index CQ-index staat voor Consumer Quality Index. Het is een gestandaardiseerde methodiek om klantervaringen in de zorg te meten, te analyseren en te rapporteren. Naast gestandaardiseerde vragenlijsten voor verschillende zorgsectoren, zorgaanbieders en patiëntengroepen omvat de CQ-index richtlijnen voor het ontwikkelen van vragenlijsten die voldoen aan de CQ-index standaarden. De vragenlijsten zijn in beheer bij het Centrum Klantervaring Zorg 2. Deze organisatie draagt zorg voor het systematisch in kaart brengen van ervaringen van zorggebruikers en voor betrouwbare metingen van deze ervaringen. Openbaarmaking van de resultaten gebeurt onder meer via de website KiesBeter.nl. De CQ-index is gebaseerd op twee wetenschappelijk gefundeerde vragenlijsten, de Consumer Assessment of Healthcare Providers and System (CAHPS) en de QUality of Care Through the patients Eye (QUOTE), die beide zijn ontwikkeld vanuit het perspectief van de klant. De CQ-index voor Nederlandse gezondheidszorg is ontwikkeld door het NIVEL in samenwerking met de afdeling Sociale Geneeskunde van het AMC (Nispen e.a., 1998a en 1998b). Bij de ontwikkeling van de CQ-index voor de indicatiestelling voor de AWBZ is gewerkt volgens het Handboek CQI Meetinstrumenten (Sixma e.a., 2008). Daarbij zijn verschillende fasen doorlopen die aansluiten bij de richtlijnen die zijn beschreven in het genoemde Handboek. Dit zijn achtereenvolgens de constructiefase, de uitvoeringsfase, analysefase en de fase waarin de CQ-index wordt aangepast en (voorlopig) vastgesteld. In de constructiefase is een (test)versie van de CQ-index indicatiestelling AWBZ ontwikkeld. Hierbij is door middel van literatuuronderzoek en het bestuderen van bestaande vragenlijsten vastgesteld welke de relevante kwaliteitsaspecten zijn bij de indicatiestelling voor de AWBZ. Middels individuele en groepsinterviews zijn de kwaliteitsaspecten geconcretiseerd in vragenlijstitems, die cognitief zijn getest en zijn beoordeeld op hun belang. In deze fase is intensief samengewerkt met cliënten, hun vertegenwoordigers en verschillende stakeholders (vooral patiënten- en consumentenorganisaties). Vervolgens is de concept CQ-index in de uitvoeringsfase uitgezet bij een steekproef van 4545 cliënten van het CIZ die zelf een indicatie hebben aangevraagd of dit hebben laten doen door hun vertegenwoordiger. In verband met de beperkte contacten met het CIZ van cliënten bij wie de indicatiestelling heeft plaatsgevonden middels dossieronderzoek is deze groep ondervertegenwoordigd in de steekproef. Aanvullend zijn 800 vragenlijsten uitgezet waarin cliënten of hun vertegenwoordigers is gevraagd hoe belangrijk zij de verschillende kwaliteitsaspecten vinden. 2 CQ-index Indicatiestelling AWBZ 7

10 De resultaten van het onderzoek met de concept CQI ervaringsvragenlijst en de CQI belangvragenlijst zijn geanalyseerd, waarbij verschillende tests zijn uitgevoerd die gericht zijn op het verbeteren van de validiteit en betrouwbaarheid van het meetinstrument. Daarbij is de kwaliteit van de afzonderlijke items beoordeeld en zijn schalen geconstrueerd en beoordeeld. De concept CQ-index is op basis van deze analyses bijgesteld, waarna is getest in welke mate met de ontwikkelde CQ-index verschillen tussen CIZ-units kunnen worden vastgesteld (discriminerend vermogen). Ten slotte is op basis van de bovengenoemde analyses en tests en in samenspraak met de verschillende stakeholders die zijn vertegenwoordigd in de begeleidingsgroep, de CQ-index aangepast en (voorlopig) vastgesteld. 1.4 Doelstellingen en betrokkenheid relevante stakeholders Het CIZ beoogt met het ontwikkelen van een meetinstrument met het predicaat CQ-index dat zij voor het meten van cliëntervaringen bij de indicatiestelling voor de AWBZ gebruik kan maken van een instrument dat voldoet aan en aansluit op alle eisen die aan cliënt ervaringsonderzoek in de gezondheidszorg worden gesteld. Inzet van de nieuwe CQ-index indicatiestelling AWBZ moet leiden tot de volgende doelen: - Bruikbare informatie voor kwaliteitsborging en -verbetering voor het CIZ en de daarvan deel uitmakende regionale units. - Informatie waarmee het CIZ verantwoording kan afleggen aan het ministerie van VWS en andere stakeholders over haar dienstverlening. - Informatie voor cliëntenorganisaties waarmee zij de belangen van hun cliënten kunnen behartigen. Om de genoemde doelstellingen te kunnen behalen, wordt in de verschillende fasen van het ontwikkeltraject nauw aangesloten bij de eisen die worden gesteld ten aanzien van CQI meetinstrumenten, maar ook de eisen vanuit CIZ en stakeholders, die de resultaten moeten kunnen gebruiken voor verbetertrajecten en belangenbehartiging. In het ontwikkeltraject is daarom een brede begeleidingsgroep opgezet waarin deze partijen zijn vertegenwoordigd. Deelnemers aan deze begeleidingsgroep zijn inhoudelijke vertegenwoordigers van partijen die in de toekomst gebruik zullen maken van de resultaten van de CQ-index, cliëntenvertegenwoordigers en het CIZ zelf. Daarnaast is het CKZ (Centrum Klantervaring Zorg) vertegenwoordigd in de begeleidingsgroep (zie bijlage 1). In het ontwikkeltraject is daarom een begeleidingsgroep opgezet waarin deze partijen zijn vertegenwoordigd. Deelnemers aan deze begeleidingsgroep zijn inhoudelijke vertegenwoordigers van partijen die in de toekomst gebruik zullen maken van de resultaten van de CQ-index, zoals cliëntenorganisaties, maar ook het CIZ zelf. Daarnaast is het CKZ (Centrum Klantervaring Zorg) vertegenwoordigd in de begeleidingsgroep. Omdat deze CQ- Index expliciet gericht is op de indicatieaanvragers die ten behoeve van zichzelf zorg (laten) aanvragen, en dus niet op zorgaanbieders, is gekozen voor een beperkte vertegenwoordiging vanuit de brancheorganisaties. AciZ heeft vanwege een wijziging in haar kwaliteitskoers afgezien van deelname aan de begeleidingsgroep. Wel hebben zij vanuit een adviserende rol feedback gegeven op de testversie van de CQI Indicatiestelling AWBZ. De LHV en NPCF zijn ook uitgenodigd deel te nemen aan de begeleidingsgroep maar hadden op dat moment geen mensen beschikbaar. De NPCF heeft wel input geleverd bij specifieke vragen. VWS heeft afgezien van deelname in verband met hun positionering (onafhankelijkheid). CQ-index Indicatiestelling AWBZ 8

11 De begeleidingsgroep is in totaal vier keer bijeengekomen: in de voorbereidende fase ter beoordeling van de conceptvragenlijst ter beoordeling van het validatierapport over de psychometrische testfase ter beoordeling van de test op het discriminerend vermogen en het definitief vaststellen van de herziene CQI Indicatiestelling AWBZ. 1.5 Onderzoeksvragen De gegevens die in dit CQI ontwikkeltraject zijn verzameld, moeten leiden tot de beantwoording van de volgende onderzoeksvragen. 1. Welke kwaliteitsaspecten van de indicatiestelling voor de AWBZ zijn belangrijk voor cliënten en hoe kunnen deze vertaald worden in kwalitatief goede vragenlijstitems voor een CQ-index indicatiestelling AWBZ? 2. Wat is de bruikbaarheid, validiteit en betrouwbaarheid van de ontwikkelde CQindex, afgemeten aan verschillende psychometrische tests? 3. Hoe ervaren cliënten de kwaliteit van de dienstverlening door het CIZ? 4. Hoe belangrijk vinden cliënten de verschillende aspecten van de dienstverlening door het CIZ? 5. In welke mate kunnen met de ontwikkelde CQ-index verschillen in kwaliteit van de dienstverlening worden aangetoond tussen verschillende CIZ-units? 6. Hoe kan de CQ-index indicatiestelling AWBZ worden geoptimaliseerd voor toekomstig gebruik. 1.6 Leeswijzer Dit rapport beschrijft de verschillende fasen van het ontwikkeltraject van de CQ-index indicatiestelling AWBZ. Het sluit daarbij nauw aan bij de onderzoeksfasen zoals beschreven in paragraaf 1.3 en de onderzoeksvragen uit de vorige paragraaf. In onderstaand schema is de hoofdstukindeling in dit rapport verder toegelicht. Hoofdstuk 2: Ontwikkelen van een concept vragenlijst Hoofdstuk 3: Dataverzameling bij het pilotonderzoek Hoofdstuk 4: Opschoning van de data en respons Hoofdstuk 5: Analyse: testen van psychometrische eigenschappen Hoofdstuk 6: Analyse: testen van het discriminerend vermogen Hoofdstuk 7: Aanpassingen van de vragenlijst Hoofdstuk 8: Conclusies en aanbevelingen CQ-index Indicatiestelling AWBZ 9

12 CQ-index Indicatiestelling AWBZ 10

13 2 Ontwikkeling van de concept vragenlijst 2.1 Inleiding Voor het ontwikkelen van een eerste (test)versie van een CQ-index voor de indicatiestelling AWBZ zijn verschillende stappen doorlopen. Deze waren gericht op het bereiken van een zo optimaal mogelijke validiteit van de concept CQ-index. Eerst is onderzocht wat vanuit eerder onderzoek bekend is over de kwaliteit van de indicatiestelling AWBZ vanuit het perspectief van de cliënt. Op basis hiervan, en de aanvullingen vanuit de begeleidingsgroep, is een interviewchecklist gemaakt, die is gebruikt bij individuele interviews en focusgroepbijeenkomsten met cliënten en hun vertegenwoordigers. Deze interviews hebben geleid tot het vaststellen van de belangrijkste kwaliteitsaspecten bij de indicatiestelling voor de AWBZ, vanuit het perspectief van de indicatie- aanvragers (cliënten en vertegenwoordigers). Aanvullend is aan cliënten en hun vertegenwoordigers, en aan stakeholders gevraagd hoe belangrijk zij de verschillende kwaliteitsaspecten vinden en welke kwaliteitsindicatoren zij hierin herkennen. Vervolgens is de concept CQ-index ontwikkeld, die is voorgelegd aan de begeleidingsgroep en aan de WAR en is getest bij cliënten en hun vertegenwoordigers (cognitieve test). Deze laatste test was vooral gericht op begrijpelijkheid en volledigheid. 2.2 Onderzoek literatuur en bestaande meetinstrumenten In het ontwikkeltraject op weg naar een eerste (test)versie van het nieuwe CQI meetinstrument is vooral gebruik gemaakt van twee bestaande vragenlijsten (Ros en Schrijvers (2008) en Nispen e.a. (2002b), en het Kwaliteitsdocument Indicatiestelling dat de gezamenlijke cliënten organisaties opstelden in 2009 (Gezamenlijke cliëntenorganisaties, 2009). Op basis van deze onderzoeken/vragenlijsten is een topiclijst opgesteld voor de interviews met cliënten en hun vertegenwoordigers. Meetinstrument voor de kwaliteit van indicatiestelling door RIO s, 2002 In 2001 is door het NIVEL onderzoek gedaan naar de kwaliteit van de indicatiestelling door RIO s (voorloper van CIZ) vanuit cliëntenperspectief (Nispen e.a, 2002a) en is op basis hiervan een meetinstrument ontwikkeld (Nispen e.a, 2002b). Deze onderzoeken beoogden om door middel van externe kwaliteitsbeoordeling vanuit cliëntenperspectief een bijdrage te leveren aan het goed functioneren van RIO s. Het onderzoek is uitgevoerd voor de indicatiestelling voor verpleging en verzorging (extraen intramuraal) en voor voorzieningen in het kader van de Wet Voorzieningen Gehandicapten (WvG). In dit traject zijn kwaliteitsaspecten vanuit het perspectief van de cliënt geïdentificeerd, en is een vragenlijst opgesteld, getoetst en bijgesteld. De uiteindelijke vragenlijst bestaat, exclusief achtergrondvragen (7), uit 68 vragen, onderverdeeld in een aantal clusters die aansluiten bij het proces van indicatiestelling: - Aanvraag bij het RIO - Tussen aanvraag en indicatiegesprek - Het indicatiegesprek - organisatie van het indicatiegesprek - het contact met de indicatie-adviseur (bejegening) - informatievoorziening tijdens het gesprek - deskundigheid van de indicatie-adviseur - contact met familie of naasten - Indicatieadvies CQ-index Indicatiestelling AWBZ 11

14 De validiteit van het instrument is geoptimaliseerd door cliënten en hun vertegenwoordigers te betrekken bij het opstellen van kwaliteitsaspecten. Het meetinstrument heeft op bijna alle schalen een voldoende tot goede betrouwbaarheid (α ). In dit onderzoek is ook het belang dat cliënten hechten aan de verschillende kwaliteitsaspecten gemeten. De belangvragenlijst bestond uit 54 vragen. Deskundigheid van de indicatie-adviseur en bejegening bij het indicatiegesprek worden door cliënten als het meest belangrijk beoordeeld. Landelijk klanttevredenheidsonderzoek CIZ 2008 In 2006 en 2008 is landelijk klanttevredenheidsonderzoek uitgevoerd onder AWBZ- zorgvragers (Ros en Schrijvers (2010), Jedeloo en Schrijvers (2007)). De bij het meest recente onderzoek gebruikte vragenlijst is bestaat uit 68 vragen. Deze vragenlijst is gebaseerd op eerder onderzoek van Schrijvers e.a. (2001) waarin het Zorgindicatiebesluit van 1998 is geëvalueerd. Deze vragenlijst is vervolgens periodiek aangepast aan de ontwikkelingen in de indicatiestelling. De meest recente versie (Ros en Schrijvers, 2008) is gericht op feiten, ervaringen en oordelen van respondenten bij verschillende aspecten van de indicatiestelling door het CIZ. De vragen zijn als volgt geclusterd: - de zorgaanvraag en het indicatiebesluit - andere zorgaanvragen en indicatiebesluiten - klachten en bezwaren - contacten met het CIZ - tevredenheid over verschillende aspecten van de indicatiestelling - achtergrondvragen In totaal zijn in de vragenlijst 23 feitenvragen, 28 ervaringsvragen en 17 waarderingsvragen opgenomen. In de vragenlijst van 2008 worden geen schalen onderscheiden. Een deel van de vragen is gemodelleerd volgens de richtlijnen vanuit het Handboek CQI Meetinstrumenten (Sixma e.a., 2008), dit gold vooral de vragen over de contacten met het CIZ (bejegeningsvragen). Het CIZ hecht eraan dat, waar mogelijk, ten behoeve van de vergelijkbaarheid met deze voorgaande onderzoeken, wordt aangesloten bij de vragen uit dit onderzoek, binnen de voorwaarden vanuit CQI-criteria en algemene wetenschappelijke eisen. Dit onderzoek heeft geen informatie opgeleverd over het belang dat cliënten hechten aan de verschillende aspecten van de indicatiestelling. Kwaliteitsdocument Indicatiestelling, 2009 Daarnaast is gebruik gemaakt van het Kwaliteitsdocument Indicatiestelling (Gezamenlijke cliëntenorganisaties, 2009) waarin landelijke cliëntenorganisaties 3 en Mezzo een kwaliteitsdocument hebben opgesteld waarin is vastgelegd aan welke kwaliteitseisen de indicatiestelling voor de AWBZ volgens hen moet voldoen. Kwaliteitsindicatoren die zijn benoemd: - Informatie en communicatie - bejegening - informatie en communicatie - bereikbaarheid - Deskundigheid - Integraliteit - levensbreed - maatwerk - Objectiviteit en onafhankelijkheid - Snelheid 3 CG-Raad, CSO, LOC, LPGGZ, NPCF, Per Saldo, Platform VG CQ-index Indicatiestelling AWBZ 12

15 Hoewel uit de bovengenoemde publicaties de nodige kwaliteitsaspecten naar voren voor komen, geldt voor de beide vragenlijsten dat zij meer dan 10 jaar geleden zijn ontwikkeld. Zowel werkwijze van het CIZ bij de indicatiestelling, alsook de doelgroep heeft sindsdien de nodige veranderingen ondergaan. Het is daarom aan te bevelen om het onderzoek naar relevante kwaliteitsaspecten en hun belang opnieuw uit te voeren. De kwaliteitsaspecten die uit voorgaande onderzoeken naar voren zijn gekomen, zijn opgenomen in een topiclijst, die gebruikt wordt in de volgende stap in het ontwikkeltraject, interviews en groepsdiscussies over de indicatiestelling. 2.3 Interviews en groepsdiscussies over de indicatiestelling Voorbereiding Op basis van literatuuronderzoek en eerder gebruikte vragenlijsten is een topiclijst samengesteld met onderwerpen die van belang lijken te zijn bij de kwaliteit van de indicatiestelling door het CIZ vanuit cliëntenperspectief. Deze topiclijst, die is voorgelegd aan en aangevuld door de begeleidingsgroep, is gebruikt als interviewchecklist bij de individuele interviews en focusgroepbijeenkomsten. In bijlage 2 is de uiteindelijke topiclijst opgenomen. Om cliënten en hun vertegenwoordigers te werven voor deelname aan de interviews en focusgroepbijeenkomsten hebben de cliëntenorganisaties, die vertegenwoordigd zijn in de begeleidingsgroep, een oproep uitgedaan naar hun leden. Op deze wijze is gestreefd naar een goede vertegenwoordiging van de verschillende doelgroepen. Vanwege het achterblijven van aanmeldingen vanuit de groep indicatie-aanvragers vanwege een somatische of psycho-geriatrische aandoening, zijn extra oproepen verzorgd door het NPCF, Mezzo en verschillende lidorganisaties van het CSO (o.m UnieKBO en PCOB). Uit voorgaand onderzoek zijn geen relevante verschillen naar voren gekomen op basis van de achtergrondkenmerken van deelnemers, die stratificatie noodzakelijk maken. Daarom is gekozen voor een heterogene samenstelling van de deelnemers aan de focusgroepsbijeenkomsten. De drie focusgroepbijeenkomsten zijn bijgewoond door 27 deelnemers (n=9, n=10 en n=8). De deelnemers vulden een korte vragenlijst in over hun achtergrondkenmerken. In tabel 2.1 staan de belangrijkste kenmerken samengevat. In totaal zijn 24 vragenlijsten ingevuld. Tabel 2.1 Kenmerken van de deelnemers aan de focusgroepbijeenkomsten Uitvoering In totaal zijn drie individuele interviews gehouden met (vertegenwoordigers van) cliënten en drie focusgroepbijeenkomsten. De individuele interviews zijn gehouden met drie cliëntvertegenwoordigers. De dominante indicatiegrondslag bij deze drie respondenten was een somatische aandoening, een psychogeriatrische aandoening en een combinatie van verstandelijke en lichamelijke beperkingen. Doel van deze interviews was om meer inzicht te krijgen in de specifieke problematiek van de doelgroep, ter voorbereiding op de focusgroepbijeenkomsten. Bijeenkomst n Man/Vrouw Client / Indicatiegrondslag Vertegenwoordiger 1 9 4/4 5/2 Psy(4), VG(2) /4 2/7 Som(3), Psy(2), LH(2), VG(2), ZG(3) 3 8 4/3 2/6 Psy(2), VG(2), LG(4), ZG(5) Totaal 27 13/11 9/15 Som(3), PG(0), Psy(8), LH(2), VG(6), ZG(3) Som=somatische aandoening, PG= psychogeriatrische aandoening, Psy=psychiatrische aandoening, LH= lichamelijke handicap, VG=verstandelijke handicap, ZG=zintuiglijke handicap. CQ-index Indicatiestelling AWBZ 13

16 Cliënten (of hun vertegenwoordigers) met een psychiatrische aandoening of een verstandelijke handicap als eerste grondslag voor hun indicatie waren oververtegenwoordigd, vertegenwoordigers van cliënten met een psychogeriatrische aandoening zijn niet aanwezig geweest in de bijeenkomsten. De focusgroepbijeenkomsten duurden twee uur en werden geleid door twee onderzoekers. Er werd gestart met een kennismaking en een toelichting op het doel van de bijeenkomst. Daarna startte de discussie met een algemene vraag om de deelnemers op hun gemak te stellen en het gesprek op gang te brengen. De algemene vraag was: Als u twee dingen zou mogen verbeteren in de indicatiestelling door het CIZ, wat zou u dan veranderen?. Daarna is het gesprek over belangrijke kwaliteitsaspecten van de indicatiestelling verder gevoerd, gestructureerd aan de hand van de topiclijst. Resultaten De uitgetypte verslagen van de interviews zijn geanalyseerd en verwerkt tot concrete kwaliteitsaspecten. Dit is uitgevoerd door twee onderzoekers, die onafhankelijk van elkaar de kwaliteitsaspecten hebben benoemd en vervolgens hebben vergeleken, om zo te komen tot consensus over de kwaliteitsaspecten. De focusgroepbijeenkomsten waren bijzonder levendig. De aanwezige cliënten en vertegenwoordigers hebben daarbij veel ervaringen uitgewisseld. Men herkende veel in elkaars verhalen. De cliënten en vertegenwoordigers vonden de volgende onderwerpen zeer belangrijk: dat de indicatiestelling deskundig gebeurt, op basis van dossierkennis en kennis over de ziektebeelden en bijbehorende beperkingen, dat waar nodig de mantelzorger betrokken wordt en dat er transparantie is over hoe het indicatiebesluit tot stand is gekomen. Daarnaast objectieve indicatiestelling (los van geld en politieke overwegingen), begrijpelijke en passende informatie over de indicatieprocedure, en voldoende tijd en aandacht om tot goede keuzes te kunnen komen. Kader 2.1 Citaten uit de focusgroepbijeenkomsten met cliënten en vertegenwoordigers Informatie over de indicatiestelling - Wat moet beter? Ten eerste de informatie vooraf, waar gaat het eigenlijk over. Ze hebben een mooie site, daar kun je wel over iets aan de weet komen, daar niet van. Maar de informatie vooraf, rechtstreeks gegeven was er niet. Welke zorg en informatie over werkwijze. Wat ze eigenlijk precies gaan beoordelen. Dat had ik wel willen hebben. - De informatie staat in de indicatiewijzer, alleen ze moeten het toepassen. En ze moeten het wat leesbaarder maken zodat iedereen het kan lezen. Gewoon jeugdjournaalniveau. Gewoon simpel taalgebruik. - Kijk het punt is een beetje dat de informatievoorziening gebaseerd zou moeten zijn op wat heb ik nodig. - Het CIZ doet de AWBZ indicatie en daarna kunnen ze kiezen of ze dat als zorg in natura willen hebben of als PGB. Als mensen dan gaan kiezen, moeten ze voor die tijd informatie hebben waar tussen ze dan kunnen kiezen. De procedure van indicatiestelling - Telefonisch worden er vragen gesteld, terwijl er in een groot aantal situaties gewoon thuisbezoek vereist is. - Als ik kijk naar het aanvraagformulier, dan zijn het formulieren die dus geen inzicht geven in wat een cliënt nu echt nodig heeft. Het is tick the box en voor je het weet rolt er iets uit. Die aanvraagformulieren geven onvoldoende diepte over de zorgzwaarte die een cliënt nodig heeft. CQ-index Indicatiestelling AWBZ 14

17 - Een snellere reactie zou wel goed zijn. Ik moest heel snel verhuizen, omdat we van plaats gingen veranderen. Ik heb gewoon drie maanden moeten wachten. Dat klinkt helemaal niet lang. Maar als je mee wilt verhuizen en er is al een plaats geregeld. Je moet wel dat papiertje hebben om binnen te komen. - Ze zouden een indicatiebesluit moeten sturen naar zowel de zorginstelling als de cliënt. En dan is er helderheid. Rekening houden met mantelzorgers - Het CIZ behoort te kijken naar wat voor zorg er nodig is, men hoort niet te kijken naar wat voor zorg er al geleverd wordt door mantelzorgers. Wat het CIZ nu doet is alle zorg die een mantelzorger geeft, aftrekken van de indicatie hoogte die afgegeven wordt. Het indicatiebesluit - Dan kom ik terug op het punt van, er wordt niet aangegeven wat er gevraagd is en wat er gegeven is. Men moet in dat indicatiebesluit aangegeven wat er gevraagd is en wat er gegeven is. Nu kan daar een verschil in zitten, laat ze dan uitleggen waarom die dingen gebeuren. Deskundigheid van de CIZ-medewerker - En daarvan vind ik dat het CIZ onvoldoende hulp, assistentie, deskundigheid bij biedt, om erachter te komen wat die gehandicapte nu precies mankeert. En welke zorg heeft hij nu werkelijk nodig. Daar ligt het probleem. - En de eerste keer dat ik geïndiceerd werd, dat was in 2002, toen vroegen ze gewoon door zeg maar. Ze vroegen echt door. Dat was gewoon belangrijk. En toen bleek uiteindelijk dat ik toch wel hulp nodig had. - Een ding dat ik graag zou willen verbeteren is de kennis bij de indicatiestelling van veel voorkomende ziektebeelden. Zodat ze ook meteen het inzicht hebben dat ze bepaalde vragen op een goede manier stellen. Mensen met een CVA kunnen bepaalde dingen helemaal niet meer zelf doorredeneren. De volledige lijst met kwaliteitsaspecten die uit de focusgroepbijeenkomsten naar voren zijn gekomen is opgenomen in bijlage 3. Ten behoeve van de volgende fase, het verkrijgen van eerste indrukken van het belang en de samenhang van de kwaliteitsaspecten, is deze lijst omgevormd tot een 100-tal items. Een aantal kwaliteitsaspecten die slechts marginaal van elkaar verschilden zijn samengenomen. Daarnaast is steeds de voorkeur gegeven aan die kwaliteitsaspecten die in meerdere focusgroepbijeenkomsten naar voren zijn gebracht door de cliënten/ vertegenwoordigers en is ervoor gezorgd dat de verschillende kwaliteitsdimensies steeds door meerdere aspecten worden afgedekt. 2.4 Belang en samenhang van de kwaliteitsaspecten In eerder onderzoek (van Nispen e.a., 2002) is de samenhang tussen verschillende kwaliteitsaspecten en het belang van deze kwaliteitsaspecten in kaart gebracht voor cliënten van het RIO (voorloper CIZ). Dit onderzoek is uitgevoerd in 2001/2002 bij de cliënten van het RIO en bij sleutelfiguren. Hoewel de hoofdonderdelen van het indicatieproces sindsdien niet zijn veranderd, is de specifieke invulling daarvan en de werkwijze door CIZ medewerkers wel veranderd. Ook indiceert het CIZ voor een beperkter pakket aan zorg- en ondersteuningsvormen dan het RIO. Het is daarom noodzakelijk om belang en samenhang van de vastgestelde kwaliteitsaspecten opnieuw vast te stellen in dit onderzoek. Dit wordt meegenomen in de psychometrische testfase (zie hoofdstuk 6). CQ-index Indicatiestelling AWBZ 15

18 Om toch in deze fase al een eerste indruk te krijgen van belang en samenhang vanuit het perspectief van de cliënt, is aan de deelnemers van de focusgroepbijeenkomsten gevraagd of zij wilden meewerken aan het vaststellen hiervan. Daarnaast zijn stakeholders benaderd via de leden van de begeleidingsgroep. Aan deze fase hebben in totaal 26 deelnemers meegewerkt, waarvan 22 cliënten of hun vertegenwoordigers en vier stakeholders. Deze 26 deelnemers hebben thuis één of twee opdrachten uitgevoerd. Deze opdrachten waren gericht op beantwoording van de volgende vragen: 1. Hoe belangrijk de respondent de verschillende kwaliteitsaspecten vindt (door 17 deelnemers uitgevoerd); 2. Welke onderwerpen volgens de respondent bij elkaar horen (door 15 deelnemers uitgevoerd). Bij de eerste opdracht hebben de respondenten de kwaliteitsaspecten ingedeeld in vijf categorieën van Minst belangrijk (1) tot Meest belangrijk (5). Bij de tweede opdracht zijn de kaartjes door de respondenten samengevoegd die volgens hen inhoudelijk bij elkaar horen en hebben zij vervolgens aan elke groep kaartjes een naam gegeven. Daarbij zijn de volgende hoofdthema s in de kwaliteitsaspecten naar voren gekomen: - bejegening - deskundigheid - aandacht voor mantelzorger - informatievoorziening - communicatie - procedure van de indicatiestelling - indicatiebesluit - bereikbaarheid - regie/autonomie De resultaten van deze fase vormden de input voor de volgende stap, het vaststellen van de concept CQ-index. 2.5 Verwerking van de resultaten in een concept CQ-index Op basis van de resultaten uit de voorgaande stappen is een concept vragenlijst opgesteld. Daarbij zijn de kwaliteitsaspecten vertaald in concrete items. Belangrijke aanvullende uitgangspunten daarbij waren: - Doel was te komen tot een beknopte vragenlijst, waarbij een richtgetal is benoemd van in totaal vragen. - De vragen moeten zo eenvoudig mogelijk worden gesteld: Taalnivo B1. De testversie van de CQI voor de indicatiestelling AWBZ is opgesteld op basis van de kwaliteitsdimensies die uit de focusgroepbijeenkomsten naar voren zijn gekomen (zie paragraaf 2.3). Bij de keuze van de items zijn de belangscores (paragraaf 2.4) en de clustering van deze aspecten tot bredere kwaliteitsdimensies (paragraaf 2.4) richtinggevend geweest. Op basis hiervan en de vereisten van een CQ-index (lay out, standaardvragen, vraagstelling, etc.) is een eerste versie van de vragenlijst ontworpen en voorgelegd aan verschillende deskundigen. CQ-index Indicatiestelling AWBZ 16

19 2.6 Input van deskundigen De concept CQ-index is voorgelegd aan een werkgroep van het CIZ, aan de begeleidingsgroep en ten slotte aan de Wetenschappelijke Advies Raad (WAR). Naar aanleiding van de suggesties die zijn gedaan zijn de vragenlijst, de instructie en de begeleidende brief aangepast. In een eerste ronde is de vragenlijst uitgebreid besproken met de werkgroep vanuit het CIZ, waarbij formuleringen zijn aangepast, items zijn geschrapt en antwoordcategorieën zijn toegevoegd. Items zijn verwijderd als het om een vraag ging die lastig door de zorgaanvrager te beantwoorden was, maar gemakkelijk via de barcode van het CIZ gekoppeld kon worden aan de gegevens (bijvoorbeeld een vraag over de gevolgde procedure). Ook vragen die niet aansloten bij het takenpakket en de werkwijze van het CIZ zijn geschrapt. Dat betrof bijvoorbeeld de vraag Kreeg u voldoende informatie over de keuze tussen Zorg In Natura en een PGB? Dit gebeurt niet en wordt door het CIZ niet al taak gezien. Vervolgens is een aangepaste vragenlijst eveneens voorgelegd aan de werkgroep, de begeleidingsgroep en de WAR. Daarbij is nog eens kritische gekeken of de vragen heel expliciet gericht zijn op de ervaringen van cliënten/hun vertegenwoordigers met het CIZ, en niet zijn gericht op ervaringen met zorgaanbieders (die een indicatie hebben aangevraagd) of ervaringen met het zorgkantoor. In de begeleidende brief is daarom beschreven wat de taak van het CIZ is, waardoor deze afbakening van de dienstverlening door het CIZ wordt onderstreept. Ook is de doelgroep voor de vragenlijst duidelijker beschreven. Deze doelgroep bestaat uit de mensen die een indicatieaanvraag hebben ingediend, de zorgaanvragers. De zorgaanvrager kan de aanvraag voor zichzelf hebben gedaan of voor iemand anders. Ook is toegevoegd dat de cliënt bij het invullen van de vragenlijst hulp kan vragen aan anderen, zoals familie, mantelzorger of vertegenwoordiger. Daarnaast zijn enkele items geherformuleerd, is bij een aantal vragen de antwoordcategorie Niet van toepassing geschrapt en is bij andere vragen soms een antwoordcategorie toegevoegd. Per hoofdonderwerp in de vragenlijst is aangegeven op welke gebeurtenis de vragen betrekking hebben: de laatste indicatieaanvraag, de laatste indicatiestelling, het laatste indicatiebesluit, of de periode van aanvraag tot besluit bij de laatste indicatiestelling.. Verder is bij een aantal vragen gekozen voor andere antwoordcategorieën. Bijvoorbeeld: Bij de Bejegeningsvragen zijn de gebruikelijke antwoordcategorieën Nooit, Soms, Meestal, Altijd, vervangen door Nee, helemaal niet, Een beetje, Grotendeels, Ja, helemaal. Achtergrond hierbij is dat meer dan twee derde van de zorgaanvragers maar één gesprek hebben gehad in de afgelopen 12 maanden. Ten slotte zijn de vragenlijst, instructie en begeleidende brief nog gescreend op eenvoudig taalgebruik (taalniveau B1). 2.7 Cognitieve test De conceptvragenlijst is getest door hem voor te leggen aan een aantal cliënten en/of vertegenwoordigers die een indicatie hebben aangevraagd bij het CIZ. Doel hiervan is om de doelgroep zelf te laten beoordelen of de vragenlijst goed in te vullen is en of alle belangrijke onderwerpen aan bod komen. Algemene bevinding was dat de vragenlijst over het algemeen begrijpelijk en volledig was. Waar behoefte was aan uitbreiding ging het om toelichtingen te kunnen geven op de geko- CQ-index Indicatiestelling AWBZ 17

20 zen antwoorden. Sommige respondenten vonden de vragenlijst te lang. De tijd die men nodig had om in te vullen varieerde van 10 tot 30 minuten. Naar aanleiding van de opmerkingen van de respondenten zijn verschillende wijzigingen doorgevoerd: - Bij de algemene informatie aan het begin van de vragenlijst is expliciet toegevoegd dat de cliënt bij het invullen van de vragen hulp kan vragen aan anderen, zoals familie, de mantelzorger of vertegenwoordiger. - Een aantal moeilijke woorden is geschrapt of vervangen, bijvoorbeeld het kopje autonomie. Dit is vervangen door regie/keuzemogelijkheid. - Een enkele vraag is verduidelijkt. Kreeg u genoeg informatie, passend bij uw zorgvraag? werd: Paste de informatie die u kreeg bij uw zorgvraag/ de zorgvraag van de cliënt?. - Bij een aantal vragen zijn de antwoordcategorieën aangepast of is een antwoordcategorie toegevoegd. De uiteindelijk resulterende vragenlijst is gebruikt voor het pilotonderzoek. 2.8 Uiteindelijke testversie van de CQI Indicatiestelling AWBZ De versie van de CQ-index Indicatiestelling AWBZ die gebruikt is in de psychometrische testfase bevat in totaal 52 vragen. Naast 32 ervaringsvragen en 1 vraag over de algemene waardering, zijn vragen over achtergrondgegevens van de respondent (8, volgens formulering van de CQ-index (Sixma e.a., 2008)) en 10 overige vragen opgenomen in de vragenlijst. De vragenlijst wordt afsloten met een open vraag over wat de respondent zou willen veranderen aan de indicatiestelling. De vragenlijst is opgebouwd uit een aantal blokken met vragen die betrekking hebben op verschillende thema s. Daarbij wordt eerst het indicatieproces gevolgd (aanvraag, informatie en communicatie, procedure indicatiestelling en indicatiebesluit), waarna vragen worden gesteld over de ervaringen bij contacten met het CIZ (bejegening, deskundigheid, bereikbaarheid, regie/keuzemogelijkheid). De meeste ervaringsvragen zijn gemeten met een 4-puntsschaal met de antwoordcategorieën Nee, helemaal niet, Een beetje, Grotendeels en Ja, helemaal. Daarnaast zijn enkele vragen, waar deze antwoordcategorieën niet passend waren, gemeten met ja/nee of met een 3-puntsschaal ( Groot probleem, Klein probleem, Geen probleem ). De testversie van de CQ-index Indicatiestelling AWBZ is opgenomen in bijlage Belangvragenlijst Wat mensen belangrijk vinden verandert niet zo snel in de tijd. Echter, omdat vorig belangonderzoek is uitgevoerd in 2001 (Nispen e.a. 2002), is het aan te bevelen opnieuw vast te stellen hoe belangrijk cliënten en hun vertegenwoordigers de verschillende kwaliteitsaspecten vinden. Daarom is een apart onderzoek uitgevoerd naar het ervaren belang. De vragenlijst hiervoor is opgesteld op basis van de ervaringsvragenlijst die is beschreven in de vorige paragraaf. Daarbij is elk van de kwaliteitsaspecten vertaald in een belangvraag. Deze hadden alle de vorm: Hoe belangrijk vindt u het dat... De antwoord categorieën hierbij waren niet belangrijk, eigenlijk wel belangrijk, belangrijk en van het allergrootste belang, met scores van 1 tot 4.. CQ-index Indicatiestelling AWBZ 18

21 De belangscores die op deze wijze in kaart zijn gebracht ondersteunen het keuzeproces, waarin wordt bepaald welke items wel en welke juist geen onderdeel gaan uitmaken van een meer definitieve CQI Indicatiestelling AWBZ (zie hoofdstuk 5). Daarnaast biedt het bij het beschouwen van de resultaten van het onderzoek naar cliëntwaardering belangrijke achtergrondinformatie over de ernst van een knelpunt en de potentie van een verbetering op het betreffende kwaliteitsaspect. De belangvragenlijst is opgenomen in bijlage 5. CQ-index Indicatiestelling AWBZ 19

22 CQ-index Indicatiestelling AWBZ 20

23 3 Dataverzameling en analyses 3.1 Steekproeftrekking Voor het cliëntervaringsonderzoek heeft CIZ zelf de steekproef getrokken en gecontroleerd op representativiteit. De steekproef is als volgt getrokken: 1. Het aantal cliënten over 2010 en 2011 is gelijk verdeeld, 50% cliënten van 2010 (november en december) en 50% cliënten van 2011 (mei tot en met juli). Op die manier kan er na afloop van het onderzoek over voldoende cliënten uit 2010 verantwoording worden afgelegd aan het Ministerie van VWS. 2. Vervolgens is er geselecteerd op proces: 18 procent volgt de directe procedure en 2% de standaardprocedure. In deze procedures wordt de indicatie meestal gesteld op basis van dossieronderzoek. 63 procent is volgens de verkorte procedure geïndiceerd (vooral telefonisch onderzoek) en 17 procent volgens de uitgebreide procedure (vooral zieken)huisbezoek). 3. De steekproef wordt gecontroleerd op representativiteit voor de volgende variabelen: leeftijd, geslacht, unit, grondslag, indicatie/herindicatie, ZIN/PGB en positief/negatief besluit. 3.2 Dataverzameling De verzending van de pilotversie van de CQ-index CIZ is uitgevoerd op de mixed-mode methode (online en schriftelijk) en volgens CQ-richtlijnen (gebaseerd op de Dillmanmethode; Groves et al, 2002). Dat wil zeggen dat cliënten op drie momenten benaderd zijn: Week 0: vragenlijst met begeleidende brief en antwoordenvelop. In de brief staat een website en persoonlijke inlogcodes vermeld voor diegenen die de vragenlijst online willen invullen. Week 3: herinnering aan de non-respondenten: vragenlijst met begeleidende brief en antwoordenvelop, in de brief staat net als in de eerste brief - de verwijzing de website en inlogcodes. Week 6: bedankbrief voor deelname Vooraf is vooraankondiging verstuurd naar de cliënten die in de steekproef vallen. De bescherming van de persoonsgegevens van cliënten (potentiële respondenten) is in Nederland via de Wet Bescherming Persoonsgegevens (Wbp) geregeld. De Wbp stelt dat organisaties personen, van wie zij persoonsgegevens gebruiken, informeren over hun identiteit en doel waarvoor zij de persoonsgegevens gebruiken. Ook kent de Wbp betrokkenen het recht op verzet toe en het blokkeren van persoonsgegevens voor onderzoeksdoeleinden. Dit betekent dat er een mogelijkheid moet zijn voor een (potentiele) respondent om bezwaar aan te tekenen tegen deelname aan kwaliteitsonderzoek en een mogelijkheid om bezwaar aan te tekenen tegen deelname aan een CQI onderzoek in het bijzonder. CQ-index Indicatiestelling AWBZ 21

24 Degenen die bezwaar aangetekend hebben door middel van de vooraankondiging zijn uit het steekproefbestand verwijderd. Het NAW bestand wordt na afloop vernietigd zodat de anonimiteit van de respondenten gewaarborgd blijft. Met behulp van een uniek identificatienummer dat als barcode op de vragenlijst stond, werd bijgehouden welke personen de vragenlijst hadden teruggezonden. De vragenlijst in week 0 en de bedankbrief in week 6 zijn naar alle cliënten gestuurd. De herinneringsbrief in week 3 is verstuurd naar de mensen die op dat moment nog niet gereageerd hadden. De geretourneerde vragenlijsten werden gescand tot een databestand. Dit bestand werd na sluiting van de verzendtermijn samengevoegd met het databestand van de mensen die de vragenlijst online ingevuld hadden. Tot slot werd dit bestand samengevoegd met het bestand met achtergrondkenmerken van de steekproef. Dit was mogelijk door de unieke persoonscode die in beide bestanden voorkwam. 3.3 Statistische analyses De statistische analyses worden beschreven in hoofdstuk 5 van dit rapport. Met deze analyses wordt onderzocht wat de psychometrische kwaliteiten zijn van de testversie van de CQI Indicatiesteling AWBZ. Doel hiervan is te komen tot een herziene vragenlijst die zo goed mogelijk de ervaringen van cliënten en hun vertegenwoordigers met de indicatiestelling voor de AWBZ door het CIZ in kaart kan brengen. Alvorens dit onderzoek kan plaatsvinden vindt controle en opschoning van het databestand plaats (hoofdstuk 4) en wordt een non-responsanalyse uitgevoerd. Ten behoeve van het testen van de psychometrische eigenschappen van de testversie van de vragenlijst worden itemanalyses en factoranalyses uitgevoerd. Op basis van verschillende statistische criteria zijn voorstellen gedaan om items al dan niet te behouden in een volgende versie van de vragenlijst. Om hierover te kunnen beslissen wordt in samenspraak met de begeleidingsgroep, ook op inhoudelijke gronden, gekeken welke items deel gaan uitmaken van die vragenlijst, welke aangepast moeten worden en welke eventueel verwijderd. 3.4 Testen van het discriminerend vermogen Doel van het testen van het discriminerend vermogen is om vast te stellen of met de CQI verschillen in de kwaliteit van de Indicatiestelling AWBZ vanuit het perspectief van de indicatie-aanvrager aangetoond kunnen worden. Daarbij is het belangrijk om rekening te houden met verschillen in kenmerken van de onderzoeksgroep. Op inhoudelijke gronden zal worden vastgesteld of correctie nodig is op variabelen algemene gezondheid, opleiding en leeftijd (Zaslavsky, 1998). Daarnaast is de afloop van de indicatie-aanvraag mogelijk van invloed op de ervaringen van de indicatieaanvragers. De WAR stelt dan ook voor om deze, zo mogelijk mee te nemen in het onderzoek. Het was de bedoeling om het discriminerend vermogen te testen middels Multi-Level analyses. Vanuit statistisch oogpunt gelden hiervoor echter enkele voorwaarden. Voor het aantal analyse-eenheden wordt in het Handboek CQI Meetinstrumenten (Sixma, e.a., 2008) een wenselijk minimum gesteld van 20. Bij minder dan 20 analyse-eenheden zijn de resultaten met betrekking tot het discriminerend vermogen niet betrouwbaar, zo stellen zij. CQ-index Indicatiestelling AWBZ 22

25 Bij de Indicatiestelling door het CIZ is het aantal analyse-eenheden 10, namelijk de 10 CIZregio s. Deze worden niet verder onderverdeeld in kleinere afdelingen of units. Snijders en Bosker (2012) hanteren in hun boek over Multi-Levelanalyse als vuistregel een minimum van 10 analyse-eenheden. Bij minder dan 10 analyse-eenheden raden zij aan te kiezen voor covariantieanalyses. Ook bij analyse-eenheden noemen zij de situatie twijfelachtig voor het gebruik van random effects modellen zoals Multi-Level. Ook de WAR heeft naar aanleiding van het onderzoeksplan voor de ontwikkeling van CQI Indicatiestelling AWBZ op dit aspect gewezen. Zij wijst er daarbij verder op dat de eenheden zelf heel groot zijn en er geen keuzemogelijkheid is voor cliënten. In afstemming met het CKZ is daarom gekozen voor het gebruik van covariantie-analyse (fixed effects modellen). CQ-index Indicatiestelling AWBZ 23

26 CQ-index Indicatiestelling AWBZ 24

27 4 Opschoning en respons In dit hoofdstuk wordt de opschoning van het databestand beschreven, plus de respons en non-respons analyse. Tot slot worden enkele kenmerken van de respondenten beschreven. Ter voorbereiding van de statistische analyses zijn de dichotome variabelen omgecodeerd naar de waarden 1 ( nee ) en 4 ( ja ). De probleemvragen zijn omgecodeerd tot 1 ( groot probleem ), 2,5 ( klein probleem ) en 4 ( geen probleem ). 4.1 Opschoning en respons Ervaringenvragenlijst De databestanden zijn geschoond volgens de stappen beschreven in het handboek CQI Meetinstrumenten (Sixma et al, 2008). Verwijderen van respondenten die retour zijn verzonden wegens het overlijden van de respondent Verwijderen van respondenten die retour zijn gezonden omdat ze niet bij de respondent bezorgd konden worden Verwijderen van respondenten die niet tot de doelgroep behoren Databestand: Verwijderen lege cases Verwijderen van respondenten die de vragen niet zelf hebben beantwoord Verwijderen van vragenlijsten waarin onvoldoende vragen beantwoord zijn Van het totaalbestand van 4545 achtergrondkenmerken van cliënten is een koppeling mogelijk met 1120 (schriftelijk of online) geretourneerde vragenlijsten. Op de vraag: Heeft u voor uzelf of voor iemand anders in de afgelopen 12 maanden een indicatie aangevraagd bij het CIZ? gaven 617 respondenten een positief antwoord, 274 respondenten gaven een negatief antwoord, 95 respondenten antwoordden weet ik niet en 134 respondenten hebben de vraag niet ingevuld. We hebben besloten om de respondenten te verwijderen die nee, weet niet of blanco ingevuld hebben bij deze vraag en de vragenlijst niet ingevuld hebben. Dit resulteert in 735 ingevulde vragenlijsten. Het aantal niet-ingevulde (blanco) vragenlijsten betreft: 13. Onder blanco verstaat het CKZ minder dan 5 vragen zijn beantwoord (ongeacht het totaal aantal vragen). Dit resulteert in 722 ingevulde vragenlijsten. Verwijderen van respondenten die de vragen niet zelf hebben beantwoord is in dit geval niet van toepassing, respondenten kunnen voor iemand anders een aanvraag bij het CIZ gedaan hebben. Verwijderen van vragenlijsten waarin onvoldoende sleutelvragen beantwoord zijn. De sleutelvragen zijn vragen die alle respondenten moeten beantwoorden, inclusief de volgende demografische vragen: leeftijd, geslacht, opleiding, taal thuis gesproken, geboorteland vader, geboorteland moeder, geboorteland uzelf, algemene gezondheid. Hiervan dient 50% te zijn ingevuld. Dit bleek niet van toepassing, in alle vragenlijsten zijn deze vragen voor minimaal 50% gevuld. CQ-index Indicatiestelling AWBZ 25

28 Verwijderen van onterecht gegeven antwoorden op vragen die volgen op screenervragen. Deze stap wordt niet uitgevoerd aangezien het aantal onterecht gegeven antwoorden belangrijke informatie geeft over de begrijpelijkheid van de vragen. Verwijderen van personen die vragen voor de case-mix adjustment niet hebben ingevuld. Dit wordt niet uitgevoerd, omdat binnen de psychometrische testfase niet wordt gecorrigeerd voor case-mix variabelen. Het opgeschoonde bestand vormt het uitgangspunt voor de psychometrische analyses (n=722) Belangvragenlijst Het onderzoek naar het belang dat indicatie-aanvragers hechten aan de verschillende kwaliteitsaspecten van de indicatiestelling is apart uitgevoerd. De CQ-index Indicatiestelling Belangenlijst is verstuurd naar 563 mensen die een indicatie hebben aangevraagd of hebben laten aanvragen. In totaal hadden 800 mensen een vooraankondiging ontvangen, waarna 237 mensen hebben afgezien van deelname. Van de 563 mensen die een vragenlijst hebben ontvangen, zijn 335 vragenlijst retour gekomen, dat is een bruto respons van 60%. Het gegevensbestand van de Belangvragenlijst is op dezelfde manier gecontroleerd en opgeschoond als de Ervaringenvragenlijst. In totaal hebben 55 respondenten de vragenlijst (niet volledig) ingevuld en waren 23 vragenlijsten dubbel ingevuld (bijvoorbeeld door cliënt en familie of tweemaal door familieleden of tweemaal door cliënten). De totale netto respons komt daarmee op 257 (46%). 4.2 Non-respons Om de representativiteit van de respondenten te kunnen beoordelen zijn de kenmerken van de respondenten vergeleken met de kenmerken van het totaal aantal aangeschreven cliënten. Van belang is om hierbij op te merken dat het cliëntkenmerken betreft. De vragenlijst is ingevuld door de zorgvrager, degene die voor zichzelf of voor iemand anders de CIZindicatie heeft aangevraagd. De cliënt is degenen voor wie de indicatie is aangevraagd. Onderstaande cliëntkenmerken waren in het originele steekproefbestand bekend. In deze paragraaf verstaan we onder respondentkenmerken dus de kenmerken van de cliënten wier zorgaanvrager de vragenlijst heeft teruggestuurd. De analyses van de kenmerken van de respondenten versus de non-respondenten was mogelijk omdat er een persoonscode in de vragenlijsten verwerkt was. Hierdoor was het mogelijk dat de teruggekomen ingevulde vragenlijsten gekoppeld werden aan de personen in het oorspronkelijke steekproefbestand. Hieronder bekijken we het totale steekproefbestand (n=4545), de bruto respondenten (n=1120) en de niet-respondenten (n=3425) met elkaar op bepaalde kenmerken. CQ-index Indicatiestelling AWBZ 26

29 Tabel Kenmerken cliënten steekproef, respons en non-respons variabelen Totale steekproef Respondenten Non-respondenten N % N % N % Geslacht Man , , ,4 Vrouw , , ,6 Missing values 16 0,4 15 1,3 1 0 Grondslag Somatisch , , ,8 Psychogeriatrisch , , ,1 Psychisch , , ,3 Lichamelijke 250 5,5 86 7, ,8 handicap Verstandelijke , , ,1 handicap Zintuigelijke handicap 47 1,0 16 1,4 31 0,9 Psychosociaal 11 0,2 1 0,1 10 0,3 welbevinden Missing values 92 2,1 20 1,8 57 1,6 Jaar , , , , , ,5 Missing values 16 0,4 15 1,3 1 0 Intra/extramuraal Intramuraal , , ,0 Extramuraal , , ,6 Missing values 304 6,7 88 7, ,3 leeftijdscategorie 0-17 jaar 380 8,4 89 7, , jaar , , , jaar , , , jaar , , ,5 85 jaar en ouder , , ,1 Missing values 16 0,4 15 1,3 1 0 Procedure Direct , , ,7 Verkort , , ,8 Standaard 87 1,9 21 1,9 66 1,9 Uitgebreid , , ,6 Missing values 16 0,4 15 1,3 1 0 Units CIZ Amsterdam , , ,6 CIZ Rijswijk 448 9,9 92 8, ,4 CIZ Rotterdam , , ,7 CIZ Bergen op 432 9, , ,1 Zoom CIZ Utrecht , , ,4 CIZ Nijmegen , , ,4 Veldhoven CIZ Zwolle 398 8, , ,7 CIZ Assen 354 7,8 81 7, ,0 CIZ Enschede , , ,5 Velp CIZ Heerlen 398 8, , ,3 Missing values 16 0,4 15 0,3 1 0 De Chi-kwadraattoets laat zien dat er geen significante verschillen zijn tussen respondenten en non-respondenten op geslacht, jaar en unit, wel op de variabelen intramuraal/extramuraal, grondslag en procedure. Extramurale respondenten reageren significant CQ-index Indicatiestelling AWBZ 27

30 vaker dan intramurale respondenten. Respondenten met een somatische of lichamelijke handicap reageren significant meer dan respondenten met een psychische achtergrond. Respondenten waarbij de indicatie is uitgevoerd met een directe procedure reageren significant meer. De Mann-Withney toets voor leeftijd in categorieën laat zien dat er verschillen zijn tussen de respondenten en non-respondenten: ouderen respondenten significant vaker dan jongeren. 4.3 Achtergrondkenmerken van de respondenten In onderstaande tabel komen enkele achtergrondkenmerken van de respondenten aan de orde. De respondenten zijn in dit geval wel de zorgaanvragers bij het CIZ, degene die voor zichzelf of voor iemand anders de indicatieaanvraag bij het CIZ heeft ingediend. Twee derde van de zorgaanvragers is vrouw, en een derde is 75 jaar of ouder. Meer dan 55% heeft een matige of slechte gezondheid. Ruim 72 procent van de zorgaanvragers heeft een middelbare opleiding of lager. Tabel Achtergrondkenmerken respondenten (n=722) Variabele N % Geslacht Man ,7 Vrouw 62,3 42,7 Missing values 37 5,1 Leeftijd 18 t/m 24 jaar 24 3,3 25 t/m 34 jaar 53 7,3 35 t/m 44 jaar 84 11,6 45 t/m 54 jaar 93 12,9 55 t/m 64 jaar ,4 65 t/m 74 jaar 92 12,7 75 jaar en ouder ,7 Missing values 43 6,0 Gezondheid Uitstekend 27 3,7 Zeer goed 61 8,4 Goed ,9 Matig ,6 Slecht 95 13,2 Missing values 37 5,1 Opleiding Geen 48 6,6 Lager onderwijs ,8 Lager of voorbereidend beroepsonderwijs 99 13,7 Middelbaar algemeen voortgezet ,2 onderwijs Middelbaar beroepsonderwijs 80 11,1 Hoger algemeen en voorbereidend 38 5,3 wetenschappelijk onderwijs Wetenschappelijk onderwijs 30 4,2 Anders 13 1,8 Missing values 87 12,0 Het merendeel van de respondenten (90,3%) was in Nederland geboren en had ook een vader (88,8%) en/of moeder (89,3%) die in Nederland geboren was. De meeste mensen spraken thuis Nederlands (88,8%) of Nederlands dialect (4,8%). CQ-index Indicatiestelling AWBZ 28

31 5 Resultaten psychometrische testfase Bij de psychometrische analyses wordt gekeken naar de afzonderlijke kwaliteitsaspecten/items (item analyses) en naar de onderlinge relaties tussen de kwaliteitsaspecten. Bij dit laatste kijken we naar de correlaties tussen de items (inter-item analyses) en naar de onderliggende structuur van het meetinstrument (factor- en betrouwbaarheidsanalyses). Dit levert eventueel handvatten op voor herziening van het concept meetinstrument. 5.1 Itemanalyses Eerst kijken we naar de resultaten op itemniveau. Hierbij kijken we naar: De scheefheid van de verdeling van de antwoorden op de ervarings- en probleemvragen De non-respons op ervarings- en probleemvragen De antwoorden op de belangvragen Scheefheid per item De scheefheid van de verdeling van de antwoorden op een item laat zien in hoeverre een item groepen kan onderscheiden. De scheefheid van de frequentieverdeling moet bekeken worden voor alle ervaringsvragen, probleemvragen, vragen naar de algemene waardering en screenervragen (vragen die volgen op indien nee, ga door naar vraag X ). Gekeken wordt naar de valide frequentieverdeling per item. Dat betekent dat de missende waarden buiten beschouwing worden gelaten. Als op een item 90% of meer van de antwoorden in de meest positieve categorie (=altijd, ja, geen probleem) of in de meest negatieve categorie (=nooit, nee, groot probleem) valt, spreken we van een extreem scheve verdeling. De ervaringen zijn dan zo weinig verschillend dat deze niet meer discrimineren tussen verschillende groepen respondenten. Items met een extreem scheve verdeling komen in aanmerking om uit het CQI meetinstrument verwijderd te worden. Uit de analyses blijkt dat op 1 vraag meer dan 90 procent een positief antwoord geeft: was uit het indicatiebesluit duidelijk op welke zorg u/de cliënt recht had? Deze vraag komt voor verwijdering in aanmerking. Wij hanteren deze vraag echter in de volgende versie, omdat het relevante informatie oplevert voor het CIZ. Wel zullen we de antwoordcategorieën uitbreiden Non-respons per item De non-respons, oftewel het aantal missende waarden, per item laat zien in hoeverre respondenten het item begrijpen en hoe relevant het voor hen is. Een groot aantal missende waarden op een item kan betekenen dat de vraag niet goed begrepen wordt door de respondenten of dat weinig mensen ervaring hebben met dit kwaliteitsaspect. De definitie van een missende waarde is dat een item onterecht niet is ingevuld. Hierbij wordt dus rekening gehouden met het antwoord op eventuele screenervragen. Bij vragen die op een screenervraag volgen moet apart gecontroleerd worden hoe vaak de respondenten de vervolgvragen onterecht niet hebben ingevuld (=non-respons) en hoe vaak de respondenten de vervolgvragen onterecht wel hebben ingevuld. De richtlijn is dat het percentage missende waarden op een item niet hoger mag zijn dan 5%. De schaalbaarheid van het item is een ander belangrijk aspect. Met behulp van factoranalyse en betrouwbaarheidsanalyses is nagegaan welke items samenhingen om een bepaalde dimensie van zorg te beschrijven. CQ-index Indicatiestelling AWBZ 29

32 5.2 Factoranalyse en betrouwbaarheid Om de onderliggende structuur van het meetinstrument vast te stellen worden factoranalyses uitgevoerd. Vragen met verschillende antwoordcategorieën De factoranalyses worden bij voorkeur afzonderlijk uitgevoerd op de ervaringsvragen met de categorieën nooit-altijd en de probleemvragen met de antwoordcategorieën groot probleem-geen probleem. Als items met verschillende antwoordcategorieën in een en dezelfde factoranalyse meegenomen worden geeft dit verstoring van de schatting van de onderliggende structuur. Het samennemen van items met verschillende antwoordcategorieën kan bij voldoende samenhang nog steeds resulteren in een betrouwbare schaal, maar deze betrouwbaarheid zal wel lager uitpakken en de oplossing van de factoranalyse zal minder stabiel zijn. Het samennemen van verschillende antwoordcategorieën mag alleen met goede onderbouwing. Bij het samennemen moeten alle antwoorden omgecodeerd worden naar een 4- puntsschaal (zie boven). Op dichotome items kan geen factoranalyse uitgevoerd worden. Op basis van inhoudelijke argumenten kunnen vaak wel schalen beredeneerd worden. Voor dichotome items die op inhoudelijke gronden samengenomen kunnen worden, kan ook een Cronbach s alpha berekend worden. In SPSS zal de Cronbach s alpha dezelfde waarde aannemen als de Kuder-Richardson Formule (KR-20). Betrouwbaarheidsanalyses Om te kijken welke betrouwbare en goed interpreteerbare schalen gevormd kunnen worden moet de interne consistentie getest worden, met behulp van Cronbach s alpha. Een schaal is voldoende betrouwbaar als Cronbach s alpha hoger is dan 0,70. Als de alpha tussen 0,60 en 0,70 ligt, spreekt men van een schaal met een geringe betrouwbaarheid. Schalen met een geringe betrouwbaarheid worden voorlopig geaccepteerd. In een vervolgtraject moet gekeken worden of deze schalen betrouwbaar genoeg zijn. Om te zien of een item tot een schaal behoort kijken we naar de item-totaal correlatie (ITC) van het betreffende item. Dit is een maat die aangeeft in hoeverre items binnen een schaal correleren met de schaal in zijn geheel. De ITC moet groter zijn dan 0,40 (Nunnally, 1978). Ook moet gekeken worden naar de waarde van de Cronbach s alpha als een item uit de schaal verwijderd wordt. Als de alpha toeneemt bij verwijdering van een item, dan kan het item uit de schaal gehouden worden. CQ-index Indicatiestelling AWBZ 30

33 5.3 Eerste analyse van de items, factoranalyse en betrouwbaarheidsanalyse Omdat de CIZ-vragenlijst bestaat uit diverse kwaliteitsaspecten, met daarbij behorende vragen en bestaat uit verschillende antwoordcategorieën, hebben we geen exploratieve factoranalyse gedaan op het gehele bestand. We hebben direct de kwaliteitsaspecten als schalen benaderd en op deze schalen een factoranalyse toegepast (indien mogelijk). Slecht ingevulde items, scheve items, items die niet in een schaal passen en vragen die weinig specifiek of onderscheidend zijn kunnen in principe uit de vragenlijst verwijderd worden. Redenen om items niet op te nemen in de definitievere vragenlijst zijn: 1. Scheefheid: zeer hoge ervaringsscore (>90% positief of negatief) 2. Een hoge item non-respons (>10%) 3. Een geringe samenhang met de achterliggende dimensie waar het item deel van uitmaakt (factorlading <0,40) 4. Geen betekenisvolle bijdrage aan de betrouwbaarheid (interne consistentie) van een schaal 5. Een hoge correlatie met een ander item: de items meten hetzelfde (inter-item correlatie >0,70) De volgende tabel geeft een overzicht van de resultaten voor de eerste analyses van de vragenlijst. Tabel Eerste analyses per item Items Criteria Informatie en communicatie V6 Had u genoeg informatie over hoe u de aanvraag kon doen bij het CIZ? V7 Had u genoeg informatie over hoe lang het zou duren van aanvraag tot indicatiebesluit? V8 Paste de informatie die u kreeg bij uw zorgvraag of de zorgvraag van uw cliënt? V9 Was de schriftelijke informatie van het CIZ (folders, brieven, internet) begrijpelijk voor u? V10 Legde de CIZ medewerker u zaken op een begrijpelijke manier uit? V11 Gaf de CIZ medewerker u tegenstrijdige informatie? x X Procedure indicatiestelling V12 Bood het aanvraagformulier voldoende mogelijkheid om de 9,6% zorgvraag goed aan te geven? V13 Dacht de CIZ medewerker met u mee om de vraag helder te krijgen? V14 Noemde de CIZ medewerker bij de (her)indicatie duidelijk 5,8% het doel van het gesprek? V15 Was het voor u duidelijk dat familie/mantelzorgers een rol kunnen spelen in de aanvraagprocedure? V16 Hield de CIZ medewerker rekening met de mogelijkheden en grenzen van de mantelzorger? V17 Had u het idee dat de indicatie objectief is gesteld? V18 Was de wachttijd tussen de aanvraag en het indicatiebesluit x X een probleem voor u/de cliënt? V20 Vond u dat de indicatieprocedure (telefonisch gesprek, huisbezoek of geen van beide) bij de zorgvraag paste? 10,7% V21 Moest u gegevens geven of invullen die al bekend zijn bij X x het CIZ? 6,4% Indicatiebesluit V23 Was uit het indicatiebesluit duidelijk op welke zorg u/de 91,3% 12,5% CQ-index Indicatiestelling AWBZ 31

34 cliënt recht op had? V24 Was voor u/de cliënt duidelijk hoe het CIZ tot dit besluit was gekomen? 14% V25 Was voor u/die cliënt duidelijk wat er na de brief met het indicatiebesluit moest gebeuren om zorg te krijgen? 14% V26Wist u dat u het CIZ kunt bellen voor uitleg over het indicatiebesluit? 12,3% Bejegening V28 Was de CIZ medewerker beleefd tegen u? 36,6% X V29 Luisterde de CIZ medewerker aandachtig naar u? 37% X V30 Had de CIZ medewerker genoeg tijd voor u? 37,3% X V31 Nam de CIZ medewerker u serieus? 37,8% X V32 Leefde de CIZ medewerker zich in uw situatie/de situatie X van de cliënt in? 37,8% Deskundigheid V33 Had de CIZ medewerker voldoende kennis over de ziekte/aandoening X van u/de cliënt? 37,5% V34 Had de CIZ medewerker voldoende kennis over de beperkingen X die horen bij de ziekte/aandoening van u/de cliënt? 37,4% V35 Vroeg de CIZ medewerker door totdat de hulpvraag echt X duidelijk was? 38% V36Stond de CIZ medewerker voldoende open voor dingen die X u belangrijk vindt in uw leven/de cliënt belangrijk vindt in zijn/haar leven? 38% Bereikbaarheid V37 Was het een probleem om de adresgegevens van het CIZ te vinden? 9,8% V38 Was het een probleem om het CIZ telefonisch te bereiken? 7,5% V39 Reageerde het CIZ snel op uw vragen? 7,9% Regie/keuzemogelijkheid V40 Plande het CIZ samen met u en/of cliënt de afspraken voor indicatiestelling? 1. scheefheid van antwoordcategorie (>90%) 2. hoge item-nonrespons (>10%) 3. lage factorlading (<0,40) 4. Cronbach s alpha neemt toe als item verwijderd wordt 5. hoge inter-item correlatie (>0,70) 11,6% Op grond van deze analyses kunnen we de volgende conclusies trekken: 1. Item-non-respons: Een aantal zaken valt op: er zijn 21 vragen met meer dan 5% missing values (range 5,8-37,8%). Het blok vragen dat betrekking heeft op de CIZmedewerker heeft 37 of 38% missing values. Hieronder vallen de 9 vragen over de aandacht en deskundigheid van de CIZ-medewerker. Oorzaak voor dit hoge aantal missing values is dat hier een screenervraag mist: heeft u een CIZ-medewerker gesproken? Ja/nee. In de vragenlijst is als tekstblok opgenomen: Als u geen CIZmedewerker heeft gesproken ga dan door naar vraag 37. Een flink aantal cliëntcliënten heeft vervolgens de vragen overgeslagen. Dit heeft geleid tot 37 en 38% missing values op de 9 CIZ-medewerker-vragen. Omdat dit consistent 37 of 38% is, en het betreft precies het blok vragen over de CIZ-medewerker, mogen we aannemen dat dit de mensen betreft die geen CIZ-medewerker gesproken hebben. In de nieuwe versie van de vragenlijst wordt in ieder geval een screenervraag opgenomen, zodat duidelijk is hoeveel missing values bij deze vragen hoort. Van de overige vragen, met missing values tussen 5, 8 en 14% zullen we de formulering aanpassen. Het lijkt erop dat in ieder geval de 6 vragen die meer dan 10% missing values (range 10,7-14%) hebben te moeilijk geformuleerd zijn/moeilijk te begrijpen zijn. Tot slot valt op dat er aan het begin van de vragenlijst nauwelijks missing values zijn, en dat er naar het einde toe steeds meer komen. Het kan zijn dat mensen afhaken gedurende de vragenlijst, omdat deze te lang of te moeilijk is. Wij adviseren om een grens van 10% missing values te nemen, omdat 5% voor deze doelgroep wellicht wat aan de strenge kant is. CQ-index Indicatiestelling AWBZ 32

35 2. Scheefheid: Alleen vraag 23 heeft een extreem scheve verdeling van de antwoordcategorieën. Deze vraag zullen we niet in de analyses meenemen. 3. Factorlading: Drie variabelen hebben een lagere factorlading (<0,40) op de factor waar het item deel van uitmaakt. 4. Interne consistentie: Vier items hebben een geringe bijdrage aan de betrouwbaarheid van de schaal (als item is deleted, de Cronbach s alpha wordt hoger). Voor een betrouwbare schaal zijn deze items dus niet noodzakelijk. Gekeken zal worden welke andere argumenten er zijn om deze items te behouden dan wel te verwijderen. 5. Hoge inter-item correlatie: Binnen de schalen bejegening en deskundigheid zit veel overlap in de items, de inter-item correlatie is hoog. Hier zijn mogelijkheden om de schaal in te dikken. Op grond van deze analyses kunnen we het volgende stellen: V11 is een zelfstandig item en wordt verwijderd uit de eerste schaal En V18 en V21 vormen geen bijdrage aan de schaal Procedure indicatiestelling en worden verwijderd uit de tweede schaal. Deze twee itemshouden we voorlopig samen als een subschaal (Procedure proces) V35 blijft vooralsnog in de schaal Deskundigheid, omdat de factorlading op deze schaal wel hoog genoeg is. V40 vormt op inhoudelijke gronden een schaal. Hierop kunnen geen analyses uitgevoerd worden, het betreft immers maar één variabele. Op basis van deze data voeren we een confirmatieve factoranalyse uit. 5.4 Confirmatieve factoranalyse Eisen voorafgaand aan de tweede factoranalyse Voordat de volgende factoranalyses uitgevoerd worden moet eerst gekeken worden of er aan een aantal eisen voldaan is: 1. Het aantal respondenten moet voldoende groot zijn (vuistregel: liefst tenminste tien maal zoveel respondenten als variabelen). 2. Het aantal factoren kan maximaal het aantal variabelen gedeeld door 3 zijn. Dus bij 20 items kun je maximaal 6 factoren hebben. 3. De data voldoen aan de Kaiser-Meyer-Olkin (KMO) Measure of Sampling Adequacy. Hierbij wordt een KMO-waarde van 0,60 of hoger gehanteerd. Bij lagere KMOwaarden (lager dan 0,60) kan er geen factoranalyse uitgevoerd worden, omdat de variabelen dan weinig tot niets gemeenschappelijks hebben 4. Bartlett s test of sphericity is significant (p<0,05). Deze test toetst de nulhypothese dat de onderliggende variabelen ongecorreleerd zijn. Als Barlett s test of sphericity significant is, dan wil dit zeggen dat de correlaties tussen de variabelen voldoende hoog zijn om relaties tussen de variabelen te ontdekken. CQ-index Indicatiestelling AWBZ 33

36 In onderstaande tabel staan deze eisen samengevat. Tabel Eisen voor factoranalyse Schalen N KMO Bartlett Soorten antwoordcategorieën 495 0,788 Sig 1 Informatie en communicatie Procedure indicatiestelling 297 0,879 Sig 2 Procedure proces 673 0,5 sig 2 Indicatiebesluit 608 0,694 Sig 1, maar dichotoom Bejegening 443 0,888 Sig 1 Deskundigheid 438 0,798 Sig 1 Bereikbaarheid 368 0,633 Sig 2 Uitvoering tweede factoranalyse We voeren een Principale Componenten Analyse uit met oblique rotatie (vanwege de veronderstelde samenhang tussen de factoren). Het aantal factoren kan gebaseerd worden op 2 gegevens: (1) de Kaiser normalisation (zie Kaiser, 1960) waarbij gekeken wordt voor hoeveel factoren de eigenwaarde 1,0 of groter is. De eigenwaarde staat voor de totale hoeveelheid door de factor verklaarde variantie. Deze methode geeft vaak een overschatting van het aantal gemaakte factoren; (2) de scree test (zie Cattell, 1966), waarbij een grafiek wordt gemaakt van de eigenwaarden van de factoren. Het knikpunt geeft het aantal factoren weer. Deze methode geeft mogelijk een onderschatting van het aantal factoren. Bekijken van de hoogte van de factorladingen, waarbij de vuistregel geldt dat de factorlading van een item op een factor groter moet zijn dan 0,3 wil een kwaliteitsaspect gaan behoren tot die betreffende factor (Floyd, 1995). Indien een item op meerdere factoren een factorlading heeft van 0,3 of hoger dan behoort het item tot de factor waarop het item de hoogste lading heeft. Bij voorkeur is het verschil tussen de hoogste lading en de op een na hoogste lading van een item minimaal 0,10 De inter-factor correlaties moeten kleiner zijn dan 0,70 (Carey, 1993). CQ-index Indicatiestelling AWBZ 34

37 Tabel Resultaten tweede factoranalyse Items factorlading ITC (>0,40) Alpha if item deleted Informatie en communicatie α = 0,801 V6 Had u genoeg informatie over hoe u de aanvraag kon doen bij het CIZ? 0,786 0,655 0,740 V7 Had u genoeg informatie over hoe lang het zou duren van aanvraag tot indicatiebesluit? 0,662 0,502 0,797 V8 Paste de informatie die u kreeg bij uw zorgvraag of de zorgvraag van uw cliënt? 0,78 0,615 0,757 V9 Was de schriftelijke informatie van het CIZ (folders, brieven, internet) begrijpelijk voor u? 0,767 0,594 0,760 V10 Legde de CIZ medewerker u zaken op een begrijpelijke manier uit? 0,765 0,589 0,763 Procedure indicatiestelling α = 0,839 V12 Bood het aanvraagformulier voldoende mogelijkheid om de zorgvraag goed aan te geven? 0,697 0,569 0,820 V13 Dacht de CIZ medewerker met u mee om de vraag helder te krijgen? 0,804 0,691 0,801 V14 Noemde de CIZ medewerker bij de (her)indicatie duidelijk het doel van het gesprek? 0,764 0,641 0,812 V15 Was het voor u duidelijk dat familie/mantelzorgers een rol kunnen spelen in de aanvraagprocedure? 0,521 0,409 0,845 V16 Hield de CIZ medewerker rekening met de mogelijkheden en grenzen van de mantelzorger? 0,769 0,651 0,807 V17 Had u het idee dat de indicatie objectief is gesteld? 0,64 0,525 0,827 V20 Vond u dat de indicatieprocedure (telefonisch gesprek, huisbezoek of geen van beide) bij de zorgvraag paste? 0,797 0,678 0,802 Procedure proces α = 0,201 V18 Was de wachttijd tussen de aanvraag en het indicatiebesluit een probleem - voor u/de cliënt? 0,746 0,113 V21 Moest u gegevens geven of invullen die al bekend zijn bij het CIZ? 0,746 0,113 - Indicatiebesluit α = 0,623 V24 Was voor u/de cliënt duidelijk hoe het CIZ tot dit besluit was gekomen? 0,801 0,485 0,444 V25 Was voor u/die cliënt duidelijk wat er na de brief met het indicatiebesluit moest gebeuren om zorg te krijgen? 0,748 0,422 0,542 V26Wist u dat u het CIZ kunt bellen voor uitleg over het indicatiebesluit? 0,717 0,396 0,577 Bejegening α = 0,920 V28 Was de CIZ medewerker beleefd tegen u? 0,803 0,703 0,919 V29 Luisterde de CIZ medewerker aandachtig naar u? 0,927 0,874 0,886 V30 Had de CIZ medewerker genoeg tijd voor u? 0,875 0,797 0,902 V31 Nam de CIZ medewerker u serieus? 0,919 0,864 0,888 V32 Leefde de CIZ medewerker zich in uw situatie/de situatie van de cliënt in? 0,852 0,768 0,914 Deskundigheid α = 0,910 V33 Had de CIZ medewerker voldoende kennis over de ziekte/aandoening van u/de cliënt? 0,917 0,839 0,869 V34 Had de CIZ medewerker voldoende kennis over de beperkingen die horen bij de ziekte/aandoening van u/de cliënt? 0,918 0,839 0,868 V35 Vroeg de CIZ medewerker door totdat de hulpvraag echt duidelijk was? 0,823 0,703 0,917 V36Stond de CIZ medewerker voldoende open voor dingen die u belangrijk vindt in uw leven/de cliënt belangrijk vindt in zijn/haar leven? 0,895 0,809 0,88 Bereikbaarheid α = 0,688 V37 Was het een probleem om de adresgegevens van het CIZ te vinden? 0,794 0,516 0,578 V38 Was het een probleem om het CIZ telefonisch te bereiken? 0,843 0,583 0,484 V39 Reageerde het CIZ snel op uw vragen? 0,713 0,425 0,687 Op grond van deze analyses kunnen we het volgende zeggen: 1. Schaal 1 informatie en communicatie, schaal 2 procedure indicatiestelling, schaal 5 bejegening en schaal 6 deskundigheid hebben een hoge Cronbach s alpha (range 0,801 0,920) en vormen daarmee betrouwbare schalen. 2. Schaal 3 procedure proces vormt geen schaal. De Cronbach s alpha is veel te laag (0,201) en de factorladingen van de items zijn ook veel te laag (0,113). Deze items kunnen evenwel los meegenomen worden in de toekomstige vragenlijst, omdat zij inhoudelijk wel informatie toevoegen. CQ-index Indicatiestelling AWBZ 35

38 3. Schaal 4 indicatiebesluit en schaal 7 bereikbaarheid hebben ieder een Cronbach s alpha van tussen de 0,6 en 0,7. Dit betekent een geringe betrouwbaarheid. In een vervolgtraject moet bekeken worden of deze schalen betrouwbaar genoeg zijn. 4. V26 laadt minder dan 0,4 op de schaal indicatiebesluit. Omdat verwijdering van dit item de Cronbach s alpha van de schaal niet verhoogt, pleiten we ervoor dit item in de schaal te houden. Toekomstige analyses moeten hierover meer duidelijkheid geven. 5. Wanneer V15 en V35 verwijderd worden uit de betreffende schalen wordt de Cronbach s alpha van de schalen (iets) hoger. Ter overweging of deze items los van de schalen meegenomen moeten worden omdat zij inhoudelijk wel wat toevoegen, of dat zij in zijn geheel verwijderd kunnen worden. 5.5 Samenhang tussen de schalen In de onderstaande tabel staan de correlaties tussen de gevormde schalen. Dit wordt ook wel de interfactor correlaties genoemd. De correlaties zijn berekend met behulp van Pearsons correlatie. Er is geen vaste regel over de hoogte van de intercorrelaties van de schalen, het geniet de voorkeur dat ze kleiner zijn dan 0,70, en lager dan de Cronbach s alpha van de schaal. Zodoende kunnen de schalen als onafhankelijk beschouwd worden, ofwel elke schaal meet een unieke dimensie (zie ook Carey en Seibert, 1993). De meeste schalen zijn matig gecorreleerd (Pearsons correlatie tussen de 0,00 en 0,646). Schaal 2 correleert hoger dan 0,70 met schaal 1, 5 en 6 en schaal 5 en 6 correleren ook hoger dan 0,70 met elkaar. Dat is op zich wel verklaarbaar omdat deze schalen alle de CIZ-medewerker betreffen. Deze interfactor correlaties zijn alle wel lager dan de Cronbach s alpha van de betreffende schalen. Tabel Samenhang tussen de schalen schaal ,725 0,511 0,514 0,509 0,581 0, ,646 0,724 0,764 0,613 0, ,514 0,543 0,459 0, ,739 0,621 0, ,523 0, , Schaal 1 informatie en communicatie Schaal 2 procedure indicatiestelling Schaal 4 indicatiebesluit Schaal 5 bejegening Schaal 6 deskundigheid Schaal 7 bereikbaarheid Schaal 8 regie CQ-index Indicatiestelling AWBZ 36

39 5.6 Belangscores Aan de hand van de belangscores werd duidelijk aan welke items respondenten veel belang hechten en welke items minder belangrijk zijn. Dit is gedaan door het rekenkundig gemiddelde vast te stellen op de vierpuntsschaal (1=niet belangrijk; 2= eigenlijk wel belangrijk; 3=belangrijk; 4=van het allergrootste belang). De volgende tabel geeft de top 10 weer van de items waar respondenten het meest belang aan hechten. Tabel Top 10 belangrijkste items (hoogste gemiddelde belangscores) Item Vraag Schaal Belanglang- score 23 Het uit het indicatiebesluit duidelijk is op welke zorg u / de cliënt Indicatiebesluit 3,52 recht heeft? 34 De CIZ medewerker voldoende kennis heeft over de beperkingen die Deskundigheid 3,48 horen bij de ziekte / aandoening van u / de cliënt? 31 De CIZ medewerker u serieus neemt? Bejegening 3,45 32 De CIZ medewerker zich in uw situatie / de situatie van de cliënt Bejegening 3,44 inleeft? 35 De CIZ medewerker doorvraagt totdat de hulpvraag echt duidelijk is? Deskundigheid 3,44 36 De CIZ medewerker voldoende open staat voor dingen die u belangrijk Deskundigheid 3,43 vindt in uw leven / de cliënt belangrijk vindt in zijn / haar leven? 33 De CIZ medewerker voldoende kennis heeft over de ziekte / aandoening Deskundigheid 3,41 van u / de cliënt? 11 De CIZ medewerker u geen tegenstrijdige informatie geeft? Informatie en Communicatie 3,40 29 De CIZ medewerker aandachtig naar u luistert? Bejegening 3,40 25 Het voor u duidelijk is wat u moet doen om zorg te krijgen, nadat u de brief met het indicatiebesluit heeft gekregen? Indicatiebesluit 3,38 Items die te maken hebben met bejegening en deskundigheid worden het belangrijkst gezien. Ook twee items die te maken hebben met het indicatiebesluit en een item met betrekking tot informatie en communicatie krijgen relatief hoge belangscores. Het streven is om items die als meest belangrijk ervaren worden ook in de schalen op te nemen. De hoge score op de belangenlijst is een argument om deze items als item te behouden in de definitieve vragenlijst. Tabel Top 10 minst belangrijkste items (laagste gemiddelde belangscores) Item Vraag Schaal Belanglang- score 21 U geen gegevens moet geven of invullen die al bekend zijn bij het Procedure 3,03 CIZ? 15 Het duidelijk is dat familie/mantelzorgers een rol kunnen spelen in de Procedure 3,03 aanvraagprocedure? 9 De schriftelijke informatie van het CIZ (folders, brieven, internet, Informatie en Communicatie 3,04 begrijpelijk is voor u? 6 U voldoende informatie heeft over hoe u de aanvraag kunt doen? Informatie en Communicatie 3,09 37 De adresgegevens van het CIZ gemakkelijk te vinden zijn? Bereikbaarheid 3,09 7 Informatie heeft over hoe lang het duurt van aanvraag tot indicatiebesluit? Informatie en Communicatie 3,10 40 Het CIZ samen met u en/of de cliënt de afspraken voor indicatiestelling Regie 3,17 plant? 28 De CIZ medewerker beleefd tegen u is Bejegening 3,18 26 U weet dat het CIZ kunt bellen voor uitleg over het indicatiebesluit? Indicatiebesluit 3,18 20 De indicatieprocedure (telefonisch gesprek, huisbezoek of geen van beide) past bij de zorgvraag? Procedure 3,20 Items met betrekking tot de procedure, communicatie en informatie, bereikbaarheid en regie worden het minst belangrijk gevonden. Items met een relatief lage score kunnen eventueel in de nieuwe versie van de vragenlijst niet opgenomen worden. De volledige lijst met belangscores is opgenomen in bijlage 6. CQ-index Indicatiestelling AWBZ 37

40 CQ-index Indicatiestelling AWBZ 38

41 6 Resultaten van de test op het discriminerend vermogen In dit hoofdstuk beschrijven we de test op het discriminerend vermogen van de CQI Indicatiestelling AWBZ. Met de analyses die we hiervoor uitvoeren kunnen we vaststellen of de ontwikkelde vragenlijst verschillen kan aantonen tussen de CIZ-units (regio s). Achtereenvolgens beschrijven we: - of er verschillen zijn in de ervaringen van zorgaanvragers met het CIZ die te maken hebben met specifieke kenmerken van die zorgaanvragers. Bijvoorbeeld: antwoorden mannen anders dan vrouwen, jongeren anders dan ouderen, etc. - op basis van de gevonden verschillen stellen we vast op welke specifieke kenmerken we moeten corrigeren om een zuivere vergelijking tussen CIZ-units (regio s) mogelijk te maken; - vervolgens bepalen we welke significante verschillen er bestaan tussen de CIZunits, voor en na correctie op de vastgestelde kenmerken; - ten slotte stellen we vast hoeveel respondenten per unit nodig zijn om verschillen tussen de units aan te tonen (poweranalyse). Alvorens we de genoemde thema s bespreken is het volgende van belang. Het CIZ bestaat uit 10 units, die alle werken vanuit vaste richtlijnen en procedures. Het streven is om in alle units te komen tot een objectieve indicatiestelling volgens landelijke uniforme richtlijnen. Elke CIZ-unit streeft ernaar de indicatiestelling zo goed mogelijk te doen binnen de gestelde kaders. Dit betekent dat zij meer gericht zijn op het benutten van de mogelijkheden binnen de gestelde kaders dan op het zich onderscheiden van andere CIZ-units. Daarnaast is belangrijk om vast te stellen dat gemeten verschillen tussen CIZ-units anders gebruikt zullen worden dan bijvoorbeeld bij ziekenhuizen, zorgverzekeraars, etc. Zorgaanvragers hebben namelijk geen vrije keuze om bij een willekeurige CIZ-unit zorg aan te vragen. Het simpele feit waar iemand woont bepaalt waar hij of zij de indicatie moet aanvragen. De resultaten van de CQI leiden dus niet tot keuze-informatie voor zorgaanvragers. De hier geschetste achtergrondinformatie is van belang bij de keuzes die we in deze fase van het ontwikkeltraject maken. 6.1 Verschillen tussen respondenten Om te bepalen of er verschillen zijn tussen de respondenten, en om hierop eventueel te kunnen corrigeren, voeren we analyses uit op de schaalscores en op algemene waardering (cijfer). Doel van de analyses is om te komen tot een eerlijke vergelijking van de resultaten van de CIZ-units waarbij factoren die eerder te maken hebben met kenmerken van de specifieke respondentengroepen worden uitgesloten. We voeren OneWay ANOVA s uit op de schaalscores. Dit is niet mogelijk voor de schaal Regie, die bestaat uit een enkel dichotoom item. Omdat we enkel toetsen op de samenhang met de specifieke achtergrondkenmerken en er geen informatie nodig is over mate van en richting van het verband, volstaan we hier met een C 2 toets. Uit de literatuur is bekend dat persoonskenmerken zoals leeftijd, ervaren gezondheid en opleiding van invloed zijn op de ervaringen van zorggebruikers. Lager opleiden, ouderen en gezonde mensen zijn positiever over hun ervaringen met zorg (oa. Hekkert, 2009). De invloed van geslacht en etniciteit is niet uniform. De genoemde kenmerken zijn getoetst op hun invloed op de ervaring van zorgaanvragers bij de indicatiestelling door het CIZ. De resultaten daarvan zijn opgenomen in tabel 6.1. CQ-index Indicatiestelling AWBZ 39

42 Daarnaast is ook beoordeeld of nog andere kenmerken in aanmerking komen als casemixadjusters. Factoren die van invloed lijken te zijn op de ervaringen van zorgaanvragers, zoals het indicatiebesluit (positief of negatief) of de gevolgde procedure (direct, verkort, standaard en uitgebreid) komen niet in aanmerking om als casemix-adjusters op te nemen, aangezien het CIZ hierop zelf invloed kan uitoefenen (Zaslavsky, 1998). De grondslag, op basis waarvan zorgaanvragers een indicatie krijgen, blijkt eveneens van invloed op de ervaringen van de zorgaanvragers, en dit kenmerk is relatief onafhankelijk van de indicatiestellers. In onderstaande tabellen 6.1 en 6.2 staan de resultaten van de analyses samengevat. Hierbij is steeds getoetst op het enkelvoudige effect van het betreffende kenmerk. Tabel 6.1 Resultaten van de toets op het enkelvoudig effect van respondentkenmerken: F (df) of C 2 en p-waarde info/comm procedure indbesluit bejegening desk bereik regie cijfer Geslacht N=660 N=474 N=602 N=444 N=441 N=500 N=632 N=670 F (df=1) 0,04 0,00 0,03 0,92 1,46 0,53 C 2 =0,61 0,97 P waarde 0,848 0,973 0,875 0,337 0,228 0,468 0,460 0,326 Leeftijd N=657 N=472 N=594 N=442 N=439 N=498 N=627 N=663 F (df=6) 2,30 2,29 2,05 2,31 3,15 0,90 C 2 =31,54 3,19 P waarde 0,03* 0,04* 0,06 0,03* 0,01* 0,49 <0,001** 0,004* Opleiding N= 604 N=436 N=548 N=407 N=405 N=454 N=570 N=602 F (df=2) 2,44 0,38 0,64 5,34 3,70 1,90 C 2 =4,86 3,17 P waarde 0,088 0,688 0,528 0,005* 0,026* 0,151 0,008* 0,043* Gezondheid N=661 N=475 N=600 N=445 N=442 N=500 N=633 N=670 F (df=4) 3,48 1,77 1,08 1,34 0,50 0,44 C 2 4,79 1,70 P waarde 0,008* 0,135 0,367 0,253 0,735 0,780 0,309 0,149 Etniciteit N=636 N= 455 N=579 N=415 N=413 N=468 N=596 N=629 F (df=1) 0,09 1,13 0,06 0,44 1,89 0,09 C 2 =3,65 0,89 P waarde 0,774 0,287 0,809 0,506 0,170 0,767 0,060 0,345 * sig< 0,05; ** sig< 0,001 In tabel 6.1 staat samengevat of de persoonskenmerken geslacht, leeftijd, opleiding, gezondheid en etniciteit van invloed zijn op de ervaringen van zorgaanvragers. Een p- waarde < 0,05 of < 0,001 (vetgedrukt) betekent dat het betreffende persoonskenmerk van invloed is op de betreffende schaal. In de eerste kolom waarin de resultaten staan beschreven voor de schaal Informatie en Communicatie, is te zien dat leeftijd (p=0,03) en gezondheid (p=0,008) een (significant) effect hebben op de ervaringen van zorgaanvragers. Geslacht, opleiding en etniciteit zijn niet van invloed op de ervaringen van zorgvragers op het terrein van Informatie en Communicatie. Over alle schalen bekeken blijkt dat het persoonskenmerk geslacht geen invloed heeft op de ervaringen met het CIZ, evenals etniciteit. Leeftijdsgroep heeft invloed op vijf van de zeven schalen, opleiding op drie van de zeven. Ervaren gezondheid heeft uitsluitend invloed op de schaal Informatie en Communicatie. In tabel 6.2 staan de groepsverschillen en statistische parameters gepresenteerd voor de grondslag, op basis waarvan cliënten een indicatie toegewezen krijgen. CQ-index Indicatiestelling AWBZ 40

43 Tabel 6.2 Resultaten van de toets op het enkelvoudig effect van grondslag: F (df) of C 2 en p- waarde Info/comm procedure indbesluit bejegening desk bereik regie cijfer Grondslag N=668 N=476 N=607 N=435 N=431 N=487 N=616 N=652 F (df=5) 2,19 2,44 0,94 2,52 4,55 0,36 C 2 =28,73 1,91 P waarde 0,054 0,034* 0,456 0,029* <0,001** 0,879 <0,001** 0,091 * sig <0,05; ** sig< 0,001 Uit de blijkt dat grondslag van invloed is op de schalen Procedure, Bejegening, Deskundigheid en Regie. De variabelen opleiding, leeftijd, gezondheid en grondslag zullen als casemix-adjusters meegenomen worden. 6.2 Testen van het discriminerend vermogen: covariantie-analyse Met behulp van een (co)variantie-analyse is nagegaan of het meetinstrument verschillen kan aantonen tussen de ervaringen van zorgaanvragers die een indicatie hebben aangevraagd bij verschillende CIZ-units en of de ervaringen van de zorgaanvragers na correctie van bovenstaande achtergrondkenmerken ook nog verschillen laten zien. Gebruikelijk binnen CQI ontwikkeltrajecten is om het discriminerend vermogen te testen door middel van multilevel-analyses. Achtergrond hiervan is dat waarnemingen vanuit een zelfde analyse-eenheid niet onafhankelijk van elkaar zijn. Er is een hiërarchische datastructuur met twee niveaus. In het geval van de CQI Indicatiestelling AWBZ zijn dit de respondenten (zorgaanvragers) en de CIZ-units. Voor het uitvoeren van multilevel-analyses gelden echter enkele voorwaarden. Zo wordt in het Handboek CQI Meetinstrumenten een wenselijk minimum aantal analyse-eenheden gesteld van 20 (Sixma, e.a., 2008)). Snijders en Bosker (2012) hanteren in hun boek over multilevel-analyse als vuistregel een minimum van 10 analyse-eenheden. Bij minder dan 10 analyse-eenheden raden zij aan te kiezen voor covariantieanalyses. Bij minder dan 20 analyse-eenheden zijn de resultaten met Multilevel analyse niet betrouwbaar, zo stellen zij. Ook bij analyse-eenheden noemen zij de situatie twijfelachtig voor het gebruik van random effects-modellen zoals multilevel-analyses. Bij de Indicatiestelling door het CIZ is het aantal analyse-eenheden tien, namelijk de 10 CIZ-units. Deze worden niet verder onderverdeeld in kleinere afdelingen of eenheden. In overleg met het CKZ, naar aanleiding van opmerkingen van de WAR over dit geringe aantal analyse-eenheden, is besloten tot het gebruik van covariantie-analyses (fixed effects- modellen) voor het vaststellen van het discriminerend vermogen. De resultaten van deze analyses worden hieronder toegelicht. Bij de (co)variantieanalyses zijn twee modellen met elkaar vergeleken: Model 0: het ongecorrigeerde model, waarbij gekeken is naar verschillen tussen de verschillende CIZ-units, zonder te corrigeren voor de casemix-adjusters. In dit model wordt dus geen rekening gehouden met de eerder genoemde kenmerken van zorgaanvragers. Model A: hierbij is gecorrigeerd voor de respondentkenmerken: leeftijd, opleiding, ervaren gezondheid en grondslag. CQ-index Indicatiestelling AWBZ 41

44 Tabel 6.3 Resultaten van de covariantieanalyses en hierop gebaseerde ICC s 4 (n= ), gebaseerd op de ervaringen van zorgvragers met de indicatiestelling AWBZ bij 10 CIZ-units Model 0 Model A F p ICC F p ICC Informatie&communicatie 1,336 0,215 0,49% 1,012 0,429 0,02% procedure indicatiestelling 1,903 0,050* 1,84% 1,792 0,068 1,90% indicatiebesluit 1,094 0,365 0,15% 1,084 0,373 0,16% bejegening 0,908 0,518 0% 0,904 0,522 0% deskundigheid 1,327 0,220 0,74% 1,699 0,088 1,78% bereikbaarheid 0,515 0,864 0% 0,560 0,830 0% regie 2,148 0,024* 1,80% 1,689 0,089 1,25% rapportcijfer 1,382 0,192 0,57% 1,440 0,168 0,76% * sig <0,05; ** sig< 0,001 In de kolommen met de ICC s is te zien dat de grootste verschillen tussen de CIZ-units zijn te vinden op de schalen regie, procedure indicatiestelling en deskundigheid. Ongecorrigeerd is 1,84% van de variantie in de scores op procedure indicatiestelling toe te schrijven aan verschillen tussen de CIZ-units. Voor de schaal regie is dat 1,8%. Bij indicatiebesluit, bejegening en bereikbaarheid verschillen de CIZ-units nauwelijks van elkaar. Dat blijft ook zo na correctie. De verschillen tussen de CIZ-units zijn niet significant behalve bij de procedure indicatiestelling en regie in het ongecorrigeerde model. Het geringe aantal significante verschillen kan betekenen dat er daadwerkelijk weinig verschillen zijn tussen de CIZ-units, maar kan ook wijzen op te weinig power, een te gering aantal respondenten per unit. De invloed van de casemix-adjusters is te zien door het ongecorrigeerde model 0 te vergelijken met model A, waar is gecorrigeerd voor leeftijd, opleiding, gezondheid en grondslag. Te zien is dat de ICC s door de correctie bij een deel van de schalen zijn veranderd. Na correctie verschillen de CIZ-units niet meer ten aanzien van de ervaringen van zorgvragers met informatie en communicatie en regie. Samenvattend kunnen we stellen dat de CIZ-units slechts weinig van elkaar verschillen in de scores van zorgvragers op de gemeten onderwerpen. Ook worden de verschillen slechts voor een klein deel bepaald door verschillen in de respondentenkenmerken per CIZ-unit. Echter, omdat de ICC s op een deel van de schalen wel degelijk veranderen na correctie, blijft het belangrijk om te corrigeren voor de respondentkenmerken leeftijd, opleiding, gezondheid en grondslag, om zo een zo zuiver mogelijke vergelijking tussen CIZ-units mogelijk te maken. 4 De ICC s zijn berekend volgens de formule ICC= (F-1)/(F+ň-1) volgens Snijders en Bosker (2012). CQ-index Indicatiestelling AWBZ 42

45 6.3 Aantal respondenten nodig voor het bepalen van verschillen Om te bepalen hoeveel respondenten per CIZ-regio de vragenlijst moeten invullen om de CIZ-regio s met elkaar te kunnen vergelijken en significante verschillen van een bepaalde omvang te kunnen aantonen, zijn poweranalyses uitgevoerd. In de onderzoeksliteratuur wordt een power van minimaal tachtig procent als wenselijk gezien. Een power van tachtig procent betekent een kans van tachtig procent om bij de vergelijking van twee CIZ-units een significant verschil te krijgen (2-zijdig getoetst met een T- toets (α =.05)), uitgaande van een kleinste, nog relevant geacht verschil dat men zou willen aantonen en varianties in de units zoals in dit onderzoek is aangetroffen. Onderstaande tabel laat zien hoeveel vragenlijsten nodig zijn om een verschil van 0,2 punten of 0,3 punten op de gemiddelde schaalscores (4-puntsschaal, voor regie 2 puntsschaal) aan te kunnen tonen 5. Omdat bij een volgende meting de situatie nooit honderd procent vergelijkbaar is, en bijvoorbeeld ook de varianties van de verschillende groepen niet exact hetzelfde zullen zijn, zijn de gevonden waarden voor N indicatief. Tabel 6.4 Indicatie van het benodigde aantal respondenten per CIZ-unit om een power van tachtig procent te bereiken. gepoolde variantie Schaalverschil 0,2 en algemene waardering 0,5 Schaalverschil 0,3 en algemene waardering 1 Informatie en communicatie 0, Procedure Indicatiestelling 0, Indicatiebesluit 0, Bejegening 0, Deskundigheid 0, Bereikbaarheid 0, Regie 0, Waardering (cijfer) 2, In tabel 6.4 zien we een indicatie voor het aantal respondenten dat nodig is om een bepaald verschil in schaalscore aan te kunnen tonen. In de verschillende aantallen zien we de omvang van de gepoolde binnengroepsvariantie terug. Als we uitgaan van de kolom die aangeeft welke aantallen nodig zijn om een schaalverschil van 0,3 aan te tonen, dan lijkt een aantal van minstens 120 vragenlijsten per CIZ-unit aan te bevelen om de ervaringen van de zorgaanvragers goed te kunnen evalueren en eventuele verschillen tussen CIZ-units te kunnen aantonen. Als we dit relateren aan de respons van de verschillende CIZ-units in dit onderzoek dan kunnen we vaststellen dat het aantal respondenten per unit te klein is om de genoemde verschillen te kunnen aantonen. Voor toekomstig onderzoek betekent het, dat bij een gelijkblijvende procedure rond steekproeftrekking en verzending, minstens duizend mensen per CIZ-unit een vooraankondiging zullen moeten ontvangen voor deelname. Dit aantal geldt op basis van de minimum respons bij de units (twaalf procent), op basis van het oorspronkelijke aantal verzonden vooraankondigingen). Mogelijkheden om de respons te verhogen door veranderingen in de procedure van steekproeftrekking en verzending zijn aan te bevelen. Hierbij kan gedacht worden aan een kortere tijdspanne tussen indicatiebesluit en ontvangst van de vragenlijst, en een andere procedure rond de vooraankondiging voor het onderzoek. 5 Voor de berekening is gebruik gemaakt van de formule N=variantie*2*(kleinste nog relevant geachte verschil/2,8) -2. Voor de variantie is gebruik gemaakt van de gepoolde variantie na casemixcorrectie. De formule is afkomstig uit het handboek CQI maar is aangepast voor een power van 80%. CQ-index Indicatiestelling AWBZ 43

46 6.4 Indeling van de CIZ-units in drie groepen Op basis van de hiervoor beschreven resultaten is het niet mogelijk de CIZ-units in te delen in groepen op basis van hun gemiddelden en eventuele significante verschillen. Deze verschillen zijn immers niet of nauwelijks aangetoond in dit onderzoek. Voor het ontbreken van significante verschillen kunnen verschillende verklaringen zijn. Ten eerste kan het zo zijn dat er daadwerkelijk weinig verschillen zijn tussen de CIZ-units. De CIZ-units werken immers alle volgens dezelfde richtlijnen en beleidsregels. Het streven is hierbij gericht op objectiviteit en uniformiteit. Daarnaast kan een gebrek aan power (zie paragraaf 6.3) een verklaring vormen voor het ontbreken van significante verschillen. In onderstaande tabel is te zien dat wel degelijk relevante verschillen bestaan tussen CIZ-units. Bij een grotere n zijn deze verschillen mogelijk wel significant. Tabel 6.5 Overzicht schaalgemiddelden infocomdurnindigheibaarheid (proportie) cijfer proce- bejege- deskun- bereik- regie rapport- besluit Unit a 3,04 3,27 3,50 3,71 3,25 3,39 0,31 7,23 Unit b 2,95 3,22 3,45 3,55 3,06 3,36 0,41 7,09 Unit c 2,90 3,14 3,39 3,52 3,03 3,39 0,59 6,95 Unit d 3,02 3,23 3,38 3,52 3,22 3,46 0,49 7,09 Unit e 3,16 3,45 3,68 3,58 3,11 3,35 0,44 7,39 Unit f 3,08 3,48 3,56 3,75 3,38 3,42 0,59 7,27 Unit g 2,97 3,19 3,45 3,60 3,11 3,49 0,46 7,40 Unit h 2,99 3,12 3,44 3,44 2,88 3,41 0,42 7,53 Unit i 3,16 3,27 3,54 3,60 3,26 3,56 0,56 7,43 Unit j 3,22 3,47 3,68 3,64 3,33 3,55 0,40 7,71 CQ-index Indicatiestelling AWBZ 44

47 7 Ervaringen van zorgaanvragers met de indicatiestelling voor de AWBZ In dit hoofdstuk beschrijven we in het kort de ervaringen van zorgaanvragers met de indicatiestelling voor de AWBZ, zoals die uit dit onderzoek naar voren zijn gekomen. We doen dit voor het CIZ als geheel. Voor de resultaten naar unitniveau verwijzen we naar de CIZpublicatie over de resultaten 6. Eerst wordt ingegaan op de ervaringen van zorgaanvragers met verschillende aspecten van de indicatiestelling (paragraaf 7.1) en de waardering die zij daaraan geven (7.2). Daarna gaan we kort in op de verbeterscores die inzicht geven in de aspecten van de indicatiestelling die het meest urgent lijken om te verbeteren. 7.1 Ervaringsscores op schaalniveau De scores op de schalen die als resultaat van het vorige hoofdstuk zijn geconstrueerd geven een beeld van de positieve en negatieve ervaringen van de zorgaanvragers met de verschillende aspecten van de indicatiestelling. In onderstaande figuur is dit gepresenteerd. Figuur 7.1 Samenvattende resultaten op schaalniveau voor het CIZ als totaal Informatie en communicatie Procedure indcatiestelling Indicatiebesluit Bejegening Deskundigheid CIZ-medewerker Bereikbaarheid Regie/keuzemogelijkheid % positieve antwoorden CIZ totaal % negatieve antwoorden CIZ totaal 6 Bloemendaal, I. e.a. Ervaringen van zorgvragers met de indicatiestelling door het CIZ, CIZ, Driebergen, CQ-index Indicatiestelling AWBZ 45

48 Uit de figuur blijkt dat clienten van het CIZ de meeste positieve ervaringen hebben met de bejegening door de CIZ-medewerker. De laagste score is gehaald bij regie/keuzemogelijkheid. Dit is een schaal die bestaat uit één item:52% van alle afspraken voor indicatiestelling werd niet in overleg met de client gemaakt. 7.2 Algemene waardering door zorgaanvragers In de vragenlijst werd aan de zorgaanvragers de vraag gesteld Welk cijfer geeft u het CIZ? Een 0 betekent heel erg slecht en een 10 betekent uitstekend. Respondenten gaven gemiddeld een 7,3 waarbij er verschillen waren in waardering tussen verschillende subgroepen. De waarderingscjfers voor de 10 CIZ-units variëren tussen 6,9 en 7,7. De verschillen in tevredenheid tussen verschillende subgroepen zijn op significantie getoetst met behulp van een ANOVA-variantieanalyse. De gemiddelde rapportcijfers van de subgroepen binnen het oordeel over het indicatiebesluit (positief, meer positief dan negatief, meer negatief dan positief, negatief) blijken significant van elkaar te verschillen (p= 0.05). Daarbij worden de hoogste rapportcijfers gegeven door respondenten die een positief oordeel over het indicatiebesluit hadden (7,8). Ook is een significant verschil gevonden bij de gevolgde procedure (direct, verkort, standaard, uitgebreid). Hierbij zien we dat zorgvragers die de directe of standaard procedure volgden het hoogste cijfer gaven, respectievelijk 7,7 en 8,0. Vrouwen en mannen verschilden niet significant in hun rapportcijfers. We zien ook geen significante verschillen tussen de groepen op leeftijd, gezondheidstoestand en opleiding. Ook bij andere subgroepen zijn geen significante verschillen gevonden. 7.3 Verbeterpunten en hun urgentie In tabel 7.1 staat een overzicht van de 10 vragen uit de vragenlijst, waar de urgentie om te komen tot verbeteringen het hoogst is. Deze urgentie is berekend door het aandeel van de respondenten dat minder positieve ervaringen had te vermenigvuldigen met het belang dat respondenten hechten aan dit aspect. In de eerste kolom staat de kwaliteitsdimensie waar het betreffende item deel van uitmaakt. Wat opvalt is dat de minder positieve ervaringen vooral gaan over proces en verwachtingen van het proces. Vragen met de meeste positieve antwoorden, zogenaamde trotspunten (% positieve antwoorden) waren de volgende.: Had de CIZ-medewerker genoeg tijd voor u? (92%) Was de CIZ-medewerker beleefd tegen u? (92%) Nam de CIZ-medewerker u serieus? (91%) Was uit het indicatiebesluit duidelijk op welke zorg u / de cliënt recht had? (91%) Luisterde de CIZ-medewerker aandachtig naar u? (91%) Gaf de CIZ-medewerker u tegenstrijdige informatie? (91%) Deze positieve ervaringen gaan vooral over de bejegening door de CIZ-medewerker en de inhoud van het indicatiebesluit. CQ-index Indicatiestelling AWBZ 46

49 Tabel 7.1 Verbeterurgentie van de verschillende onderwerpen uit de vragenlijst. Kwaliteits dimensie Regie Informatie en Communicatie Procedure Informatie en Communicatie Procedure Procedure Bereikbaarheid Deskundigheid Deskundigheid Procedure item %minder positief belang V40 Plande het CIZ samen met u en/of cliënt de afspraken voor indicatiestelling? 52% 3,17 1,65 V7 Had u genoeg informatie over hoe lang het zou duren van aanvraag tot indicatiebesluit? 41% 3,1 1,26 V21 Moest u gegevens geven of invullen die al bekend zijn bij het CIZ? 37% 3,03 1,12 V6 Had u genoeg informatie over hoe u de aanvraag kon doen bij het CIZ? 32% 3,09 1,00 urgentie V18 Was de wachttijd tussen de aanvraag en het indicatiebesluit een probleem voor u/de client? 29% 3,28 0,95 V16 Hield de CIZ medewerker rekening met de mogelijkheden en grenzen van de mantelzorger? 29% 3,26 0,93 V38 Was het een probleem om het CIZ telefonisch te bereiken? 26% 3,21 0,82 V34 Had de CIZ medewerker voldoende kennis over de beperkingen die horen bij de ziekte/aandoening van u/de cliënt? 24% 3,48 0,82 V33 Had de CIZ medewerker voldoende kennis over de ziekte/aandoening van u/de cliënt? 23% 3,41 0,78 V20 Vond u dat de indicatieprocedure (telefonisch gesprek, huisbezoek of geen van beide) bij de zorgvraag paste? 24% 3,2 0,75 CQ-index Indicatiestelling AWBZ 47

50 CQ-index Indicatiestelling AWBZ 48

51 8 De nieuwe CQI Indicatiestelling AWBZ In dit hoofdstuk komen de overwegingen aan de orde ter optimalisering van de CQ CIZ. De pilotfase heeft onder andere geresulteerd in een overzicht van de items die gehandhaafd moeten worden en de items die eventueel kunnen komen te vervallen, op basis van de statistische analyses. Het ging er om de items te selecteren die zinvolle informatie opleveren over de dienstverlening van het CIZ vanuit het perspectief van de cliënt. In paragraaf 8.1 benoemen we eerst de verschillende soorten argumenten voor het handhaven, laten vervallen of aanpassen van items. Vervolgens wordt in paragraaf 8.2 per onderdeel van de vragenlijst een overzicht gegeven van de overwegingen die hierbij een rol hebben gespeeld. Dit hoofdstuk wordt in de definitieve versie van het rapport nog aangepast naar aanleiding van de opmerkingen van de werkgroep CIZ. De overwegingen en afspraken over de aanpassing van de vragenlijst zijn al besproken met de begeleidingsgroep en zijn opgenomen in de tabellen in paragraaf Argumenten voor het verwijderen of handhaven van items Hier komen de overwegingen aan de orde die een rol hebben gespeeld bij de keuzes die zijn gemaakt om te komen tot een nieuwe verbeterde CQI indicatiestelling AWBZ. Bij die keuzes kan het gaan om het handhaven dan wel laten vervallen van een item, maar ook om het herformuleren van een vraag of wijzigen van de antwoordcategorieën. De basis voor deze overwegingen vormt de analyses in de voorgaande hoofdstukken en de inhoudelijke discussies die zijn gevoerd in twee bijeenkomsten van de begeleidingsgroep. De volgende overwegingen komen aan de orde: 1. De respons/non-respons en scheefheid: een hoge non-respons (>10% missende waarden op het item) en extreem scheef verdeelde items (>90% van de antwoorden in één categorie) kunnen redenen zijn om het item niet op te nemen in de nieuwe versie van de vragenlijst. 2. De factoranalyses en betrouwbaarheidsanalyses: een te lage factorlading (<0,40), items die niet bijdragen aan een betrouwbare schaal (ITC<0,40), items die een sterke onderlinge correlatie hebben (inter-itemcorrelatie >0,70). Verder is de schaalbaarheid van de items van belang. Dat betekent dat een item dat tot een schaal behoort volgens de factoranalyse en betrouwbaarheidsanalyse in de vragenlijst blijft, tenzij de betrouwbaarheid van de schaal verhoogd wordt of niet substantieel afneemt als het item verwijderd wordt uit de schaal. 3. De uitkomsten van de ervaringen en de belangenvragenlijst: De ervaringenlijst leert dat wanneer respondenten allemaal dezelfde ervaringen hebben (blijkt uit een hele kleine standaarddeviatie), dan is het maar de vraag of de vraag interessant genoeg is om te handhaven in de vragenlijst. De resultaten van de belangscores leveren ook belangrijke informatie of een item al dan niet in de vragenlijst opgenomen blijft. Overigens moet hierbij opgemerkt worden dat alle belangscores boven de 3 uitkomen, dat wil zeggen dat cliënten dit een belangrijk item vinden. 4. De uitkomsten uit de covariantie-analyses, waarbij gekeken is naar het discriminerend vermogen van de vragenlijst bij de vergelijking van de verschillende CIZ-units. 5. Kwalitatieve informatie die voortkwam uit de discussies in de begeleidingsgroep en inhoudelijk deskundigen. Geraadpleegde experts en inhoudsdeskundigen hebben een belangrijke stem om een item te handhaven, herformuleren of te laten vervallen. CQ-index Indicatiestelling AWBZ 49

52 8.2 Overzicht van de resultaten per onderdeel van de vragenlijst. In dit overzicht wordt per onderdeel van de originele CIZ-vragenlijst aangegeven of en wat er met de items van dat onderdeel zou kunnen gebeuren in een volgende, aangepaste versie. We geven aan of een item gehandhaafd moet worden, of de formulering aangepast moet worden of dat er verdere bijzonderheden zijn. Waar de belangscores staan vermeld kan deze extra input leveren voor de discussie. Bij de belangscores is het overigens goed om vast te stellen dat de belangscores varieerden tussen de 3,03 en de 3,52 (op een vier puntsschaal niet belangrijk, eigenlijk wel belangrijk, belangrijk en van het allergrootste belang ). Mogelijke verklaring voor deze relatief kleine bandbreedte is het feit dat al in een eerdere fase items met een minder belang zijn uitgesloten van opname in de testvragenlijst. In de begeleidingsgroep is daarom besloten om geen items te schrappen uitsluitend omdat zij relatief het minst belangrijk worden geacht door de zorgaanvragers. Tabel vraag vooraf Item bijzonderheden Handhaven? Aanpassen formulering? V1. Heeft u voor uzelf of voor iemand anders in de afgelopen 12 maanden een indicatie aangevraagd bij het CIZ? Veel negatieve antwoorden en mv/weet niet. Nee, verwijderen vraag (voorwaarde: geen fouten in databestand), stellende inleiding ( bij ons is bekend dat voor u / de client een indicatie is aangevraagd in de afgelopen 12 maanden ) dan V2 Tabel Aanvraag item bijzonderheden Handhaven? Aanpassen formulering? V2. Wie bent u? Relevante achtergrondinfo Ja Nee V3. Hoe heeft u de laatste indicatieaanvraag bij het CIZ gedaan? V4. Was het de eerste aanvraag voor u bij het CIZ? V5. Waardoor bent u op het idee gekomen een aanvraag te doen bij het CIZ? Relevante achtergrondinfo Ja Nee Relevante achtergrondinfo Ja Nee Geen Ja Ja, antwoordcategorie toevoegen abel Informatie en Communicatie item bijzonderheden Handhaven? Aanpassen formulering? V6. Had u genoeg info over hoe u de aanvraag bij het CIZ kon doen? Schaal info en comm Belangscore 3,09, top 10 minst belangrijk Ja Maakt deel uit van schaal Informatie en Communicatie Nee V7. Had u genoeg informatie over hoe lang het zou duren van aanvraag tot indicatiebesluit? V8. Paste de informatie die u kreeg bij uw zorgvraag of de zorgvraag van uw client? Schaal info en comm Belangscore 3,10 top 10 minst belangrijk Schaal info en comm Ja Maakt deel uit van schaal Informatie en Communicatie Ja Maakt deel uit van schaal Informatie en Communicatie V9. Was de schriftelijke Schaal info en comm Ja Nee Nee Nee CQ-index Indicatiestelling AWBZ 50

53 informatie van het CIZ (folders, brieven, internet) begrijpelijk voor u? V10. Legde de CIZ medewerker u zaken op een begrijpelijke manier uit? V11. Gaf de CIZ medewerker u tegenstrijdige informatie? Belangscore 3,04 top 10 minst belangrijk Schaal info en comm Schaal info en comm, maar lage factorlading (<0,40) en alpha hoger als item deleted; top 10 meest belangrijk Maakt deel uit van schaal Informatie en Communicatie Ja Maakt deel uit van schaal Informatie en Communicatie Ja Handhaven ivm belang als los item op advies begeleidingsgroep Nee Nee Tabel Procedure indicatiestelling item bijzonderheden Handhaven? Aanpassen formulering? V12. Bood het aanvraagformulier voldoende mogelijkheid om de zorgvraag goed aan te geven? Schaal proc indic Ja Maakt deel uit van schaal Procedure indicatiestelling Nee V13. Dacht de CIZ medewerker met u mee om de vraag helder te krijgen? V14. Noemde de CIZ medewerker bij de (her)indicatie duidelijk het doel van het gesprek? V15. Was het voor u duidelijk dat familie/mantelzorgers een rol kunnen spelen in de aanvraagprocedure? V16. Hield de CIZ medewerker rekening met de mogelijkheden en grenzen van de mantelzorger? V17. Had u het idee dat de indicatie objectief is gesteld? V18. Was de wachttijd tussen de aanvraag en het indicatiebesluit een probleem voor u/de cliënt? V19. Hoe is het indicatiegesprek gevoerd? V20. Vond u dat de indicatieprocedure (telefonisch gesprek, huisbezoek of geen van beide) bij de zorgvraag paste? V21. Moest u gegevens geven of invullen die al bekend zijn bij het CIZ? Schaal proc indic Schaal proc indic Schaal proc indic, maar alpha (iets) hoger als item deleted Belangscore 3,04 top 10 minst belangrijk Schaal proc indic Schaal proc indic Zelfstandig item, past niet in een schaal: lage factorlading (<0,40) en alpha hoger als item deleted Belangscore 3,28 Relevante achtergrondinformatie Schaal proc indic, 10,7% mv, Belangscore 3,20 top 10 minst belangrijk lage factorlading (<0,40) en alpha hoger als item deleted: los item, past niet in een schaal top 10 minst belangrijk Ja Maakt deel uit van schaal Procedure indicatiestelling Ja Maakt deel uit van schaal Procedure indicatiestelling Ja, Maakt deel uit van schaal Procedure indicatiestelling Ja, Maakt deel uit van schaal Procedure indicatiestelling Ja, Twijfel blijft over begrijpelijkheid, maar dat blijkt niet uit aantal MV. Voorlopig handhaven. Ja, op verzoek van begeleidingscommissie handhaven als los item, Doortesten Ja Ja Ja, doortesten Nee Nee Ja, herformuleren helpen/meedoen Nee Nee Nee Nee Ja, vereenvoudigen: Vond u dit passend bij uw zorgvraag? Plus: eigen (extra) vraag toevoegen eind vragenlijst* Ja, toevoegen antwoordcategorie *om meer informatie uit de vraag te halen: als aanvulling bij V20 op het eind van de vragenlijst: Vond u de vorm van contact met het CIZ passen bij de zorgvraag? Nee, ik had liever telefonisch contact willen hebben Nee, ik had liever huisbezoek willen hebben Nee, ik had liever geen contact willen hebben Ja, ik vond de vorm van contact passend CQ-index Indicatiestelling AWBZ 51

54 Tabel Indicatiebesluit item bijzonderheden Handhaven? Aanpassen formulering? V22. Heeft u/de cliënt het Noodzakelijke screenervraag Ja Nee indicatiebesluit ontvangen? V23. Was uit het indicatiebesluit duidelijk op welke zorg u/de cliënt recht op had? >90% positief; 12,5% mv top 10 meest belangrijk Ja Maakt deel uit van schaal Indicatiebesluit Ja, meer antwoord categorieën V24. Was voor u/de cliënt duidelijk hoe het CIZ tot dit besluit was gekomen? V25. Was voor u/die cliënt duidelijk wat er na de brief met het indicatiebesluit moest gebeuren om zorg te krijgen? V26. Wist u dat u het CIZ kunt bellen voor uitleg over het indicatiebesluit? V27. Hoe beoordeelt u/de cliënt het indicatiebesluit? Schaal doortesten: α=0,623 Tabel Bejegening Schaal indicatiebesluit; 14% mv Schaal indicatiebesluit; 14% mv top 10 meest belangrijk Schaal indicatiebesluit; 12,3% mv Belangscore 3,18 top 10 minst belangrijk Relevante achtergrondvraag Ja Maakt deel uit van schaal Indicatiebesluit Ja Maakt deel uit van schaal Indicatiebesluit Ja Maakt deel uit van schaal Indicatiebesluit Ja Ja, meer antwoord categorieën Ja, meer antwoord categorieën item bijzonderheden Handhaven? Aanpassen formulering? Heeft u een CIZmedewerker NIEUW; deze screener- Screenervraag toevoegen gesproken? vraag mist V28. Was de CIZ medewerker beleefd tegen u? Nee Schaal bejegening; 36,6% mv; inter-item corr >0,70 Niet meer verplicht volgend Handboek CQI top 10 minst belangrijk overlap met de andere bejegening-items Ja Maakt deel uit van schaal Bejegening, op advies van de begeleidingscommissie handhaven Nee Nee V29. Luisterde de CIZ medewerker aandachtig naar u? V30. Had de CIZ medewerker genoeg tijd voor u? V31. Nam de CIZ medewerker u serieus? V32. Leefde de CIZ medewerker zich in uw situatie/de situatie van de cliënt in? Schaal bejegening; 37% mv; inter-item corr >0,70 top 10 meest belangrijk Schaal bejegening; 37,3% mv; inter-item corr >0,70 Belangscore 3,34 Eruit wegens overlap met andere bejegenings-items of behouden ivm belang Schaal bejegening; 37,8% mv; inter-item corr >0,70; top 10 meest belangrijk Schaal bejegening; 37,8% mv; inter-item corr >0,70 top 10 meest belangrijk Ja Maakt deel uit van schaal Bejegening Ja Maakt deel uit van schaal Bejegening, op advies van de begeleidingscommissie handhaven Ja Maakt deel uit van schaal Bejegening Ja Maakt deel uit van schaal Bejegening Nee Nee Nee Nee Tabel Deskundigheid item bijzonderheden Handhaven? Aanpassen formulering? V33. Had de CIZ medewerker voldoende kennis over de ziekte/aandoening van u/de cliënt? Schaal deskundigheid; 37,5% mv; inter-item corr >0,70 top 10 meest belangrijk Ja Maakt deel uit van schaal Deskundigheid Nee V34. Had de CIZ medewerker voldoende kennis over de beperkingen die horen bij de ziekte/aandoening van u/de cliënt? Schaal deskundigheid; 37,4% mv; inter-item corr >0,70 top 10 meest belangrijk Ja Maakt deel uit van schaal Deskundigheid Nee CQ-index Indicatiestelling AWBZ 52

55 V35. Vroeg de CIZ medewerker door totdat de hulpvraag echt duidelijk was? V36. Stond de CIZ medewerker voldoende open voor dingen die u belangrijk vindt in uw leven/de cliënt belangrijk vindt in zijn/haar leven? Schaal deskundigheid; 38% mv; en alpha (iets) hoger als item deleted top 10 meest belangrijk Schaal deskundigheid; 38% mv; inter-item corr >0,70 top 10 meest belangrijk Ja Maakt deel uit van schaal Deskundigheid Ja Maakt deel uit van schaal Deskundigheid Nee Nee Tabel Bereikbaarheid item bijzonderheden Handhaven? Aanpassen formulering? V37. Was het een probleem om de adresgegevens van het CIZ te vinden? Schaal bereikbaarheid top 10 minst belangrijk Ja Maakt deel uit van schaal Bereikbaarheid Ja V38. Was het een probleem om het CIZ telefonisch te bereiken? V39. Reageerde het CIZ snel op uw vragen? Schaal doortesten: α=0,688 Schaal bereikbaarheid Schaal bereikbaarheid Ja Maakt deel uit van schaal Bereikbaarheid Ja Maakt deel uit van schaal Bereikbaarheid Nee Ja, gelijke antwoordcategorieën als beide andere items in deze schaal Tabel Regie/keuzemogelijkheid item bijzonderheden Handhaven? Aanpassen formulering? V40. Plande het CIZ samen met u en/of cliënt de afspraken voor indicatiestelling? schaal regie; 11,6% mv Ja, als los item handhaven:. Inhoudelijk relevant. Samenhang met andere schalen relatief laag. Screenervraag invoegen: heeft het CIZ een afspraak gemaakt?. Andere plaats in de vragenlijst Tabel Algemene waardering item bijzonderheden Handhaven? Aanpassen formulering? V41. rapportcijfer evaluatievraag Ja Nee Ja, naam schaal aanpassen in maken van afspraken Tabel Achtergrondkenmerken zorgaanvrager item bijzonderheden Handhaven? Aanpassen formulering? V42. Gezondheid Standaard CQ-vraag Ja Nee V43. Leeftijd Standaard CQ-vraag Ja Nee V44. Geslacht Standaard CQ-vraag Ja Nee V45. Opleiding Standaard CQ-vraag Ja Nee V46. Geboorteland resp Standaard CQ-vraag Ja Nee V47. Geboorteland vader Standaard CQ-vraag Ja Nee V48. Geboorteland moeder Standaard CQ-vraag Ja Nee V49. welke taal spreekt u Standaard CQ-vraag Ja Nee thuis het meest? V50. Heeft iemand geholpen Standaard CQ-vraag Ja Nee met invullen van de vragenlijst? V51. Hoe bent u geholpen? Standaard CQ-vraag Ja Nee V52. Wat zou u willen veranderen aan de indicatiestelling? Open vraag Ja Nee CQ-index Indicatiestelling AWBZ 53

56 8.3 Conclusie De eerste versie van de CQ-CIZ bestond uit 52 vragen. In samenspraak met de begeleidingsgroep is besloten geen vragen uit de nieuwe versie te verwijderen. Afgesproken wijzigingen die zijn doorgevoerd: - twee nieuwe (screener)vragen zijn toegevoegd (onder de koppen bejegening en maken van afspraken, voorheen regie/keuzemogelijkheid ); - zoveel mogelijk ja/nee (dichotome) variabelen zijn veranderd in meerdere antwoordcategorieën; - enkele vragen zijn geherformuleerd; - enkele antwoordcategorieën zijn toegevoegd. Twee schalen (Bereikbaarheid en Indicatiebesluit) dienen verder getest te worden, omdat de α van deze schalen aan de zwakke kant is en dus een geringe betrouwbaarheid heeft. Misschien dat verandering van antwoordcategorieën de betrouwbaarheid verhoogt. De aangepaste vragenlijst is opgenomen in bijlage 7. CQ-index Indicatiestelling AWBZ 54

57 9 Conclusies en aanbevelingen Hieronder worden enkele conclusies en aanbevelingen beschreven. Daarin zijn de adviezen van de begeleidingsgroep, de CIZ-werkgroep en de WAR verwerkt. De CQI Indicatiestelling AWBZ is een valide instrument om de ervaringen van cliënten van het CIZ te meten. De vragenlijst heeft goede psychometrische eigenschappen en bestaat uit een aantal betrouwbare schalen. Hiermee kunnen de ervaringen van zorgaanvragers op betrouwbare wijze in kaart worden gebracht. Ook het discriminerend vermogen van de vragenlijst is onderzocht, dit bleek onvoldoende. De verschillen tussen de units zijn relatief klein en zijn slechts voor een klein deel toe te schrijven aan verschillen tussen de units. Het grootste deel is toe te schrijven aan verschillen tussen de individuele zorgaanvragers. Nader onderzoek, op basis van een grotere groep respondenten, is nodig om het discriminerend vermogen verder te toetsen. Vooralsnog kan de CQI derhalve niet worden gebruikt om CIZ-units met elkaar te vergelijken. Vanwege bovenstaande is de CQI Indicatiestelling AWBZ vooral geschikt voor kwaliteitsverbetering en monitoringsinformatie voor afzonderlijke CIZ units en voor het CIZ als geheel. Voor het CIZ als geheel kunnen daarbij ook de ervaringen van verschillende groepen zorgaanvragers worden vergeleken, mits de groepen groot genoeg zijn. Ook is het mogelijk de vragenlijst te gebruiken voor algemene externe verantwoording. De vragenlijst omvat alle onderwerpen die in 2011 van belang waren voor cliënten die bij het CIZ een indicatie hebben aangevraagd. Dit is het resultaat van het ontwikkeltraject van de vragenlijst, waarbij in de kwalitatieve fase verschillende inhoudsdeskundigen betrokken zijn. Individuele en groepsinterviews met zorgaanvragers en vertegenwoordigers vanuit cliëntenorganisaties vormen de basis. Aan hen is zowel gevraagd wat zij belangrijk vinden bij de indicatiestelling, als welk belang zij hechten aan de verschillende kwaliteitsaspecten. Gedurende de verdere ontwikkelfase heeft zowel een begeleidingsgroep als een werkgroep vanuit het CIZ het proces kritisch gevolgd en input geleverd. Wij adviseren, op basis van het t ontwikkeltraject, de vragenlijst niet verder in te korten. Wel is het aan te bevelen om de vragenlijst voorafgaand aan nieuwe metingen te actualiseren. Veranderingen in de AWBZ en in bijbehorende wet- en regelgeving kunnen van invloed zijn op de vergelijkbaarheid bij vervolgmetingen. Denk daarbij aan de verschuiving van cliënten van AWBZ naar WMO of aan de verlenging van indicaties voor de AWBZ. Een kritische beschouwing van de steekproefsamenstelling is daarom essentieel. Bij het vaststellen van de gewenste omvang en samenstelling van de steekproef is verder van belang om nauw aan te sluiten bij de verbeterinformatie die gewenst is, op CIZtotaalniveau en op het niveau van de units. In dit onderzoek zijn verschillen (al dan niet significant) gevonden in de ervaringen van te onderscheiden groepen indicatieaanvragers. Het gaat dan bijvoorbeeld om zorgaanvragers vanuit verschillende grondslagen, verschillende procedures die het CIZ volgt bij de indicatiestelling, en om verschillen in de ervaringen van aanvragers die een positief dan wel een negatief indicatiebesluit hebben ontvangen. Afhankelijk van de gewenste informatie over verschillende ervaringen in deze groepen, zal een evenredige verdeling in de steekproef van deze (of andere) groepen moeten plaatsvinden. Ook kan het onderzoek gericht worden op specifieke doelgroepen. In dit onderzoek kwamen groepen naar voren die, in vergelijking met andere groepen, minder goede ervaringen hadden bij de indicatiestelling. Dergelijk meer specifiek gericht onderzoek biedt de beste mogelijkheden om verbeterpunten te achterhalen en gericht beleid te voeren. CQ-index Indicatiestelling AWBZ 55

58 Ook is van belang om periodiek te checken of de kwaliteitsaspecten, die onderdeel uitmaken van de CQI Indicatiestelling AWBZ nog steeds van belang zijn voor cliënten en/of dat er vanuit het cliëntperspectief wellicht nieuwe kwaliteitsaspecten toegevoegd moeten worden. Omdat de prioriteiten van mensen relatief stabiel zijn in de tijd hoeft dit niet bij elke jaarlijkse of tweejaarlijkse meting te gebeuren. Op een aantal punten zijn verdere verbeteringen mogelijk van de CQI Indicatiestelling AWBZ en de procedure die wordt gevolgd bij de afname van de vragenlijst. Ten eerste geldt dat de psychometrische eigenschappen van de nu aangepaste vragenlijst (bijlage 7) bij een volgende meting opnieuw onderzocht moeten worden. Dit doortesten kan dan vooral worden gericht op de items en schalen die nu het predicaat doortesten hebben gekregen. Speciale aandacht daarbij verdienen ook de afzonderlijke items die zijn aangepast qua formulering en/of antwoordcategorieën. Daarnaast is het belangrijk dat bij vervolgmetingen van de ervaringen van zorgvragers met de indicatiestelling AWBZ de resultaten kunnen worden gebaseerd op meer respondenten. De respons in dit onderzoek was niet hoog. Hij was voldoende om statistische bewerkingen uit te voeren, maar te laag om verschillen tussen CIZ-units aan te tonen. Het aantal respondenten kan worden verhoogd door meer vragenlijsten (per unit) te versturen (zie ook paragraaf 6.3), maar ook veranderingen in de procedure van de vragenlijstafname kunnen mogelijk een bijdrage leveren aan een hogere respons. Meer specifiek: - Het verkorten van de tijdsspanne tussen indicatieaanvraag en het ontvangen van een vragenlijst. In dit onderzoek besloeg dit een lange(re) periode. Dit is waarschijnlijk de reden voor een hoge non-respons geweest. - De verzending van de vragenlijst en begeleidende brief is in dit onderzoek vooraf gegaan door een vooraankondiging van het onderzoek per brief aan de 4545 mensen uit de steekproef. Aan hen is gevraagd een strook terug te sturen als zij niet wilden deelnemen aan het onderzoek. In het onderzoek ontstond een grote nonrespons na deze vooraankondiging. Na overleg met het CKZ is besloten dat deze vooraankondiging in de toekomst kan vervallen. Voorwaarde is dan wel dat de algemene informatievoorziening op orde is: het lijkt voldoende om tekst over klantwaarderingsonderzoek op te nemen op de website, in nieuwsbrieven of informatiefolders. In principe kunnen mensen dus weten dat het CIZ hen de vraag kan stellen mee te doen aan een klantervaringsonderzoek. - Ook kan mogelijk de tekst van de begeleidende brief nog wervender worden gemaakt. Bij onderzoek dat specifieker gericht is op bepaalde doelgroepen biedt dit extra mogelijkheden. Tenslotte is in dit onderzoek een verwaarloosbaar aantal vragenlijsten via internet ingevuld. Wij pleiten er desondanks voor om bij toekomstige metingen de vragenlijst mixed-mode (dus schriftelijk en online) aan te bieden, daar de behoefte hieraan zal groeien, omdat steeds meer onderzoeken online plaatsvinden en dit kostenbesparend is. CQ-index Indicatiestelling AWBZ 56

59 LITERATUUR Bloemendaal, I., Kleefstra, S., Strikwerda, D. Ervaringen van zorgvragers met de indicatiestelling door het CIZ. Cliëntwaarderingsonderzoek Kiwa Prismant, Utrecht, Carey en Seibert, A. Patient survey system to measure quality improvement: questionnaire reliability and validity, Medical Care, volume 31, no 9 (1993) Cattell, R.B. The scree test for the number of factors(1966) Centrum indicatiestelling zorg (CIZ) -CIZ-Indicatiewijzer, -AWBZ-zorg aanvragen, hoe regelt u dat? CIZ, april Het indicatiebesluit. CIZ, april Beleidsmonitor Eerste halfjaar CIZ, februari, AWBZ in beweging. Het CIZ beweegt mee. Jaarverslag CIZ, mei Vernieuwing indicatiestelling AWBZ. CIZ, van uitvoerder naar toezichthouder. Dillman D.A. Mail and internet surveys: the tailored design method. New York: John Wiley & Sons, 2000 Floyd F.J., Widaman K.F. Factor analysis in the development and refinement of clinical assessment instruments. Psychol assess, 7: (1995) Gezamenlijke cliëntenorganisaties: CG-Raad, LOC, CSO, PlatformVG, Mezzo, Landelijk platform GGz, Per Saldo, NPCF. Kwaliteitsdocument Indicatiestelling. Oktober Hekkert K.D., S. Cihangir, S.M. Kleefstra, B. van den Berg, R.B. Kool. Patient satisfaction revisited: A multilevel approach. In: Social Science & Medicine 69 (2009), p Jedeloo, S. en Schrijvers, G. Landelijk Klanttevredenheidsonderzoek CIZ onder AWBZzorgaanvragers.Julius Centrum/UMC Utrecht, Utrecht Nunnally, J.C. en Bernstein I.H. Psychometric Theory, New York: McGraw-Hill(1978). Kaiser, H.F.The application of electronic computers to factor analysis(1960) Nispen, R.M.A. van, Sixma, H.J., Kerkstra, A. Kwaliteit van de indicatiestelling door RIO s vanuit cliënten perspectief. Ontwikkeling van een meetinstrument. Nivel, Nispen, R.M.A. van, Sixma, H.J., Kerkstra, A. Kwaliteit van de indicatiestelling door RIO s vanuit cliënten perspectief. Ontwikkeling van kwaliteitscriteria. Nivel, NOOM, Netwerk van Organisaties van Oudere Migranten. Samen uit, samen thuis. Cliënten monitor Langdurige Zorg. Onderzoek naar de gevolgen van de pakketmaatregelen AWBZ voor oudere migranten die gebruik maken van dagactiviteiten. Bureau Brom, Capelle aan den IJssel, Noordhuizen, B., Vijfwinkel, D., Hollander, M.L., Berdowski, Z., Beleidsdoorlichting indicatiestelling AWBZ, Periode Research voor Beleid, Zoetermeer, CQ-index Indicatiestelling AWBZ 57

60 Ros, W. en Schrijvers, G. Landelijk klanttevredenheidsonderzoek CIZ onder AWBZzorgvragers Julius Centrum/UMC Utrecht, Schrijvers, A. J. P., Jedeloo, S., Jorg, F., Hoogerduijn, J.G. Rio, het jongste kind groeit op. Eindrapport van de evaluatie van het Zorgindicatiebesluit Julius Centrum/UMC Utrecht, Utrecht, Sixma, H. J., Campen, C. van, Kerssens, J. J., Peters L. Onderzoekprogramma kwaliteit van zorg: de QUOTE vragenlijsten: kwaliteit van zorg vanuit patiënten perspectief: vier nieuwe meetinstrumenten. Utrecht/Den Haag: NIVEL/Ministerie VWS, 1998a. Sixma, H.J. Hendriks, M., Boer, D. de, Delnoij, D.M.J. Handboek CQI Ontwikkeling: richtlijnen en voorschriften voor de ontwikkeling van een CQI meetinstrument. Utrecht: NIVEL, Sixma, H.J., Kerssens, J.J., Campe, C. van, Peters, L. Quality of care from the patients' perspective: from theoretical concept to a new measuring instrument. Health Expect, 1998b; 1(2): Snijders, A.B., and Bosker, J. 2 nd Edition MULTILEVEL ANALYSIS: An Introduction to Basic and Advanced Multilevel Modeling. Sage, London, VWS. Beleidsregels AWBZ en Zorgindicatiebesluiten2010, 2011 en htttp://wetten.overheid.nl/bwbr /geldigheidsdatum_ Zaslavsky, A.M. Issues in case-mix adjustment of measures of the quality of health plans. Proceedings, Government and Social Statistics Sections. American Statistical Association. Alexandria, VA, CQ-index Indicatiestelling AWBZ 58

61 Bijlage 1 Begeleidingsgroep Deelnemers aan de begeleidingsgroep CQI voor Indicatiestelling AWBZ Dhr. M. (Marthijn) Laterveer plaatsvervangend directeur LOC LOC, Zeggenschap in zorg Mevr. D. (Dorien) Kloosterman beleidsmedewerker Platform VG Dhr. M.G.A. (Marcel) de Krosse Dhr. drs. A. (Alfons) Nederkoorn manager Beleid & Juridische Zaken beleidsmedewerker klantenperspectief Centrum Indicatiestelling Zorg (CIZ) Centrum Klantervaring Zorg (CKZ) Mevr. W. (Wietske) Oegema beleidsmedewerker Mezzo, Landelijke Vereniging voor Mantelzorgers en Vrijwilligerszorg Dhr. F. (Frans) van der Pas Mevr. S. (Siska) de Rijke (tot ) Mevr. H.W.A. (Henny) Vermolen-van Gerwen Mevr. A. (Anneke) van der Vlist Mevr. S. (Sjenny) Winters (tot 1/1/2012) Mevr. S. (Sorien) Kleefstra (vanaf 1/1/2012) Mevr. A. (Ineke) Bloemendaal medewerker collectieve belangenbehartiging en voorlichting beleidsmedewerker Zorg vicevoorzitter LPGGz senior beleidsmedewerker Zorg, Welzijn, Wonen projectleider tot 1/1/2012 senior onderzoeker senior onderzoeker/adviseur projectleider vanaf 1/1/ 2012 Per Saldo, vereniging van mensen met een persoonsgebonden budget CG-Raad Landelijk Platform GGz (LPGGz) Centrale Samenwerkende Ouderenorganisaties (CSO) Kiwa Prismant Kiwa Prismant Kiwa Prismant CQ-index Indicatiestelling AWBZ 59

62 CQ-index Indicatiestelling AWBZ 60

63 Bijlage 2 Topiclijst Topiclijst voor de focusgroepbijeenkomsten Topiclijst: Interviews over kwaliteit van de Indicatiestelling (AWBZ) Informatie en voorlichting over: - de indicatieprocedure (aanvraag, indicatiestelling, vervolg) - procedure rond herindicaties - zelfindicatie - PGB/ZiN - andere zorgvormen dan aangevraagd - klachtenprocedure - bezwaarprocedure - wat te doen na het besluit - mogelijke rol familie/mantelzorgers - mogelijkheden mantelzorgondersteuning - inhoud en achtergrond van het indicatiebesluit - wie heeft de aanvraag gedaan (aanbieder, CIZ) Communicatie/Kwaliteit informatieoverdracht - begrijpelijkheid van de informatie (mondeling, schriftelijk, website) - formulieren zijn begrijpelijk en goed in te vullen - geen tegenstrijdige informatie - telefonisch indiceren ipv persoonlijk gesprek Toegankelijkheid/bereikbaarheid - aanwezigheid 1 loket - toegankelijkheid loket - toegankelijkheid website ook voor mensen met een beperking? - telefonische bereikbaarheid Snelheid/wachttijd - snelheid beantwoording telefonische vragen - aantal keren doorverbinden - snelheid reageren op s - wachttijd aanvraag-beslissing gewone aanvraag - wachttijd bij spoedaanvraag - doorlooptijd van aanvraag tot indicatiebesluit Integraal - cliënt verstrekt één keer gegevens Bejegening/relationeel - vriendelijkheid - beleefd/respectvol - aandachtig luisteren - open staan (vragen, kritiek) - betrokkenheid/interesse in cliënt - geduldig / voldoende tijd nemen - gelijkwaardigheid - ruimte voor gevoelens - rekening houden met wensen - ruimte om mee te beslissen - afspraken nakomen - wijze waarop familie/verwanten/ mantelzorgers gehoord worden Deskundigheid - medewerker kan vragen beantwoorden - geeft de hulp of raad die u nodig had - heeft kennis van doelgroepen (aandoeningen) en hulpvraag - heeft kennis van mogelijkheden en grenzen voor mantelzorgers - kan situatie van de cliënt goed inschatten - betrekken sociale omgeving van de cliënt - houdt rekening met beperkingen/ mogelijkheden van de cliënt - cliënt ervaart een oplossing voor zijn probleem Zelfbeschikking/autonomie - bij aanvraag wensen naar voren kunnen brengen - er wordt rekening gehouden met persoonlijke situatie - familie/mantelzorgers worden betrokken als cliënt dat wenst - inzien eigen indicatiedossier Onafhankelijkheid - objectief informeren over PGB/ZiN - onafhankelijk van het budget indiceren CQ-index Indicatiestelling AWBZ 61

64 CQ-index Indicatiestelling AWBZ 62

65 Bijlage 3 Kwaliteitsaspecten interviews Kwaliteitsaspecten genoemd door deelnemers aan de focusgroepbijeenkomsten FG1 FG2 FG3 1. Informatie en voorlichting over: a. telefonisch contact na de indicatiestelling over besluit X X X b. conceptbeslissing is anders dan is afgesproken X c. informatie staat in de indicatiewijzer X d. de informatie is toegankelijk (ook in gesproken taal en braille) X X e. informatie over waar heb ik recht op heb X f. informatie/transparantie over hoe men tot het besluit is gekomen, X X X g. voorlichting over hoe de toekomst in z n werk gaat X h. duidelijkheid over verlengen van indicatie na een jaar/ de duur van de indicatie X X i. informatie over wat het CIZ doet, praktische werkwijze van CIZ X X X j. informatie sluit aan bij zorgvraag cliënt X X k. keuze-informatie komt bij cliënt terecht X l. indicatiewijzer is een te dik boekwerk, brieven te lang, X X m. informatie over gebruikelijke zorg/minuten aftrek voor gebruikelijke zorg X X n. aanvraagformulieren geven voldoende diepte over zorgvraag, gedetailleerder aanvraagformulier X X o. informatie over wat er gevraagd is en wat er gegeven is en de redenen daarvoor X X X p. de informatie is begrijpelijk X q. bevestigingen van ontvangst en wijzigingen ook naar cliënten en mantelzorgers X X r. wat er allemaal vergoed kan worden (ook respijtzorg) X s. info over keuze ZiN /PGB X t. duidelijker aangeven waar je kunt aangeven wat je aanvaagt/nodig hebt X u. info over beleidswijzigingen tov vorige indicatie X 2. Communicatie/Kwaliteit van de informatieoverdracht a. telefonisch worden er vragen gesteld, terwijl huisbezoek vereist is X X CQ-index Indicatiestelling AWBZ 63

66 b. transparantie over criteria X X X c. indicatiewijzer leesbaarder maken X X X d. overleg over de indicatiestelling met cliënt X X e. bellen met een 0900 nummer kost veel geld X f. jeugdjournaalniveau: leesbaar, simpel taalgebruik informatie X g. bellen op tijdstip dat het niet uitkomt, telefonische afspraak plannen X X h. bij (her) indicatie door instelling controleren of cliënt/ouders/voogd op de hoogte zijn X X X i. toegankelijke informatie, geen jargon in besluit X X X j. niet telefonisch indiceren X X k. informatie ongelijkheid tussen cliënt en CIZ X l. de black box van indicatiestelling openbreken X X m. overal een medisch bewijs voor een aandoening nodig X X n. bij wijziging van de indicatie cliënt op de hoogte stellen X o. wel telefonisch herindiceren als de situatie gelijk is gebleven X p. website moeilijk om alles te vinden X q. mogelijkheid bieden om te bellen voor verdere uitleg/commentaar X r. voorlichting is te algemeen, moet specifieker X 3. Toegankelijkheid/bereikbaarheid a. door gebrek aan mankracht of tijdgebrek geen huisbezoek X b. afspraak wordt eenzijdig door CIZ gepland, kan je niet dreiging dat indicatie vertraagd wordt X c. bereikbaarheid is goed X d. geen mogelijkheid tot gebruik van X X e. wordt u teruggebeld door de juiste persoon X X X f. aangetekende brieven komen niet op juiste afdeling X g. taxatieschaal geeft transparantie in zorgvraag voor cliënt en CIZ X h. waar moet je voor welke informatie zijn/bij wie moet ik zijn voor wat X i. moeilijk om formulieren juist in te vullen (ook met juiste woorden) X X X j. website biedt voldoende informatie X k. website niet voor alle doelgroepen X X l. fysieke toegankelijkheid CIZ-kantoor X m. adequate info over wanneer juiste persoon wel bereikbaar is X CQ-index Indicatiestelling AWBZ 64

67 4. Snelheid/wachttijd a. lange bezwaarprocedure X b. steeds doorverbinden/ snel contact met juiste persoon X X c. afspraken samen plannen voorkomt verzetten en vertragen X d. wachttijd tot indicatiebeslissing duurt te lang X X X e. herindicaties kunnen sneller (bv blind=blind, dat verandert niet) X X f. onduidelijkheid over hoe lang de besluitvorming duurt X X g. spoedindicatie snel geregeld X X h. lang wachten op reactie op mails, telefonische vragen en brieven/ helderheid over de wachttijd X X i. snellere beslissing bij sommige wijzigingen (verhuizing) X 5. Integraal a. steeds opnieuw het verhaal moeten vertellen of opnieuw gegevens aanleveren X X X b. nadere info door specialisten/andere deskundigen raadplegen X X X c. CIZ moet onderzoek doen bij de zorgaanbieder X d. bij CIZ alle aanvragen kunnen doen, samenhang CIZ-WMO X X e. bij CIZ informatie krijgen over waar je met andere ondersteuningsvragen terecht kunt X 6. Bejegening/relationeel a. vast contactpersoon bij het CIZ X X X b. inlevingsvermogen in de persoon, empathie, begrip situatie cliënt X X X c. hulp bieden door het CIZ bij indicatiestellen, bij hulpvraagverduidelijking, bij gebruik juiste woorden X X X d. afstand voelen X e. aanvragen uit naam van de cliënt zonder dat ze het weten X f. schaamte voor de zorgvraag X X g. doorvragen, niet invullen X X X h. afhankelijkheidsrelatie X X i. respectvol omgaan met cliënt X X X j. gevoel van een ongelijke strijd X k. indicatie vertraagt als een telefonische afspraak niet uitkomt/represaille als het niet uitkomt X l. mogelijkheid om te wisselen van een vast contactpersoon X m. niet voor vol aangezien worden als cliënt /serieus nemen X X X n. de menselijkheid is zoek X CQ-index Indicatiestelling AWBZ 65

68 o. niet steeds opnieuw moeten bewijzen dat aandoeningen nog aanwezig zijn (vertrouwen) X X p. luisteren naar de cliënt, niet invullen X X q. letten op de cliënt/zorgdragen voor de cliënt X r. machtspositie van het CIZ ten opzichte van de cliënt X s. gelijkwaardigheid X t. de nadruk wordt gelegd op wat men niet meer kan en niet op wat men nog wel kan, negatief X X u. aanwezigheid van mantelzorger bij indicatiegesprek X X v. voldoende tijd voor de cliënt/mantelzorger X w. maatwerk: rekening houden met specifieke wensen/behoeften van cliënt X x. interesse in de cliënt, meedenken X X y. aansluiten bij taalgebruik cliënt X z. bij telefoongesprekken duidelijke doelstelling noemen (herindicatie) X 7. Deskundigheid a. op de juiste manier de zorgvraag in kaart brengen/wat heeft iemand nodig aan zorg/ indiceren op hulpvraag/deskundigheid over wat de cliënt mankeert b. samenwerken met behandelaars bepalen wat de cliënt wel/niet kan, ook gebruikmaken van expertise zorgverleners c. samen met de mantelzorger afstemmen wat de cliënt wel/niet kan, ook kijken wat heeft mantelzorger nodig d. doorvragen bij cliënten die minder taalvaardig zijn e. consequenties voor de mantelzorger in kaart brengen/rekening houden met grenzen van mantelzorg f. informatieverstrekking/deskundigheid verschilt per CIZ-medewerker, niet uniform g. kennis van specifieke ziekten met bijbehorende zorgbehoefte h. de indicatie aanpassen wanneer de situatie wijzigt i. indiceren welke zorg nodig is, niet welke zorg er al geleverd wordt j. het aanvraagformulier geeft geen inzicht in wat een cliënt nu echt nodig heeft k. indicatiestellers moeten weten welke informatie je wel/niet aan cliënten met een bepaald ziektebeeld (dementie of GGZ) moet stellen l. de CIZ medewerker moet loskomen van het vaste vragenlijstje van activiteiten. Als de zorg niet in het lijstje staat, wordt het niet geïndiceerd. m. CIZ-medewerker moet gevoel hebben voor onderscheid tussen aandikkers en onderaanvragers n. indicatieprocedure kiezen die past bij de complexiteit van de problematiek o. uitgaan van beperkingen ipv diagnose X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X CQ-index Indicatiestelling AWBZ 66

69 p. kennis hebben van dossier cliënt (ziekte- en indicatiegeschiedenis) q. gespecialiseerde CIZ medewerkers X X 8. Zelfbeschikking/autonomie a. invloed hebben op de aanvraag X X b. invloed hebben op de afspraak voor (her)indicatiestelling X X X c. zelf bellen om een afspraak te maken in plaats van een afspraak opgelegd krijgen X d. keuze hebben tussen telefonische indicatie of huisbezoek X X e. keuze mondelinge schriftelijke aanvraag X f. recht om aanvraag te komen toelichten X 9. Onafhankelijkheid a. onafhankelijk indiceren X X b. los van geld indiceren X X c. objectief indiceren /transparantie in indicatie X X X d. indiceren onafhankelijk van mantelzorg X X e. houdt rekening met het feit dat de relatie tussen CIZ en cliënt een afhankelijkheidsrelatie is f. uniformiteit over regio s 10. Overig a. als cliënt moet je de juiste terminologie kennen (essentiële woorden) om snel en de juiste indicatie te krijgen/woordenspel X X X X X b. door de privacywet mag niet iedereen in de gegevens kijken X c. voorafgaand aan de aanvraag: waar kun je waarvoor terecht: door CIZ of niet X d. hulpvraagverduidelijking door CIZ of niet? X X e. verschil in bejegening, afhankelijk van de hoedanigheid van waaruit je belt X CQ-index Indicatiestelling AWBZ 67

70 CQ-index Indicatiestelling AWBZ 68

71 Bijlage 4 Ervaringenvragenlijst CQ-index Indicatiestelling AWBZ 69

72 CQ-index Indicatiestelling AWBZ 70

73 CQ-index Indicatiestelling AWBZ 71

74 CQ-index Indicatiestelling AWBZ 72

75 CQ-index Indicatiestelling AWBZ 73

76 CQ-index Indicatiestelling AWBZ 74

77 CQ-index Indicatiestelling AWBZ 75

78 CQ-index Indicatiestelling AWBZ 76

79 CQ-index Indicatiestelling AWBZ 77

80 CQ-index Indicatiestelling AWBZ 78

81 Bijlage 5 Belangvragenlijst Vragenlijst Belang van kwaliteitsaspecten bij de indicatiestelling door het CIZ CQ-Index Indicatiestelling AWBZ Centrum Indicatiestelling Zorg (CIZ) versie 0.3 Deze specifieke vragenlijst is gebaseerd op de internationaal gebruikte CAHPS vragenlijsten. De vragenlijst is ontwikkeld door Kiwa Prismant. CQ-index Indicatiestelling AWBZ 79

82 CQ-index Indicatiestelling AWBZ 80

83 CQ-index Indicatiestelling AWBZ 81

84 CQ-index Indicatiestelling AWBZ 82

85 CQ-index Indicatiestelling AWBZ 83

86 CQ-index Indicatiestelling AWBZ 84

87 CQ-index Indicatiestelling AWBZ 85

88 CQ-index Indicatiestelling AWBZ 86

89 CQ-index Indicatiestelling AWBZ 87

90 CQ-index Indicatiestelling AWBZ 88

91 Bijlage 6 Resultaten Belangvragenlijst Nr Vraag Score Informatie en Communicatie 6 U voldoende informatie heeft over hoe u de aanvraag kunt doen? 3,09 7 Informatie heeft over hoe lang het duurt van aanvraag tot indicatiebesluit? 3,10 8 De informatie die u krijgt past bij uw zorgvraag / de zorgvraag van de cliënt? 3,24 9 De schriftelijke informatie van het CIZ (folders, brieven, internet) begrijpelijk is voor u? 3,04 10 De CIZ medewerker u zaken op een begrijpelijke manier uitlegt? 3,28 11 De CIZ medewerker u geen tegenstrijdige informatie geeft? 3,40 Procedure Indicatiestelling 12 Het aanvraagformulier voldoende mogelijkheid biedt om de zorgvraag goed aan te 3,30 geven? 13 De CIZ medewerker met u meedenkt om de vraag helder te krijgen? 3,23 14 De CIZ medewerker bij de (her)indicatie duidelijk het doel van het gesprek noemt? 3,23 15 Het duidelijk is dat familie/mantelzorgers een rol kunnen spelen in de aanvraagprocedure? 3,03 16 De CIZ medewerker rekening houdt met de mogelijkheden en grenzen van de mantelzorger? 3,26 17 De indicatie objectief ingesteld is? 3,34 18 De wachttijd tussen aanvraag en indicatiebesluit acceptabel is? 3,28 20 De indicatieprocedure (telefonisch gesprek, huisbezoek of geen van beide) past bij de 3,20 zorgvraag? 21 U geen gegevens moet geven of invullen die al bekend zijn bij het CIZ? 3,03 Indicatiebesluit 23 Het uit het indicatiebesluit duidelijk is op welke zorg u / de cliënt recht heeft? 3,52 24 Het voor u duidelijk is hoe het CIZ tot dit besluit gekomen is? 3,26 25 Het voor u duidelijk is wat u moet doen om zorg te krijgen, nadat u de brief met het 3,38 indicatiebesluit heeft gekregen? 26 U weet dat het CIZ kunt bellen voor uitleg over het indicatiebesluit? 3,18 Bejegening 28 De CIZ medewerker beleefd is tegen u? 3,18 29 De CIZ medewerker aandachtig naar u luistert? 3,40 30 De CIZ medewerker genoeg tijd voor u heeft? 3,34 31 De CIZ medewerker u serieus neemt? 3,45 32 De CIZ medewerker zich in uw situatie / de situatie van de cliënt inleeft? 3,44 Deskundigheid van de CIZ medewerker 33 De CIZ medewerker voldoende kennis heeft over de ziekte / aandoening van u / de 3,41 cliënt? 34 De CIZ medewerker voldoende kennis heeft over de beperkingen die horen bij de 3,48 ziekte / aandoening van u / de cliënt? 35 De CIZ medewerker doorvraagt totdat de hulpvraag echt duidelijk is? 3,44 36 De CIZ medewerker voldoende open staat voor dingen die u belangrijk vindt in uw 3,43 leven / de cliënt belangrijk vindt in zijn / haar leven? Bereikbaarheid 37 De adresgegevens van het CIZ gemakkelijk te vinden zijn? 3,09 38 Het CIZ gemakkelijk telefonisch bereikbaar is? 3,21 39 Het CIZ snel reageert op uw vragen? 3,32 Regie 40 Het CIZ samen met u en/of de cliënt de afspraken voor indicatiestelling plant? 3,17 CQ-index Indicatiestelling AWBZ 89

92 CQ-index Indicatiestelling AWBZ 90

93 Bijlage 7 Aangepaste vragenlijst CQ-index Indicatiestelling AWBZ 91

94 CQ-index Indicatiestelling AWBZ 92

95 CQ-index Indicatiestelling AWBZ 93

96 CQ-index Indicatiestelling AWBZ 94

97 CQ-index Indicatiestelling AWBZ 95

98 CQ-index Indicatiestelling AWBZ 96

99 CQ-index Indicatiestelling AWBZ 97

100 CQ-index Indicatiestelling AWBZ 98