Het oordeel van leden van cliëntenraden over de kwaliteit van dienstverlening van de Landelijke Organisatie Cliëntenraden (LOC)

Dit rapport is een uitgave van het NIVEL. De gegevens mogen worden gebruikt met bronvermelding. Het oordeel van leden van cliëntenraden over de kwaliteit van dienstverlening van de Landelijke Organisatie Cliëntenraden (LOC) Meetinstrumentontwikkeling Malou van Greuningen Jany Rademakers NIVEL, Netherlands Institute for Health Services Research Postbus 1568, 3500 BN Utrecht, the Netherlands U vindt dit rapport en andere publicaties van het NIVEL in PDF-format op: www.nivel.nl

ISBN 978-90-6905-904-4 http://www.nivel.nl nivel@nivel.nl Telefoon 030 2 729 700 Fax 030 2 729 729 2008 NIVEL, Postbus 1568, 3500 BN UTRECHT Niets uit deze uitgave mag worden verveelvoudigd en/of openbaar gemaakt worden door middel van druk, fotokopie, microfilm of op welke andere wijze dan ook zonder voorafgaande schriftelijke toestemming van het NIVEL te Utrecht. Het gebruik van cijfers en/of tekst als toelichting of ondersteuning in artikelen, boeken en scripties is toegestaan, mits de bron duidelijk wordt vermeld.

Inhoud Managementsamenvatting 5 1 Inleiding 7 1.1 Achtergrond 7 1.2 Organisaties die cliëntenraden ondersteunen 8 1.3 Onderzoek naar de dienstverlening van de LOC 8 1.4 Indeling rapport 9 2 Opzet van het onderzoek 11 2.1 Doelstelling en onderzoeksvragen 11 2.2 Projectgroep 11 2.3 Ontwikkeling van de vragenlijst 11 2.3.1 Literatuurstudie en bestaande vragenlijsten 12 2.3.2 Focusgroepsgesprekken 12 2.3.3 Constructie/vorm meetinstrument 13 2.4 Methode van onderzoek 15 2.4.1 Steekproeftrekking 15 2.4.2 Dataverzameling 16 2.4.3 Analyses 17 2.5 Resultaten psychometrische analyses 18 2.5.1 Itemanalyses 19 2.5.2 Inter-itemanalyses 22 2.5.3 Schaalconstructie en betrouwbaarheidsanalyse 22 2.5.4 Face validity 26 3 Resultaten 29 3.1 Respons en achtergrondkenmerken 29 3.1.1 Ervaringenlijst 29 3.1.2 Belangenlijst 30 3.2 Non-respons analyse 31 3.3 Achtergrondkenmerken van de cliëntenraden 32 3.4 Resultaten Ervaringenlijst 35 3.5 Resultaten Belangenlijst 63 3.6 Verbeterscores 69 3.7 Koesterpunten 72 4 Samenvatting en aanbevelingen psychometrische analyses 75 4.1 Samenvatting 75 4.1.1 Resultaten ervaringenlijst 75 4.1.2 Resultaten belangenlijst 77 Oordeel leden cliëntenraden over kwaliteit dienstverlening van LOC, NIVEL 2008 3

4.1.3 Koesterpunten 78 4.1.4 Verbeterpunten 78 4.2 Aanbevelingen psychometrische analyses 79 4.2.1 Overweging bij verwijdering items 79 Literatuur 83 Bijlagen: Bijlage 1 Verslag focusgroepsgesprekken oktober/november 2007 85 Bijlage 2 Vragenlijst Ervaringen 91 Bijlage 3 Vragenlijst Belangen 111 Bijlage 4 Gemiddelde belangscores 115 Bijlage 5 Open vragen 119 4 Oordeel leden cliëntenraden over kwaliteit dienstverlening van LOC, NIVEL 2008

Managementsamenvatting Het onderzoek naar het oordeel van leden van cliëntenraden over de kwaliteit van dienstverlening van de Landelijke Organisatie Cliëntenraden (LOC) had twee doelen: 1 de ontwikkeling van een betrouwbaar meetinstrument voor het meten van de kwaliteit van dienstverlening van de LOC vanuit het perspectief van hun klanten: de aangesloten cliëntenraden; en 2 het oordeel van leden van cliëntenraden over de dienstverlening die de LOC aanbiedt en de belangenbehartiging waar zij zich voor inzet in kaart brengen. Het meetinstrument Het project heeft geresulteerd in een goed en bruikbaar instrument voor het meten van de kwaliteit van dienstverlening van de LOC vanuit het perspectief van de cliëntenraden. Het instrument bestaat uit de volgende onderdelen: introductie, schriftelijke informatie, werk van de regioadviseur, bijeenkomsten en scholing, media en communicatie, belangenbehartiging, bereikbaarheid en toegankelijkheid, hoofdkantoor van de LOC, juridische bijstand, algemeen oordeel, verbetering vragenlijst en achtergrondgegevens van de cliëntenraad. In de lijst konden zeven schalen (samenhangende sets van vragen) worden onderscheiden, met een voldoende tot (zeer) goede betrouwbaarheid. Met enkele inhoudelijke aanpassingen is de lijst ook geschikt voor gebruik door andere organisaties die cliëntenraden ondersteunen of diensten verlenen aan specifieke groepen patiënten en cliënten. Bij de ontwikkeling van het meetinstrument is aangesloten bij de systematiek van de Consumer Quality (CQ-) index. Daarin wordt onderscheid gemaakt tussen het belang dat mensen hechten aan bepaalde aspecten of onderdelen van de dienstverlening en de ervaringen die zij er mee hebben. Op basis van een combinatie van deze gegevens kan worden berekend welke aspecten voor verbetering vatbaar zijn of - aan de andere kant - wat er goed gaat in de dienstverlening. Het oordeel van cliëntenraden over de kwaliteit van dienstverlening en de belangenbehartiging De cliëntenraden geven de LOC een gemiddeld rapportcijfer van een 7,3. Cliëntenraden in verpleeghuizen geven gemiddeld het hoogste cijfer (7,7) en raden in de thuiszorg het laagste cijfer (6,7). Het merendeel van de cliëntenraden (93%) vindt dat ze voldoende informatie krijgen van de LOC over de verschillende vormen van dienstverlening. Tweederde van de cliëntenraden (67%) is het er mee eens dat de vraag naar diensten en het aanbod ervan goed op elkaar aansluiten. Een kwart van de cliëntenraden heeft het idee dat er te veel diensten worden aangeboden ten opzichte van de vraag. Ook vinden cliëntenraden het soms moeilijk de juiste informatie te selecteren uit het gehele aanbod. Oordeel leden cliëntenraden over kwaliteit dienstverlening van LOC, NIVEL 2008 5

Bereikbaarheid en service De bereikbaarheid van het hoofdkantoor, de Vraagbaak en de regioadviseur zijn goed tot zeer goed. Van de cliëntenraden heeft 30% contact gehad met medewerkers van het hoofdkantoor. Vrijwel iedereen vond de medewerkers vakkundig en gaf aan er vertrouwen in te hebben. De manier waarop leden van cliëntenraden zich behandeld voelen door medewerkers van de LOC is één van de sterke punten van de dienstverlening, die verder geen verbetering behoeft. Informatie en communicatie De schriftelijke informatie is het best bekend bij cliëntenraden. Vrijwel iedereen kent het tijdschrift Cliënt&Raad en het wordt ook veel gelezen (83%). Nieuwsbrieven, brochures en het handboek zijn allemaal bij meer dan 85% van de raden bekend. De brochure Meepraten over verantwoorde zorg werd het meest gebruikt. Ongeveer de helft van de cliëntenraden vindt de informatie uit de brochures meestal of altijd zinvol. De cliëntenraden vinden het heel belangrijk dat het tijdschrift, de brochures en de nieuwsbrieven begrijpelijk zijn. Volgens hun ervaring is dit ook zo: de begrijpelijkheid van de nieuwsbrieven, het tijdschrift en de Vraagbaak is goed. Ook de regioadviseur geniet een grote bekendheid (81%). Ongeveer twee derde van de cliëntenraden heeft contact gehad met de regioadviseur. De vragen die zij hadden werden door de regioadviseur (meestal/altijd) snel en adequaat beantwoord. De website en de Vraagbaak zijn maar bij ongeveer een derde van de raden bekend en worden ook niet vaak bezocht of gebruikt. Degenen die gebruik gemaakt hebben van de Vraagbaak waren er wel tevreden over: volgens 90% werden hun vragen meestal of altijd op een adequate manier beantwoord. De begrijpelijkheid van de website zou beter kunnen. Mogelijk speelt hier mee dat de oudere doelgroep van de LOC (nog) minder gewend is aan het gebruik van computers. Bijeenkomsten en scholing Twee derde van de cliëntenraden (66%) bezoekt de thema- en netwerkbijeenkomsten (ROC s). Van de cursus voor nieuwe leden, het Jaarcongres en landelijke studiedagen wordt heel weinig gebruik gemaakt, door slechts één op de zes à zeven raden. Het jaarcongres wordt als minst belangrijke activiteit gezien. Ook andere bijeenkomsten en cursussen (landelijke studiedagen, netwerkbijeenkomsten en cursus voor nieuwe leden) worden niet als belangrijke diensten van de LOC beschouwd. Dit komt overeen met het weinig frequente gebruik van deze diensten. Belangenbehartiging Naast de dienstverlening doet de LOC ook aan belangenbehartiging. Driekwart (75%) van de cliëntenraden is op de hoogte van het feit dat landelijke belangenbehartiging één van de taken van de LOC is. Voor veel van deze cliëntenraden is het effect daarvan echter niet goed waarneembaar: ongeveer vier op de tien raden (43%) vindt dat deze belangenbehartiging nooit heeft bijgedragen aan een betere positie van de raad en de achterban. Ook over de effecten van regionale belangenbehartiging zijn de raden niet positief. Een betere bekendheid met de (landelijke) belangenbehartiging en - als gevolg daarvan - een positieverbetering voor de raden en hun achterban zijn een duidelijk verbeterpunt. 6 Oordeel leden cliëntenraden over kwaliteit dienstverlening van LOC, NIVEL 2008

1 Inleiding 1.1 Achtergrond In 1996 werd de Wet Medezeggenschap Cliënten Zorginstellingen (WMCZ, 1996) ingevoerd. Het doel van deze wet is het bevorderen van medezeggenschap van cliënten van instellingen op het terrein van de maatschappelijke zorg en de gezondheidszorg. De medezeggenschap heeft vorm gekregen door middel van een cliëntenraad, die in elke zorginstelling aanwezig moet zijn. Er zijn verschillende soorten cliëntenraden; dit kan verschillen van sector tot sector. In geval van de sector verpleging en verzorging, thuiszorg en welzijn, waar we ons in het huidige onderzoek op hebben gericht, zijn er twee soorten cliëntenraden: op lokaal en op centraal niveau. Het merendeel van de cliëntenraden in de VV&T sector betreft een lokale cliëntenraad, die zich bezig houdt met zaken op locatieniveau. Daarnaast is er vaak ook een centrale cliëntenraad, die de taak heeft om de gezamenlijke belangen van de cliënten in de gehele stichting te behartigen. Er kunnen dus meerdere cliëntenraden in één stichting actief zijn. Een cliëntenraad zorgt ervoor dat de belangen van de cliënten van de zorginstelling behartigd worden. Om dit mogelijk te maken zijn een aantal grondrechten in de wet opgenomen. Deze grondrechten hebben betrekking op het werk van een cliëntenraad en op het contact tussen de cliëntenraad en de Raad van Bestuur of de directie van de instelling waarin de cliëntenraad werkzaam is. De rechten zijn hieronder kort beschreven: 1 Het recht op informatie. De cliëntenraad heeft informatie nodig over het beleid van de instelling om mee te kunnen praten over dit beleid. De zorgaanbieder is verplicht de benodigde informatie te verstrekken. 2 Het recht op overleg. Een cliëntenraad heeft recht op regelmatig overleg met de Raad van Bestuur om informatie uit te wisselen en eventuele problemen aan te kaarten. De afspraken hierover worden vastgelegd in een samenwerkingsovereenkomst. 3 Het recht om te adviseren. De cliëntenraad mag gevraagd en ongevraagd advies uitbrengen over alle onderwerpen die voor cliënten van belang zijn. Er zijn in de wet vastgelegde onderwerpen waarover de directie de cliëntenraad altijd moet raadplegen. Dit is het verzwaard adviesrecht. Hiervoor gelden speciale bevoegdheden. 4 Bindende voordracht bestuurslid. De cliëntenraad kan invloed uitoefenen op de samenstelling van het bestuur van de instelling. Zij mag ten minste één persoon voordragen als bestuurslid. Voorbeelden van zaken waar cliëntenraden invloed op uit kunnen oefenen zijn bijvoorbeeld een verandering in de doelstelling van de instelling, de begroting en jaarrekening, en beleid op het gebied van veiligheid, gezondheid en hygiëne (Baan, 2006; De Savornin Lohman et al., 2000; www.loc.nl). Oordeel leden cliëntenraden over kwaliteit dienstverlening van LOC, NIVEL 2008 7

1.2 Organisaties die cliëntenraden ondersteunen In Nederland bestaan verschillende soorten organisaties die als doel hebben cliëntenraden in hun activiteiten te ondersteunen en hen de benodigde informatie aan te reiken. Tegelijkertijd behartigen zij ook de belangen van cliëntenraden en hun achterban bij overheden, verzekeraars en (koepels van) zorgorganisaties. Deze organisaties vertegenwoordigen meestal een specifiek onderdeel van de zorg waarin cliëntenraden actief zijn. De grootste organisatie van cliëntenraden is de LOC-LPR. Deze organisatie is ontstaan na een fusie begin 2008 van de LOC (Landelijke Organisatie Cliëntenraden) en de LPR (belangenorganisatie cliënten GGz). Bij deze nieuwe organisatie zijn 2200 cliëntenraden en commissies aangesloten uit de sectoren verpleging en verzorging, thuiszorg, welzijn, geestelijke gezondheidszorg, verslavingszorg en maatschappelijke opvang. Het onderzoek bij de LOC, dat in dit rapport beschreven wordt, is gestart vóór 1 januari 2008, wat betekent dat er alleen cliëntenraden uit de verpleging en verzorging en welzijn zijn opgenomen in het onderzoek. Andere organisaties zijn het LSR, landelijk steunpunt medezeggenschap en Kansplus/ VraagRaak. Het LSR biedt ondersteuning aan ca. 400 cliëntenraden en behartigt de belangen van de cliëntenraden en cliënten op het gebied van verstandelijk en lichamelijk gehandicaptenzorg en de curatieve zorg. Kansplus/VraagRaak is het steunpunt medezeggenschap in de zorg voor mensen met een verstandelijke beperking. Er zijn 90 regionale ledengroepen en 60 familieverenigingen rond instellingen aangesloten bij Kansplus. 1.3 Onderzoek naar de dienstverlening van de LOC Enkele jaren geleden heeft de LOC onderzoek laten doen naar de wensen en behoeften van haar leden en naar de kwaliteit van haar dienstverlening (Baan, 2006). In 2007 wilde de LOC dit klantonderzoek onder haar leden herhalen. Ook wilde de organisatie weten welke aspecten van de dienstverlening door de cliëntenraden als meest belangrijk worden ervaren. Omdat dit onderzoek betrekking heeft op het jaar 2007, is dit onderzoek uitsluitend gericht op cliëntenraden in de VV&T sector. Wel werd bij de aanvang van het onderzoek besloten dat ten behoeve van het onderzoek een instrument ontwikkeld zou worden dat met minimale aanpassingen ook geschikt zou zijn voor klantonderzoek bij andere organisaties die cliëntenraden ondersteunen. De diensten zoals aangeboden door de LOC zijn zeer uiteenlopend. Er zijn een aantal betaalde medewerkers ( ca. 29 fte) waarvan een gedeelte in het land werkt als regioadviseur. Naast de regioadviseurs bestaat de dienstverlening uit informatievoorziening (tijdschrift Cliënt&Raad, brochures, nieuwsbrieven, de website) en bijeenkomsten en scholing (netwerkbijeenkomsten (ROC s), themabijeenkomsten, cursussen). Ook biedt de LOC de mogelijkheid van ondersteuning bij twee verschillende procedures: de procedure van de Landelijke Commissie van Vertrouwenslieden (LCvV) en de enquêteprocedure. Verder houdt zij zich bezig met de belangenbehartiging van 8 Oordeel leden cliëntenraden over kwaliteit dienstverlening van LOC, NIVEL 2008

cliëntenraden en hun achterban bij overheden, verzekeraars en (koepels van) zorgorganisaties. Bij de meetinstrumentontwikkeling is gekozen om aan te sluiten bij de systematiek van de Consumer Quality (CQ)-index. Deze systematiek is ontwikkeld om de kwaliteit va dienstverlening van zorgverzekeraars en zorgaanbieders in kaart te brengen, maar wordt in dit project overgenomen om ervaringen van (leden van) cliëntenraden met de LOC te meten. Een belangrijke reden voor deze keuze is het feit dat bij de CQ-index niet wordt gevraagd naar tevredenheid, maar naar feitelijke ervaringen. Tevredenheid is namelijk een multidimensioneel begrip, dat zowel wensen en verwachtingen als feitelijke ervaringen en het belang dat mensen daaraan toekennen omvat. Bij het meten van het klantperspectief op kwaliteit van zorg en dienstverlening is het van belang dat deze aspecten worden onderscheiden (Zastowny et al., 1995; Sixma et al., 1998). In de CQindex systematiek wordt dit onderscheid gemaakt. Ervaringen van cliënten (en hun algemene oordeel daarover) en wat mensen belangrijk vinden wordt in twee verschillende vragenlijsten gevraagd. In dit onderzoek naar de dienstverlening door de LOC betekent dat dat (leden van) cliëntenraden enerzijds gevraagd wordt naar hun ervaringen met de verschillende diensten die de LOC aanbiedt en anderzijds naar wat zij belangrijk vinden in deze dienstverlening. Door de antwoorden op deze vragen te combineren is het mogelijk om sterke en zwakke punten in de dienstverlening in kaart te brengen, gebaseerd op wat de cliëntenraden belangrijk vinden. Dit geeft concrete aanknopingspunten voor (eventuele) kwaliteitsverbetering van de dienstverlening. In hoofdstuk 2 zal nader worden ingegaan op de procedure die gevolgd is bij de meetinstrumentontwikkeling. Belangrijk is wel om aan te geven dat niet alle fasen van een officieel CQ-index traject zijn doorlopen. Daarbij dient in de laatste fase het discriminerend vermogen van het instrument te worden vastgesteld. In dit onderzoek is er echter geen sprake van een vergelijking van verschillende aanbieders, noch zal dat in de toekomst een doel zijn: cliëntenraden kunnen immers niet kiezen tussen verschillende organisaties. Verder gaat het in dit onderzoek niet om kwaliteit van zorg, het kernthema van de CQ-index. Om beide redenen zal het instrument dan ook niet formeel als CQindex goedgekeurd kunnen worden. 1.4 Indeling rapport Naast dit inleidende hoofdstuk bestaat het rapport uit nog drie andere hoofdstukken. In hoofdstuk 2 zal dieper ingegaan worden op de ontwikkeling van de vragenlijst en de onderzoeksmethode (dataverzameling, statistische analyses). In hoofdstuk 3 zullen de resultaten van het onderzoek besproken worden. In hoofdstuk 4 zal een samenvatting worden gegeven en aanbevelingen worden gedaan naar aanleiding van de psychometrische analyses. In de bijlage is een exemplaar van het meetinstrument bijgevoegd. Oordeel leden cliëntenraden over kwaliteit dienstverlening van LOC, NIVEL 2008 9

10 Oordeel leden cliëntenraden over kwaliteit dienstverlening van LOC, NIVEL 2008

2 Opzet van het onderzoek 2.1 Doelstelling en onderzoeksvragen Het doel van dit onderzoek is de ontwikkeling van een vragenlijst voor het meten van kwaliteit van de dienstverlening van de LOC vanuit het perspectief van hun klanten: de aangesloten cliëntenraden. De resultaten van de meting met deze vragenlijst zullen een beeld geven van het oordeel van (leden van) cliëntenraden over de dienstverlening die de LOC aanbiedt en de belangenbehartiging waar zij zich voor inzet. Het onderzoek werd begeleid door een projectgroep. Het onderzoek geeft antwoord op de volgende onderzoeksvragen: 1 Welke aspecten kunnen worden onderscheiden aan de dienstverlening van de LOC? 2 Wat is het belang dat cliëntenraden aan deze aspecten hechten? 3 Wat zijn de feitelijke ervaringen van cliëntenraden met deze aspecten? 2.2 Projectgroep Bij de ontwikkeling van het meetinstrument is vanaf het begin af aan rekening gehouden met de mogelijkheid om deze vragenlijst ook binnen andere patiënten/cliëntenorganisaties toe te gaan passen. Om deze reden was de projectgroep samengesteld uit vertegenwoordigers van verschillende organisaties, te weten de LOC, het LSR, de LPR, de NPCF en Kansplus. De vragenlijst is in samenwerking met deze projectgroep tot stand gekomen. De projectgroep is in vier keer bij elkaar gekomen. Tijdens elke bijeenkomst werd een deel uit de loop van het onderzoek besproken: de inhoud en thema s van de focusgroepsgesprekken, de conceptvragenlijst en het conceptrapport. 2.3 Ontwikkeling van de vragenlijst Voor de constructie van de vragenlijst is het volgende traject doorlopen: a focusgroepsgesprekken met cliëntenraadsleden die aangesloten zijn bij de LOC; b constructie van een meetinstrument op basis van de focusgroepsgesprekken, bestaande vragenlijsten en literatuur. Oordeel leden cliëntenraden over kwaliteit dienstverlening van LOC, NIVEL 2008 11

2.3.1 Literatuurstudie en bestaande vragenlijsten De conceptvragenlijst is opgesteld aan de hand van onder andere een literatuurstudie en bestaande vragenlijsten. De bestaande vragenlijsten die gebruikt zijn om thema s voor de huidige vragenlijst samen te stellen zijn a) de enquête die bij eerder onderzoek door de LOC is gebruikt (Baan, 2006) voor de inhoudelijke thema s en b) bestaande CQ-index vragenlijsten, zoals de CQ-index mammacare, voor de algemene thema s en de vorm van de vraagstelling. Tijdens de literatuurstudie is gezocht naar Nederlandse en buitenlandse artikelen en rapporten over cliënten-, patiënten- en familieraden en is het CQ-index handboek (Sixma et al., 2007) gebruikt. Voor de samenstelling van de thema s van de vragenlijst hebben wij ons vooral gericht op de informatie over de dienstverlening van de LOC zelf. 2.3.2 Focusgroepsgesprekken Om vast te stellen wat volgens de (leden van) cliëntenraden belangrijke aspecten zijn van de dienstverlening van de LOC, zijn twee focusgroepsgesprekken gehouden met mensen die lid zijn van een cliëntenraad die aangesloten is bij de LOC. Voor de groepsgesprekken is een stappenplan gevolgd conform de beschrijving van Assema et al. (1992) en de globale uitgangspunten van Morgan (1998). Deelnemers aan de groepsgesprekken werden geworven door een uitnodigingsbrief te versturen naar 100 verschillende cliëntenraden uit het adressenbestand van de LOC. In de uitnodigingsbrief werd beschreven wat de inhoud en het doel van de groepsgesprekken zouden zijn. De deelnemers ontvingen als dank voor hun bijdrage aan de gesprekken een irischeque en een presentje in de vorm van chocolade. Ook ontvingen zij een reiskostenvergoeding. Respons en achtergrondkenmerken Voor de gesprekken hadden 18 personen zich aangemeld om mee te doen. Hiervan heeft de helft van de personen afgezegd of is uiteindelijk niet gekomen. In hebben dus negen mensen deelgenomen aan de focusgroepsgesprekken (n=3 en n=6). De deelnemers aan het gesprek vulden aan het begin een korte vragenlijst in met een paar vragen over henzelf en over de achtergrondkenmerken van de cliëntenraad waar zij deel van uitmaakten. De leeftijd van de deelnemers liep uiteen van 65 jaar tot 86 jaar en de gemiddelde leeftijd van de deelnemers was 75 (SD=8). Er namen ongeveer evenveel mannen als vrouwen deel aan de groepsgesprekken. Uit de gegevens die de deelnemers hebben ingevuld, bleek dat de deelnemers allen gepensioneerd waren en dat ze middelbaar tot hoog opgeleid waren. De helft van de deelnemers was zelf cliënt in de instelling waarin hun cliëntenraad actief is, één deelnemer was familie van een cliënt in de instelling en de rest was van buiten de instelling aangetrokken. Het merendeel van de cliëntenraden waar de deelnemers deel van uitmaakten werkt in een instelling die actief is op verschillende gebieden in de zorg (bijvoorbeeld zowel thuiszorg als verpleeghuiszorg). De helft van de raden was een lokale raad, één was een centrale raad en de rest noemde verschillende antwoorden tegelijk. De 12 Oordeel leden cliëntenraden over kwaliteit dienstverlening van LOC, NIVEL 2008

meeste raden hadden zes of minder cliëntenraden binnen de instelling, één deelnemer gaf aan dat er elf cliëntenraden binnen de instelling actief waren. De meeste deelnemers aan het groepsgesprek waren niet op de hoogte van het jaar van oprichting van hun cliëntenraad. Tabel 2.1 Achtergrondkenmerken deelnemers focusgroepsgesprekken n groep I groep II 3 6 9 Leeftijd gem. 77 [67-86] gem. 74 [65-86] gem. 75 [65-86] Geslacht: man vrouw 2 1 2 4 4 5 Verloop en analyse De groepsgesprekken werden geleid door een onderzoeker met assistentie van een andere onderzoeker. De gespreksleider had als taak het gesprek te structureren, door te vragen als zaken onduidelijk waren, alle deelnemers zoveel mogelijk te betrekken bij het gesprek en de inhoud van de gesprekken af te bakenen. De bijeenkomsten duurden maximaal 2 uur, met zo nodig een korte pauze. Beide groepsgesprekken zijn na goedkeuring van de deelnemers opgenomen op geluidsband. Er werd begonnen met een openingsvraag, waarop de deelnemers mochten reageren nadat ze er even over nagedacht hadden. De openingsvraag was: Wat zijn uw ervaringen met de dienstverlening van de LOC? Noem drie positieve en drie negatieve (minder goede/wat beter kan) ervaringen met de dienstverlening. De groepsgesprekken zijn volledig uitgetypt, waarna de uitwerkingen zijn geanalyseerd op positieve en negatieve ervaringen met de dienstverlening van de LOC. Ook zijn de suggesties die de deelnemers deden over verbetering van bepaalde aspecten van de dienstverlening opgeschreven. De positieve punten, negatieve punten en suggesties zijn ingedeeld naar de thema s die ook in de focusgroepsgesprekken al werden gehanteerd: collectieve informatie (zoals brochures, Cliënt&Raad, bijeenkomsten), ondersteuning voor de eigen cliëntenraad (bijvoorbeeld door de regioadviseur), contact met andere cliëntenraden, scholing en belangenbehartiging. Nadat het verslag over de focusgroepsgesprekken was geschreven, heeft de tweede onderzoeker de inhoud van het verslag gecontroleerd. Het complete verslag is na te lezen in bijlage 1. 2.3.3 Constructie/vorm meetinstrument Zoals hierboven is te lezen, is de vragenlijst opgesteld aan de hand van thema s die naar voren zijn gekomen in bestaande vragenlijsten, literatuur en de focusgroepsgesprekken Oordeel leden cliëntenraden over kwaliteit dienstverlening van LOC, NIVEL 2008 13

met leden van cliëntenraden. Bij de constructie van de vragenlijst is gestreefd naar het aanhouden van de CQ-index richtlijnen (Handboek CQ-index meetinstrumenten, Sixma et al., 2007), waar dit mogelijk was. De conceptvragenlijst is voorgelegd aan de projectgroep. Naar aanleiding van dit overleg is het meetinstrument aangepast zoals hieronder is te lezen. Ervaringenlijst De ervaringenlijst Het oordeel van cliëntenraden over de kwaliteit van dienstverlening van de LOC bestaat uit 122 vragen. De ervaringenlijst is op de volgende manier ingedeeld in thema s: - Introductie (bekendheid diensten, voldoende informatie, 3 vragen). - Schriftelijke informatie (handboek, brochures, tijdschrift, nieuwsbrieven, hoeveelheid informatie, selecteren juiste informatie, 18 vragen). - Werk van de regioadviseur (adequaatheid, snelheid, bejegening, begrijpelijkheid, adviesbezoeken, 10 vragen). - Bijeenkomsten en scholing (netwerkbijeenkomsten, jaarcongres, themabijeenkomsten, cursus nieuwe leden, landelijke studiedagen, dienstverlening op maat, verslagen, contact met andere cliëntenraden, zelf suggesties doen voor bijeenkomsten, 33 vragen). - Media en communicatie (website, Vraagbaak (adequaatheid, snelheid, bejegening, begrijpelijkheid), 12 vragen). - Belangenbehartiging (regionaal en landelijk, 5 vragen). - Bereikbaarheid en toegankelijkheid (telefonische bereikbaarheid, bereikbaarheid per e-mail, fysieke bereikbaarheid, bereikbaarheid en tijdtippen bijeenkomsten, 9 vragen). - Hoofdkantoor van de LOC (bejegening door medewerkers, begrijpelijkheid medewerkers, bereikbaarheid specifieke personen, snelheid, tegenstrijdige informatie, 11 vragen). - Juridische bijstand (Landelijke Commissie van Vertrouwenslieden, enquêteprocedure, 2 vragen). - Algemeen oordeel (prijs-kwaliteit verhouding, vraag-aanbod, rapportcijfer, 6 vragen). - Verbetering vragenlijst (3 vragen). - Over uw cliëntenraad (9 vragen). In de ervaringenlijst wordt gebruik gemaakt van de volgende soort vragen: - screenervragen: deze vragen moeten door iedereen ingevuld worden en dienen om te bepalen of vervolgvragen op een persoon van toepassing zijn; - vragen die nagaan met welke frequentie aan bepaalde aspecten van de dienstverlening is voldaan. De antwoordcategorieën zijn nooit, soms, meestal en altijd ; - vragen die nagaan of cliëntenraden problemen hebben ervaren met een bepaald aspect van de dienstverlening. De antwoordcategorieën zijn een groot probleem, een klein probleem en geen probleem ; - vragen die nagaan of iets al dan niet gebeurd/gebruikt is. Hierbij zijn ja en nee de antwoordcategorieën (mogelijk ook met een keuze ja, namelijk. ); 14 Oordeel leden cliëntenraden over kwaliteit dienstverlening van LOC, NIVEL 2008

- vraag naar een waarderingscijfer, variërend van 0 slechtst mogelijk tot 10 best mogelijk ; - overige vragen met meerkeuze antwoordcategorieën; - open vragen. In bijlage 2 is de volledige ervaringenvragenlijst terug te vinden. Belangenlijst Items in de ervaringenlijst zijn geherformuleerd tot belangitems. In principe is voor elk kwaliteitsaspect in de ervaringenvragenlijst gevraagd hoe belangrijk men dit vindt. Sommige vragen zijn niet opgenomen in de belangenlijst, omdat zij niet goed te herformuleren waren tot een zinvolle belangvraag (vragen over zinvolheid en iets gemist bijvoorbeeld). In bevat de belangenlijst 71 vragen, die gesteld worden in de volgende vorm: Hoe belangrijk vindt u het dat - u informatie krijgt over de dienstverlening van de LOC? - de LOC een handboek heeft? De antwoordcategorieën van belangscores zijn van het allergrootste belang, belangrijk, eigenlijk wel belangrijk en niet belangrijk. De belangscores worden gebruikt om te zien welke aspecten van dienstverlening de cliëntenraden het belangrijkst vinden. Met behulp van de scores op de belangvragen kunnen verbeterscores worden berekend die zicht geven op de verbetermogelijkheden van de dienstverlening (zie paragraaf 2.4.3 en 3.6). In bijlage 3 is de volledige belangenlijst weergegeven. 2.4 Methode van onderzoek 2.4.1 Steekproeftrekking De LOC heeft leden uit verschillende soorten van zorginstellingen in haar ledenbestand: verpleeghuizen,,, thuiszorginstellingen en centrale cliëntenraden, die een overkoepelende functie hebben. Om bij de analyse van de data over alle groepen zinnige conclusies te kunnen trekken en om de antwoorden van de verschillende groepen te kunnen vergelijken, was er voor alle groepen een voldoende grote steekproef nodig. Om deze reden hebben we gekozen voor het trekken van een disproportioneel gestraficeerde aselecte steekproef. Dit wil zeggen dat uit elke groep apart een willekeurige steekproef is getrokken zonder dat de steekproef evenredig is aan de originele groepen. De steekproeven zijn, voor zover mogelijk, gelijk van grootte gehouden. Van cliëntenraden in de thuiszorg en de centrale cliëntenraden is daarom de gehele populatie in de steekproef betrokken. Op deze manier zijn de volgende steekproeven ontstaan: Oordeel leden cliëntenraden over kwaliteit dienstverlening van LOC, NIVEL 2008 15

Verzorgingshuizen 148 Verpleeghuizen 148 Aanleunwoningen 147 Thuiszorginstellingen 98 Centrale cliëntenraden 59 Aan de LOC is gevraagd een aselecte steekproef van bovenstaande getallen te trekken uit alle afzonderlijke groepen. Zij leverden de adresbestanden aan het NIVEL. De versturing van de vragenlijsten en de verzameling van de data verliep via het NIVEL. 2.4.2 Dataverzameling De ervaringenlijst en de belangenlijst zijn via het NIVEL verstuurd naar de adressen die beschikbaar zijn gesteld door de LOC. Hierbij werd een begeleidende brief meegestuurd door het NIVEL. Daarin stond onder andere wat het doel van het onderzoek was, hoe de anonimiteit van de respondenten gewaarborgd werd en hoe de onderzoeker te bereiken was. Elk adres waar de vragenlijsten naartoe zijn gestuurd was gekoppeld aan een uniek identificatienummer. Op deze manier kon in een bestand worden bijgehouden welke vragenlijsten geretourneerd waren zodat cliëntenraden niet onnodig een herinnering ontvingen. Dit bestand is na afloop van het onderzoek vernietigd om de anonimiteit van de respondenten niet in het geding te laten komen. In week 1 werd de vragenlijst met begeleidende brief naar alle adressen toegestuurd. In week 5 werd een herinneringsbrief gestuurd naar cliëntenraden die nog niet hadden gereageerd op een van beide vragenlijsten. Dit proces was dus van toepassing op zowel de ervaringenlijst als de belangenlijst. Aanvullende vragenlijsten De ervaringen- en belangenlijst zijn naar de contactpersonen toegezonden met het verzoek om hem in overleg met andere leden in te vullen, zodat de antwoorden de mening van de cliëntenraad als geheel, en niet die van één persoon die de vragenlijst invult, representeren. Het is echter voorstelbaar dat binnen cliëntenraden verschillen bestaan in de bekendheid met de LOC en de ervaringen met de geboden dienstverlening. Daarom is er aan de cliëntenraden gevraagd een lijst met namen en adressen van alle leden van hun cliëntenraad door te geven die de vragenlijsten ook zouden willen invullen. De vragenlijsten zijn vervolgens aan al deze leden individueel toegezonden. Helaas was de respons bij deze vragenlijsten niet zo hoog: in zijn er 50 aanvullende lijsten retour gezonden. Van de meeste cliëntenraden hadden slechts één of twee personen extra een vragenlijst ingevuld, zodat er nauwelijks antwoorden binnen een cliëntenraad konden worden vergeleken. Om deze redenen is er, in overleg met de projectgroep, voor gekozen om verder geen analyses te doen met deze aanvullende vragenlijsten. 16 Oordeel leden cliëntenraden over kwaliteit dienstverlening van LOC, NIVEL 2008

2.4.3 Analyses De ingevoerde vragenlijsten zijn verwerkt tot twee databestanden (ervaringenlijst en belangenlijst). In deze paragraaf worden de analyses besproken die zijn uitgevoerd in dit onderzoek. Opschoning databestanden Als voorbereiding op de data analyses werden de databestanden opgeschoond volgens de richtlijnen van de CQ Index (Handboek CQ-index meetinstrumenten, Sixma et al., 2007). Daarbij werden de volgende stappen uitgevoerd. Verwijderen van onterecht aangeschreven respondenten 1 Controle op dubbele vragenlijsten. Er werd nagekeken of er meerdere vragenlijsten met hetzelfde respondentnummer voorkwamen in de bestanden. Dit kon gebeuren doordat respondenten de vragenlijsten kopieerden voor andere leden van de cliëntenraad. Wanneer dit het geval was, werd gecontroleerd of hier sprake was van een aanvullende vragenlijst (met een extra nummer). Als dit het geval was werd het respondentnummer aangepast aan de hand van de ingevulde (papieren versie van de) vragenlijst. 2 Het antwoord op vraag 1 ( Is de cliëntenraad waar u lid van bent aangesloten bij de LOC? ) werd gecontroleerd. Wanneer iemand geen lid was, dan moest deze respondent worden verwijderd. Dit is niet voorgekomen. Verwijderen van vragenlijsten van bepaalde respondenten 1 Respondenten die de vragenlijst leeg retour hebben gestuurd werden verwijderd en apart gelegd voor de responsanalyse. 2 Respondenten die aangegeven hadden niet mee te willen doen werden verwijderd. Ook deze vragenlijsten werden bij voorbaat apart gehouden. Verwijderen van vragenlijsten voor inhoudelijke analyses Incomplete vragenlijsten werden verwijderd. Een vragenlijst is als incompleet gedefinieerd als de respondent minder dan 50% van de kernvragen (kernvragen zijn vragen die door alle respondenten beantwoord hadden moeten worden) heeft ingevuld. Schonen van selectie- en vervolgvragen Tot slot is gekeken of respondenten de skipinstructies bij de selectie- en vervolgvragen goed hadden opgevolgd. Bij deze vragen geldt dat de selectievraag leidend is. De antwoorden op de vervolgvragen van respondenten die op de doorverwijsvraag nee hebben geantwoord of op deze vraag een missende waarde had, zijn als missing gecodeerd. Data-analyses De opgeschoonde databestanden vormden vervolgens het uitgangspunt voor de verdere analyses gericht op het psychometrisch analyseren van de vragenlijst en het berekenen van de resultaten van de meting met de vragenlijst. Oordeel leden cliëntenraden over kwaliteit dienstverlening van LOC, NIVEL 2008 17

De psychometrische analyses zijn uitgevoerd om voor de toekomst een betrouwbaar meetinstrument te garanderen en dienden om: a te kijken naar de toepasbaarheid van de vragen; b te kijken naar de opbouw van het meetinstrument in de zin van thema s; c de stabiliteit en betrouwbaarheid van verschillende schalen vast te stellen. Ook werd vastgesteld of bepaalde belangrijke aspecten en/of thema s ontbreken (face validity). De volgende analyses werden uitgevoerd: - Itemanalyses (ervaringsvragen en belangvragen). Extreem verdeelde items (>90% van de antwoorden in extreme categorie), items met een hoge non-respons (>5% missende waarden) en items met een zeer lage gemiddelde belangscore komen in aanmerking om verwijderd te worden. - Inter-item analyses (ervaringsvragen). Items die een sterke onderlinge samenhang vertonen (Pearson s correlatie van r>0,70) komen in aanmerking om verwijderd te worden (één van de twee items zou verwijderd kunnen worden). - Factoranalyses (ervaringsvragen). Items die niet passen binnen bepaalde thema s of dimensies (factorlading van <0,40) komen in aanmerking om verwijderd te worden. - Betrouwbaarheidsanalyses (ervaringsvragen). Items die niet bijdragen aan de betrouwbaarheid van een schaal (Cronbach s alpha <0,70; ITC (Item Totaal Correlatie) <0,30) komen in aanmerking om verwijderd te worden. Om de resultaten van de meting met de vragenlijst te analyseren zijn de volgende analyses uitgevoerd: - Non-respons analyse: De respondenten zijn met de non-respondenten vergeleken met behulp van Chi-kwadraat (χ2) toetsen. De resultaten hiervan staan beschreven in hoofdstuk 3. - Beschrijvende analyses van ervaringen van respondenten, het belang dat zij hechten aan de verschillende kwaliteitsaspecten en de berekening van verbeterscores. De ervaringsscores zijn met behulp van frequentietabellen uiteengezet in hoofdstuk 3. Om te toetsen of er sprake was van een verschil tussen de verschillende typen cliëntenraden op items met een nominaal meetniveau is gebruik gemaakt van de χ2 toets. Om te toetsen of er sprake was van een verschil tussen de typen cliëntenraden op items met een ordinaal meetniveau is gebruik gemaakt van de Kruskall-Wallis toets (die eveneens in een χ2-waarde resulteert). Verschillen worden alleen besproken als zij significant (p <0,05) waren. Om tot belangscores te komen, zijn de gemiddelde scores per item berekend. De ervaringscores en de belangscores zijn gecombineerd tot verbeterscores door de fractie negatieve ervaringen van de ervaringsscores te vermenigvuldigen met de 50% hoogste belangscores (zie ook paragraaf 3.6). Verbeterscores geven aan welke aspecten van de dienstverlening in aanmerking komen voor verbetering. De resultaten van deze analyses staan beschreven in hoofdstuk 3. 2.5 Resultaten psychometrische analyses De analyses die in deze paragraaf worden beschreven dienen om de psychometrische kwaliteit van het meetinstrument vast te stellen. Op basis van deze kwaliteit wordt een 18 Oordeel leden cliëntenraden over kwaliteit dienstverlening van LOC, NIVEL 2008

aantal items geselecteerd waarvan moet worden overwogen of zij verwijderd kunnen en moeten worden uit de vragenlijst. Het al dan niet verwijderen van een item hangt af van: a de scheefheid van de antwoorden op het betreffende item; b de non-respons per item; c het belang dat respondenten hechten aan het betreffende aspect (resultaten hiervan in hoofdstuk 3); d de samenhang tussen bepaalde items; e het feit of het item schaalbaar is; f de suggesties van respondenten (face validity). 2.5.1 Itemanalyses Allereerst is de vragenlijst op itemniveau bekeken. Er moest gekeken worden naar de scheefheid van de verdeling van antwoorden op de ervaringsvragen, het aantal missende waarden per item en naar de hoogte van de belangscores (bij de belangenvragen). De scheefheid zegt iets over of een item groepen respondenten kan onderscheiden. De nonrespons zegt iets over het begrip van respondenten van het item en over de relevantie van het item. En door het gemiddelde van de belangscores vast te stellen (1 = niet belangrijk, 2 = eigenlijk wel belangrijk, 3 = belangrijk, 4 = van het allergrootste belang) wordt inzicht verkregen in de relevantie van de items. De items die zijn opgenomen in de tabellen 2.2 en 2.3 komen op basis van de itemanalyses in aanmerking voor verwijdering uit het meetinstrument. Er dient bij de overweging tot verwijdering echter wel rekening te worden gehouden met de functie die een item in de vragenlijst vervuld. Scheefheid per item De vuistregel wat betreft de scheefheid van de verdeling van antwoorden is dat vragen waarbij meer dan 90% van de mensen een extreme categorie heeft aangekruist te scheef verdeeld zijn. De ervaringen zijn dan zo weinig verschillend dat deze niet meer discrimineren tussen verschillende groepen respondenten. Indien een bepaalde screenervraag scheef verdeeld is, heeft het wellicht geen zin om de vervolgvragen te stellen en kunnen mogelijk alle betreffende items in aanmerking komen voor verwijdering. In dit soort gevallen zou echter ook inhoudelijk overwogen moeten worden of de items behouden moeten blijven. Van de items die scheef verdeeld bleken te zijn, staat een overzicht in tabel 2.2. Oordeel leden cliëntenraden over kwaliteit dienstverlening van LOC, NIVEL 2008 19

Tabel 2.2 item Items met een scheve verdeling van antwoorden (>90% in een extreme categorie) % extreme categorie 3 Heeft uw cliëntenraad in het afgelopen jaar voldoende informatie van de LOC gekregen over dienstverlening die zij kan bieden? 94% 'ja' 11 Heeft u het afgelopen jaar iets gemist in de brochures van de LOC? 94% 'nee' 14 In hoeverre is het een probleem geweest om het tijdschrift van de LOC te begrijpen? 18 In hoeverre is het een probleem geweest om de nieuwsbrieven van de LOC te begrijpen? 19 Heeft u het afgelopen jaar iets gemist in de nieuwsbrieven van de LOC? 93% 'nee' 93% 'geen probleem' 97% 'geen probleem' 28 In hoeverre is het een probleem voor u geweest om de regioadviseur te begrijpen? 92% 'geen probleem' 29 Heeft u het afgelopen jaar iets gemist in de ondersteuning door de regioadviseur? 90% 'nee' 34 In hoeverre was het een probleem om de inhoud van de netwerkbijeenkomsten van de LOC te begrijpen? 38 In hoeverre is het een probleem geweest om de inhoud van het jaarcongres van de LOC te begrijpen? 43 Heeft uw cliëntenraad het afgelopen jaar iets gemist in de themabijeenkomsten? 92% 'nee' 45 Als iemand uit uw cliëntenraad heeft deelgenomen aan de cursus voor nieuwe leden, is dit zinvol geweest voor het werk in de cliëntenraad? 92% 'geen probleem' 94% 'geen probleem' 96% 'ja' 47 Heeft u het afgelopen jaar iets gemist in de cursus voor nieuwe leden? 92% 'nee' 50 In hoeverre was het een probleem om de inhoud van de landelijke studiedagen te begrijpen? 53 Als uw cliëntenraad gebruik heeft gemaakt van dienstverlening op maat, was deze zinvol voor uw werk in de cliëntenraad? 54 In hoeverre was het een probleem om de inhoud van de dienstverlening op maat te begrijpen? 55 Heeft u iets gemist in de dienstverlening op maat die uw cliëntenraad in het afgelopen jaar heeft gehad? 98% 'geen probleem' 100% 'ja' 93% 'geen probleem' 100% 'nee' 60 Heeft u het afgelopen jaar iets gemist in de verslagen? 96% 'nee' 63 Heeft u het afgelopen jaar een bijdrage van de LOC gemist in het leggen van contact met andere cliëntenraden? 76 In hoeverre is het een probleem geweest om de medewerkers van de Vraagbaak te begrijpen? 83 In hoeverre is het een probleem geweest om het hoofdkantoor van de LOC telefonisch te bereiken? 94% 'nee' 96% 'geen probleem' 92% 'geen probleem' 84 In hoeverre is het een probleem geweest om de Vraagbaak telefonisch te bereiken? 91% 'geen probleem' 86 In hoeverre is het een probleem geweest om het hoofdkantoor van de LOC per e-mail te bereiken? 95% 'geen probleem' 87 In hoeverre is het een probleem geweest om de Vraagbaak per e-mail te bereiken? 94% 'geen probleem' 88 In hoeverre is het een probleem geweest om de regioadviseur per e-mail te bereiken? 98 In hoeverre is het een probleem geweest om de medewerkers op het hoofdkantoor van de LOC te begrijpen? 95% 'geen probleem' 98% 'geen probleem' 102 Hoe vaak gaven medewerkers van de LOC tegenstrijdige informatie? 92% 'nooit' 20 Oordeel leden cliëntenraden over kwaliteit dienstverlening van LOC, NIVEL 2008

Tabel 2.3 Items met meer dan 5% missende waarden item % missende waarden 7 Heeft u in het afgelopen jaar iets gemist in het handboek van de LOC? 7,0 11 Heeft u het afgelopen jaar iets gemist in de brochures van de LOC? 8,0 19 Heeft u het afgelopen jaar iets gemist in de nieuwsbrieven van de LOC? 8,0 27 Hoe vaak nam de regioadviseur de vraag van uw cliëntenraad serieus? 5,2 35 Heeft u het afgelopen jaar iets gemist in de netwerkbijeenkomsten? 7,4 39 Heeft u het afgelopen jaar iets gemist op het jaarcongres? 8,0 43 Heeft uw cliëntenraad het afgelopen jaar iets gemist in de themabijeenkomsten? 6,6 47 Heeft u het afgelopen jaar iets gemist in de cursus voor nieuwe leden? 5,9 49 Als iemand van uw cliëntenraad het afgelopen jaar landelijke studiedagen 8,7 bezocht, hoe vaak zijn deze dan zinvol geweest voor uw werk in de cliëntenraad? 50 In hoeverre was het een probleem om de inhoud van de landelijke studiedagen te 6,5 begrijpen? 51 Heeft u het afgelopen jaar iets gemist in de landelijke studiedagen? 13,0 59 Hoe vaak heeft uw cliëntenraad de verslagen zo snel als u wilde gekregen? 7,5 60 Heeft u het afgelopen jaar iets gemist in deze verslagen? 9,8 79 Hoe vaak heeft de regionale belangenbehartiging het afgelopen jaar bijgedragen 11,7 aan een betere positie voor uw cliëntenraad en achterban? 81 Hoe vaak heeft de landelijke belangenbehartiging het afgelopen jaar bijgedragen 10,7 aan een betere positie voor uw cliëntenraad en achterban? 82 Heeft u in het afgelopen jaar een onderwerp of thema gemist in de 13,1 belangenbehartiging waar de LOC in de toekomst meer aandacht aan zou moeten besteden? 95 Hoe vaak luisterden de medewerkers op het hoofdkantoor van de LOC aandachtig 5,8 naar u? 96 Hoe vaak besteedden de medewerkers op het hoofdkantoor van de LOC 8,1 voldoende tijd aan u? 97 Hoe vaak namen de medewerkers op het hoofdkantoor van de LOC u serieus? 7,0 98 In hoeverre is het een probleem geweest om de medewerkers op het hoofdkantoor 7,0 van de LOC te begrijpen? 99 In hoeverre is het een probleem om voor specifieke vragen bij de juiste persoon in 8,1 de LOC terecht te komen? 100 Hoe vaak wordt u teruggebeld als de persoon die u nodig heeft niet aanwezig is? 14,0 101 Hoe vaak wordt u zo snel als u wilt teruggebeld door de LOC? 14,0 102 Hoe vaak gaven medewerkers van de LOC tegenstrijdige informatie? 11,6 113 Wat vond u van de lengte van de vragenlijst? 8,6 Non-respons per item Als er een groot aantal missende waarden op een item is, kan dat betekenen dat de vraag niet goed begrepen wordt. Ook kan het zijn dat mensen geen ervaring hebben met het betreffende aspect. Om deze vragen te detecteren, is de regel aangehouden dat het Oordeel leden cliëntenraden over kwaliteit dienstverlening van LOC, NIVEL 2008 21

percentage missende waarden op een item niet hoger mag zijn dan 5%. De definitie van een missende waarde is hierbij dat het een onterecht niet-ingevuld item is, waarbij rekening wordt gehouden met de Screenervragen. De items in tabel 2.3 hadden meer dan 5% aan missende waarden. 2.5.2 Inter-itemanalyses Met behulp van inter-itemanalyses werd de samenhang tussen verschillende items bekeken. Als er een sterke samenhang is tussen twee verschillende items (een grote overlap in antwoorden op deze items) dan betekent dit dat de items geen eigen (unieke) bijdrage leveren aan de vragenlijst. Wanneer dit het geval is, dient men te overwegen of één van beide items uit de vragenlijst verwijderd zou kunnen worden. De samenhang tussen de items is berekend met behulp van Pearson s correlaties. De vuistregel is dat als Pearson s correlatie (r) groter is dan 0,70, één van beide items in aanmerking komt voor verwijdering uit de vragenlijst. In tabel 2.6 staan de items die onderling sterk correleren. Tabel 2.6 Items met sterke onderlinge correlatie (r >0,70) item Pearson's r 25 (aandachtig luisteren regioadviseur) 27 (serieus genomen door regioadviseur).77 26 (voldoende tijd regioadviseur) 27 (serieus genomen door regioadviseur).70 42 (begrijpelijkheid themabijeenkomsten 50 (begrijpelijkheid landelijke studiedagen).72 71 (vragen adequaat beantwoord door Vraagbaak) 72 (vragen snel beantwoord door.82 Vraagbaak) 71 (vragen adequaat beantwoord door Vraagbaak) 74 (voldoende tijd Vraagbaak).77 72 (vragen snel beantwoord door Vraagbaak) 74 (voldoende tijd Vraagbaak).74 73 (aandachtig luisteren Vraagbaak) 74 (voldoende tijd Vraagbaak).80 73 (aandachtig luisteren Vraagbaak) 75 (serieus genomen door Vraagbaak).70 74 (voldoende tijd Vraagbaak) 75 (serieus genomen door Vraagbaak).70 94 (vertrouwen in medewerkers LOC) 95 (aandachtig luisteren medewerkers LOC).77 94 (vertrouwen in medewerkers LOC) 97 (serieus genomen door medewerkers LOC).74 95 (aandachtig luisteren medewerkers LOC) 96 (voldoende tijd medewerkers LOC).73 95 (aandachtig luisteren medewerkers LOC) 97 (serieus genomen door medewerkers LOC).80 100 (hoe vaak teruggebeld 101 (hoe vaak snel teruggebeld).71 2.5.3 Schaalconstructie en betrouwbaarheidsanalyse Om de onderliggende structuur in de vragenlijst vast te stellen, worden er normaal gesproken factoranalyses uitgevoerd. Ook voor deze vragenlijst was het de bedoeling om factoranalyses uit te voeren. Om een factoranalyse te kunnen uitvoeren moet er echter 22 Oordeel leden cliëntenraden over kwaliteit dienstverlening van LOC, NIVEL 2008

worden voldaan aan een aantal eisen (Handboek CQ-index meetinstrumenten, Sixma et al., 2007). Zo moeten de variabelen van tenminste ordinaal niveau zijn; dit betekent dat dichotome items ( ja-nee vragen) niet in aanmerking komen om opgenomen te worden in de factoranalyse. Omdat deze vragen vaak screenervragen zijn, blijven er vaak alleen items over waarop niet alle respondenten hebben geantwoord. Op deze manier blijven er vaak niet genoeg respondenten over om de factoranalyse mee uit te voeren. Een vuistregel is: liefst tenminste tienmaal zoveel respondenten als variabelen. Omdat er tijdens de analyses bleek dat er vaak niet aan deze eisen kon worden voldaan, is het niet mogelijk gebleken een betrouwbare factoranalyse uit te voeren. Ook wanneer de extreem scheef verdeelde items (>90% in positieve of negatieve categorie beantwoord) en items met meer dan 5% missende werden verwijderd (een andere eis voor factoranalyse), bleek het niet mogelijk een betrouwbare factoranalyse uit te voeren. Daarom is besloten om de categorieën die in de vragenlijst zelf al gebruikt worden te beschouwen als schaal. Namelijk: schriftelijke informatie, het werk van de regioadviseur, bijeenkomsten en scholing, media en communicatie, belangenbehartiging, bereikbaarheid en toegankelijkheid en het hoofdkantoor van de LOC. De betrouwbaarheidsanalyses zijn voor deze schalen uitgevoerd. Betrouwbaarheidsanalyses De betrouwbaarheid van de thema s, ofwel de interne consistentie van de schalen, kan geanalyseerd worden door het berekenen van Cronbach s alpha. Als minimum voor een betrouwbare schaal wordt een alpha van 0,70 gehanteerd. Bij een waarde tussen de 0,60 en de 0,70 wordt de schaal voorlopig geaccepteerd. Dit wegens het feit dat de analyse van de vragenlijst soms gebaseerd is op een klein aantal respondenten. Om te bepalen of een item tot een schaal behoort wordt er gekeken naar de item- correlatie van het betreffende item. Dit is een maat die aangeeft in hoeverre items binnen één schaal correleren met de schaal in zijn geheel. Deze item- correlatie (ITC) moet groter zijn dan 0,30 (of in ieder geval positief). Indien de ITC kleiner is dan 0,30 dan komt het item in aanmerking voor verwijdering, vooral wanneer de alpha ook nog eens hoger wordt door verwijdering. In hoofdstuk 4 wordt besproken welke items in aanmerking komen voor verwijdering. In tabel 2.7 staan de gevormde schalen, de ITC en de betrouwbaarheid (α) als het betreffende item verwijderd zou worden. Tabel 2.7 Schalen en betrouwbaarheidsanalyses schaal ITC α if item deleted Schaal 1: Schriftelijke informatie Betrouwbaarheid: α =.62 v05 Als u het handboek van de LOC heeft gebruikt, hoe vaak is het handboek zinvol geweest voor uw werk in de cliëntenraad? v06 In hoeverre is het een probleem geweest om het handboek van de LOC te begrijpen? 0,52 0,52 0,10 0,62 - vervolg tabel 2.7 - Oordeel leden cliëntenraden over kwaliteit dienstverlening van LOC, NIVEL 2008 23