Een uitgave van de CliP-Pers. Een tevreden cliënt? Kanttekeningen bij klanttevredenheidsonderzoeken van sociale diensten.

Transcriptie

1 Een uitgave van de CliP-Pers 7 Een tevreden cliënt? Kanttekeningen bij klanttevredenheidsonderzoeken van sociale diensten Jetske de Jong

2

3 Beleefde bejegening Een tevreden cliënt? Kanttekeningen bij klanttevredenheidsonderzoeken van sociale diensten Jetske de Jong Een uitgave van de CliP-Pers

4 CliP-Per 7 Colofon Uitgave van Stichting CliP Utrecht, april 2009 Een tevreden cliënt? Kanttekeningen bij klanttevredenheidsonderzoeken van sociale diensten ISBN/EAN: Samenstelling Deze publicatie is samengesteld door Jetske de Jong met medewerking van Ger Ramaekers. Vormgeving en druk ARTs Now design Nathalie Arts Maastricht Drukkerij Pasklaar Sittard Illustraties Stef Ringoot Lelystad Bestellen De publicatie kan worden besteld door h 5,00 over te maken op postbank nummer ten name van Stichting CliP onder vermelding van CliPPer 7 Een tevreden cliënt? en uw adresgegevens*. Prijzen inclusief porto: 5 exemplaren h 22,50 en 10 explaren h 40,00. * adresgegevens vermelden ivm toesturen!

5 Een tevreden cliënt? Deze CliPPer is tot stand gekomen met dank aan: Yvette Bommeljé Zenc Lies Kamerbeek Deelnemers aan de expertmeeting op 15 januari 2009 Cliëntenraad Aalburg Loes Haarmans Cliëntenraad Amersfoort Tineke de Windt Mildred Josepa Cliëntenraad DWI Amsterdam Tom Flesseman Grace Doelare Cliëntenraad De Bilt Tonny Bitter Hanneke Guldenmeester D&K Onderzoek en Opleiding Steven Makkink Stichting Kwadraad Raf Janssen Wilma Kuiper en alle mensen die met ons hun ervaringen hebben gedeeld Cliëntenraad Eindhoven Peter Matla Cliëntenpanel Lopik Tineke Loogman Kliëntenraad Utrecht Joop de Ram Henny van Zanten Heinz Zapf Sociaal Overleg Sittard-Geleen Moniek Raemakers Platform Puree Reeuwijk Martin Zwart

6 CliP-Per 7 7Inhoud

7 Een tevreden cliënt? 5 Colofon Voorwoord Samenvatting Inleiding Klanttevredenheidsonderzoeken nader beschouwd 1.1 De voorgeschiedenis van klanttevredenheidsonderzoeken 1.2 Gebruikte klanttevredenheidsonderzoeken 1.3 Het doel van de klanttevredenheidsonderzoeken 1.4 Onderwerpen in klanttevredenheidsonderzoeken 1.5 Onderzoeksmethoden 1.6 Resultaten van het onderzoek Conclusie hoofdstuk Onderzoeken in andere sectoren 2.1 Wachtkamerenquête van de FNV 2.2 Kwaliteitstoetsing in de Geestelijke Gezondheidszorg [1] Kwaliteitstoetsing door onderzoekscommissies/cliëntenpanels [2] GGz-cliëntthermometer en CQ-Index 2.3 Groepsgesprekken tussen cliënten en klantmanagers 2.4 De Kafkabrigade Conclusie hoofdstuk Enquêtes en onderzoeken door de cliëntenraad WWB Conclusie hoofdstuk Aandachtspunten voor cliëntenraden

8 6

9 Een tevreden cliënt? 7 Voorwoord Met regelmaat houden sociale diensten klanttevredenheidsonderzoeken. Het is een goede zaak dat sociale diensten willen weten hoe cliënten denken over hun dienstverlening. Vragen naar de ervaringen van cliënten past bij de missie van Stichting CliP: het bevorderen van de participatie van mensen met een minimuminkomen. Dit houdt voor ons ook in dat cliënten gehoord moeten worden over wat zij te zeggen hebben over de sociale dienst. Toch denken we dat het nuttig is om het instrument klanttevredenheidsonderzoek van sociale diensten eens nader te beschouwen. Volgens ons en cliëntenraden die ons benaderen over dit onderwerp wordt soms iets te snel de conclusie getrokken dat de cliënten tevreden zijn. En vervolgens blijft alles zoals het was. We willen met deze CliPPer cliëntenraden een handreiking geven in hun gesprek met de sociale dienst of de gemeente over klanttevredenheidsonderzoeken. We geven achtergrondinformatie over de doelstellingen, methoden, vraagstellingen en (beoogde) resultaten van verschillende klanttevredenheidsonderzoeken. En we geven informatie over klanttevredenheidsonderzoeken van andere organisaties: zo kan het ook! In het laatste hoofdstuk staan zaken waar cliëntenraden op kunnen letten als ze te maken krijgen met een klanttevredenheidsonderzoek. We propageren niet een bepaalde voorkeursmethode of standaardmodel voor een klanttevredenheidsonderzoek. We willen graag dat klanttevredenheidsonderzoeken bewust worden ingezet en dat ingezien wordt dat ze veel informatie opleveren, maar dat ze ook hun beperkingen hebben. Dat helpt bij het afwegen van (alternatieve) methoden om cliënten te laten vertellen wat zij vinden of de tevredenheid van cliënten beter te meten. Wilma Kuiper directeur Stichting CliP

10 8 CliP-Per 7 Samenvatting toelichting op de inhoud Voor deze CliPPer hebben we acht klanttevredenheidsonderzoeken van sociale diensten onder de loep genomen. Sociale diensten willen met klanttevredenheidsonderzoeken te weten komen wat de cliënten vinden van de kwaliteit van de dienstverlening, om die dienstverlening te verbeteren. De doelstelling is gericht op het organisatieperspectief. In de onderzoeken worden vragen gesteld over onderwerpen die voor de sociale dienst én cliënten belangrijk zijn, zoals bereikbaarheid, contact met de medewerkers, voorlichting aan cliënten en begeleiding bij het vinden van werk. In de onderzoeken wordt de cliënt gevraagd om zijn mening te geven over die onderwerpen. Maar wat wordt er eigenlijk gevraagd? De sociale dienst toetst in de onderzoeken of de cliënt vindt dat de dienst voldoet aan de normen, die de dienst zichzelf stelt. Sociale diensten doen bijna altijd onderzoek met behulp van schriftelijke vragenlijsten. In een enkel geval wordt daarnaast het afnemen van interviews als methode gebruikt. De conclusie in de rapporten is dat de dienstverlening voldoende is. Verder wordt er in alle onderzoeken een aantal aanbevelingen gedaan over wat beter kan. Sociale diensten toetsen met hun klanttevredenheidsonderzoek hun eigen dienstverlening. Wij stellen voor de term klanttevredenheidsonderzoeken te vervangen door dienstverleningsonderzoeken. De vraag die wij missen is: Wat vindt u belangrijk in de dienstverlening van de sociale dienst? Die vraag gaat uit van de ervaring van de cliënt en vertrekt vanuit het cliëntenperspectief. We hebben in andere sectoren en organisaties gezocht naar methoden om de dienstverlening aan cliënten te verbeteren. Er zijn verschillende methoden en soorten van onderzoek mogelijk. Ze kunnen niet één op

11 Een tevreden cliënt? 9 één overgeplaatst worden naar de sociale zekerheid. Elk onderzoek heeft zijn achtergrond in de eigen sector of eigen organisatie. Maar er kan wel veel van geleerd worden. Zo kunnen we de beleving en de mening van de cliënt meer centraal stellen. Onderzoek op basis van kwaliteitscriteria die opgesteld zijn door cliënten- en patiëntenraden brengen het cliëntenperspectief in de beoordeling van de zorg of dienstverlening. Vragen naar de concrete ervaring van de cliënt is een manier om meer aandacht te geven aan de beleving van de cliënt. In de geestelijke gezondheidszorg hebben cliëntenraden een sterkere (wettelijke) positie bij de beoordeling en verbetering van de zorg, dan in de sociale zekerheid. Bij methoden waarbij zowel de sociale dienst als de cliënt te gast is, ontstaat een meer gelijkwaardige positie tussen cliënten en medewerkers van de dienst. Methoden waarbij de concrete situatie uitgangspunt is en geanalyseerd wordt, kunnen knelpunten en blinde vlekken duidelijk maken. Wij pleiten er voor om verder te kijken dan dienstverleningsonderzoeken met de schriftelijke vragenlijst en eventueel meerdere methoden naast elkaar in te zetten.

12 10 CliP-Per 7

13 Een tevreden cliënt? 11 Inleiding Er komt een klant op het spreekuur van de sociaal juridische dienstverlening. Hij vraagt hulp bij het invullen van de vragenlijst van het klanttevredenheidsonderzoek van dezelfde organisatie. Het is goed dat er moeite, tijd en geld gestoken wordt in onderzoek naar de ervaring en de beleving van cliënten van de sociale dienst. Wel willen we kanttekeningen plaatsen bij de manier waarop die onderzoeken gedaan worden. Meten deze klanttevredenheidsonderzoeken de tevredenheid van cliënten? Kan uit dit soort onderzoeken de conclusie getrokken worden dat cliënten tevreden zijn en dat de sociale dienst zijn werk goed doet? Aanleiding en doelstelling Van cliëntenraden krijgt stichting CliP soms de vraag wat wij vinden van een bepaald klanttevredenheidsonderzoek. Of we worden gevraagd om te reageren op uitkomsten van onderzoeken waarbij cliëntenorganisaties zich afvragen wat ze daar nu weer mee moeten. Verder zijn er signalen van cliëntenraden dat sociale diensten het rapportcijfer 7 als belangrijkste resultaat uit hun klanttevredenheidsonderzoeken halen, maar de knelpunten niet oppikken. Terwijl de cliëntenraad weet dat die knelpunten er wel degelijk zijn. Of dat er wel aanbevelingen gedaan worden, maar dat er door het rapportcijfer 7 geen aanleiding is om met die aanbevelingen iets te doen. Cliënten vinden het toch voldoende? is dan de reactie op vragen of opmerkingen van de cliëntenraad hierover. Cliëntenraden zien en beoordelen de dienstverlening en de tevredenheid nog wel eens anders dan uit zo n klanttevredenheidsonderzoek naar voren komt. Hoe kan dat? Waarom spoort die beleving van de cliëntenraad niet met de resultaten van het onderzoek? We onderbouwen in deze CliPPer de stelling dat klanttevredenheidsonderzoeken eigenlijk dienstverleningsonderzoeken zijn. Ze geven niet aan hoe tevreden cliënten zijn, maar geven aan hoe cliënten de dienstverlening beoordelen. En dat is iets heel anders. Een conclusie cliënten zijn tevreden zou uit zo n onderzoek niet zomaar getrokken mogen worden. We constateren dat er te weinig aan cliënten of cliëntenraden wordt gevraagd wat zij belangrijk vinden. Het stramien ligt vast. Er wordt niet gevraagd wat bepaalt of je tevreden bent over de sociale dienst?

14 12 CliP-Per 7 Voor het bredere perspectief gaan we kijken hoe in andere sectoren onderzoek naar klanttevredenheid gedaan wordt. Om daar lessen uit te leren. Het helpt om te formuleren hoe we klanttevredenheid beter kunnen meten. Cliëntenperspectief We kiezen in deze CliPPer voor de invalshoek van cliënten, zoals zij de klanttevredenheidsonderzoeken ervaren en beleven. Cliënten worden gevraagd om hun broodheer te beoordelen. Zij zijn afhankelijk van de sociale dienst voor hun levensonderhoud, hun uitkering. De sociale dienst is een vangnet: als er geen andere mogelijkheden meer zijn, moet je naar de bijstand. Dat heeft tot gevolg dat er een ongelijke verhouding is tussen (medewerkers van de) sociale dienst en cliënten: de (medewerker van de) sociale dienst bepaalt wat er gebeurt en stelt de spelregels op, niet de cliënt. Hoe vrij voel je je dan om alles te noteren? Hoe weet je zeker dat de enquête anoniem is? In deze CliPPer spreken we over cliënten, hoewel een aantal rapporten de term klanten gebruikt en het gaat om klanttevredenheidsonderzoeken. Klanten veronderstelt een keuzevrijheid en een onafhankelijke positie die cliënten van de sociale dienst niet hebben. Voordat we zijn gaan schrijven aan deze CliPPer hebben wij een bijeenkomst gehouden met cliëntenraden die ervaring hebben opgedaan met klanttevredenheidsonderzoeken. Zij hebben zelf een enquête of ander onderzoek onder cliënten gehouden of hebben hun gemeente onlangs geadviseerd over een klanttevredenheidsonderzoek. De informatie van deze bijeenkomst is verwerkt in deze CliPPer. Verder hebben we informatie gevraagd aan een aantal onderzoekers. Doelgroep De eerste doelgroep voor onze reeks CliPPers zijn de lokale cliëntenraden. Die voorzien we van informatie die zij kunnen gebruiken als hun gemeente of sociale dienst een klanttevredenheidsonderzoek wil gaan doen. Informatie ten behoeve van een advies of om de resultaten van een onderzoek te beoordelen. Of ideeën voor te stellen vragen. Inhoud Er zijn acht klanttevredenheidsonderzoeken van sociale diensten gebruikt voor deze CliPPer. Die hebben we bestudeerd. Een beschrijving daarvan staat in hoofdstuk 1. Vervolgens zijn we gaan kijken in andere sectoren en bij andere organisaties. Hoe onderzoeken die de klanttevredenheid? Dat beschrijven we in hoofdstuk 2. In hoofdstuk 3 komen de enquêtes en onderzoeken van cliëntenraden aan de orde. Hoofdstuk 4 bevat een aantal aandachtspunten voor cliëntenraden om te gebruiken bij het adviseren over klanttevredenheidsonderzoeken.

15 Een tevreden cliënt? 13 Hoofdstuk 1 Klanttevredenheidsonderzoeken nader beschouwd 1.1 De voorgeschiedenis van klanttevredenheidsonderzoeken In de Memorie van Toelichting bij de Wet werk en bijstand staat het volgende over klanttevredenheidsonderzoeken: Als uitgangspunt blijft bestaan dat cliënten en hun vertegenwoordigers betrokken moeten worden bij de uitvoering van deze wet. Gemeenten blijven ook vrij in de keuze van de manier waarop cliëntenparticipatie georganiseerd wordt. Zo bestaat de mogelijkheid een cliëntenraad of -panel op te richten, maar er kan ook gedacht worden aan klanttevredenheidsonderzoeken. Hierbij moet rekening worden gehouden met de samenwerking met de CWI en het UWV en met de nieuwe cliëntgroepen: de niet-uitkeringsgerechtigden en de personen met een Anw-uitkering. Deze zinsnede komt niet zomaar uit de lucht vallen. Ze heeft duidelijk een geschiedenis. In de 80-er en 90-er jaren ontstaat er kritiek op de overheidsdienstverlening. Het verwijt aan de overheid is dat ze met de rug naar de burgers staat en dat ze procedures belangrijker vindt dan de dienstverlening. Het lijkt alsof de burger er voor de overheid is, in plaats van andersom, luidt de kritiek. Bij de sociale diensten was dat de tijd van zeer kritische rapporten van de commissie Doelman- Pel en van der Zwan. In die rapporten wordt de sociale diensten willekeur verweten. Sociale diensten worden beoordeeld als niet transparant voor cliënten en andere organisaties waarmee ze werken. Als reactie daarop wil de overheid transparanter worden. Zo gaat men bijvoorbeeld concrete doelen stellen en onderzoeken of die doelstellingen gehaald worden. Voor de sociale diensten wordt de Task Force Kwaliteit Bijstand opgericht die zich vooral richt op de bedrijfsvoering van sociale diensten. Op grote schaal gaan sociale diensten hun werkprocessen beschrijven en veranderen. Er wordt nagedacht over doelstellingen rond doorlooptijden, uitstroom, fraude en debiteuren. Sociale diensten proberen zelfs, net als bedrijven, te voldoen aan kwaliteitssystemen zoals ISO en gaan bijvoorbeeld het INK-managementmodel gebruiken. Bij deze ontwikkeling om bedrijfsmatiger te werken en om te komen tot een betere dienstverlening aan cliënten, is het klanttevredenheidsonderzoek geïntroduceerd. Het INK model

16 14 CliP-Per 7 onderscheidt 9 aandachtsgebieden, 5 organisatiegebieden en 4 resultaatgebieden. Tot die laatste hoort waardering door klanten en leveranciers. Daarvoor worden klanttevredenheidsonderzoeken gehouden. Met de introductie van dit model in de publieke sector komen er ook onderzoeken onder burgers/cliënten en dus ook in de sociale sector en bij sociale diensten. In deze ontwikkeling speelt ook de decentralisatie van de bijstand naar gemeenten een rol. Voorheen konden gemeenten de rekening voor de bijstandsuitkeringen in zijn geheel bij de rijksoverheid neerleggen. Daar wilde het Rijk al jaren van af. In enkele stappen, beginnende bij de nieuwe Algemene Bijstandswet tot aan de Wet Werk en Bijstand, is de rekening steeds meer naar de gemeenten toegeschoven. Die draaien sinds 1 januari 2004 voor 100% op voor de kosten van de uitkeringen. Hierdoor ontstond bij de gemeenten de aandacht voor uitstroom uit de bijstand, fraude en het bestand van bijstandscliënten. De bijstand kostte hun geld, als ze niet opletten. Er ontstond de behoefte te weten wie die cliënt was, want dan konden sociale diensten hun dienstverlening aanpassen en mensen hopelijk sneller laten uitstromen. Daar kwamen klanttevredenheidsonderzoeken bij van pas. 1.2 Gebruikte klanttevredenheidsonderzoeken Om een beeld te krijgen van klanttevredenheidsonderzoeken zoals ze gebruikt worden in Nederland hebben we een steekproef van acht onderzoeken genomen. Deze onderzoeken (uit kleinere en grotere gemeenten, verspreid over het land, uitgevoerd door verschillende onderzoeksbureaus) bieden een globale dwarsdoorsnede van de klanttevredenheidsonderzoeken van sociale diensten. Enkele rapporten vonden we op internet, andere hebben we via de cliëntenraad gekregen. We hebben gekeken naar de resultaten van onderzoeken bij de volgende gemeenten: 1. DWI Amsterdam 2. ISD BOL (Intergemeentelijke sociale dienst voor de gemeenten Brunssum, Onderbanken en Landgraaf) 3. ISD Drechtsteden (Intergemeentelijke sociale dienst voor de gemeenten Alblasserdam, Dordrecht, Hendrik-Ido-Ambacht, Papendrecht, Sliedrecht en Zwijndrecht) 4. Pijnacker-Nootdorp 5. Twenterand 6. Utrecht 7. Westerveld 8. Eindhoven De meeste onderzoeken zijn in 2007 of 2008 uitgevoerd. Het onderzoek in de Drechtsteden is gedaan in Dat van de gemeente Westerveld is een doctoraalscriptie van een student van de Rijksuniversiteit Groningen van In dit onderzoek worden, naast schriftelijk onderzoek, ook interviews gehouden met cliënten. Dit gebeurt niet zo vaak. Om na te gaan of deze andere onderzoeksmethode andere resultaten oplevert, is ook dit wat oudere onderzoek gebruikt. Ook in het Amsterdamse onderzoek wordt gebruik gemaakt van interviews. We gebruiken voor onze toets de rapportages met de resultaten van de onderzoeken.

17 Een tevreden cliënt? 15 Wie voert het onderzoek uit? Interessant is dat de klanttevredenheidsonderzoeken in het algemeen voornamelijk uitgevoerd worden door twee onderzoeksbureaus: D&K Onderzoek en Opleiding en SGBO. D&K heeft een vragenlijst ontwikkeld, in opdracht van Stimulansz 1. Deze vragenlijst wordt gebruikt voor de onderzoeken die D&K zelf uitvoert, maar ook door sociale diensten die zelf hun klanttevredenheidsonderzoek uitvoeren. SGBO maakt gebruik van een eigen, standaard-vragenlijst. In de onderzoeken die wij bekeken hebben is er één gedaan door D&K (ISD BOL) en één door SGBO (Pijnacker-Nootdorp). De onderzoeken in Amsterdam, Drechtsteden en Eindhoven zijn uitgevoerd door het onderzoeksbureau, dat verbonden is aan de gemeente. 2 Eén onderzoek is gedaan door Regioplan (Utrecht) en één is uitgevoerd door een student van de Rijksuniversiteit Groningen. Bij dat laatste onderzoek is gebruik gemaakt van de vragenlijst van D&K (Westerveld). Het onderzoek in Twenterand is uitgevoerd door de sociale dienst zelf. 1.3 Het doel van klanttevredenheidsonderzoeken Over het doel zijn de door ons bekeken klanttevredenheidsonderzoeken vrij eensgezind. In de rapporten die wij gebruikt hebben, gaat het om de kwaliteit van de dienstverlening. Daar wil men de mening van de klanten over weten (ISD BOL) of men wil de tevredenheid van klanten/cliënten daarover weten (Drechtsteden, Pijnacker-Nootdorp, Westerveld). In één geval wordt in de doelstelling de ervaring van cliënten genoemd (Twenterand). In het onderzoek uit de Drechtsteden is één van de doelen te achterhalen of de cliënten de cliëntenraad kennen en of ze wel eens contact hebben gehad met de cliëntenraad. Ook bij ISD BOL wordt gevraagd of men de cliëntenraad kent, maar is de bekendheid van de cliëntenraad geen doelstelling. Het Utrechtse onderzoek is gericht op de waardering van cliënten voor de dienstverlening van SoZaWe en de re-integratieinstrumenten (te herleiden naar re-integratiebedrijven). En wat gebeurt er als men weet wat de mening is van de cliënt over de dienstverlening? Het doel van deze onderzoeken is de ervaringen, wensen en behoeften van cliënten in kaart te brengen, zodat de dienstverlening hier optimaal op kan worden afgestemd. (

18 16 CliP-Per 7 Conclusie Het doel van klanttevredenheidsonderzoeken door sociale diensten is te weten te komen wat de cliënten vinden van de kwaliteit van de dienstverlening om zo de dienstverlening te verbeteren. Deze doelstelling is in het belang van de organisatie en gaat uit van het perspectief van de organisatie. Wat onderzocht wordt, zijn die zaken waarvan de organisatie vindt dat ze belangrijk voor de cliënt zijn. Het organisatieperspectief is dus leidend in deze onderzoeken. Waarom houdt een sociale dienst een klanttevredenheidsonderzoek? Lies Kamerbeek (D&K Onderzoek en Opleiding; voor verschillende gemeenten een klanttevredenheidsonderzoek uitgevoerd) over motieven van gemeenten of sociale diensten om een onderzoek uit te voeren: Gemeenten willen weten wat de burger vindt en wil. Daarop willen gemeenten de dienstverlening aanpassen. Bij het uitbesteden van de uitvoering van de Wwb aan een intergemeentelijke sociale dienst hebben gemeenten een grotere afstand tot deze dienstverlening. Zij willen dan een onderzoek om te weten te komen wat cliënten vinden van de dienstverlening door de intergemeentelijke sociale dienst. Soms is dat ook een wens van de gemeenteraad. Ook wordt op deze manier cliëntenparticipatie ingevuld. Dit komt vooral bij kleine gemeenten voor waar het niet lukt om een cliëntenraad of cliëntenpanel te installeren. 1.4 Onderwerpen in klanttevredenheidsonderzoeken Er is een aantal onderwerpen dat in bijna elk klanttevredenheidsonderzoek aan bod komt: contacten met de medewerkers, bereikbaarheid van de sociale dienst en voorlichting aan cliënten. Verder worden in een aantal onderzoeken vragen gesteld over de begeleiding bij het zoeken naar werk. Deze onderwerpen zijn belangrijk in de praktijk van de sociale dienst en voor de cliënten. Dat is geen onderwerp van discussie. In de vorige paragraaf concludeerden we dat de doelstelling uitgaat van het organisatieperspectief. Geldt dat ook voor de onderwerpen en de manier waarop de vragen gesteld worden? Contacten met de medewerkers Als het gaat om het contact met de medewerkers wordt meestal gevraagd hoe de cliënt het contact met de medewerkers beoordeelt. Hoe vaak is er contact geweest en hoe beoordeelt de cliënt dat contact? Er wordt gevraagd naar het persoonlijke en het telefonische contact.

19 Een tevreden cliënt? 17 Dan kan bijvoorbeeld geantwoord worden of dit (ruim) voldoende of (ruim) onvoldoende is (Drechtsteden). In andere onderzoeken wordt met stellingen gewerkt: De medewerkers hebben voldoende kennis en vaardigheden om mij goed te begeleiden De medewerkers doen hun uiterste best om de klanten zo goed mogelijk te helpen De medewerkers hebben vooroordelen over wat ik kan of wat ik wil Cliënten kunnen aangeven of ze het eens of oneens zijn met de stelling. (Pijnacker-Nootdorp) In de vragenlijsten van D&K wordt veel gewerkt met rapportcijfers. Cliënten wordt gevraagd om over verschillende zaken een rapportcijfer te geven, zoals voor de aandacht van de casemanager en de vriendelijkheid. (ISD BOL) Bereikbaarheid van de sociale dienst In het onderzoek van Westerveld worden vragen gesteld over de reistijd en de reiskosten naar de afdeling sociale zaken. In een plattelandsgemeente met meerdere woonkernen is dit een logische vraag. Verder kunnen cliënten hier een oordeel geven over het tijdstip van het telefonisch spreekuur ( uur) en over de telefonische bereikbaarheid.

20 18 CliP-Per 7 In verschillende onderzoeken wordt iets over bereikbaarheid gevraagd onder de kop (algemene) dienstverlening. Dan wordt bijvoorbeeld gevraagd naar de tevredenheid over openingstijden en de telefonische bereikbaarheid (Drechtsteden). Bij ISD BOL wordt gevraagd om een rapportcijfer voor het gemak waarmee u een afspraak kon maken, de openingstijden en de snelheid waarmee de telefoon werd opgenomen. Of om een rapportcijfer voor openingstijden en wachttijden voor een afspraak (Pijnacker-Nootdorp). In het Amsterdamse onderzoek wordt cliënten onder andere gevraagd om de snelheid van het opnemen van de telefoon te beoordelen. Voorlichting aan cliënten Voorlichting aan cliënten omvat zowel de informatie die medewerkers geven aan cliënten als de schriftelijke informatie, bijvoorbeeld in de vorm van een nieuwsbrief. In het onderzoek van ISD BOL wordt gevraagd of cliënten de Nieuwsbrief lezen. En vervolgens kunnen ze er een rapportcijfer voor geven. In het onderzoek van de gemeente Twenterand wordt een rapportcijfer gevraagd voor: de mondelinge informatievoorziening door de sociale dienst de schriftelijke informatievoorziening door de sociale dienst de informatievoorziening middels folders de informatievoorziening middels de informatiemap. In de Drechtsteden wordt gevraagd of men (erg) tevreden of (erg) ontevreden is over de duidelijkheid van de informatie en uitleg door de medewerkers. Hetzelfde wordt gevraagd over de uitleg van de procedure door de medewerkers. Begeleiding bij het zoeken naar werk In één onderzoek wordt gevraagd om een rapportcijfer over de ondersteuning van de consulent bij het vinden van een passende baan (Twenterand). In het Utrechtse onderzoek dat gericht is op re-integratie wordt gevraagd of men tevreden dan wel ontevreden is. Een aantal keren wordt naar het waarom gevraagd als de cliënt ontevreden is. In het onderzoek van de Drechtsteden worden onder de kop re-integratie verschillende vragen gesteld. Er wordt gevraagd naar de vriendelijkheid en hulpvaardigheid van de medewerker aan de telefoon en de bruikbaarheid van de antwoorden. Bij een bezoek aan de sociale dienst in verband met re-integratie worden onder andere vragen gesteld over de ontvangst bij de receptie, de privacy van de spreekkamers, de wachttijd en de doorverwijzing naar de juiste instanties. Cliënten kunnen aangeven of ze daar (erg) tevreden of (erg) ontevreden over zijn. In Amsterdam wil men weten of men tevreden is over het re-integratietraject. Vervolgens kan men aangeven waarom men al dan niet tevreden is. Meten de vragen wat ze moeten meten? De bedoeling is dat met de antwoorden de mening van de cliënt over de dienstverlening boven tafel komt. Maar is dat ook zo? Bijvoorbeeld als gevraagd wordt naar de kennis en vaardigheden van een medewerker. Hoe beoordeelt een cliënt dit? Wanneer is een medewerker in de ogen van een cliënt kundig? Als hij vaktaal gebruikt? Als zij alle regelingen kent? De medewerker zal wel deskundig zijn, anders had zij deze baan toch niet gekregen...

21 Een tevreden cliënt? 19 Een ander voorbeeld is de vraag om de mondelinge en schriftelijke informatievoorziening van de sociale dienst te beoordelen. Wanneer is informatie goed? Ook hier is het onduidelijk waar de cliënt het antwoord op baseert. Voldoende om te weten dat hij een aanvraag in kan dienen voor bijzondere bijstand? Voldoende antwoord op een vraag die hij gesteld had? Het antwoord is voor velerlei uitleg vatbaar. Iedereen kan het uitleggen, zoals het hem uitkomt: onze folders zijn goed, de medewerkers geven goede informatie of de cliënten begrijpen onze informatie (dus is onze informatie duidelijk). Bij het opstellen van de vragen is het goed om er bij stil te staan hoe cliënten een vraag zullen opvatten en beantwoorden. Een mooie openingsvraag zou kunnen zijn: Wat vindt u belangrijk in de dienstverlening van de sociale dienst?. Dat is uitgaan van de ervaring van de cliënt, het cliëntenperspectief. Conclusie Bereikbaarheid, contact met de medewerkers, voorlichting aan cliënten en begeleiding bij het vinden van werk zijn belangrijke onderwerpen voor de sociale dienst én cliënten. Toch komt bij de vraagstelling het beeld naar voren dat de dienst bepaalde normen aan zichzelf heeft gesteld en bij de cliënten toetst of de dienst aan die normen voldoet. Bijvoorbeeld de wachttijden voor een afspraak, de bereikbaarheid en de informatievoorziening. Die mag de cliënt beoordelen aan de hand van criteria, die de dienst zelf opgesteld heeft. Er wordt niet aan de cliënt gevraagd wat hij of zij het belangrijkste vindt in de dienstverlening, bij de sociale dienst, of in de contacten met de medewerkers. De vragen worden gesteld vanuit het perspectief van de sociale dienst. 1.5 Onderzoeksmethoden bij klanttevredenheidsonderzoeken De klanttevredenheidsonderzoeken die wij bekeken hebben, zijn gebaseerd op schriftelijke vragenlijsten. Die werden verstuurd naar de cliënten van de sociale dienst. Het is niet altijd duidelijk of alle cliënten aangeschreven zijn. Bij één onderzoek werden er behalve schriftelijke vragenlijsten ook aanvullende interviews gehouden (Westerveld). Dit is, volgens het onderzoeksrapport, gedaan om meer inzicht te krijgen in de oorzaken van de tevredenheid en/of de knelpunten die de klanten ervoeren. In Amsterdam zijn er drie manieren gebruikt om gegevens te verzamelen.er zijn gesprekken op de Marktpleinen 3 gehouden, telefonische interviews afgenomen (met cliënten die in de tijd daarvoor zelf gebeld hadden met de Dienst Werk en Inkomen (DWI) en schriftelijke vragenlijsten gebruikt. Er zijn bijna vier keer zoveel gesprekken gehouden (persoonlijk en telefonisch) dan schriftelijke vragenlijsten gebruikt. Respons Lang niet iedereen die de vragenlijst ontvangt, stuurt deze terug; de respons bij schriftelijke onderzoeken met vragenlijsten is vaak laag. De respons in de onderzoeken die bij deze CliPPer gebruikt werden, was tussen 25% en 46%. Gemiddeld was de respons 35%. 4

22 20 CliP-Per 7 Representativiteit In de meeste rapporten wordt genoemd dat men die lage respons wel verwachtte. Bij een aantal onderzoeken wordt nagegaan of de groep die de vragen ingevuld heeft representatief is. Of deze een afspiegeling is van de totale groep cliënten. De onderzoekers berekenen de representativiteit door de kenmerken van de responsgroep en van de totale groep cliënten te vergelijken. Daarvoor kijken ze naar harde kenmerken, zoals: geslacht, leeftijd en soms duur van de uitkering. Als de verdelingen 40% van de respondenten is man, 45% is jonger dan 40 jaar en 55% is ouder dan 40 jaar, ongeveer gelijk zijn aan de verdelingen in de totale groep cliënten, dan heet de respons representatief te zijn. Bij een representatieve groep zouden de antwoorden van deze groep ongeveer hetzelfde zijn als wanneer iedereen de vragenlijst ingevuld zou hebben. Althans, volgens de regels van wetenschappelijk onderzoek. Een aantal groepen wordt niet betrokken in de onderzoeken. Bijvoorbeeld mensen van wie de aanvraag om een uitkering is afgewezen of die niet eens een aanvraag konden doen. Of mensen waarvan de uitkering is gestopt en degenen die zijn uitgestroomd. Deze groepen zijn niet afhankelijk van de sociale dienst en zouden daarom juist gevraagd moeten worden naar hun mening over de dienstverlening. Zij kunnen achteraf bevraagd worden over de dienstverlening toen ze nog cliënt waren of een aanvraag hadden ingediend. Taalvaardigheid De mensen die de vragenlijsten invullen moeten de Nederlandse taal redelijk goed beheersen. We weten dat ongeveer 1,5 miljoen van de Nederlanders laaggeletterd zijn. 5 Laaggeletterdheid komt voor bij allochtonen en autochtonen, bij jonge en oude mensen, bij mannen en vrouwen en bij werkenden en niet-werkenden. Hieruit kunnen we concluderen dat een deel van de cliënten van de sociale dienst laaggeletterd is. Daar zal rekening mee gehouden moeten worden. Van deze groep laaggeletterden krijg je met een schriftelijke vragenlijst geen informatie over wat zij vinden van de dienstverlening van de sociale dienst. Als bepaalde groepen, bijvoorbeeld mensen die niet kunnen lezen, de vragenlijsten niet invullen, kan dat van invloed zijn op de resultaten van het onderzoek. Als de non-respons selectief is (van bepaalde groepen geen informatie is verkregen) geeft dat een vertekend onderzoeksresultaat. We verwachten dat er bij schriftelijke vragenlijsten sprake is van selectieve non-respons. Er zal niet of nauwelijks respons zijn van mensen die de Nederlandse taal niet machtig zijn. Bekend is dat dit in ieder geval geldt voor de groep oudere allochtonen. De inleiding van deze CliPPer begonnen we met een anekdote. Er komt een klant op het spreekuur... Een bepaalde groep mensen, onder andere mensen die laaggeletterd zijn, heeft hulp nodig bij het invullen van het klanttevredenheidsonderzoek. Zou de ingevulde vragenlijst dan een goed beeld geven van de mening van de cliënt? Of misschien heeft in zo n situatie één van de kinderen de vragenlijst volledig sociaal wenselijk ingevuld...? Daarbij moet wel opgemerkt worden dat bij andere onderzoeksmethodes, bijvoorbeeld interviews ook het probleem van sociaal wenselijke antwoorden speelt.