UWV dashboard Pilot in het kader van Kanalen in Balans
Colofon Datum : 11 oktober 2009 Versie : 1.1 Verandering : Project referentie: Kanalen in Balans/D1.6.2 Novay referentie : Bedrijfsreferentie : URL : www.kanaleninbalans.nl Toegangsrechten : Kanalen in Balans Status : Concept Redacteur : Henny de Vos Bedrijf : Novay Auteur(s) : Henny de Vos, Marije Teerling, Marcus Dees, André Treebus, Alberto Vasconcellos Bij deze rapportage hoort een Excel analyse hulpmiddel die beschikbaar is via www.kanaleninbalans.nl. Synopsis: In deze rapportage wordt beschreven hoe men klantgedrag kan meten en analyseren. De meet- en analyse cyclus bij UWV wordt beschreven ter illustratie. Het UWV slaat in het datawarehouse velerlei aspecten op van het klantgedrag. In het dashboard worden deze op samenhangende wijze maandelijks gepresenteerd zodat managers inzicht hebben in de dienstverlening. Naast het meer statische dashboard, is UWV tevens in staat klantgedrag te analyseren met een data-analyseomgeving. Hierdoor wordt het managment in staat gesteld betere beslissingen te nemen. Naast een meer theoretisch stuk over meten van kanaalgedrag en kwaliteit van dienstverlening, bevat dit rapport een aantal voorbeelden van analyses rond cross-channel gedrag bij UWV. 2009 Novay Persoonlijk gebruik van dit materiaal is toegestaan. U heeft toestemming nodig van of via Novay (http://www.novay.nl) voor het kopiëren en/of publiceren van dit materiaal voor reclame of promotionele doeleinden of voor het maken van verzamelde werken met als doel verkoop of distributie via servers of lijsten of voor het hergebruik van enig auteursrechtelijk beschermd deel van dit werk in andere werken.
Inhoudsopgave 1 Omschrijving en opzet pilot 7 1.1 Inleiding 7 1.2 UWV 7 1.3 Doelstelling pilot 8 1.4 Aanpak pilot 9 1.5 Leeswijzer 10 2 Meten van klantgedrag 11 2.1 Inleiding 11 2.2 Belang van meten 11 2.3 Aanpak meten 12 2.4 Kanaalontwerp en meetontwerp 17 2.5 Meten bij UWV 17 3 Analyse van kanaalgedrag 21 3.1 Opzet analyses 22 3.2 Onderzoeksvragen, vaststellen analyse en benodigde data 23 3.3 Type data 23 3.4 Analysemethoden en modellen 25 3.5 Analyse en rapportage 26 4 Case: Afwijzing WW (fictief) 29 4.1 Opzet van de analyse 29 4.2 Dataverzameling 29 4.3 Analyse 30 5 Case: Digitale WW aanvraag versus aanvraag op papier 36 5.1 Opzet onderzoek 36 5.2 Analyse 37 5.3 Resultaten 37 5.4 Conclusie 45 6 Case: Klantsignalen rond WW-aanvraag 47 6.1 Opzet onderzoek en analyses 48 6.2 Resultaten 48 6.3 Conclusies 52 7 Conclusie 54 7.1 Do s en dont s 54 2009 Novay Persoonlijk gebruik van dit materiaal is toegestaan. U heeft toestemming nodig van of via Novay (http://www.novay.nl) voor het kopiëren en/of publiceren van dit materiaal voor reclame of promotionele doeleinden of voor het maken van verzamelde werken met als doel verkoop of distributie via servers of lijsten of voor het hergebruik van enig auteursrechtelijk beschermd deel van dit werk in andere werken.
1 Omschrijving en opzet pilot 1.1 Inleiding Klanten zijn multichannelers; ze gebruiken meerdere kanalen tegelijk. Om kanaalgedrag te kunnen voorspellen en om de klant in dat gedrag te sturen, en bovendien te voorkomen dat klanten gaan shoppen is het van belang te weten hoe klanten kanalen ten opzichte van elkaar gebruiken en waarom ze veranderen van kanaal. Cross-channel invloeden meten en managen is een belangrijke stap in de ontwikkeling naar een volwaardig multichannelbeleid en is gericht op het verbeteren van de kwaliteit van de dienstverlening op de verschillende kanalen, en het verbeteren van de synergie tussen de kanalen. Om grip te krijgen op klantgedrag en kanalen worden bij het UWV de contactmomenten van klanten geregistreerd. Ook interne processtappen ten behoeve van een klant worden vastgelegd. Al de verzamelde gegevens worden opgeslagen in een datawarehouse. Via het UWV Dashboard wordt het gebruik van kanalen door klanten inzichtelijk gemaakt. Een volgende stap is om deze gegevens te gebruiken voor analyse en daarbij kennis te genereren die aangewend kan worden om de dienstverlening te verbeteren. Deze kennis kan worden teruggekoppeld naar het dashboard. De pilot UWV Dashboard richt zich op de analyse van klantgegevens ten behoeve van de verbetering van de dienstverlening over de kanalen. 1.2 UWV Het UWV is de uitvoeringsorganisatie die verantwoordelijk is voor re-integratie en uitkeringen van mensen zonder werk. UWV is in 2002 ontstaan na een fusie van de uitvoeringsinstellingen Cadans, GAK, GUO, SFB en USZO en opdrachtgever Lisv. De arbeidsbemiddeling werd toen ondergebracht in het CWI. Op 1 januari 2009 zijn UWV en CWI gefuseerd. De missie van het UWV is om werken te stimuleren. Als werken onmogelijk is, zorgen ze snel voor tijdelijk inkomen. Deze missie streven ze naar door zich te richten op goed en snel geholpen klanten met daarbij een balans tussen klanttevredenheid en een kostenefficiënte uitvoering. Bijna 7 miljoen verzekerden vormen de potentiële klanten van het UWV. Het UWV onderscheidt onder andere de volgende klantgroepen in de categorie werknemers. Klanten met een WAO-uitkering Klanten met een WIA-uitkering Klanten met een WW-uitkering Klanten met een Ziektewet uitkering Klanten met een WAZ-uitkering Klanten met een Wajong-uitkering Naast de categorie werknemers, bestaat de tweede categorie klanten uit werkgevers. Het UWV voert een zeer gevarieerd pakket van regelingen en wetten uit rondom Werk & Inkomen. Daarbij kunnen klanten kiezen uit verschillende kanalen, zoals het centrale callcenter, de balie van het regiokantoor, internet en post. De diensten en de inrichting van de diensten die worden aangeboden verschillen per kanaal. Zo moet men KANALEN IN BALANS/D1.6.2 7
bijvoorbeeld voor de balie in het algemeen een afspraak maken. Via internet kan men anoniem informatie zoeken. Voor persoonlijke internetdiensten moeten klanten via DigiD inloggen (bijvoorbeeld voor een digitale jaaropgave, elektronisch betermelden, e- inkomstenformulier). De uitvoering van de verschillende regelingen is belegd bij verschillende organisatieonderdelen die elk hun eigen administratieve systemen gebruiken. Bij het UWV is de dienstverlening zoals die nu wordt aangeboden historisch zo gegroeid. Dienstverlening gerelateerd aan regelingen wordt opnieuw ontworpen wanneer er een nieuwe wet of regeling komt. Toen er behoefte was aan een callcenter is daarvoor dienstverlening toegevoegd met specifieke elektronische ondersteuning. Hetzelfde geldt voor internet. De verschillende systemen die worden gebruikt zijn op diverse manieren in meer of mindere mate aan elkaar gekoppeld. 1.2.1 UWV Datawarehouse Een multichannel dashboard is een systeem (database) die meetbare resultaten vanuit verschillende kanalen koppelt aan bepaalde doelstellingen van de organisatie. Onder meetbare resultaten wordt bijvoorbeeld verstaan alle klantcontacten via de telefoon voor een bepaalde dienst. Er wordt dus eigenlijk per klant zoveel mogelijk geregistreerd welke kanalen hij gebruikt gedurende een bepaalde periode en op welke vraag of dienst het contact betrekking heeft. De doelstellingen die de organisatie met een dergelijk dashboard kan realiseren liggen op het vlak van de verbetering van de dienstverlening, de efficiency van de organisatie en/of de klanttevredenheid. Zo is het mogelijk om op basis van de geregistreerde gegevens inzicht te krijgen in wat voor type vragen klanten veel aan de telefoon stellen. Dit inzicht kan vervolgens gebruikt worden om deze informatie beter (en proactiever) beschikbaar te maken via andere kanalen zodat klanten minder hoeven te bellen. Het UWV heeft een multichannel dashboard ontwikkeld om inzicht te krijgen in verschillende dienstverleningsaspecten (bijvoorbeeld de efficiency en de klanttevredenheid). Het dashboard combineert statistieken, UWV performance en onderzoek en combineert gegevens uit 10 verschillende bronnen. Het dashboard wordt gebruikt om jaarlijks ongeveer 100 ad hoc informatievragen te beantwoorden. Het dashboard geeft periodiek informatie over verschillende performance indicatoren over de tijd en geeft inzicht in waar mogelijke verbeteringen in de dienstverlening gerealiseerd kunnen worden. Het UWV multichannel dashboard is een van de producten die gegenereerd worden op basis van het datawarehouse. Het is één van de rapportages, speciaal toegespitst op de multichannel omgeving. Het datawarehouse betreft alle rauwe data die binnen het UWV verzameld wordt (50 verschillende bronnen) en wordt gebruikt om jaarlijks ongeveer 900 ad hoc vragen op te lossen. Naast het datawarehouse en het multichannel dashboard heeft het UWV een analyse-omgeving gerealiseerd die gevoed wordt door de data uit het datawarehouse en waarin geavanceerde analyses gedraaid kunnen worden middels verschillende programma s waaronder SPSS. 1.3 Doelstelling pilot De dienstverlening van het UWV is gericht op een hoge tevredenheid bij klanten. In de pilot is gewerkt aan methoden om deze klanttevredenheid te verhogen door inzet van kennis verkregen uit gegevens met betrekking tot kanaalgebruik van klanten. De basis 8 NOVAY
van de analyse vormt een klanttevredenheidsmodel (nader toegelicht in hoofdstuk 2) dat is opgesteld door de analisten van UWV, waarin zij klanttevredenheid relateren aan klantkenmerken, proceskenmerken en kanaalkenmerken. Dit klanttevredenheidsmodel is nog in ontwikkeling. De pilot heeft ten doel om bij te dragen aan de ontwikkeling van een meetinstrument / methode (tool) die breder dan UWV inzetbaar is ter ondersteuning van de analyse en verbetering van de kanalen en het in kaart brengen van het crosschannel gedrag. Deze doelstelling is als volgt verder te specificeren: De bijdrage betreft de resultaten van het onderzoek naar het meetinstrument en de - methode voor het bepalen van het cross-channel gedrag van klanten. Bepalen welke gegevens een indicatie geven van het cross-channel gedrag evenals inzicht geven in hoe de kwaliteit van de kanalen verbeterd kan worden en/of het kanaalgebruik beter gestuurd kan worden. Exploratief onderzoek uitgevoerd naar het kanaalgebruik van klanten naar aanleiding van handelingen van de organisatie, zoals het versturen van een brief of beschikking. Het vertalen van de onderzoeksresultaten in richtlijnen / do s en dont s die opgenomen kunnen worden in het Kanaalkompas. 1.3.1 Onderzoekvragen pilot Naast de doelstelling zijn een aantal onderzoeksvragen leidend geweest bij de pilot: Het onderzoek is gericht op het beantwoorden van de volgende onderzoeksvragen: Welke gegevens heb je nodig om cross channel effecten te meten? Hoe kan gegeven de verzamelde gegevens het cross channel gedrag en de daaruit voortvloeiende effecten geanalyseerd worden? Hoe leveren het meetinstrument en methode inzichten op die leiden tot een verbetering van de kwaliteit van de kanalen? Wat is het gedrag van de klanten over de diverse kanalen? o Hoe switchen klanten over de kanalen? o Wat bepaalt het gedrag van de klant? De doelgroep (opleiding, leeftijd, geografisch) De situatie (onzekerheid, onduidelijkheid) De behoefte (informatie, hulp, fase van het dienstverleningsproces Kunnen we het gedrag van de klant voorspellen op basis van de gemeten variabelen? 1.4 Aanpak pilot De pilot richt zich op het meten van gegevens en de toegevoegde waarde daarvan in de praktijk, concreet bij UWV. Bij UWV is recentelijk een meetsysteem opgezet om de eigen kwaliteit van dienstverlening te monitoren. De afdeling Business Control en Kwaliteit is verantwoordelijk voor het verzamelen van data en de analyse ervan. De pilot is uitgevoerd door een data-analisten van UWV en onderzoekers van Novay. Vooraf is een aantal cases geselecteerd die geanalyseerd zouden kunnen worden. Omdat Kanalen in Balans vooral gaat over inzet van kanalen, lag de focus van de cases op onderzoek naar kanaalgedrag van klanten rond een bepaalde dienst. Deze cases waren: 1. WW-afwijzing: welke klanten zoeken contact en via welke kanalen? 2. Digitale WW-aanvraag: welke klanten gebruiken deze elektronische dienst en welke niet? 3. WW-aanvraag: op welke manier kan de dienstverlening worden verbeterd? De pilot liep van maart t/m augustus 2009. Het doel van de pilot was om een generieke meetmethode te ontwikkelen en deze toe te passen op de cases. KANALEN IN BALANS/D1.6.2 9
1.5 Leeswijzer Het volgende hoofdstuk gaat in op methoden om klantgedrag te meten. Er wordt een stappenplan gepresenteerd om een meetontwerp te maken en te implementeren. Ter illustratie wordt uitgelegd hoe UWV dit op pragmatische wijze heeft aangepakt. In hoofdstuk 3 staat de analyse van gegevens centraal en worden verschillende analysetechnieken kort uitgelegd. Hoofdstuk 4, 5 en 6 illustreren de mogelijkheden van meten en analyse met een aantal praktijkcases, o.a. een Excel analyse in hoofdstuk 4. Tot slot worden in hoofdstuk 7 de belangrijkste punten op een rijtje gezet en een aantal aandachtspunten gegeven voor meten in de praktijk. 10 NOVAY
2 Meten van klantgedrag 2.1 Inleiding Elke bedrijf of overheidsorganisatie wil bepaalde effecten realiseren met dienstverlening aan klanten. Voor overheden zijn deze effecten bijvoorbeeld tevreden klanten, dat klanten snel geholpen worden of een efficiënte uitvoering van een wet of regeling. Om te kunnen bepalen of dergelijke gewenste effecten worden behaald, is het meten van bepaalde indicatoren, zoals het kanaalgebruik van klanten, onvermijdelijk. Met meten worden feitelijke gegevens verzameld. Door deze aan elkaar te relateren, kan worden geanalyseerd of effecten worden behaald, of deze voldoende zijn en waar knelpunten zitten. Zonder dergelijke metingen moet men het doen met subjectieve en versnipperde inzichten, bijvoorbeeld spontane feedback van klanten of een onderbuikgevoel van een medewerker. Metingen mits goed gedaan geven een objectief beeld van de dienstverlening en concrete aanknopingspunten voor verbetering van dienstverlening. In dit hoofdstuk zal verder worden ingegaan op het belang van meten en een aanpak voor het opzetten van meetcyclus, inclusief aandachtspunten. Ter illustratie wordt geschetst hoe UWV dit heeft aangepakt. 2.2 Belang van meten In de inleiding is het belang van meten al op hoofdlijnen verwoord: meten maakt het mogelijk de daadwerkelijke effecten van dienstverlening objectief te bepalen. Dit is nodig om te beoordelen of dienstverlening voldoet aan de strategische doelen en organisatorische kwaliteitseisen, waarden en normen. Meten stelt de organisatie verder in staat dienstverlening beter af te stemmen op klanten, omdat de metingen een verregaand inzicht kunnen bieden over hoe klanten de dienstverlening ervaren. Samengevat geeft meten mits goed geïmplementeerd inzicht in klantgedrag, zoals: Wat voor kenmerken hebben de klanten, wie zijn het? Welke diensten gebruiken de klanten? Welke kanalen gebruiken klanten voor diensten? Welke vragen stellen klanten? Welke informatie zoeken ze? Welk proces doorloopt de klant? Wat vinden klanten van onze diensten en dienstverlening? Het belang van meten ligt niet alleen in het inzicht verkrijgen in klantgedrag, maar nog meer in de aanknopingspunten die dit oplevert wanneer de verschillende inzichten rond dienstverlening, kanaalgedrag en klantkenmerken met elkaar worden gecombineerd. Bijvoorbeeld: Afstemmen van dienst- en kanaalkenmerken op gedrag van de klant Evaluatie van dienstverlening ten opzichte van specifieke eisen Vinden van verbetermogelijkheden, blootleggen van knelpunten, effecten van verbetering Gerichte acties om het klantgedrag te beïnvloeden. Om binnen de organisatie te gaan meten vereist een gedegen aanpak. Er moet onder andere worden gezorgd dat de juiste metingen worden verricht en dat daarvoor goede meetinstrumenten worden ingezet op de juiste plek in de organisatie. Dat wil zeggen dat KANALEN IN BALANS/D1.6.2 11
er een meetontwerp moet worden ontwikkeld die past bij de organisatie, haar strategie en dienstverlening. In de volgende paragraaf schetsen we een aanpak om een meetcyclus in te richten. 2.3 Aanpak meten De focus van Kanalen in Balans ligt op dienstverlening door overheden en de inzet van de verschillende dienstverleningskanalen. Multichannelmanagement staat hierbij centraal. Wanneer het gaat over meten dan gaat het om meten met een bepaald doel, meestal het meten van bepaalde gewenste effecten van dienstverlening. Deze effecten worden gemeten met behulp van prestatie-indicatoren die zijn gerelateerd aan de dienstverlening. Idealiter wordt het meten van deze indicatoren vastgelegd in een meetontwerp. De prestatie-indicatoren volgen uit de visie en strategie van een overheidsorganisatie gerelateerd aan dienstverlening. De indicatoren geven weer hoe men wil presteren. Wil men vooral een efficiënte bedrijfsvoering, dan zijn indicatoren bijvoorbeeld gericht op kosten en doorlooptijd van front- en backoffice. Is men vooral gericht op tevredenheid van klanten, dan zullen daar specifieke maten voor moeten worden ontwikkeld. Een voorbeeld is het vragen van de klant naar een rapportcijfer wanneer deze een dienst afneemt. Een organisatie maakt dus een bewuste keuze voor specifieke prestatie-indicatoren. Deze zijn onafhankelijk van de dienstverlening. Daarna wordt gekeken hoe deze prestatie-indicatoren gemeten kunnen worden en waar dat moet gebeuren. Dat heet het meetontwerp. Idealiter wordt dit meetontwerp inclusief indicatoren gedragen binnen de gehele organisatie en is het verankerd in het kanaalontwerp, waarin wordt geschetst via welke kanalen diensten worden aangeboden aan de verschillende klantgroepen. De metingen vinden bijvoorbeeld continue plaats en worden gebruikt om de dienstverlening en kanaalinzet te evalueren en waar nodig maatregelen te nemen. Een resultaat van de evaluatie kan ook zijn dat metingen moeten worden aangepast of uitgebreid. Dit ideaal proces voor meten is weergegeven in Figuur 1. Een dergelijk meetontwerp kan worden gemaakt voor een continu meetproces, bijvoorbeeld voor het maandelijks rapporteren aan het management, maar ook voor ad hoc vragen kan het stappenplan worden gevolgd. In het laatste geval zullen de prestatieindicatoren niet worden afgeleid van de strategie, maar worden geënt op (onderzoeks)vragen. Hieronder worden de verschillende stappen verder toegelicht. 12 NOVAY
1. Strategie dienstverlening en kanaalinzet 2. Definiëren prestatieindicatoren voor dienstverlening en kanaalinzet 3. Bepalen meetontwerp 4. Ontwikkelen meetinstrumenten Kanaalontwerp 5. Implementeren meetontwerp 6. Uitvoeren metingen 8. Maatregelen 7. Analyse en evaluatie dienstverlening en kanaalinzet Figuur 1 Meten en evalueren van dienstverlening 2.3.1 Strategie dienstverlening en kanaalinzet. In het algemeen heeft een organisatie een strategie voor dienstverlening, vaak op hoofdlijnen gedefinieerd. De strategie geeft het kader voor het meetontwerp. Het geeft bijvoorbeeld aan waar men op wil Excelleren. In het algemeen kiezen organisaties voor een bepaalde mix van de volgende drie strategische waarden en daarmee voor specifieke gewenste effecten van de dienstverlening: Kostenleider: de dienstverlening is betrouwbaar en wordt zo efficiënt en effectief mogelijk uitgevoerd tegen zo laag mogelijke kosten. Kernbegrip: efficiëntie. Klantenpartner: de dienstverlening is erop gericht op de klant zo goed mogelijk van dienst te zijn en/of te ondersteunen. Kernbegrip is: klanttevredenheid. Productleider: dienstverlening is altijd state-of-the-art, wordt continue verbeterd en er worden veel nieuwe diensten ontwikkeld. Kernbegrip: innovatief vermogen. In de praktijk is één van de strategische waarden leidend en een andere randvoorwaardelijk. Bijvoorbeeld men stelt zich op als klantenpartner, maar niet tegen elke kosten. 2.3.2 Definiëren prestatie-indicatoren voor dienstverlening en kanaalinzet Bij het formuleren van een strategie op dienstverlening is het kader gezet voor het meetontwerp. Hierna volgt het doorvertalen van de strategie naar specifieke indicatoren die weergeven in hoeverre de strategie wordt ingevuld. Hier wordt aan de strategische begrippen zoals klanttevredenheid en efficiëntie meer handen en voeten gegeven. Wat verstaat de organisatie precies onder klanttevredenheid? Is dat bijvoorbeeld een enkelvoudig resultaat zoals een rapportcijfer voor dienstverlening? Of een meer complex samengesteld resultaat waaronder een aantal aspecten vallen, zoals competentie van medewerkers, hoe snel men wordt geholpen, vriendelijke bejegening? En wat is efficiëntie? Zijn dat simpelweg de kosten voor het afhandelen van een klantcontact in een bepaald kanaal of kijkt men naar de afhandeling van de gehele dienst/vraag? Iedere KANALEN IN BALANS/D1.6.2 13
organisatie zal hier een eigen mix van indicatoren samenstellen en daarbij ook normen moeten stellen rond de waarden die men nastreeft voor deze indicatoren. Wanneer men het bijvoorbeeld over rapportcijfers heeft, welke cijfers worden dan nagestreefd? Is een 6 voldoende of wil men minimaal een 8 krijgen? Wat geven deze cijfers precies weer? In de volgende stappen worden concrete meetinstrumenten ontwikkeld om deze indicatoren te meten, dat wil zeggen: wat wordt er precies gemeten, waar wordt het gemeten en hoe worden de indicatoren uit de metingen afgeleid. De volgende stap is dan om de indicatoren te interpreteren en er dus een betekenis aan te geven. UWV, bijvoorbeeld, verwoord in haar strategie dat zij streeft naar goed en snel geholpen klanten. De achterliggende waarde is het zijn van een kostenleider, maar dit mag geen negatief effect hebben op klanttevredenheid. Net zoals veel andere overheidsorganisaties, bevindt UWV zich in een spagaat tussen klanttevrenheid en kosten-efficiency. Dit betekent dat er zowel indicatoren voor efficiëntie moeten worden gedefinieerd als voor klanttevredenheid. Feitelijk hebben we het hier dus over een soort van Balanced Scorecard voor dienstverlening, waarbij de key performance indicators die afgeleid zijn van de strategie in kaart worden gebracht. Indicatoren voor efficiëntie zijn bijvoorbeeld: het aantal klanten dat wordt geholpen, de doorlooptijd van dienstverlening, het aantal medewerkers dat wordt ingezet, de kosten die met het contact gemoeid zijn. 2.3.3 Bepalen meetontwerp. Het meetontwerp beschrijft hoe en waar er wordt gemeten. Het meetontwerp moet zo worden opgezet dat er waarnemingen kunnen worden gedaan of afgeleid voor de prestatie-indicatoren. Het opzetten van een dergelijk meetontwerp vraagt de specifieke expertise van data-analisten. Het meetontwerp bevat de volgende ingrediënten. Definiëren benodigde analyse: welke methoden zijn nodig om de onderzoeksvragen te beantwoorden of de prestatie-indicatoren af te leiden? Welke gegevens zijn daar globaal voor nodig? In het volgende hoofdstuk worden een aantal voorbeelden van mogelijke analyses gegeven. Locatie van metingen: waar kijkend naar de huidige dienstverlening, kanaalinzet, systemen, organisatiestructuur kunnen deze gegevens het best worden verzameld? Manier van meten: Hoe wordt er gemeten? Kunnen er gegevens worden gebruikt die toch al worden vastgelegd in systemen of moeten medewerkers of klanten extra handelingen verrichten? Wat voor effect heeft het dit op de dienstverlening, systemen, organisatiestructuur etc.? Vraagt het bijvoorbeeld extra tijd van medewerker of van klanten? Of moeten systemen worden aangepast? Zijn deze effecten gewenst? Wat zijn alternatieven? Kunnen gegevens bijvoorbeeld indirect worden afgeleid uit andere gegevens? Zo kan klanttevredenheid worden nagevraagd bij de klant, maar kan klanttevredenheid ook indirect worden afgeleid van het aantal klachten (door niet tevreden klanten), aantallen herhaaltelefoontjes of het aantal klantcontacten dat direct in de front-office wordt afgehandeld. De dataverzameling vindt grotendeels plaats binnen de eigen organisatie bijvoorbeeld via de eigen administratieve systemen. Desgewenst kan data worden aangevuld via externe databases. Aanvullend onderzoek kan ook nodig zijn, bijvoorbeeld een klanttevredenheidsonderzoek. Daarvoor zullen meetinstrumenten moeten worden ontwikkeld. Vooral rond klantkenmerken zijn veel externe databestanden beschikbaar, waarin klantkenmerken kunnen worden aangevuld met lifestyle gegevens. Een voorbeeld van een dergelijke databank is Mosaic van de organisatie Experian. 14 NOVAY
Mosaic data is data op huishoudniveau dat is samengesteld uit verschillende bronnen. Consumenten worden geclassificeerd voor wat betreft hun socio-demografie, levenstijl, cultuur en (koop)gedrag. Die classificatie vindt plaats per huishouden en daarmee ook per postcode en andere geografische niveaus. Mosaic data wordt typisch gebruikt voor segmentatieonderzoek, dus om te kijken welke typen klanten bepaalde diensten of producten afnemen en daarop de marketing- en communicatiestrategie af te stemmen. Mosaic kent verschillende classificaties, bijvoorbeeld waarden en normen, beslisstijlen, inkomensklasse, type consument, en technologie type. Deze laatste is gerelateerd aan kanaalvoorkeuren. Er is uitgebreide documentatie over typische consumenten en hun classificaties. Daarnaast zijn er verschillende rapportages beschikbaar voor de verdeling van bepaalde classificaties in Nederland. Wanneer de organisatie data op klantniveau gebruikt en externe gegevens betreft van een databestand zoals Mosaic, moet rekening worden gehouden met een bepaalde meetonbetrouwbaarheid. Op huishoudniveau worden de gegevens van de kostwinner opgevoerd (o.a. leeftijd), die niet perse gelden voor de klant. Ontwikkelen meetinstrumenten In stap 3 worden de gegevens benoemd voor het meetontwerp. Dit kunnen enkelvoudige gegevens zijn, bijvoorbeeld de duur van een klantcontact, maar ook complexere zaken die worden samengesteld uit meerdere gegevens. Voor deze laatste categorie moeten meetinstrumenten worden ontwikkeld. Die beschrijven hoe de afzonderlijke gegevens worden verzameld en hoe uit deze gegevens de meting wordt afgeleid. Een meetinstrument is bijvoorbeeld een vragenlijst voor klanten, waarin de klant wordt gevraagd om een aantal vragen te beantwoorden over zijn of haar ervaring met de dienstverlening. Uit de antwoorden op deze vragen wordt vervolgens één gemiddelde waarde voor klanttevredenheid berekend. Er kunnen verschillende instrumenten worden ontwikkeld voor een meting, bijvoorbeeld eentje voor de balie, eentje voor telefoon en eentje voor internetdienstverlening 1. 2.3.4 Implementeren meetontwerp. Het meetontwerp en de meetinstrumenten zijn gereed. Nu kan het in de praktijk worden geïmplementeerd. Afhankelijk van het meetontwerp betekent dit: Dat er een systeem moet worden ingericht om de verzamelde data op te slaan (een datawarehouse), dat er scripts worden geschreven om data te bewerken en analyses uit te voeren. Dat er uitbreidingen moeten komen op administratieve systemen of systemen moeten worden ingericht om gegevens vast te leggen. Het kan nodig zijn om medewerkers te trainen in het verzamelen van gegevens. Dat er procedures moeten zijn om gegevens over dienstverlening naar het datawarehouse te brengen. Kunnen gegevens automatisch door het datawarehouse uit de administratieve systemen worden gehaald, of zijn er handmatige handelingen nodig? Welke afspraken met specifieke afdelingen zijn nodig? 1 Voorbeelden van dergelijke metingen op het gebied van kanaalkeuze zijn in het rapport D1.1 Kanaalkeuze uit het eerste jaar van Kanalen in Balans al opgeleverd. KANALEN IN BALANS/D1.6.2 15
2.3.5 Uitvoeren metingen. Alles is ingericht. Nu kunnen gegevens worden verzameld. Het is belangrijk dat er commitment is vanuit de hele organisatie, dus zowel het management moet het belang van metingen onderschrijven en medewerkers moeten er ook het nut van inzien, zeker als het voor hen extra werk betekent. Het is van belang dat metingen zoveel mogelijk nauwkeurig en correct worden uitgevoerd voor een objectief resultaat. Commitment verhoogt wanneer men het belang van metingen onderschrijft en ook actief wordt geïnformeerd over het effect van hun inspanningen. Bijvoorbeeld over maatregelen die worden genomen. 2.3.6 Analyse en evaluatie dienstverlening en kanaalinzet Het is nu betrekkelijk eenvoudig om de analyses uit te voeren, immers de analyse is nauwkeurig beschreven en voorbereid en de gegevens zijn verzameld. De resultaten van de analyse worden bijvoorbeeld beschreven in een periodieke rapportage, een presentatie voor het management of in een dashboard dat toegankelijk is via het intranet en de diverse prestatie-indicatoren of metingen grafisch weergeeft. Wanneer het gaat om prestatie-indicatoren kunnen deze naast de normen worden gelegd of naast indicatoren in een vorige periode. Er wordt gezocht naar de verschillen en waar mogelijk worden deze gerelateerd aan de eigen activiteiten in de afgelopen periode (bijvoorbeeld kanaalsturing, marketingactiviteiten) of aan externe factoren (bijvoorbeeld verandering in wetgeving of schommelingen in de tijd). UWV is bijvoorbeeld sterk afhankelijk van de economische situatie en de seizoenen: in bepaalde perioden is de druk op de dienstverlening groter omdat er gewoonweg meer aanvragen zijn voor een WW-uitkering. In de evaluatie zal vervolgens worden ingegaan op mogelijkheden om verschillen weg te werken. Bijvoorbeeld wanneer een dalende klanttevredenheid wordt geconstateerd voor internetdienstverlening kunnen oorzaken liggen in de begrijpelijkheid van de teksten, mogelijke ondersteuning of het plat liggen van internet. Het kan ook zijn dat de dienstverlening in principe wel goed is, maar niet is hoe men het zou verwachten, bijvoorbeeld dat via internet die klantvraag direct en snel wordt afgehandeld. Soms zal het nodig zijn om aanvullende gegevens te verzamelen wanneer oorzaken niet kunnen worden gevonden. 2.3.7 Maatregelen Naar aanleiding van de evaluatie kunnen verschillende maatregelen worden genomen. Activiteiten rond communicatie: veranderen van teksten in brieven wanneer bijvoorbeeld blijkt dat er veel vragen zijn over bepaalde brieven of formulieren, of een reclamecampagne om bepaalde diensten onder de aandacht te brengen. Eventueel kan hier onderscheid worden gemaakt naar verschillende klantgroepen. De inhoud van dienstverlening wijzigen, bijvoorbeeld formulieren (papier of elektronisch), teksten op internet, scripts voor het callcenter, wanneer dienstverlening niet duidelijk is. Kanaalsturing: dit is vooral relevant wanneer de inzet van kanalen niet het gewenste resultaat heeft. Kunnen er aanvullende maatregelen worden genomen om klanten bijvoorbeeld naar het digitale kanaal te krijgen? Zijn er prijsprikkels nodig? Of nieuwe / verbeterde e-diensten? 16 NOVAY
2.4 Kanaalontwerp en meetontwerp In de aanpak voor het meetontwerp wordt uitgegaan van een gerealiseerd kanaalontwerp. In de praktijk is er meestal al een specifiek kanaalontwerp met de invulling van de dienstverlening. Een dergelijk kanaalontwerp of kanaalinrichting beschrijft hoe de verschillende klantgroepen bediend worden en op welke manier kanalen daarbij worden ingezet. De belangrijkste kanalen zijn meestal balie, telefoon, post en internet (website en e-mail). Wellicht ligt er geen expliciet kanaalontwerp aan de dienstverlening ten grondslag, maar is de kanaalinrichting en dienstverlening zo gegroeid. Nieuwe kanalen werden er zo goed mogelijk naast gezet, zoals het callcenter of internet, evenals nieuwe diensten. Wanneer het niet wenselijk is om (op korte termijn) een ander kanaalontwerp te realiseren, dan moet het meetontwerp worden afgestemd op het kanaalontwerp. Wanneer er echter geen kanaalontwerp is of wanneer een kanaalontwerp moet worden aangepast, dan adviseren wij om het meetontwerp gelijktijdig te ontwikkelen en te implementeren. 2.5 Meten bij UWV Vanuit de doelstelling van UWV Goed en snel geholpen klanten ontstond de behoefte om inzicht te krijgen in de eigen prestaties met betrekking tot dienstverlening. UWV wilde een hogere klanttevredenheid, toegevoegde waarde leveren in klantcontacten, het aantal klachten en onnodige klantcontacten verminderen, een meer kostenefficiënte uitvoering en meer digitaal gaan werken. Om dit te kunnen realiseren was er behoefte aan meetgegevens. 2.5.1 Inrichting meetsysteem Omdat er binnen de verschillende (administratieve) systemen veel data wordt vastgelegd werd besloten om een nieuwe interne afdeling in te richten die data uit de verschillende systemen zou koppelen, de dienstverlening inzichtelijk kon maken in een zogenaamd dashboard en vragen uit de lijn kon beantwoorden. Hiermee zou de afdeling het eigen bestaansrecht kunnen aangeven. Naast het meten wordt er een meet- en verbetercyclus ingericht. De metingen moeten een scala aan indicatoren opleveren, o.a. rond klanttevredenheid, klachtafhandeling en aantal klachten, aantal klantcontacten, soorten vragen van klanten, etc. Figuur 2 schetst de ambities van de meet- en verbetercyclus bij UWV. KANALEN IN BALANS/D1.6.2 17
6. Monitoren van verbeteringen 1. Verzamelen van gegevens Voorzien van relevante informatie over de voortgang van de doelstellingen Inzicht in data leidt tot betere beslissingen 5. Doorvoeren van verbeteringen 2. Integraal analyseren Input voor verbetercyclus en de lerende organisatie (continue verbeteren) 4. Opstellen van verbeteringen 3. Delen van (analyse) resultaten Figuur 2 De meet- en verbetercyclus bij UWV Omdat er een grote variëteit aan administratieve systemen is bij UWV wordt er een centraal datawarehouse ontwikkeld die wordt gevuld vanuit de diverse bronnen. Vanuit dit datawarehouse kunnen de verschillend analyses worden gerapporteerd (zie Figuur 3). Business Objects rapportages K&S Portal (dashboard) Klantvraag analyse Output rapportages en overzichten D a t a w a r e h o u s e U W V Verwerking structurering + koppeling via burgerservicenr/ loonheffingsnr telefonie internet balie post klachten ZW e-diensten Procesgegevens K3CR Moniforce Facilitor Output mngtsysteem Klachten Adm Verzuimmelder dig werkbriefje Resafasa Input registraties in bronsystemen Q-go Website waardering Input mngtsysteem Reflex DVB, webfom, Jaaropgave UZS WWO Figuur 3 Data analyse via het centrale datawarehouse Omdat de UWV-systemen erg verschillen (bijv. manier van vastleggen, wat wordt vastgelegd, datavelden) is gekozen om zogenaamde gebeurtenissen of events te gebruiken om de data te structureren. Deze eventtabel vormt de basis voor een groot scala aan vragen. Events zijn bij UWV vooral contactmomenten met de klant en activiteiten in het back-office proces ten behoeve van de klant (bijv. een mutatie doorvoeren, een betaling doen). In elke eventtabel worden een aantal kenmerken opgeslagen: de klant, de locatie, datum en tijd, een kanaal (zie Figuur 4). 18 NOVAY
databronnen dienst proces klant event tijd locatie kanaal Figuur 4 Structuur event-tabel De eventtabel vormt de basis dataset voor een groot scala aan analyses. De vijf basiselementen kunnen worden verrijkt met informatie uit (interne of externe) databronnen. Bijvoorbeeld door klant (een klant=bsn nummer) in het event te koppelen aan klantgegevens (demografisch, lifestyle) en daarna de verschillende kenmerken van het event aan elkaar te relateren (bijv. klanten en kanalen of diensten en kanalen) kunnen beleidsvragen worden beantwoord en kan kennis worden gegenereerd over kanaalgedrag binnen UWV. Op basis van de resultaten kunnen aanknopingspunten worden gezocht voor bijvoorbeeld kanaalsturing of verbetering van de kanaalinrichting en dienstverlening. De kern van dit soort analyses is weergegeven in Figuur 5. Klanttevredenheid is afhankelijk van de specifieke klantkenmerken. Daarbij zijn de eigenschappen van het kanaal en/of de locatie (bijv. interactiviteit van het kanaal) van invloed en ook proceseigenschappen (bijv. in welk proces zit de klant, hoe complex is dit proces). Figuur 5 Structuur van mogelijke analyses KANALEN IN BALANS/D1.6.2 19
De aanpak van UWV is sterk gericht op de praktische haalbaarheid. Men heeft het meetontwerp geënt op de huidige kanaalinrichting, dienstverlening, systemen en organisatiestructuur met in principe zo weinig mogelijk extra werk voor de medewerkers. Er is een nieuwe afdeling opgezet met data-analisten die verantwoordelijk is voor het opzetten en uitvoeren van de meetcyclus. De benodigde gegevens worden overgenomen uit de verschillende administratieve systemen. Dit maakt de UWV aanpak ook zeer geschikt voor andere organisaties. Hierbij moet wel de kanttekening worden gemaakt dat met een dergelijke pragmatische aanpak sommige analyses niet mogelijk zijn, simpelweg omdat er geen data beschikbaar is. Indien de data niet beschikbaar is, zal men het meetontwerp moeten aanpassen. Ook kan men naar de bron gaan om te lobbyen dat bepaalde gegevens wel worden vastgelegd. Tot slot heeft men de mogelijkheid om te kijken naar andere metingen die in de plaats van de niet beschikbare meting gebruikt kunnen worden. 20 NOVAY
3 Analyse van kanaalgedrag Het vorige hoofdstuk ging over het opzetten van een meetontwerp. Dit hoofdstuk gaat in meer detail in op de analyse van data. De analyse van de pilot UWV Dashboard is gericht op kanaalkeuze en gebruik van kanalen. In de analyse wordt getracht relaties te vinden tussen dergelijk kanaalgedrag en specifieke klantkenmerken en zo aanknopingspunten te krijgen voor maatregelen en beleidsadviezen. Om de complexiteit van de analyses te reduceren wordt gekozen voor een analyseraamwerk in de context van specifieke dienstverlening (zie Figuur 6). Toepassingen van dit analyseraamwerk worden beschreven in hoofdstuk 4. De dienstverlening binnen overheden is vaak zo complex dat het streven naar een generiek model voor analyse van diensten, kanalen en klanten nauwelijks werkbaar zal zijn. De analyse vanuit de context van een specifieke dienst is een goed alternatief. Dienstcontext Klanten Kanalen Figuur 6 Analyse van klanten en kanalen binnen de context van een dienst Het soort resultaten waar een analyse zich op kan richten is ondermeer: inzicht in kanaalgedrag van klanten: welke klanten gebruiken welke kanalen en waarom? efficiëntie van contactmomenten: in hoeverre worden klanten direct geholpen? En verschilt dit per kanaal? inzicht in kanalen: hoe staan de kanalen ten opzichte van elkaar? Gebruiken klanten meerdere kanalen naast elkaar? efficiëntie en effectiviteit van het proces: klant en dienstverlener volgen een gezamenlijk proces. Waar zitten de knelpunten? KANALEN IN BALANS/D1.6.2 21
Figuur 7 Voorbeeld proces van WW-aanvraag: vragen aan het callcenter Figuur 7 geeft een voorbeeld van het resultaat van een analyse met betrekking tot het klantproces. Bij UWV vragen klanten hun WW uitkering grotendeels elektronisch aan via de dienst E-intake (een klein percentage (circa 20%) klanten gebruikt het papieren formulier). Zij doen dit thuis via hun eigen PC en internet of gebruiken faciliteiten in de regiokantoren. In het bijbehorende administratieve systeem worden verschillende gegevens opgeslagen, onder andere het burgerservicenummer (BSN) die de klant uniek identificeert en de datum van de aanvraag. Voor, tijdens en na de aanvraag hebben klanten wanneer zij vragen hebben behoefte aan een klantcontact via het callcenter. In het callcenter worden van elk klantcontact ook gegevens vastgelegd (BSN nummer, datum en tijd van het klantcontact, de vraag van de klant (type)). In een analyse bij UWV zijn de E-intake en contact via het callcenter over de aanvraag aan elkaar gerelateerd. Figuur 7 geeft de resultaten weer. Op de horizontale as wordt het aantal dagen voor of na de E-intake weergegeven. De E-intake heeft plaatsgehad op tijdstip 0. Voorafgaand aan de intake zijn er vooral vragen rond hoe en wanneer kan ik een WW-uitkering aanvragen (de rode lijn). Vlak na de aanvraag gaan veel vragen over inhoudelijke aspecten, zoals wat moet ik meesturen. Na ongeveer 2 weken wordt er steeds meer gebeld over de status van de aanvraag. Dergelijke analyses geven veel inzicht in het klantproces en geven gedetailleerder weer hoe en waar de klantcommunicatie aangepast kan worden en waar het proces verbeterd kan worden. 3.1 Opzet analyses Figuur 8 schetst de aanpak van de data-analyse. Op basis van vragen van de opdrachtgever wordt bepaald welke analyses nodig zijn en welke data daarvoor is benodigd. Analyse en benodigde data moeten worden afgestemd op de manier waarop de dienstverlening is ingericht en kanalen worden ingezet. De analyse is afhankelijk van de organisatorische inrichting van de dienstverlening, bijv. op welke manier data wordt vastgelegd in systemen. Daarna vind de daadwerkelijke dataverzameling plaats en wordt de analyse voorbereid. De bevindingen worden teruggekoppeld naar de opdrachtgever, inclusief interpretatie van de resultaten en aanbevelingen. Soms is het nodig om de onderzoeksvragen aan te passen, wanneer de benodigde analyse en data niet kan worden geleverd binnen de context van de huidige dienstverlening en kanaalinrichting. In de 22 NOVAY
volgende paragrafen worden de verschillende onderdelen van de analyse nader toegelicht. Definiëren onderzoeksvragen Bepalen analyse en benodigde data Verzamelen data Databewerking Dienstverlening en kanaalinrichting Analyse Rapporteren Aanbevelingen Figuur 8 Analyse proces 3.2 Onderzoeksvragen, vaststellen analyse en benodigde data De focus van de analyse wordt vastgesteld naar aanleiding van de initiële (onderzoeks)- vragen van de opdrachtgever. Sommige vragen richten zich op een algemeen beeld, andere vragen op diepgaand inzicht. Een analyse kan uiteraard meerdere onderzoeksvragen omvatten. Tabel 1 geeft een overzicht van mogelijke vragen en analyses die daarbij nodig zijn. Bij elk van de vragen is op hoofdlijnen aangeven welke data benodigd is om de analyses uit te voeren. Tabel 1 Onderzoeksvragen, analyse en resultaten Vraag Benodigde data Analyse en resultaat Welke klanten maken gebruik van de dienst? Klantkenmerken (demografisch, lifestyle) Overzicht van verschillende klantkenmerken, verdeling van type klanten voor de dienst. Er wordt inzicht verkregen in soorten klanten, waarop bijv. communicatie en interface van dienstverlening beter kan worden Welke andere diensten gebruiken klanten die deze Afname van diensten op klantniveau afgestemd. Overzicht van dienstencombinaties, eventueel verdeeld naar klantgroepen. Hiermee kan beter klantgericht worden KANALEN IN BALANS/D1.6.2 23
Vraag Benodigde data Analyse en resultaat dienst afnemen? gewerkt en het dienstenaanbod beter worden ingericht naar de wens van de klant. Welke kanalen gebruiken klanten voor deze dienst? Op klantniveau kanaalgebruik voor de dienst. Overzicht van de kanalenmix voor de dienst. Aanvullend kan worden gekeken naar de volgorde van kanalen en kanaalgebruik in de tijd. Hier wordt inzicht verkregen in het daadwerkelijke gedrag van de klant, contactmomenten etc. Hiermee kunnen knelpunten worden benoemd en aanbevelingen worden gedaan voor procesverbeteringen en Waarvoor/waarom gebruiken klanten deze dienst? Wat zijn de verschillen tussen klanten van de verschillende kanalen? Waarom gaan klanten naar een ander kanaal? Welke kanaal-klant combinatie resulteert het snelst in afhandeling? Op klantniveau: specifieke activiteiten die worden gedaan (bijv. vragen, subdiensten) Klantkenmerken en kanaalgebruik Op klantniveau activiteiten die per kanaal. Per dienst op klantniveau doorlooptijd van de afhandeling per kanaal. inrichting van diensten. Inzicht in de motivatie om diensten te gebruiken. Eventueel onderverdeeld naar kanaal van dienstverlening. Dit levert aanknopingspunten voor verbetering en aanscherping van de dienstverlening. Verder kunnen knelpunten aan het licht komen en aanbevelingen worden gedaan voor procesverbeteringen. Er wordt inzicht verkregen in kanaalgedrag in relatie tot klantkenmerken. Hiermee worden aanknopingspunten voor kanaalsturing verkregen, bijv. voor communicatie. Daarnaast kunnen knelpunten worden benoemd en suggesties voor procesverbetering en dienstverbetering. Inzicht in de verschillende activiteiten en de volgorde over de kanalen heen. Geeft aanknopingspunten voor kanaalsturing, voor proces- en dienstverbetering. Inzicht in de doorlooptijd per dienstkanaal-klanttype. Hieruit kan het meest efficiënte kanaal per klanttype worden afgeleid. Hier ook het aantal contactmomenten bij betrekken. Geeft aanknopingspunten om klanten van met bepaalde kenmerken richting te kanaal te sturen. 3.3 Type data In het vorige hoofdstuk gingen we in op benodigde gegevens en meetinstrumenten. Voor de analyse is het noodzakelijk om het type data verder te duiden. Kwantitatief versus kwalitatief. Kort door de bocht geformuleerd is kwantitatieve data data die in getallen kan worden weergegeven en waarmee vervolgens kan worden gerekend. Kwantitatieve data wordt bijvoorbeeld verzameld in een enquête met gesloten vragen, dat wil zeggen dat men aangeeft welk antwoord van toepassing is. Kwalitatieve data is meer verhalend en kan niet direct in getallen worden weergegeven. Dergelijke data geeft veel inzicht in achtergronden en wordt typisch via interviews verzameld. Wanneer het gaat om meten van dienstverlening zal in het algemeen zoveel 24 NOVAY
mogelijk kwantitatieve dus cijfermatige gegevens worden verzameld. Vaak gaat het bij overheden om dienstverlening aan tien duizenden of zelfs miljoenen klanten en is het grootschalig verzamelen en analyseren van data alleen mogelijk op cijfermatige data. Aanvullend kan het soms nodig zijn om in een interview of vraaggesprek klanten of medewerkers te vragen naar achtergronden. Soorten data. Kwantitatieve data kan ook verschillen afhankelijk van de manier waarop wordt gemeten. Data kunnen betrekking hebben op: Classificatie: Dit betreft de feitelijke indeling van bijvoorbeeld en klant of een proces. De klant is een man of een vrouw, en valt bijvoorbeeld in de categorie lage opleiding. In analyses kan er niet echt gerekend worden met dergelijke cijfers in de zin van gemiddelden uitrekenen. Classificaties worden gebruikt bijvoorbeeld om te bekijken of mensen in de ene categorie de dienstverlening op een andere manier gebruiken dat mensen in andere categorieën. Antwoord categorieën: Bij data die betrekking heeft op antwoord categorieën refereren de cijfers naar een bepaald antwoord op een vraag. Bijvoorbeeld wanneer men antwoord 2 kiest op de vraag: Welk kanaal heef uw voorkeur (kies uit de onderstaande lijst)? met antwoordcategorieen: 1) balie, 2) telefoon, 3) internet, 4) anders. Typische analyses voor dergelijke data is het weergeven van aantallen. Getallen: Deze data betreft reguliere getallen, bijvoorbeeld het aantal minuten of een rapportcijfer. Met deze getallen kan op verschillende manieren worden gerekend, tenminste als er geen appels en peren worden opgeteld. Waardering: Waarderingen hebben betrekking op een score die aangeeft in hoeverre iets van toepassing is of in hoeverre men het ergens mee eens is. Meestal wordt gebruik gemaakt van een 5-puntsschaal, waarbij de waarde 1 betekent dat het helemaal niet van toepassing is en bij 5 is het helemaal wel van toepassing. Dergelijke data wordt vooral verzameld via een enquête. Met deze data kan worden gerekend. Een gemiddelde zegt bijvoorbeeld hoe iets gemiddeld gewaardeerd wordt. Ook kunnen gemiddelden voor een aantal waarderingsvragen worden uitgerekend wanneer deze vragen betrekking hebben op één onderwerp. Rangorde: Dergelijke data zijn bijvoorbeeld de top 3 van favoriete diensten of komen uit het rangschikken van aspecten. 3.4 Analysemethoden en modellen Voor onderzoek naar kanaalgebruik en dienstverlening door klanten zijn segmentatiemodellen zeer geschikt. Dat zijn modellen waarbij wordt gekeken hoe kenmerken van klanten samenhangen met bepaald gedrag, in ons geval kanaalgedrag. Er zijn twee manieren om klantsegmentatie onderzoek uit te voeren. Enerzijds kan er gewoon worden gekeken naar kanaalgedrag voor bepaalde kenmerken, bijvoorbeeld kanaalgedrag van mannen versus die van vrouwen of gerelateerd aan een opleidingsniveau, regio, leeftijdscategorie etc. Via statistische technieken kan worden bekeken of de verschillen significant zijn. Een significant verschil wil zeggen dat de kans dat verschillende groepen verschillen in hun gedrag zeer groot is. Statistische technieken om deze verschillen op significantie te beoordelen worden toetsen genoemd. Het soort toets dat nodig is hangt af van het soort data dat wordt gebruikt. Er zijn heel veel verschillende toetsen. De meest bekende zijn de t-toets, om verschillen in getal-scores te toetsen voor bepaalde groepen en de χ 2 -toets die kijkt of de aantallen in categorieën verschillend zijn voor bepaalde groepen mensen. Dergelijke toetsen worden door de reguliere analyse tools ondersteund. Toetsen zijn er gevoelig voor de grootte van de dataset, dat wil zeggen dat verschillen in grote datasets eerder significant zullen zijn dan KANALEN IN BALANS/D1.6.2 25
in kleine datasets. Gezien deze gevoeligheid voor de omvang van de datasat, is het wellicht beter voor overheden met dienstverlening aan grote groepen klanten, om ook eigen normen op te stellen. Men zou in plaats van de standaard 95% betrouwbaarheid kunnen vasthouden aan 99% betrouwbaarheid. Een andere optie is om een minimaal verschil vast te stellen als uitgangspunt. Anderzijds kunnen statistische technieken worden ingezet voor het automatisch zoeken naar klanten met soortgelijk kanaalgedrag en hun kenmerken. Dit heten segmentatiemodellen. Hieraan liggen verschillende segmentatie vanuit marketing aan ten grondslag. Er is een segmentatiegrondslag, dat wil zeggen het soort kenmerken waarop men klanten wil indelen. Deze basis bevat waarneembare of niet-waarneembare kenmerken. Waarneembare kenmerken kunnen feitelijk worden vastgesteld, dit zijn bijvoorbeeld locatie, sexe, sociaal-economische status, frequentie van dienstgebruik. Niet-waarneembare kenmerken kunnen alleen indirect worden afgeleid. Het gaat dan over kenmerken zoals voorkeuren, lifestyle en waarden. Er kan hier een indeling worden gemaakt naar algemene kenmerken en naar kenmerken gerelateerd aan dienstgebruik. Er zijn verschillende methodes om segmentaties te bepalen. Een belangrijk onderscheid is die tussen beschrijvende modellen en voorspellende modellen. Beschrijvende modellen geven inzicht in de huidige situatie. Bij voorspellende modellen is het de bedoeling dat de modellen ook kunnen worden gebruikt om toekomstige situaties te voorspellen. Analyses worden uitgevoerd op basis van deze modellen. Het voert te ver voor deze rapportage om precies uit te leggen hoe een dergelijke analyse in zijn werk gaat. 3.5 Analyse en rapportage Veel analyses kunnen worden uitgevoerd met behulp van Excel modellen. Een kanttekening bij gebruik van Excel is dat de dataset beperkt is tot ca. 65.500 cases en 256 variabelen. Bij complexere vragen en grote bestanden is ondersteuning door statistische analysemiddelen gewenst (bijv. SPSS of SAS) of analyse methoden gerelateerd aan specifieke marketing of multichannel modellen of statistische analysetechnieken (Lisrel om causale relaties te analyseren, HLM voor data op meerdere organisatorische lagen, specifieke tools voor segmentatiemodellen). Voor het uitvoeren van dergelijke analyses vooral bij complexere vragen is specifieke expertise nodig om analyses correct uit te voeren en de resultaten correct te interpreteren. Voor analyses die periodiek worden uitgevoerd kan een Excel model of SPSS script worden opgesteld, waarin de input kan worden ververst en de output automatisch wordt gegenereerd. Output kan bestaan uit tabellen en figuren die daarna onderdeel uitmaken van een rapportage. Uiteraard kunnen er ook gerichte applicaties worden ontwikkeld voor analyse van data en rapportage van de resultaten, bijvoorbeeld zoals het UWV Dashboard. Vaste onderdelen van een rapportage zijn: De onderzoeksvragen, de context, het doel Een (korte) toelichting op de analyseaanpak: welke data is gebruikt, welke tools, welke analysemodellen. Enkele kengetallen, bijv. aantal waarnemingen, aantal waarnemingen per klant, tijdsperiode, enkele gemiddelden, etc. Dit geeft een beeld van de context van de analyse en de representativiteit. Resultaten: bij voorkeur grafisch vormgegeven in een overzicht en desgewenst tabellen voor meer detailinformatie. De lezer moet zoveel mogelijk worden geholpen de tabellen en figuren te interpreteren, bijvoorbeeld door een toelichting (wat is hier 26 NOVAY