Het belang van kwaliteitsaspecten: uitdieping van het klantwensenonderzoek Menno de Bruyn Nederlandse Spoorwegen Bert de Vries Nederlandse Spoorwegen Paper voor Colloquium Oog voor de reiziger, 11 september 2009
Samenvatting NS heeft in 2007 een groot klantwensenonderzoek uit laten voeren. Hierin zijn 53 aspecten van klanttevredenheid onderscheiden in vijf clusters: product, service, beleving, toegankelijkheid en prijs. Van elk aspect is belang en oordeel gevraagd. In deze paper worden de onderzoeksresultaten verdiept om zo te komen tot meer inzicht in klantgedrag en gerichter invulling te kunnen geven aan de strategie van NS. Als eerste is gekeken naar missing values. Er blijkt een onderscheid in missing values tussen generieke en specifieke variabelen. Generieke variabelen zijn voor elke reiziger van toepassing en hebben weinig missing values. Specifieke variabelen zijn alleen voor bepaalde groepen reizigers of in bepaalde situaties van toepassing en kennen veel missing values. Het hebben van ervaring met een bepaald aspect blijkt niet alleen van invloed op het aantal missing values, maar ook op belangen en oordelen. In verdere analyses vormen missing values een probleem omdat ze het aantal waarnemingen waarmee gewerkt kan worden drastisch verminderen. Om dit probleem te ondervangen zijn de missing values opgevuld met data imputatie op basis van Maximum Likelihood Estimation. Met de zo ontstane dataset zijn factoren afgeleid: groepen van variabelen die bij elkaar horen en samen een kwaliteitsdimensie vormen. Met regressie analyse is voor elk van de negen factoren het belang afgeleid. De gevonden factoren zijn heel goed toe te wijzen aan de bij NS bekende klantwensenpiramide, die hiermee wordt bevestigd.
1. Inleiding In 2007 hebben de onderzoeksbureaus Flow Consulting en Research International in opdracht van NS een groot Klant Wensen Onderzoek (KWO) uitgevoerd. In de eerste fase is in groepsdiscussies met klanten vastgesteld welke kwaliteitsaspecten een rol spelen bij de klant in de beoordeling van de dienstverlening van NS. Deze kwaliteitsaspecten zijn gegroepeerd in vijf clusters: Product Service Beleving Toegankelijkheid Prijs In totaal zijn 53 kwaliteitsaspecten onderkend en toegewezen aan de vijf clusters. Vervolgens is in een kwantitatief onderzoek voor elk van deze aspecten het klantoordeel en het belang gevraagd. Daarnaast is een groot aantal achtergrondvariabelen gevraagd en is specifiek ingegaan op een aantal verstoorde situaties. Research International heeft een overkoepelende rapportage gemaakt met de hoofdlijnen: de oordelen en belangen van alle aspecten, de samengestelde oordelen en belangen van de vijf clusters, en een uitsplitsing naar vier segmenten: woon-werk, woonschool, zakelijk en sociaal-recreatief (1). Er is echter veel meer uit het databestand te halen. Vandaar dat NS is gestart met dit project: verdere uitdieping van oordelen en belangen, om zo te komen tot meer inzicht in klantgedrag en gerichter invulling te kunnen geven aan de strategie van NS. Deze paper beschrijft de methoden waarop de uitdieping heeft plaatsgevonden en laat de resultaten zien. De volgende onderwerpen komen daarbij aan de orde: Missing values: patronen in ontbrekende oordelen Factor analyse: afgeleide belangen 2. Missing values: patronen in ontbrekende oordelen In het KWO bestand zitten 4.438 ingevulde vragenlijsten. Er is gevraagd naar oordelen en belangen op 53 aspecten, plus nog drie oordelen die niet over één aspect gaan, maar meer de gehele dienstverlening betreffen: het algemeen oordeel, het oordeel over prijskwaliteit verhouding en de mate van aanbevelen. Bij de belangen is afgedwongen dat respondenten elk aspect een belang moesten geven. Hier zijn dus geen ontbrekende waarden, ook wel missing values genoemd. Bij de oordelen is echter alleen bij het algemeen oordeel en het oordeel over prijs-kwaliteit afgedwongen dat respondenten een antwoord moesten geven. Van de overige oordelen is gemiddeld 11% niet ingevuld. Dit is een behoorlijk hoog percentage, maar het is heel verschillend per variabele, zoals blijkt in de volgende paragraaf.
2.1 Generieke en specifieke variabelen Bij de analyse van missing values maken we onderscheid in generieke en specifieke variabelen. Generieke variabelen zijn voor iedereen die wel eens met de trein reist van toepassing, terwijl specifieke variabelen slechts voor een deel van de populatie zijn bestemd. Een voorbeeld van een specifieke variabele is de vraag over het gemak van het indienen van een klacht: als men nooit een klacht indient, dan is deze vraag niet van toepassing, en zal veelal niet worden ingevuld. Van de 53 aspecten die in het KWO worden gevraagd, zijn er 17 specifiek en 36 generiek. Voor alle specifieke variabelen ontbreekt gemiddeld 20% van de oordelen. Hier is echter een grote variatie in: voor de vragen over overstappen ontbreekt 8-10%, terwijl voor de vragen over klachtenafhandeling 33-39% van de oordelen ontbreekt. Voor de generieke variabelen ontbreekt gemiddeld 9% van de oordelen. Hier is sprake van een tweedeling: generieke variabelen die tot de basisbehoeften behoren (oa punctualiteit, reinheid, veiligheid) hebben gemiddeld 8% missing values, en degenen die niet tot de basisbehoeften behoren gemiddeld 11%. 2.2 Effect van hebben van ervaring op onderzoeksresultaten In het stuk hiervoor werd gesteld dat reizigers die geen ervaring hebben met een bepaald aspect ook relatief vaak geen oordeel geven over dit aspect. Maar is dat echt zo? En verschillen de oordelen en belangen voor de groep met en zonder ervaring? De resultaten staan in tabel 1. Ervaring met Missings Belang Oordeel Overstappen -- + -- Samenreizen - ++ + Werkvoorzieningen - ++ +/- Voortransport auto/fiets/stedelijkov -- ++ + Voortransport streekov -- + - Natransport stedelijkov -- + +/- Natransport streekov -- + - Dagdeelkorting - ++ + Keuzereizger -- + +/- Vertraging -- +/- -- Tabel 1; -- = veel lager; - = lager; +/- = gelijk; + = hoger; ++ = veel hoger Ter verduidelijking van de tabel een voorbeeld: als men wel eens overstapt, zijn er veel minder missings voor het oordeel overstappen (indicatie -- in kolom Missings). Men vindt het aspect belangrijker dan de groep die nooit overstapt (indicatie + in kolom Belang), en men geeft er een veel lager oordeel voor (indicatie -- in kolom Oordeel). Het blijkt dat het hebben van ervaring logischerwijs in belangrijke mate het percentage missings beïnvloedt. Het belang is voor vrijwel alle variabelen hoger als men er ervaring mee heeft. Enige uitzondering is vertraging: zelfs als men er geen ervaring mee heeft, dan nog vindt men dit aspect belangrijk.
Bij de oordelen is een interessante tweedeling te zien: voor typische dissatisfiers als overstappen of vertraging zijn de oordelen beduidend lager als men er ervaring mee heeft, terwijl dat bij satisfiers als korting juist andersom is. Bij het voor- en natransport blijkt dat auto, fiets en in iets mindere mate stedelijk OV tot de satisfiers horen en het streek OV tot de dissatisfiers. 3. Factor analyse: imputatie van missing values en afgeleide belangen In het KWO is er voor gekozen om belangen direct te bevragen. Reden hiervoor was dat het nodig was om belangen per individuele respondent te weten, om zo aan te sluiten bij het Customer Relevancy (CR) model (2). In de literatuur worden echter ook nadelen toegedicht aan het direct bevragen van belangen. Deze paragraaf bevat eerst een bloemlezing uit de literatuur over het meten van belangen. Vervolgens wordt een alternatieve methode gepresenteerd: afgeleide belangen. 3.1 Literatuur over vragen van belangen Uit de literatuur (3,4) blijkt dat er diverse methoden zijn om belangen van aspecten te meten: Direct vragen op een vaste intervalschaal; deze methode is gekozen in het KWO. Rangorde aangeven: respondenten moeten een rangnummer naast de kwaliteitsaspecten zetten. Selectie van top-3: respondenten geven hun 3 belangrijkste items aan. Punten verdelen: respondenten verdelen een aantal punten over de kwaliteitsaspecten. Regressie: verklaar algemeen oordeel uit onderliggende kwaliteitsaspecten; je hoeft dan niet meer te vragen naar belangen. Conjunct meten: geef respondenten keuzeset van twee of drie kwaliteitsproposities, en laat ze hiertussen kiezen. Door dit een aantal keren te doen kan je de belangen statistisch afleiden. De in het KWO gekozen eerste methode is eenvoudig in analyse en maakt het mogelijk om zelfs van relatief kleine deelpopulaties belangen te bepalen. In de literatuur worden er echter ook nadelen aan toegekend: de vragenlijst wordt onnodig lang, klanten hebben de neiging alles belangrijk te vinden, en zaken die horen tot de logische essentie van het bedrijf worden vaak als het belangrijkste gescoord 1. Als bij NS als kwaliteitsaspect had gestaan dat men überhaupt zijn bestemmingsstation bereikt, dan had dat waarschijnlijk ook het grootste belang gekregen. In deze analyse wordt dus niet met de gevraagde belangen gewerkt, maar met afgeleide belangen. 1 Bij een onderzoek naar belangen voor banken komt als eerste naar boven dat ze het daar ingelegde spaargeld niet kwijt moeten raken (van The Business Research Lab, www.busreslab.com).
3.2 Data imputatie De standaard methode om belangen af te leiden, bestaat uit twee stappen: a) Reduceer het aantal verklarende variabelen met behulp van factor analyse. b) Verklaar het algemeen oordeel uit de in de eerste stap afgeleide factoren. Bij factor analyse worden alle waarnemingen waarbij één of meer van de oordelen missing is, niet meegenomen. Een factor analyse van alle 53 oordelen zal dan maar op een kwart van de waarnemingen worden gebaseerd. Dit hoeft niet erg te zijn als de missings zuiver toevallig tot stand zijn gekomen. Ze zijn dan Missing Completely At Random oftewel MCAR (5), en het feit dat de factor analyse met een kleiner aantal waarnemingen wordt gedaan heeft geen invloed op de uitkomsten. Om MCAR vast te stellen zijn de oordelen van de respondenten die alle vragen hebben ingevuld vergeleken met die van de respondenten die één of meerdere oordelen niet hebben ingevuld. De resultaten staan in de volgende tabel. Met missings hoger Geen significant verschil Zonder missings hoger % significant verschillend Belangen 37 9 7 83% Oordelen 27 18 8 66% Tabel 2 Uit de tabel blijkt al dat de aanname dat de missings MCAR zijn moet worden verworpen. Factor analyse op basis van listwise missing 2 (gebaseerd op slechts 1107 waarnemingen) levert dus geen bruikbare resultaten op. Ook analyse op basis van pairwise missing is geen oplossing: weliswaar wordt dan de correlatie matrix gebaseerd op steeds paren en vallen er dus veel minder waarnemingen weg, maar in de uiteindelijke factoren worden toch weer verschillende variabelen samengenomen, en kan dit alleen gedaan worden voor die waarnemingen waarvoor al deze variabelen zijn ingevuld. Bovendien kent pairwise missing het probleem dat bij analyses met meerdere variabelen de verschillende resultaten steeds op wisselende groepen zijn gebaseerd, wat soms tot vreemde uitkomsten kan leiden. Een gangbare methode om het probleem van missing values op te lossen is imputatie (opvullen) van missing values. Drie van de meest gebruikte methoden om dit te doen zijn: Vervang alle missings door het gemiddelde oordeel voor het betreffende aspect. Maak een model gebaseerd op regressie om de missings in te vullen. Met regressie worden de ontbrekende waarden ingevuld op basis van wel aanwezige achtergrondkenmerken. De missings worden dan vervangen door de modeluitkomsten. Maak een model gebaseerd op Maximum Likelihood Estimation (MLE) om de missings in te vullen. MLE methoden leiden tot parameterschattingen die de geobserveerde gegevens maximaal waarschijnlijk maken. De missings worden 2 Bij listwise weglaten van variabelen wordt in analyses elk reord waarvoor één of meer van de te analyseren variabelen niet is ingevuld, weggelaten uit de analyse. Vooral in een onderzoek met een grote hoeveelheid uiteenlopende te analyseren variabelen betekent dit al snel dat een groot deel van de populatie wegvalt.
dan vervangen door de modeluitkomsten. Dit is tegenwoordig de meest gebruikte methode om missing data te vervangen. De eerste methode levert voor factor analyse geen bruikbare resultaten, omdat de spreiding in de oordelen, die een belangrijke rol speelt bij het bepalen van de factor scores, erg wordt gedempt. De andere twee methoden zijn wel verder uitgewerkt. Met beide methoden zijn alle missing values ingevuld, waardoor er geen ontbrekende waarden meer zijn. In figuur 1 staat het resultaat van de data imputatie volgens de MLE methode voor de variabele bekommeren bij vertraging. aantal respondenten 1000 900 800 700 600 500 400 300 200 100 0 Data imputatie met MLE methode MLE model origineel 1 2 3 4 5 6 7 8 9 10 rapportcijfer 'bekommeren bij vertraging' Figuur 1 Voor beide methodes is gekeken of het gemiddelde en de standaard deviatie van de variabelen met en zonder opvulling van de data veel verschillen. Dit geeft een indicatie van de kwaliteit van de data imputatie. De gemiddelden verschillen vrijwel niet: slechts maximaal 1% verschil. De standaard deviaties worden iets kleiner omdat de extremen in de data door de modelschatting een beetje worden afgevlakt. Toch blijft er nog genoeg spreiding over om modellen te kunnen schatten. De spreiding daalt met maximaal 10%. Er zijn voor beide methodes maar 8 variabelen waarbij de spreiding meer dan 5% afneemt. Deze imputatie lijkt de patronen in de data dus intact te houden, en is daarmee een goede methode om data aan te vullen. De spreiding in de oordelen met imputatie volgens de MLE methode is iets hoger (en ligt daardoor dichter bij de spreiding in de niet-geïmputeerde dataset) dan die volgende de regressie methode. Daarnaast heeft de MLE methode ook onder statistici de voorkeur vanwege het feit dat deze schattingen nauwkeuriger zijn. Vandaar dat deze methode is gekozen voor de data imputatie.
3.3 Factoren Factor analyse op het met data imputatie verrijkte bestand leidt tot negen factoren. Van de oorspronkelijke vijf clusters uit het CR model blijken er vier in tweeën uiteen te vallen. Alleen het cluster prijs blijft onveranderd bestaan. Factor Variabelen in factor Punctualiteit, dienst-regeling kenmerken MLE aantal variabelen per cluster Prijs Totaal 5 2 7 Prijs Alle prijs 9 9 Beleving basis Product Service Beleving Toegankelijkheid Productdienstregeling Service- Gastheerschap Toegankelijkheid- Gemak Beleving Voorzieningen Service- Klantcontact Product-Comfort Toegankelijkheid- Keten Tabel 3 Comfort, veiligheid, reinheid Personeel en informatie Gemak kaartje, toegang station, info Nuttige en aangename voorzieningen Klachten en advies Zitplaats, beschutting Auto/fiets voorzieningen 7 7 1 6 7 7 7 5 5 5 5 4 4 2 2 3.4 Afgeleide belangen Door het algemeen oordeel te verklaren uit de onderliggende factoren, kan het belang van elk van de factoren worden afgeleid. De resultaten staan in de volgende grafiek.
Belangen factoren in algemeen oordeel 7% 7% 6% 4% Product-Dienstregeling 23% Prijs Beleving-Basis Service-Gastheerschap Toegankelijkheid-Gemak 8% 15% Service-Klantcontact Product-Comfort 14% 15% Beleving-Voorzieningen Toegankelijkheid-Keten Figuur 2 De algemene tevredenheid over het reizen met de trein blijkt het sterkst af te hangen van de factor Product-Dienstregeling, waar o.a. de aspecten reistijd en punctualiteit toe behoren. Prijs, Beleving-basis (o.a. veiligheid en reinheid) en Service-Gastheerschap (o.a. service door medewerkers en reisinformatie) hebben ook een bovengemiddeld belang 3. 8 Geen actie Belang-oordeel diagram T-g Handhaven oordeel T-k S-k P-c B-b P S-g P-d 4 Verbeteren lage prioriteit B-v Verbeteren hoge prioriteit 0% 5% 10% 15% 20% 25% afgeleid belang Figuur 3 Uit het belang-oordeel diagram blijkt dat er maar twee factoren zijn die boven het gemiddeld oordeel liggen. Deze hebben allebei een ondergemiddeld belang, dus hier hoeft geen actie op te worden ondernomen. Vier van de factoren zitten in het kwadrant rechtsonder: een bovengemiddeld belang, maar een ondergemiddeld oordeel. Hier moet de prioriteit liggen in verbetering van de dienstverlening. 3 Hierbij moet wel worden aangetekend dat is gevraagd naar het algemeen oordeel over het reizen met de trein, en dat dus niet heel nadrukkelijk naar het voor- en natransport of zelfs het verblijf op het station is gevraagd. Het voor- en natrnaport, ook wel de keten genoemd, heeft daardoor maar een klein belang in dit onderzoek.
3.5 Match met klantwensenpiramide Uit verschillende onderzoeken (6 t/m 9) blijkt dat reizigers de keuze tussen auto of openbaar vervoer, naast de gevraagde prijs, vooral laten afhangen van de verschillen in veiligheid, betrouwbaarheid, reistijd, gemak, comfort en beleving. Deze kwaliteitsaspecten kunnen analoog aan Maslow schematisch in een piramide worden weergegeven. Voor een tevreden reiziger zijn alle aspecten belangrijk, maar niet allemaal even belangrijk: de piramidevorm geeft aan dat de kwaliteitsaspecten op de onderste niveaus door reizigers het belangrijkst worden gevonden (10). Figuur 4 De uit het KWO 2007 gevonden negen factoren blijken goed in de klantwenspiramide te passen, zie figuur 5. Elke laag uit de piramide blijkt ook volgens het KWO 2007 te vullen. Het KWO 2007 bevestigt daarmee de klantwensenpiramide. Figuur 5
Alleen de factor Product-Dienstregeling gaat over meerdere lagen van de klantwenspiramide heen. Product-Dienstregeling bestaat uit punctualiteit (in de piramide in de onderste laag als betrouwbaarheid) en dienstregelingskenmerken (in de piramide in de één na onderste laag als snelheid). De factor prijs zit niet in de klantwenspiramide, want prijs is in feite geen klantwens. Prijs vertegenwoordigt de geldelijke waarde die men overheeft voor de klantwens. 4. Conclusie Missing values kunnen een groot effect hebben op de onderzoeksresultaten, vooral als ze niet zuiver toevallig tot stand zijn gekomen. Daarnaast verkleinen ze het aantal waarnemingen waarop men met statistische methoden verdere analyses kan doen. Om die reden is er bij het KlantWensenOnderzoek voor gekozen om de missing values op te vullen met data imputatie. Dit levert een compleet data bestand op, waaruit met factor analyse de 53 kwaliteitsaspecten zijn geclusterd in negen factoren. Met regressie analyse worden de belangen van deze factoren in de totale klanttevredenheid bepaald. Deze methoden maken het mogelijk om meer te halen uit een onvolledig databestand. Zo kan worden bepaald wat de klant nou écht belangrijk vindt en waar de speerpunten voor verbetering van de dienstverlening moeten liggen.
Referenties 1. Research International: Klantwensenonderzoek NS Commercie, 2007 2. Crawford, F & R. Mathews: The Myth of Excellence: Why great companies never try to be the best at everything, 2003 3. Bennekom, F.C. van: Customer Surveying, a guidebook for managers, 2002 4. Gershkoff, A: The importance of properly measuring importance, 2009 5. Hox, J.: Er is nieuws onder de zon; nieuwe oplossingen voor oude problemen, 1998 6. Hagen, M. van, G.J. Peek & S. Kieft: De functie van het station: een visie. In: Colloquium Vervoersplanologisch Speurwerk (CVS), Colloquium Vervoersplanologisch Speurwerk 2000: Wie betaalt bepaalt, 2000 7. Samove/Mc Kinsey & Co: Kiezen voor openbaar vervoer: Openbaar vervoer Maal Twee, 1989 8. Visch, I van der: Reisketen -vervoer van deur naar deur- door de ogen van de reiziger, ketenbenadering: een perspectief voor de toekomst, 1993 9. Bovy, P.H.L.: Welke rol speelt kwaliteit in het personenvervoersysteem? Lezing op NHTV congres, 1994 10. Peek, G.J. & M. van Hagen: Creating synergy in and around stations: three strategies in and around stations, Transportation research Record, Journal of the Transportation Research Board, nr 1793 p1-6, 2002