Onderzoek Mobiele Klantervaring in Nederland

Transcriptie

1 Onderzoek Mobiele Klantervaring in Nederland Mobiele spraak- en datadiensten 17 april 2017

2 Introductie Introductie... 1 Omschrijving werkzaamheden... 1 Omnitele 1 4G bellen (VoLTE) toegevoegd aan vergelijkend onderzoek... 1 Uitgangspunten... 2 Uitkomst van het Onderzoek... 3 Resultaten 4 Landelijke onderzoek... 4 Internationale vergelijking... 6 Bijlages 7 A1: Data Applicatie Metingen... 7 A2: 4G LTE Dekking... 9 A3: Stedenlijst Omschrijving werkzaamheden Omnitele heeft de klantenervaring van mobiele spraak- en datadiensten van Nederlandse mobiele aanbieders gemeten en geanalyseerd. Dit onderzoek heeft plaatsgevonden in de maand Februari De onderzochte aanbieders zijn KPN, Vodafone, T-Mobile en Tele2. Omnitele Omnitele levert technologische consultancydiensten aan operators en telecomtoezichthouders op het vlak van netwerkstrategie, -ontwerp en - kwaliteitsbewaking. Omnitele is opgericht in 1988 om s werelds eerste GSM-netwerk te ontwikkelen. Sinds deze eerste opdracht hebben we meer dan 1000 projecten in meer dan 80 markten wereldwijd uitgevoerd. Omnitele heeft ruime ervaring in het uitvoeren van vergelijkende onderzoeken en kwaliteitsaudits op het gebied van mobiele netwerken en diensten in internationale markten. Meer informatie is beschikbaar op 4G bellen (VoLTE) toegevoegd aan vergelijkend onderzoek Dit onderzoek naar mobiele klantenervaring is een herhaling van het onderzoek dat Omnitele heeft uitgevoerd in Februari Vorig jaar lag de nadruk van het onderzoek op het testen van landelijke dekking voor 4G (LTE) mobiele diensten. Telefonie gesprekken voeren via het 4G netwerk werd vorig jaar nog niet aangeboden door de Nederlandse mobiele aanbieders. Voor het afhandelen van telefoongesprekken werd nog gebruik gemaakt van telefoniediensten via 2G en 3G netwerken. De techniek die voor 4G telefonie wordt gebruikt heet VoLTE (Voice over LTE), en wordt door de meeste Nederlandse mobiele aanbieders nu wel aangeboden. VoLTE is eigenlijk de mobiele versie van Voice over IP (VoIP) dienst, die bijvoorbeeld al langere tijd voor vaste telefonie wordt toegepast. Naast het meten van 4G datadiensten en traditionele 2G en 3G telefoniedienst richt dit onderzoek zich daarom vooral op het testen van deze nieuwe 4G telefoniedienst. Wat is de klantenervaring die de Nederlandse mobiele Omnitele

3 operators bieden voor hun 4G telefoniedienst en hoe vergelijkt de klantenervaring van de 4G VoLTE telefoniedienst zich met de klantenervaring van de traditionele 2G en 3G telefoniedienst? In de traditionele telefoniedienst wordt teruggeschakeld naar het 3G of 2G netwerk om daar het gesprek volgens zogenaamde circuitgeschakelde technologie af te handelen. VoLTE is een pakketgeschakelde technologie die het mogelijk maakt een telefoniegesprek als een datastroom te versturen zoals bijvoorbeeld ook data via internet verstuurd wordt. Uitgangspunten Omnitele voert vergelijkende onderzoeken uit volgens een intern gestandardiseerde methode die de onafhankelijk hiervan waarborgen. Verdere informatie omtrent projectuitvoering en verantwoording is beschikbaar op Het onderzoek is gebaseerd op de door Omnitele ontwikkelde en gestandaardiseerde be-thecustomer -methode. Dit houdt in dat in plaats van alleen te kijken naar de technische netwerkprestaties (data overdrachtssnelheid, dekkingsniveau), het primaire nadruk wordt gelegd op het analyseren van de gebruiksvriendelijkheid van mobiele diensten en smartphoneapplicaties. Dropbox getest als onderdeel van klantervaring metingen. Hierbij heeft Omnitele ervoor gezorgd dat de verkregen resultaten objectief en betrouwbaar zijn: Elk netwerk is tegelijkertijd gemeten op dezelfde locaties met identieke meetapparatuur. Rijdende testen zijn uitgevoerd daar waar (locatie), wanneer (tijd) en hoe (diensten, toestellen) echte gebruikers hun mobiele toestel gebruiken. Telefoongesprekken zijn uitgevoerd van VoLTE naar VoLTE toestellen om de VoLTE telefoniedienst te testen en van standaard toestel naar standaard toestel om de traditionele 2G en 3G telefoniedienst te meten. Omnitele benadrukt dat de meetresultaten en conclusies verstrekt door dit onderzoek, een moment weergave zijn van de performance van de operators/diensten op een gemeten route, op een bepaald tijdstip en dag van een meting. De resultaten zouden kunnen variëren afhangend van een locatie, tijdstip en dag. Desalniettemin, gezien de omvang van de metingen, de resultaten geven een statistisch betrouwbare indicatie van het overal diensten niveau aangeboden door de mobiele aanbieders. In dit onderzoek werden Mobiele spraakdiensten, Internet Surfing, Facebook, Twitter, YouTube en Omnitele

4 Uitkomst van het Onderzoek VoLTE Omnitele concludeert dat, gebaseerd op de gemeten resultaten en binnen het tijds- en locatiekader van het uitgevoerde vergelijkend onderzoek de VoLTE 4G telefoniedienst een significant betere klantenervaring levert dan de traditionele 2G en 3G telefoniedienst. VoLTE werd op het moment van uitvoeren van het onderzoek in Februari aangeboden door TeLe2, Vodafone en KPN. De VoLTE meetresultaten voor deze operators laten een verbetering zien in zowel de snelheid waarmee gesprekken worden opgezet als ook de spraakkwaliteit van de gevoerde gesprekken. In een onderlinge vergelijking van VoLTE klantervaring is de gemiddelde VoLTE spraakkwaliteit voor de drie gemeten aanbieders nagenoeg gelijk. Daarentegen, KPN is gemiddeld ongeveer een halve seconde sneller met het opzetten van een gespreksverbinding dan Vodafone en Tele2. TRADITIONELE MOBIELE SPRAAK Met betrekking tot de traditionele 2G en 3G telefoniedienst, haalt KPN voor spraakkwaliteit marginaal hogere resultaten dan T-Mobile en Vodafone, en is er een iets groter verschil met Tele2. De verbetering in spraakkwaliteit tussen VoLTE en de traditionele telefoniedienst is voor Tele2 dan ook het meest in het oog springend. Met het opzetten van een gesprek is T-Mobile gemiddeld twee seconden sneller dan KPN en Tele2, die op hun beurt gemiddeld weer 2 seconden sneller zijn dan Vodafone. Zoals aangegeven is deze gespreksopbouwtijd echter aanzienlijk langer dan de gemeten VoLTE gespreksopbouwtijd. MOBIELE DATA Voor de gemeten data applicaties, Internet Surfing, Facebook, Twitter, YouTube en Dropbox, zijn de onderlinge verschillen in klantervaring te verwaarlozen. Een gemiddeld verschil van 0,3 seconden is gemeten tussen de gemiddeld snelste en langzaamste aanbieder voor het voltooien van de verschillende applicatie sessies. Het groots verschil is te zien in Dropbox datasnelheid, waar KPN en T-Mobile het hoogste scoren, volgend door Tele2 en Vodafone. 4G LTE-DEKKING Ten aanzien van de onderzochte 4G dekking kan geconcludeerd worden dat Tele2 zich nu kan meten met de andere drie aanbieders en voor alle vier de aanbieders gesteld kan worden dat landelijke 4G dekking een feit is (wat niet wil zeggen dat er zich lokaal, bijvoorbeeld binnenshuis geen 4G dekkingsproblemen kunnen voordoen). Ten opzichte van het onderzoek van vorig jaar laten naast Tele2 ook de andere mobiele aanbieders een verdere verbetering zien in hun 4G LTE dekkingsniveaus. INTERNATIONALE VERGELIJKING Net zoals in 2016 laat een internationale vergelijking van resultaten zien dat klantervaring van mobiele diensten in Nederland wederom op een hoog internationaal niveau staat. De VoLTE resultaten zijn voor wat de spraakkwaliteit betreft gelijk aan metingen die Omnitele heeft uitgevoerd in overeenkomstige Europese markten. De gemiddelde snelheid waarmee gesprekken worden opgezet lijkt in het Nederlandse onderzoek iets sneller te zijn dan resultaten verkregen uit deze vergelijkbare markten.. Omnitele

5 Resultaten In deze paragraaf presenteren we de belangrijkste waarnemingen en resultaten van het uitgevoerde klantervaringsonderzoek. Landelijke onderzoek VoLTE Voor de VoLTE telefoniedienst is met name gekeken naar de verschillen in klantenervaring tussen VoLTE en de traditionele circuitgeschakelde telefoniedienst. Grote verbeteringen blijken op te treden voor de duur van de gespreksopbouw en in mindere mate ook voor de spraakkwaliteit. De gemeten VoLTE gespreksopbouw is bijna 4 seconde sneller dan bij de traditionele mobiele gesprekken. De gemiddelde spraakkwaliteit verbetert voor VoLTE van een MOS score van 3,6 naar 3,8. KPN en Vodafone scoren zelfs maximale waarden van 4,5 en Tele2 4,2. De spraakkwaliteitverbetering is het meest evident voor Tele2, die van een MOS score van 3,1 naar een MOS score van 3,8 gaat. In een onderlinge vergelijking van VoLTE klantervaring is KPN gemiddeld ongeveer een halve seconde sneller met het opzetten van een gespreksverbinding dan Vodafone en Tele2. De gemiddelde gespreksopbouwduur voor VoLTE bedraagt 2,4 seconden. Alle vier de aanbieders laten een hoge Call Success Rate (% van gesprekken met succesvolle verbindingsopbouw en zonder verbroken verbinding) zien: T-Mobile, KPN en Tele2 scoren allen wederom boven de 99% en verschillen vallen binnen de foutmarge van de metingen. Vodafone was marginaal minder met 98.4%. De analyse van Call Setup Time (duur van gespreksopbouw) laat zien dat T-Mobile (4,4s) over het geheel genomen een duidelijk snellere gespreksopbouw heeft bereikt dan Tele2 (6,0s), KPN (6,4s) en Vodafone (8.1s). De voorsprong van T- Mobile op KPN en Tele2 ligt in de ordegrootte van 2 seconden. Vodafone is gemiddeld 2 seconden langzamer dan KPN en Tele2. TRADITIONELE MOBIELE SPRAAK Net als vorig jaar laten de mobiele-spraakresultaten zien dat geen van de aanbieders problemen heeft met het leveren van een consistent kwaliteitsniveau met betrekking tot toegankelijkheid van de dienst, ononderbroken dienstverlening en spraakkwaliteit. Analyse van de Voice Quality MOS (spraakkwaliteit) laat zien dat KPN (3,8) marginaal hoogste gemiddelde spraakkwaliteit heeft kunnen bereiken dan T-Mobile en Vodafone (beide 3,7). Het verschil met Tele2 (3,1) is meer zichtbaar vanwege het feit dat Tele2 geen gebruik maakt van breedband AMR-codecs, wat de rest van de aanbieders wel doet. Omnitele

6 Omnitele concludeert dat op basis van de testresultaten KPN, Vodafone, T-Mobile en Tele2 consistent goede mobiele datadiensten leveren en allen een verbetering laten zien met betrekking tot de resultaten van het onderzoek van Verschillen in klantervaring zijn voor de geteste data applicaties voor de gebruiker nauwelijks waarneembaar. Omnitele concludeert dat op basis van de testresultaten alle Nederlandse aanbieders goede en consistente mobiele spraakdiensten leveren. MOBIELE DATA Voor de gemeten dataapplicaties, Internet surfing, Facebook, Twitter, YouTube en Dropbox, zijn de onderlinge verschillen in klantervaring te verwaarlozen. Een maximaal verschil van 0,3 seconden is gemeten tussen de gemiddeld snelste en langzaamste aanbieder voor het voltooien van de verschillende applicatie sessies. Het grootste verschil is te zien in Dropbox datasnelheid, waar KPN (31,5 Mbps) en T-Mobile (31,1 Mbps) het hoogste scoren, volgend door Tele2 (29,1 Mbps) en Vodafone (23,8 Mbps). De Mobiele Data Test Case Success Rate geeft het % van succesvolle testen van alle Internet Surfing, Facebook, Twitter, YouTube en Dropbox testen. Voor alle aanbieders geldt, dat met uitzondering van YouTube en success rate ver boven de 99,5% ligt, waarbij onderlinge verschillen verwaarloosbaas zijn. In vergelijking met vorig jaar betekent dit dat het slagingspercentage van mobile data applicaties voor alle aanbieders is verbeterd. Wederom is de toename voor Tele2 het grootst en kan Tele2 zich nu zonder moeite meten met de andere drie mobiele aanbieders. Met betrekking tot YouTube applicatie zijn de slagingspercentages iets lager met een gemiddelde van 96%. KPN (97,6%) en T-Mobile (96,4%) hebben hierbij waarden van iets boven het gemiddelde, Vodafone (95,9%) volgt kort daarop en Tele2 (95,5%) zitten daar net iets onder. 4G LTE-DEKKING De resultaten van dit onderzoek laten zien dat de Nederlandse aanbieders uitgebreide 4G bedekking leveren. 4G LTE dekking wordt door de Nederlandse mobiele aanbieders door middel van radio frequenties in de 800 MHz, 1800 MHz en 2600 MHz banden. In het bepalen van de 4G LTE dekking is naar de combinatie van deze 3 frequentiebanden gekeken (Tele2 biedt alleen diensten via de 800 MHz en 2600 MHz frequentiebanden aan). De uitkomsten geven aan dat KPN, Vodafone, T- Mobile en Tele2 alle een dekkingsniveau van boven 99,7% hebben op de routes die zijn meegenomen in het onderzoek. Aangezien deze routes dezelfde waren als in 2016 kan gesteld worden dat de 4G LTE dekkingsniveaus voor alle mobiele aanbieders is toegenomen. KPN, Vodafone en T-Mobile geven een verbetering van gemiddeld 0,4 %, Tele2 daarentegen laat een verbetering van 5,5% zien. 100% 80% 60% 40% 20% 0% 4G LTE SIGNAL STRENGTH (RSRP) - SCANNER Good ( -85 dbm) Fair ( -105 dbm) Low (< -105 dbm) 17.4 % 0.3 % 0.3 % 10.8 % 0.1 % 12.5 % 0.2 % 19.7 % 82.3 % 80.0 % 89.1 % 87.2 % KPN VODAFONE T-MOBILE TELE2 De 4G LTE-dekking is geverifieerd met behulp van frequentiescanners. De resulterende dekkingsplaatjes zijn aan dit rapport toegevoegd. Omnitele concludeert dat op basis van de testresultaten de 4G LTE-dekking van KPN, Vodafone, T-Mobile en Tele2 gelijkwaardig is binnen het tijds- en locatiekader van het uitgevoerde vergelijkend onderzoek. Omnitele

7 Internationale vergelijking Omnitele heeft ruime internationale ervaring in het testen van mobiele klantervaring. In deze paragraaf gaan we na hoe de resultaten van de Nederlandse mobiele aanbieders zich verhouden tot die in andere markten. In grote lijnen is dit een herhaling van de uitkomsten van het onderzoek uit VoLTE De VoLTE resultaten zijn voor wat de spraakkwaliteit betreft gelijk aan metingen die Omnitele heeft uitgevoerd in overeenkomstige Europese markten. In deze markten zijn ook gemiddelde spraakkwaliteit MOS waarde van 3,8 gemeten met maxima van 4,3, wat is vergelijkbaar met de resultaten in Nederland. De gemiddelde snelheid waarmee gesprekken worden opgezet lijkt in het Nederlandse onderzoek iets sneller te zijn dan resultaten verkregen uit deze vergelijkbare markten, waar resultaten rond de 3 seconden zijn gemeten. TRADITIONELE MOBIELE SPRAAK De mobielespraakresultaten in Nederland laten een zeer hoog niveau zien voor wat betreft toegankelijkheid van de dienst, ononderbroken dienstverlening en spraakkwaliteit (bijna 100% toegankelijkheid voor alle gemeten mobiele aanbieders) in vergelijking tot buitenlandse markten. De mobiele spraakkwaliteit (MOS-waarden) gemeten voor T-Mobile, KPN en Vodafone behoren wederom tot de hoogste landelijk gemiddelde waarden die Omnitele heeft gemeten. MOBIELE DATA De mobiele-datametingen zijn uitgevoerd met behulp van Omnitele s be-thecustomer methode. Gezien het karakter van de testen (internet pagina s en YouTube video s die populair zijn in een bepaald land), is een directe appels-met-appels vergelijking tussen door Omnitele onderzochte referentiemarkten niet mogelijk. Toch mag op basis van de Nederlandse meetresultaten aangenomen worden dat het klantervaringsniveau van mobiele datadiensten in Nederland niet onderdoet voor dat in andere Europese markten. 4G LTE-DEKKING De 4G LTE-dekking in Nederland komt voor de gemeten gebieden ook overeen met 4G LTE-dekkingsniveaus en kwaliteit in andere Europese landen. Omnitele concludeert op basis van de testresultaten dat de kwaliteit van mobiele dienstverlening in Nederland op een internationaal hoog niveau staat. De onderzochte prestatie-indicatoren van KPN, Vodafone, T-Mobile en Tele2 hebben in vergelijking tot referentiemarkten relatief hoge waarden. Voor wat betreft VoLTE, bieden KPN, Vodafone en Tele2 een klantervaringsniveau dat gelijk zo niet beter is dan resultaten uit vergelijkbare markten. Omnitele

8 Bijlages A1: Data Applicatie Metingen Internet Surfing Facebook Omnitele

9 Twitter YouTube Dropbox Omnitele

10 A2: 4G LTE Dekking Op de volgende pagina s zijn de dekkingsplots van de verschillende mobiele aanbieders weergegeven. De legenda van deze Scanner-dekkingsplots van KPN, Vodafone, T-Mobile en Tele2 is als volgt: Oranje: Goede signaalsterkte (>= -85 dbm) Blauw: Redelijke signaalsterkte (>= -105 dbm en < -85 dbm) Zwart: Geen signaalsterkte ( < -105 dbm) Omnitele

11 Omnitele

12 Omnitele

13 Omnitele

14 A3: Stedenlijst # City Inhabitants [x1000] # City Inhabitants [x1000] 1 Amsterdam Amstelveen 85 2 Rotterdam Hengelo 81 3 Den Haag Purmerend 80 4 Utrecht Roosendaal 77 5 Eindhoven Schiedam 77 6 Tilburg Lelystad 76 7 Groningen Alphen aan den Rijn 73 8 Almere Leidschendam-Voorburg 73 9 Breda Almelo Nijmegen Spijkenisse Enschede Hoorn Apeldoorn Gouda Haarlem Vlaardingen Amersfoort Assen Zaanstad Heerhugowaard Arnhem Bergen op Zoom Hoofddorp-Nieuw Vennep Capelle aan den IJssel 's Hertogenbosch Veenendaal Zoetermeer Katwijk Zwolle Zeist Maastricht Nieuwegein Leiden Roermond Dordrecht Den Helder Ede Doetinchem Emmen Hoogeveen Westland Terneuzen Venlo Barendrecht Delft Oosterhout (NB.) Deventer Middelburg Leeuwarden Bussum Alkmaar Huizen Sittard-Geleen Vlissingen Helmond Drachten Heerlen Zutphen Hilversum Houten (U.) Oss 85 Total #cities 71 Total inhabitants Omnitele