Kritische prestatie indicatoren Benchmarkrapportage kwaliteit datastromen reisinformatie - november 2015 Benchmarkrapportage Een uitgave van NDOV Beheer Publicatiedatum: 29 december 2015
Inleiding NDOV beoogt het beschikbaar stellen van brondata voor reisinformatieproducten en diensten van hoge kwaliteit aan afnemers en marktpartijen. Deze rapportage is afkomstig uit het NDOV KPI dashboard. Binnen deze tool kunt u de KPI informatie tot op detail niveau bekijken. De opgestelde KPI s geven inzicht in de kwaliteit van Ov-brongegevens. De KPI s zijn bepaald op basis van de gegevens die aangeleverd worden via koppelvlakken 1. Door het meten van KPI s ontstaat informatie die het mogelijk maakt kwaliteitsverbetering in de hele reisinformatie keten te volgen. Na iedere meting kan een vergelijking worden gemaakt met de kwaliteit behaald in het verleden of streefwaarden (minimale norm) dan wel de prestaties van koplopers (best-in-class vervoerders). Het doel van deze rapportage is door middel van een onafhankelijke datakwaliteit benchmark alle vervoerders en Ov-opdrachtgevers inzicht te geven in de eigen prestatie ten opzichte van andere partijen. Op basis van deze inzichten kunnen kwaliteit verbeterende acties worden benoemd en uitgevoerd. Het toetsen van concessieafspraken is geen doel binnen het NDOV. In de rapportages zijn daarom zo min mogelijk normen opgenomen. De rapportages zijn en worden inhoudelijk besproken met de vervoerders waarbij zowel op- en aanmerkingen op de rapportage zelf, als mogelijke kwaliteitsverbeteringen worden besproken. De eerste gesprekken en acties hebben al tot meetbare verhoging van de rapportage kwaliteit geleid. De verslaglegging van de benoemde verbeterpunten, zoals door NDOV-beheerorganisatie wordt gedaan, heeft geen formele status. Het is een weerslag van de gezamenlijke inspanningen die worden gedaan om de kwaliteit op een zo hoog mogelijk niveau te brengen. Reisinformatie komt tot stand door een keten van samenwerkende systemen en componenten. De KPI scores in deze rapportage zeggen iets over de datakwaliteit van de brondata, zoals de leverancier (meestal vervoerder) deze aanlevert. Andere systemen hebben als taak de brongegevens om te zetten in reisinformatie. Denk bijvoorbeeld aan reisplanners, apps of DRIS-systemen. Een hoge kwaliteit van brongegevens betekent niet automatisch dat de reisinformatie altijd goed is. Indien geconstateerd wordt dat reisinformatie in deze systemen onjuist is, wordt u verzocht contact op te nemen met de beheerder van het betreffende systeem of app. Status KPI rapport Over de periode september 2014 tot en met december 2014 is door de NDOV-beheerorganisatie maandelijks de KPI Benchmarkrapportage kwaliteit datastromen t.b.v. reisinformatie opgesteld. Deze periode is gebruikt om ervaringen op te doen en met de vervoerders inhoudelijk te toetsen. Vanaf januari 2015 wordt de benchmark aan vervoerders en Ov-opdrachtgevers vrijgegeven. 1 CGI rapport, eindrapportage kwaliteitsverbetersysteem NDOV-data van november 2013. De KPI s staan in bijlage 1 van dit rapport.
Levering datastromen brondata vervoerders Dit overzicht geeft aan welke datastromen en in welke BISON 1 standaard de vervoerders leveren. Het is een schematische weergave van de afspraken vastgesteld in het dynamische document BIJLAGE I 2 1 http://bison.connekt.nl 2 De meest actuele versie van Bijlage 1 van Publicatiedocument Kaders voor een loket voor brongegevens reisinformatie openbaar vervoer (NDOV). 4.
Aanleveren dienstregeling per maanden 0 correcties Worden de update dienstregeling bestanden door de vervoerders tijdig aangeleverd? De definitie van tijdig is: 3 dagen voor ingangsdatum bij tijdelijke wijzigingen (bijvoorbeeld door omleidingroutes). ------- Bij het verstrekken van reisadviezen (reisplanner) wordt gebruik gemaakt van de actuele dienstregeling, waarin omleidingsroutes zijn verwerkt. Voor deze toepassing is het van belang dat de actuele dienstregeling uiterlijk 3 dagen voor de ingangsdatum beschikbaar is. ---------- Geen bijzonderheden bij deze grafiek Ontvangen KV1-bestanden per vervoerder (gesorteerd op % op tijd ontvangen) 50 40 KV1 op tijd ontvangen KV1 niet op tijd ontvangen 30 20 10 0 VTN ARR QBUZZ HTM SYNTUS CXX RET GVB Aanlevering dienstregeling per vervoerder KV1-bestanden KV1 op tijd ontvangen KV1 niet op tijd ontvangen % KV1 op tijd ontvangen 118 72 46 61.02% VTN 1 1 0 100.0 ARR 15 15 0 100.0 QBUZZ 8 8 0 100.0 HTM 31 29 2 93.55% SYNTUS 3 2 1 66.67% CXX 2 1 1 50.0 RET 9 4 5 44.44% GVB 49 12 37 24.49%
Ritregistratie per maand 15 correcties Elke vervoerder levert de te rijden ritten aan in KV1 (dienstregeling). Van iedere rit worden bij dienstuitvoering update berichten verstuurd (KV6) die de actuele positie en stiptheid van het voertuig aanduiden. In de onderstaande grafiek geeft de oranje balk weer voor welk deel van de geplande ritten update berichten ontvangen zijn. Blauw geeft het percentage weer van het aantal ritten waarvan OVA s en vervoerders hebben afgesproken dat ze gevolgd moeten worden met een voertuigvolgsysteem. -------- Voorafgaand aan een reis wil de reiziger weten of de rit volgens planning gereden wordt. Naarmate een hoger percentage ritten gevolgd wordt, is de reisinformatie betrouwbaarder. Voor de reiziger is de oranje balk in de onderstaande grafiek dus het meest van belang. ---------- Als er bijvoorbeeld afgesproken is dat kleine voertuigen voor 8 personen of minder niet uitgerust hoeven worden met een voertuigvolgsysteem, tellen deze niet mee in het aantal te volgen ritten. Ritregistratie per vervoerder 10 % gevolgde ritten % gevolgd/te volgen ritten 75% 5 25% HTM RET QBUZZ EBS CXX ARR SYNTUS VTN GVB Ritten en ritregistratie per vervoerder Geplande ritten Geregistreerde ritten % gevolgd/te volgen ritten % gevolgde ritten 2,527,059 2,307,758 91.32% 87.41% HTM 116,741 115,204 98.68% 98.68% RET 188,640 182,148 96.56% 96.56% QBUZZ 252,862 243,373 96.25% 74.67% EBS 54,455 52,143 95.75% 95.75% CXX 686,119 640,381 93.33% 93.32% ARR 504,712 459,652 91.07% 87.2 SYNTUS 215,601 189,263 87.78% 87.78% VTN 203,690 177,169 86.98% 80.26% GVB 304,239 248,425 81.65% 81.65%
Volledigheid haltepassages per vervoerder 15 correcties Elke vervoerder levert in de dienstregeling (KV1) alle geplande haltepassages. Tijdens de dienstuitvoering is het de bedoeling dat ieder voertuig van iedere halte een updatebericht KV6) stuurt. Deze grafiek geeft weer over welk deel van de haltepassages update berichten binnen gekomen zijn. In geval van een vervallen rit of omleiding/inkorting kan de vervoerder een KV17 Cancel of KV17 Shorten bericht sturen om een haltepassage op te heffen. Dit is met groen weergegeven in de onderstaande grafiek. -------- Naarmate een hoger percentage haltepassages juist en actueel is (incl. opgeheven ritten en/of haltepassages), is de reisinformatie betrouwbaarder. ---------- Geen bijzonderheden bij deze grafiek. Volledigheid haltepassages per vervoerder 10 % aangedane haltes 8 % aang. h. (ongefilterd) 6 4 2 HTM RET EBS CXX QBUZZ SYNTUS ARR VTN GVB Haltepassages per vervoerder Geplande haltes Aangedane haltes Opgeheven haltepassages % opgeheven haltepassages % aangedane haltes % aang. h. (ongefilterd) 57,128,798 52,238,743 170,433 0.3 91.74% 89.7 HTM 3,228,104 3,159,676 6,712 0.21% 98.09% 98.09% RET 4,233,616 4,016,621 43,324 1.02% 95.9 95.9 EBS 1,125,730 1,068,956 2,221 0.2 95.15% 95.15% CXX 15,746,249 14,958,280 21,703 0.14% 95.13% 95.12% QBUZZ 6,636,149 6,204,134 57,316 0.86% 94.35% 87.35% SYNTUS 4,793,321 4,253,336 1,657 0.03% 88.77% 88.77% ARR 10,745,318 9,510,660 21,393 0.2 88.71% 84.31% VTN 4,931,634 4,254,184 0 0.0 86.26% 83.24% GVB 5,688,677 4,812,896 16,107 0.28% 84.89% 84.89%
Aankomstberichten laatste halte per maand 15 correcties Elke vervoerder levert in de dienstregeling (KV1) alle geplande haltepassages. Tijdens de dienstuitvoering is het de bedoeling dat ieder voertuig een KV6 Arrival bericht verstuurt voor de laatste (uitstap) halte. Deze grafiek geeft het percentage weer van het aantal ritten waar dit bij gebeurd. -------- Deze grafiek is een verdieping op de voorgaande grafiek over haltepassages. ---------- Geen bijzonderheden bij deze grafiek. Aankomstberichten laatste halte per vervoerder 10 % met aankomstbericht 75% 5 25% HTM SYNTUS CXX ARR RET QBUZZ VTN GVB EBS Aantal ritten en aankomstberichten per vervoerder Geplande ritten Geregistreerde ritten Met aankomstbericht Zonder aankomstbericht 2,527,059 2,307,758 2,007,373 300,385 HTM 116,741 115,204 108,030 7,174 SYNTUS 215,601 189,263 174,167 15,096 CXX 686,119 640,381 579,208 61,173 ARR 504,712 459,652 407,458 52,194 RET 188,640 182,148 160,630 21,518 QBUZZ 252,862 243,373 207,410 35,963 VTN 203,690 177,169 150,664 26,505 GVB 304,239 248,425 186,322 62,103 EBS 54,455 52,143 33,484 18,659
Bruikbaarheid berichten 0 correcties Deze grafiek geeft aan welk deel van de berichten die binnen komen bruikbaar zijn. Bruikbare berichten zijn weergegeven in groen. De niet bruikbare, afgekeurde berichten zijn weergegeven in rood. Genegeerde berichten zijn KV6 berichten die wel gekoppeld kunnen worden aan een geldige rit in KV1, maar pas worden ontvangen nadat de rit is beëindigd. -------- Een hoog percentage afgekeurde ritten betekent dat verbetering mogelijk is in de reisinformatieketen. Verbetering van de processen waardoor minder berichten worden afgekeurd, resulteert in betere reisinformatie. ---------- Een afkeuring kan bijvoorbeeld ontstaan doordat er voertuig update berichten (KV6) niet gerelateerd kunnen worden aan een dienstregelingsrit, of een bericht dat technisch niet aan de standaard voldoet. Bruikbaarheid KV6 per vervoerder 10 % goedgekeurde berichten % afgekeurde berichten 75% % genegeerde berichten 5 25% EBS SYNTUS CXX VTN ARR RET HTM GVB QBUZZ Details KV6 berichten Goedgekeurde berichten Afgekeurde berichten Genegeerde berichten 199,706,904 3,669,621 452,130 EBS 3,905,505 3,511 3,055 SYNTUS 27,752,182 52,753 31,423 CXX 39,514,759 84,527 50,389 VTN 13,885,316 58,221 48,947 ARR 40,997,029 169,621 149,704 RET 25,344,227 585,171 13,566 HTM 18,547,680 816,020 8,899 GVB 13,819,553 748,906 13,809 QBUZZ 15,940,653 1,150,891 132,338
Update-frequentie 15 correcties Het is wenselijk dat een vervoerder van iedere rit ten minste elke 60 seconden een update bericht verstuurt (KV6). In de onderstaande grafiek wordt het percentage minuten zonder update weergegeven. -------- Als minder dan 1x per minuut een update bericht van de positie en stiptheid van een rit wordt ontvangen, neemt de betrouwbaarheid van de verwachte aankomst en vertrektijden op de volgende haltes af. Hoe vaker een update bericht wordt ontvangen, hoe nauwkeuriger de verwachte aankomst en vertrektijden kunnen worden ingeschat. ---------- Geen bijzonderheden bij deze grafiek Update-frequentie per vervoerder 4 % minuten zonder update 3 2 1 HTM RET SYNTUS EBS VTN ARR QBUZZ CXX GVB Ritten en updates per vervoerder Geplande ritten Geregistreerde ritten Rijtijd in minuten Minuten KV6 Minuten geen KV6 2,527,059 2,307,758 85,894,009 79,917,478 5,976,531 HTM 116,741 115,204 4,779,700 4,588,804 190,896 RET 188,640 182,148 6,557,401 6,262,390 295,011 SYNTUS 215,601 189,263 6,052,732 5,752,178 300,554 EBS 54,455 52,143 2,031,076 1,920,879 110,197 VTN 203,690 177,169 6,744,716 6,349,565 395,151 ARR 504,712 459,652 17,697,245 16,657,974 1,039,271 QBUZZ 252,862 243,373 9,412,390 8,826,991 585,399 CXX 686,119 640,381 24,655,471 22,881,649 1,773,822 GVB 304,239 248,425 7,963,278 6,677,048 1,286,230
Initialisatie per maand 8 correcties Het is wenselijk dat van iedere rit in de dienstregeling, een zogenaamd KV6 INIT bericht verstuurd wordt. Hiermee geeft de vervoerder aan dat de rit ook echt uitgevoerd gaat worden. De onderstaande grafiek geeft het percentage weer van ritten waarvoor een KV6 INIT bericht is ontvangen. -------- Als een KV6 INIT bericht is ontvangen kunnen ook de achterliggende DRIS systemen geinformeerd worden en verdwijnt een rit niet onterecht van het display. ---------- Geen bijzonderheden bij deze grafiek Initialisatie per vervoerder 10 % ritten met initialisatie % ritten zonder initialisatie 75% 5 25% HTM CXX SYNTUS RET QBUZZ GVB VTN ARR EBS Aantal ritten met en zonder initialisatie per vervoerder Geplande ritten Geregistreerde ritten Met initialisatie Zonder initialisatie 2,400,239 2,307,758 2,174,306 133,452 HTM 116,501 115,204 114,715 489 CXX 655,155 640,381 637,344 3,037 SYNTUS 190,312 189,263 184,726 4,537 RET 184,720 182,148 176,271 5,877 QBUZZ 252,342 243,373 235,211 8,162 GVB 262,264 248,425 227,768 20,657 VTN 198,929 177,169 161,139 16,030 ARR 485,957 459,652 408,996 50,656 EBS 54,059 52,143 28,136 24,007
Tijdigheid eerste bericht per vervoerder 8 correcties Het heeft de voorkeur om van iedere rit 2 minuten voor aanvang een update bericht (KV6) te ontvangen. Dit kan in de vorm van bijvoorbeeld een DELAY bericht, Arrival bericht of Init bericht. In de onderstaande grafiek wordt in groen weergegeven voor welk deel van de ritten 2 minuten voor aanvang een bericht is ontvangen. In geel de berichten die tussen 0 en 120 seconden zijn binnengekomen en in rood de berichten die ontvangen zijn op het moment dat de geplande aanvangstijd al verstreken is. -------- Het is belangrijk dat er 2 minuten voor aanvang van de rit een eerste bericht ontvangen is om de reizigers op tijd te kunnen informeren. Indien berichten na planningstijd worden ontvangen (rood) kunnen ritten onterecht al Geen bijzonderheden bij deze grafiek Tijdigheid 1e bericht per vervoerder 10 % ritten meer dan 120 sec te vroeg % ritten 120 tot 0 sec te vroeg 75% % ritten te laat 5 25% SYNTUS QBUZZ HTM EBS ARR GVB VTN RET CXX Aantal ritten en tijdigheid per vervoerder Geplande ritten Geregistreerde ritten > 120 sec te vroeg 120 tot 0 sec te vroeg Ritten te laat 2,400,239 2,307,758 1,914,144 202,199 191,415 SYNTUS 190,312 189,263 181,957 2,529 4,777 QBUZZ 252,342 243,373 227,493 6,345 9,535 HTM 116,501 115,204 105,124 6,622 3,458 EBS 54,059 52,143 47,319 3,231 1,593 ARR 485,957 459,652 399,143 39,066 21,443 GVB 262,264 248,425 212,040 17,172 19,213 VTN 198,929 177,169 151,092 18,499 7,578 RET 184,720 182,148 149,483 19,731 12,934 CXX 655,155 640,381 440,493 89,004 110,884
Doorlooptijd KV6 8 correcties Dit gaat over het tijdsverschil tussen het versturen van een update bericht (KV6) en het moment dat het bericht binnen is gekomen op de server van NDOV-beheer. Negatief houdt in dat het tijdstip waarop het bericht op de server binnenkomt voor het tijdstip ligt waarop het bericht verzonden is. Dit duidt vaak op problemen met de klok in het voertuig. -------- Voor de betrouwbare, actuele reisinformatie is het belangrijk dat de transporttijd zo kort mogelijk is. Als een voertuig is vertrokken bij een halte, is het van belang dat de informatie binnen zichtafstand van de bus (10 seconden) verwerkt is in de reisinformatie. Indien de transporttijd meer is dan 10 seconden, kan niet worden voldaan aan deze eis. ---------- Geen bijzonderheden bij deze grafiek Doorlooptijd KV6 per vervoerder 10 % binnen 5 sec % 5 tot 10 sec 75% % 10 tot 20 sec 5 % meer dan 20 sec % negatief 25% SYNTUS CXX RET HTM QBUZZ VTN EBS ARR GVB KV6-berichten en doorlooptijd per vervoerder KV6-berichten Binnen 5 sec 5 tot 10 sec 10 tot 20 sec > 20 sec Negatief 195,238,636 182,077,610 8,956,349 1,751,602 1,618,358 834,717 SYNTUS 27,783,605 26,132,739 1,630,796 16,941 1,465 1,664 CXX 39,565,148 39,416,332 14,574 12,306 121,866 70 RET 25,357,793 25,128,379 105,239 72,156 32,178 19,841 HTM 18,556,579 18,301,099 149,863 75,956 29,659 2 QBUZZ 16,072,991 15,861,050 38,401 39,260 127,880 6,400 VTN 13,798,808 11,972,968 1,455,603 168,701 201,120 416 EBS 3,908,560 3,730,971 46,082 22,574 10,119 98,814 ARR 36,361,790 29,125,346 5,197,564 1,171,558 455,788 411,534 GVB 13,833,362 12,408,726 318,227 172,150 638,283 295,976
KV15-berichten per vervoerder 0 correcties Vervoerders sturen bij calamiteiten en ernstige afwijking van de dienstregeling tekstberichten naar haltes (KV15). Deze grafiek geeft het aantal totaal ontvangen berichten weer. Als berichten niet aan een halte gekoppeld kunnen worden dan zijn ze in onderstaande grafiek rood weergegeven. De getoonde percentages zijn het aantal haltes waarvoor een KV15 bericht is ontvangen, afgezet tegen het totaal aantal haltes per vervoerder. -------- Deze KPI wordt in eerste instantie gebruikt om vast te stellen of KV15 wordt gebruikt. Bij verstoringen en omleidingsroutes is het wenselijk de reiziger aanvullend te informeren (advies) met een vrije tekst. ---------- Geen bijzonderheden bij deze grafiek KV15-berichten per vervoerder (gesorteerd op % haltes met KV15 berichten) 3.000 KV15-berichten 2.500 2.000 1.500 KV15 niet OK 1.000 500 0 RET CXX HTM QBUZZ GVB ARR KV15-berichten per vervoerder KV15-berichten KV15 OK KV15 niet OK Geplande haltes Haltes met KV15 % Haltes met KV15 6,622 6,610 12 36,439,304 154,732 0.42% RET 1,614 1,609 5 4,233,616 66,107 1.56% CXX 2,713 2,708 5 15,748,832 71,142 0.45% HTM 460 460 0 3,019,164 10,086 0.33% QBUZZ 204 202 2 5,951,845 4,493 0.08% GVB 1,623 1,623 0 5,688,677 2,886 0.05% ARR 8 8 0 1,797,170 18 0.0
KV17-berichten per maand 15 correcties Vervoerders kunnen ritten of delen van de rit laten vervallen door een KV17 bericht te versturen. Dit gebeurt bijv. in geval van technische problemen met een voertuig of afwezigheid van personeel. De onderstaande grafiek geeft het totaal ontvangen KV17 berichten weer. De getoonde percentages zijn het aantal KV17 berichten, afgezet tegen het totaal aantal ritten per vervoerder. -------- Doorgeven van vervallen ritten en vervallen haltepassages (bij omleidingen) is van groot belang voor betrouwbare reisinformatie. ---------- Een aantal vervoerders gebruiken KV17 ook om enkele haltes te laten vervallen tijdens een rit (KV17 shorten). Dit leidt tot veel hogere aantallen KV17 berichten. Deze KPI zegt iets over het wel of niet ingericht zijn van het proces bij de vervoerder. Aantal KV17-berichten per vervoerder (gesorteerd op % KV17 berichten) 30.000 KV17-berichten 25.000 20.000 15.000 10.000 5.000 0 QBUZZ RET HTM GVB ARR CXX EBS SYNTUS VTN Ritten en KV17-berichten per vervoerder Geplande ritten KV17-berichten % KV17-berichten 2,527,059 46,902 1.86% QBUZZ 252,862 27,159 10.74% RET 188,640 11,233 5.95% HTM 116,741 874 0.75% GVB 304,239 1,910 0.63% ARR 504,712 2,938 0.58% CXX 686,119 2,434 0.35% EBS 54,455 167 0.31% SYNTUS 215,601 187 0.09% VTN 203,690 - -%