1 Inleiding 2. 2 Uitvoering van de controlemetingen Kwaliteitsindicatoren Meetlocaties 6. 3 Statistische onderbouwing 8

Transcriptie

1 Inhoudsopgave 1 Inleiding 2 2 Uitvoering van de controlemetingen Kwaliteitsindicatoren Meetlocaties 6 3 Statistische onderbouwing Inleiding Statistiek Betrouwbaarheid en nauwkeurigheid Representativiteit 10 Beschrijving kwaliteitsmeting OV in Gelderland Pagina 1 van 10

2 1 Inleiding De provincie Gelderland wil zicht houden op de door de vervoerder geleverde prestaties. Om een compleet beeld te verkrijgen over deze prestaties beschikt de provincie Gelderland over een aantal informatiebronnen. Naast de MIPOV rapportages van de vervoerders zijn dat de Klantenbarometer van het KpVV, inventarisaties van Rover en informatie van OV-scouts. Aanvullend hieraan houdt de provincie Gelderland controlemetingen gericht op een aantal eisen uit de concessieovereenkomst. Het achterliggende doel is om met deze metingen eventueel gefundeerd bonussen en malussen te kunnen opleggen aan de vervoerders. Het doel van de het houden van de controlemetingen is: "Geef een betrouwbaar inzicht in de uitvoeringskwaliteit van de vervoerbedrijven die in de provincie Gelderland openbaar vervoer exploiteren. Vergelijk deze kwaliteit met de gestelde normen in het Programma van Eisen en/ of de aanbiedingen van de vervoerbedrijven, zodat toetsing plaats kan vinden van de geboden kwaliteit aan de gestelde normen". Probit voert in opdracht van de provincie Gelderland metingen uit naar de geleverde uitvoeringskwaliteit van de vervoerder en vergelijkt dit met de eisen uit het bestek en de concessieovereenkomst. In hoofdstuk 2 wordt beschreven welke aspecten worden gemeten en hoe de metingen worden uitgevoerd. In hoofdstuk 3 vindt een statistische onderbouwing plaats van de hoeveelheid metingen die verzameld worden om een bepaalde betrouwbaarheid te bereiken. Beschrijving kwaliteitsmeting OV in Gelderland Pagina 2 van 10

3 2 Uitvoering van de controlemetingen 2.1 Kwaliteitsindicatoren Om de benodigde gegevens te verzamelen worden metingen uitgevoerd via dynamische metingen. Dit betekent dat waarnemers van Probit als Mysterie Guest meereizen van knooppunt naar knooppunt. Daarbij worden onderstaande aspecten geregistreerd: Bij vertrek en aankomst op het knooppunt Vertrektijd van trein en bus; Aankomsttijd van trein en bus; Rituitval van trein en bus; Busnummer; Kenteken; Type materieel (type bus of type trein); Juiste lijnnummer van de bus (voor- en achterzijde); Juiste bestemmingsaanduiding van de bus (voor- en eventueel zijkant); Juiste bestemmingsaanduiding van de trein (zij- en eventueel voorkant); Snelnetaanduiding (aanwezigheid van S voorop de bus); Informatievoorziening van statische informatie op de halte of het station; Reinheid van het materieel aan de buitenkant. Tijdens de reis Vervoergarantie in de spitsuren (capaciteit in verhouding tot aantal reizigers); Zitplaatsgarantie in de daluren (zitplaatscapaciteit in verhouding aantal reizigers); Automatische afroep van haltes/stations (stadsdienst Apeldoorn en de treinen); Reinheid van het materieel aan de binnenkant. Beschrijving kwaliteitsmeting OV in Gelderland Pagina 3 van 10

4 In de onderstaande tabel zijn alle bovengenoemde aspecten omgezet in operationele variabelen. Naast de kwaliteitsindicatoren is ook een aantal identificatievariabelen opgenomen. Tevens wordt een onderscheid gemaakt tussen de kwaliteitsindicatoren die ieder kwartaal gemeten worden en de indicatoren die éénmaal per jaar worden gemeten. Indicator Waarneming Opmerking Identificatie Naam waarnemer Datum Dagsoort Locatie Lijnnummer Ritnummer Noteren naam Noteren datum Noteren werkdag, zaterdag, zondag, koopavond Noteren meetlocatie Noteren lijnnummer INDICATOREN PER KWARTAAL TE METEN Punctualiteit en Rituitval Noteren aan de hand van het rooster Vertrektijden Aankomsttijden Informatievoorziening Lijnnummer aanduiding Bestemmings aanduiding Verlichting lijnnummer en bestemmingsaanduiding Snelnetaanduiding bus Informatievoorziening Aanwezigheid statische reisinformatie op halteplaats/station Automatische oproep halten Noteren werkelijke vertrektijd of het niet op komen dagen van de bus of de trein Noteren werkelijke vertrektijd of het niet op komen dagen van de bus of de trein Aanwezigheid en juistheid op voorkant en achterkant van de bus Aanwezigheid en juistheid op voorkant en zijkant van de bus/ trein Aanwezigheid verlichting van de aanduiding in het donker Aanwezigheid "S" van snelnet voor op de bus Noteren op knooppunten aanwezigheid statische informatie over vertrektijden en routes Aanwezigheid, juistheid en timing afroep Geplande vertrektijd voordrukken op het formulier en achteraf verschil bepalen en classificeren. Vervolgens toetsing van de score op basis van concessie-eisen. Geplande aankomsttijd voordrukken op het formulier en achteraf verschil bepalen en classificeren. Vervolgens toetsing van de score op basis van concessie-eisen. Tevens noteren op welke wijze het lijnnummer is aangeduid (film, matrix, plastic bord etc) Tevens noteren op welke wijze de bestemming is aangeduid (film, matrix, plastic bord etc) In overleg met opdrachtgever exacte beoordeling invullen (bv voldoet informatie aan Gelders format) Bij Apeldoorn Stadsdienst en treinconcessies Beschrijving kwaliteitsmeting OV in Gelderland Pagina 4 van 10

5 Reinheid Materieel Reinheid materieel in- en exterieur Zitplaatsgarantie Noteren op basis van nadere classificatie. Reinheid interieur wordt dynamisch gemeten, exterieur zowel statisch als dynamisch Classificeren in bijvoorbeeld 3 categorieën Zitplaats- of vervoergarantie Noteer de bezetting in de bus en noteer maximaal aantal zit en staplaatsen Aantal reizigers Overige Infrastructurele werken Evenementen Weer Ongevallen Extreme verkeers- drukte Overige Materieel Busnummer en kenteken Materieel overig Reclame zijruiten Materieel overig Reclame zijruiten Informatievoorziening Lijnnummer aanduiding Verlichting lijnnummer Chauffeur Uiterlijke verzorging en herkenbaarheid chauffeur Omschrijven aanwezigheid en invloed op de meting Omschrijven aanwezigheid en invloed op de meting Omschrijven invloed op de meting Omschrijven aanwezigheid en invloed op de meting Omschrijven aanwezigheid en invloed op de meting Omschrijven overige aspecten met mogelijke invloed op de meting. Noteren busnummer en kenteken Noteren aanwezigheid op de zijruiten Noteren aanwezigheid op de zijruiten Aanwezigheid en juistheid op voorkant en zijkant van de bus Aanwezigheid verlichting van het lijnnummer in het donker Noteren op basis van nadere classificatie Op basis van materieelopgave vervoerder worden de verschillende materieelkenmerken achterhaald (o.a. voertuigtype, leeftijd en lage vloer). Tevens noteren op welke wijze het lijnnummer is aangeduid (film, matrix, plastic bord etc) Classificeren in bijvoorbeeld 3 categorieën Beschrijving kwaliteitsmeting OV in Gelderland Pagina 5 van 10

6 Gelijktijdig met de metingen wordt ook een logboek ingevuld, waarin omgevingsfactoren worden genoteerd door de observatoren. De omgevingsfactoren zijn factoren als infrastructurele werkzaamheden, evenementen, weersomstandigheden, ongevallen en drukte. Deze zouden invloed kunnen hebben op de kwaliteit van de dienstverlening. Genoteerd moet worden of er factoren van invloed kunnen zijn geweest en in welke mate. Op deze wijze kan bijvoorbeeld ook getraceerd worden of rituitval te wijten is geweest aan externe factoren. 2.2 Meetlocaties De provincie Gelderland heeft het openbaar vervoer in haar gebied verdeeld in een aantal gebieden. : Bus Trein gebied vervoerder gebied vervoerder Veluwe Veluwe, Stad Apeldoorn Rivierenland Achterhoek Zutphen-Hengelo-Oldenzaal Arnhem-Winterswijk Zutphen-Winterswijk Zutphen-Apeldoorn Ede-Amersfoort Zutphen-Hengelo-Oldenzaal Tiel-Arnhem Beschrijving kwaliteitsmeting OV in Gelderland Pagina 6 van 10

7 In onderstaande tabel zijn per deelgebied de knooppunten opgenomen. Elk kwartaal zullen op alle meetlocaties metingen plaatsvinden. Concessiegebied Knooppunt Concessiegebied Knooppunt Veluwe Stad Apeldoorn Rivierenland Achterhoek Bus Apeldoorn, Busstation NS Apeldoorn, Marktplein Apeldoorn, Hoofdstraat Barneveld, Station Centrum Ede, Station Ede-Wageningen Epe, Centrum Harderwijk, Station NS Nijkerk, Station NS Oldebroek, Centrum Otterlo, Centrum Garderen, Wittenberg Wageningen, Busstation Zwolle, Busstation NS Apeldoorn, Busstation / NS Apeldoorn, Marktplein Tiel, Station NS Hedel, Centrum Beneden Leeuwen Culemborg, Station NS Druten, Busstation Wageningen, Busstation Kesteren, Station NS Borculo, Busstation Doesburg, Kraakselaan Doetinchem, Station NS Groenlo Lievelde, Busstation NS Neede, Busstation Ruurlo, Busstation NS Haaksbergen, Busstation Terborg, Busstation NS Vorden, Busstation NS Zutphen, Busstation NS Zutphen-Hengelo- Oldenzaal Bus Trein Arnhem - Winterswijk Trein Zutphen - Winterswijk Trein Zutphen - Apeldoorn Ede-Wageningen Amersfoort Arnhem Tiel ZHO trein Hengelo, Busstation NS Delden, Station NS Holten, Busstation Haaksbergen, Busstation Goor, Station NS Borculo, Busstation Neede, Busstation Lochem, Station NS Zutphen, Busstation NS Deventer, Station NS Arnhem Doetinchem Winterswijk Zutphen Lievelde Ruurlo Winterswijk Vorden Zutphen Klarenbeek Apeldoorn Ede-Wageningen Amersfoort Barneveld, Centrum Arnhem Kesteren Tiel Zutphen Delden Goor Hengelo Lochem Corridormetingen Naast de reguliere metingen op de genoemde meetlocaties wordt elk kwartaal een aanvullende corridormeting uitgevoerd. Bij de corridormeting worden dezelfde aspecten geregistreerd als bij de statische meting maar dan vindt de meting plaats op tussengelegen haltes. Ook zullen aanvullend dynamische metingen worden uitgevoerd. Beschrijving kwaliteitsmeting OV in Gelderland Pagina 7 van 10

8 3 Statistische onderbouwing 3.1 Inleiding Er is een toenemende behoefte van OV autoriteiten om een onafhankelijke continue audit te doen naar de feitelijk geleverde prestaties van de vervoerbedrijven. Overheden zullen de resultaten van de monitoring van de uitvoeringskwaliteit toetsen aan het programma van eisen en de concessieovereenkomst. De onafhankelijke monitoring wordt daarbij als input gebruikt voor het opleggen van boetes / malussen of het verstrekken van een bonus. Dit betekent ook dat de resultaten uit deze monitoring en de wijze waarop deze zijn verkregen voldoende hard moeten zijn voor een eventuele toets van de rechter. Er is op dit moment in Nederland geen vastgestelde methodiek of enige jurisprudentie. Probit heeft daarom sinds 2007 de expertise ingeschakeld van prof. dr. J.H.J. Einmahl, hoogleraar statistiek aan de Universiteit van Tilburg. Prof. Einmahl ondersteunt Probit bij het vertalen van eisen en wensen aan de betrouwbaarheid en nauwkeurigheid naar een pragmatische maar ook gedegen onderbouwde methode. 3.2 Statistiek De wezenlijke bedoeling van de statistiek is het verklaren/voorspellen van de werkelijkheid op basis van een (beperkte) hoeveelheid cases; de steekproef. Om via deze steekproef zo goed mogelijk de werkelijkheid te verklaren/voorspellen worden er eisen gesteld aan: - de betrouwbaarheid; - de nauwkeurigheid; van de statistische procedure en - de representativiteit van de steekproef. De verklarende/voorspellende waarde van de procedure is afhankelijk van de gekozen betrouwbaarheid, de nagestreefde nauwkeurigheid en de representativiteit van de steekproef. Beschrijving kwaliteitsmeting OV in Gelderland Pagina 8 van 10

9 3.3 Betrouwbaarheid en nauwkeurigheid Deze beide begrippen zijn nauw met elkaar verbonden maar zijn wezenlijk verschillend. Voor het berekenen van een steekproefomvang is voor beide begrippen een waarde noodzakelijk. Voorbeeld: Er zijn maar heel weinig waarnemingen nodig om met 95% betrouwbaarheid te kunnen zeggen dat de gemiddelde lengte van de Nederlandse man 180 centimeter is +/-100 centimeter. Deze uitspraak is wel heel betrouwbaar maar niet nauwkeurig. Er zijn veel meer waarnemingen nodig om met dezelfde betrouwbaarheid te kunnen zeggen dat de gemiddelde lengte van de Nederlandse man 180 centimeter is +/- 5 centimeter. In de statistiek wordt 95% betrouwbaarheid gezien als een normale maat omdat het acceptabel is dat er negentien juiste uitspraken gedaan worden en één onjuiste. ν = (1,96/e) 2 *p*(1-p) ν= steekproefomvang e= nauwkeurigheid p= de parameter; voor een betrouwbaarheid van 80% of 60% moet de 1,96 vervangen worden door respectievelijk 1,28 en 0,84. Bij een betrouwbaarheid van 95% kan de steekproefomvang bepaald worden met de formule: Met de vooraf onbekende p kan op verschillende manieren omgegaan worden: Het produkt p*(1-p) wordt gemaximaliseerd door p=0,5. In dat geval is bij een nauwkeurigheid van 0,05 de steekproefomvang 384. De hypothese wordt bepaald op basis van historische waarden. Zo lag de stiptheid van de busconcessies het afgelopen jaar op ongeveer 80%. De kans op een te late bus is dan 20%. Bij p=0,2 wordt de steekproefomvang 246. De te toetsen hypothese wordt bepaald door de eis uit de concessieovereenkomst dat maximaal 5% van de bussen die vertrekken een vertraging van meer dan 3 minuten mogen hebben. Bij p=0,05 wordt de steekproefomvang 73. Bij deze toetsing wordt niet betrouwbaar bepaald wat de stiptheid feitelijk is maar of de stiptheid wel of niet voldoet aan de eis. Beschrijving kwaliteitsmeting OV in Gelderland Pagina 9 van 10

10 Het praktische nadeel van de laatste methode is dat de verschillende eisen uit de concessieovereenkomsten leiden tot verschillen in de steekproefomvang per concessie en per aspect. Ook is de vergelijkbaarheid met de cijfers uit voorgaande jaren niet betrouwbaar. Voor de metingen in Gelderland is ten aanzien van de betrouwbaarheid en nauwkeurigheid uitgegaan van de onderstaande uitgangspunten: betrouwbaarheid 95% per kwartaal per concessie; nauwkeurigheid 10% per kwartaal per concessie; hypothese p = 0,2 op basis van historische stiptheidspercentages voor busconcessies. Dit resulteert in 61 metingen per kwartaal per concessie. 3.4 Representativiteit De totale populatie aan ritten per kwartaal is enorm groot. Om te bepalen welke ritten in de meting opgenomen moeten worden bestaan er twee mogelijkheden: a-selecte steekproef uit de volledige rittenbak; gestratificeerde steekproef. Een volledig a-selecte steekproef levert in de praktijk een onwerkbare en inefficiënte werkwijze op. Waarnemers moeten ergens een half uurtje meten en vervolgens weer terug. De volgende meting is dan op een andere dag en een andere locatie. Bij een gestratificeerde steekproef worden vooraf klassen beschreven en dienen de klassen naar evenredigheid van het totaal terug te komen in de steekproef. Probit stelt de onderstaande stratificatie voor waarbij het percentage ritten in de steekproef is gerelateerd aan de werkelijke verdeling in de dienstregeling binnen de provincie Gelderland. Stratificatieklasse % steekproef Spitsen op werkdagen ( uur en uur) 40% Dalperiode op werkdagen ( uur) 35% Avond op werkdagen (na uur) 10% Zaterdag 10% Zondag 5% Beschrijving kwaliteitsmeting OV in Gelderland Pagina 10 van 10