Uitgevoerde testen met MS en DM BasGoed

Transcriptie

1 Uitgevoerde testen met MS en DM BasGoed rapportage DP2 SIGNIFICANCE: GERARD DE JONG MICHIEL DE BOK JAAP BAAK NEA: ARNAUD BURGESS MARLEEN DE GIER DEMIS: POUL GRASHOFF 30 November 2010 Rapport voor de Dienst Verkeer en Scheepvaart van Rijkswaterstaat

2

3 Significance Koninginnegracht AB DEN HAAG T (070) F (070) info@significance.nl

4 Significance 2

5 Inhoudsopgave Inhoudsopgave...3 HOOFDSTUK 1 Inleiding...4 HOOFDSTUK 2 Test resultaten Inleiding Niet functionele tests Geheugenlekken Robuustheid tests Correcte implementatie DFD s Modal split module RMSE tests Kosten en tijdgevoeligheid MS module Distributie module RMSE tests Kosten- en tijdgevoeligheid...15 Appendix 1 Elasticiteiten MS per NSTR-groep...17

6 HOOFDSTUK 1 Inleiding Om tegemoet te komen aan de informatiebehoefte van het Ministerie van Verkeer en Waterstaat op het gebied van goederenvervoer in, naar en van Nederland is een goederenvervoermodel nodig dat niet alleen inhoudelijk antwoord geeft, maar ook tegemoet komt aan randvoorwaarden op het gebied van transparantie, uitlegbaarheid en de mogelijkheid tot validatie. Dit is momenteel niet beschikbaar. DVS voert samen met TNO het project Roadmap strategisch goederenvervoermodel uit, waarin vraag en aanbod op dit gebied met elkaar vergeleken zijn. Op basis hiervan is besloten om op korte termijn een relatief eenvoudig goederenvervoermodel te ontwikkelen, waarin de bestaande economiemodule van SMILE+ wordt hergebruikt en waarin er nieuwe modellen geschat zullen worden voor distributie en modal split, op basis van tijden en afstanden uit bestaande unimodale toedelingsmodellen. Dit model heeft de naam Basis Goederenvervoermodel (BasGoed) gekregen. In een later stadium zal een model worden ontwikkeld dat rekening houdt met logistieke besluitvorming. De functionele en technische specificaties van BasGoed staan beschreven in een rapport van TNO, NEA, Significance en Demis (Duijnisveld et al., 2010). Hierin worden allerlei keuzen voor BasGoed reeds vastgelegd (bijvoorbeeld de te gebruiken zonering). Wel worden nog diverse modelspecificaties onderscheiden (met name voor het modal split model), die in de schatting met elkaar moeten worden vergeleken, waarna een keuze dient te worden gemaakt. Dit rapport is onderdeel van twee deelprojecten binnen de implementatie van BasGoed: Deelproject 1: 1 schatting van de distributiemodule (DM) en de modal split module (MS); Deelproject 2: 2 implementatie (programmeren, testen, documenteren) van de distributiemodule en de modal split module. Naast deze deelprojecten vindt een apart deelproject plaats voor de ontwikkeling van de gebruikersschil voor BasGoed en de andere modules. Het doel van dit project is: Het schatten van nieuwe modellen voor distributie en modal split volgens de specificaties in Duijnisveld et al. (2010), alsmede het programmeren, testen en documenteren van de nieuwe modules, als onderdeel van het te ontwikkelen Basis Goederenvervoermodel Het project is opgesplitst in twee deelprojecten: Deelproject 1: verzamelen en verwerken van schattingsdata, schatting van modal split module en distributiemodule en rapportage van schattingsresultaten; Deelproject 2: verfijnen van de specificatie ter voorbereiding van het programmeren, programmeren van de distributiemodule en modal split module, testen van deze modules en documentatie van de modules en de testresultaten.

7 Deze rapportage beschrijft de uitgevoerde testen van de modelprestaties van de geprogrammeerde modules (MS en DM). De systeem- en gebruiksdocumentatie is separaat gerapporteerd. 5

8

9 HOOFDSTUK 2 Test resultaten 2.1 Inleiding De ontwikkelde DM en MS modules zijn getoetst met een aantal funtionele en niet-functionele tests. Als functionele test zijn root mean square error (RMSE) analyses gemaakt van de van de DM en MS modules om te toetsen of de modules het basisjaar zo goed als mogelijk kunnen reproduceren. Daarnaast zijn de kosten- en tijdgevoeligheid van de modules getoetst op basis van de berekende elasticiteiten uit toepassingen. De resultaten van de functionele tests van de MS en DM modules zijn beschreven in paragraaf 2.3 en Niet functionele tests Geheugenlekken De modal split en distributiemodule zijn in Delphi geïmplementeerd als Windows Console Applications. Delphi heeft een eigen geheugenmanager die al het gealloceerde geheugen vrijgeeft op het moment dat de applicatie wordt beëindigd. Het weglekken van geheugen tijdens een BASGOED modeltoepassing is dus principieel niet mogelijk Robuustheid tests Indien tijdens de toepassing van de modal split of distributiemodule een fout optreedt dient het programma hiervan een melding te maken in het logbestand en vervolgens af te sluiten. Om de robuustheid te testen zijn de modules gedraaid met een aantal opzettelijke aangebrachte fouten. Hieronder worden enkele voorbeelden gegeven:

10 Ongeldige numerieke invoer in MODECHOI controlebestand: ROAD: 0.3a,33.79,37.33,15.99,0.71 Logbestand: 10/14/ :06:09 Executable: P:\Projects_Active\10016_BASGOED\DP2_Implementatie\DELPHI\MODECHOI\ROBUUSTHEID\MODECHOI.exe; 09/17/ :58:42; bytes Running on computer: PSJBA01 Reading settings from: modechoi1.ctl; 10/14/ :06:02; 487 bytes ERROR: Invalid value ROAD Ontbrekend invoerbestand distributiemodule: Logbestand: 10/14/ :13:10 Executable: P:\Projects_Active\10016_BASGOED\DP2_Implementatie\DELPHI\DESTCHOI\ROBUUSTHEID\DestChoi.exe; 10/14/ :07:22; bytes Running on computer: PSJBA01 Reading settings from: destchoi0.ctl; 10/14/ :13:00; 384 bytes ERROR: File does not exist (LOGS) Ontbrekende uitvoerdirectory modal split module: Logbestand: 10/14/ :17:20 Executable: P:\Projects_Active\10016_BASGOED\DP2_Implementatie\DELPHI\MODECHOI\ROBUUSTHEID\MODECHOI.exe; 09/17/ :58:42; bytes 8

11 Running on computer: PSJBA01 Reading settings from: modechoi0l.ctl; 10/14/ :17:16; 496 bytes ERROR: Directory does not exist (LOGS) Correcte implementatie DFD s De uitvoer van de modal split en distributiemodules is vergeleken met de DFD s. Op basis van deze tests zijn kleine aanpassingen gemaakt aan de DFD s van de geimplementeerde DM en MS modules. 2.3 Modal split module RMSE tests De model fit is verder getoetst op basis van een toepassing van de eindspecificatie uit het schattingsrapport 1. Voor dit model zijn voor alle goederengroepen een toedeling gemaakt en is het resultaat vergeleken met de waarnemingen uit het schattingsbestand. De goodness-of-fit van het model is beoordeeld op basis van de root mean squared error (RMSE) per goederengroep, en op basis van scatterplots van de gesimuleerde en waargenomen vervoerde tonnages per vervoerwijze per herkomst of bestemming. De RMSE is als volgt berekend: RMSE = ijv SIM WN ( Tijv Tijv ) i j v 2 In de volgende tabel staan de RMSE s zoals deze zijn berekend met het geïmplementeerde MS model. Deze RMSE heeft in absolute zin een grote waarde, en is moeilijk interpreteerbaar. De grote afwijking wordt veroorzaakt door een aantal grote relaties waarbij de voorspelde vervoerwijze verdeling van het model grof naast de waarnemingen ligt. Dit is moeilijk zichtbaar in de geaggregeerde RMSE maat maar wordt beter zichtbaar via een aantal scatterplots. 1 Significance, NEA en DEMIS (2010) Schattingen BASGOED, rapportage DP1, Rapport voor Dienst Verkeer en Scheepvaart, 23 Augustus

12 Tabel 2-1: RMSE berekend uit toepassing serie Totaal tonnage RMSE NSTR1 [ton] eindspecificatie (serie 13) 0 Landbouwp Voedingsp Vaste min. br.stoff Aardolie Ertsen Metalen, halffabr Ruwe min Meststoff Chemie Overig In de volgende figuren is zijn de voorspelde tonnages per vervoerwijze op celniveau vergeleken met de waarnemingen. De scatterplots zijn opgesteld voor de NSTR groepen 0, 5 en 9. Daarnaast is voor deze scatterplots ook de R 2 berekend van de trendlijn door de punten. Deze indicator drukt ongeveer hetzelfde uit als de RMSE, namelijk de goodness-of-fit van het model ten opzichte van de waarneming. In Tabel 2-2 staan de R 2 van de onderzochte NSTR groepen weergegeven, onderscheiden naar vervoerwijze. Eindspecificatie Tabel 2-2: R 2 per serie, NSTR-groep en vervoermiddel NSTR0 NSTR5 NSTR9 weg spoor bvrt weg spoor bvrt weg spoor bvrt Serie

13 Figuur 2-1: Scatterplot vervoerde tonnen BASGOED vs waarnemingen NSTR 0 voor serie 13 NSTR BASGOED Weg Spoor Bvrt Waarneming NSTR0 (detail) BASGOED Weg Spoor Bvrt Waarneming 11

14 Figuur 2-2: Scatterplot vervoerde tonnen BASGOED vs waarnemingen NSTR 5 voor serie 13 NSTR BASGOED Weg Spoor Bvrt Waarneming NSTR5 (detail) BASGOED Weg Spoor Bvrt Waarneming 12

15 Figuur 2-3: Scatterplot vervoerde tonnen BASGOED vs waarnemingen NSTR 9 voor serie 13 NSTR BASGOED Weg Spoor Bvrt Waarneming NSTR9 (detail) BASGOED Weg Spoor Bvrt Waarneming 13

16 2.3.2 Kosten en tijdgevoeligheid MS module De elasticiteit van de modal split module is ook beoordeeld. Als referentie voor deze elasticiteiten zijn uit twee recente empirische studies naar prijsgevoeligheid van goederenvervoer de volgende elasticiteiten bekend. Tabel 2-3: Kosten elasticiteiten goederenvervoer uit literatuur Significance en CE Delft (2010) Price sensitivity of European road transport towards a better understanding of existing results. Report for Transport & Environment. The Hague: Significance Tkm prijs elasticiteit op ton kilometers voor wegvervoer: Alle effecten -1.0 Alleen vervoerwijzekeuzeeffect -0.4 Significance en VTI (2010) Review of the international literature on price elasticities of freight transport by rail. Report for Swedish Rail Administration. The Hague/Stockholm: Significance/VTI Tkm prijs elasticiteit op tonnen voor spoorvervoer (vervoerwijzekeuze-effect) effect) ruime marge: -0.5 tot -3.9 waarschijnlijke marge: -0.8 tot -1.6 De elasticiteiten en kruiselasticiteiten zijn ten behoeve van de schattingsrapportage berekend aan de hand van de schattingsbestanden. Ter beoordeling van het modal split module zijn in deze rapportage ook de elasticiteiten berekend van toepassingen van de geïmplementeerde module. De elasticiteiten voor tijd en kosten zijn berekend voor de drie vervoerwijzen. In de appendix zijn de elasticiteiten per NSTR groep weergegeven. In Tabel 2-4 staat een overzicht van de totale tijd- en kosten elasticiteiten over alle goederengroepen. Deze elasticiteiten wijken af van die uit het rapport over DP1. In DP1 waren de elasticiteiten berekend over alleen de relaties waar men kan kiezen uit meerdere vervoerwijzen (meer dan 1 vervoerwijze beschikbaar). De elasticiteiten in DP2 (zowel die voor de schatting als voor de toepassing) gaan over alle relaties. Tabel 2-4: Tijd- en kostenelasticiteiten (in vet) en kruiselasticiteiten model serie 12. Elasticiteiten zijn berekend over totale vervoersvraag Kosten elasticiteiten Tijd elasticiteiten weg spoor bvrt weg spoor bvrt Elasticiteiten MS schattingen Weg Spoor Bvrt Elasticiteiten MS module Weg Spoor Bvrt De kostenelasticiteit van wegvervoer ligt met een waarde van -0.3 dicht bij de waarde -0.4 uit de literatuur (was -0.5 in DP1). Door het grote marktaandeel van wegvervoer zijn de kruiselasticiteiten van kosten wegvervoer met binnenvaart en spoor hoog. De kostenelasticiteit van spoorvervoer ligt met een waarde van -0.9 binnen de waarschijnlijke marge. Net als in de literatuur is het spoor vervoer dus meer kostenelastisch. 14

17 De elasticiteten uit de toepassing zijn niet identiek aan die uit de schatting, maar komen wel dicht in de buurt. Er zijn uit de literatuur helaas geen tijdelasticiteiten van goederenvervoer bekend ter vergelijking. 2.4 Distributie module RMSE tests Net als voor de modal split module is de goodness-of-fit van het model beoordeeld op basis van de root mean squared error (RMSE) per goederengroep: De RMSE is als volgt berekend: RMSE = ijv SIM WN ( Tij Tij ) i j 2 In de volgende tabel staan de RMSE s uit de schatting en zoals deze zijn berekend met de geïmplementeerde distributiemodule. Tabel 2-5: R 2 en RMSE per NSTR-groep Geïmplementeerde Schatting model NSTR R2 RMSE R2 RMSE Uit de tabel blijkt dat de implementatie goed overeenkomt met het geschatte model Kosten- en tijdgevoeligheid Om de tijd- en kostenelasticiteit van de distributiemodule te bepalen worden de volgende stappen doorlopen: 1. Bepaal de MS-logsums met behulp van het programma MODECHOI 2. Pas de distibutiemodule met de bepaalde logsums toe en haal het aantal tonnekms uit de logbestanden van de distributiemodule. 15

18 3. Bepaal nogmaals de MS-logsums met behulp van het programma MODECHOI, nu met de tijd of kosten van een vervoerwijze 10% verhoogd (zie tabel 3.1 uit de Systeem- en gebruiksdocumentatie MS en DM BasGoed). 4. Pas nogmaals de distibutiemodule met de bepaalde logsums toe en haal het aantal tonnekms uit de logbestanden van de distributiemodule. 5. Bereken uit de relatieve verandering van het aantal TonneKms, afgezet tegen de relatieve verandering van kosten of tijd (0.1) de elasticiteit. In onderstaande tabel zijn de aldus berekende tonnekilometerelasticiteiten gegeven: Tabel 2-6: Tijd- en kostenelasticiteiten van het aantal tonkilometers (distributie-effect). Elasticiteiten zijn berekend over totale vervoersvraag NSTR0 NSTR1 NSTR2 NSTR3 NSTR4 NSTR5 NSTR6 NSTR7 NSTR8 NSTR9 Weg tijd Weg kosten spoor tijd Spoor kosten Bvrt tijd Bvrt kosten Uit de tabel blijkt dat de effecten van tijd- en kostenveranderingen op de distributie gering zijn. Dit is de conform de verwachting (bedacht moet ook worden hierbij dat de randen van de matrix vastliggen in de DM). Zoals uit de tabel ook blijkt zijn de elasticiteiten in enkele cellen positief. Dit is technisch mogelijk omdat het niet een strikt keuzemodel betreft (zoals de MS dat wel is), maar bijvoorbeld werkt via een Furness procedure. Aangezien de elasticiteiten in alle gevallen heel klein zijn zal het gecombineerde effect van distributie- en modalsplitmodule wel voor iedere vervoerwijze het goede teken hebben. 16

19 Appendix 1 Elasticiteiten MS per NSTR-groep Nstr0 Kosten elasticiteiten Tijd elasticiteiten weg spoor bvrt weg spoor bvrt Elasticiteiten MS schattingen Weg Spoor Bvrt Elasticiteiten MS module Weg Spoor Bvrt Nstr1 Kosten elasticiteiten Tijd elasticiteiten weg spoor bvrt weg spoor bvrt Elasticiteiten MS schattingen Weg Spoor Bvrt Elasticiteiten MS module Weg Spoor Bvrt Nstr2 Kosten elasticiteiten Tijd elasticiteiten weg spoor bvrt weg spoor bvrt Elasticiteiten MS schattingen Weg Spoor Bvrt Elasticiteiten MS module Weg Spoor Bvrt

20 Nstr3 Kosten elasticiteiten Tijd elasticiteiten weg spoor bvrt weg spoor bvrt Elasticiteiten MS schattingen Weg Spoor Bvrt Elasticiteiten MS module Weg Spoor Bvrt Nstr4 Kosten elasticiteiten Tijd elasticiteiten weg spoor bvrt weg spoor bvrt Elasticiteiten MS schattingen Weg Spoor Bvrt Elasticiteiten MS module Weg Spoor Bvrt Nstr5 Kosten elasticiteiten Tijd elasticiteiten weg spoor bvrt weg spoor bvrt Elasticiteiten MS schattingen Weg Spoor Bvrt Elasticiteiten MS module Weg Spoor Bvrt

21 Nstr6 Kosten elasticiteiten Tijd elasticiteiten weg spoor bvrt weg spoor bvrt Elasticiteiten MS schattingen Weg Spoor Bvrt Elasticiteiten MS module Weg Spoor Bvrt Nstr7 Kosten elasticiteiten Tijd elasticiteiten weg spoor bvrt weg spoor bvrt Elasticiteiten MS schattingen Weg Spoor Bvrt Elasticiteiten MS module Weg Spoor Bvrt Nstr8 Kosten elasticiteiten Tijd elasticiteiten weg spoor bvrt weg spoor bvrt Elasticiteiten MS schattingen Weg Spoor Bvrt Elasticiteiten MS module Weg Spoor Bvrt

22 Nstr9 Kosten elasticiteiten Tijd elasticiteiten weg spoor bvrt weg spoor bvrt Elasticiteiten MS schattingen Weg Spoor Bvrt Elasticiteiten MS module Weg Spoor Bvrt