Van ploegen door data naar zoeken in informatie Eerste resultaten van NDW Traffic Observatory in DiTTlab

Transcriptie

1 Van ploegen door data naar zoeken in informatie Eerste resultaten van NDW Traffic Observatory in DiTTlab Prof.dr.ir. Hans van Lint Edoardo Felici Projectmanager Strategie en Innovatie

2 NDW in het kort: Eind 2007 samenwerkingsovereenkomst met 15 overheden rond landelijk beheer publieke verkeersgegevens. In 2009 startte databank. In 2014 staande organisatie van 19 wegbeheerders geworden: RWS, alle provincies, de stadsregio s en de G4 Organisatorisch: Uitvoeringsorganisatie (ca. 20 fte), Raad van Toezicht (eigenaarsrol) en Opdracht-geversberaad (PDC, klanttevredenheid, ) Budget: 15 M /jaar (waarvan 10 M voor inwinning) Administratief ondergebracht bij Rijkswaterstaat

3 NDW in het kort: Shared Service Organisatie: expertisecentrum rond de verkeersgegevens van de wegbeheerders over meer dan 7000 km weg: snelheid, intensiteit, reistijd, voertuigcategorie Drie soorten gegevens: actuele gegevens (25.000/min), status-gegevens en historische gegevens. Inwinning van actuele verkeersgegevens kan via raamcontracten NDW, of wegbeheerder wint zelf in. Twee soorten afnemers: wegbeheerders (verkeerscentrales voor Verkeersmanagement) en private dienstverleners (bijv. VID, voor verkeersinformatie) Twee datastromen: managed data en open. Historische databank (200 Tb) voor beleid & onderzoek

4

5 DiTTlab in het kort: DiTTlab ontstaan als geesteskind van prof. Hans van Lint (TU Delft) Een laboratorium op gebied verkeerskunde waarin (big) data en open-source simulatiegereedschappen met elkaar worden gecombineerd. In het lab: partijen koppelen; halen en brengen! Onderzoek gericht op het begrijpen en voorspellen van verkeersstromen, juist nu er een systeemsprong optreedt naar connected en cooperative rijden

6 DiTTlab in het kort: DiTTlab organisatorisch vormgegeven als stichting Founders zijn: TU Delft, CGI, NDW en DITCM Daarnaast: partners, partijen die een specifiek onderzoeksproject van stichting subsidiëren en sponsoren, partijen die algemeen de stichting steunen met geld, personeel (bijv. stage/deeltijd), of materieel (soft/hardware) Wetenschappelijke programmaraad voorgezeten door NDW (Frits Brouwer) met o.a. ook Rijkswaterstaat, Prov. Noord-Brabant, Geodan.

7 Wat beoogt NDW met DiTTlab? NDW ambitie Datawarehouse: onze (big) data beter bruikbaar (evtl. ook buiten verkeersdomein) maken en het oogsten van veel meer informatie die in onze data verborgen zit, ook door koppelen aan andere (big) data. Een geïntegreerde omgeving Besef: niet zomaar off-the-shelf mogelijk met commerciële software Daarom eerst DiTTlab, prototype van een nieuw datawarehouse Eerste stap: ontwikkelen van een intelligente historische verkeersdatabase, waarin zoeken naar verkeersgegevens kan plaatsvinden op basis van verkeerskarakteristieken (bijv. zware of lichte congestie, x procent extra vertraging) en trefwoorden (zoals weekdag, zwaar ongeluk, regen, bijzondere omstandigheden), i.p.v. uitsluitend op basis van tijdsperiodes

8 DiTTlab scope (Real-time) diagnostics, estimation & prediction Evaluation & assessment (Open-source) Multiscale Simulation (BIG) Data Processing Virtual Reality, Gaming Mixed Reality 8

9 G - GUI s / Editors E - OpenTrafficSim Ontology Overall DiTTlab architectuur Een geïntegreerde omgeving H - Visualisers, analysers, exporters (Open) data uit alle denkbare bronnen: - Verkeer - Vervoer - Netwerken A - OpenTraffic Simulator B - OpenTrafficSim Input & toolset (Calibratie, Validatie, Identificatie, Fusie, Assimilatie tools) Geavanceerde data assimilatie en analytics Opensource multi-scale, multimodaal simuleren van verkeer en F - GIS (semi-static data: transport infra & built environment) C - Database (dynamic data: traffic, transport, weather, etc) vervoer D - data import 9

10 NDW project: een intelligente historische database Van ploegen door data naar zoeken in informatie Milde dag Berm brand 28 april juni 2015 Zware regen Zwaar ongeluk 31 mei maart

11 Zwaar ongeluk 24 maart 2015 Zwaar ongeluk Zwaar ongeluk a20, 9 juni 2015 a16, 9 jan

12 Tussenstand Webtool voor het koppelen en beschikbaar maken van de data Java / Javascript / leaflet GetEvents GetASMStats GetMeaspoints GetDailyEvents GetWeather GetCrossections GetDailyWeather GetDailyTotals GetRWTotals Dittlab.tudelft DB: Cross sections measurement points (5,1M considering changes over time) ALL Geo functionality Cross-section Detectors - multiple measurement points Netezza DB: 2,382,489,886 lane/usrclass records dynamic measurements (March 2015) ca 1/10 of that roadway records dynamic data 12

13 Verschillende congestie patronen met verschillende oorzaken

14 Challenge the future 14

15 CLASS 1 CLASS 2 CLASS 3 Challenge the future 15

16 Supersnel zoeken in een mega database Stap 1 - training data samenstellen met bekende congestiepatronen (Beschikbare) Metadata Geclusterde congestie plaatjes uit databases / GIS: Datum & tijdsperiode Routekenmerken (geo & digraph info) weer (regenachtig, 10 o Celcius, etc) Incidenten / evenementen Etc. te bepalen/berekenen Voertuigverliesuren Reistijdverdeling data kwaliteit % vrachtverkeer vraagpatroon Etc. Type Y Type X De plaatjes hoeven NIET even groot te zijn hoeven NIET evenveel pixels te bevatten hoeven niet dezelfde verhouding hxb te hebben WEL nodig zelfde colormap zelfde ratio tijd/plaats (ivm schokgolf snelheden) Type Z 16

17 Supersnel zoeken in een mega database Stap 2 - Die plaatjes ontrafelen in a bag of features (eigenlijk net zoals wij dat doen bij het herkennen van gezichten) SURF algorithm Extract keypoints Feature descriptions Clustering of features K-means algorithm 17 17

18 Supersnel zoeken in een mega database Stap 3 - Elk verkeerspatroon kan nu worden samengevat met een histogram van features (een vector met getallen) Verkeerspatronen Class 1 Feature vectoren Class 2 Class 3

19 Supersnel zoeken in een mega database Stap 4 Nieuwe patronen classificeren Onbekend patroon Patroon type X ontrafelen in features So far so good TODO: iteratief process (1) Start klassificatie nieuwe kleine test data set (2) Klassificatie handmatig verfijnen / corrigeren (3) Hertrainen SVM classifier (4) terug naar (1) Classificeren Training model 19

20 Supersnel zoeken in een mega database Komend jaar: Bouwen prototype Congestie-Zoek-Engine - Iteratieve verfijning van de SVM classifier (tot classificatie voldoende consistent en accuraat is) - Slimme routines ontwikkelen om ALLE congestiepatronen (heel NL? maart 2015) te kunnen vinden en classificeren - Dat vervolgens doen (classificeren) - SVM + Beschikbare metadata = Zoek-index Verfijnen en uitbreiden weer- en andere metadata So far so good TODO: iteratief process (1) Start klassificatie nieuwe kleine test data set (2) Klassificatie handmatig verfijnen / corrigeren (3) Hertrainen SVM classifier (4) terug naar (1) Bouwen WebGUI voor CoZi 20

21

22 Dat kan beter!

23 Echt gedrag? DiTTlab vervolg: waar halen we data over verkeer en vervoer vandaan? In het veld meten In een lab meten In een virtuele wereld meten 23

24 Echt gedrag? DiTTlab vervolg: waar halen we data over verkeer en vervoer vandaan? a la CSI: data fusie levert meer, beter en robuuster bewijs (1+1=3 principe) In het veld meten In een lab meten In een virtuele wereld meten Voorbeelden extra context: Omstandigheden (CAN data, weer, incidenten, evenementen, nieuws, etc) Status netwerk & alternatieven (ITS, parkeerdata, OV data) HB, route- en vervoerwijze keuze (GSM, Apps, OVchip) Rij, reiservaring, -vaardighed en -stijl (Apps, CAN data) Reismotieven (social media, apps) 24

25 DiTTlab vervolg: Dit impliceert een andere manier van werken! 1. Veel meer (GIS-, reken-, modellen-) gereedschap kunnen beheersen 2. Werken in interdisciplinaire teams Verkeer en vervoerkundigen Data scientists Computer scientists 3. Delen van data, delen van expertise (NL is m.i. te klein voor schuttingen om beiden) a la CSI: data fusie levert meer, beter en robuuster bewijs (1+1=3 principe) Voorbeelden extra context: Omstandigheden (CAN data, weer, incidenten, evenementen, nieuws, etc) Status netwerk & alternatieven (ITS, parkeerdata, OV data) HB, route- en vervoerwijze keuze (GSM, Apps, OVchip) Rij, reiservaring, -vaardighed en -stijl (Apps, CAN data) Reismotieven (social media, apps) 25

26 Plannen voor 2016 en verder Multi-scale schatten van alle relevante grootheden Op basis van NDW data + heel veel andere potentiële bronnen, (zoals o.a. fietsdata) - Schatten van de grote onbekenden: Dichtheden, voertuigverliesuren Inflows en turns (wat gaat er op wat gaat er af?) Capaciteiten, kritische snelheden Netwerk fundamenteel diagrammen (OWN?) - Schatten van herkomst-bestemmingspatronen op verschillende ruimtelijke schaalniveaus - Simuleren (voorspellen?) van verkeer op basis van alle beschikbare data op verschillende schaalniveaus 26

27 Schatten op rijstrookniveau Toestandsvariabelen Individuele voertuigen (interacties) Rijstrooksnelheden & dichtheden Rijstrookverdelingen Voertuigmix Wachtrij dynamica invoegstroken / VRIs Data CAN-bus data Rijstrook specifieke trajectorieen (FCD) Lus / VRI data alle andere DVM Gedetailleerde netwerkgraaf Omgevingsdata (weer, etc) Dynamica 1-10 seconden 27

28 Schatten op rijbaanniveau Toestandsvariabelen Rijbaansnelheden & dichtheden Inflows en turnfracties voertuigmix Data Trajectorieen (FCD) Lus / VRI data DVM iets grovere (rijbaan) netwerkgraaf Inflowprofielen / turnfracties Omgevingsdata (weer, etc) Data Dynamica 10 seconden - paar minuten 28

29 Schatten op regionaal netwerkniveau Toestandsvariabelen Rijbaansnelheden & dichtheden Inflows en turnfracties Routekeuzepatronen HB patronen Data Trajectorieen (FCD) Lus / VRI data DVM + Infovoorziening Rijbaan netwerkgraaf HB matrix / splitfracties Omgevingsdata (weer, etc) Data Dynamica 5-30 minuten 29

30 Schatten op hogere netwerkniveaus Toestandsvariabelen Rijbaansnelheden & dichtheden Routekeuzepatronen HB patronen NFDs: Data Lusdata DVM + Infovoorziening Rijbaan netwerkgraaf + reservoirzones HB matrix / splitfracties Omgevingsdata (weer, etc) Data Dynamica minuten 30

31 Plannen voor 2016 en verder Multi-scale schatten van alle relevante grootheden NDW gaat met fietsdata aan de slag: - In navolging van huidige pilots met Floating Car Data (FCD), pilot in 2016 om de bruikbaarheid van Floating Bike Data te onderzoeken. - Raamovereenkomst waarin partijen als Inrix, Here, Be-Mobile en TomTom FCD (en dus mogelijk ook FBD) kunnen leveren. - Past in de ontwikkelingen van verbreding van het gegevensaanbod, (big) data, raakvlakken tussen mobiliteitstypes. 31

32 Dank voor de aandacht! Contact: