Duurzaam archiveren door gezamenlijk beheer van historische en actuele geo-data in dezelfde omgeving

Transcriptie

1 Duurzaam archiveren door gezamenlijk beheer van historische en actuele geo-data in dezelfde omgeving Peter van Oosterom, TU Delft, OTB Research Institute for the Built Environment, GIS technology Geonovum-DANS studiedag: 'Digitale duurzaamheid van Geodata', Donderdagmiddag 16 februari 2012, Java Gebouw, NOW, Den Haag Delft University of Technology Challenge the future

2 Inhoud, een technisch probleem? (Deel)oplossing: actuele & historische data samen Identifiers en temporele attributen Maps4Science Conclusie 2

3 , een technisch probleem? Duurzaam digitaal archiveren heeft vele aspecten: juridisch, sociaal, organisatorisch, financieel, technisch,.. Deze aspecten zijn met elkaar verweven Perspectief in presentatie is vanuit techniek 3

4 Vraagstukken duurzame archivering Blijft formaat van data wel ondersteund door leverancier? (in geo-land vele formaten zowel open als gesloten) Digitale gegevensdragers bestand tegen tand des tijds? (media leesbaar, geen omgevallen bits) Archieven bestand tegen calamiteiten zoals brand? (voldoende back-up s) Goede ontsluiting, wie wel/niet toegang? (standaard web-services) 4

5 Inhoud, een technisch probleem? (Deel)oplossing: actuele & historische data samen Identifiers en temporele attributen Maps4Science Conclusie 5

6 Informatiesystemen t.b.v. productietaken Deze hebben zelfde uitdagingen (back-up, toegang, ) Zijn door dagelijks gebruik systemen levend Vergaande maatregelen genomen voor geval van calamiteiten: redundante systeemoplossingen uitgebreide back-up schema s Storingen worden snel geconstateerd Storingen worden ook snel verholpen i.v.m. operationele taak Kosten niet gering, maar te rechtvaardigen gezien de noodzaak 6

7 (Deel)oplossing: actuele & historische data samen beheren Vroeger alleen de meest recente toestand in (geo-)database à massale kopieën (ter archivering) Kadaster gebruikte deze voor produceren mutatiebestanden à opsporen verschillen historische kopie - huidige database (bewerkelijke actie gezien data omvang en aantal klanten) Introductie temporele informatiemodel (versie tijdstempels) à zowel historische als actuele data in dezelfde omgeving Mogelijk om efficiënt: à inhoud op willekeurig moment in verleden te vragen (archief) à veranderingen tussen 2 tijdstippen te leveren (mutaties) 7

8 Voordelen gezamenlijk beheer Archief even efficiënt als productiesysteem à door goede (ruimtelijk-temporele) data clustering & indexering Steeds groter wordende opslagcapaciteit en hardware versnellingen à historische en actuele data in één geïntegreerd haalbaar Door combinatie archief + productiesysteem kosten bespaard (met voorzieningen als redundante systemen en back-up s) Kwaliteit en beschikbaarheid archief gaat omhoog! 8

9 Inhoud, een technisch probleem? (Deel)oplossing: actuele & historische data samen Identifiers en temporele attributen Maps4Science Conclusie 9

10 Ruimte-tijd-thema driehoek Ruimte (2D, 3D) Object-id (OID) Tijd Thema 2D space + time à 3D 3D space + time à 4D 10

11 Data granulariteit m.b.t. tijd Grof, meer redundant Kaart (hele data set) klassieke topografische kaart (elke 6-jaar), luchtfoto Object klasse huidige topografische kaart (wegen elke 2-jaar) Object instantie kadastrale kaart Fijn, minder redundant Attribuut niveau grondwaterstand op locatie 11

12 Tijd op object instantie (record) niveau Meest voorkomende vorm temporeel model Goed te implementeren Elk object uitgebreid met temporele attributen (tmin, tmax) Nieuw object: tmin = check-in tijd, tmax = max_val Verwijder object: tmax = check-in tijd Update object: à nieuwe versie tmin = check_in tijd, tmax = max_val à oude versie tmax = check_in tijd (dezelfde waarde!) Belangrijkste functionaliteit is ondersteunden vragen: Geef kaart op moment t Geef de veranderingen in periode t1-t2 12

13 Leveren veranderingen in periode (inclusief tijdelijke versies) vervallen nieuw select * from line l where t_beg < l.tmax and l.tmax <= t_end; select * from line l where t_beg < l.tmin and l.tmin <= t_end; 13

14 Tellen veranderingen GBKN Vervallen topo lijnen Juli Juli

15 Unieke object (versie) identificatie Normaal gesproken heeft elk object heeft unieke object-id (OID) Temporeel systeem: verschillende versies van hetzelfde object (met dezelfde OID) Om object-versie te identificeren in tijd: key = OID + tmin Merk op deze key veranderd niet (i.t.t. alt_key = OID + tmax) Bij de verwijzing van het ene object naar het andere, alleen gebruik maken van OID-deel van key 15

16 Permanente object identificatie In NL operationeel binnen LKI (kadastrale kaart, GBKN) sinds 1997 à mogelijk opschalen naar alle geo-data (en ook buiten NL) In VK voorstel URI ( uploads/2010/04/designing_uri_sets_for_location-ver0.5.pdf) Template {version}] Voorbeelden Noodzakelijk voor Geoweb (GII), verwijzingen tussen datasets 16

17 Alternatief aparte temporele attributen 2D+tijd = 3D geometrie t2 tijd P5 P4 t1 t0 P2 P3 y x P1 17

18 Bewegende objecten à niet verticaal t2 tijd t1 t0 y x P1 P2 18

19 Aparte ruimte en tijd attributen of een enkel geïntegreerd attribuut? Voordelen aparte attributen: 1. In staat om alle gevallen te representeren 2. Ondersteund door huidige technologie 3. Tijdsaspect is meer dan alleen een enkele dimensie Voordelen geïntegreerd hoger dimensionaal data type: 1. Optimale efficiënte bij zoeken ruimte-tijd queries 2. Ouder-kind relatie wordt topologie buur query in tijd 3. Op basis van volledige partitie: geen overlap of hiaat in de ruimte/tijd representatie van objecten 4. Dynamische analyse: twee bewegende objecten zouden geen ruimtelijk-temporele overlap moeten hebben (botsing) 19

20 Inhoud, een technisch probleem? (Deel)oplossing: actuele & historische data samen Identifiers en temporele attributen Maps4Science Conclusie 20

21 NWO GOF Voorstel grootschalige onderzoeksfaciliteit 31 augustus 2011: ingediend bij NWO sept/okt 2011: goede expert review 10 januari 2012: interview Voor zomer 2012: besluit door minister OCW spatial data for all of science 21

22 Onderzoekers anders dan normale gebruikers? (PDOK/Google Earth) 1. Zoeken onverwachte verbanden à meer vreemde data combi's 2. Ook geïnteresseerd in bron metingen (herinterpretaties) 3. Grote gebieden, meer gegevens à ontdekken van patronen 4. Produceren meer eigen gegevens (uit metingen, berekeningen) 5. Meer eisen t.a.v. 3D en tijd (niet alleen 'nu') ondersteuning 6. Tijdseries voor valideren van (proces)modellen 7. Behoefte aan delen geo-processing ketens (analyses, simulaties) 8. Niet geo-informatie professionals (geneeskunde, geschiedenis, economie, enz.) à Antwoord: ja (en nee) à Zelfde gebruiksgemak, maar veel meer soorten data/diensten à enorme uitdaging 22

23 Doctor, take your own medicine (nagenoeg) alle wetenschappers hebben behoefte aan geo-info, niet alleen de geo-wetenschappers maar ook archeologie, epidemiologie, technologie, sociologie, etc.) à data intensief onderzoek Voorstel GOF: Maps4Science (2+5 jaar project, 22.8 meuro) NL geo-sector steunt met data Knoop in internationaal netwerk Beste GII: 3D/tijd/schaal, semantiek, upload, zeer veel data, remote processing, data policy à 23

24 Inhoud, een technisch probleem? (Deel)oplossing: actuele & historische data samen Identifiers en temporele attributen Maps4Science Conclusie 24

25 Conclusie Integraal beheer historische en actuele geo-data is realistische optie voor zowel archief als operationele taak Hierbij data en metadata ook gelijk behandelen Unieke permanente object identificatie alle NL geo-data à wie neemt initiatief (DANS, Geonovum, )? Er blijven nog voldoende aardige vraagstukken over zoals het niet stabiel zijn van de geografische referenties: Geografische namen zijn niet stabiel, in historische data komt Batavia in Nederlands-Indië voor (nu bekend als Jakarta in Indonesië) Coördinaten zijn niet stabiel door de tijd (ook Nederland beweegt zowel horizontaal als verticaal: schuift en kantelt) à nog een reden voor x,y,z,t coördinaten 25

26 Verschillen oude en nieuwe hoogten NAP (4e 5e NWP, ong. 25 jaar) Brand et al. AGI/GAP-04/004 Rijkswaterstaat AGI augustus

27 Maps4Science, korte video