KNMI Data Centrum Voorkant voor Geonetwork ADAGUC

Transcriptie

1 KNMI Data Centrum Voorkant voor Geonetwork ADAGUC KNMI: John van de Vegte, Wim Som de Cerff, Maarten Plieger, Ernst de Vreede, Raymond Sluiter, Jan Willem Noteboom, Ian van der Neut, Hans Verhoef, Robert van Versendaal, Martin van Binnendijk, Henk Kalle, Arthur Knopper, TriOpSys: Gijs Calis, Jeroen Bos, Siu Siu Ha, Wim van Moosel, Quality House: Henk-Jan Klein Ikkink, Tuncay Tosun Wim Som de Cerff, KNMI

2 Waarom KNMI datacentrum? KNMI data: Veel verschillende soorten datasets (Weer, klimaat, seismologie) Historisch, real-time, verwachtingen Onderzoek en operationeel Toepasbaar in verschillende domeinen Maar: Moeilijk te vinden Moeilijk te gebruiken Weinig standaardisatie Veel data portalen Veel onderhoudsinspanning 2

3 Aanpak bouw KDC Funding uit Deltaplan Infrastructuur KNMI (IenM) Aanpak: Betrekken belanghebbenden: Agile ontwikkeling (Scrum) Data managers KNMI-ers die de data in het datacentum plaatsen Eindgebruikers Optimaal gebruik van bestaande (Open Source) software Geonetwork, MongoDB, MySQL, FreeRadius, JavaSpring, Magnolia, NADC Processing Suite, ADAGUC WMS/WCS Belangrijkste eisen: Dataset managers moeten zelfstandig datasets kunnen toevoegen: adding a dataset should be as easy as creating a web page Ondersteun elk data formaat, leg beperkingen uit en biedt extra s aan standaard formaten 3

4 Architecture: KDC 1.x Security Web Data acces Database Data processing 4

5 Geonetwork Gekozen op basis van eerdere ervaringen (KNMI CSW gekoppeld aan NGR) Gebruikt voor: Opslag dataset metadata (in NL en Engels) KNMI profiel (WMO, NL, INSPIRE) Zoeken door dataset metadata Exporteren naar extern toegankelijke (Geonetwork) CSW/OAI PMH) Tijdens ontwikkelen 19 Geonetwork gerelateerde issues Nog 4 open, de overige zijn opgelost Open: Bounding box & datumgrens, zoeken op deel van een woord, eastbound < westbound probleem, - en _ gebruik Eigen metadata editor ontwikkeld 5

6 Voorkant voor Geonetwork Waarom? adding a dataset should be as easy as creating a web page meerdere interfaces nodig ( huishoudelijke metadata ) Geonetwork interface niet gebruikersvriendelijk genoeg SCRUM ontwikkeling, dus we kwamen er op tijd achter! Implementatie: refactoring gebruikersinterface 6

7 7

8 Extra functionaliteit Zelfde look & feel KDC gebruikers interface Minimaliseren aantal velden om in te vullen Beperkte keuzemogelijkheden, waar mogelijk Koppeling met helpfunctie Validatie van de invoer Tussentijds opslaan Kopie maken eerder ingevoerde set ( save as ) Publicatie pas mogelijk als alle verplichte velden zijn ingevoerd 8

9 Nadelen Nadelen keuze re-factoren gebruikersinterface: KNMI specifieke oplossing Ongeveer 2 sprints nodig om oplossing generiek te maken 9

10 INSPIRE (NGR) CSW WIS (WMO) OAI- PMH 10

11 11

12 ADAGUC WMS/WCS Server WMS 1.1.1/1.3.0 WCS NetCDF4 CF en KNMI-HDF5 data files: Field data: modeldata, radar en satelliet incl. RGB products Swath data: SCIAMACHY, ASCAT Punt data Styling: contouring, shading, wind barbs, wind vectors; Ook automatische door gebruik te maken van CF standard_name 12

13 ADAGUC WMS/WCS Server Support voor OGC TIME, ELEVATON dimensions en voor user-defined dimensions GetFeatureInfo uitgebouwd met: time series graph, JSON en GML output WMS extensions of ncwms: COLORSCALERANGE, NUMCOLORBANDS Fast reprojection of data Access of (remote) data through OpenDAP 13

14 ADAGUC web portal component (Viewer) WMS / portal Display legends, select styles, select dimensions Mapping component is JavaScript (embeddable component for HTML/PHP) Gebruikt GetFeatureInfo om data op te halen en om time series graphs af te beelden Data bewerkingen en download met WCS services Eenvoudig layers combineren van verschillende WMS services Voorbeelden, zie met demonstratie data (inclusief realtime regen radar) 14

15 Performance ADAGUC cached niet, maar leest direct netcdf! Toekomst: image caching, b.v. Varnish Response tijd van ADAGUC GetMap request, in milliseconde: Herprojecteer en teken wolken optische dikte van MSG-CPP Van 3712x3712 pixels in satellite view, netcdf formaat Naar verschillende beeldgrootte in verschillende projecties, PNG image 256x x x2048 LatLon 270 ms 340 ms 640 ms Mercator 250 ms 260 ms 430 ms Stereographic 206 ms 290 ms 550 ms Conclusie: Reponse tijden geschikt voor interactief gebruik op het web Gebruikt full MSG resolutie, opgeslagen op disk Flexibele visualizatie: on demand image size en projectie 15

16 Weermodel Model + MSG 16

17 17

18 Open Source ADAGUC server en viewer zijn Open Source: Geregistreerd bij OGC Doel: Delen Software Samenwerking zoeken Huidig werk: Nederlands WMS profiel Inspire VIEW service Best Practices document OGC s MetOcean Domain Working Group ADAGUC in gebruik in: climate4impact.eu euro4m.eu msgcpp.knmi.nl eca.knmi.nl data.knmi.nl 18

19 Alles op een rij + en nog wat andere OS pakketten + programmeerwerk 19

20 Publish KNMI Data Centrum 14 december 2012 UNESCO - IHE 27 Februari 2013

21 Find KNMI Data Centrum 14 december 2012 UNESCO - IHE 27 Februari 2013

22 Bind KNMI Data Centrum 14 december 2012 UNESCO - IHE 27 Februari 2013

23 23 23 KNMI Data Centrum 14 december 2012 UNESCO - IHE 27 Februari 2013 Bind

24 24 24 KNMI Data Centrum 14 december 2012 UNESCO - IHE 27 Februari 2013 Bind

25 Werkte combinatie Agile en OS Geo software? Yes! Geonetwork en ADAGUC goede voorbeelden van OS Geo software Agile == ok, hielp bij de scoping + new features Maar: Refactoring kost tijd Expectation management, KDC is 1.x version 25 Acceptance testing

26 Samenvattend Geonetwork en ADAGUC succesvol toegepast in KDC SCRUM method werkte, veel geleerd Nog veel meer om over te praten! H/W architecture Storage, caching Persistent URI s Development, test, acceptation and operational platforms and procedures Development & test tooling Components in detail 26