Uploadservice Atlas Leefomgeving

Transcriptie

1 Geodan Holding b.v. President Kennedylaan MB Amsterdam (NL) Tel. +31 (0) Fax +31 (0) [email protected] Website handleiding Uploadservice Atlas Leefomgeving In opdracht van: Ministerie van Infrastructuur en Milieu Datum 22 januari 2014 Versie 1.2 Status Extern document

2 Inhoudsopgave 1 Inleiding Gebruik van de service Userinterface Verwerking data Klassificatietypen Kleurpalette Uploadservice Verwerkingsproces Ontvangst bestand Verwerking excelbestanden Verwerking shapefiles Interne dataset Geoserver Rapportage... 9

3 1 Inleiding Met de uploadservice van de Atlas Leefomgeving (hierna: Atlas) kun je een dataset uploaden naar de Atlas. Nadat je het bestand naar de Atlasserver hebt verstuurd, verwerkt de service de dataset tot een kaart die bereikbaar is als laag in de Web Map Service (WMS) van de Atlas. Je moet de datasets als een enkel los bestand uploaden. Dit kan in de vorm van een MS Excelbestand of één shapefile die is ingepakt als zip-bestand. De service voorziet standaard in zes klassificatiemethoden en zes kleurpaletten. Omdat het verwerken van de dataset enige tijd kan duren, voert de server het proces deels asynchroon uit. Dit betekent dat je een bericht krijgt nadat je het bestand hebt geüploaded dat de upload is gelukt en dat de uploadservice je verder via op de hoogte houdt over de verwerking van de dataset. Je hoeft dan niet te blijven wachten tot alles is verwerkt en je kunt verder met andere activiteiten.

4 2 Gebruik van de service 2.1 Userinterface Startpunt is dat je bent ingelogd in de Atlas en dat je de juiste rechten hebt om bestanden te uploaden. Om een bestand te uploaden moet je via de Uploadservice-tab in het hoofdmenu het uploadformulier openen. Klik vervolgens op de actie-link Upload een dataset. Dan zie je het volgende formulier: De service accepteert twee soorten bestanden voor upload: 1. Gezipte shapefiles 2. MS Excelbestanden (.xls of.xlsx) De selectie van welk type bestand wordt ge-upload, is te kiezen met de radiobuttons voor Bestandstype. Daarna wordt met de knop Bestand kiezen het datasetbestand op het bestandssysteem geselecteerd. Het selecteren van een bestand zal niet automatisch tot het selecteren van de juiste radiobutton voor Bestandstype leiden. Deze selectie moet handmatig gebeuren. Bij Excelbestanden is het aan te raden voor upload eerst het spreadsheet te contoleren. Bij een xls/xlsx bestand bepaalt de eerste rij in het spreadsheet de naam van de kolommen. Deze kopnamen ( = headers) mogen alleen letters, cijfers en het teken _ bevatten. De naam in de kop van de kolom mag niet leeg, numeriek of boolean zijn, maar moet gewoon tekstformaat hebben. De naam mag ook geen spaties bevatten of met een spatie eindigen. Zie ook de beschrijving van de interne werking van de service voor meer informatie over de verwachte opzet binnen het spreadsheet. Naast het selecteren van het bestand is het mogelijk om de verwerking tot WMS te sturen. Daarvoor is een aantal aanvullende informatievelden beschikbaar: Titel De service gebruikt de Titel om de dataset in de Atlas kaartserver een naam te geven. Let op: dit is niet de naam waarmee de kaartlaag in de Atlas zal verschijnen.

5 Naam waardekolom In het veld Naam waardekolom wordt de exacte naam van de te gebruiken waarden voor de kaart. In de excelsheet gaat het om een kolom, in de shapefile om de attribuuttabel. Kleurpalette Met het veld Naam kleurpalette is het mogelijk een kleurpalette te selecteren, dat bij de verwerking tot kaart gebruikt moet worden. Zie onderstaande toelichting voor meer informatie hierover. Klassificatietype Met het veld Naam klassificatietype is het mogelijk de te gebruiken klassificatiemethode te selecteren, die bij de verwerking tot kaart gebruikt moet worden. Zie onderstaande toelichting voor meer informatie hierover. Upload Wanneer je alles hebt ingevuld klik je op de Upload-knop. 2.2 Verwerking data Als het bestand goed aankomt op de server, zal de service hier onderstaande feedback over geven: Omdat de verwerking van het bestand asynchroon plaatsvindt zal er pas meer informatie beschikbaar zijn op een later stadium in het proces. Deze informatie wordt via aangeboden. Wanneer het bestand is verwerkt zal in deze de status van de verwerking worden gemeld. Wanneer er fouten zijn opgetreden worden deze opgesomd, wanneer de verwerking goed is gegaan wordt een URL naar de kaart en de legenda opgestuurd. De URL s kunnen gebruikt worden bij het aanmaken van een kaartlaag binnen de Atlas. Voor de stappen in dit laatste proces wordt verwezen naar de beheerhandleiding van de Atlas Leefomgeving. 2.3 Klassificatietypen Voor de klassificatie van de upload-gegevens zijn onderstaande klassificatie methoden beschikbaar. Voor meer informatie over klassificatie methoden wordt naar andere bronnen verwezen (bv. of Bij het gebruik van de service wordt kennis van klassificatie methoden verondersteld.

6 EqualInterval Klassificatie waarbij iedere groep eenzelfde grootte heeft. Jenks Klassificatie volgens het Jenks Natural Breaks principe. Deze methode zoekt een minimale variatie in waarden binnen een groep en maximale variatie tussen groepen. Quantile Klassificatie waarbij iedere groep eenzelfde aantal items bevat. StandardDeviation Klassificatie volgens de methode van standaard deviatie. UniqueInterval Variatie op de EqualInterval method waarbij extra rekening wordt gehouden met unieke warden. DefinedInterval Klassificatie methode waarbij de gebruiker zelf kan instellen: - Het aantal klassen - De grootte van iedere klasse - De startwaarde van de eerste klasse Bij deze methode is grondige kennis van de dataset vereist 2.4 Kleurpalette Bij de verwerking van de dataset tot wms kan gebruik worden gemaakt van de onderstaande kleurpaletten: Set1 Set3 Paired Pastel1 PuBu YlOrRd

7 3 Uploadservice 3.1 Verwerkingsproces De interne verwerking van datasets in de uploadservice bestaat uit een aantal stappen. De dataset wordt verwerkt met behulp van een enterprise service bus * (hierna: bus). Fouten die tijdens het proces optreden worden verzameld en via een gerapporteerd aan de gebruiker. De dataset die een gebruiker upload wordt uiteindelijk verwerkt tot een kaartlaag in Geoserver binnen de Atlas Leefomgeving. In de huidige release is het bijwerken of verwijderen van kaarten nog niet via een gebruikersinterface mogelijk. 3.2 Ontvangst bestand De bus ontvangt het bestand van de uploadportlet. Eerst wordt een aantal basiscontroles uitgevoerd op het bestand. Er wordt gecontroleerd of het bestand met de opgegeven bestandsnaam goed is aangekomen op de server. Vervolgens wordt gecontroleerd of de bestandsextensie correct is (xls, xlsx of zip). Afhankelijk van de bestandsextensie die is gekozen in het uploadformulier, gaat de server verder met de stappen voor een excelwerkboek óf een shapefile. 3.3 Verwerking excelbestanden De verwerking van een excel bestand verloopt op onderstaande wijze: o Er vindt een controle plaats of het bestand precies één kolom bevat, waarmee de bus de geocodering uit kan voeren. De bus herkent kolommen met de volgende namen: Kolomnaam Voorbeeld Beschrijving bag_id Service: geoserver.nl postcode_adres 1079MB 1 Service: geoserver.nl wk_code WK Service: NGR buurt_code BU Service: NGR rd In één kolom gescheiden door spatie of ; of : of,. Voor decimalen in de getallen moet je punten gebruiken. Service: NGR geojson {\"type\":\"point\",\"coordin ates\":[5.038, ]} In WGS84; voor decimalen in de getallen moet je punten gebruiken. gml <gml:point><gml:coordinates>5 in WGS , </gml:coordinates ></gml:point> latlon In één kolom gescheiden door spatie of ; of : of,. Voor decimalen in de getallen moet je punten gebruiken gm_code 0344 Service: NGR gm_naam UTRECHT Service: NGR prv_naam UTRECHT Service: NGR wkt POINT ( ) In WGS84; voor decimalen in de getallen moet je punten gebruiken * Een Enterprise Service Bus is een systeem dat via berichten asynchroon requests afhandelt. In deze bus kunnen transformaties, routes en logica worden ingebouwd, die zorgen dat de bus een bericht op de juiste manier adresseert en verwerkt. De bus voor de atlas-uploadservice is gebouwd met Spring-Integration, een extensie van het Spring-framework. De bus is met xml en annotaties te configureren en is in de toekomst uit te breiden met dataformaten en verwerkingsprocessen.

8 Geocodering vindt (indien nodig) plaats via geoserver.nl ( of het NGR (Nationaal GeoRegister Komen er toch meer dan één kolommen met deze kolomnamen voor in het excelbestand, dan gebruikt de bus de eerste van deze kolommen (van links naar rechts lezend) voor de geocodering. Is er géén kolom met een van deze kolomnamen, dan volgt een foutmelding; o De bus leest het bestand in. Treedt hierbij toch nog een fout op, dan wordt dit gemeld. Na het succesvol inlezen maakt de bus een dataset van het bestand; o De bus verwerkt alle objecten (rijen) uit de dataset stuk voor stuk. Daarbij wordt ieder obeject gegeocodeerd. Wanneer er tijdens dit proces fouten optreden wordt dit gemeld; o De kolommen in de excelsheet die geen geometrie bevatten worden in de dataset opgenomen als data (attributen); o De bus verzamelt de gegeocodeerde objecten in een interne dataset. Deze dataset wordt gebruikt bij verdere verwerking (zie toelichting verderop in deze handleiding); 3.4 Verwerking shapefiles De verwerking van een excel bestand verloopt op onderstaande wijze: o De bus probeert het zip-bestand uit te pakken. Lukt dit niet, dan wordt dit gemeld; o De bus controleert of het uitgepakte zip-bestand een geldige shapefile * bevat. Zijn er meerdere shapefiles aanwezig in de zip, dan gebruikt de bus alleen de eerste shapefile die hij tegenkomt. Is er géén shapefile aanwezig in het uitgepakte zip-bestand, dan wordt dit gemeld; o De bus leest de shapefile in en maakt er een interne dataset van. Deze dataset wordt gebruikt bij verdere verwerking (zie toelichting verderop in deze handleiding); 3.5 Interne dataset Tijdens het proces van de verwerking van zowel excel- als shapebestanden wordt door de bus een interne dataset aangemaakt. De verwerking van deze interne dataset verloopt op onderstaande wijze: o De bus slaat de dataset (inclusief metadata) op in de Atlas Upload Database; o De bus maakt een view aan in de Atlas Upload Database. Deze view wordt door Geoserver gebruikt voor het aanmaken van een wms; 3.6 Geoserver De uiteindelijke kaart wordt door Geoserver gemaakt vanuit de dataset in de Atlas Upload Database. Voor nadere toelichting over de werking van Geoserver wordt verwezen naar o De bus maakt een sld-bestand aan en zet dit via de Geoserver REST-API in een nieuwe * Een shapefile bestaat tenminste uit een hoofdbestand (.shp), een indexbestand (.shx) en een dbase-tabel (.dbf). Het hoofdbestand is een bestand dat records bevat met in ieder record een geometrie in de vorm van lijst van vertices. Het index-bestand maakt zoeken en selecteren in de attributen sneller. De dbase-tabel bevat de attribuutwaarden van de geometrieën. Hier kunnen soms nog meer bestanden bijkomen, zoals een projectiebestand (.prj) of een ruimtelijk indexbestand (.qix,.sbn of.sbx). Deze zijn echter niet verplicht. Sld betekent styled layer descriptor. Sld is een xml-formaat waarmee je de weergave van kaartlagen specificeert. Je kunt het gebruiken voor raster- en vectorkaarten en het bepaalt kleuren, labels, fonts, legendadefinities en andere informatie. De sld zorgt voor de opmaak van kaartlagen.

9 Geoserver-stijl. De bus gebruikt hierbij de waarden uit de ingevoerde waardekolom. Als de waardekolom niet bestaat wordt dit gemeld als fout; o De bus maakt een featuretype en bijbehorende layer aan. De bus koppelt de aangemaakte stijl aan de nieuwe layer, zodat deze een standaardopmaak krijgt; 3.7 Rapportage Een gebruiker krijgt via een verslag van de verwerking van de data en de daarbij eventueel opgetreden fouten. o De bus maakt een bericht aan waarin staat dat de verwerking klaar is en via welke url de kaart en de legenda bereikbaar zijn; o De bus levert een template metadata-bestand conform de OGC standaard voor metadata. Het bestand wordt als attachement aan het bericht toegevoegd. Met behulp van dit XML bestand kan de gebruiker zijn kaart toe te voegen aan de Atlas Leefomgeving. Waar mogelijk zijn de benodigde velden automatisch ingevuld. De gebruiker zal zelf de overige verplichte velden moeten aanvullen; o De bus verstuurt de naar het adres dat hoort bij het profiel van de ingelogde gebruiker;