Grondwatermonitoringput (GMW) Rapportage ketentest

Transcriptie

1 Grondwatermonitoringput (GMW) Rapportage ketentest Tijdspad: 24 oktober 2016 t/m 15 februari 2017 Uitgevoerd door zeven consortia in samenwerking met TNO-GDN en het ministerie van Infrastructuur en Milieu Inleiding In de Basisregistratie Ondergrond (BRO) worden alle publieke relevante bodem- en ondergrondgegevens op een centrale database beheerd en beschikbaar gesteld. Via webservices kunnen externe partijen deze gegevens automatisch opvragen en/of aanleveren. In opdracht van het ministerie van Infrastructuur & Milieu is de Geologische Dienst Nederland, onderdeel van TNO, zowel ontwikkelaar als registratiebeheerder van de BRO en daarmee verantwoordelijk voor het operationele beheer. Het technische proces van de totstandkoming van de BRO ligt dus bij TNO en is een onderdeel van het bredere BRO-programma van ministerie van Infrastructuur en Milieu. In samenwerking met alle stakeholders wordt het BRO-systeem ontwikkeld. Dit gebeurt per gefaseerd gegevenstype. Om het gebruik van het BRO-systeem te borgen wordt per registratieobject met de stakeholders bepaald welke gegevens worden uitgewisseld en op welke wijze. Binnen dit traject zijn ook toetsmomenten om te beoordelen of dat wat is afgesproken ook uitvoerbaar is en aansluit op de processen van de betrokken stakeholders. Deze toetsmomenten worden in de vorm van pilots en ketentesten uitgevoerd. Uiteindelijk leidt dat tot de ontwikkeling van het BRO-systeem. Deze rapportage beschrijft het resultaat van de ketentest van het registratieobject Grondwatermonitoringput (hierna GMW ). Er wordt beschreven hoe de keten eruit ziet, wat getest is, door wie, wat de bevindingen zijn en tot slot worden aanbevelingen voor vervolgstappen gegeven.

2 Ketentest Vanuit technisch oogpunt richt de ketentest zich op de aansluiting op en het gebruik van de GMW webservices. De test is erop gericht om alle facetten te toetsen die te maken hebben met het genereren van de koppeling tussen een extern systeem en de BRO om zo gegevens te kunnen registreren, aan te vullen, te corrigeren en op te vragen. Het betreft het maken van software om met een webservice te communiceren, de beoordeling van de daarbij behorende documentatie en de beoordeling van de impact van de onderscheiden inname- en uitgifteprocessen op de huidige werkprocessen in de praktijk. Bij deze technische test komen uiteraard ook aspecten aan bod die gericht zijn op inhoud en proces; de resultaten van de ketentest worden daarom in deze rapportage zowel vanuit de totale context als per processtap samengevat. In deze ketentest is een aantal rollen vertegenwoordigd. Allereerst is er de formele rol van de bronhouder. Vervolgens zijn er twee systeemrollen: de dataleverancier en de data-afnemer die werken met de BRO. Dit kunnen verschillende organisaties zijn, maar het is ook mogelijk dat de bronhouder tegelijkertijd ook de dataleverancier en/of dataafnemer is. Binnen de bronhouder-organisatie zullen dat in dat geval vaak verschillende personen van verschillende afdelingen zijn. Consortia De deelnemende partijen aan de ketentest Grondwatermonitoringput zijn ondergebracht in zeven consortia, zie onderstaand overzicht. Elk consortium is gevormd rondom bestaande externe beheerssystemen en vormen op die manier in feite een eigen keten. Hydromonitor en GeolinQ waren gestart binnen één consortium, maar in een latere fase is GeolinQ zelfstandig verder gegaan met de ketentest rondom de uitgiftewebservice.

3 Doel van de ketentest De hoofdvraag van de test is of en met welke inspanning het de deelnemende partijen lukt om aan te sluiten op de BRO. Daarnaast is het doel de laatste fouten en onvolkomenheden van de inname- en uitgiftewebservice op te sporen en op te lossen. Om dat te bereiken hebben de consortia de opdracht gekregen om vanuit hun eigen software de inname- en uitgiftewebservice van de BRO aan te spreken en vervolgens putten te registreren en op te vragen. Nevendoelen waren het verkrijgen van inzicht in de impact op werkprocessen bij de betrokken partijen, het toetsen van de bruikbaarheid van de documentatie en informatievoorziening en het creëren van bewustzijn bij deelnemers over het functioneren en de inrichting van de keten. Opdracht Voor de ketentest GMW is een verdeling gemaakt met de uit te voeren testopdrachten. Hierdoor hoefden niet alle consortia alles te implementeren en te testen. Voor elk consortium lag bij de testopdracht de focus op een specifiek onderdeel (registratie, aanvulling, informatievraag of geleverde documentatie), zie onderstaande tabel. Na het uitvoeren van de testopdrachten, is gevraagd om antwoord te geven op vragen die betrekking hebben op: Toegang (aanmelden, rechten, PKItestcertificaat) Gegevensinhoud en innameverzoeken (inhoud van de documentatie) Uitgifteverzoeken (inhoud van de documentatie) Documentatie algemeen Ontwikkeling van de clientsoftware (techniek) Afhandeling van vragen/(self)servicedesk.

4 Uitgifte Start Registratie Aanvulling Beeindigen Opvragen RD-GMW-Maaiveldpositie Kenset obv zoekkenmerken FEWS RD-GMW-Inrichten RD-GMW-Verleggen RD-GMW-Opruimen Actuele gegevens obv BRO-ID RD-GMW-Oplengen** Geschiedenis obv BRO-id RD-GMW-Eigenaar Eijkelkamp Carefree RD-GMW-Inrichten RD-GMW-Inkorten RD-GMW-Opruimen Actuele gegevens obv BRO-ID RD-GMW-Oplengen** RD-GMW-Buisstatus Wareco Waterdata RD-GMW-Onderhouder RD-GMW-Opruimen Actuele gegevens obv BRO-ID RD-GMW-Inkorten DAWACO RD-GMW-Inrichten RD-GMW-Opruimen Actuele gegevens obv BRO-ID HydroMonitor RD-GMW-Inrichten RD-GMW-Elektrodestatus RD-GMW-Opruimen Actuele gegevens obv BRO-ID GeoLinQ Waterlabs AGEL Consortium Inname Alleen documentatie Kenset obv zoekkenmerken Actuele gegevens obv BRO-ID Geschiedenis obv BRO-id Kenset obv zoekkenmerken Actuele gegevens obv BRO-ID Geschiedenis obv BRO-id Synopsis bevindingen Als gekeken wordt naar het geheel van de keten, dan lag tijdens de ketentest het accent met name op de interactie van de BRO met dataleveranciers en data-afnemers. De interactie tussen data-afnemer en bronhouder (eventuele terugmelding en registratiebevestiging) plus de interactie tussen bronhouder en dataleverancier (met name gericht op rollen en rechten) zijn minder aan bod gekomen in de ketentest. Zie onderstaande afbeelding. Op basis van de bevindingen van de consortia kan overall geconcludeerd worden dat het wat van de BRO begrepen en gewaardeerd wordt. De gegevensinhoud is duidelijk en de techniek van de webservices is begrijpelijk en werkt. Het hoe is echter nog niet optimaal. Verder bleek de doorlooptijd van vier maanden voor de ketentest te kort te zijn voor het uitvoeren van alle werkpakketen; implementatie van de techniek is

5 tijdsintensief. Er is echter substantiële tijdwinst te boeken door een aantal bevindingen uit de ketentest door te voeren (zie onder). Tot slot zijn de consortia tevreden over de vraagafhandeling via de Servicedesk. De bevindingen van de consortia richten zich op het beter uitleggen, inbedden en inrichten van de rollen en rechten bij het regelen van de toegang tot de BRO. Daarnaast zijn suggesties ter verbetering: meer voorbeeldberichten, goed werkende en minder complexe voorbeeldclients en doorzoekbare online documentatie. Het opleveren van alle functionaliteiten bij de start wordt ook genoemd; voor deze ketentest was dat echter niet mogelijk. Tot slot is een suggestie dat Live FAQ s de Selfservicedesk nog beter zou maken. Bevindingen per processtap Hier wordt ingegaan op de bevindingen van de consortia per processtap: wat ging goed (groen), wat kan beter (oranje) en wat was niet goed of was buiten scope van de ketentest voor GMW (rood). Verantwoordelijkheid m.b.t. rechten en toegang De benodigde rollen zijn aangevraagd en toegekend. Informatie en uitleg van specifieke rollen en rechten voor bronhouders, dataleveranciers en data-afnemers is onduidelijk. De rationale en logica zijn niet transparant. De afhandeling in de Servicedeskomgeving bevat veel stappen en het is niet inzichtelijk waar je als aanvrager in het proces zit; stappen zijn visueel niet inzichtelijk. PKIoverheid testcertificaat is niet geïmplementeerd want het verkrijgen ervan is tijdrovend. De beschrijving van het proces van verkrijgen kan op details verbeterd. Het leverantierecht (dataleverancier levert aan namens bronhouder) was niet ingeregeld tijdens de ketentest, dit aspect is dus onderbelicht gebleven. Het toekennen van de rollen eigenaren en onderhoudende instanties van een grondwatermonitoringput aan organisaties via de Selfservice desk was niet ingeregeld. Dit aspect is dus onderbelicht gebleven. Inname van gegevens De technische gegevensinhoud is op enkele punten na goed. Aanvulverzoeken worden herkend in het werkproces, en zijn goed implementeerbaar in de software. De techniek van de webservices wordt begrepen en is uitvoerbaar.

6 Wat betreft de administratieve gegevensinhoud leveren de verschillende ID s van GMW nog verwarring op, een betere toelichting kan dit oplossen; daarnaast zorgt het ontbreken van een registratieproces van eigenaar en onderhoudende instantie voor onduidelijkheid De documentatie is compleet, maar de vorm en structuur is niet altijd even werkbaar voor de consortia. Er zijn voorbeeldberichten, maar uitbreiding ervan naar alle inname en uitgifteverzoeken is voor softwareontwikkelaars gewenst. De koppelvlakbeschrijvingen zien zij als toelichting. De afhandeling van correcties is niet afdoende; Men heeft behoefte om de status van een correctieverzoek op te kunnen vragen waarbij bijvoorbeeld wordt aangegeven dat een correctie pending is. Correcties zijn vanwege late beschikbaarheid ervan beperkt getest (alleen start en 2 van de 10 aanvullingen). De type correcties verwijderen en verplaatsen waren sowieso buiten scope. Van de aanvulverzoeken zijn 3 van de 10 niet getest omdat ze niet beschikbaar waren. Gevonden bugs zijn doorgezet naar het ontwikkelteam. Uitgifte van gegevens Ook bij de uitgiftekant wordt de techniek van de webservices begrepen en is het uitvoerbaar. Ter overweging ook hier: is SOAP het juiste protocol? De uitgifte van actuele putgegevens en geschiedenis vindt men waardevol. De zoekkenmerken vindt men compleet. Ook wat betreft de uitgifte wordt aangegeven dat de documentatie compleet is, maar de vorm en structuur is niet altijd even werkbaar voor de consortia. Consortia geven bij de bevindingen een paar verzoeken: andere uitgifteprotocollen (WFS, WMS en REST) en de mogelijkheid van het harvesten van alle data. Consortia vragen zich af waarom een PKIoverheid certificaat noodzakelijk is bij de uitgiftewebservice. Niet alle zoekcombinaties lijken te werken (bug); deze is doorgezet naar het ontwikkelteam. Het zoeken op kenmerken is niet goed getest. De reden is dat de testset te beperkt is en te laat was opgeleverd.

7 Registratiebevestiging en terugmelding Uiteindelijk moet de bronhouder geïnformeerd worden als een registratie/correctie/aanvulling is gedaan op de data van de bronhouder. Dit is niet getest in het bestaande systeem van de bronhouder. Dienstverlening die daarvoor beschikbaar is (Push-berichten van Digi-levering-Logius) is buiten scope van de ketentest. Buiten scope van de ketentest is ook de terugmelding over fouten in zijn geregistreerde data in de BRO. De benodigde functionaliteit voor dit proces is nog niet beschikbaar. Bevindingen techniek, inhoud en proces Op de volgende pagina s staan alle bevindingen meer op detailniveau ingedeeld naar inhoud, techniek en proces. Legenda afkortingen: RO = Registratieobject GMW = Grondwatermonitoringput GMN = grondwatermonitoringnet

8 (Gegevens)inhoud/inname- en uitgifteverzoeken Bevinding Type Kwadrant Aanbeveling opvolging Gegevensinhoud -Catalogus Aangemelde tekstuele en gegevensdefinitie fouten in Onvolkomenheid Inname Worden opgelost voor in productiename catalogus Attribuut beschermconstructie toevoegen Wens Inname Nader te besluiten, issue optioneel veld Attribuut OLGA nr toevoegen Wens Inname Nader te besluiten, issue optioneel veld Betekenisvolle ID laten voortbestaan: opvolger van NITG nr Wens Inname Nader te besluiten Attribuut Watervoerend pakket toevoegen Wens Inname Uitleg: Uit RO Model REGIS II af te leiden Attribuut zoet/brak/zout aanduiding toevoegen Wens Inname Uitleg: Hoort bij meetpunt van RO GMN Attribuut KRW grondwaterlichaam, bodemtype, landgebruik Wens Inname Uitleg: Hoort bij meetpunt van RO GMN aanduiding toevoegen Attribuut opmerkingen veld toevoegen Wens Inname Nader te besluiten, issue optioneel veld Verticale pos. verschuiving en -referentievlak zijn overbodig want vaste waarde; weglaten Wens Inname Uitleg : niet gehonoreerd, want opname van deze attributen is consistent met andere RO s Plaatje van het vereenvoudigde systeem toevoegen Wens Inname Nadere vraag staat uit Betere toelichting op de verschillende ID s van een GMW Wens Inname Wordt opgelost voor in productiename Mogelijk is niet bij alle partijen het verschil IMBRO/A en Constatering Inname Gebruikersacceptatietest (GAT) IMBRO bewust meegenomen in de ketentest Koppeling met BGT en BAG voor signalering van mutaties Wens Inname Uitleg: nu geen prioriteit, op wensenlijst voor toekomst Veel detail in gegevensinhoud (bijv. lijm) en niet Constatering Inname Uitleg: standaardisatie in expertgroep proces gestandaardiseerde inhoud van domeinlijsten (bijvoorbeeld kwaliteitsnorm inrichting) Inname/uitgifteverzoeken Toetsen op dubbele registratie van een put Wens Inname Niet gehonoreerd - zie antwoord in tussenevaluatievragen Overige vragen - 4 Correcties zijn nog niet goed beschreven in Innamehandboek Constatering Inname Wordt opgelost voor in productiename en koppelvlak beschrijving Verschillende innameverzoeken in een schema uitleggen in Koppelvlakbeschrijving Wens Inname Wordt opgelost voor in productiename

9 Missend zoekkenmerk: opvragen kenset van mutaties vanaf bepaalde datum Uitgifte op kenmerken is niet goed getest vanwege te kleine test-set en te late oplevering van de test-set De meerwaarde van uitgifte actuele situatie (DP)wordt betwijfeld (want actueel zit ook in uitgifte volledige geschiedenis (DPP)) Uitgifte van nullevering + mutaties zoals bij andere Basisregistraties Uitgifte vorm harvesten van grote data verzameling faciliteren Ondersteuning van REST, WFS en WMS uitgifte protocollen Wens Uitgifte Nader te besluiten Constatering Uitgifte GAT- met substantiële conversie DINO Constatering Uitgifte Nader te besluiten : DP weglaten? Architectuur wens Architectuur wens Architectuur wens Uitgifte Uitgifte Uitgifte Nader te besluiten Nader te besluiten Nader te besluiten Techniek/architectuur Bevinding Type Kwadrant Aanbeveling opvolging Aangemelde bugs: aanvulling- of uitgifteverzoek werkt niet Onvolkomenheid Inname en uitgifte Zijn onderhanden goed Een aantal (3) aanvulverzoeken zijn niet getest want deze Onvolkomen test Inname Gebruikersacceptatietest (GAT) waren niet beschikbaar Corrigeren proces is onvoldoende extern getest: Onvolkomen test Inname Gebruikersacceptatietest (GAT) functionaliteit en proces RBA was niet beschikbaar/ingeregeld Niet alle beschikbare correcties zijn getest; te weinig tijd Onvolkomen test Inname Gebruikersacceptatietest (GAT) Correcties van 8 aanvulverzoeken zijn niet opgeleverd en Onvolkomen Inname Gebruikersacceptatietest (GAT) zijn dus niet getest oplevering en test Toepassen PKI testcertificaat is niet getest Constatering Inname en uitgifte Gebruikersacceptatietest (GAT) Statusupdate van aangeboden correctie kunnen opvragen Wens Inname Nader te besluiten via webservice XSD s Nederlandstalig maken Wens Inname en uitgifte Nader te besluiten Verschillende innameverzoeken samenvoegen Wens Inname Wordt opgelost voor in productiename

10 Van alle inname- en uitgifteverzoeken voorbeeldberichten maken en opleveren SoapUI beter uitleggen in handleiding voor het kunnen omgaan met voorbeeldberichten De techniek van voorbeeldclient en de toelichting daarvan vereenvoudigen (want te complex) De namespaces binnen een attribuut van een element en van het element hetzelfde maken Generieke open oplossingen open source beschikbaar stellen? Want is efficiënter dan dat iedereen eigen software maakt Wens Inname en uitgifte Wordt opgelost voor in productiename Wens Inname en uitgifte Wordt opgelost voor in productiename Wens Inname en Uitgifte Wordt opgelost voor in productiename Wens Inname en uitgifte Nader te besluiten Wens Inname en uitgifte Nader te besluiten Proces Bevinding Type Kwadrant Aanbeveling opvolging Documentatie Documentatie optimaliseren naar de verschillende gebruikers en online doorzoekbaar maken Wens Inname en uitgifte Wordt opgelost voor in productiename Voor softwareontwikkelaars is tooling als Swagger (online Wens Inname en uitgifte Nader te besluiten beschrijving van webservice functionaliteit) een goede toevoeging Catalogus NL-Koppelvlak Engels met vertaaltabel werkt niet Wens Inname Nader te besluiten efficiënt: alles Engels of alles Nederlands Domeintabellen digitaal beschikbaar en/of opnemen in de Wens Inname Nader te besluiten XSD s Toevoegen van beschrijving van elementen en typen in XSD Wens Inname en uitgifte Nader te besluiten BROinfo.nl en Selfservicedesk Rolverdeling en (juridische) verantwoordelijkheid bronhouder/dataleverancier/data-afnemer beter uitleggen Wens Rollen, rechten en toegang Wordt opgelost voor in productiename Stappenplan voor registratieproces maken Wens Rollen, rechten en toegang Nader te besluiten Profiel en overzicht rollen en rechten op Selfservicedesk Wens Rollen, rechten en toegang Nader te besluiten

11 Status van rechten op kunnen vragen via webservice Wens - Rollen, rechten en toegang Nader te besluiten architectuur Overzicht van bij Selfservicedesk gestelde en beantwoorde vragen als Live FAQ s publiceren Wens Alles Wordt opgelost voor in productiename Proces registratie van en inzicht bieden op status Eigenaar en Onderhoudende instantie ontbreekt Omissie Rollen, rechten en toegang Wordt opgelost voor in productiename Subusers toevoegen aan Selfservicedesk account Wens Rollen, rechten en toegang Wordt opgelost voor in productiename PKI Verkrijgen van PKI testcertificaat kost veel doorlooptijd Constatering Inname en uitgifte Geen Waarom PKIcertificaat nodig bij uitgiftewebservice, Basis Wens Uitgifte Nader te besluiten Authenticatie is simpeler; is dit niet strijdig met het open data principe? Waarom is een PKI testcertificaat nodig in een ketentest en Wens Inname en uitgifte Nader te besluiten niet volwaardig certificaat? De Keten niet geheel getest Bronhouders anticiperen nog in geringe mate op de komst Constatering Alles IenM van de BRO en daarmee gepaard gaande verantwoordelijkheden en veranderingen in interne organisatie Bronhouders zijn en worden nog weinig betrokken in Constatering Rollen, rechten en toegang, Nader te besluiten, deels IenM proces: geen bericht van registratie/aanvulling/correctie naar bronhouders Leverantierecht is gesimuleerd, niet actief ingeregeld, proces ontbreekt registratiebevestiging en terugmelden Terugmelden van fouten in BRO was buiten scope van de Constatering Registratiebevestiging Nader te besluiten, deels IenM ketentest en terugmelden Registratie van eigenaren en onderhoudende instanties in de Omissie Rollen, rechten en toegang Nader te besluiten BRO is niet ingeregeld Transitie Transitie van het grondwaterdomein naar de BRO is een complex en omvangrijk traject voor dataleveranciers en bronhouders (aanpassingen aan systeemcomponenten, dataconversie, synchronisatie-issues, opleiding) Constatering Alles Transitieproject

12 Behoefte aan begeleiding voor ontwikkeling en implementatietrajecten, meer dan helpdeskondersteuning Wens Alles Transitieproject

13 Aanbevelingen De keten zoals deze hierboven beschreven is kan nog niet gesloten worden. Er ontbreken nog een aantal componenten, al dan niet binnen scope, denk aan terugmeldingen en notificatie van correcties. De consortia (bronhouder, dataleverancier en softwareleverancier) begrijpen de documentatie en kunnen technisch aansluiten. De geleverde documentatie moet beter doorzoekbaar worden. Daarnaast is betere afstemming op het gebruik van Nederlands- en Engelstalige termen nodig. Voor de in productie name moeten de volgende items worden meegenomen: Bugs moeten worden opgelost Wat nog niet werkt moet werken (alle aanvullingen en correcties) Meer voorbeeldberichten voor ontwikkelaars Het aanvragen van alle rollen, rechten inclusief leverantierechten moet overzichtelijk en stapsgewijs worden ondersteund. Duidelijke uitleg over het proces moet hierbij gaan helpen. Geautomatiseerde bevraging aan het register over verkregen rechten is een goede toevoeging op dit registratie proces. Geautomatiseerde statusverzoeken op aangeboden correcties kunnen bijdragen in de stroomlijning van de aanlevering. Het benodigde PKIcertificaat kon door een aantal partijen worden gevonden maar dit vraagt een lange doorlooptijd. Deze lange doorlooptijd heeft softwareontwikkelaar gedwongen vooralsnog basic-authenticatie te gebruiken. De aanbeveling is om het certificaatgebruik te vereenvoudigen: 1. De gekozen aanpak voor inname en uitgifte beide met certificaat los te laten en alleen de inname te voorzien van een certificaat. 2. Het huidige gebruik van test- en productiecertificaten terug te brengen tot 1 certificaat. Nu kan slecht 1 certificaatleverancier het benodigde testcertificaat leveren dit dwingt aansluitende partijen tot het aangaan van een nieuw contract terwijl er al een contract kan zijn met een andere certificaatleverancier. Bestuursorganen moeten de rol bronhouder nog concreter gaan invullen. Hoe gaan zij bijvoorbeeld om met de wettelijke verantwoordelijkheid voor de kwaliteit van hun gegevens. Goede voorlichting hierover kan hierbij helpen. Alle bevindingen en bijbehorende aanbevelingen worden na afloop van deze ketentest aangeboden aan het BRO programmabureau van IenM en het BRO programma management van TNO. De besluitvorming zal aldaar plaats vinden. Hiermee is de ketentest webservice van het registratieobject Grondwatermonitoringput afgerond. TNO en IenM bedanken alle partijen voor de betrokkenheid en de geleverde inspanning.

14 Referentielijst Onderstaande documenten zijn te vinden op BROinfo.nl bij DOCUMENTEN/Documenten grondwatermonitoringput Presentatie Kick-off bijeenkomst (19 oktober 2016) Antwoorden op gesteld vragen tijdens de Kick-off bijeenkomst (19 oktober 2016) Opdrachtomschrijving (18 december 2016) Presentatie tussenevaluatie (TNO/IenM 18 januari 2017) Vragen en antwoorden behandeld in de tussenevaluatie (18 januari 2017) Ingevulde vragenlijsten consortia (10 februari 2017) Presentaties door consortia eindevaluatie (15 februari 2017) Presentatie eindevaluatie (TNO/IenM 15 februari 2017) Eindrapportage inclusief bevindingenlijst, dit document (3 maart 2017)