VERA. Best practice Bulk Data. Datum: Status: Definitief. Stichting VERA Veenendaal

Transcriptie

1 VERA Best practice Bulk Data Datum: Status: Definitief Stichting VERA Veenendaal

2 Inhoudsopgave 1 Inleiding Bulk Data Aanleiding Definitie Analyse Interactiepatronen Pull Push Push met broker(service bus) Vervolgstappen Uitwerking bericht Transport protocollen Best practice... 7 Versiebeheer Versie Datum Toelichting Eerste opzet Eerste concept voorstel Definitief Best practice Bulk Data 2

3 1 Inleiding Dit document geeft een algemene beschrijving wat bulk data is, een korte analyse van de huidige mogelijkheden binnen VERA en welke vervolgstappen de werkgroep gaat nemen om Bulk data beter te kunnen faciliteren en ondersteunen binnen de VERA-standaard. Best practice Bulk Data 3

4 2 Bulk Data 2.1 Aanleiding Het klassieke vragen om data uit externe bronnen voldoet steeds minder vaak aan de performance eisen die tegenwoordig gesteld worden aan applicaties. Een architectuur waar gegevens gepushed worden naar de applicatie die de gegevens nodig heeft is, een steeds vaker gekozen optie. VERA sluit hier momenteel niet ideaal op aan. De methode om BULK gegevens periodiek uit te wisselen tussen systemen is in de huidige vorm omslachtig en zorgt voor veel overhead. Een klantportaal voorzien van de nieuwste gegevens en het aanleveren van grote hoeveelheden van gegevens voor rapportages zijn hier goede voorbeelden van. 2.2 Definitie Wanneer spreekt men van bulk data: Term Definitie Bulk data Bulk data is een, relatief aan het systeem, grote hoeveelheid data dat ter kennisgeving of antwoord beschikbaar wordt gesteld. Onderstaand een aantal scenario s waar bulk data van toepassing zou kunnen zijn. Scenario s/toepassingen Datawarehouse en rapportage (Initiële) load/synchronisatie Lijsten opvragen Omschrijving Wanneer gegevens uit een datawarehouse gelezen of in een datawarehouse weggeschreven worden, is dit vrijwel altijd een grote set aan gegevens. Bijvoorbeeld gegevens van alle huurders in een eengezinswoning ophalen. Wanneer een grote set aan data eenmalig of periodiek gesynchroniseerd of ingeladen dient te worden, komt bulk data om de hoek kijken. Bijvoorbeeld alle contracten en huurders in een klantportaal inladen. Grote lijsten afkomstig uit zoekacties kan ook een vorm van bulk data zijn. Bijvoorbeeld een zoekvraag voor alle sociale huurwoningen in Amsterdam. 2.3 Analyse Het aanbieden van bulk data kan opgedeeld worden in twee methoden. Namelijk, het systeem dat de data bevat, biedt het aan of het systeem waar de data in geïmporteerd moet worden vraagt de data op. Het eerste scenario is met de huidige implementatie niet ideaal om te bewerkstelligen. Het importerende systeem dient nu, per losstaande entiteit, een SOAP bericht te verwerken, wat voor veel overhead zorgt. StUF ondersteunt bulkdata voor entiteiten in vraagantwoordberichten (Lv0x en La0x) en synchronisatieberichten (Sa0x en Sh0x). Kennisgevingsberichten (Lk0x) ondersteunen niet dat entiteiten in bulk doorgegeven kunnen worden. Best practice Bulk Data 4

5 Om verder in te gaan op het synchronisatie scenario: wanneer men bulk data van systeem A naar systeem B wil krijgen, wordt vaak gekozen om een export te maken van systeem A en dit in te lezen in systeem B. Dit is een vorm van kennisgeving die niet past binnen StUF. Om dit mogelijk te maken zou er een bulk operatie beschikbaar gemaakt moeten worden per entiteit die losstaat van StUF. Er zou dan bijvoorbeeld op basis van metadata en data een gegevens set gemaakt kunnen worden die verstuurd of ingelezen kan worden. 2.4 Interactiepatronen Pull Het standaard vraagantwoord bericht ondersteunt in de huidige implementatievorm bulk data. Het antwoord op een vraag kan een onbeperkt aantal objecten bevatten Push Wanneer het gaat om kennisgevingsberichten lopen we tegen beperkingen aan door het gebruik van StUF. StUF heeft geen kennisgevingberichttype gedefinieerd om bulk data uit te wisselen. De Sa0x en Sh0x berichten zijn niet geschikt, omdat zoals eerder beschreven is, dit type bericht enkel de historie van één record in bulk kan aanbieden Push met broker(service bus) Voor het ontvangende systeem is er geen verschil in dit interactiepatroon ten opzicht van push. Het zendende systeem daarentegen is in dit patroon niet verantwoordelijk voor het aggregeren van de data. De broker (service bus) zal deze taak op zich nemen. De broker ontvangt vanuit het zendende systeem een signaal bij een wijziging of pollt periodiek om nieuwe gegevens te verzamelen. De broker zend deze gegevens vervolgens ter kennisgeving naar het ontvangende systeem. Bij het verzenden van de data lopen we tegen dezelfde beperkingen zoals hierboven besproken bij push. 2.5 Vervolgstappen Uitwerking bericht Ons streven is om ook middels kennisgevingsberichten bulk data aan te kunnen bieden, omdat dit een in de praktijk vaak toegepast scenario is en we willen daar met VERA graag op aansluiten. Doordat StUF dit niet ondersteunt zal de uitwerking van deze berichten los van StUF staan. Er zal een nieuwe WSDL opgesteld worden genaamd vera0301_ontvangasynchroon_bulk.wsdl die voor elke entiteit een operatie zal bevatten om data aan kunnen leveren in bulk. De operaties bestaan uit entiteiten die losgekoppeld zullen zijn van StUF en hebben de postfix Bk01. Deze entiteiten zullen ook aan de XSD s toegevoegd worden. We maken bewust de keuze voor XML om consistent te blijven met de huidige uitwerking van VERA berichten en operaties. Onderstaand een voorbeeld van een bulkbericht. <ALGBLKLk01 xmlns=" <stuurgegevens> </stuurgegevens> <parameters> </parameters> <object entiteittype= ALGBLK > <doszak></doszak> <doszak></doszak> Best practice Bulk Data 5

6 <doszak></doszak> </object> </ALGBLKLk01> Best practice Bulk Data 6

7 2.5.2 Transport protocollen Soap, REST, FTP. Zolang dit voldoet aan de schema s is de gebruiker vrij in de keuze hierin Best practice Het zendende systeem is in staat bulk data aan te bieden middels een export of een webservice en is verantwoordelijk voor het aggregeren van deze data. Wanneer gekozen wordt voor een webservice zal de communicatie asynchroon verlopen. Het ontvangende systeem dient een bevestiging van ontvangst te sturen en de data te verwerken. Best practice Bulk Data 7