Van procesgedreven naar datacentrisch

Transcriptie

1 Van procesgedreven naar datacentrisch Themasessie NORA Gebruikersdag Paul Grooten 29 mei 2018 v1.0

2 Agenda Mag ik even voorstellen Het CBS als Data knooppunt Van proces gedreven naar data centrisch Het CBS DataMeer Aanbevelingen

3 Mag ik even voorstellen 3

4 Centraal Bureau voor de Statistiek Zelfstandig Bestuursorgaan (ZBO) The Hague Heerlen Bonaire Opgericht in 1899 (5 fte, 2 kamers), nu 3 vestigingen Statistisch proces 180 meur Officiële Statistieken Economisch - Sociaal - Volkstelling Nationaal en Regionaal Data Verzamelen Data Verwerken Publiceren 4

5 Missie 5

6 CBS in cijfers * tabellen in StatLine (online database) 800 nieuwsberichten keer als bron in nieuwsmedia Ruim 10 miljoen keer is CBS.nl bezocht volgers op Twitter bevragingen Open Data * Status eind

7 Fenomeengerichte benadering 7

8 Verspreiding informatie via diverse kanalen 8

9 Diverse vormen van Output Corporate nieuws Nieuws berichten StatLine Filmpjes Open Data Lesmateriaal Visualisaties Publicaties Tweets Microdata Maatwerk 9

10 Gegevensbescherming als top prioriteit Privacy altijd gewaarborgd (in de wet vastgelegd) Geheimhoudingsplicht voor alle medewerkers De CBS wet garandeert dat gegevens alleen voor statistische doeleinden worden gebruikt Geen enkele instelling kan toegang opeisen tot de gegevens die het CBS verzamelt 10

11 Het CBS als Data knooppunt 11

12 Data gebruik 12

13 CBS als Data knooppunt Databronnen Gebruikers Politie GGD Ministeries, Planbureaus en DNB Universiteiten UWV KvK Kadaster Politiek Decentrale overheid BRP Bedrijfsleven Burger Bedrijven Onderwijs Belastingdienst Gezondheidszorg Onderwijs samenwerking Burger Media Internationaal 13

14 Samenwerken 14

15 Samenhang en complexiteit Economy Governance Telecommunications Education Health Transportation Energy Recreation Urban Planning Environment Safety Wastewater Finance Fire & Emergency Response Shelter Solid Waste Water & Sanitation Sustainable Development Goals 15

16 Uitdagingen Vraag naar: Meer, samenhangende, actuele, maatwerk, doe het zelf, doe het samen statistische informatie Realiteit: Moeilijkheden bij het verkrijgen van statistische informatie Toegenomen beschikbaarheid én gebruik van administratieve bronnen Toenemende complexiteit 16

17 Van proces gedreven naar data centrisch 17

18 Hoe om te gaan met de grote vraag? 18

19 Anders kijken naar Data! 19

20 Van Procesgedreven 20

21 naar Datacentrisch Afnemers / Onderzoekers Zelfstandig gebruiken Afnemers Hergebruiken / Combineren Artikelen/Visualisaties Berichtgevers Respondenten Datameer Publiceren Registraties Microdata Stat. data Streaming data Slimme / flexibele processen Ophalen Afnemers Exploreren 21

22 Dat betekent Afscheid nemen van beperkingen huidige methoden en technieken Nieuwe Architectuur Eindgebruiker ondersteunen en zelfstandig informatie laten vinden (self-service) Inzet nieuwe ontwikkelingen op gebied van: Datavirtualisatie Metadata Beveiliging en Autorisatie 22

23 Focus op vinden 23

24 Nieuwe blik op proces georiënteerde BA Policy, budget, descriptions of external registrations Design Design statistical knowledge rules Design structure processes Design raw materials, semifinished products Design final products Determine statistical information needs Process metadata: statistical knowledge rules Process metadata: workflow & proces quality Conceptual metadata & product quality Plan, check, act Conceptual metadata & product quality User of statistics Chain management Plan, schedule Quality indicators Measured quality indicators, reports Realised metadata Supplier of registrations, Respondent Drawing samples, etc Data collection Imputation, editing, etc Estimation, statistical Integration, etc Disclosure Control, etc Publishing Statistics Production Inputbase Microbase Statbase Outputbase 24

25 Maar ook de vraag naar flexibiliteit verlangt een andere architectuur CBS zal in toekomst zowel mode 1 als ook mode 2 ondersteunen 25

26 Een beetje zoals One Stop Shopping Web Web Web Web Afspraken All you need and more Regels Zoek / Vergelijk 26

27 Een Data Shop One Stop Shopping UDC PDC DDC Web Web Web Web Afspraken All you need and more Regels Zoek / Vergelijk UDC PDC EZ UDC=Urban Data Center PDC = Provionciaal Data Center DDC=Departemental Data Center 27

28 Het CBS DataMeer 28

29 De data centraal in het CBS DataMeer Het toegankelijk maken van statistische data voor statistici - Meer data - Makkelijker te vinden - Makkelijker te begrijpen - Makkelijker te verkrijgen Twee troeven - Data virtualisatie - Metadata-model 29

30 De kern van het CBS DataMeer DPT Dashboard Intra Visual Mobile Report App JDBC/SQL MDX/DAX Rest/SOAP ODBC/SQL Json/Rest XML/SOAP Data-Abstractielaag (middels data virtualisatie) ODBC/SQL JSON SQL SQL Excel XML NOSQL FIN CRM Secundaire Bronnen Flat Files Web Services Big Data 30

31 Data Governance Metadata Management Security & Autorisation De nieuwe CBS Data Architectuur User Que. Conn. String Consumer Layer (CL) Vraag Demand P V A Tooling S2S Web Page Security Tech Meta Data Provisioning Layer (DPL) Data Transformation Layer (DTL) Supply Building Block 1 Web- Service A Building Block 2 OData Web- Service B Building Block 3 Web- Service C Building Block 4 Data Virtualization Platform Security Data Source Layer (DSL) Web Srv App XLS CSV SQL DB ETL tooling CBDS (Legacy) Datasources Import Conceptual Meta CIO office Versie 1.81 Existing New P = Data Prep V = Data Visualization A = Data Analytics 31

32 Data Governance Metadata Management Security & Autorisation richting een multi zone DaaS Architecture Data- Abstractielaag User Que. CL Zone CBS P V A Zone DDC1 P V A Zone UDC1 P V A Zone UDC2 P V A Voor Open en Micro Data Remote Acces omgeving in CL Security DPL Tech MetaDTL Building Block 1 Web- Service A Building Block 2 Building Block 7 Web- Service D Building Block 8 Building Block 3 Web- Service B Building Block 4 Building Block 5 Web- Service C Building Block 6 Data Virtualization Pseudonimiseren in DTL DSL DSC EHB CBDS Secured VPN DDC1 Secured VPN UDC1 Secured VPN UDC2 Datasources Security Existing New P = Data Prep V = Data Visualization A = Data Analytics DDC=Departemental Data Center UDC=Urban Data Center CL=Consumer Layer DPL=Data Provisioning Layer DTL=Data Transformation Layer DSL=Data Source Layer 32

33 Metadata systeem als kloppend hart Naast technische metadata ook conceptuele, proces en herkomst metadata Metadata model ondergebracht in graph database vanwege flexibiliteit en geschiktheid Basis voor zoeken/vinden maar ook voor toekomstige ontwikkelingen (o.a. automatische classificatie) Persoon Is_getrouwd_met Persoon Naam.: Peter Geboren: 1 sep 1991 Twitter Woont_samen_met Petra Peter Label Relaties Node Propperties 33

34 Zoeken en vinden m.b.v. Metadatasysteem 6 1? Datasets met variabelen gesorteerd op nabijheid / relevantie met relaties DSD DS VAR Free Text Search Engine Graph model Zoekindex 34

35 Combineren en verwerken Datasets met variabelen gesorteerd op nabijheid /relevantie met relaties 8 Combineren/Verwerken Data Virtualisatie system (DV) ICT Gebruik Regio Base Postcode tabel Security en Access Control Bron systemen 35

36 Metadata systeem Samenvatting Datameer DPT Dashboard Intra Visual Mobile Report App JDBC/SQL MDX/DAX Rest/SOAP ODBC/SQL Json/Rest XML/SOAP Data-Abstractielaag (middels data virtualisatie) ODBC/SQL JSON SQL SQL Excel XML NOSQL FIN CRM Secundaire Bronnen Flat Files Web Services Big Data 36

37 Aanbevelingen 37

38 Wat is er nodig voor succes? Ontwikkel een Datastrategie (maar dit is niet voldoende voor succesvolle implementatie) Naast technologie, speelt vooral ook de cultuur een belangrijke rol 38

39 Aanbevelingen Check of Datastrategie in lijn is met je plannen (v.v.) Begin met experimenteren met technologieën als datavirtualisatie Bouw aan een cultuur die verandering omarmt en communiceer je plannen zo vaak als mogelijk 39

40 Wat levert het op? reduceer Groei Hergebruik M { " Kosten data toegang Time to Market Risico s stimuleer 40

41 Vragen? Paul Grooten Data architect / CIO Office CBS 41

42 42