Ontwikkelingen bij het CBS Inhoud en techniek gaan hand in hand Dennis Ramondt 29-3-2018
Inhoud van de presentatie Korte terugblik Gebruik open data CBS en zijn output strategie Nieuwbouw Vooruitblik (met enquête) Vragen tussendoor zijn welkom (beperkt) of bij volgend programmaonderdeel 3
Korte terugblik 4
StatLine Nieuw 5
Met tabelweergave op basis open data 6
Experimentele zoekmachine 7
Verder zoeken via Dimensie of Onderwerp 8
Tonen in StatLine Nieuw 9
Catalogi van Derden Catalogus StatLine nieuw/widget Dataportaal MKB (Midden- en Kleinbedrijf) https://mkbstatline.cbs.nl https://mkbstatline.cbs.nl/portal.html IV3 (Financiële gegevens decentrale overheden) https://iv3statline.cbs.nl https://iv3statline.cbs.nl/portal.html Politie https://www.politie.nl/politiecijfers https://dataderden.cbs.nl/politieangularwebapp/portal.ht ml RIVM https://statline.rivm.nl https://statline.rivm.nl/portal.html Jeugdmonitor https://jmopendata.cbs.nl https://jmopendata.cbs.nl/portal.html MLZ (Monitor langdurige zorg) https://mlzopendata.cbs.nl https://mlzopendata.cbs.nl/portal.html Grens statistieken Najaar 2018 Najaar 2018 10
CBS is tweede in de wereld 11
Overzicht Herontwerpen 12
Gebruik open data 13
Aantal calls per maand (alleen cijfers) 900.000 800.000 700.000 600.000 500.000 400.000 300.000 200.000 Download CBS CBS.NL StatLine CBS Feed CBS API 100.000 0 1 2 3 4 5 6 7 8 9 10 11 12 1 2 3 2017 2018 14
Aantal gebruikers per maand 180.000 160.000 140.000 120.000 100.000 80.000 60.000 40.000 Download CBS CBS.NL StatLine CBS Feed CBS API 20.000 0 1 2 3 4 5 6 7 8 9 10 11 12 1 2 3 2017 2018 15
Onderscheiden gebruikersgroepen App-ontwikkelaars: primair API s Data-analisten: Dataportaal en API s, met BI tools Open data gebruikers Downloads via Dataportaal en StatLine Nieuw (ook met downloads) 16
CBS en zijn outputstrategie 17
Outputvisie CBS (toekomst) Twee principes: Open architectuur Open content Drie onderdelen: 1. Presentatie 2. Open data services 3. CBS content bank 18
Bekende wensen van open data gebruikers 1. Gedetailleerde informatie 2. Sleutels van onderwerpen veranderen niet 3. Continu beschikbaar zijn van gegevens 4. Verbeteringen meta data (b.v. bron waarvan data afkomstig) 5. Betere koppelbaarheid van datasets 6. Betere vindbaarheid van datasets 7. Betere ondersteuning van gebruikers 8. Maatwerk als open data 19
Overview huidig outputdomein Preview Productie Aggregeren en beveiligen Ontwerpen, vullen, meta dateren en controles StatLinenieuw StatLineoud StatLineoud StatLinenieuw Dataportaal Open data services Open data services 2014 2014 Micro base StatLine Database Plaatsen StatLine Database 2015 1992 1995 20
Nieuwbouw 21
1 e stap, minimal viable product Wat gaan we doen: 10 meest geraadpleegde datasets (90 % van gebruik open data) worden via odata 4.0 beschikbaar gesteld via nieuwe opslag. Wat zit er in (voor 10 tabellen): 1. Tabellen continu beschikbaar 2. odata 4.0 (nieuwe standaard) 3. Relatie cijfers naar artikelen 22
1 e stap, 10 datasets beschikbaar als odata 4 Nieuwe Productie Preview Productie Open data services (odata 4) Open data services Open data services StatLinenieuw StatLineoud StatLineoud StatLinenieuw Dataportaal Content cijferbank Lezen StatLine Database Plaatsen StatLine Database 23
Overzicht van de 10 sets Identifier Titel 83487NED Kerncijfers wijken en buurten 2016 83220NED Kerncijfers wijken en buurten 2015 82245NED Bevolking en huishoudens; viercijferige postcode, 1 januari 2013 37230ned Bevolkingsontwikkeling; regio per maand 83765NED Kerncijfers wijken en buurten 2017 82931NED Kerncijfers wijken en buurten 2014 83131NED Consumentenprijzen; prijsindex 2015=100 83136NED Consumentenprijzen; basisjaren vanaf 1969 83433NED Consumentenprijzen; werknemers laag, alle basisjaren 1969-1995 Overheid; ontvangen belastingen 82569NED 24
Pre-alpha versie beschikbaar 25
1. Van Record naar Cel Nieuwe elementen: Observations (waarden) en Measures (onderwerpen) Vervallen elementen: TypedDataset, UnTypedDataset en Dataproperties Statistische symbolen vervangen door eigenschap van cel Gebruik value attribute Lege cellen worden niet meegeleverd (minder data) Services samengevoegd odatacatalog, odatafeed en odataapi samengevoegd 26
Voorbeeld oud en nieuw Oud, record Nieuw, cel 27
Wijzigingen in de aanroep van de services Onderwerpen selecteren via Filter ipv Select Was: select=aantalinwoners_5, Mannen_6, Vrouwen_7 Wordt: filter=measure eq 'AantalInwoners_5' or Measure eq 'Mannen_6' or Measure eq 'Vrouwen_7 Naamgeving van de subsets veranderd 28
2. Nieuw bij Measures/Dimensies Codelijsten en Hiërarchieën gescheiden Hiërarchie toegevoegd bij Tijd, Geo dimensies CategorieGroups ondergebracht bij de dimensies Beter aansluiten op (internationale) standaards Model om door te groeien (FAIR principes) Automatisch koppelen mogelijk binnen BI tools 29
Voorbeeld bij Perioden Hiërarchie (nieuw) Code lijst 30
3. Voldoen aan DCAT-AP-NL 1.1 DCAT = Meta Standaard voor uitwisseling van gegevens over datasets tussen portalen Invulling bij CBS: Links uit tabeltoelichting afgeleid en beschikbaar per dataset: Gerelateerde tabellen Beschrijving waar data vandaan komt Metadata uitgebreid 31
Voorbeeld DCAT-AP-NL 1.1 32
Oplevering Bèta versie met 10 datasets 30 april verwachte opleverdatum Resultaten eerste gebruikerstests: Bij Excel 2010/2013 Powerquery nodig Bij Excel 2010 leidt omvang soms tot problemen Technische verbetering in odata nodig 33
Overige plannen 2 e kwartaal 2018 Duitstalige versie StatLine voor grensoverschrijdende statistieken Handmatige invoer 2 nieuwe bestanden: Postcode 6 met energie gegevens Overheidsregister Uitbreiding met referentiedataset inwoners per gemeente (officiële cijfer) Update handleidingen Excel 2016 34
Vooruitblik 35
2 e halfjaar 2018 3 e kwartaal (voorstel): Alle Nederlandstalige tabellen Engelstalige tabellen StatLine voor derden 4 e kwartaal (voorstel): Eenvoudige versie dataportaal Zoeken vernieuwen 36
2019 Invoer modules voor derden (niet langer CBS netwerk) Invoer modules voor Maatwerk bestanden Uitbreidingen dataportaal (nieuwe vorm) Query builder met eenvoudige download (HTML/Json/CSV met titels ipv codes) Publicatie modules vanuit Micro database Sleutels van onderwerpen veranderen niet 37
Continuïteit voor gebruiker Minimaal één half jaar dubbel draaien bij vernieuwing open data service Huidige versie draait zeker nog 1 jaar 38
Vragen 39