Open data voor en door IT-architecten

Transcriptie

1 Open data voor en door IT-architecten

2 Even Lex Slaghuis, directeur bij Wikiwise Informatica en consulting achtergrond Nauw betrokken bij de ontwikkelingen in het open data veld Wikiwise Wiki s, open content, open samenwerking en open data

3 Wat is open data? Data is voor computers, niet voor mensen. Open overheids data dient te voldoen aan de wetgeving, meer specifiek de WOB artikel 10!

4 Waar komt het vandaan? Een datastore kan zowel live-data (verkeer) als historische data aanbieden

5 Hoe kan je het vinden? Een register slaat geen data op. Het verwijst enkel naar de data. Het werkt als een telefoonboek.

6 Wat kan je er mee? mobile pad MS DOS

7 Waarom Open data?

8 Want Data kan door oneindig veel partijen divers ingezet worden Economische meerwaarde, dus banen en belastingen Oude economie Nieuwe economie

9

10 Hoe groot gaat het worden? In Nederland zijn er bij overheden zo n databases. Er zijn nu ongeveer 1000 datasets vrijgegeven UK > 8000 datasets US > 378,529 datasets Kwantiteit is geen kwaliteit, maar

11 Hoe snel gaat dat dan? Europeana, de Europese cultuur database met data van meer dan 1000 culturele instellingen heeft afgelopen maand alle metadata als open data beschikbaar gemaakt. Op Geo informatie vlak gaat er EU breed data vrijgegeven worden. (Deze data ligt in Nederland bij de provincies en beschrijft wie-wat-waar)

12 Wat gaat het opleveren? De EC schat de extra waarde van open data in Europa op 140 miljard per jaar. Nieuwe toepassingen, bedrijven en kanalen Nieuwe mogelijkheden, dienstverlening en producten Meerwaarde is: -Toegevoegde economie. Voor overheden komt dit binnen middels groei en in extra BTW, loonbelastingen, etc.

13 Informatie ontsluiten wordt een normale taak bij overheden Techniek Open data Juridisch Organisatie

14 Organis atie Open data een bedreiging? Experts voelen zich bedreigd Niet langer exclusief eigenaar van data Niet langer enige die de data kan duiden Algorithmes en methodes ter discussie De echte experts staan niet op je loonlijst, die kan je namelijk niet betalen! Als je een echte expert bent, wat heb je dan te vrezen?

15 Organis atie Open data een risico voor business owners? Verantwoordelijkheid voor gevolgen van onjuist hergebruik Waarom zou de overheid mogen besluiten wat goed of fout hergebruik is? Financieringsmodellen onder druk (KvK verkoopt publieke informatie aan personen en... marketingbureaus) Als de meerwaarde zo groot is, waarom dan genoegen nemen met monopolistische financieringsmodellen?

16 Juridisc h Juridische uitdagingen Niet kunnen ontsluiten. Data zit vast in licentie contracten met derden `Verkeerde juridische voorwaarden. Hoe goed het ook bedoelt is. Maak open data onderdeel van de inkoopvoorwaarden, wordt weer eigenaar van je data en geef het vrij! Maak data als echte open data vrij als CC0 (Creative Commons 0 licentie) en/of volg de definitie van de rijksoverheid. Voor internationaal hergebruik is CC0 is must

17 Techni ek Goede open data is niet makkelijk Open data wordt veelal op subsites gepubliceerd. Eenmalig kan dit goed, bijvoorbeeld door een CSV bestand te plaatsen. Als het aantal databronnen toeneemt zijn er 2 opties: Bouw / Koop een datastore, waarin alle systemen data publiceren Voordeel: Relatief goedkoop, en een oplossing voor alle diverse databronnen. Ontsluit je datawarehouse middels een portal Voordeel: Ondanks de kosten in 1 project veel data vrijgeven. Wel wordt data die niet in het warehouse staat gemist.

18 Techni ek Datastores Bouw / Koop een datastore, waarin alle systemen data publiceren Voordeel: Betaalbare oplossing voor alle diverse (heterogene) databronnen. FTP CRM Internet Data Store Fin FTP Prod Reverse proxy Geo

19 Techni ek Ontsluit je datawarehouse middels een portal Voordeel: Ondanks de kosten in 1 project veel data vrijgeven. Wel wordt data die niet in het warehouse staat gemist. Sync CRM Internet Web interface Data Ware House Sync Fin Sync Prod Reverse Proxy Geo

20 Techni ek Pas op voor API s! Een API is niet per definitie open data. Immers er kunnen restricties ontstaan in het hergebruik vanwege de techniek De oliebollen test: Kan alle data aanwezig in de API efficient uitgelezen worden door een derde en vervolgens up-to-date gehouden worden? (Repliceerbaarheid) Zorg voor bulk transacties waarbij consistentie gerealiseerd kan worden. Ontsluit dus ook PK s en FK s (of persistente substituten). Denk ook na over het up-date proces. Kan iemand snel nieuwe, gewijzigde en VERWIJDERDE items op halen? Pas op; meerdere API s in Nederland hebben het al verkeerd gedaan: 10 miljoen API calls om een database van 500MB (compressed) te repliceren... Slecht voor het milieu. CSV wordt ook wel de Kalashnikov van open data genoemd... Linked Open Data is vooralsnog een belofte

21 Techni ek Vergeet de zachte kant niet Zorg voor contactmogelijkheden en en context informatie middels een subsite... Want enkel een FTP is wel heel erg karig. Tip: Meld je data aan op data.overheid.nl dan kan men de data eenvoudig vinden.

22 Public ecosystem Open data eco systeem voor bedrijven Jouw organisatie DATA Public Datasharing: DATA APP Public Leadsharing & Referalls APP Private Datasharing: DATA APP Private Leadsharing & Referalls Partners

23 Public ecosystem Public Datasharing Jouw organisatie DATA Public Datasharing: DATA APP APP Models: Publiek data hergebruik voor klant platformen Publiek data hergebruik voor BI Data delen for ecosystem based innovation Klanten kunnen hun data delen (zoals nu met Oauth Api s en CSV downloads) Meer inzicht en nieuwe toepassingen voor toegevoegde waarde

24 Public ecosystem Public Leadsharing & Referalls Jouw organisatie DATA DATA APP Public Leadsharing & Referalls APP Models: Webverkeer naar Publieke toepassingen Verbeterdebuurt.nl, overheids websites (vergunning aanvragen) Webverkeer van publieke toepassingen Ideal! Whitelabels /Wholeselling Integratie van toepassingen van derden in eigen platformen Juiste tijd en plaats voegt waarde toe voor klanten en aanbieders

25 Private Datasharing Models: Communaal datadelen met (meerdere) partners Zoektocht naar complementaire datapartners: Senseo van bigdata. Data verkopen Data inkopen Private Datasharing: Jouw organisatie DATA APP DATA APP Meer inzicht en nieuwe toepassingen voor toegevoegde waarde Partners

26 Private Leadsharing & Referalls Models: Webverkeer delen of adverteren Betaalde leads Sponsormodel Advertising Schakel met media partners Whitelabels and Wholeselling Apps embedded in Apps Of een combinatie Jouw organisatie DATA APP Private Leadsharing & Referalls DATA APP Juiste tijd en plaats voegt waarde toe voor klanten en aanbieders Partners

27 Rigoreus anders... Data in en uit Partners of Internet Web interface Out Data Ware House CRM Fin Prod ETL Server In Data Ware House Geo Sales App Marketi ng App Geo App

28 Er zijn allerlei combinaties te maken... Bereid je voor een veelvoud aan apps en data bronnen Failsafe / safe to fail Gracefull degradation van apps, services en data Redundante databronnen!

29 Recap Bereid je voor op open data en data van partners Infrastructuur voor het ophalen en verspreiden van data. Heterogeniteit vraagt flexibiliteit. Informatie als risico voor processen, diensten en data als product Succes!

30 Vragen?

31