Big Data in de praktijk. Kjeld v.d. Schaaf

Maat: px

Weergave met pagina beginnen:

Download "Big Data in de praktijk. Kjeld v.d. Schaaf"

Sarah van der Laan
8 jaren geleden
Aantal bezoeken:

1 Big Data in de praktijk Kjeld v.d. Schaaf

2 Wat is big data eigenlijk? Wat is Big Data eigenlijk?

3 De vier V s Volume Velocity Variety Veracity Complexiteit samenhang meetwijze Compleetheid domeinkennis

4 Big data is de toekomst Follow the money : instututionele beleggers doen al jaren big data De beloftes van data mining worden nu waargemaakt Een overvloed van data komt beschikbaar: auto, smartphone,

5 Big data is een hype Verwachtingen op top Tijd voor realisme Op naar meer zinvolle toepassingen

6 Big data is fun

7 Big data is een groot problem big brother is watching you Privacy problemen bewaren van gevoelige data Vinden van gevoelige patronen Willen we wel alles weten en begrijpen?

8 Hoe kom ik aan Big Data Welke data heb ik al? Wat kan ik nog toevoegen? En wat zouden we er dan mee kunnen bereiken? Ons eigen big data project

10 Big Data architecturen

11 klassieke big data architectuur trechters

12 Algemene Big Data architectuur

13 Big Data trechters met NPLEX

14 Big Data processing network met NPLEX

16 Het NPLEX platform data processing netwerken samenstellen mix van data bewerkingen, rekenen en opslag hybride datawarehouses General purpose databases en bestandsformaten Gespecialiseerde opslag High performance opslag Indexing naar hybride gedistribueerde opslag Streaming en real-time extreem efficiënt

databases en bestandsformaten Gespecialiseerde opslag High performance

17 En dan nu ons eigen big data project

18 Enkele voorbeeld projecten NDW historische gegevensbank ( heden) Sensor City Assen ( heden) Cattlecare ( ) Nedtrain ( heden)

19 Nationale Databank Wegverkeersgegevens meetlocaties langs nederlandse wegennet Historische gegevensbank vanaf meetpunten 120 TByte data Export random selecties in seconden tot minuten SLA 24/7 met 99.9% beschikbaar Op één server

450 000 000 000 meetpunten 120 TByte data Export random

20 Cattlecare Zoeken naar aanwijzingen voor naderende ziekte bij koeien

21 De dataset Moment van melking De duratie van de melking De tussenmelktijd (de tijd tussen twee melkingingen van een specifieke koe) Maximale melksnelheid Gemiddelde melksnelheid Temperatuur van de melk Hoeveelheid melk in Kg Conductiviteit van de melk: vier waardes per koe, een waarde per speen (het zoutgehalte in de melk is een indicator voor eventuele problemen, zoals mastitis) Dode melktijd: vier waardes Rood-reflectie van de melk: Groen-reflectie van de melk Blauw-reflectie van de melk Een algemene kleurwaarde Gedurende 3 Jaren Moment van voeren Voertype (vier verschillende voertypes) Hoeveelheid voer Het voertegoed (waarschijnlijk ParlourBalance ) Proefmelkgegevens Kg melk per dag Vetgehalte Eiwitgehalte Celgetal geïnterpoleerde buiten-temperatuur van de drie meest dichtbijzijnde weerstations van het KNMI windsnelheid hoeveelheid zon neerslag luchtdruk luchtvochtigheid Behandelingen dierenarts

22 complexiteit

23 Zoeken naar indicatoren voor het ziekworden Intake en Opschonen missing values Filteren outliers Defecte aparatuur Opschonen en verrijken Relateren aan lactatieperiode missing values Filters Aggregeren per dag Afgeleide variabelen Statistische analyse ANalysis Of VAriance (ANOVA) Liniar Discriminant Analysis Lag Correlaties Interpreteren met domeinexperts

24 Verbeteren onderhoud aan treinen Inbouwen van sensoren in passagierstreinen Meetperiode van ca 6 maanden of speciale testritten Modelleren en inzicht in gedrag Zoeken naar verbeterpunten met Multi-Variate Analyse

28 Living lab Assen stad vol sensoren 200 meetnodes met sensoren Bluetooth, geluid, beeld, stoplichten, klimaat projecten verkeer, soundscaping

29 Data management voor living lab Assen Reistijden uit Bluetooth Verkeer tellen NDW data feed Visualisatie reistijden Data exporters o 2000 metingen per seconde o 1 TByte per dag o 15 + TB in datawarehouse

30 Big data is leuk Big data is nuttig Big data kan ècht

Vergelijkbare documenten

Big Data en Variabele Data Printing

Big Data en Variabele Data Printing Roelof Janssen Definitie Big Data Verwerken en interpreteren van grote en/of gevarieerde dataverzamelingen Doug Laney, Gartner: groeiend volume van data Socialmedia