Inleiding Big Data. VOGON Studiemiddag 'Data revolution, waarde halen uit Big data. Eric van Tol

Transcriptie

1 Inleiding Big Data VOGON Studiemiddag 'Data revolution, waarde halen uit Big data Eric van Tol

2 Point Break

3 Big Data in bedrijf

4 Zucht Overzicht Business Case

5 Peter Fader, codirector of the Wharton Customer Analytics Initiative at the University of Pennsylvania Zucht, eerst nog " But ask anyone today what comes to mind when you say "CRM," and you'll hear "frustration," "disaster," "expensive," and "out of control. And I'm afraid we're heading down the same road with Big Data.

6 Hadoop open source omgeving analyse en bewerken van grote hoeveelheden veelal ongestructureerde data.

7 Productoverzicht

8 Laatste 2 jaar ontvingen 119 database software leveranciers $1.17 miljard venture-capital Dow Jones VentureSource

9 Zucht Overzicht Business Case

10 Zucht Bijna 50% heeft belangrijkere zaken te doen Overzicht Voor 7% (Benelux 13%) heeft big data prioriteit Business Case 25% heeft een business case Bron: Big Data - beyond the hype a study by Interxion

11 62 % Europese organisaties binnen drie jaar Big Data prioriteit Bron: Big Data - beyond the hype a study by Interxion

12 Elke Minuut: 204,166,677 messages

13 Elke Minuut: 100 uur You Tube Filmpjes

14 Elke Minuut: 100,000 tweets

15 Exponentiële groei data 90% van de data is ongestructureerd

16

17 Kilobyte Megabyte Gigabyte Terabyte Petabyte Exabyte Zettabyte Yottabyte 10 3 bytes 10 6 bytes 10 9 bytes bytes bytes bytes bytes bytes

18 Terabyte Petabyte

19 February 2001 Doug Laney, an analyst with the Meta Group, publishes a research note titled 3D Data Management: Controlling Data Volume, Velocity, and Variety. Big Data onderzoek Het is te veel Het groeit te snel Het is te ongestructureerd Veel: Veranderlijk: Ongestructureerd: Terabyte, Petabyte, Exabyte, Zettabyte, Yottabyte,.. Twitter gedrag, golfhoogtes, You-Tube filmpjes,.. Tekst, video, spraak, foto s, natuurlijke taal,..

20 Veel Big Data Vaart Variatie

21 Verzekeringsfraude vaststellen door automatische analyse van alle declaraties. Aandelenwaarde voorspellen door sentiment analyse van twitter berichten. Opzegging van telefoonabonnees voorkomen door alle belgegevens te verwerken. Het profiel van de zwevende keizer kennen door alle relevante social media te gebruiken

22

23 Date: Technology Review Surveillance Video Becomes a Tool for Studying Customer Behavior beveiligingscamera s in kaart gedrag klanten. beelden gebruiken als blikvanger op, Facebook fanpagina.

24 Big Data een reële markt (groei 58% tussen nu en 2017)

25

26 1997 IBM Deep Blue verslaat G. Kasparov Alle combinaties doorrekenen

27 Breekpunt

28 2011 IBM Watson wint Jeopardy quiz Meest waarschijnlijke antwoord bepalen uit Big Data

29 Waarom nu een Big Data breekpunt? Logisch gevolg van digitalisering (data communicatie en rekenkracht is goedkoop) kritische massa aan data beschikbaar Algoritmen beter door veel data.

30 leeralgoritme van Google toegepast op You-Tube leert zichzelf wat een kat is.

31 Big Data kernbronnen zijn gebruikers en sensoren Sensoren: internet of things, elk apparaat een IP adres en veel mobiele apparaten Gebruikers: toepassingen (Web 2.0) en Social Media

32 goud

33 olie

34 synthetische drugs

35 Big Data gereedschappen

36

37 inname filter interpretatie analyse

38 Big Data Visualisatie

39

40

41

42

43 3D visualisatie weermodel M.Koutek KNMI In de CAVE van Sjaak Verwaaijen

44

45 Consument data Real Time en voorspellend Profiling Personalisatie Integratie Digitalisatie Consument Self service Vaststellen sentiment Beïnvloeden gedrag Meer betrokken

46 miljoen experts nodig Te kort

47 Hadoop Hacker De DevOp (ontwikkelaar en engineer) Kennis en ervaring met Big Data gereedschappen en methoden Data Detective De Big Data domein expert en analist Vertalen business vraag naar Big Data vraag

48 Demonizing data Privacy en vertrouwelijkheid Race Against the Machine automatisering kenniswerker Open of Gesloten data

49 Democratizing data Cloud Open Source Open Data

50 Big Data Schuldigen

51

52

53 Date: Source: The Economist Subject: Deus ex machina Voters are being targeted in new and powerful ways Voter-registration files have been merged with vast quantities of bought consumer data, on top of which come bought or acquired s, mobile and landline numbers, as well as data gathered through canvassing, phone banks and socialmedia pages. The campaigns are also making use of cookies, the crumbs of data people leave behind when they browse the net.

54 Date: Source: Associated Press Subject: Is Big Data Turning Government Into Big Brother?

55 Date: Source: The Guardian Subject: NSA PRISM program taps in to user data of Facebook, Yahoo and others

56 CEO Google Larry Page grootste database op aarde 56

57 Google makes up 25% of Internet traffic $1 billion each quarter over the past few years on infrastructure investments. Derde server leverancier Tweede netwerk Spanner

58

59

60

61

62 Door Big Data meer. Combinaties van verschillende databronnen Lineair schaalbare performance door (parallel processing en in memory storage) Buitenshuis ICT (cloud en externe bronnen) Structureren van data tijdens de Query

63 Door Big Data meer. Realtime Voorspellend en optimaliserend Visualisatie Integratie en beheer Hyper agile Domein kennis nodig voor succes

64 Point Break Creëren van een open onderzoeks houding Realiseren van aanpasbare ICT infrastructuur Betrekken verschillende disciplines en vooral van buiten

65 Point Break