Big Data. het begin van een nieuw tijdperk. Bernard Veening & Jort Kooy Seminar Onderzoeksdocument

Transcriptie

1 Big Data het begin van een nieuw tijdperk Bernard Veening & Jort Kooy Seminar Onderzoeksdocument 1

2 Inhoudsopgave 1. Introductie Het verhaal en de aanleiding Synopsys Hoofd- en deelvragen De opzet van ons onderzoek 4 2. Wat is Big Data? De term Big Data Is de term Big Data een hype? Conclusie uit dit eerste onderzoek Marktleiders op het gebied van Big Data De 3 v s van Big Data Dark Data Volume in zijn totaliteit 9 3. Hoe wordt Big Data geanalyseerd? Vroeger Lineair en non-lineaire verbanden Correlaties Technologie Professionals Case UPS Case Amazon Case Walmart Voordelen van het goed analyseren van Big Data Wat zijn de gevaren van Big Data Minority Report Case Netflix Voorkomen The dark side of Big Data Big Data in de praktijk Netflix als onderneming Literatuurlijst Webpagina s Literatuur 23 2

3 1. Introductie 1.1. Het verhaal en de aanleiding Als CMD-ers is het van belang om mee te gaan met trends en ontwikkelingen. Big Data was een term die onze aandacht trok, al langere tijd. We konden moeilijk plaatsen wat de waarde van dit onderwerp was en besloten om hier een korte deskresearch naar te doen om te bepalen of dit onderwerp CMD waardig was. Al snel bleek dat de wereld achter Big Data verder gaat dan een trend. Big Data bepaalt namelijk grotendeels hoe personen, bedrijven en instellingen in de toekomst gebruik gaan maken van data. Hoe dit de wereld gaat veranderen. Veel voorbeelden gaven een positief beeld, daarnaast zagen wij verschillende negatieve ervaringen voorbij komen. Big Data zal een grote rol gaan spelen bij de ontwikkeling van ons vakgebied. Het heeft invloed op ontwerp beslissingen, het heeft invloed op de onderbouwing van ontwerpen. Het draagt bij aan de manier waarop gebruikers in de toekomst data gaan consumeren. Wetten zullen aangepast moeten worden op het gebied van privacy, en wij als CMD-ers zijn degene die vragen over deze ontwikkeling moeten beantwoorden Synopsys Je hoort het steeds meer: Big Data. Er gaan veel geruchten rond dat Big Data gevaarlijk is voor je privacy, ze weten alles van je, zo wordt er wel eens geroepen. Soms hoor je ook dat het voordelen heeft, maar voor wie? En wat is Big Data dan precies? Hoe ontstaat Big Data? Hoe meer mensen je vraagt over dit fenomeen hoe duidelijker wordt dat we nog lang niet weten wat Big Data precies inhoud. Het verhaal van onze documentaire vertelt een begin, midden en eind. Het ontstaan van Big Data, vervolgens laten we zien hoe Big Data op dit moment toe wordt gepast en tot slot laten we zien wat er in de toekomst verwacht mag worden van Big Data. Doormiddel van interviews en animaties laten we de wereld achter Big Data zien. Big Data - Het begin van een nieuw tijdperk. 3

4 1.3. Hoofd- en deelvragen In eerste instantie wilde we ons richten op de privacy gevoeligheid van Big Data. Big Data is een term die steeds vaker voorbij komt en privacy is momenteel ook een grote issue. Al snel bleek dat het fenomeen Big Data ook deels met privacy te maken heeft maar dat het onderwerp nog te vaag is om al een stap verder in het proces te gaan. Na kort onderzoek en ontwikkeling in het proces ontdekte we dat we aan de slag wilde gaan met de volgende hoofdvraag. Wat houdt Big Data in en wat voor invloed heeft dit op de toekomst? Om deze hoofdvraag te beantwoorden zijn we deze op gaan delen in deelvragen die toegespitst kunnen worden op ons onderzoek. Met ons onderzoek willen we de volgende deelvragen beantwoorden. Wat is Big Data? Hoe wordt Big Data geanalyseerd? Wat kunnen we met Big Data? Wat zijn de gevaren van Big Data? Hoe kunnen we Big Data beheren? Wat zal de toekomst ons bieden op het gebied van Big Data 1.4. De opzet van ons onderzoek Ons onderzoek is opgedeeld in verschillende delen. Allereerst willen we meten in hoeverre Big Data een bekend of onbekend fenomeen is door korte vragen te stellen over het onderwerp aan personen. 10 personen zullen antwoord geven op de vraag waar zij aan denken bij het fenomeen Big Data. Daarnaast zullen we verschillende bronnen gebruiken voor onderzoek. Online research maakt deel uit van ons onderzoek. Literatuur zal verschillende gevonden resultaten uit deskresearch bevestigen of tegenspreken, audiointerviews met grote sprekers helpen sterk bij validatie en tot slot zullen video s helpen om complexe analyses helder in kaart te brengen middels motion graphics. De volgorde van ons onderzoek ziet er als volgt uit: Korte deskresearch voor verificatie van de juiste hoofdvraag Korte interviews met personen geven aan hoe het fenomeen speelt bij mensen Deskresearch zal bijdragen aan een globaal maar ook diepgaand onderzoek Literatuur wordt gebruikt om te verifiëren of de online gevonden informatie klopt Motion infograhics helpen bij het begrijpen van de materie Het onderstaande onderzoek is gebaseerd op deze opzet en zal ons het antwoord geven op de hoofd- en deelvragen. 4

5 2. Wat is Big Data? 2.1. De term Big Data De term Big Data wordt veel gebruikt. Om snel een beeld te schetsen wat er wordt verstaan onder deze term raadplegen we Wikipedia. Volgens de Engelse pagina van Wikipedia is Big Data een term voor data sets, zo groot en complex dat we met de huidige database management tools en traditionele data verwerking applicaties de data niet meer kunnen analyseren. Data sets zijn grote verzamelingen van data met specifieke eigen schappen, een voorbeeld hiervan kan zijn locatiegegevens 1. De uitdagingen liggen met name op het vastleggen, selecteren, analyseren, opslaan, zoeken, delen en visualiseren. Het analyseren van Big Data is het vergelijken van deze sets (of delen hiervan) zodat er correlaties ontstaan die bijvoorbeeld nieuwe business trends ontdekken, de kwaliteit van onderzoek vaststellen, ziektes kunnen voorkomen, criminaliteit bestrijden of realtime verkeersdrukte in kunnen schatten 2. De bovenstaande mogelijke correlaties zijn slechts enkele voorbeelden van de mogelijkheden. Bij Big Data draait het met name om ontdekkingen en inzichten te genereren die we vooraf niet voor mogelijk hadden beschouwd Is de term Big Data een hype? Steeds vaker hoor je de term Big Data voorbij komen zonder er goed bij stil te staan. Dit heeft geleid naar een algemeen onderzoek onder gebruikers die aangeven wat Big Data volgens hun interpretatie is. We vroegen 10 personen buiten het vakgebied om, om aan te geven of zij wel eens van de term hebben gehoord en of zij begrijpen wat het is. Daar zijn de volgende resultaten uitgekomen: Naam respondent Leeftijd Antwoord De term Big Data ken ik niet. Als ik nu in zou schatten wat het begrip in zou houden zou ik er op gokken dat het gaat Nathan Kroondijk 24 jaar om de grote hoeveelheid data die de wereld verzameld doormiddel van mobieltjes. Facebook en Twitter zijn ongetwijfeld de grootste jongens op dit gebied. Henk Schippers 42 jaar Big Data, ik heb toevallig laatst een artikel gelezen in een magazine. Het werd mij al vrij snel te ingewikkeld en ben halverwege gestopt met lezen. Wat ik er in eerste instantie uit begreep is dat de grote hoeveelheden data die we verzamelen door alle nieuwe ontwikkelingen en apparatuur hergebruikt gaat worden. Hoe dit zal gaan en wat dit oplevert is mij een raadsel. Ik zou zeggen dat de term Big Data een soort synoniem voor veel data is. Henk Bokhorst 19 jaar Haha, ik werk in de horeca, ik ben zeer a-technisch. Dit klinkt als een spannende term die misschien iets te maken heeft met mobieltjes. Nee, ik zou het niet weten. Nathan Kroondijk 24 jaar De term Big Data ken ik niet. Als ik nu in zou schatten wat het begrip in zou houden zou ik er op gokken dat het gaat om de grote hoeveelheid data die de wereld verzameld doormiddel van mobieltjes. Facebook en Twitter zijn ongetwijfeld de grootste jongens op dit gebied. 5

6 Henk Schippers 42 jaar Big Data, ik heb toevallig laatst een artikel gelezen in een magazine. Het werd mij al vrij snel te ingewikkeld en ben halverwege gestopt met lezen. Wat ik er in eerste instantie uit begreep is dat de grote hoeveelheden data die we verzamelen door alle nieuwe ontwikkelingen en apparatuur hergebruikt gaat worden. Hoe dit zal gaan en wat dit oplevert is mij een raadsel. Ik zou zeggen dat de term Big Data een soort synoniem voor veel data is. Henk Bokhorst 19 jaar Haha, ik werk in de horeca, ik ben zeer a-technisch. Dit klinkt als een spannende term die misschien iets te maken heeft met mobieltjes. Nee, ik zou het niet weten. Sarath Hamstra 27 jaar Ik volg redelijk veel trends op het gebied van technologisch ontwikkelingen. Big Data is een term die ik veel voorbij zie komen. Wat ik tot zover begrijp uit de term is dat we voor een uitdaging staan met het verzamelen van data. Grote datacenters moeten gebouwd worden om alle data die wereldwijd verwerkt wordt goed op te kunnen slaan. In mijn ogen gaat het om veel data wat enigszins problemen veroorzaakt op dit moment. Janet van Zelderen 23 jaar Ik heb nooit gehoord van Big Data. Klopt het dat data omschreven kan worden als alle bestanden die op je computer staan? Wat ik wel weet is dat we nu steeds meer werken in een cloud omgeving. Is het zo dat Big Data de data is die opgeslagen wordt in de cloud? Verder kan ik me er niet zo veel bij voorstellen. Niek Lebbink 22 jaar Big Data klinkt heel technisch. Ik zou niet weten wat ik me er bij voor moet stellen. Als ik moet gokken denk ik dat het om hele grote harde schijven gaat in computers en bij bedrijven. Misschien gaat het ook wel over informatietabellen zoals het Centraal Bureau voor de statistieken. Roy Rademaker 26 jaar Ik werk als koelmonteur en krijg regelmatig te maken met gegevens van koelsystemen die opgeslagen worden om uit te lezen waar problemen zitten in het systeem. Als ik verder beredeneer zijn er onwaarschijnlijk veel systemen die data opslaan. Ik denk dat het gaat om het opslaan en uitlezen van deze data. Michel van Elten 32 jaar Ik ben slager en heb weinig te maken met datagegevens. Wat ik me voor kan stellen is dat het gaan om informatie als klanten contactgegevens, facturen, offertes, aanbiedingen en bedrijfsprocessen. Zo heeft elke onderneming met verschillende informatie te maken en ik kan me voorstellen dat het te maken heeft met de verschillende soorten data die beschikbaar zijn. Laura de Bruin 19 jaar Is dit niet gewoon alle data van social media? Facebook bijvoorbeeld? Of alle tjes de we dagelijks versturen en ontvangen? Haha, misschien klopt hier niks van maar dat idee heb ik. 6

7 2.3. Conclusie uit dit eerste onderzoek Als we kijken naar de verschillende antwoorden die worden gegeven op de vraag die we stelden kunnen we concluderen dat er geen van de respondenten het exacte antwoord kon geven. De antwoorden komen deels in de buurt maar zijn slechts een onderdeel van het fenomeen. Belangrijk om aan te geven in dit verhaal is dat we gesproken hebben met een relatief jonge generatie. Zij schatten goed in dat data een term is voor de verzameling van gegevens. Ook mogen we concluderen dat het fenomeen Big Data relatief onbekend is, de exacte definitie wordt niet gegeven. Deze conclusies hebben ons geholpen om het onderzoek verder uit te breiden naar een onderzoek dat weergeeft wat Big Data nou daadwerkelijk is Marktleiders op het gebied van Big Data Een korte zoekopdracht op Google leverde snel inzichten op bij welke bedrijven er volop onderzoek wordt gedaan naar Big Data. Al snel komen we terecht bij IBM. IBM noemt zichzelf de marktleider op het gebied van Data Analyse en heeft als doel de wereld een betere en slimmere plek te maken. Zij werken samen met bedrijven, steden en communities om de explosie van data te gebruiken om bedrijven beter, sneller en winnend te maken. Beslissingen binnen bedrijven veranderen, teamopstellingen binnen bedrijven veranderen en de basisdoelstellingen van bedrijven veranderen door de inzet van data en de samenwerking met IBM IBM over Big Data IBM heeft een speciale community opgericht over Big Data. Zij noemen dit The IBM Big Data Hub. Hier wordt informatie en ontwikkeling op het gebied van Big Data nauw bijgehouden en uitgelegd 4. Een podcast interview met David Corrigan, directeur product marketing van InfoSphere legt uit wat Big Data is en hoe Big Data momenteel gezien wordt 5. In het interview wordt gevraagd of Big Data een hype is. David legt uit: Het is moeilijk om toe te geven dat Big Data geen hype is op dit moment, dat komt puur omdat er binnen IT, Social Media en business veel gesproken wordt over Big Data. Dit betekent echter niet dat het een hype is. Sterker nog, Big Data is echt, het is nu en het gaat de wereld veranderen. Het is een fenomeen in de vorm van het groeiend aantal data en nieuwe soorten en bronnen data die ter beschikking komen. Dit geld voor zowel binnen de organisatie als buiten de organisatie. Al deze data kan ingezet worden om nieuwe inzichten te ontgrendelen. Dat is kort gezegd het fenomeen Big Data. De hoeveelheid data blijft groeien, er komen steeds meer soorten data, nieuwe bronnen en daarnaast ontwikkelen de technieken om deze data op een slimme en efficiënte manier te gebruiken. Als de data op de juiste manier geanalyseerd wordt komen daar slimme inzichten uit die winstgevend voor bedrijven zijn. Het bespaart veel tijd. Steeds meer bedrijven beginnen in te zien dat alle mogelijke manieren van data verzamelingen toegevoegde waarde hebben. Belangrijk om te vermelden is dat ruim 80% en meer van alle beschikbare data ongestructureerd is. Deze hoeveelheid blijft exponentieel groeien. Vandaag de dag komt er steeds meer en sneller bruikbare data uit organisaties. Het is voor bedrijven belangrijk om snel inzichten te genereren uit Big Data omdat er veel gevallen ook snel ingespeeld moet worden op veranderen. 7

8 Wat nieuwe technologie en ontwikkelingen ons op dit moment brengt is dat we op een kosten efficiënte manier data kunnen analyseren en verwerken. Dit analyseren en verwerken gaat aan de hand van Variety, Velocity en Volume. De nieuwe bronnen buiten organisaties zijn van onschatbare waarde. Neem bijvoorbeeld social media. Social media een vrij nieuwe bron van informatie. Zodra je met behulp van analyse tools de juiste data uit social media gebruikt kun je snel en efficiënt inzicht krijgen in je klanten, klanttevredenheid en productervaring van bijvoorbeeld jouw specifieke product dat op de markt is. David snijdt ook het onderwerp untapped data aan. Dit is een vrij nieuw fenomeen dat steeds meer gebruikt wordt. Untapped data bevindt zich vooral binnen organisaties. Zo kun je bijvoorbeeld denken aan netwerk informatie. Beveiligingscamera s, mobieltjes binnen gebouwen, netwerkgebruik, internetgebruik, netwerkstoringen en telefoongesprekken bijvoorbeeld. Wereldwijd wordt er veel informatie realtime verzameld maar ook dode data die opgeslagen staat op servers binnen bedrijven kan enorm potentieel zijn voor nieuwe inzichten. Het grote potentieel waar bedrijven inzichten uit kunnen halen ligt vooral op het gebied van goed analyseren van data. Er wordt al sinds het begin van het opslaan van data geanalyseerd, maar dit gaat op lineair niveau. Met de komst van nieuwe technieken zijn we in staat om data sets te combineren en te vergelijken. De nieuwe technieken zijn in staat om datasetten zo in te richten dat zij ook vergeleken kunnen worden. Vormt Big Data nog een probleem? David legt uit dat we Big Data niet als een probleem moeten zien, ondanks alle uitdagingen waar we nu voor staan. Je kunt Big Data beter zien als een kans. De kans om nieuwe bronnen te analyseren en inzichten boven tafel te krijgen waar je normaal gesproken niet eens over nadenkt. Je kunt de kern van je onderneming raken en je bent zelfs in staat om in te zien dat het tijd is voor een nieuwe strategie of reorganisatie bijvoorbeeld. Big Data is in principe niet nieuw, het bestaat al langer maar wordt steeds beter en door de nieuwe technieken zijn we in staat om data op een kosten efficiënte manier te vergelijken om nieuwe inzichten te genereren De 3 v s van Big Data Uit vorig interview is gebleken dat Big Data opgebouwd wordt uit Velocity, Variety en Volume. De term Big Data is misschien wat misleidend. Zeker als we kijken naar de interviews die we hebben gehouden onder verschillende mensen met de vraag over Big Data. Er wordt snel aangenomen dat het een synoniem is voor veel data. Veel data is slechts een onderdeel van de term. De term die deze gedachten omschrijft is Volume. Als we Big Data bekijken zoals het bedoeld is kunnen we beter zeggen dat Big Data een proces is. Het proces bestaat uit de 3 v s 5, Volume Volume is niets meer of minder dan de hoeveelheid data die we tot onze beschikking hebben en wordt gegeneerd. De hoeveelheid data is van belang in het proces. De juiste keuze maken welke data we analyseren en hoeveel we nodig hebben speelt een rol. Volume wordt uitgedrukt in termen als Megabyte, Gigabyte, Terabyte, Petabyte, Exabyte, Yottabyte en Zettabyte 6. 8

9 Variety Bij variety spreken we over de verschillende soorten data die we tot onze beschikking hebben, kunnen analyseren en nieuwe soorten kunnen genereren. Het soort data dat we hebben en nodig hebben is kortgezegd oneindig. De vorm van data verschilt in foto s, video s, boeken, websites, audio, social media, netwerkanalyses, telefoongesprekken, s, pintransacties, bezineverbruik enz. Het gaat er met name om welke data we willen vergelijken. Belangrijk om er bij te vermelden is dat de data die we tot onze beschikking hebben grotendeels ongestructureerde data is Velocity Bij velocity spreken we over de snelheid waarmee data stroomt en geanalyseerd moet worden. In sommige gevallen is het van belang om grote hoeveelheden data realtime te meten. Denk bijvoorbeeld aan het weer, drukte op snelwegen en live verslag van grote evenementen Dark Data Dark data wordt wel eens verward met the dark side of Big Data. We spreken echter over twee verschillende onderwerpen. Dark data wordt door Gartner Inc 7 omschreven als stilstaande data die opgeslagen is op plekken waar we maar moeilijk toegang tot krijgen. Het gaat om data die wordt verzameld, verwerkt en opgeslagen door organisaties in hun dagelijkse werkzaamheden maar vaak niet meer gebruikt wordt van andere doeleinden. Hier kunnen we ook spreken over een soort unstructured data die veel potentie oplevert als dit nog wordt geanalyseerd Volume in zijn totaliteit Om de hoeveelheid data in perspectief te plaatsen is het van belang dat we terug kijken naar het begin van data. Hiervoor moeten terug naar het eerst moment van dataverzameling 9. Dave Turek is aan de leiding bij IBM op het project super computer vertelt over de hoeveelheid data die is ontstaan sinds het bestaan van de mens tot In die periode verzamelde wij met z n allen vijf exabytes aan data. Dit begrip is vrij abstract maar is vergelijkbaar met 125 miljoen full hd films 11. Het artikel waar ik naar refereer is geschreven in Deze vijf exabytes worden op het moment van schrijven van het artikel iedere twee dagen gegeneerd. IBM en andere grote data bedrijven doen een voorspelling dat deze hoeveelheid data in de nabije toekomst iedere 10 minuten wordt gegeneerd 9. Het is duidelijk dat data exponentieel groeit. Deze groei is ook de reden dat we voor een uitdaging staan. We hebben nieuwe infrastructuren nodig, nieuwe bereken technieken en nieuwe datacenters om deze informatie te kunnen verwerken. Volgens ScienceDaily is 90% van alle beschikbare data in de afgelopen 2 jaar gegenereerd. Met de exponentiële groei van deze data komen we in een periode waar bedrijven hele interessante verschuivingen gaan maken 12. 9

10 Dagelijkse data Zoals is gebleken is de hoeveelheid data die per dag gegenereerd wordt moeilijk realtime te analyseren. Worldometers geeft live inzicht in de hoeveelheid data die wordt gegenereerd op media niveau. Zo geven zij aan dat er dagelijks s worden verstuurd tweets geplaatst en Google zoekopdrachten worden gegeven Conclusie Big Data Uit bovenstaand onderzoek kunnen we concluderen dat Big Data niet gezien mag worden als veel data, zoals veel mensen het wel zien. Een concrete omschrijving van Big Data stellen we als volgt: Big Data is een proces dat met behulp van het juiste platform de mogelijkheid heeft om volume, variety en velocity te vergelijken en te analyseren om zo op een kostenefficiënte manier nieuwe, baanbrekende inzichten te genereren. Inzichten die vooralsnog niet in te schatten waren. 10

11 3. Hoe wordt Big Data geanalyseerd? Op welke verschillende manieren kan Big Data worden geanalyseerd? Dit is de vraag die we in dit onderdeel van het onderzoek proberen te bepalen. Het geen wat Big Data interessant maakt zijn de verbanden die kunnen worden gelegd Vroeger In de small data wereld was er weinig data beschikbaar, hierdoor konden wetenschappers moeilijk verbanden vinden en testen op juistheid. Vroeger ging men dan ook van start met een Hypothese en vandaar werd er gekeken of deze hypothese juist was. Echter bestaat Big Data al enige decennia. In de jaren 50 werden er al ziekenhuis dossiers verzameld. Alleen deze dat werd niet geanalyseerd op de manier hoe we dit nu doen Lineair en non-lineaire verbanden De manier van vroeger was een zeer lineaire aanpak. Men kon echter toen ook nog niet anders omdat simpel weg de computer kracht te weinig was. De hedendaagse computers hebben een veel meer rekenkracht en kunnen doormiddel van Algoritmes de verbanden herkennen en eruit halen. Je hebt sterke en zwakke verbanden. Een zwak verband is wanneer één waarde veranderd en vervolgens de andere weinig veranderd. Voorbeeld je zou verbanden kunnen leggen tussen een individuele haarlengte en geluk en dan erachter kunnen komen dat de haar lengte van een persoon niet veel invloed heeft op het welzijn/geluk van een persoon. Maar ook sterke verbanden zijn niet altijd perfect. Het is mogelijk dat een verband simpelweg uit toeval bestaat. Het is van belang een goede proxy (waarde) te vinden waarmee verbanden kunnen worden gelegd. De lineaire verbanden voldeden vaak niet aan de wensen simpel weg omdat verbanden vaak veel complexer zijn. Door de informatie beter te analyseren zijn we nu in staat om non-lineaire verbanden vast te leggen. Waarbij er geen rechte paden worden afgelegd maar waar de verbanden elkaar overlappen en doorkruisen. Door deze niet-lineaire correlaties kunnen we uiteindelijk, in het tijdperk van Big Data tot een golf van nieuwe inzichten en behulpzame voorspellingen komen. Maar het meest belangrijke is, door deze niet-causale analyse we de wereld beter gaan begrijpen, door primair te vragen wat in plaats van waarom. 11

12 3.3. Correlaties Big Data wordt veelal geanalyseerd op basis van correlaties oftewel verbanden. Deze verbanden kunnen zo nu en dan zelfs de toekomst voorspellen. Hoe dit kan? Door gegevens te verzamelen die nodig zijn voor het bepalen van de toekomst. We nemen als voorbeeld: Als onderwerp a vaak plaats vindt samen met onderwerp b moeten we naar b kijken omdat deze ervoor zorgt dat a gebeurd. Door b als proxy (waarde) te gebruiken kunnen we hoogst waarschijnlijk bepalen wat er gebeurd bij a. Zelfs wanneer we a niet direct kunnen meten of observeren 1. We kunnen hierdoor bepalen wat er gaat gebeuren. Dit biedt ontzettend veel opties, zoals op het gebied van services design en voorkomen van ongevallen. Dit wetende moeten we er voor zorgen dat het mogelijk is om de grote hoeveelheden data te verwerken tot een begrijpelijke massa. Dit kan door de genoemde verbanden te leggen Technologie Door de hedendaagse technologieën zijn we in staat om veel meer data te analyseren dan voorheen. Om het verschil aan te geven today, the top supercomputers in the world achieve a speed of about 20 petaflops (20 thousand trillion operations per second 19. Door deze grote rekenkracht is het nu mogelijk om meerdere verbanden tegelijk te leggen. Denk daarnaast aan alle data sensoren in telefoons, computers, ipads ect. Deze apparaten registreren allemaal data die weer kan worden gebruikt voor analisten. 12

13 3.5. Professionals Om al deze data te kunnen analyseren moet er wat veranderen in de manier waarop we werken. Er zijn nog geen vakgebieden die puur gericht zijn op Big Data. Om je een inzicht te geven in welke vakgebieden er wellicht nodig zijn in de toekomst noem ik er hieronder een paar op: Big Data designers and design analysts Big Data indexers Metadata experts Domain experts Cross-resource data integrators Ontologists and classification experts Software programmers Data curators, including legacy experts Data managers, including database managers Network specialists Security experts Data analysts Generalist problem solvers People with solid programming skills (not full-time programmers) Combinatorics specialists Data reduction, data-scaling specialists Data visualizers Freelance Big Data consultants Dit zijn heel wat beroepen die nodig zijn om Big Data in controle te houden Case UPS Een mooi voorbeeld hiervan is het bedrijf UPS dat voorheen hun aflever auto s eens in de zoveel tijd lieten repareren zodat de auto s veilig waren. Je kunt nagaan dat wanneer je een auto laat repareren terwijl deze nog niet kapot of versleten is, dit ontzettend veel kost. Met name als het om meer dan auto s gaat 18. Er werden dan ook regelmatig onderdelen verwisseld (die nog prima waren) van de auto s. Door sensoren aan te brengen in de auto s hebben ze nu de mogelijkheid om elke auto nauwkeurig in de gaten te houden. Op een moment dat een onderdeel verslijt wordt dit gezien op het hoofdkantoor en kunnen de monteurs de auto repareren. Deze oplossing bespaard UPS enkele tonnen op jaar basis. 13

14 3.7. Case Amazon Amazon een grote aanbieder van media liet zijn boeken vroeger door critici beoordelen. Hierdoor kon Amazon aanbevelingen doen voor hun klanten op het gebied van boeken. Terwijl het internet groeide, groeide binnen Amazon ook het idee om aanbevelingen te doen aan de klant Doormiddel van informatie die ze al die jaren hadden verzameld. De CEO van Amazon Jeff Bezos kreeg het idee Wat als het bedrijf boeken kon aanbevelen aan de consument op basis van eerdere aankopen 18 Je kunt nagaan dat deze informatie enorm was vanwege het grote klantenbestand van Amazon. Amazon had onzettend veel data tot haar beschikking en verwerkte deze data op de conventionele manier. De aanbevelingen waren hierdoor vaak onjuist. Kocht je een boek over Polen dan kreeg je Oost-Europese gerechten voorgeschoteld. Greg linden had door dat je niet mensen met andere mensen moest vergelijken. Het enige wat hij hoefte te doen was vergelijkingen vinden tussen de producten. Waarop een patent wit aangevraagd op item-to-item collaboratieve filtering. Linden s werk heeft de e-commerce gerevolutioneerd. Voordat ze daadwerkelijk deze methode toe gingen passen besloten ze eerst een test te doen. Ze keken wat meer conversie opleverde, waren dit de critici? of de computer gegenereerde aanbevelingen? Al gauw bleek dat de computer gegenereerde gegevens velen malen meer opleverde dan door de bestaande critici. Door deze ontwikkeling bij Amazon hebben vandaag de dag duizenden website s deze aanbevelingen. Gelukkig voor Amazon hadden ze een patent voor het op deze manier aanbieden van informatie. Voor Netflix een aanbieder van films en series is deze manier van aanbieden goed voor drie kwart van de winst die ze maken. Het is mooi om te weten waarom iets gebeurd? Maar iets is zoals het is dit is niet belangrijk voor het verkopen van producten. Waardoor is het gene dat de clicks op een website genereert. 14

15 3.8. Case Walmart Walmart één van de grootste retailers in de wereld met meer dan 2 miljoen werknemers en een omzet van ongeveer 450 miljard dollar. Voordat Berners Lee het internet bedacht had Walmart wellicht de grootste dataset tot hun beschiking. Dit door het systeem dat ze destijds gebruikten Retail Link. Retail Link was een systeem waarmee de leveranciers van Walmart zelf de voorraden bij kon houden. Hierdoor had Walmart geen omkijken naar de hoeveelheden er nog beschikbaar waren. Dit werd door de leveranciers netjes bijgehouden. Walmart was hierdoor het grootste verschepingsbedrijf te wereld. Wel de lusten en niet de lasten. Maar door de digitalisering vroegen de experts binnen Walmart zich af wat ze wellicht allemaal konden met deze historische data mits het op de juiste manier werd geanalyseerd. Walmart zelf had deze kennis niet in huis om dit te volbrengen. Daarom werd de National Cash Register Company ingeschakeld om de verbanden voor Walmart te leggen. Om data te analyseren keken de experts van de NCR company naar een aantal onderwerpen. Ze keken naar welke items een consument kocht, de totale uitgave per keer, wat er nog meer in het boodschappen mandje zat, de tijd van de aankoop en zelfs het weer waarop de aankoop werd gedaan. Door deze middelen te analyseren kwamen ze al gauw achter een aantal interessante gegevens. Één van de opmerkelijk onderwerpen dat naar voren kwam tijdens deze analyse was: op het moment van een naderde orkaan sloeg een grote menigte Poptarts in (Amerikaanse onbijt snack). Toen Walmart dit eenmaal wist werden er in elk filiaal op het moment van een toenaderde orkaan Poptarts bij de ingang van de winkel geplaatst. De sales van deze items schoten omhoog! 15

16 3.9. Voordelen van het goed analyseren van Big Data Hedendaags worden er al veel verbanden gebruikt om ons dagelijks leven makkelijker te maken. We vergeten vaak hoeveel voordelen dit ons oplevert. Experian is een bedrijf dat het modale inkomen bepaald van iemand aan de hand van hun uitgave patroon. Dit kan ook worden gedaan Doormiddel van belasting formulieren maar dit zou dan 10 dollar per persoon kosten terwijl het via Experian maar 1 dollar kost. De kosten zijn een dus een groot belang om Big Data in te zetten. Een ander voorbeeld is dat van Dr. McGregor en een onderzoeksteam van de Universiteit van Ontario instituut van technologie en IBM. Ze hebben een algorithme bedacht om te vroeg geboren babies te analyseren en hierdoor kunnen voorkomen dat er complicaties optreden bij de babies. Dit betekent dat Big Data niet alleen de privacy aantast in ons dagelijks leven maar ook levens redt! Door deze ontwikkeling bij Amazon hebben vandaag de dag duizenden website s deze aanbevelingen. Gelukkig voor Amazon hadden ze een patent voor het op deze manier aanbieden van informatie. Voor Netflix een aanbieder van films en series is deze manier van aanbieden goed voor drie kwart van de winst die ze maken. Het is mooi om te weten waarom iets gebeurd? Maar iets is zoals het is dit is niet belangrijk voor het verkopen van producten. Waardoor is het gene dat de clicks op een website genereert. 16

17 4. Wat zijn de gevaren van Big Data Bijna veertig jaar voor dat de Berlijnse muur viel in 1989 bespioneerde de Oosterse Duitse Stasi miljoenen mensen. Mensen werden gecontroleerd in wat voor werk ze deden, welke vrienden ze erop na hielden en welke hobby s ze beoefenden. Vandaag de dag staan we eigenlijk continu onder toezicht. De banken volgen onze uitgaven, je iphone bepaalt je locatie bepaling en de bonus kaart van de Albert Hijen laat zien wat je vandaag en gisteren hebt gegeten. Met Big Data komt als we het niet goed aanpakken onze privacy in het geding. In het voorbeeld van de Duitse Stasi kon de Stasi nog niet mensen op de voet overal naar toe volgen dit kan vandaag de dag wel. Je kan op elk moment worden getraceerd Doormiddel van je mobiele telefoon, de camera op de hoek en satelliet die boven Nederland hangt. In 2007 plaatste de Britse media een opmerkelijk bericht over het huis van George Orwell schrijver van het boek 1984 dat waarschuwt voor de totalitaire regimes. Bij het huis van George Orwell in London staan momenteel meer dan 30 beveiligings camera s om de burger te controleren. Dit is opmerkelijk omdat George juist beschrijft in zijn boek dat we moeten oppassen voor regimes die ons controleren. Waarom stemmen we toe tot deze controle via camera s? Niemand vindt het fijn wanneer hij of zij ongewenst wordt gefilmed. Het voorkomen van ongezonde, gevaarlijke en risico vol gedrag is een milestone in de hedendaagse samenleving. De maatregelen hiervoor leggen onze vrijheid aan banden maar we zijn bereid om hiervan iets in te leveren als het grotere gevaar hierdoor uitblijft. Zoals een terroristische aanslag. Het gevaar ligt hem in het indringen van de privacy van de persoon. Kijk naar de U.S.A waar de NSA (National Security Agency) elke dag 1,7 miljard s, telefoontjes en andere communicatie traceert en bekijkt dit volgens de Washington post. Om al deze data te kunnen analyseren worden er grote datacenter aangelegd zoals het 1.2 miljard kostende NSA data center in Fort Williams, Utah. 17

18 Tijdens de komst van het internet kwam onze privacy ook al in het geding, we hebben door zelf geschreven regels deze privacy proberen te waarborgen. De vraag is of Big Data onze privacy nog meer in kwaad dag licht zal zetten? Ook werken vaak niet alle regels en maatregelen. Een veel voorkomend probleem zijn hackers. Deze kunnen ongewenste informatie bij databases en websites weghalen en deze openbaar maken of voor verkeerde doeleinden gebruiken. De manier waarop onze privacy in gevaar wordt gebracht is ook anders geworden. Vroeger werden mensen afgeluisterd om het individu te leren kennen. Vandaag de dag ligt dit anders, tegenwoordig worden mensen geanalyseerd op basis van hun relaties, online interacties en connecties met content. Niet alleen onze privacy loopt gevaar we lopen ook het gevaar beoordeeld te worden op iets wat we nog niet hebben gedaan. Momenteel is er al een research project in de U.S. van de departement of Homeland security genaamd Fast (Future Attribute Screening Technologie) waarbij er potentiële terroristen worden opgespoord door het monitoren van de lichaamstaal, vitale functies en Physologische patronen van willekeurig gekozen personen. Tijdens testen bleek het systeem 70 procent accuraat. Een ander voorbeeld is Richard Berk een professor van de universiteit van Pennsylvania. Hij heeft een methode bedacht waarbij hij gevangen die op verlof mogen kan beoordelen of ze zullen terugvallen. Uit testen bleek het systeem voor 75 procent correct 18. Dit zou betekenen dat rechters met deze analyse één op de vier gevangen onterecht hun verlof zou ontnemen Minority Report Dan komt al gauw de vraag moeten we zo n systeem inzetten om de veiligheid te waarborgen? 70 procent is een mooi getal maar de 30 procent die nog over blijft wordt dan beoordeeld op iets wat ze niet hebben gedaan maar op wat ze misschien gaan doen. De film Minority Report gaat over een agent in de toekomst. De moorden worden in de toekomst op basis van de drie helderzienden bepaalt voordat ze zijn gebeurd. Hierdoor kan de politie de moordenaars al oppakken voordat ze de moord hebben gepleegd. Doormiddel van een bal die uit een machine komt, zien de agenten wie de moord gaat plegen. Totdat op een dag de naam van de agent zelf uit de machine komt rollen. Dit terwijl hij zeker weet dat hij niet zal moorden. Achteraf blijkt dat er gerommeld is met de uitkomst van de machine. Door de helderziende te laten geloven dat de agent het heeft gedaan en niet iemand anders. Dit soort beschuldigen brengen de ideeën van eerlijkheid, gerechtigheid en vrije wil in het geding. 18

19 4.2. Case Netflix Big Data hoeft niet altijd persoonlijke gegevens te bevatten. Neem het voorbeeld van de USP auto s op pagina 13. Hier worden geen persoonlijk gegevens verzameld maar technische gegevens over de auto s. Dit neemt niet weg dat wanneer men geen persoonlijke data tot zijn beschikking heeft hier ook niet achter kan komen. In 2006 gaf Netflix een aanbieder van films en series 100 miljoen leen/kijk gegevens vrij van ongeveer een half miljoen gebruikers. Door een verbetering aan te geven voor het zoeksysteem van Netflix kon een team een prijs winnen. De teams gingen aan de slag waarbij de meeste teams waren gefocused op een nieuwe zoek manier voor Netflix. Echter probeerde 1 team met de gegevens erachter te komen of ze een persoon konden localiseren. Al gauw wisten ze op basis van de vrijgegeven gegevens een moeder te lokaliseren op basis van enkel de zoekgegevens en geen persoonlijk data. Deze moeder staat bekend onder de pseudoniem naam Jane Doe. Dit omdat de moeder Netflix heeft aangeklaagd wegens het verspreiden van persoonlijke data. De vraag is hoe heeft het team de moeder heeft kunnen lokaliseren? Het team had alleen kijk en leen gegevens en geen IP adressen of andere persoonlijke informatie. Het team heeft dit weten te volbrengen door de vrijgegeven data te vergelijken met andere data dat op het web te vinden was. Deze case laat goed dat je privacy eigenlijk continu in het geding is. Zonder dat men zeer persoonlijke informatie in handen heeft. Tot nu toe hebben we de gevaren, het lokaliseren, vooroordelen en persoonlijke informatie besproken. Er is echter ook een ander gevaar namelijk dat we teveel gaan vertrouwen op de data die we voor onze neus geschoteld krijgen. Wanneer we enkel en alleen op data gaan vertrouwen die voor onze neus ligt dan komen we in grote problemen. In de Vietnamese oorlog tussen de VS en Vietnam was een generaal die erg veel vertrouwde op informatie. Informatie was alles voor hem hij reageerde dan ook blind op de data die hij verkreeg. De officieren onder hem moesten de mannen tellen die ze bij elke aanval over hielden. Wanneer de officieren genoeg mannen terug brachten kregen ze een promotie. De officieren kregen al gauw in de gaten dat wanneer ze een beter getal op gaven dan het geval was, ze ook promotie kregen. Hierdoor klopte de informatie niet meer die de Generaal binnen kreeg. Op het moment dat de generaal er achter kwam was het te laat 18. Hier uit blijkt wel dat niet alle data correct is. Soms word data gemanipuleerd om het er beter uit te laten zien. En soms is data ook niet het belangrijkst. Als we altijd alleen naar de data zouden kijken dan waren Bill Gates, Mark Zuckenberg of Steve Jobs nooit aangenomen omdat ze niet de juiste papieren hebben. En soms is het ook goed als we improviseren omdat we niet altijd van te voren kunnen vaststellen of iets werkt of goed is. Apple had bij het lanceren van de ipad geen marktonderzoek gedaan. Hierdoor was het risico groot op het moment van het lanceren van de ipad. Echter door het goede gevoel dat ze bij de ipad hadden besloten ze om het toch te doen. Zoals we allemaal weten is dit een groot succes geworden. 19

20 4.3. Voorkomen We kunnen proberen te voorkomen dat Big Data niet tot erge privacy schending leidt. Echter moeten we hier dan wel duidelijke regels en voorwaarden voor opstellen. In de praktijk werken lang niet alle regels en beschermingen. Een goed voorbeeld hiervan is Google. Op het moment dat Google, Google maps introduceerde kwamen er al gauw klachten over de foto s die te zien waren bij de 3d optie van Google maps. Huiseigenaren waren boos dat hun huis op internet stond omdat hierdoor de huizen potentiële inbrekers doeleinden zouden worden. Google besloot om te voldoen aan de eisen van de groep huiseigenaren die een klacht hadden ingediend en besloot een functie toe te voegen aan de applicatie zodat de eigenaren van de huizen de foto blury (wazig) konden maken. De huiseigenaren waren tevreden en zorgden ervoor dat hun huis niet meer goed zichtbaar was op Google maps. Helaas voor de huiseigenaren was de pret gauw voorbij. Al gauw bleek dat inbrekers juist gingen inbreken bij de huizen die wazig waren gemaakt op Google maps. 20