Big data in realtime naar actiegerichte inzichten Dat bedrijven steeds meer data generen is een feit. Dat het moeilijk is om verschillende datasets bij elkaar te brengen en hier in realtime inzicht in te krijgen helaas ook. Maar Facebook, NASA, ebay en Goldman Sachs lukt het wél om verschillende databronnen dagelijks gemakkelijk en snel te analyseren. Wat hebben ze gemeen? Ze gebruiken het open source Elasticsearch in de cloud.
De wereld verandert snel en mensen en machines zijn steeds meer met elkaar verbonden. Hierdoor wordt exponentieel meer digitale voetafdrukken achtergelaten. Organisaties die concurrerend willen blijven, zullen ze deze stroom data zo snel mogelijk moeten omzetten naar actiegerichte inzichten. Dat blijkt in de praktijk niet gemakkelijk omdat data vanuit veel verschillende bronnen komt. Hoe maak je van big data zo snel mogelijk fast data? Combineren van datastromen grootste uitdaging Organisaties en klanten genereren bijvoorbeeld transactiedata uit CRM-platformen, e-maildata, Twitter feeds, LinkedIn-gegevens en geografische data. Elke dag worden er gigabytes, door sommige bedrijven zelfs petabytes, van dit soort gegevens geproduceerd. Denk bijvoorbeeld aan hoeveel verschillende soorten data een spel als Pokémon Go per minuut oplevert. Traditionele databases, SAP- en SQL-omgevingen kunnen zulke enorme hoeveelheden verschillende data niet aan. Vaak zijn er wel niche platformen die een deel van deze data kunnen doorzoeken en analyseren, maar dan heb je nog steeds verschillende dashboards. Hierdoor zijn bedrijven nog steeds beperkt in het combineren van de datastromen. Vragen worden daardoor niet beantwoord en potentiële kansen die alle data biedt, worden niet benut. Hoe sneller er antwoord is op vragen hoe beter. Veel banken schoten tijdens openbaring van de Panama Papers in de stress. In de enorme datahoeveelheid zouden toch geen klanten staan die op een nadelige manier met hun bedrijf in verband gebracht konden worden? Banken waren huiverig om naar de publieke site te gaan, want bezoek wordt geregistreerd door het journalistencollectief. Daarom kozen banken ervoor om in één keer alle Panama Papers in Microsoft Azure te downloaden en te analyseren met het open source Elasticsearch, onderdeel van de Elastic Stack. Hiermee konden ze in zeer korte tijd zien of er klanten van hun in de documenten stonden en hoe ze waren gerelateerd. Met deze informatie konden nog dezelfde dag aan damage control doen.
Voordelen voor de business Onder andere Netflix, Facebook, NASA, Verizon, ebay en Goldman Sachs maken op grote schaal gebruik van de Elastic Stack. Don Duet, co-hoofd technologie van Goldman Sachs, noemt Elasticsearch een van de vijf belangrijkste technologieën die ze gebruiken. Dit omdat ze met één platform heel veel verschillende use cases kunnen inzetten. Van security, operational log-management tot enterprise search voor e-commerce sites. Zo maken duizenden medewerkers van Goldman Sachs gebruik van de Elastic Stack bij development, human resource management, security en aandelentransacties. Omdat Elasticsearch petabytes in milliseconden kan doorzoeken, is een enorme tijdwinst te behalen. Daarnaast verloopt het inladen, de opslag, het indexeren, doorzoeken én de rapportage via één platform. Dat verlaagt overheadkosten en daarnaast hoeft alleen te worden betaald voor support omdat de stack open source is. Goede partner voor startups Niet alleen vanwege het kostenaspect is Elastic ook zeer populair bij startups. Het leeuwendeel van de developers kunnen direct met het platform praten. Het maakt namelijk niet uit welke programmeertaal je onder de knie hebt. Je kunt Elastic aanspreken in alle gangbare programmeertalen als Java, C,.NET, Perl of PHP. Dat zorgt voor een enorme comfortzone voor developers. Developers van startups omarmen daarnaast Elastic omdat het flexibel is in te zetten. Of het nu systeemdata is, e-maildata of gps-achtige data, je kunt het er allemaal in kwijt. Daar plukt de startup Logmatic.io de vruchten van bij het bijna realtime monitoren van het internet op klantgerelateerde informatie. Omdat het platform multifuntioneel, is het flexibel in te zetten. Dat is handig als de businesscase zich steeds verder verbreedt en meer datastromen meegenomen moeten worden in de analyse. Daarnaast is het zeer snel live. Zeker als je Elastic vanuit Microsoft Azure draait. Deze clouddienst van Microsoft kun je aanzetten en direct gebruiken. In tegenstelling tot vroeger, hoeft er geen hardware meer te worden aangeschaft die moet worden beheerd. Twee tot vijf maanden opbouwen is niet meer nodig, want in enkele uren staat de productieomgeving klaar voor gebruik. Vanuit de Microsoft Azure Market klik je de gewenste template aan, stel je enkele parameters in en verloopt de uitrol voor de rest automatisch. Een beetje handige developer heeft binnen een uur een wekende omgeving.
Flexibiliteit handig voor de groei en de kosten Het is vaak lastig te voorspellen hoeveel data er in de toekomst gegenereerd gaat worden en is er sprake van piekbelasting omdat er bijvoorbeeld aan het einde van de maand rekeningen moeten worden opgemaakt. In een traditionele on premise-omgeving wordt ingekocht om deze piekbelasting op te vangen. Hierdoor is er sprake van een constante overcapaciteit. Binnen Azure is de capaciteit op gebied van opslag en rekenkracht eenvoudig en direct met schuifjes te vergroten of te verkleinen. Er hoeft dus niets verder geprogrammeerd te worden of extra hardware in de systeemkast te worden toegevoegd. Dit vergroot de flexibiliteit enorm en dankzij pay per use betaal je alleen wat je daadwerkelijk gebruikt. Open source zoals open source bedoeld is Elastic blijft trouw aan de open source-gedachte en gaat vooral voor kennisoverdracht: hoe het platform te gebruiken. Ze willen geen consultancy club worden. Daarom wordt het basispakket als open source aangeboden met uitgebreide documentatie op de website zodat je direct aan de slag kunt. Voor wie ondersteuning zoekt zoals break and fix, clustermigratie, performanceverbetering of learning on the job kan een abonnement afsluiten. Hiermee krijgt de abonnee ook toegang tot de extra features zoals: Security, Alerting, Reporting en Graph. Alle communicatie gaat bij voorkeur laagdrempelig via videochat zodat het voelt alsof je er een collega bij hebt. Elasticsearch kan via een template op de Azure Marketplace eenvoudig geïnstalleerd worden.