Data gedreven innoveren, hoe doe je dat?

Transcriptie

1 Data gedreven innoveren, hoe doe je dat?

2 1990 Database Marketing 2000 Customer Intelligence 2010 BI & Data Warehouses Today: Big Data Analytics About me

3 Data Science Advanced Business Intelligence Big Data Engineering

4 TRUSTED BY

5 Data lab Data Factory Innoveren Ontdekken Creativiteit Produceren Borgen Beheersbaarheid

6 Big Data Innovatie Aanpak Data lab Data Factory Top 3

7 Van waardevol idee naar waarde propositie

8 Woninginbraak Voorspeller Waarde Benefits: Een dag vooruit voorspellen in welke wijk er verhoogde kans op inbraak is Experience: Heatmap met inbraakkans van de dag. Projecteren in briefing room Dienst Handhaving Wants: Handhaven waar het relevant is Geclusterde ideeën Value Proposition Features: Hoeveel inbraken zijn er te verwachten in de verschillende buurten op basis van veranderende omstandigheden (inbraken in de buurt, weer, evenementen) & kenmerken (woning, buurt) Needs: Weten waar en wanneer ingebroken wordt Fears: Niet op het juiste moment op de juiste plek zijn

9 Van waarde propositie naar uitvoerbaar experiment

10 CRISP-DM Cross Industry Standard Process for Data Mining Cyclisch proces Onderscheid verschillende stappen Geeft houvast voor resourcing, tooling, skills

11 Business understanding Begrijpen van de business uitdaging Vertalen in een Datamining aanpak Definiëren van succes factoren Bijvoorbeeld: Kunnen we voorspellen welke klanten gaan weglopen? Welke factoren zijn bepalend? Gedrag Persoonseigenschappen Omgevingseigenschappen

12 Data Understanding Welke data lijkt relevant? Welke data is beschikbaar? In welke vorm, kwaliteit, historie, dichtheid? Eerste data exploratie kan al verrassende inzichten bieden

13 Data collection sources Transactional Structured Data Time phased data CRM Unstructured Data Social Channel Customer Service Warranty Sensor Data Temperature RFID GPS Accelerometer Other Data Types Mapping and GPS Video Voice Digital images

14 Data Preparation Opschonen, koppelen en prepareren van de data = 80% van het werk! En: Verschillende modellen vragen om verschillende data representaties Omgaan met verschillende data types, missing values, normaliseren Select, clean, transform, join

15 Modeling Data Mining Verschillende modellen uitproberen Trade-off: Performance Toepasbaarheid Begrijpelijkheid

16 Evaluation Evalueren van voorspelkracht en fit met de business doelen Tunen en verbeteren Interpretatie van het model Hot: Combineren van verschillende modellen op verschillende stukken data (ensemble modelling)

17 Deployment Implementatie, in produktie brengen Onderdeel maken van (geautomatiseerd) bedrijfsproces Continue datafeed nodig Modellen leren bij op nieuwe data Voorbeelden: Next best action adviseren aan call center medewerker Geautomatiseerd aansturen van banners

18 PROJECTVOORBEELD

19 Voorspellen woninginbraak Doel Hoeveel inbraken zijn er te verwachten in de verschillende buurten op basis van veranderende omstandigheden (inbraken in de buurt, weer, evenementen) & kenmerken (woning, buurt) Toepassing Het aantal te verwachten inbraken vertalen naar: Gerichte inzet van toezicht & handhaving Voorlichting kwetsbare groepen en buurten Gericht preventief beleid, samen met partners (politie, corporaties) Inrichting nieuwe wijken

20 Business Understanding Wat weten we van Panden en hun omgeving? Wat zijn volgens domeinexperts belangrijke factoren bij het kiezen van een inbraaklocatie en tijdstip? Privacy Wat mogen we weten van inbrekers en hun gedrag? Data Understanding Basisregistratie Adressen en Gebouwen (BAG) Basisregistratie Personen (BRP, voorheen GBA) Demografie (leeftijd, geslacht, opleiding, inkomen..) Locaties lantarenpalen & groen Aanwezigheid kliko s Camera locaties Bewonersmeldingen openbare orde Woninginbraakmonitor ( ) Politie Dagmonitor ( ) Politie Politiekeurmerk Veilig Wonen uitgiftes Weersomstandigheden ( ) per dag, per uur & per wijk: KNMI Evenementenkalender, vakanties, feestdagen

21 Modeling Evaluation Modeleren en Evalueren

22 Van voorspellen naar bruikbare informatie Dashboarding: Heatmap van voorspellingen Trends Invloed van maatregelen inzichtelijk maken Relevante variabelen per buurt Statistieken van voorgaande inbraken Methodiek, tijdstip, etc. Uiteindelijk draait het om de eindgebruiker Wat is nuttig?

23 Data lab Innoveren Ontdekken Creativiteit DATALAB NADER BEKEKEN

24 Wat komt er kijken bij een Big Data experiment Waardevolle ideeën Domeinkennis Data Data Science kennis Mensen Middelen -> Opleidingen -> Trainees -> Het Datalab!!

25 Het lab in de vorige eeuw

26 Een Datalab Veilig en snel experimenteren Rendement uit Data en Data Scientists Samenwerking, best practices sharing, Code and Data sharing (hergebruik van code en data) Meer tijd voor Data Science (minder IT gedoe) Drempel verlagen naar in productiename

27 Data verzamelen Structured Transactional Data Time phased data CRM Unstructured Data Social Channel Customer Service Warranty Sensor Data Temperature RFID GPS Accelerometer Other Data Types Mapping and GPS Video Voice Digital images

28 Data structureren

29 Een activity log Zien wat je collega s doen

30 Code Best practices delen Datasets

31 Visuele tools versus command line

32 Radoop = RapidMiner + Hadoop RapidMiner: Code Free Analytics on Hadoop

33 DataLAB Ontwerpt u mee? [email protected] Ontwerp je lab Jullie wensen Functionaliteit Hosting naar keuze Aan de slag Met experimenten aan de slag Hergebruik van data en code Data Science support Onbeperkt opschalen van opslag en rekenkracht Data etalage Gemeentelijke data Weer en evenementen Social Media.

34 Hard working and having fun