Bestrijd illegale houtkap en red het regenwoud met HANA

Transcriptie

1 Bestrijd illegale houtkap en red het regenwoud met HANA Expertum NL, RFCx, SAP Dirk Kemper en Eline Bangert 14 Mei 2019

2 Oktober SAP Run Live Truck Doel: App voor de rangers - Prototype binnen 5 dagen - SAP Cloud Platform - Geen koppeling met systeem RFCx - Eerste opzet Predictive Analytics

3 December Vervolg op prototype Functionele doelstellingen: Ontwikkel app die compleet geïntegreerd is met RFCx landschap: Ontvangt automatisch de geclassificeerde geluidsopnamen van de Guardians Stuurt alerts naar de rangers in de app Koppeling systemen RFCx Maak de predictive algorithms deel van de setup; kunnen we een kettingzaag voorspellen? Systeem: Sap Cloud Platform: Cloud Foundry

4 Systeemlandschap Rainforest Connection (AWS) SAP Cloud Platform (SAP) Sound metadata REST API High probability data SAP HANA (with predictive analytics) RFCx Sound Analysis Alerts SAP XS Advanced APL/PAL Sound streaming Predictive alerts Perception Cognition App Dashboard

5 Classificatie geluid Classificeren van de geluiden gebeurt middels een TensorFlow Framework aan kant van RFCx TensorFlow is een deep learning framework van Google dat zeer geschikt is voor beeldherkenning Geluidsopnamen worden geknipt in fragmenten van 2 seconden die worden vertaald naar een spectrogram Tensorflow classificeert door middel van beeldherkenning: 4 klassen: chainsaw, vehicle, amazon en macaw

6 Voorbeeld spectrogram Kleur is geluidsintensiteit Kettingzaag geeft herkenbaar golfpatroon Geluidsfrequentie op y-as Tijdsverloop op de x-as

7 Voorspellen kettingzaag Kunnen we een kettingzaag voorspellen op basis van geluiden voorafgaand aan de kettingzaag? Zegt de volgorde van verschillende geluiden iets? Is de timing van de geluiden van belang? Zijn andere factoren van belang? Tijd van het jaar Moment op de dag Locatie

8 Alerts sturen Rangers ontvangen een alert als het model voorspelt dat er een kettingzaag aankomt Dit gebeurt als het predictive framework dit met een bepaalde zekerheid voorspelt Push naar RFCx systemen update in app en dashboard

9 App - controle door rangers Rangers krijgen een pushbericht op de app Kunnen het geluidsfragment beluisteren en handmatig aangeven of de voorspelling correct was Deze informatie verbetert de kwaliteit van de voorspellingen

10 Dashboard

11 PAL en APL architectuur

12 Infrastructuur Door SAP is een Cloud Foundry systeem aangeleverd voor dit project (ontwikkelomgeving) HANA-systeem met XS Advanced Voor predictive functionaliteiten is gebruik gemaakt van APL en PAL Beide zijn frameworks voor in-database analytics Add-ons op standaard HANA systeem APL is door SAP additioneel geinstalleerd, PAL is standaard aanwezig in HANA

13 Predictive Analytics in HANA

14 Predictive Analysis Library (PAL) PAL is een in-database framework met 90+ veelgebruikte predictive analytics algoritmen in diverse categorieen Draaien in de HANA database zodat gebruik gemaakt kan worden van de hardware sizing

15 Automated Predictive Library (APL) APL is een library die diverse predictive taken beschikbaar maakt voor business users zonder dat hiervoor zeer gespecialiseerde data science kennis nodig is Kan als aparte add-on geinstalleerd worden op HANA Neemt bij classificatie diverse taken over die normaal apart gedaan moeten worden: Selectie van meest relevante variabelen Data preparatie, bv. codering van categorische attributen Afhandeling van missende waarden Verwijderen van outliers Interne selectie van meest optimale model Modellering is nonparametrisch en verloopt volledig automatisch

16 Projectaanpak en methodologie

17 CRISP-DM Proces

18 Business Understanding Guardian vangt geluidsfragmenten op Geluidsfragmenten worden geclassificeerd door TensorFlow Gelabelde fragmenten worden naar HANA gestuurd

19 Data Understanding Data met timestamp van-tot met class label Elke guardian heeft zijn eigen ID en coördinaten Binnen 1 locatie zijn er meerdere guardians (Tembe heeft er 15) Elk geluidsfragment heeft zijn eigen ID site guardian_id audio_guid Lat Lon sample_value confidence tag_begins_at tag_duration tembe c9d541166e12 79ac448c a d1694c18c -1, , vehicle 0, feb :46: tembe c9d541166e12 79ac448c a d1694c18c -1, , amazon 0, feb :46: tembe c9d541166e12 79ac448c a d1694c18c -1, , chainsaw 0, feb :46:

20 Data preparation Numeriek maken van de data Datum Latitude/Longitude Transpose Vehicle Delta vehicle Macaw Delta Macaw Amazon Delta Amazon -6 14:40-14: :41-14: :42-14: :43-14: :44-14: :45-14: :46-14:47 Chainsaw 1-4 ID LAT LON YEAR MONTH DAY_OF_ MONTH MINUTE CHAINSAW SUM_MACAW SUM_VEHICLE SUM_AMAZON SUM_MACAW _1 SUM_VEHICLE _1 SUM_AMAZON _1 SUM_MACAW _2 SUM_VEHICLE _2 SUM_AMAZON _2 1, , , ,

21 Classificatie Het voorspellen van een kettingzaag is een classificatieprobleem Classificatie is een specifiek type predictive algoritme dat gebruikt wordt voor bekende cases: Classificeren van als spam / non-spam Classificeren van creditcardbetalingen als frauduleus / non-frauduleus Het concept is dat iedere keer dat een nieuw geluidslabel ontvangen wordt op basis van voorliggende events gekeken wordt of het binnenkomende geluidsfragment wel/niet een kettingzaag voorspelt over 1 minuut

22 Algoritmen voor classificatie Classificatie is een van de meest voorkomende problemen in predictive analytics Er is een groot aantal algoritmen dat hiervoor gebruikt kan worden, waaronder: Logistic regression Naive Bayes Decision tree Support Vector Machine Neural networks (multilayer perceptron) De APL bevat een proprietry implementatie van een classificatiealgoritme

23 Build and apply

24 Bouwen van het model - Leerfase

25 Modeling Het modelleren bestaat uit het trainen van de algoritmen op de trainingsdata Dit is zowel met de APL als met de PAL gedaan zodat er twee modellen parallel draaien APL Auto classification PAL Logistic regression

26 Evaluation Model performance KI Accuracy: hoe goed is het model gefit op de training set? KR Robustness: hoe goed presteert model op de test set, dus op toekomstige data? Contributie per variable

27 Evaluation Illegale houtkap is seizoensgebonden Minder houtkap in het regenseizoen Meer houtkap vlak daarvoor

28 Deployment Hertrainen Iedere week wordt het model hertraind Daarbij wordt gecontroleerd of de performance van het nieuwe model beter is dan het oude Indien dit het geval is wordt het nieuwe model gebruikt voor toekomstige voorspellingen Achtergrond Ieder model is een momentopname van de historische data die op dat moment voorhanden was. Naarmate de tijd vordert bestaat er een mogelijkheid dat het model niet meer past bij de meest recente gegevens

29 Questions?