Aan de slag met data science Lessen uit de praktijk met waterschap Zuiderzeeland

Maat: px

Weergave met pagina beginnen:

Download "Aan de slag met data science Lessen uit de praktijk met waterschap Zuiderzeeland"

Anneleen de Vos
4 jaren geleden
Aantal bezoeken:

1 Aan de slag met data science Lessen uit de praktijk met waterschap Zuiderzeeland

2 Wij zijn Lisette van Beusekom Field Expert data science & water bij Ynformed Eric Deiman Teamleider Waterketen bij Zuiderzeeland 2

3 Intro Twee projecten op gebied van data science: Inzicht in effect van een bui op de waterstand in Noordoostpolder (12 uur vooruit) Inzicht in de oorzaken van discrepantie Focus op het project waarbij we tegen verschillende issues aanliepen (en dus veel van hebben geleerd) Deze lessen willen we delen: waar moet je rekening mee moet houden als je aan de slag gaat met data science 3

4 Meer data en rekenkracht 4

5 Data is inherently dumb. It doesn t actually do anything unless you know how to use it; how to act with it. Algorithms are where the real value lies. Algorithms define action. Peter Sondergaard, Global Head of Research, Gartner

7 Waterschap Zuiderzeeland zal de komende jaren inzetten op meer (online) meten en gaat werken aan een doordachte visie op data in de waterketen. 7

8 1. Start met een helder doel Zomer

9 Impact met data science Vraag Aanbod Ik wil iets met big data.. Ik wil voorspellen.. Stop mijn data in een machine en los mijn problemen op Dit is een gaaf inzicht, maar niet waar ik op zit te wachten Dus ik moet nog meer data gaan registreren? Met data kan het goedkoper, beter, sneller Ja er is zoveel data: je kan alle kanten op Ik kan alleen iets doen, als jij een scherpe vraag stelt Alleen bij een gedegen vraaganalyse kan ik aan de slag Hier is het inzicht, veel succes ermee Je begrijpt nog steeds niet wat er wel en niet kan met data science

10 Wat had het resultaat moeten zijn? Hoe de klant het uitlegde Hoe de projectleider het begreep Hoe de analist het ontwierp Hoe de programmeur het schreef Hoe de business consultant het omschreef Hoe het project was gedocumenteerd Hoe het was geïmplementeerd Hoe de klant was gefactureerd Hoe het werd ondersteund Wat de klant echt nodig had

11 Wat wil ik DOEN? (en niet: wat wil ik weten )

12 Hoe ging het in de praktijk? 12

15 Werkwijze huidig Data: VE gegevens GBLT (jaarlijks) IE metingen AWZI (x aantal, Nkj/CZV/debiet) Debieten gemalen (m3/dag) Neerslag gegevens (mm/dag 15

16 De gestelde vraag Vraag Aanbod Hoofddoel: De vervuiler betaalt Doel project: Door toepassing van data science tecnieken discrepantie-analyse slimmer kunnen doen, zodat het: - minder tijd kost - ons meer inzicht geeft in de oorzaak en oplossing

17 1. Start met een helder doel Zomer

18 2. Welk inzicht heb je daarvoor nodig? Oktober

19 Van data naar inzicht

20 Wie heeft wat nodig? om wat te doen? Scherp geformuleerd? Operationaliseerbaar? Relatie handelingsperspectief? Businessopgave? Concrete actie in concreet proces? Realiteit?

21 Hoe ging het in de praktijk? 21

22 Gestelde vragen Kunnen we IE s voorspellen met behulp van andere parameters dan Nkj, CZV en debiet? Hoe kunnen we alle informatie die we ter beschikking hebben slim ontsluiten en inzichtelijk maken? Scherp geformuleerd? Operationaliseerbaar? Relatie handelingsperspectief? Businessopgave? Concrete actie in concreet proces? Realiteit?

23 2. Welk inzicht heb je daarvoor nodig? Oktober

24 3. Aanpak bepalen en toetsen November

25 Fail fast & fail cheap: een proof-of-concept Wat is het kerninzicht waar de oplossing om draait? Hoe kunnen we zo simpel mogelijk aantonen of/ hoe goed dit kan? Wat is haalbaar binnen de gereserveerde tijd? Welke databronnen en bewerkingen zijn minimaal nodig? Hoe ziet de oplossing eruit die je gaat opleveren (mock-up, gebruik)? 5 6 6

26 Hoe ging het in de praktijk? 26

27 Initiële opzet: hoogfrequentere IEvoorspelling VOORSPELMODEL Influentdebiet Sensordata/ energieverbruik CzV/ Nkj monsters VOORSPELLEN VAN IE OP MOMENTEN ZONDER CZV & NkJ Meteo-gegevens

28 Mock-up selecteer laag selecteer periode Afwijkend IE Mogelijk afwijkend Normaal IE HRG LUTTELGEEST

29 Stel deze vragen en reserveer tijd Welke parameters meten we? Met welke frequentie? Bewaren we alle data? Waar bewaren we wat? Valideren we data? Is data volledig? Kun je trendbreuk in data verklaren? Per AWZI verschillende parameters Meetfrequenties verschillen Beperkte data opslag In de kelder (historian) Niet alles is gevalideerd Incompleet Niet altijd aanwijsbaar 29

30 Te weinig data voor een voorspelmodel IE VOORSPELMODEL Influentdebiet Sensordata/ energieverbruik CzV/ Nkj monsters VOORSPELLEN VAN IE OP MOMENTEN ZONDER CZV & NkJ Meteo-gegevens

31 Uiteindelijke opzet 1. Voorspel sensorwaarden (zuurstof, ph, droge stof en energieverbruik) per AWZI die gerelateerd zijn aan vuilvracht en detecteer afwijkingen daarop 2. Maak laagfrequente VE-data inzichtelijk in dashboard 31

32 3. Aanpak bepalen en toetsen November

33 4. Data analyse & ontwikkeling December

34 5 6 6

35 Hoe ging het in de praktijk? 35

36 Nog 3 weken voor ontwikkeling 22 voorspellingsmodellen getraind om sensorwaarden te voorspellen Als de werkelijk gemeten waarde teveel afwijkt van de voorspelde waarde, is er mogelijk iets aan de hand, bijvoorbeeld: Vuiler water dan verwacht Data klopt niet Sensor kapot 36

37 En weer naar de tekentafel 37

38 5. Data analyse & ontwikkeling December

39 6. En dan.. Proofof-Concept (of niet) Januari

40 Beoordelen van het resultaat Wat was de doelstelling? GO NO/GO Pilot in de praktijk met eindgebruiker O.a. ophalen feedback en benodigdheden implementatie Wat te doen om het wél te laten werken? Terug naar de vraagstelling 40

41 Hoe ging het in de praktijk? 41

42 42

43 IE-meting ook hoog? Afwijking: voorspelde waarde is lager dan meting. Vuiler water dan verwacht Data klopt niet Sensor kapot 43

44 44

45 45

46 Het resultaat Kunnen we IE s voorspellen met behulp van andere parameters dan Nkj, CZV en debiet? NEE Te weinig beschikbare data om verbanden vinden of IE te kunnen voorspellen Hoe kunnen we alle informatie die we ter beschikking hebben slim ontsluiten en inzichtelijk maken? JA Demo van een dashboard, geslaagd resultaat. BIoplossing. 46

47 6. En dan.. Proofof-Concept (of niet) Januari

48 7. Hoe verder? Feruari

49 Waterschap Zuiderzeeland zal de komende jaren inzetten op meer (online) meten en gaat werken aan een doordachte visie op data in de waterketen. 49

50 Uitsmijters & vragen Voor meer info over de andere case (effect van een bui op waterstand), kom naar stand nr

51 Volg ons online op:

Vergelijkbare documenten

Ynformed. Data science oplossingen met impact

Ynformed. Data science oplossingen met impact Ynformed Data science oplossingen met impact Wat gaan wij doen? Komende 45 min: 1. Introductie data science 2. Data science toepassingen 3. Relevante tips Doelstelling Zicht op concreet en uitvoerbaar