Datamining: Graven in gegevens

Transcriptie

1 Datamining: Graven in gegevens Business Intelligence in de praktijk Jasper Lansink CMG Noord Nederland - Advanced Technology

2 Agenda Business Intelligence Datamining theorie Datamining in de praktijk

3 management rapportage fraude-detectie HOLAP datamining decision support multidimensionale databases MOLAP datamarts operational datastore MIS ROLAP balanced scorecards KDD datawarehouse kennismanagement transformatie metadata OLAP EIS MDBMS 1-to-1 marketing

4 Wat is Business Intelligence? MOLAP KDD datamining Analyse ROLAP HOLAP OLAP transformatie datawarehouse Gegevens datamarts operational verzamelen datastores MDBMS fraude-detectie 1-to-1 marketing een voortdurend kennismanagement zoekproces Beheer naar kennis en planmatig uitgevoerd en inzicht over metadata het bedrijf Bedrijfsvoering management rapp. balanced scorecards decision EIS support MIS

5 Waarom Business Intelligence? Steeds meer gegevens, steeds minder informatie Uitbuiten verborgen informatie en kennis Juiste informatie, juiste plek, juiste tijd Snellere besluitvorming 24-uurs economie Time-to-market Concurrentiedruk Optimalisering bedrijfsvoering When I receive the financial reports, I am either happy or upset, but hardly am I smarter

6 Perspectieven Kennis Informatie Data

7 Incrementele aanpak Pilot Evaluatie Definitie Analyse Eerste Increment Ontwerp Invoering Test Bouw Tweede Increment

8 Agenda Business Intelligence Datamining theorie Wat is datamining? De technieken Randvoorwaarden Toepassingen Datamining in de praktijk

9 Datamining: definitie Datamining is de non-triviale extractie van impliciete, voorheen onbekende en nuttige kennis uit data

10 Datamining: definitie Datamining is de non-triviale extractie van impliciete, voorheen onbekende en nuttige kennis uit data

11 Datamining: definitie Datamining is de non-triviale extractie van impliciete, voorheen onbekende en nuttige kennis uit data

12 Datamining: definitie Datamining is de non-triviale extractie van impliciete, voorheen onbekende en nuttige kennis uit data

13 Datamining: definitie Datamining is de non-triviale extractie van impliciete, voorheen onbekende en nuttige kennis uit data

14 Datamining: definitie Datamining is de non-triviale extractie van impliciete, voorheen onbekende en nuttige kennis uit data

15 Technieken Methode Visualisatie Statistiek Beslissingsbomen Neurale netwerken Genetische algoritmen

16 Methode B.v. SEMMA van SAS Institute Sample Explore Modify Model Assess dataset bepalen, steekproef gegevens verkennen gegevens aanpassen analyseren en modelleren evalueren resultaten

17 Beslissingsbomen 1000 groep F G 48% 52% 48% 52% 350: : Varkens F G 70% 30% 35% 15% 500 Geen Varkens F G 26% 74% 13% 37% 60:40 290:110 2:48 128: Buiten Conc. gebied F G 60% 40% 6% 4% 400 Conc. gebied F G 72% 28% 29% 11% 50 Kippen F G 4% 96% 0% 5% 450 Geen Kippen F G 28% 72% 13% 32% 5: Runderen F G 100% 0% 0% 0% 195: Runderen F G 65% 35% 20% 10% 90:5 95 > 20 Runderen F G 95% 5% 9% 0%

18 Neuraal netwerken

19 Randvoorwaarden Interactie met primaire proces Kwaliteit en beschikbaarheid gegevens = Datawarehouse Expertise Materie-deskundigheid Gegevensdeskundigheid Datamining-deskundigheid

20 Gebruik datawarehouse Datamining eisen wijken af van toepassingen zoals management informatie en database marketing Nog groter belang schone gegevens Platte gegevens i.p.v. berekende gegevens Eventueel relevante gegevens afleiden Vooral numerieke gegevens bruikbaar Numerieke gegevens classificeren

21 Toepassingen Direct marketing door Customer profiling Winkel-layout Aandelen-koers analyse Risico-analyse Performance-optimalisatie Frequent flyer acties Fraude detectie

22 Agenda Business Intelligence Datamining theorie Datamining in de praktijk

23 De probleemstelling Hoe/waaraan herken je een agrariër die de wet overtreedt? Waarom is dat belangrijk? agrariërs en agrarische bedrijven Steeds complexere regelgeving Beperkte controle capaciteit Non-conformisten controleren en pakken Conformisten impliciet controleren

24 De context Ministerie van LNV Bureau Heffingen => Uitvoering Algemene Inspectie Dienst (AID) => Handhaving Mestwetgeving Beperken mestproductie en milieuvervuiling Registratie mestproductierechten Aangifte mestproductie Overproductie? Betalen! Systematiek vergelijkbaar met belastingdienst

25 De handhaving Controles op 4 niveaus: Accountantscontrole (in doelgroep zelf) Administratieve verwerking Bureau Heffingen Datamining: Selecteren verdachte relaties Controle (desk, fysiek) door AID Doel: Niveau handhaving moet vergelijkbaar zijn met belastingdienst (gemiddelde controle 1x per 6 jaar) Geen extra controleurs nodig

26 Het concept: Dataminingwiel Datawarehouse Extraheren van dataset uit DW Dataset Verwerken controleresultaten in DW MINEN Kennis Gegevens Controleresultaten Analysemodel Uitvoeren van controles Vertalen van analysemodel in controlespecificaties Selecties van bedrijven

27 De incrementele aanpak Incrementen van 8 weken 8 incrementen gedefinieerd t/m juni paralleltrajecten Datawarehouse realisatie Aansturing / analyse / modellering Datamining (2 dataminers) Per increment: Vaste stappen / producten / interactie tussen trajecten Beschikbare gegevens opgedeeld Additionele onderwerpen bepaald

28 Visualisatie (1) Histogram: Aantal hectare vs. Aantal varkens => geen verband

29 Visualisatie (2) Histogram: Kilogram mest vs. Aantal varkens => Verband

30 Statistiek (1) Regressie: Aantal hectare vs. Aantal varkens => Geen verband

31 Statistiek (2) Regressie: Kilogram mest vs. Aantal varkens => Verband

32 De uitdagingen (organisatorisch) Inrichten van het gehele proces Hoe blijft het wiel draaien? Voorbereiden van de organisatie Datamining is geen bedreiging Kennis vergaring en vertaling naar datamining Business Intelligence, Kennis management Vinden van goede dataminers

33 De uitdagingen (m.b.t. gegevens) Integratie van twee bronnen (relatiebeheer!) Vervuiling gegevens Voldoen aan regels der statistiek Bepaling fraude begrip Verkrijgen minebare gegevens Veranderende brongegevens Is er wel wat te vinden?

34 Vragen