Business Intelligence in Lier

Transcriptie

1 Business Intelligence in Lier LUC JANSSENS DATA-, -ANALYSE- & GIS-COÖRDINATOR STAD EN OCMW VAN LIER

2 1: Data, Informatie & Intelligentie

3 1. Data, Informatie & Intelligentie Operationele Omgeving Niet- of thematisch gestructureerd Kennis, kasten & computers Data Gestructureerde verzameling van gegevens Informatie Gestructureerde presentatie, rapportering en distributie. Lijst, grafiek, kaart, statistiek Info voor andere systemen Intelligentie Gegevens en hun onderlinge relaties Alarmering & Dashboards

4 1. Data, Informatie & Intelligentie Operationele Omgeving: Kennis Zit in hoofden van mensen Thema per thema in kaart brengen Niet- of thematisch gestructureerde gegevens BPMN als notatie voor formaliseren van processen Empowerment van de specialist om zijn expertise toegankelijk en herbruikbaar te maken Kasten Uitkuisen, Archiveren Digitaliseren in archiveringsformaat (PDF-A; TIFF-CCITT-G4) Digitale inventarissen die voor verdere automatisering bruikbaar zijn Computers Een veelvoud van formaten, toepassingen, al dan niet open, gestructureerd of ronduit rommel Structuur en toegang tot deze data en toepassingen optimaliseren Interactie met leverancier en IT-dienst

5 1. Data, Informatie & Intelligentie Data: Gestructureerde verzameling van gegevens Noden Collectie Wat willen we analyseren, rapporteren, alarmeren, informeren, In welke vorm willen we dit doen Vastleggen van een data-model Collectie: Gegevens verzamelen vanuit een veelvoud van bronnen Processing Processing: Cleaning: Exploitation: Gegevens opmaken naar het gewenste data-model Foutieve, irrelevante, dubbele, incomplete data Absoluut, statistisch filteren, stochastisch filteren Presentatie, BI, Rapportering, Papier, GIS,

6 1. Data, Informatie & Intelligentie Informatie: Gestructureerde presentatie, rapportering, distributie Informatie Wie, Wat, Waar, Wanneer, Waarom en Hoe Analysetools, Papier, GIS, uitwisseling met systemen, instanties Analyse & Productie Beschrijvende statistieken (Mediaan, gemiddelde, trend) als hulpmiddel bij het begrijpen Data-visualisatie en data-exploration Intelligentie Gegevens en hun onderlinge relaties Focus op het essentiële in zijn context Alarmering & Dashboards

7 2: Technieken & Producten

8 2: Technieken & Producten Technologische Keuze Technologische keuze BPMN ETL RDBMS BI BI Reporting Bizagi FME PostGreSQL & PostGIS QlikView & GeoQlik nprinting

9 2: Technieken & Producten BPMN Business Proces Model & Notation Bizagi Modeler

10 2: Technieken & Producten ETL Extract Transform Load FME Desktop

11 2: Technieken & Producten Centraal Data Warehouse PostGreSQL + PostGIS / Meta-Data Statistieken 1 Centraal Data-Warehouse GIS - Gegevens AutoCad Veldopmetingen Luchtfoto s Scans Remmicom CIPAL Extern WebForms Google Maps

12 2: Technieken & Producten Data Analyse / Dashboard / Samenwerking QlikView GeoQlik

13 2: Technieken & Producten Data Rapportering QlikView nprinting

14 3: Datamodel FACTS & DIMENSIONS

15 3: Datamodel: Facts & Dimensions What s the Answer to the Ultimate Question of The Life, The Universe and Everything? 42

16 3: Datamodel: Facts & Dimensions Data - Opslag File Databases (Excel, ) Beperkte invoer, geen Geo-functies, relaties tussen gegevens zijn moeilijk, beperkt aantal records Relationele Database (MicroSoft, Oracle, PostGIS, DB2, ) Zijn in de meeste organisaties al voorhanden Voor Geo-Data heeft men een Geo-Database nodig (zit bij de GIS-ers) Multidimensionele Databases (Cognos, SAP, ) Kennisniveau en prijs zijn slechts voor enkelen betaalbaar / beheersbaar

17 3: Datamodel: Facts & Dimensions STAR - Schema Universeel Data Model in een Relationele Databank 1 FACT-Table waaraan meerdere DIMENSION Tables gekoppeld zijn Zeer snelle responstijden Zeer eenvoudig op te zetten en te beheren Ideaal wanneer Dimensies vanuit verschillende bronnen komen Dimensies kunnen redundante data bevatten SNOWFLAKE - Schema 1 FACT-Tables waaraan meerdere DIMENSION Tables gekoppeld zijn die elk nog verdere tabellen kunnen hebben Zeer snelle responstijden Opzetten en beheer is iets moeilijker Goede controle nodig bij gegevens van verschillende bronnen Geen redundante gegevens

18 3: Datamodel: Facts & Dimensions FACT - Table Veldnaam Veldwaarde Betekenis uid 1 x Uniek Nummer in de Fact-Table data_waarde 42 Meting / Waarde van het feit data_code reeks-id Link naar groepsgegevens meta-data, navigatie, data_detail item-id Link naar individuele gegevens datum, dossiernummer, RRN, data_zone locatie-id Link naar geografische gegevens NIS-code, Adres, data_datum Datum data_tijd 12:30 Uur

19 3: Datamodel: Facts & Dimensions DIMENSION - Tables

20 3: Datamodel: Facts & Dimensions Interbestuurlijke gegevensuitwisseling Download & upload Diverse websites met diverse logins in diverse formaten en diverse velddefinities Gegevens die geen verband meer hebben (bvb. Opleiding, geslacht, leeftijd, werkzoekend) Geen doelgericht filtering (is er iets in uw context veranderd) Gegevens worden veelal als pdf-rapport verdeeld, de data volgt dan maanden later. Webservices Beperkt in omvang (bvb 10,000 records) Linked open Data Staat in kinderschoenen, minder geschikt voor bulk-bevragingen Algemeen Data-uitwisseling op individueel, groep of in bulk Individueel of Interbestuurlijk Abonnement op bepaalde datasets

21 Bedankt voor uw aandacht! LUC JANSSENS DATA-, -ANALYSE- & GIS COÖRDINATOR STAD & OCMW VAN LIER