Open BI: Alliander s Next Gen DWH

Transcriptie

1 Open BI: Alliander s Next Gen DWH Powerdesigner, Data Vault, SAP (RDP, BO) Martjan Hendriks BI Architect@Alliander 2013

2 Alliander : Energy Shift Happens Largest Dutch Regional GRID Operator (Gas & Electricity) Energy Transition means Prosumers Smart Grid Smart Metering Integrate IT/OT/Geo Data Optimize, Innovate & Invest (BIG) Advanced Analytics! Need a LOT More BI for a LOT Less and a LOT Quicker!

3 BI 2.0 : Self Service & Platform Synergy Processes Platform Agile (Co-Creation) Ad-Hoc Consolidate Custom to SAP Function Data Selfservice Delegated IT OLTP & OLAP Data Platform Converges ERP, DMS, GIS Visualisation EDW (DV) COTS BI APPS Data (structured, unstructured, On-line In-memory, nearline SSD) Lean (Factory) Systematic

4 Presentation Layer Fit for purpose BI Architectuur Next Gen Specific Businessviews (DNF Marts) Metadata control Environment Data Layer Generieke Businessviews (DV+ALDM) Rule Vault EDW System of Fact (Data Vault) Staging in Persistant Staging (ODS) Out Of The Box Apps (oa SAP BW) & Specials: GRID Events (Osisoft PI) Source systems Extern EDSN SPATIAL SOCIAL Intern Overig Klak, Maint, etc. GIS (NRG) ERP SAP FICO, CRM, ISU, etc. GRID smart devices = abstractie/federatielayer = Storage physical or virtual = dataflow

5 Knowledge to the Model & Lineage All Models Linked! Round Trip Traceability Source Collect Expert Domain Knowlegde Annotate & Classify Source Model BI BI (MARTS) Corp LDM Auto Generate - EDW Data Model & Mappings - EDW Model & ETL Code BI EDW Source Lync with Corporate Logica Data Model Rich Source Model Publication ODS Replication (CDC) (Virtual) Business Views Datamart & Universe Convergence Self Service Data Catalog Publication With Lineage Corp LDM Raw Vault Rule Vault Error Vault Metrics Vault DQ Vault

6 Roadmap Ahead SAP HANA In Memory Replace Legacy CDC Vault Geo Spatial Vault MDM & DQ Vault Energienet dynamisch Energienet statisch Storing, onderhoud & Realiseren Logistiek onderbrekingen Metingen & Events GV ITRON EE Aanluitschetsen Diasys Gaslekopsporing GLZ Aanvragen SAP CRM Inkoop SAP MM Metingen & Events KV Netinium Asset Masterplan SAP BW/IP Graaf meldingen WebKLIC Workflow KLAK Leveranciers SAP SRM SCADA metingen DMS Infrastructuur Energienet NRG Gravers Ervaringen SAP IS-U Projecten SAP PS Magazijnen SAP WMS Schakelstanden DMS Meters SAP IS-U Onderhoud Netten MAINT Vrije domein SAP PS Materialen SAP MM MSR Kit configuratie SAP PM Storingen KLAK Werkorders KLAK Transport SAP MM Net Telecom Infra TKN 2000 Werkorders KLAK Werkorders SAP CS Voorraad SAP MM Werkorders SAP CS Workflow KLAK Klant Data Collectie (MV) Marktfacilitering Externe Referentie Gegevens Klant & Relaties SAP IS-U Distributie MV MDS (+) Aansluiting C-AR KvK Contracten & Offertes SAP SD Handopname MOS Switch & Verhuisber. REAL/CATS/JMAIL Kadaster Facturen uitgaand SAP SD Meetdata interval GV ITRON EE Meetdata distributie DAP, NimBUS Gemeente/Provincie Credit & Collectie SAP CCM Meetdata interval KV Netinium Meetdata periodiek SAP IS-U Demografische referentie data Contacten SAP CRM Meter events Infra Alloc & Recon E SAP Tesla (A), KRM (R) Geografische referentie data Claims MS Excel Meterpark beheer MAINT Alloc & Recon G SAP EDM (A), EDM (R) Leegstand Colt Finance Organisatie Overig Boekhouding SAP FI/CO Organisatiestructuur Peoplesoft Inspecties HS Inspector Consolidatie Cognos Uren SAP HR/CATS Juridische Rechten SAP CS Meldingen Onderhoud HS Servicemeldingen Promasys I-Core James

7 BONUS

8 Componenten waaruit de fabriek bestaat Modellering & Generators (PowerDesigner) 2. Centraal open metadata model 3. Batchverwerkingsprocedures (Oracle) 4. Fysiek EDW model 5. Gegenereerde ETL objecten 6. Gernerieke databron (ODS) Open BI ontwerp richtlijnen en standaarden Pagina 8

9 Richtlijn Datakwaliteit EDW Integratie Generieke oplossing Meetresultaten zijn een product van toegepaste businessrules en worden in de rulevault opgeslagen. Dit gebeurt in een datakwaliteit satelliet volgens een standaard structuur die op de hub of link gekoppeld is waarvoor gemeten is. De context voor de meting wordt niet vastgelegd. Alliander BI voorziening 1.3 9

10 BI Data Gebieden indeling, afkomst & status (Subject Area s) De data gebieden geven in 1 overzicht een logisch, herkenbaar, tijdstabiel en dekkende indeling van data die relevant is voor BI. Daarbij is een subindelng gemaakt en aangegeven welke systemen daarvoor leidend zijn en wat hun status is van ontsluiting in een van de Alliander data warehouses. Blauw gekleurde deelgebieden zijn reeds ontsloten in Open BI (EDW), groen in SAP BW, geel in de BAR en oranje in het CDB datawarehouse. beschikbaar in SAP BW. Blauw gekleurde gebieden in de Basis Asset Repository (BAR), Oranje in het Scada Warehouse (CDB). Energienet dynamisch Energienet statisch Storing, onderhoud & onderbrekingen Realiseren Logistiek Metingen & Events GV ITRON EE Aanluitschetsen Diasys Gaslekopsporing GLZ Aanvragen SAP CRM Inkoop SAP MM Metingen & Events KV Netinium Asset Masterplan SAP BW/IP Graaf meldingen WebKLIC Workflow KLAK Leveranciers SAP SRM SCADA metingen DMS Infrastructuur Energienet NRG Gravers Ervaringen SAP IS-U Projecten SAP PS Magazijnen SAP WMS Schakelstanden DMS Meters SAP IS-U Onderhoud Netten MAINT Vrije domein SAP PS Materialen SAP MM MSR Kit configuratie SAP PM Storingen KLAK Werkorders KLAK Transport SAP MM Net Telecom Infra TKN 2000 Werkorders KLAK Werkorders SAP CS Voorraad SAP MM Werkorders SAP CS Workflow KLAK Klant Data Collectie (MV) Marktfacilitering Externe Referentie Gegevens Klant & Relaties SAP IS-U Distributie MV MDS (+) Aansluiting C-AR KvK Contracten & Offertes SAP SD Handopname MOS Switch & Verhuisber. REAL/CATS/JMAIL Kadaster Facturen uitgaand SAP SD Meetdata interval GV ITRON EE Meetdata distributie DAP, NimBUS Gemeente/Provincie Credit & Collectie SAP CCM Meetdata interval KV Netinium Meetdata periodiek SAP IS-U Demografische referentie data Contacten SAP CRM Meter events Infra Alloc & Recon E SAP Tesla (A), KRM (R) Geografische referentie data Claims MS Excel Meterpark beheer MAINT Alloc & Recon G SAP EDM (A), EDM (R) Leegstand Colt Finance Organisatie Overig Boekhouding SAP FI/CO Organisatiestructuur Peoplesoft Inspecties HS Inspector Consolidatie Cognos Uren SAP HR/CATS Juridische Rechten SAP CS Meldingen Promasys Onderhoud HS I-Core Servicemeldingen James Overzicht relevante bronsystemen De deelgebieden verwijzen allen naar Alliander bronsystemen, die rechts zijn samengevat. Hiermee worden de data stromen tussen BI en de bronsystemen transparant.