Albert Heijn. Enterprise Data Warehouse. Het PALLAS project

Maat: px

Weergave met pagina beginnen:

Download "Albert Heijn. Enterprise Data Warehouse. Het PALLAS project"

Bert Smits
8 jaren geleden
Aantal bezoeken:

1 Albert Heijn Enterprise Data Warehouse Het PALLAS project

2 AH-datawarehouse project Pallas in Aantal Gebruikers per week wk1 wk3 Aantal Rapporten per week wk5 wk7 wk9 wk11 wk13 wk15 wk17 wk19 wk21 wk23 wk25 wk27 wk29 wk31 wk33 wk35 wk37 wk39 wk41 wk

000 800 700 600 500 400 300 200 100 0 wk1 wk3 Aantal Rapporten per week

3 AH-DWH presentatie OGH de businesscase van 1999 algemene architectuur tooling, hardware, sizing koffie backup & recovery datamodellen. TR, staging, Datamart databaseontwerp. opslag, partitioning, indexing, data proximity, analyze werken met veel data 3

recovery datamodellen. TR, staging, Datamart databaseontwerp.

4 businesscase : outset 1999 / 2000 Defensief : - Management info uit diverse bronnen. - Te duur Offensief : - Differentiatiestrategie ondersteunen - POS data en winkelniveau centraal ontsluiten - Herbruikbaar model / techniek 4

5 Informational versus Operational The Enterprise Data Warehouse Prod uct Tijd Filiaal Prod uct Tijd Filiaal Prod uct Tijd Filiaal Prod uct Tijd Filiaal Klant Aantal Verkoopprijs Caissière Klant Aantal Verkoopprijs Caissière Klant Aantal Verkoopprijs Caissière Klant Aantal Verkoopprijs Caissière Inkoopprijs Inkoopprijs Inkoopprijs Inkoopprijs Promotie Weer Promotie Weer Promotie Weer Promotie Weer Plaats in filiaal Plaats in filiaal Plaats in filiaal Plaats in filiaal Informational environment Transaction Repository Standard tools Single source Integrated data Time dimension Specially tuned System Y Operational environment REFIL PeopleSoft C&P Kikvors Omega READ NASA System X Vivaldi 5

Inkoopprijs Promotie Weer Promotie Weer Promotie Weer Promotie Weer Plaats in filiaal Plaats in filiaal Plaats in filiaal Plaats in filiaal Informational environment

6 Pallas Basic Architecture Back office Front office Source Intern/Extern Data Staging Area Transaction Data Marts End-user Repository Data Extraction, Transformation & Load (ETL) ETL ETL ETL ETL ODS ETL near real time ETL ETL Flat Flat File File 6

End-user Repository Data Extraction, Transformation & Load

7 Pallas Basic Architecture Back office Front office Source Transaction Intern/Extern Data Staging Area Data Marts End-user Repository ETL ETL Data Extraction, Transformation & Load (ETL) ETL ETL ETL 7

8 Fasering Pallas project 2000 EDOG non-tr datamart 150 GB 2001 TR opbouw start 2001 Gall datamart 2002 Sales Day datamart 1e fase 2002 Essbase meerdere cubes 2002 Bonuskaart datamart 2002 Sales Day datamart 2e fase 2003 Warehouse Execution datamart 2003 Rosie filiaal datamart plus named users.. 8

meerdere cubes 2002 Bonuskaart datamart 2002 Sales Day datamart 2e fase 2003

9 Hardware en Tools Hardware IBM S80 AIX, Ess disks RDBMS Oracle Partitioning ETL-Tool PowerCenter 6.2 End-user tool Reporting MicroStrategy 7.2 End-user tool Analyse Hyperion Essbase 6.1 9

10 Functionele as end-user tools Aantal gebruikers staties Standard Reports Templates-push Limited drill-down Exception Reporting Analysis OLAP Statistical analysis Reporting Analysis Statistics 80% of usage Soort gebruik Data Mining Mining? dynamies 10

Reporting Analysis OLAP Statistical analysis Reporting

11 Hardware IBM S80 : 12 maal 450 Mhz + 16 GB 1 ESS 384 maal 18 GB disks (5 TB) 2 NT servers 400 Mhz 500 Mb IBM S80 : 24 maal 450 Mhz + 32 GB 1 IBM S80 : 12 maal 450 Mhz + 16 GB 1 IBM S85 : 8 maal 700 Mhz + 16 GB 1 IBM P670 : 8 maal 850 Mhz + 16 GB 2 EMC met 36 GB disks (12 TB) 8 NT servers 750 Mhz 2Gb backup : 2 IBM 3494 tape robots 2 IBM H80 s TSM servers. 11

16 GB 1 IBM S85 : 8 maal 700 Mhz + 16 GB 1 IBM P670 : 8 maal 850 Mhz + 16 GB 2 EMC met 36 GB

12 Data Warehouse - disk volume 14 TB Spool, temp, overhead space 2,3 Data Mart - Customer Loyalty Replacement MarketExpert; Basket Analyses, ecommerce Customer Receipt data mart (customer-store-item-time), 6 months history Customer Week data mart (customer-store-miac-week), 9 months history 3,8 10,5 7,5 TB budget 2001 Data Mart - Essbase Solution for SAS, Delta AA 0,4 7 Spool, temp, overhead space 1,5 Data Mart - SalesDay Powerplay, SAS Replacement POS+dimensions, item-store- day-in promo y/n history: two year+current year 2,5 3,5 OTA, Backup issues Spool, temp, overhead space Transaction Repository POS POS+dimensions, 6 months history, archiving 5 years receipt line level, 64 million lines per week 0,8 0,8 1,3 5 TB in place 12

Delta AA 0,4 7 Spool, temp, overhead space 1,5 Data Mart - SalesDay Powerplay, SAS Replacement POS+dimensions, item-store- day-in promo y/n history: two year+current year 2,5 3,5 OTA,

13 13

14 Pallas databases per mid 2003 Essbase 0,5 TB Sales Day 2,1 TB TR 2,3 TB GALL 30 GB STATS 70 GB REPOS 60 GB Bonuskaart 1,9 TB Rosie 200 GB WAEX 100 GB ( Ontwikkel / Acceptatie : 1,9 TB ) 14

15 Koffie?! 15

16 Backup and Recovery Draaien in archivelog! Ad Hoc Maintenance operaties draaien vaak nologging Oracle Rman 80 tot 85% van het datavolume is Read Only RW : 5 maal per week INCR1/2 + 1 maal per week INCR0 (alles dus skip RO) RO : todo list bepalen middels handgeschreven sync van de controlfile met de rman catalog. 4 maal p wk INCR0. Separaat Gbit-eth theoretisch max is 450 GB / uur maar nu ligt dat op 85 GB /uur Recovery : werkt. Partiele restores.. 16

maal per week INCR1/2 + 1 maal per week INCR0 (alles dus skip RO) RO : todo list bepalen middels handgeschreven

17 Datamodellen : TR 1 corporate datamodel maakt direct aansluiten mogelijk dreiging UDM 3 NF time variant vrijwel geen indexes vrijwel geen PK s bewaar dimension history. uitgebreide DSA, maar aan de achterkant! 17

vrijwel geen indexes vrijwel geen PK s bewaar

18 Datamodellen : TR 2 Kassabon header promotion kassabonregel betalingswijze 18

19 Datamodellen : Data Staging prejoined partitioned hulptabellen op partition key mod(day,28) plus 7 hulptabellen 19

20 Datamodellen : Data Staging prejoined partitioned hulptabellen op partition key mod(day,20) plus 7 hulptabellen Toevoegen delta Plus 43 hulptabellen... 20

21 Datamodellen : Datamarts 1 Fact-tables vrij veel aggregaten onze aggregaten zijn niet altijd technisch de moeder van alle fact-tables is opgestaan conformed dimensions straightforward snowflaked + platgeslagen 21

22 Datamodellen : Datamarts 2 Sales Day Dag Fact Fili-art-dag miac category artikel Miac week Filiaal 22

23 Datamodellen : Datamarts 3 Sales Day Fili miac week Fili art week Fili art dag Art dag 23

24 Datamodellen : Datamarts 3 Sales Day Fili miac week Fili art week Select art, omzet from fili art dag, filiaal,artikel where 2 weken, miac = 297 en filiaal niet een franchiser (lees 8 GB) Fili art dag Art dag 24

25 Datamodellen : Datamarts 3 Sales Day Franchise indicator in de fact-table Fili miac week Fili art week Fili art dag Frai art dag Art dag 25

26 Datamodellen : Datamarts 3 Sales Day Fili miac periode Fili art periode Frai art periode periode Fili miac week Fili art week Frai art week week Fili miac dag Fili art dag Frai art dag Art dag dag 26

27 Datamodellen : Datamarts 4 Bonuskaart Klant 4,4 miljoen gedepersonaliseerd Artikel Kassabonregel 5 miljard Dag

28 Database ontwerp : opslag Basis : Stop defragmenting and.. Autoextendable locally managed uniform size tablespaces. Slechts twee uniform sizes : 128k en 4m. Geen enkel object heeft dus eigen storage clause. Partitioned data in periode (28 dagen) tablespaces. maximale datafile size 9 GB (ivm backup-pool) Naamgeving tablespaces : partitions : TRAS_2003PD10_01 klein TREP0101 / TREP0102 (resp. tables / indexes) groot TREP0201 / TREP

29 Database ontwerp : partitioning Partition table alleen als > 5GB (maintenance..) Altijd range op dag of week of periode Sterke focus op partition elimination (between!) Let op de verschillen tussen plan en uitvoering. Nog steeds : Eens per jaar maak-nieuwe-partitionsfeest!! Doorzetten naar acceptatie via dblink Archiveren : exchange, RO, transport, backup, drop. 29

30 Database ontwerp : indexing Bij mij doen ze het niet altijd.. Lijn lijkt : hoe groter de tabel hoe moeilijker Wij hebben op enkele cruciale plaatsen sorted indexen op fact tables. 9i Doe geen updates op data met usable bitmap-indexes 30

31 Database ontwerp : data proximity Pre-sorting kan factoren (4-200) versnelling bereiken als verbeteren van SQL en indexes onmogelijk lijkt. select count(distinct(block)) from (select dbms_rowid.rowid_block_number(rowid) block from trak_0911_sorted where exists (select 1 from CULO_ARTIKEL a14 where a14.miaf_id = 1507 and arti_id = a14.id)) 31

32 Database ontwerp : analyze Nu : dbms_stats direct na laden, en tevens periodiek op basis gather stale pluggen van hulptabel statistics plannen voor pluggen van alle statistics Scalzo : number of rows = voldoet prima. 32

33 Werken met zeer veel data. Rules of thumb voor werk met heel veel data : eerst nederlands, dan sql, dan denken en dan andere sql. maak operatie voorspelbaar. 10 kleine sorts zijn samen sneller dan 1 grote. De sum over (de union over de output van 10 kleine sorts) is sneller dan 1 grote sort. Of niet? Een 24 CPU machine is single user sneller, dan als JOUW queries elkaar in de weg zitten. Want Oracle heeft maar 1 temp-tablespace. Oh nee, per user. 33

34 Aanrader : Bert Scalzo : Oracle DBA Guide to data warehousing and star schemas. 34

Vergelijkbare documenten

IBM Tivoli Storage Manager Licentie structuur

Ad van Leeuwen Client Technical Professional Tivoli 18 april 2013 IBM Tivoli Storage Manager Licentie structuur Document number TSM licentie modellen Standaard model: PVU s Aantal cpus x aantal cores x