Data Vault master class BI Retail Community 9 november 2010
Agenda 15.30-16.00 Ontvangst 16.00-17.30 Mini Masterclass Data Vault 17.30-18.30 Afsluiting en borrel 2
Update BI Retail Community Update BI Retail Community Nieuwe community leden Coördinatie BI Retail Community LinkedIn i3 BI Retail Community 3
Nieuwe leden (organisaties) Nieuwe leden (organisaties) 4
BI Retail Community coördinatie vanuit i3 BI Retail Community coördinatie vanuit i3 Fouad Allabari T 030 699 52 22 F 030 693 17 33 M 06 14 01 60 70 E f.allabari@i3.nl Ideeën Vragen Nieuwe leden Onderwerpen 5
LinkedIn BI Retail Community LinkedIn BI Retail Community 6
LinkedIn BI Retail Community LinkedIn BI Retail Community Ben jij nog geen lid? Alle community leden hebben een uitnodiging via e-mail ontvangen om lid te worden. Het is een besloten community. Dus alleen de leden hebben toegang tot publicaties op de LinkedIn pagina van de community. Doel: kennisdeling en ervaring uitwisseling met branche- en vakgenoten. Heb je interessant nieuws of een leuk artikel, deel het dan met de community via LinkedIn of start een interessante discussie! 7
Data Vault master class Mini Masterclass Data Vault Pieter Vuijk BI Consultant en Certified Data Vault Modeler 9 november 2010
Wat is Data Vault? Data Vault is een modelleringsmethode voor een Enterprise Data Warehouse. Het is op een unieke manier flexibel, schaalbaar, consistent en zeer aanpasbaar aan de eisen van de business. Het is een datamodel specifiek ontworpen om aan de hoge eisen van de huidige Enterprise Data Warehouses tegemoet te komen. 9
Wat is Data Vault? Wat is Data Vault? Detail geörienteerd Historisch correct en volgbaar Op een unieke wijze gekoppelde set van genormaliseerde tabellen Ondersteunt één of meer functionele gebieden van de business 10
Hoe ziet een Data Vault er uit? Hoe ziet een Data Vault er uit? Customer Sat Records a history of the interaction Sat Product Sat Sat Customer Link Product Sat Elements Hub Link Satellite Hub Sat Link F(x) Satellite Sat Sat Order Sat Sat ** Dashed Line is a possible New Relationship Order 11
Definitie Definitie Hub Hub Hub Verzameling business keys Bijvoorbeeld uniek klantnummer, SKU Altijd een eigen technische sleutel Bij wijzigingen aan de business keys blijven de relaties bestaan Altijd een Laad datum tijd (de datum dat je de data ziet in het DWH) Datum en tijd van laden Altijd een Bron (de bron waar de data vandaan komt) Bijvoorbeeld SAP_Sales, Siebel_CRM, Navision 12
Definitie Link Definitie Link Link Beschrijving van de unieke relatie tussen hubs Bijvoorbeeld factuur en klant of product en klant Gedefinieerd door een transactie, gebeurtenis Altijd een Laad datum tijd (de datum dat je de data ziet in het DWH) Datum en tijd van laden Altijd een Bron (de bron waar de data vandaan komt) Bijvoorbeeld SAP_Sales, Siebel_CRM, Navision 13
Definitie Satellite Beschrijvende informatie van hub of links Bijvoorbeeld kleur/maat van het artikel, naam van de klant Altijd een Laad datum tijd Datum en tijd van laden Altijd een Bron (de bron waar de data vandaan komt) Bijvoorbeeld SAP_Sales, Siebel_CRM Altijd een Load einddatum De datum/tijd dat het gegeven vervangen wordt door iets anders of vervallen is 14
Datamodel DV 15
Datamodel DM 16
Verschillen met traditionele ontwerpmethoden 3NF Oorspronkelijk bedoeld voor OLTP Aangepast aan de behoeftes van data warehousing Ster schema Oorspronkelijk ontworpen voor subject georiënteerde problemen (Sales, Inventory etc.) Aangepast aan de behoeftes van data warehousing Data Vault Begonnen en ontworpen voor de specifieke behoeftes van data warehousing Aangepast aan de behoeftes van data warehousing 17
Wanneer heb ik een Data Vault nodig Snel reageren op veranderingen in de business Veel veranderende business rules Nieuwe regels voor omzet Impactanalyse van de veranderingen Auditability Traceability Wijzigingen volgbaar in de tijd Adresgegevens Klant geschiedenis Wijzigingen in voorraad Grote databases (TB s) 18
Wanneer heb ik geen Data Vault nodig Wanneer heb ik GEEN Data Vault nodig Snel (binnen een week) opleveren eerste resultaat aan users Kleine data warehouses Stabiele business rules Auditability / traceability niet van belang 19
Unieke eigenschappen Repeteerbaar laadproces Genereerbaar laadproces Sox Compliant model (traceability en auditability) Aandacht en tijd van ontwikkelaars voor complexe deel van proces (business rules), maakt aandacht vrij voor de business Snel reageren op veranderende business rules (business alignment) Geen stove pipes (afdelingsoplossingen) Geïntegreerde data 20
Typische klanten Traceability en auditabilty Sarbanes Oxley en andere wetgeving Banken- en verzekeringsmaatschappijen Beursgenoteerde bedrijven Overheid Gezondheidszorg Schaalbaarheid Grote informatiebehoefte en geïntegreerde data Retail/ Wholesale Telco Energiebedrijven Datamining Wegloopgedrag Verzekeringsmaatschappijen 21
Data Vault in de praktijk Unirobe Meeús Groep Omvangrijk Data Vault project 2 Tb per jaar groei Conclusie: veel toegevoegde waarde door detail niveau inzicht in historie. Menzis Omvangrijk en complexe Data Vault omgeving Conclusie: veel toegevoegde waarde door detail inzicht, voldoen aan compliancy. Verandering in wetgeving en daarmee veranderende business rules.
Data Vault in de praktijk Waalwear Data Vault PoC Conclusie: veel overhead en te weinig toegevoegde waarde.
24