Testen bij DWH-projecten Snelheid, Kwaliteit, Flexibiliteit onder úw regie Armando Dörsek, Software Control 18-09-2007
Wat gaat u horen? Testen van DW/BI > Structureren & Plannen Project- en teamstructuur Projectplanning > TMap principes Business Driven Test Management (BDTM) Gestructureerd testen Snelheid, Kwaliteit, Flexibiliteit
Gestructureerd testen (TMap)
TMap faseringsmodel Voorbereiding Specificatie Uitvoering Afronding Beheer B P V S U A I Planning Inrichting en beheer infrastructuur
Business Driven Test Management Kritische succesfactoren Wijzigingsvoorstellen Requirements Business processen enz. 2 Opdracht- gever Resultaat (BC) 1 Formuleren opdracht en verzamelen testdoelen Bepalen risicoklasse 3 Resultaat, Risico s, Tijd en Kosten 6 Bepalen licht/zwaar testen 4 5 Toewijzen testtechnieken Testbasis Maken testgevallen Testuitvoering
Testen van DWH en BI TMap met specifieke aandacht voor: - Kwaliteitscriteria - Whitebox technieken - Integratietesten - Toetsen Criteria Juistheid Controleerbaarheid Security Performance Continuïteit
De opdracht Grootbank > Fusies: veel (variatie in) bronsystemen > Centrale Marketing Intelligence afdeling > Testen en QA reeds ingebed in organisatie Nieuwbouw DWH > NCR TeraData, Ab Initio > Incrementele opbouw > Marketingdoeleinden m.n. Cross selling (mailings, internet, balie)
Veel genoemde uitdagingen 1. Testdata 2. ETL 3. Expertise 4. Datakwaliteit Synchronisatie processen Privacy?! Zijn bronnen compleet en niet vervuild? Teamsamenstelling?
Focus Test team? Performance >Development & Beheerorganisatie Datakwaliteit >Reeds gegarandeerd Rapportages e.d. >Buiten project: gebruik van DWH Testdata ETL Testen
ETL Testen Van Bron naar Gegevenslaag >Fact tables Van Gegevenslaag naar Informatielaag >Aggregate tables en Datamarts > Gebruikersgroepen
ETL Bron Bron systeem systeembron Bron systeem systeem DWH GL IL Focus op toetsen van de opgestelde transformatieregels en het testen van de gerealiseerde transformaties in het ETL Proces Data Mart Data Mart Data Mart
ETL Testen: Hoe? EXPERTISE! Dataflow testtechniek > Gemakkelijk te reviewen (projectleden) > Gemakkelijk aan te leren (testers) Vergelijken bron- en doeltabellen > Op basis van transformatieregels > Met SQL (ex-dba s als testers) Whitebox testing > Reviewen ETL programma Sampling > Vergaren testdata door teamlid met voldoende Teradata kennis
DSDM Fasering Iteraties
DSDM en testplanning Incrementele Uitbreiding >GL IL - DM >Snel resultaten, bijsturen >Toenemende complexiteit ( expertise) >Begrotingen betrouwbaarder Timeboxing en Prioritering >Tijd staat vast, functionaliteit per increment is onderhandelbaar ( BDTM) >Gaat óók op voor Testcases >Workshops: risk assessment ( BDTM)
DSDM (3) FMI, DBI, testteam >Sterke samenwerking DBI en Test Krachtenbundeling Bouw en Test Technisch sterk testteam >Iedereen reviewt Rollen Designs, Testcases, ETL Programma >Specialist rol (bv testmanager) >Teamrollen (bv tester, ambassador user)
Mastertestplan, managen van het totale testproces Master Test Plan Increment 1. Increment 2. Increment 3. Acceptatietest Acceptatietest Acceptatietest Systeemtest Systeemtest Systeemtest Ontwikkeltest Ontwikkeltest Ontwikkeltest Toetsen Toetsen Toetsen
DSDM en testplanning (2) Planning >Projectplan en Master Testplan (MTP) Overall project, high level plans >Detail Testplan (DTP) DTP per Increment Prioritering door Business in Workshops
Incrementen in de tijd Increment 1 Increment 2 Increment 3 Maand 1-3 Maand 3-4 Maand 5-6 Maand 7-10 Design and Build GL ST (proj.) ST (regr.) FAT Upgrade GL Design and Build IL ST (proj.) ST (regr.) FAT Upgrade GL Upgrade IL Design and Build DM ST (proj.) ST (regr.) FAT
DWH testen samenvattend Creëer snelheid > Incrementele opzet, timeboxing Creëer kwaliteit > Gestructureerd testen (TMap technieken) > Test wat nodig is (BDTM) > Volgend increment Creëer flexibiliteit > Teamstructuur Haal (technische) expertise in huis Denk in rollen > Meebewegen > Prioritering (BDTM)