Ericsson: Agile Testen. Introductie, ervaringen en toekomst

Transcriptie

1 Ericsson: Agile Testen Introductie, ervaringen en toekomst

2 Agenda Ericsson Agile introductie Agile testen Toekomst Ericsson AB

3 Ericsson Actief in 175 landen, meer dan medewerkers en levert telecommunicatie-oplossingen aan o.a. de 10 grootste operators and service providers in de wereld AT&T Vodafone Deutsche Telekom China Mobile China Unicom Verizon TIM Orange NTT DoCoMo Telefonica Ericsson AB

4 The Ericsson Domain Mobiele en vaste netwerk infrastructuren, breedband en multimedia oplossingen Ericsson AB

5 Multimedia ontwikkeling EMC EAB EAB EAB EAB EAB ETM Montreal Canada Göteborg Sweden Sweden Stockholm Sweden Sundsvall Sweden Karlskrona Rijen Netherlands Development Unit Head Office EIL EIL CGC CBC India Chennai India Delhi China Guangzhou China Shanghai Ericsson AB

6 Agenda Ericsson Agile introductie Agile testen Toekomst Ericsson AB

7 Ontwikkelproces Waterval (product georienteerd, design en function test) Streamline (incrementele ontwikkeling in teams met design, function test & system test, time-box 3 maanden) Q Q Agile (iteratief ontwikkeling (2 of 3 weken), in multi-disciplinaire teams, met product owner en invoering van 7 agile practices) What s next? (Agile & Lean) 2009 Ericsson AB

8 Vragen Denk je dat het percentage requirements die gedurende de looptijd van een project geschrapt werden, gelijk is gebleven, juist verminderd of toegenomen? A: Gelijk gebleven B: Verminderd C: Toegenomen Streamline heeft geleid tot verbetering van de Time-To-Market vergeleken met de TTM cijfers uit 2005, maar met welke percentage? A: 15% B: 30% C: meer dan 30% Ericsson AB

9 Antwoorden Denk je dat het percentage requirements die gedurende de looptijd van een project geschrapt werden, gelijk is gebleven, juist verminderd of toegenomen? A: Gelijk gebleven B: Verminderd C: Toegenomen Streamline heeft geleid tot verbetering van de Time-To-Market vergeleken met de TTM cijfers uit 2005, maar met welke percentage? A: 15% B: 30% C: meer dan 30% Ericsson AB

10 Streamline resultaten Waste before SD projects Requirement implementation rate Waste in SD projects Requirement implementation rate 9% 25% 75% % TTM DMMP Main projects Release reaching PP-PRA Weeks Year Main projects TTM lead time 2008 R&D goal year y e a r Main Release Feat ure Deliveries Ericsson AB

11 Agile introductie Natuurlijke stap na Streamline Top-down Pilot project Veranderproces geleid door Agile coach Agile training voor teams Presentaties en workshops door externe sprekers Ericsson AB

12 Zelfsturende, multi-disciplinaire teams Alle disciplines in de teams (design, functietest, system test, LSV test) Teams kregen bredere verantwoordelijkheid Rollen gewijzigd Teamlid is team coach (scrum master) Project manager werkt met zelfsturende teams Product owner is verantwoordelijk voor backlog en prioriteitsstelling requirements Ericsson AB

13 Agile practices 1. Planning game 2. Stand-up meeting 3. Cross-functional teams 4. Test-driven development & Pair programming 5. Kort ontwikkelcyclus 6. Demo aan klant na elke iteratie 7. Retrospective Product Backlog Daily Stand Up Iteration Backlog 24 hrs Iteration 2-3 weeks Potentially Shippable Product Ericsson AB

14 Agenda Ericsson Agile introductie Agile testen Toekomst Ericsson AB

15 Testen in Agile teams Alle test disciplines in team* Alle test soorten in iteratie: Unit test (Extreme Programming) Functional Test End to end Test (ST) Non Functional Test (LSV) Test per iteratie, niet product Dedicated test iteratie Fysiek bij elkaar * In een van onze multi-site projecten voor een nieuwe product wordt gewerkt met separate Agile teams voor Development / Functietest en System Test / LSV Ericsson AB

16 Agile testen Testactiviteiten parallel aan ontwikkelactiviteiten Vereist meer inzicht en besluitvorming van tester Informatie direkt van product owner en ontwikkelaars Wegvallen oude manier van werken Plannen en schatten per iteratie Risk-based testing Demo aan klant Definition of Done Agile testing is not for dummies! Ericsson AB

17 Test automatisering is de sleutel Automatiseren test en invoeren continuous integration essentieel: Cruise Control, Maven, Hudson Legend Optimaliseren nieuwe test cases, testsuite en time-boxing External Service Traffic Use View => Layer Properties to toggle interface types on/off. Mgmt/Backend Traffic Internal Service Traffic Note: Interfaces are normally bi-directional, arrows indicate initiating party. Mobile Network STC Internet Public MPLS User Traffic Test strategie: GGSN MSC Internet Mail Servers DNS DNS NW02 End User Service Provider Content Provider (internal) (external) End user Operator NW01 TTCN-3 als test tool ET17 ET05 ET08 ET06 NTP ET04 NW03 ET03 ET09 ET15 Source ET02 ET07 Prototype testen en ET01E2E regressietesten op dezelfde testomgeving STC SDP ET18 ECDS Tier 1 Support Functions COM/IS ET16 ET10 Stabiliteitstesten (16-48 uur executietijd) WAP Security runnen buiten werktijd NIN CIDB SMS-C MMS-C MTA AAA OTA Gateway VIG Gateway IT02 ET11 IT25 IT30 IT31 IT01 IT04 Testactiviteiten parallel na iedere build IT08 IT09 IT10 IT11 EAI ICMS Streaming NFS IT05 IMPS Server Server MCU IT07 ET12 ET13 PR03 IT06 IT12 Nighttest, weekendtest (regressietest) Comptel RSG Provisioning IT03 Tier 2 IT33 NW04 Designers ook regressietest IT17 opstarten IT29 IT16 Comptel Fulfillment Mgr. Relay CMS Testomgevingen 24/7 beschikbaar ET19 IT18 IT21 IT24 IT15 Shared DB (Content, Price, Messages) ET21 ET20 ET08 IT35 Storage Area Network IT39 3PI IT19 ESDP User Profile IT41 IT46 IT38 IT36 IT32 Databases CH01 PR01 IT43 Commerce Engine IT26 IT45 IT44 IT42 End User Portals CH03 ESDP Charging Module CH05 IT14 IT20 Content Store IT28 IT27 CH07 IT13 CH02 SIG CH04 Reporting Module OM04 IT37 Dynamic Application Data Admin. Server OM03 IT22 IT23 IT34 Subscription Module OM05 PR02 OM07 PR05 PR04 OM06 CH06 Billing Mediation Siemens Prepaid Prepaid Charging System OM02 O&M Domain ET14 OM01 OSS-RC Ericsson AB

18 Impact voor tester Wennen aan nieuwe manier van werken Minder structuur - meer ad-hoc Kost meer energie in het begin Zoekende naar zekerheid, even puzzelen Overzicht kwijt (testen per iteratie ipv complete product) Coaching & training Ericsson AB

19 Voordelen Planning is transparant Betere schattingen Risk-based testing effectiever Inzicht in alle testactiviteiten en waar bottlenecks zijn en/of waar kennisleemtes zitten Eerder/Vroege fout detectie en resolutie goedkoper en sneller time-to-market Grotere betrokkenheid en commitment Betere communicatie Ericsson AB

20 Vragen Denk je dat als gevolg van de invoering van Agile: A: Verantwoordelijkheid en initiatief is toegenomen B: Verantwoordelijkheid en initiatief is afgenomen C: Verantwoordelijkheid en initiatief gelijk is gebleven Denk je ook dat Agile er toe geleid heeft dat: A: Kennis/leren is toegenomen B: Kennis/leren is afgenomen C: Kennis/leren gelijk is gebleven Dat er een verschil in kwaliteit is gerealiseerd, waarbij: A: kwaliteit is toegenomen B: kwaliteit is afgenomen C: er is geen kwaliteitsverschil gerealiseerd Ericsson AB

21 Antwoorden Denk je dat als gevolg van de invoering van Agile: A: Verantwoordelijkheid en initiatief is toegenomen B: Verantwoordelijkheid en initiatief is afgenomen C: Verantwoordelijkheid en initiatief gelijk is gebleven Denk je ook dat Agile er toe geleid heeft dat: A: Kennis/leren is toegenomen B: Kennis/leren is afgenomen C: Kennis/leren gelijk is gebleven Dat er een verschil in kwaliteit is gerealiseerd, waarbij: A: kwaliteit is toegenomen B: kwaliteit is afgenomen C: er is geen kwaliteitsverschil gerealiseerd Ericsson AB

22 Resultaten Producten op tijd geleverd Betere controle over projecten (transparant, voorspelbaarder) Meer kennis delen ipv bouwen op hero s Verbeterde communicatie, minder documentatie Verantwoording en initiatief stegen van 71% tot 81% Kennis (learning) steeg van 56% tot 66% Geen significant kwaliteitsverschil Reden genoeg om door te gaan! Ericsson AB

23 Agenda Ericsson Agile introductie Agile testen Toekomst Ericsson AB

24 Toekomst Agile werkwijze verder borgen in de organisatie Lean concept onderzoeken en value streams identificeren en verbeteren Agile Maturity doelstellingen nastreven Ericsson AB

25 Vragen?

26 Ericsson AB