Utrecht 06/10/2016 Peter Betting: Directeur ESTH European Software Test Hub - Frankrijk

Transcriptie

1 Utrecht 06/10/2016 Peter Betting: Directeur ESTH European Software Test Hub - Frankrijk

2 AGENDA 01 Introductie Performance testen -Het model, de doelen en de test campagne Het ESTH Test centrum Organisatie Werkwijze Onze Klanten Onze diensten 05 Testautomatisering Testautomatisering en TMap Next 5 stappen naar volwassen testautomatisering Lessons learned 03 Expertise Methode Expertise 06 Conclusie en vragen 2

3 2 ESTH Overview European Software Test Hub Key info 123 Oprichting testcentrum in fulltime testprofessionnels Meer dan 70% ISTQB gecertificeerden productiedagen per jaar Offshoring naar India en Marokko m² werkoppervlak Meer dan 600 dagen opleidingen per jaar Realisatie opdrachten binnen tijd en geld 99% Gemiddeld cijfer van onze klanten in 2015 : 7,96/ Kostenvermindering Voordelen voor onze klanten Flexibiliteit Geoptimaliseerd Delivery Model Industrialisatie Kwaliteit Geborgde transitie Continue verbetering Expertise Expertise 0-4 jaar 5-10 jaar Ambities % gecertificeerde medewerkers Groei van minimaal 20% Uitbreiding diensten catalogus jaar >20 jaar 3

4 European Sogeti Test Hub(ESTH) TDC Factories all test activities TDC Managed testing services (MTS) Product Risk Analysis Transitioning Automation Performance Academy ESTH Testing in the MU s Market Units Sales teams Staff augmentation Large Est, Large West & IDF European sales (tbd) Mobile & Multi-device Tools Environments Innovation Center Gateway to India and Marocco Academy Training Coaching TPI Innovation center Sogeti lab Test innovation lab Demo s R&D Service Catalogs Gateway India Marocco

5 ESTH De 5 Test Factories Factory 1 Factory 2 Factory 3 Factory 4 Factory 5 TELECOM BANKING & ASSURANCE PUBLIC TRANSPORTS E-COMMERCE MOBILE Man. Test Factory Leader Test Factory Leader Test Factory Leader Test Factory Leader Test Factory Leader Perf DEL Management Team PM Test management Test management Test management Test management Test management Trans Support services Tools PS Test team Test team Test team Test team Test team Aut Peter Betting- Management Performance Marc Deligny Practice management Tools Benoit Heib- Pre-Sales & BD Automation Julien Corne Delivery management Transition 5 5

6 2 ESTH Onze klanten Telecom Banken en Verzekeringen Public Transport E-commerce Functional testing End to End testing Shadow testing Infra testing Test automation Functional testing End to End testing Performance testing Support HP ALM Integration testing Functional testing Integration testing Supporting End User Qual. and integration TPI Functional testing Integration testing TPI Functional testing End to End testing Test automation Web testing Mobile testing Full BO FO / BO FO / BO FO / BO Full BO Full BO Full BO Full BO (Offshore) 6 6

7 2 ESTH Resourceplanning en schaling teams Klant A Project A Onderbezetting: samenwerking met Testing Capgemini/Sogeti en andere wervingspartners kernteam Klant B Project B Klant C kernteam Project C Wekelijkse resource meeting productieplanning 12 weken Gemiddelde workl load > 87% kernteam Overbezetting: verschuiving teams, trainingen, continu verbetertraject Planning forecast Porductieplanning >120 test professionals in ESTH 600 test professionals in Frankrijk > 3000 test professionals in meer dan 14 landen. 7

8 BACK OFFICE FRONT OFFICE 1 ESTH DE VERSCHILLENDE SAMENWERKINGSVORMEN De testactiviteiten verdeeld over de klant en het ESTH testcentrum worden bepaald door de wens en mate van industrialisatie, de complexiteit en de volwassenheid van testen bij onze klanten Strategie Specificatie Uitvoering Borging Strategie Spécificatie Uitvoering Borging Strategie Specificatie Uitvoering Borging 8

9 Test Management Tools IBM RQM, HP ALM, SQUASH TM, Testlink, ALMTV (reporting) MBT Cover, AgRD 4 ESTH Overzicht diensten Functional testing Test Web & Mobile Device Lab Ghostlab Web Browsers Tools CrossBrowserTesting Work unit model Pay-Per Use Automatisering Selenium Automation Tools UFT Xamarin Quick start Admin. & support tools Performance testing Testomgevingen Qualification & intégration Performance Testing Tools Neoload Loadrunner Stormrunner Hosting Tools OneShare Flexibiliteit Standaard rapportage SLA Statisch testen Code review Kiuwan Code review Sonar Qube Klant tevredenheid Security testing ESEC European Security Expertise Center 9 9

10

11 3 Onze specialisten T-shaped tester Business Development Teamplayer Quality assurance & (automated) 11

12 3 Prioriteren testen met de klant Product Risico Analyse 100 II I Lichte test technieken Formele test technieken Informele test technieken of helemaal geen test technieken! Planning aan het eind Likelihood 50 IV III Lichte test technieken Impact 12 12

13

14 1 ESTH - Performance Banque de France 123 Our activity We manage performance tests campaigns as following 1 year = 25 campaigns between 8 to 30 work days From 30 to virtual users Around 500 runs 200 scripts 125 analysis and recommandations 25 results presentations Details Banque de France is the Central Bank of France. It is linked to the European Central Bank (ECB) and its main charge is to implement the interest rate policy of the European System of Central Banks (ESCB). 2 Consultants HP Performance Center Solution (Vugen, Analysis, SiteScope) WEB, Citrix, RTE, SAP over http protocoles HP Diagnostics expertise PerfMon analysis AWR reports analysis 14

15 1 ESTH - Performance Het 6 stappen Performance test model One time action Pay per use: number of Work Units PRA & Preparation connections Performance Scenarios provided by the customer Test Specification Execution Reporting Troubleshooting Test stragegy & environments High complexity Medium complexity Low complexity 15

16 1 ESTH - Performance De verschillende test doelen Performance tests objectives are set with the customer during the test strategy definition phase. What we need to learn from the system, its software and infrastructure. Capacity and performance modelling Infrastructure tuning Performance test objectives System validation testing Details Code profiling and optimization Benchmark Verschillende typen performance testen : load test, soak test, stress test, component test, etc Protocols : Web (http/https, Java, Web services, etc) SAP, Citrix, RDP, RTE, etc Infrastructure monitoring : operating systems (Windows, Linux, Unix, Aix), database servers (Oracle, SQLServer), web and application servers (Jboss, Weblogic, Websphere, IIS, etc), etc 16

17 1 ESTH - Performance Een performance test campagne Performance test campagne wordt als een project gemanaged: Definitie Voorbereiding Realisatie Uitvoering Afronding Teststrategie Technical feasibility Scripts Analyzes Eindrapportage Risicoanalyse Platforms for Monitoring Load scenarii Aanbevelingen Presentatie eindresultaat Load deployment Monitors Tuning en optimalisatie Planning Data set 17

18 1 ESTH - Performance Tooling en partners Tools Partners 18

19

20 Integratie test automatisering binnen Tmap Next Opstellen automatiseringstestplan Risicoanalyse Keuze tooling en aantal licenties Verzamelen bestaande manuele scripts Beheer automatiserings Framework Metrieken verzamelen voor het opstellen en uitvoeren van testscripts Dekking controle Volwassenheidsmeting Uitvoeren geautomatiseerde scripts Testuitvoer resultaten analyseren Tunen bestaande testauto scripts Vastleggen geconstateerde bevindingen Opstellen rapport testuitvoering Opstellen eindrapportage Opleveren testauto scripts en bijbehorend framework Metrieken Controle Voorb. Spec. Uitv. Afrond. Infra Test infra inrichten voor de ontwikkeling, het onderhoud en de uitvoer van de geautomatiseerde testset Testauto core team inrichten Testomgeving configureren Vaststellen welke scenario s geautomatiseerde dienen te worden Traceability matrix opstellen en valideren Geselecteerde scenario s valideren Ontwikkelen of bijstellen automatiserings framework Geautomatiseerde testscripts ontwikkelen Debuggen en testen van gemaakte scripts Validatie dekking testsets Traceability matrix invullen en bijhouden 20

21 Mate van volwassenheid van testautomatiseirng 5 volwassenheidsstappen van testautomatisering Framework aangestuurd door de Business Maatwerk test automatiserings Framework Complexe scenario s kunnen worden afgetrapt Modulaire en herbruikbare scripts Een automatiseringsframework op maat gemaakt rekening houdend met de eisen van de klant, de verschillende omgevingen en de eisen van de acceptanten De uitvoer van de geautomatiseerde scripts kunnen door de klant ZELF worden uitgevoerd zonder enige technische of programmeer kennis Naast losse scripts zijn ook de Ketentest scenario s geautomatiseerd en beschikbaar gesteld Losse Scripts Losse Scripts (QTP / Winrunner / Rational Robot / VB ) Herbruikbaarheid en aanpasbaarheid miniem Beschikbare testdata is miniem en niet automatisch gegenereerd Scripts welke testdata generen Scripts generen test data Scripts kunnen vaak worden gebruikt waarbij gebruik gemaakt wordt van diverse testdata Herbruikbaarheid en aanpasbaarheid beperkt Een deel van de scripts kan via 1 tool worden afgetrapt De testscripts worden opgeknipt in losse geautomatiseerde testgevallen; het script roept de onderliggende geautomatiseerde testgevallen aan 1 scenario om de onderliggende bundel testscripts geautomatiseerd uit te voeren Scripts kunnen vanuit 1 tool worden afgetrapt Initiele opstartkosten voor het Framework Mogelijkheid tot het genereren van specifieke rapportages Business Test Process Framework: een framework met de business aan de knoppen Management commitment Een permanent automatiseringsteam Onderhoud is eenvoudig en kost weinig inspanning Vroege foutdetectie Garantie op de dekking van de testen Traceability tussen bevinding, testgeval en testbasis 21

22 22 Vroege foutdetectie: Completeren testbasis Alles... Nee! En denk aan de risicoanalyse Inzetten model based testen (Traceability) Gebruik testspecificatie technieken Het juiste aantal testgevallen

23 23 Zo snel mogelijk maar wel eerst aandacht voor: Handmatige testset Traceability Kwaliteit testbasis Expertise testteam Testomgeving Tooling Durf er ook voor te kiezen om NIET te automatiseren Wat is de ROI? Hoe vaak worden deze testen uitgevoerd? Hoe belangrijk is dit proces voor de bedrijfsvoering? Hoe richt ik het beheer in?

24