Testen en offshoring: mooi van ver of ver van mooi

Transcriptie

1 en en offshoring: mooi van ver of ver van mooi Tim Koomen net najaarsevenement 2 november, 2005

2 Ver van mooi?

3 Waarom interessant? en regelmatig onderschat, resultaten van offshoring vaak overschat dat testen is altijd zo lastig, laat India dat maar voor ons oplossen. testen van offshoring & offshoren van testen

4 Huidige trend voortdurende kostenreductie van softwareontwikkeling en tegelijkertijd de behoefte aan meer functionaliteit en tegelijkertijd de behoefte aan hogere kwaliteit Meer Code Meer Kwaliteit Dit betekent meer én beter voor minder Minder Kosten

5 Huidige oplossingen Inzet van: hoog gekwalificeerde professionals... met ontwikkel- en testvaardigheden... in een snel schaalbare organisatie any time any place anywhere tegen lage kosten Vaak is de standaardoplossing: outsourcen van zowel ontwikkeling als testen bij dezelfde (offshore) partner zonder betrokkenheid van IT-afdeling... beschouwd als een black box zonder enige business kennis met één acceptatiemoment tegen het eind Vaak blijkt dit uiteindelijk de verkeerde oplossing!

6 India!!! Functionality s Plan the test Defect Regression s Strategies Charts, processchema s Analysis White Box Usability s ing Limit s Regression Error Handling s Interface s Effort & ing Final Schedule Report Functional Performance Standaards Automation als IEEE829, To confirm no BS7925, ISO9001 Lab Request for ing Effects due to Cases bug-fixing Plan Certificaten Preparation als CCP, CSTE, CSQA Estimation cases & Development Partnerships met bekende testtoolleveranciers ing & Qualification Team Project report bugs Team Initiation ClientCognizant + Cognizant Repository OnuitputtelijkeMonitoring resources Requirement AnalysisTraining Lab Metrics Inputs (#tg en/fp) on Tools, Onsite QA Team Referenties Automation Lab Best of Breed Tools State of the Art Infrastructure Skilled & Experienced Professionals en Strategy natuurlijk Formulation ing Methodology Run the test Certified Processes CMM(i) level 5 Planning Ons ite Offsh case Preparation Design Checklists, Envn Automate testing Where required Rational Win Runner Knowledge Cases Planning Generation Lab Onsite Functional, Review Stress, Performance,etc. Plan Defect tracking & Analysis Offshore QA Team Project Closure side- Lab Onsite Review Sign Regression, Off Defects Case s Director Offshore Review Post Deployment Evaluation Sponsors Account Overall Program Manager Coordinator Sign Off Release Client Manager Client Analyst/ Designer Onsite Review Cognizant Analyst Cognizant Offshore Review Analyst/Designer Client Support Team Quality, Training Network, DBA Case Script Generation Generation Scripting Execution Client Team (s) ers Developers Business Analysts SME Changes due ers to Bug Fixing ers Configuration Development Team Scripts Installation ing Packaging System ing Configuration, Regression Integration ing Black Box ing Load, Integrity, Inter-operability Documenting, Installing, Verifying Installation Sign Off Onsite Acceptance Fixe s Center Head/ Delivery Manager Lead Analyst/ Designer Execution ers Defect Reports Logs Status Report Release Report Defect Reports Logs Support Services Quality Network Acceptance ing User Team ing Core Team Domain Experts Automa tion Tool Expert Team Technic al Architec ture Team

7 Capability Maturity Model (i) Optimaliserend 5 SPI als proces Beheersbaar 4 Processen meetbaar en beheersbaar Gedefinieerd 3 Processen vastgesteld en geïmplementeerd Herhaalbaar 2 Beheersbaar op taakniveau Initieel 1 Onvoorspelbaar en slecht beheersbaar

8 India? Kwaliteit? Op tijd? Binnen budget? Garbage In Garbage Out (GIGO) Fuzzy English Businesskennis Communicatie Cultuur Volwassenheid van ontwikkel- en testprocessen Enorme groei Indiase IT

9 Managen kwaliteit offshoring Requirements Lifecycle Management Quality Assurance Overall Coördinatie (OTC) Ontwikkeling en

10 in detail ONSHORE Requirements Lifecycle Management Quality Assurance Overall Coördinatie (OTC) OFFSHORE PARTNER X Analysis/design Realisatie Bouwtests Optie 1 Optie 2 Optie 3 GAT PAT OFFSHORE PARTNER Y Optie 4 Ontwikkeling en (TMap )

11 Requirements Lifecycle Management Requirements development Baseline ElicitationAnalysisSpecification Validation Change control Version control Requirements status tracking Requirements tracing Oorsprong van bevindingen Business requirements (why) User requirements (what) Product requirements (how)

12 Quality Assurance Organiseren/uitvoeren van kwaliteitscontroles op processen Organiseren/uitvoeren van reviews op (tussen)producten (systeem- en testdocumentatie) Resultaten Vroege detectie van proces en projectrisico s Vroege detectie van bevindingen Preventie van bevindingen Preventie van garbage in garbage out Betere kwaliteit systeem- en testdocumentatie Betere beheersbaarheid/voorspelbaarheid van het (ontwikkel- en test-)proces

13 Overall Coördinatie (OTC) Eisen voor onderliggende testprocessen (bv. TMap ) Generiek Master Plan -inhoudelijke bijdrage aan contract (o.a. backshoring!) Per project: Master Plan Overall coördinatie van het testen in project volgens het MTP Definiëren van entry/exit criteria voor meerdere testsoorten Resultaten: Formele oplevering tussen meerdere (offshore) tests Voorspelbare softwarekwaliteit bij de start van elke test Verbeterde planning en uitvoering van testactiviteiten Overall dashboard met de status van testen en de kwaliteit/risico s van de software

14 GMTP PMTP DTP GMTP MTP Generiek mastertestplan - SLA, meer dan een sjabloon, onderdeel contract - Algemene afspraken (communicatie, criteria, methoden, technieken, tools, ) - soorten en -verantwoordelijkheden Mastertestplan - Concrete invulling van SLA - Plan rond één project - Exit/entry criteria, strategie, - Ook afwijkingen DTP -Detail testplan - Verdere invulling van MTP - Plan rond één testsoort

15 Exit- en entrycriteria Voorbeelden entry-criteria: Beschikbaarheid deliverables zoals testplan, testbasis, testobject Alle voorgaande tests zijn uitgevoerd Aantal openstaande bevindingen vanuit voorgaande tests is beneden bepaalde waarden Een pretest in de voorgaande of huidige testomgeving is uitgevoerd Voorbeelden exit-criteria: alle geplande activiteiten en tests zijn uitgevoerd aantal openstaande bevindingen is beneden bepaalde waarden

16 Organisatie Verantwoordelijkheden (PM, OTC, TM s) Mengvormen mogelijk Projectmanager opdrachtgever Projectmanager opdrachtgever advies ÓF aansturing verantwoording OTM OTC aansturing verantwoording opdrachtgever manager / monitoring opdrachtnemer Opdrachtnemer en control aansturing OTM opdrachtgever manager / opdrachtnemer verantwoording, monitoring

17 Rapportage Hoe vaak en op welke manier rapporteert het testteam aan OTC? Hoe vaak en op welke manier rapporteert het OTC aan opdrachtgever / projectmanagement? Tools! Voortgang testen producten Kwaliteit testobject Kwaliteit testproces

18 QC op testen Verantwoordelijkheid van testmanagement Reviewen van processen en producten Overall Cöordinatie verantwoordelijk voor QC van testen als geheel Stuur ervaren testadviseur naar India: training, coaching, advies,

19 data Aandachtspunt: initiële testdata x gebrek aan materiekennis Wie levert / creëert welke delen? Privacy wetgeving (bij gebruik productiedata) Onderhoud op testdata

20 Houd rekening met Offshore pure scripted vague scripts charters freestyle exploratory Exploratory Scripted (J. Bach)

21 Bewaking van ontwikkelaarstests Overall Coördinatie is betrokken bij de ontwikkelaarstests (unit & integratietesten) door: Advisering hoe test op te zetten Reviewen en monitoring van het testproces gebaseerd op bepaalde eisen (checklist, testgevallen) Definiëren van exit-criteria voor de tests Resultaten: Voorspelbare softwarekwaliteit aan het einde van ontwikkeling Verbeterde planning van latere tests

22 in detail ONSHORE Requirements Lifecycle Management Quality Assurance Overall Coördinatie (OTC) OFFSHORE PARTNER X Analysis/design Realisatie Bouwtests Optie 1 Optie 2 Optie 3 GAT PAT OFFSHORE PARTNER Y Optie 4 Ontwikkeling en (TMap )

23 Optie 4, alternatief De TMapFactory aanpak: Klein eigen core team, grote testpartner offshore Standaard testproces (TMap) Geïntegreerde toepassing van testtools Single-point-of-contact Servicecontract en Generiek Master Plan per klant Klant TMF partner (Sogeti India) Offsite (TMF) V S U A Offshore (3rd party) P&B I T L O

24 Samenvatting Lage lonen compenseren nooit een slecht product! Trust but verify (R. Reagan)