Test(out)sourcing met TOGA

Transcriptie

1 Test(out)sourcing met TOGA Scope-bepaling Operationele regievoering Slide 1

2 Wie bent u? Uitbestedende klant (demand organisatie)? - Testpersoneel / -management? - Inkoop Leverancier? Anders? Slide 2

3 Definitie Het overdragen van interne bedrijfsfuncties, inclusief bijbehorende middelen, aan een externe leverancier, die de service voor een bepaalde tijd tegen een vastgestelde prijs uitvoert J. Brian Heywood Slide 3

4 Proces van test outsouring Strategie en scope Selectie leverancier Opstellen contract Implementatie Regievoering Strategie en scope Selectie leverancier Opstellen contract De routekaart naar succesvol outsourcen Implementatie Regievoering Slide 4

5 Strategie en scope Doelstelling Scope Strategie Strategie en scope Selectie leverancier Opstellen contract Implementatie Regievoering Slide 5

6 Selecteren leverancier Bijvoorbeeld: - Profiel - Request for proposal - Analyse - Letter of intent Strategie en scope Selectie leverancier Opstellen contract Implementatie Regievoering Slide 6

7 Opstellen contract Bijvoorbeeld: - Te leveren diensten - Contractduur - Verantwoordelijkheden - Prijs - Eigendomsrechten - Beëindiging Strategie en scope Selectie leverancier Opstellen contract Implementatie Regievoering Slide 7

8 Implementatie Bijvoorbeeld: - Standaards, procedures - Organisatiestructuur - Test infrastructuur, tools - Kennisoverdracht - Communicatie - Personeelsaspecten Strategie en scope Selectie leverancier Opstellen contract Implementatie Regievoering Slide 8

9 Wat blijft? The Test Outsourcing Docking Station Strategie en scope SLA Uitbesteed (test)werk Management & Monitoring Acceptatie Selectie leverancier Opstellen contract Implementatie Regievoering Slide 9

10 Strategie en scope Doelen Scope Strategie Strategie en scope Selectie leverancier Opstellen contract Implementatie Regievoering Slide 10

11 Vraag Waarom testen outsourcen? Slide 11

12 Doelstellingen en overwegingen, bijv.: Profiteren van de kwaliteit van anderen Meer efficiënte eigen processen Omgaan met pieken en dalen Reductie resources Richten op core business Betere expertise in non-core processen (Gebrek aan) ervaring en expertise Technology push Onafhankelijk kwaliteitsoordeel Verbetering time-to-market Standaardisatie Inkopen van schaarse expertise Formele certificatie Ontbreken van infrastructuur (Nieuw) beleid Kwaliteitsverbetering producten en diensten Reductie van doorlooptijd Kostenreductie Verbeterde kostenbeheersing Beperkt aantal interne resources Optimale ondersteuning Etc. Slide 12

13 Doelstellingen en overwegingen, bijv.: Profiteren van de kwaliteit van anderen Meer efficiente eigen processen Omgaan met pieken en dalen Reductie resources Richten op core business Betere expertise in non-core processen (Gebrek aan) ervaring en expertise Technology push Onafhankelijk kwaliteitsoordeel Verbetering time-to-market Kostenreductie! Standaardisatie Inkopen van schaarse expertise Formele certificatie Ontbreken van infrastructuur (Nieuw) beleid Kwaliteitsverbetering producten en diensten Reductie van doorlooptijd Kostenreductie Verbeterde kostenbeheersing Beperkt aantal interne resources Optimale ondersteuning Etc. Gebrek aan Resources! Slide 13

14 Er zijn vele vormen en varianten van sourcing Contractvorm - inhuur van mensen ( insourcing ) - managed resourcing (pieken en dalen opvangen) - project op nacalculatie - project fixed price Locatie - in huis - in Nederland - buitenland near shore - buitenland off shore - aandachtspunten: cultuur, taal, afstand, tijdzones,... Slide 14

15 Vraag Wat outsourcen? Slide 15

16 We gaan uitbesteden en nemen mee: Lijntaken - onderhoud opleiding beheer ontwerp bouw test Productgroepen - legacy in beheer nieuw strategisch NIETstrategisch Testsoorten - systeemtest systeemintegratietest ketentest F/G/P acceptatietest Niet-functionele test - performance security usability - Testfases - planning specificatie uitvoering uitvoering regressietest Testexpertises - testmanagement/coördinatie testengineering - testautomatisering Testtaken - testautomatisering testregie testsupport testarchitectuur - testverbetering Slide 16

17 De opties op een rij zetten Welke opties kunnen worden overwogen? - wat is de relatieve winstpotentie van de opties (1-10)? Hoeveel draagt iedere optie bij aan de doelstellingen? - van het uitbesteden en/of van de organisatie Hoe haalbaar / gemakkelijk is de realisatie er van - wat komt er allemaal kijken bij de implementatie? - hoe grijpt het in op de lopende werkzaamheden? Op welke termijn wordt netto rendement verwacht? - eerst investeren - dan investering terugverdienen - daarna is er winst Slide 17

18 Welke opties overwegen # Doelen 1-10 Gemak van realisatie 1-10 Rel. Winst Potentie Outsource everything (design, build and test), except rqms and final acceptance 2 Insource all system testing 3 Outsource ST, SIT, UAT, NFt, incl. TM, strategy and planning 4 Outsource ST, SIT, UAT, NFt, except TM, strategy and planning 5 Outsource ST, SIT, UAT, except NFt, TM, strategy and planning 6 Outsource only automated regression testing 7 Outsource only NFt Slide 18

19 Uw lijst: (vul er zelf een paar in) # Uw opties: Doelen 1-10 Gemak van realisatie 1-10 Rel. Winst Potentie Slide 19

20 Bepalen winstpotentie en termijn Hoeveel fte wordt er uitbesteed tegen lager tarief? Hoeveel moet er worden geïnvesteerd en hoe lang? 10 Voorbeelden: Month Cost Benefit Balance Relatieve winstpotentie: Month Cost Benefit Balance Relatieve winstpotentie: Slide 20

21 Relatieve winstpotentie # 1 Outsource everything (design, build and test), except rqms and final acceptance Doelen 1-10 Gemak van realisatie Insource all system testing 5 3 Outsource ST, SIT, UAT, NFt, incl. TM, strategy and planning 4 Outsource ST, SIT, UAT, NFt, except TM, strategy and planning 5 Outsource ST, SIT, UAT, except NFt, TM, strategy and planning 6 Outsource only automated regression testing 7 Outsource only NFt 2 Rel. Winst Potentie Slide 21

22 Vul lijst aan # Uw opties: Doelen 1-10 Gemak van realisatie 1-10 Rel. Winst Potentie Slide 22

23 Hoeveel draagt iedere optie bij aan de doelstellingen? Score Gewicht Gewogen score Kwaliteit Kosten Flexibiliteit totaal Bijdrage = 6,6 (46/7) Slide 23

24 Bepaal zelf de score voor de opties OPTIE: Score Gewicht Gewogen score Kwaliteit Kosten Flexibiliteit OPTIE: Score Gewicht Gewogen score Kwaliteit Kosten Flexibiliteit Slide 24

25 Bepaal zelf de score voor de opties OPTIE: Score Gewicht Gewogen score Kwaliteit Kosten Flexibiliteit OPTIE: Score Gewicht Gewogen score Kwaliteit Kosten Flexibiliteit Slide 25

26 Hoe haalbaar / gemakkelijk is de implementatie van iedere optie? Score Gewicht Gewogen score Implementatie Lopende werkzaamheden Organisatie Volwassenheid totaal Gemak = 6,1 (55/9) Slide 26

27 Bepaal zelf de score voor de opties OPTIE: Score Gewicht Gewogen score Implementatie Lopende wzh Organisatie Volwassenheid OPTIE: Score Gewicht Gewogen score Implementatie Lopende wzh Organisatie Volwassenheid Slide 27

28 Bepaal zelf de score voor de opties OPTIE: Score Gewicht Gewogen score Implementatie Lopende wzh Organisatie Volwassenheid OPTIE: Score Gewicht Gewogen score Implementatie Lopende wzh Organisatie Volwassenheid Slide 28

29 Relatieve winstpotentie # 1 Outsource everything (design, build and test), except rqms and final acceptance Doelen 1-10 Gemak van realisatie 1-10 Rel. Winst Potentie ,3 3, Insource all system testing 4 5,1 5 3 Outsource ST, SIT, UAT, NFt, incl. TM, strategy and planning 4 Outsource ST, SIT, UAT, NFt, except TM, strategy and planning 5 Outsource ST, SIT, UAT, except NFt, TM, strategy and planning 6 Outsource only automated regression testing 5,6 3, ,6 6 6,3 5, ,9 4 7 Outsource only NFt 4,7 8 2 Slide 29

30 Vul lijst aan # Uw opties: Doelen 1-10 Gemak van realisatie 1-10 Rel. Winst Potentie Slide 30

31 Volgende stappen, een aanpak # Objectives 1-10 Doability 1-10 Benefit 1-10 Globale aanbevelingen Outsource everything (design, build and test), except rqms and final acceptance 6,3 3,7 10 Insource all system testing 4 5,1 5 Outsource ST, SIT, UAT, NFt, incl. TM, strategy and planning Outsource ST, SIT, UAT, NFt, except TM, strategy and planning Outsource ST, SIT, UAT, except NFt, TM, strategy and planning Outsource only automated regression testing 5,6 3, ,6 6 6,3 5, ,9 4 7 Outsource only NFt 4,7 8 2 Verbeter testproces naar vold. niveau Implementeer TOGA Implementeer optie 6 Ga verder met 5 en 4 Ga verder met 3 Recruteer de juiste mensen Slide 31

32 Uw aanbevelingen? Slide 32

33 Regievoering Test outsourcing management Operationele regievoering Strategie en scope Selectie leverancier Opstellen contract Implementatie Regievoering Slide 33

34 Regievoering SLA Advies: Reduceer Management & Monitoring inspanning Strategie en scope Outsourced testing Acceptatie Selectie leverancier Opstellen contract Management & Monitoring SLA(GMPT) management Standaards, proces Overall planning, schaling, begroting Reporting Leveranciers management Coordinatie restant testactivititeiten Training, coaching and support Slide 34 Dashboard Scorecards Metrics Health checks The Test Outsourcing Docking Station Implementatie Regievoering

35 Operationele regievoering van testen Strategie en scope SLA Outsourced testing Acceptatie Selectie leverancier Opstellen contract Management & Monitoring Implementatie Slide 35 Dashboard Scorecards Metrics Health checks Regievoering

36 Operationele regievoering van testen Slide 36

37 Vraag Welke informatie is nodig om outsourcing te beheersen? Slide 37

38 Operationele regievoering van testen Master Testplan (Strategie) Intake Testbasis Ontwikkelingsproces Outsourced testing Testspecificaties Detail Testplan Reporting Testware Controle op testproducten Slide 38

39 Controlemiddelen Toezicht op aanwezigheid van testproducten Inhoudelijke controle op deze testproducten Gebruik van checklists (gerelateerd aan een norm) Bevindingen gerapporteerd aan de projectleider en leverancier Escalatie van hoge risico s -Testplan - Testscripts - Testresultaten - Weekrapportages Slide 39

40 Slide 40

41 Slide 41

42 Slide 42

43 Operationele regievoering van testen Master Test Plan (Strategie) Acceptatie testbasis Ontwikkel process Uitbesteed testen Testspecificaties Detail testplan Rapportage Testware Controle op testproducten Metrics (testvoortgang, proces en productkwaliteit) Slide 43

44 Regievoering Doelen voor testmetrics Meten testvoortgang Meten kwaliteit testobject Meten kwaliteit testproces Creëren basis voor testbegroting Beheren bevindingenproces Opsporen mogelijke zwakke plekken in ontwikkeling Voornaamste gegevens: Testgevallen Bevindingen Uren Slide 44

45 Regievoering Metrics per projectfase Tijdens de testuitvoeringsfase 1. Voortgang testuitvoering 2. Succes testuitvoering 3. Openstaande bevindingen 4. Verbruiksgraad testuren Tegen het eind van de testuitvoering Na testuitvoering Na projectafronding Gevorderde metrics 5. Testdekking 6. % voltooide tests 7. # resterende bevindingen 8. Uren per testgeval 9. Uren per bevinding 10. % testuren 11. Bevindingen in productie 12. Voortgang testspecificatie 13. Gemiddelde duur foutoplossing 14. Basisoorzaak bevindingen Slide 45

46 Regievoering (1) Voortgang testuitvoering 2500 passed failed blocked gepland doel 2000 # scripts Herplanning [Criteria] Voortgang uitvoering Is testvoortgang voldoende om de toegezegde einddatum te halen? weeknummer Slide 46

47 Regievoering (2) Succes testuitvoering 2500 passed failed blocked gepland doel 2000 # scripts Kwaliteit weer op orde Kwaliteit te laag [Criteria] Succes uitvoering passed/ (passed+failed) > 80%? weeknummer Slide 47

48 Regievoering (3) Openstaande bevindingen [Criteria] Openstaande bevindingen Trend richting einddatum? 200 open hoog open medium open laag einddatum bevindingen Aantal openstaande bevindingen neemt toe Aantal openstaande bevindingen neemt af 0 week wk07 wk08 wk09 wk10 wk11 wk12 wk13 wk14 wk15 wk16 wk17 wk18 Slide 48

49 Regievoering Metrics per projectfase Tijdens de testuitvoeringsfase 1. Voortgang testuitvoering 2. Succes testuitvoering 3. Openstaande bevindingen 4. Verbruiksgraad testuren Tegen het eind van de testuitvoering Na testuitvoering Na projectafronding Gevorderde metrics 5. Testdekking 6. % voltooide tests 7. # resterende bevindingen 8. Uren per testgeval 9. Uren per bevinding 10. % testuren 11. Bevindingen in productie 12. Voortgang testspecificatie 13. Gemiddelde duur foutoplossing 14. Basisoorzaak bevindingen Slide 50

50 Regievoering Metrics per projectfase Tijdens de testuitvoeringsfase 1. Voortgang testuitvoering 2. Succes testuitvoering 3. Openstaande bevindingen 4. Verbruiksgraad testuren Tegen het eind van de testuitvoering Na testuitvoering Na projectafronding Gevorderde metrics 5. Testdekking 6. % voltooide tests 7. # resterende bevindingen 8. Uren per testgeval 9. Uren per bevinding 10. % testuren 11. Bevindingen in productie 12. Voortgang testspecificatie 13. Gemiddelde duur foutoplossing 14. Basisoorzaak bevindingen Slide 54

51 Regievoering (8) Uren per testgeval [Criteria] Uren per testgeval vergelijking OK testgeval kost meer dan NOK testgeval 947 uren / 624 passed = 1,5 uren/testcase 188 uren / 78 failed = 2,4 uren/testcase metric veranderd Slide 55

52 Regievoering (9) Uren per bevinding [Criteria] Uren per bevinding vergelijking Extreem getal Slide 56

53 Regievoering (10a) Testuren per fase [Criteria] Uren per fase Norm in bedrijfstak Planning&Control: 15 % Voorbereiding: 8% Specificatie: 32% Uitvoering: 40% Afronding: 5% (voorbeeld) Klein % specificatie Slide 57

54 Regievoering (10b) % testuren [Criteria] Percentage testuren norm in bedrijfstak FO+B : T 50 : 50 hoger risico 65 : 35 gemiddeld risico 80 : 20 lager risico Slide 58

55 Regievoering Metrics per projectfase Tijdens de testuitvoeringsfase 1. Voortgang testuitvoering 2. Succes testuitvoering 3. Openstaande bevindingen 4. Verbruiksgraad testuren Tegen het eind van de testuitvoering Na testuitvoering Na projectafronding Gevorderde metrics 5. Testdekking 6. % voltooide tests 7. # resterende bevindingen 8. Uren per testgeval 9. Uren per bevinding 10. % testuren 11. Bevindingen in productie 12. Voortgang testspecificatie 13. Gemiddelde duur foutoplossing 14. Basisoorzaak bevindingen Slide 59

56 Regievoering Metrics per projectfase Tijdens de testuitvoeringsfase 1. Voortgang testuitvoering 2. Succes testuitvoering 3. Openstaande bevindingen 4. Verbruiksgraad testuren Tegen het eind van de testuitvoering Na testuitvoering Na projectafronding Gevorderde metrics 5. Testdekking 6. % voltooide tests 7. # resterende bevindingen 8. Uren per testgeval 9. Uren per bevinding 10. % testuren 11. Bevindingen in productie 12. Voortgang testspecificatie 13. Gemiddelde duur foutoplossing 14. Basisoorzaak bevindingen Slide 61

57 Regievoering Conclusie: minimum set voor regievoering Meten testvoortgang Meten kwaliteit testobject Meten kwaliteit testproces Creëren basis voor testbegroting Beheren bevindingenproces Opsporen mogelijke zwakke plekken in ontwikkeling 200 Outstanding defects open high open medium open low target date 2500 passed failed blocked planned target # scripts defects week wk07 wk08 wk09 wk10 wk11 wk12 wk13 wk14 wk15 wk16 wk17 wk week number Slide 65

58 Metrics - overzicht Deel 1: tijdens project Kwantitatieve data over testvoortgang en testobject - Testcases - Incidenten - Uren Wekelijks gerapporteerd door leverancier Vertalen data in metrics Analyse van trends Metrics gerapporteerd aan projectleider en leverancier Escalatie van hoge risico s Slide 66

59 Slide 67

60 Slide 68

61 Metrics - overzicht Deel 2: bepaal resultaten aan het eind van het project Gebaseerd op uren - verhouding (ontwerp en codering)/test - verhouding testfases (planning, uitvoering, etc) - aantal testcases per uur uitvoering - aantal incidenten per uur uitvoering Trend in effectiviteit en efficiëntie testvoortgang Trend in relatieve kosten Periodieke rapportage aan managementteam Slide 69

62 Voorbeeld metrics deel 2: testproces Slide 70

63 Operationele regievoering van testen Master Test Plan (Strategie) Acceptatie testbasis Ontwikkel process Uitbesteed testen Testspecificaties Detail testplan Rapportage Testware Controle op testproducten Metrics (testvoortgang, proces en productkwaliteit) Health checks en (externe) audits Slide 71

64 Health check Momentopname testproces/testproject Uitgevoerd door - Regisseur testoutsourcing of - Derde Discussie over projectbevindingen met projectleider Bespreken procesbevindingen met leverancier Escalatie van hoge risico s naar hoger management Rapporteren trends aan managementteam Basis = afspraken Eventueel testverbetermodellen (als TPI of TMM tm ) Slide 72

65 Slide 73

66 Dashboard testvoortgang testproces testproducten productkwaliteit controlemiddelen, metrics, health checks, (externe) audits Slide 74

67 Operationele regievoering van testen Master Test Plan (Strategie) Acceptatie testbasis Differentiatie op basis van risico s Ontwikkel process Uitbesteed testen Testspecificaties Detail testplan Rapportage Testware Groeiend vertrouwen minder controle nodig Controle op testproducten Metrics (testvoortgang, proces en productkwaliteit) Health checks en (externe) audits Slide 75

68 Samenvatting Strategie en scope Regie IT Selectie leverancier Management testuitbesteding Monitoren uitbestede testen Demand Leverancier Opstellen contract Transitie SLA Uitbesteed (test)werk Acceptatie Regievoering testproducten testvoortgang testproces productkwaliteit Slide 76 controlemiddelen, metrics, health checks

69 Regie IT Demand Management testuitbesteding Monitoren uitbestede testen Leverancier Slide 77

70 Dank u! testvoortgang testproces testproducten productkwaliteit controlemiddelen, metrics, health checks Info: Slide 78