Testlessen uit de bagagewereld

Transcriptie

1 1 en hoe we die bij NS toepassen Huub van der Wouden, IT Operations, Ontwikkeling & Projecten 11 april 2016 Wie ben ik? Cognitieve psychologie en A.I. ( ) Manager software ontwikkeling en projecten ( ) Knowledge engineer en KBS ontwikkelaar ( ) Project- en testmanager bagage systemen ( ) Software ontwikkelaar ( ) 2

2 2 IT Operations IT-systemen voor NS Reizigers Logistiek Klantbegeleiding Transportbesturing Eerstelijns personeel Sinds 2011 ICT op de Trein Reisinformatie 3 12 jaar bagagesystemen voor : Oslo Airport Gardermoen Van fabriek naar full service Systemen steeds complexer Zeer professionele opdrachtgevers Twee drivers voor professionalisering: Eigen behoeften Eisen van de klant : Schiphol D-Pier : Schiphol Terminal : Heathrow Terminal 5 4

3 3 Testen van Heathrow Terminal 5 een voorbeeld 5 6

4 4 Integreren en testen van bagagesystemen Green field (Oslo, Heathrow T5) Brown field (Schiphol) Langdurig, groot, ingewikkeld 7 Van vliegtuigen naar treinen Heathrow T5 project eind 2008 afgerond -> naar NS 2010: NS IT Operations afdeling Project en Software Kwaliteit 2011: Ontwikkeling en Projecten, afdeling Testen & Software Kwaliteit (TSK) 2015: afdeling verzelfstandigd als NS Test Competence Center Geleerde lessen goed toepasbaar bij NS 8

5 5 Een persoonlijke Top 40 van geleerde lessen Succesfactoren in de bagageprojecten die ik graag bij NS wilde herhalen en die de basis vormden voor de opzet van het NS TCC 9 4 Het belang van een test raamwerk 10

6 6 Behoefte aan een raamwerk De situatie: Vanderlande hoofdaannemer Diverse buitenlandse partijen voor systeemdelen: Noren, Zweden, Denen Uitdagingen: Testen van eigen systeemcomponenten Kwaliteitscontrole en acceptatie van componenten van onderaannemers Integratietesten Acceptatietesten van het geheel 11 Software testing in the real world Mijn redding! Ed Kit (1995): handzaam kookboek Algemene aanpak voor gestructureerd testen Testproces Test deliverables Het dunste boek In het Engels 12

7 7 IEEE-829 gebaseerd testraamwerk 13 Testen at scale Individueel testen: nieuwsgierigheid, doorzettingsvermogen, passie voor kwaliteit; technieken helpen kwaliteit en efficiency Testen in kleine teams: kleine afstand tot elkaar en tot gebruiker, kennis hebben van testsoorten, weten hoe die uit te voeren, basiskennis van het testproces Testen in grote teams: raamwerk noodzakelijk: Planning Uniformiteit Herhaalbaarheid Samenhang Balans tussen resultaat en middelen 14

8 Grote projecten, goede tools 16

9 9 V-model: met legostenen bouwen Gebruikers eisen, OR scenario s Systeemeisen, Ketentesten Systeem ontwerp, Systeemtesten Componenteisen, Component testen Component onderdelen, Unit en integratie testen 17 De behoefte aan goede tooling Onze eigen behoefte als systeembouwer: Decompositie Beheersing van wijzigingen Testdekking Ondersteuning van de cyclus De behoefte van onze opdrachtgevers: Aantonen dat legosteentjes goed zijn Aantonen dat met legosteentjes robuuste systeemdelen te bouwen zijn Aantonen dat systeem voldoet aan de eisen Aantonen dat systeem fit for purpose en fit for use is 18

10 10 Een enorm circus van eisen, configuraties, testen, testuitvoeringen, defects Elke eis moet gedekt zijn door één of meer testgevallen Elk testgeval moet uitgevoerd worden op alle relevante componenten en configuraties Elke uitvoering moet geslaagd zijn voor de baseline configuratie Elk defect moet opgelost zijn in de baseline configuratie de oorspronkelijk falende test moet slagen een selectie van andere testgevallen moeten ook slagen, als regressie 19 Tooling Eis Testgeval - Testuitvoering Eis Configuratie Item CM Synergy Change Synergy Testuitvoering - Defect 20

11 BESTEED AANDACHT AAN JE TESTOMGEVINGEN 22

12 12 Bagagesystemen testen op luchthavens is hard werken Bij nieuwe luchthavens: Nieuwe gebouwen, veel te doen Vrijwel alles loopt uit, maar de deadlines blijven staan Zowel fouten vinden als herstellen staat onder grote tijdsdruk Bij bestaande luchthavens: Operatie mag niet worden verstoord Testtijd vaak beperkt tussen 12 en 4 uur s nachts Opbouwen, terugbouwen, regressietesten Fysiek zwaar en arbeidsintensief: Veel koffers, zware koffers Veel personeel nodig Opzetten en opruimen veel werk 23 Veel gebruik van simulatie en emulatie 24

13 13 Complexe testomgevingen; Voor dit testsysteem Head of Stand area 0280 Transport area 0270 Verti sorter Transfer Input area 0250 Scanner Weighing scales Verti sorter Semi Conveyable Baggage Bagtrax Loader area 0760 Bagtrax Loop area Bagtrax Bypass area 0745 Message Distribution System (external) Bagtrax Unloader area 0751 Bagtrax Unloader area 0750 Common IT Services Visualisation Make Up Resource Planning Service Manager Logistics Manager MID DCV DCV Conveyor Sorter BSMS Cranes TubTrax BSC TC M I S Head of Stand area 0280 Safety CCTV Plant Power Distribution = Actual component present = Emulated equipment = Component stubbed = Component absent 25 was het volgende machinepark nodig: 26

14 14 Schiphol gebruikt Maxibas voor van alles: 27 28

15 15 NASA doet het nog wat groter 29 OBIS Testlab Testbureau: treinschermen Testmuur van nieuwe Flirt Testomgeving: HW van 2 treinen KWARTS

16 16 1 DOE ALSOF HET ECHT IS ZO VROEG MOGELIJK 31 Uitdagingen in langdurige trajecten Onze projecten duurden vaak jaren Tijd aan het begin gaat net zo snel als tijd aan het eind maar aan het begin weet je nog niet zo goed waar je later tegen aan gaat lopen Hoe sneller je begint met dingen aan het eind hoe effectiever de tijd aan het begin benut wordt Draai de klok vooruit naar vijf voor twaalf 32

17 17 Dingen die typisch mis gaan als je geen tijd meer hebt Infra niet af Software installeert niet Productie-configuratiedata onvolledig Interfaces niet robuust Ketenfunctionaliteit werkt niet AT en rol van team en klant Foutdiagnose Change- en releaseproces 33 Testen van T5 bagagesysteem Unit Testing Factory Test Activities Component Testing Interface Unit Testing Integration Integration Testing Low Level High Level Integration Integration Component FAT Integrated FAT Customer Acceptance Customer Acceptance Design, build, integrate and test in the factory Site Test Activities Commissioning (= LLC Component Testing) I/O Interface Software Testing Testing Configuration Co mpo nen t SAT Customer Acceptance Construct, build, integrate and test on the T5 site Integration and System Testing Integrated SAT Customer Acceptance Operational Readiness 34

18 18 Vroege acceptatietesten drie jaar voor oplevering 35 De Integrated Factory Acceptance Test (IFAT) Eenvoudig scenario s met meerdere componenten Gedefinieerde testomgeving, door Infra-team op te leveren Alleen geaccepteerde (CFAT) componenten mochten meedoen Formele installatie, bijgewoond door de klant Acceptatietest: een Grote Gebeurtenis Formele rapportage, defect registratie, opvolging Gezamenlijke analyse bijeenkomsten; vertegenwoordiging van alle teams aanwezig CAB : planning van oplossingen, releases, hertests, regressie 36

19 19 Resultaat van dingen vroeg echt maken Systeem: teams zien hun bouwsteen werken Teams snapten de rol van hun legosteentje in het geheel Teams zagen hun software al heel vroeg werken Gemeenschappelijke trots, motivatie! Samenwerking: alle teams betrokken en verantwoordelijk Hardware, connectiviteit, infrastructuur vroeg betrokken Teams leerden omgaan met de noodzakelijke discipline Teams kregen vroeg te maken met verantwoordelijkheid Processen: vertrouwen op geoefende werkwijzen Team-processen samen verkennen en oefenen Op het moment dat het echt moeilijk wordt en de deadlines uitdagender: vertrouwen op wat je samen hebt geleerd 37 We maken regelmatig gebruik van Proof of Concepts We werken meer en meer volgens Agile principes Agile ontwikkeling maar frequent opleveren is een uitdaging in de praktijk Continuous Delivery wordt speerpunt in 2016 Met grote rol voor test automatisering Meer gebruik van KWARTS-testomgevingen tbv integratie en vroege acceptatie 38