Testen in het Reisinformatie-domein. Stijn van den Brand Domeintrekker Reisinformatie & Personeel NSR IT Operations - Testen & Kwaliteit

Transcriptie

1 Testen in het Reisinformatie-domein Stijn van den Brand Domeintrekker Reisinformatie & Personeel NSR IT Operations - Testen & Kwaliteit

2 Reisplanner (Centrum Voor Informatieverwerking) 340 kb 2

3 Actuele Reisplanner (AR-Nu) 2006: personeel (Railpocket) 2007 mobiel.ns.nl 2009: ReisPlanner Xtra (toestemming ProRail) 3

4 Winter 2010 Bedden voor gestrande reizigers niet nodig 4

5 Reisplanner lag er uren uit, oorzaak?????? Aanvraag infra AR-Nu vragen & antwoorden Load Balancer FE FE FE FE bron info RTI BE BE BE BE Oftewel: het woord is aan de testers! Fysieke Server (ESX) Virtuele Server (Windows) - Niet gecheckt of infra ook zo is neergezet. - Niet gecheckt of infra voldoende is voor verwachtte load aan bronberichten en requests. - Bronnenberichten nooit echt goed onderzocht (combinaties, volgordes, aantallen). 5

6 Testdata management en Performance Testen AR-Nu Sneeuw/storm Uitgedunde dienstregeling: 10 keer meer mutaties Bronnen Telecity 3 Toren E, Site D Switch (motive) Firewall (motive) Switch (motive) Loadbalancer (conclusion) Tele2 lijn 1 NS netwerk CID CID CID Tele2 lijn 2 Telecity 4 Toren?, Site? Switch (motive) Firewall (motive) Switch (motive) Loadbalancer (conclusion) Afnemers stormdag: p/s > 400 reisadviezen > 200 vertrektijden (all-time high) ESX ESX logging en replay: van bronnen en requests, maandelijkse test op acc 6

7 Performance testbeleid o.m. standaard tooling, speciale performance-pra, uitval-testen: systeem gedrag na uitval onder belasting Tele2 lijn 1 NS netwerk Tele2 lijn 2 Telecity 3 Toren E, Site D CID Telecity 4 Site C Switch (motive) Switch (motive) Switch (motive) Firewall (motive) Firewall (motive) Switch (conclusion) CID CID Switch (conclusion) Loadbalancer (conclusion) Loadbalancer (conclusion) ESX ESX 7

8 Landschap reisinformatie (wel/niet testen) Dec 2010: NS wil volledige verantwoordelijkheid over reisinformatie. 8

9 Reisinformatie op de trein 2 X DAK ANTENNE OBIS REK wereldwijde prijs: meest innovatieve (ICT)-bedrijf nominatie Rotterdamse designprijs RITA: Reis Informatie Trein Applicatie - Internet Portal software - Modems internetverbinding voor reizigers + reisinformatie

10 Communicatie trein wal (analyse dec 2011) TREES wordt geteisterd door instabiliteit, en van de infrastructuur is nog veel onverklaard. Het crashen van systemen, het stagneren van de informatiestromen (NTT), het vol lopen van queues (AR-NU), het traag reageren door systemen (ARNU), het geen verbinding kunnen maken (RITA/TREES in het testlab) zijn alle nog niet verklaard. (analyse dec 2011) O T A RITA Leveran. I Leveran. I CCU TREES PORTAL Leveran. I Leveran. I Leveran. 2 Leveran. 2 NS NS Leveran. 5 Leveran. 3 NS NS WIFI Leveran. 4 Leveran. I NS TREES is ontwikkeld vanuit een beperkte scope. Er zijn noodgedwongen aannames gedaan over het gedrag van aanleverende systemen (NTT, ARNU) omdat deze systemen gebrekkig gedocumenteerd zijn. P NS NS Leveran. 5 NS NS

11 Ketenteststraat O T KWARTS A P

12 Componenten Testraamwerk TREES RITA / OBIS Portal Binnen display FOCON Omroep Live feeds ARNU Website ns.nl Railpocket proxy Buiten display ns.nl Rail pocket Beheertools

13 voor reisinformatie Scenariospeler ARNU probe OTIS adapter OTIS NTT simulator TREES OBIS Binnen display Omroep FOCON Buiten display VKLIS simulator PRIO simulator ARNU Website ns.nl Balie planner acc.mobiel. ns.nl Balie DTW simulator Appear Rail pocket

14 Demo Gesimuleerd storingsbericht Kijk op:

15 Voordelen - Naast live-stroom: simuleren van berichten in keten. In samenhang met berichten uit andere applicaties. - Gebrek aan documentatie is beter op te vangen. - Snel aanpassen omgeving, bijv. bij bevinding (omgeving in eigen hand). Installeren: leverancier met Toolsupport. - Geen andere gebruikers. - Leverancier eerst laten testen en aantonen op Kwarts dat applicatie werkt. - Ontwikkelen van scripts voor performance tests. Toekomst: logging & monitoring inrichten (niet alleen CPU, I/O e.d. maar ook logging van berichten)

16 Railpocket (wijst reizigers verkeerde weg 08/08/13) NS-zakcomputer wijst reizigers verkeerde weg 08/08/13, 06:56 bron: ANP NS-medewerkers klagen steen en been over de zogeheten railpocket. Het apparaat is log, te zwaar, loopt steeds vast, geeft geen accurate reisinformatie en kan onveilige situaties veroorzaken. Vakbond FNV Spoor eist in een brandbrief. Bij een speciaal meldpunt regende het de afgelopen weken klachten. 'Als er calamiteiten zijn, weten de reizigers het dikwijls eerder dan wij', aldus een conducteur.

17 1996 -> De geboorte van de Railpocket 2006: actuele reisinformatie

18 De afgelopen jaren

19 Opvolger Railpocket: ver-app-en 3 functies Smartphone, tablet: ios, Android, Win8 Cloud (Azure) NS Datacenter(s) NS Enterprise App container/wrap NS Enterprise Apps Server side API (per app) API API Public Apps EMM (Infraleverancier) Enterprise App Store API API NS backend applicaties API MAM Generieke backend API s Public App Stores MDM Public Domain

20 Testen Railpocket Zowel voor huidige Railpocket als voor project Opvolger - Bouw KWARTS voor Railpocket - Opzetten actuele regressie-testset (op basis van PRA) - Performancetesten (back-end systemen, maar ook de Mobiele Chipkaart Lezer) - Inzet dummynet voor het simuleren van (slecht) netwerk (wifi, 3G) - Geautomatiseerd testen met Xamarin (mogelijk op tientallen devices) - (Waarschijnlijk) inzet vaste testers voor releases Railpocket