Performance testen in de keten

Transcriptie

1 Performance testen in de keten Lessons learned bij ABN AMRO Testnet Najaarsevenement Testing only gets better PerformanceArchitecten Erik Brouwer René Meijboom 11 oktober 2010 Achtergrond ABN AMRO Bankentrio doet overname van ABNAMRO technical and legal separation projecten worden opgestart Transaction Banking: betalingsverkeer Grootzakelijke klanten Zowel Fortis als RBS hebben interesse voor dezelfde set van applicaties Kopie infrastructuur en applicaties maken Ontstaan van project Dolly begin

2 Agenda Applicatielandschap programma Dolly Bestaande manier van performance testen Performance testen in de keten Meerwaarde performance testen in de keten Performance testen verbeteren zonder een keten ABN AMRO 2 jaar later 2 Applicatie landschap ABN AMRO Transaction Banking Frontoffice Midoffice payment reporting Test scope 3 2

3 Initiële performance test aanpak Oude testen zijn baseline voor nieuwe situatie Dezelfde betalingen Dezelfde betalingstypes Dezelfde volumes Frontoffice en Midoffice applicaties worden afzonderlijk getest Gebruik van gedepersonaliseerde testdata 4 Frontoffice performance test aanpak Frontoffice Midoffice HP LoadRunner payment reporting X X X 5 3

4 Frontoffice performance test Focus op response tijden Gebruik van HP LoadRunner Simulatie verwachte productie load Applicaties worden gelijktijdig getest Vergelijking maken met baseline situatie Invloed van Midoffice op Frontoffice niet getest 6 Frontoffice performance test Average transaction response times - Virtual Users ,8 Average response time (seconds) 1,6 1,4 1,2 1 0,8 0,6 0,4 0, # Virtual Users Homepage Submit_ Virtual Users :00 00:05 00:10 00:15 00:20 00:25 00:30 00:35 00:40 00:45 00:50 00:55 Elapsed time 01:00 01:05 01:10 01:15 01:20 7 4

5 Midoffice performance test scope Frontoffice Midoffice payment reporting 8 Midoffice performance test aanpak Load test tool Frontoffice QM Midoffice QM payment Q1 reporting Q2 Q3 9 5

6 Midoffice performance testen Focus op throughput testen Gebruik in house ontwikkeld tool Simulatie van de verwachte productie load Applicaties worden afzonderlijk getest Invloed van Front- en wordt niet getest Vergelijking maken met baseline situatie 10 Midoffice performance testen messages injected vs messages processed # messages per second Injected Processed Baseline 00:00 00:05 00:10 00:15 00:20 00:25 00:30 00:35 Elapsed time 00:40 00:45 00:50 00:55 01:

7 Ervaringen met initiële manier van testen + Vergelijking met bestaande situatie goed mogelijk + Individuele applicaties voldoen aan performance requirements Invloed van Frontoffice op Midoffice en andersom wordt niet gemeten Testen zijn niet productie-like Gaan de applicaties en de nieuwe infrastructuur wel werken als geheel? 12 Performance testen in de keten Focus op keten issues zoals Resource gebruik Timeouts Volledigheid Alleen gebruik van HP LoadRunner Simulatie verwachte productie load Applicaties worden gelijktijdig getest Vergelijking maken met nieuwe situatie 13 7

8 Performance testen in de keten Frontoffice Midoffice payment HP LoadRunner reporting 14 Voorwaarden voor performance testen in de keten Systemen zijn gelijk geschaald Data synchroon opzetten in de hele keten Beperkt aantal interfaces, of gebruik van intelligente stubs Geïsoleerde testomgeving Eigen beheer Niet gedeeld met andere testers / gebruikers Anders, afstemmen met meerdere systeemeigenaren noodzakelijk 15 8

9 Meerwaarde performance testen in de keten Productie-like test gedaan Afdekken van meer risico s Vinden van andere issues zoals: Storage tekort bij logging MQ persistency problemen Gedrag van applicatie bij timeouts in aanpalend systeem Limiet van maximum aantal sessies of connecties Test op volledigheid verwerking in de keten 16 Kostenaspect performance testen in de keten Wegen de kosten op tegen de baten? Testomgevingen zijn kostbaar: Initiële inrichting: hardware, software Beheer op omgevingen: licenties, technische beheer rollen, release management ABN AMRO Transaction Banking: Cut-off tijden van betalingen zijn belangrijk Systeem had zich nog niet bewezen in productie Test management vroeg in programma betrokken 17 9

10 Test verbeteren zonder keten Hoe performance testen verbeteren zonder productie-like keten: Extra aandacht voor monitoring Gebruik intelligente stubs Bepaal de verhouding/schaling tov productie Input testdata halen bij aanleverende systemen PRAAT MET JE OMGEVING! 18 Wat is de situatie nu? Programma Dolly live zonder problemen september 2009 Testomgeving is complexer geworden: Nieuwe Frontoffice applicaties toegevoegd Extra connecties naar s Nieuwe testen worden toegevoegd voor nieuwe systeemdelen Performance ketentesten worden nog steeds uitgevoerd 19 10

11 Performance testen in de keten Aanvulling op individuele performance testen Vinden van andere issues Belang van synchrone data setup door de keten Afstemming in de keten noodzakelijk 20 Succes! Erik Brouwer : erik.brouwer@performancearchitecten.nl Rene Meijboom : rene.meijboom@performancearchitecten.nl PerformanceArchitecten Postbus DH Delft Info@PerformanceArchitecten.nl