Performancetest Online Banking Fortis Amsterdam 3 maart 25 FBN/ WSCC Amsterdam M. van Vlerken Introduktie Maarten van Vlerken Amsterdam, 3 maarti 25 Performancetesten 2 2
Inhoud - Opdracht voor performancetest online banking - gelijktijdigheid / concurrency - Infrastructuur - Meetpunten - Gebruikers scenario - Belastingsmodel - Testscenario - Testdata - Script ontwikkeling - Draaiboek - Uitvoering - Resultaten - Probleem - oplossing - Vervolg test - Resultaten - Probleem - oplossing - Tunning Sessies - Conclusie - Herhaal testen OLB2 Performancetesten 3 3 Opdracht Criteria voor het project Aantalen Aantal klanten : 25. Aantal login s/ uur : 46 Aantal transacties / uur : 46 Responsetijden: Login : Andere transacties : 15 seconden 7 seconden Architectuur: Front-end systeem : Back-end systeem : Security systeem : België Nederland Nederland Performancetesten 4 4
Opdracht Gelijktijdigheid / Concurrency Soorten gelijktijdigheid Gebruikers wachttijden (variabel) Transacties aantal per tijdseenheid Server processor gebruik Soorten gebruikers Named users Klanten bestand Active users Klanten die de applicatie gebruiken Concurrent users Klanten die tegelijkertijd actief zijn Gebruiker acties transactie - wachttijd - transactie -wachttijd - transactie - enz ratio = som transactie tijden/ totale doorloop tijd totale doorloop tijd = som transactie tijden + som wachttijden concurrent users = ratio * aantal gebruikers Performancetesten 5 5 Infrastructuur Testketen OLB2 in QA Woerden Brussel Woerden / Utrecht Utrecht IP SSL/xml http http Mq- message IPL/lpap IP/Sqlnet Mqmessage Mqmessage LoadRunner OLB2 IIS applicatie WAS Log Server Admin Server MQ hub BE MQ hub NL Security DEP box LDAP Oracle db Sprint Auteur: M van Vlerken Afdeling: /AM/WSCC Amsterdam Versie: 3. Datum: 4 februari 25 Performancetesten 6 6
Meetpunten Apparaat Cliënt / Loadrunner LAN router NL-BE IIS applicatie Web (Windows) WAS Server Technische Contact Applicati Wat te meten Hoe te Actief naam persoon meten es M. v.vlerken Responsetijd Loadrunner Ja http gegevens nrbmr11 H. Bak Throughput ConcordHealth Ja fortisnlacc urs138q (RS/6) B. Jacobs J. Parmentier P. Janssens E. Hoedemaekers IIS Health(cpu,mem) Hits per second Perfmon Loadrunner WebSphere Health(cpu,mem) nmon Ja Log S5M722 B. Jacobs Health(cpu,mem) Nee J. Parmentier Admin S5M154 B. Jacobs Health(cpu,mem) Nee J. Parmentier MQ hub BE rs66p G. Clemmen MQ-series Health(cpu,mem) Nee (RS/6) A.Vangyseghem MQ hub NL xwpa311/ xwpa313 (RS/6) E. Guldenmond E. den Boer MQ-series Health(cpu,mem) nmon Nee Security LDAP General Oracle Sprint xuaa33/ xwpa57 (RS/6) xuaa42/ xwpa62 (RS/6) xuaa39 (RS/6) CV16 FBNw2 (Z/OS) P. v.d Brink E. den Boer P. v.d Brink E. den Boer T. Linders E. den Boer MAD/Allshare Health(cpu,mem) nmon Ja Ldap DB2 Health(cpu,mem) nmon Ja Oracle Health(cpu,mem) nmon Ja W. van Wijk IDMS Health(cpu,mem) Nee Ja Performancetesten 7 7 Userscenario s Userscenario Verdeling Binnenlandse betaling 7% Mutatie overzicht 2% Zoeken van een mutatie 1% Binnenlandse betaling: aanmelden kies binnenlandse betaling voer gegevens in verstuur de betaling Signing van de transactie afmelden Performancetesten 8 8
Belastingmodel Belastingmodel Performancetest OLB2 65 6 Piekbelasting Aantal gelijktijdige gebruikers 55 5 45 4 35 3 25 2 15 1 Performance test Load test 5 : :15 :3 :45 1: 1:15 1:3 1:45 2: 2:15 2:3 2:45 3: 3:15 3:3 Tijd as Performancetesten 9 9 Testscenario TABEL 7. INSTELLINGEN TESTSCENARIO ALGEMEEN. Instellingen Type LoadRunnerscenario Manual Percentage mode Ramp up/down 2 VU / 8 seconden Think time Ja TABEL 8. SAMENSTELLING TESTSCENARIO ALGEMEEN Uit te voeren gebruikersscenario % VU Zoek functie 1 Mutatie overzicht 2 Binnenlandse betaling 7 T ABEL 9. U ITVOERINGSSCHEMA PERFORMANCETEST. Aantal VU Testscenario 1 25 5 1 2 3 Algemeen 15 min 15 min 15 min 15 min 15 min 15min TABEL 1. UITVOERINGSSCHEMA LOADTEST. Aantal VU Testscenario 3 Algemeen 1.5 uur Performancetesten 1 1
Testdata Klanten Rekening nummer en kaartnummer 6 x Klanten in de database 25. Rekeningen Mutaties op de rekeningen Positief saldo voor de zoek functie voor betalingen Simulatie van de Challenge/Response Performancetesten 11 11 Testdata - genereren van response code IP te testen systeem LoadRunner WebServer Utility DEP box http://v1565378.var.nl.fortis.bank/ depweb /DepUtilServletDirect?account=8255917&card=5989&challenge=886693 Performancetesten 12 12
Script ontwikkelen Performancetesten 13 13 Script ontwikkelen Aandachtspunten Parameters rekeningnummer en kaartnummer huidige datum variabele datum in het verleden Opvangen variabele data verschillende formaten van rekeningnummer hashdata challenge code / response code Transferid Genereren van betaal opdracht Samenstellen XML bericht Performancetesten 14 14
Draaiboek 1.1 DINSDAG 2 APRIL Deze dag zal gebruikt worden om de test straat door te testen met de verschillende scripts en om de monitors in te richten. TABEL 13. DRAAIBOEK 2 APRIL Tijdstip Testscenario Aantal VU Bemensing Opmerking Gehele dag Algemeen 1 Maarten van Vlerken Ester Sloot Gehele dag Algemeen 1 Maarten van Vlerken Ester Sloot 1.2 WOENSDAG 21 APRIL TABEL 14. DRAAIBOEK 21 APRIL Tijdstip Testscenario Aantal VU Bemensing Opmerking 9: 16. Algemeen 1, 25, 5, 1, 2, 3 Maarten van Vlerken Ester Sloot Performancetest 1.3 DONDERDAG 22 APRIL. TABEL 15. DRAAIBOEK 22 APRIL Tijdstip Testscenario Aantal VU Bemensing Opmerking 9:3 11. Algemeen 3 Maarten van Vlerken Loadtest Ester Sloot 13: 13.5 Algemeen 6 Maarten van Vlerken Ester Sloot Piekbelasting Performancetesten 15 15 Uitvoering Performancetesten 16 16
Uitvoering Performancetesten 17 17 Resultaten Aantal logins Verloop aantal Login_Response 45 4 35 3 Aantal 25 2 # Ok # Nok 15 1 5 5 1 15 2 25 3 35 4 45 Aantal virtual users Performancetesten 18 18
Resultaten Responsetijd Verloop Responsetijden Betaal Opdracht 12 1 Responsetijden in sec 8 6 4 Max 9% Gem Min 2 2 4 6 8 1 12 Aantal virtual users Performancetesten 19 19 Resultaten Responsetijd Probleem Verloop Responsetijd Login_Response 9 8 7 6 Responsetijd in sec 5 4 3 Max 9% Gem Min 2 1 5 1 15 2 25 3 35 4 45 Aantal virtual users Performancetesten 2 2
Resultaten Netwerkbelasting Performancetesten 21 21 Resultaten Server belasting: WAS Verloop CPU Belasting WAS Server 1 9 8 CPU Belasting in % 7 6 5 4 3 User time System time 2 1 9: 9:3 1: 1:3 11: 11:3 12: 12:3 Tijdstip Performancetesten 22 22
Resultaten - probleem Server belasting: Security CPU 1 9 8 7 Procent 6 5 4 User% Sys% Wait% 3 2 1 Performancetesten 23 9:39:35 9:48:36 9:57:36 1:6:36 1:15:36 1:24:36 1:33:36 1:42:36 1:51:36 11::36 11:9:36 11:18:36 11:27:36 11:36:36 11:45:36 11:54:36 12:3:36 Tijd 12:12:36 12:21:36 12:3:36 12:39:36 12:48:36 12:57:36 13:6:36 13:15:36 13:24:36 13:33:36 13:42:36 13:51:36 14::36 23 Conclusie Specifiek testen van: Security Performancetesten 24 24
Infrastructuur Testketen OLB2 in QA Woerden Brussel Woerden / Utrecht Utrecht IP SSL/xml http http Mq- message IPL/lpap IP/Sqlnet Mqmessage Mqmessage LoadRunner OLB2 IIS applicatie WAS Log Server Admin Server MQ hub BE MQ hub NL Security DEP box LDAP Oracle db Sprint Auteur: M van Vlerken Afdeling: /AM/WSCC Amsterdam Versie: 3. Datum: 4 februari 25 Performancetesten 25 25 Infrastructuur Specifiek testen van: Security Infrastructuur Woerden http IP IP/Sqlnet IPL/lpap LoadRunner Security DEP box Oracle db Ldap z-serie Performancetesten 26 26
Gebruikerscenario/Testscenario Specifiek testen van: Security Userscenario: Logon_en_Signing Testscenario: Logon_en_Signing Aantal VU Testscenario 1 5 1 25 4 55 Logon_en_Signing 15 min 15 min 15 min 15 min 15 min 15min Script Web/XML Performancetesten 27 27 Web script zelf maken Performancetesten 28 28
Resultaat Responsetijden Verloop van de responsetijden van OLB_3_SigningTransactie Responsetijd in sec 3 175 17 165 16 155 15 25 145 14 135 13 125 12 2 115 11 15 1 95 9 15 85 8 75 7 65 1 6 55 5 45 4 35 5 3 25 2 15 1 5 1 2 3 4 5 6 Aantal VU Aantal transacties Max 9 Percentiel Gem Min # Ok # Fail # Stop Performancetesten 29 29 Resultaat CPU Total xwpa57 meetserie 21-1-25 1 9 8 7 6 5 4 3 2 1 7:3 7:45 8: 8:15 8:3 8:45 9: 9:15 9:3 9:45 1: 1:15 1:3 1:45 11: 11:15 11:3 11:45 12: 12:15 12:3 12:45 13: 13:15 13:3 13:45 14: 14:15 14:3 14:45 15: 15:15 15:3 15:45 16: 16:15 16:3 16:45 17: 17:15 17:3 17:45 18: 18:15 CPU Belasting in % 18:3 18:45 19: 19:15 19:3 19:45 2: 2:15 2:3 2:45 21: 21:15 21:3 21:45 Tijdstip (hh:mm) Performancetesten 3 3
Resultaat cpu belasting Relatie CPU belasting xwpa57 en LDAP vulling, bij verschillend aantal VU meetsessies 15 VU en 25 VU 1 9 8 7 CPU belasting in % 6 5 4 3 2 1 5. 1. 15. 2. 25. Aantal klanten in de LDAP Metingen met 15 VU Metingen met 25 VU Performancetesten 31 31 Resultaat WebSphere metingen Verloop van het JVM gebruik xwpa57 - Security-Server-Interfaces 8 meetsessie OLBMAD 55 VU, 11-1-25 7 6 JVM gebruik in MB 5 4 3 2 1 15:3 15:35 15:4 15:45 Tijdstip (hh:mm) 15:5 15:55 16: jvmruntimemodule/totalmemory jvmruntimemodule/usedmemory jvmruntimemodule/freememory wsp3_olbmad_55vu_1_.lra Performancetesten 32 32
Problemen / oplossingen Crypto berekeningen - Crypto kaart Serialisatie Dep box - Aanpassen van Software JVM setting - Verhogenparameter LDAP sever - Aparte Database - Tuning Performancetesten 33 33 Tuning sessies Testscenario: Script Logon_en_Signning VU 75 Duur 1 minuten Aanpassing Onderdeel Waarde nulmeting I II III IV V LDAP Db2 bufferpool 15 175 185 1925 185 size IBMDEFAULTBP: Db2 bufferpool size LDAPBP 1875 2 225 24 225 Db2 NUM_IOCLEANERS 3 6 3 Db2 NUM_IOSERVERS 6 9 6 Resultaten Testnummer 1 2 3 4 5 6 7 I II III IV Aantal VU 1 5 15 25 4 55 55 4 4 4 4 Tijdsduur (hh:mm:ss) :2:24 :2:58 :23:2 :24:47 :27:2 :29:54 :29:34 :27:14 :27:6 :27:5 :26:42 Aantal transacties per uur OLB_1_Identification 91,2 446,4 1279, 245,7 2963,4 3347,2 3344,3 2853,1 288,4 2875,6 2822,5 OLB_2_Authentication 91,2 446,4 1279, 245,7 2963,4 3345,2 3332,1 2844,3 2871,6 2873,4 282,2 OLB_3_SigningTransactie 91,2 446,4 1279, 245,7 2961,2 3345,2 3332,1 2844,3 2869,4 2871,1 2773, OLB_4_SigningVerification 91,2 44,7 1266, 228,8 2934,9 3311, 331,7 2795,8 2827,3 284,1 2746,1 Performancetesten 34 34
Conclusies De performancetest: heeft probleem vroegtijdig aangetoond, vóór in produktie name Belangrijk: goede invulling van test data Performancetesten 35 35 Herhaaltesten van OLB2 Release User scenarios 24 Download betalingenmt94 Upload betalingen 25 Upload Incasso s Download zoek resultaat Bekend: infrastructuur, meetpunten, testdata, loadmodel, aanspreekpunten enz. Aanpassen: (Nieuwe) scripts en testscenario. Performancetesten 36 36
Herhaaltesten van OLB2 Dus: Kortere doorloop tijd Performancetesten 37 37 Einde presentatie Performancetesten 38 38