Introduktie. Maarten van Vlerken. Performancetest Online Banking Fortis ISE. Amsterdam 30 maart FBN/ WSCC Amsterdam M.

Transcriptie

1 Performancetest Online Banking Fortis Amsterdam 3 maart 25 FBN/ WSCC Amsterdam M. van Vlerken Introduktie Maarten van Vlerken Amsterdam, 3 maarti 25 Performancetesten 2 2

2 Inhoud - Opdracht voor performancetest online banking - gelijktijdigheid / concurrency - Infrastructuur - Meetpunten - Gebruikers scenario - Belastingsmodel - Testscenario - Testdata - Script ontwikkeling - Draaiboek - Uitvoering - Resultaten - Probleem - oplossing - Vervolg test - Resultaten - Probleem - oplossing - Tunning Sessies - Conclusie - Herhaal testen OLB2 Performancetesten 3 3 Opdracht Criteria voor het project Aantalen Aantal klanten : 25. Aantal login s/ uur : 46 Aantal transacties / uur : 46 Responsetijden: Login : Andere transacties : 15 seconden 7 seconden Architectuur: Front-end systeem : Back-end systeem : Security systeem : België Nederland Nederland Performancetesten 4 4

3 Opdracht Gelijktijdigheid / Concurrency Soorten gelijktijdigheid Gebruikers wachttijden (variabel) Transacties aantal per tijdseenheid Server processor gebruik Soorten gebruikers Named users Klanten bestand Active users Klanten die de applicatie gebruiken Concurrent users Klanten die tegelijkertijd actief zijn Gebruiker acties transactie - wachttijd - transactie -wachttijd - transactie - enz ratio = som transactie tijden/ totale doorloop tijd totale doorloop tijd = som transactie tijden + som wachttijden concurrent users = ratio * aantal gebruikers Performancetesten 5 5 Infrastructuur Testketen OLB2 in QA Woerden Brussel Woerden / Utrecht Utrecht IP SSL/xml http http Mq- message IPL/lpap IP/Sqlnet Mqmessage Mqmessage LoadRunner OLB2 IIS applicatie WAS Log Server Admin Server MQ hub BE MQ hub NL Security DEP box LDAP Oracle db Sprint Auteur: M van Vlerken Afdeling: /AM/WSCC Amsterdam Versie: 3. Datum: 4 februari 25 Performancetesten 6 6

4 Meetpunten Apparaat Cliënt / Loadrunner LAN router NL-BE IIS applicatie Web (Windows) WAS Server Technische Contact Applicati Wat te meten Hoe te Actief naam persoon meten es M. v.vlerken Responsetijd Loadrunner Ja http gegevens nrbmr11 H. Bak Throughput ConcordHealth Ja fortisnlacc urs138q (RS/6) B. Jacobs J. Parmentier P. Janssens E. Hoedemaekers IIS Health(cpu,mem) Hits per second Perfmon Loadrunner WebSphere Health(cpu,mem) nmon Ja Log S5M722 B. Jacobs Health(cpu,mem) Nee J. Parmentier Admin S5M154 B. Jacobs Health(cpu,mem) Nee J. Parmentier MQ hub BE rs66p G. Clemmen MQ-series Health(cpu,mem) Nee (RS/6) A.Vangyseghem MQ hub NL xwpa311/ xwpa313 (RS/6) E. Guldenmond E. den Boer MQ-series Health(cpu,mem) nmon Nee Security LDAP General Oracle Sprint xuaa33/ xwpa57 (RS/6) xuaa42/ xwpa62 (RS/6) xuaa39 (RS/6) CV16 FBNw2 (Z/OS) P. v.d Brink E. den Boer P. v.d Brink E. den Boer T. Linders E. den Boer MAD/Allshare Health(cpu,mem) nmon Ja Ldap DB2 Health(cpu,mem) nmon Ja Oracle Health(cpu,mem) nmon Ja W. van Wijk IDMS Health(cpu,mem) Nee Ja Performancetesten 7 7 Userscenario s Userscenario Verdeling Binnenlandse betaling 7% Mutatie overzicht 2% Zoeken van een mutatie 1% Binnenlandse betaling: aanmelden kies binnenlandse betaling voer gegevens in verstuur de betaling Signing van de transactie afmelden Performancetesten 8 8

5 Belastingmodel Belastingmodel Performancetest OLB Piekbelasting Aantal gelijktijdige gebruikers Performance test Load test 5 : :15 :3 :45 1: 1:15 1:3 1:45 2: 2:15 2:3 2:45 3: 3:15 3:3 Tijd as Performancetesten 9 9 Testscenario TABEL 7. INSTELLINGEN TESTSCENARIO ALGEMEEN. Instellingen Type LoadRunnerscenario Manual Percentage mode Ramp up/down 2 VU / 8 seconden Think time Ja TABEL 8. SAMENSTELLING TESTSCENARIO ALGEMEEN Uit te voeren gebruikersscenario % VU Zoek functie 1 Mutatie overzicht 2 Binnenlandse betaling 7 T ABEL 9. U ITVOERINGSSCHEMA PERFORMANCETEST. Aantal VU Testscenario Algemeen 15 min 15 min 15 min 15 min 15 min 15min TABEL 1. UITVOERINGSSCHEMA LOADTEST. Aantal VU Testscenario 3 Algemeen 1.5 uur Performancetesten 1 1

6 Testdata Klanten Rekening nummer en kaartnummer 6 x Klanten in de database 25. Rekeningen Mutaties op de rekeningen Positief saldo voor de zoek functie voor betalingen Simulatie van de Challenge/Response Performancetesten Testdata - genereren van response code IP te testen systeem LoadRunner WebServer Utility DEP box depweb /DepUtilServletDirect?account= &card=5989&challenge= Performancetesten 12 12

7 Script ontwikkelen Performancetesten Script ontwikkelen Aandachtspunten Parameters rekeningnummer en kaartnummer huidige datum variabele datum in het verleden Opvangen variabele data verschillende formaten van rekeningnummer hashdata challenge code / response code Transferid Genereren van betaal opdracht Samenstellen XML bericht Performancetesten 14 14

8 Draaiboek 1.1 DINSDAG 2 APRIL Deze dag zal gebruikt worden om de test straat door te testen met de verschillende scripts en om de monitors in te richten. TABEL 13. DRAAIBOEK 2 APRIL Tijdstip Testscenario Aantal VU Bemensing Opmerking Gehele dag Algemeen 1 Maarten van Vlerken Ester Sloot Gehele dag Algemeen 1 Maarten van Vlerken Ester Sloot 1.2 WOENSDAG 21 APRIL TABEL 14. DRAAIBOEK 21 APRIL Tijdstip Testscenario Aantal VU Bemensing Opmerking 9: 16. Algemeen 1, 25, 5, 1, 2, 3 Maarten van Vlerken Ester Sloot Performancetest 1.3 DONDERDAG 22 APRIL. TABEL 15. DRAAIBOEK 22 APRIL Tijdstip Testscenario Aantal VU Bemensing Opmerking 9:3 11. Algemeen 3 Maarten van Vlerken Loadtest Ester Sloot 13: 13.5 Algemeen 6 Maarten van Vlerken Ester Sloot Piekbelasting Performancetesten Uitvoering Performancetesten 16 16

9 Uitvoering Performancetesten Resultaten Aantal logins Verloop aantal Login_Response Aantal 25 2 # Ok # Nok Aantal virtual users Performancetesten 18 18

10 Resultaten Responsetijd Verloop Responsetijden Betaal Opdracht 12 1 Responsetijden in sec Max 9% Gem Min Aantal virtual users Performancetesten Resultaten Responsetijd Probleem Verloop Responsetijd Login_Response Responsetijd in sec Max 9% Gem Min Aantal virtual users Performancetesten 2 2

11 Resultaten Netwerkbelasting Performancetesten Resultaten Server belasting: WAS Verloop CPU Belasting WAS Server CPU Belasting in % User time System time 2 1 9: 9:3 1: 1:3 11: 11:3 12: 12:3 Tijdstip Performancetesten 22 22

12 Resultaten - probleem Server belasting: Security CPU Procent User% Sys% Wait% Performancetesten 23 9:39:35 9:48:36 9:57:36 1:6:36 1:15:36 1:24:36 1:33:36 1:42:36 1:51:36 11::36 11:9:36 11:18:36 11:27:36 11:36:36 11:45:36 11:54:36 12:3:36 Tijd 12:12:36 12:21:36 12:3:36 12:39:36 12:48:36 12:57:36 13:6:36 13:15:36 13:24:36 13:33:36 13:42:36 13:51:36 14::36 23 Conclusie Specifiek testen van: Security Performancetesten 24 24

13 Infrastructuur Testketen OLB2 in QA Woerden Brussel Woerden / Utrecht Utrecht IP SSL/xml http http Mq- message IPL/lpap IP/Sqlnet Mqmessage Mqmessage LoadRunner OLB2 IIS applicatie WAS Log Server Admin Server MQ hub BE MQ hub NL Security DEP box LDAP Oracle db Sprint Auteur: M van Vlerken Afdeling: /AM/WSCC Amsterdam Versie: 3. Datum: 4 februari 25 Performancetesten Infrastructuur Specifiek testen van: Security Infrastructuur Woerden http IP IP/Sqlnet IPL/lpap LoadRunner Security DEP box Oracle db Ldap z-serie Performancetesten 26 26

14 Gebruikerscenario/Testscenario Specifiek testen van: Security Userscenario: Logon_en_Signing Testscenario: Logon_en_Signing Aantal VU Testscenario Logon_en_Signing 15 min 15 min 15 min 15 min 15 min 15min Script Web/XML Performancetesten Web script zelf maken Performancetesten 28 28

15 Resultaat Responsetijden Verloop van de responsetijden van OLB_3_SigningTransactie Responsetijd in sec Aantal VU Aantal transacties Max 9 Percentiel Gem Min # Ok # Fail # Stop Performancetesten Resultaat CPU Total xwpa57 meetserie :3 7:45 8: 8:15 8:3 8:45 9: 9:15 9:3 9:45 1: 1:15 1:3 1:45 11: 11:15 11:3 11:45 12: 12:15 12:3 12:45 13: 13:15 13:3 13:45 14: 14:15 14:3 14:45 15: 15:15 15:3 15:45 16: 16:15 16:3 16:45 17: 17:15 17:3 17:45 18: 18:15 CPU Belasting in % 18:3 18:45 19: 19:15 19:3 19:45 2: 2:15 2:3 2:45 21: 21:15 21:3 21:45 Tijdstip (hh:mm) Performancetesten 3 3

16 Resultaat cpu belasting Relatie CPU belasting xwpa57 en LDAP vulling, bij verschillend aantal VU meetsessies 15 VU en 25 VU CPU belasting in % Aantal klanten in de LDAP Metingen met 15 VU Metingen met 25 VU Performancetesten Resultaat WebSphere metingen Verloop van het JVM gebruik xwpa57 - Security-Server-Interfaces 8 meetsessie OLBMAD 55 VU, JVM gebruik in MB :3 15:35 15:4 15:45 Tijdstip (hh:mm) 15:5 15:55 16: jvmruntimemodule/totalmemory jvmruntimemodule/usedmemory jvmruntimemodule/freememory wsp3_olbmad_55vu_1_.lra Performancetesten 32 32

17 Problemen / oplossingen Crypto berekeningen - Crypto kaart Serialisatie Dep box - Aanpassen van Software JVM setting - Verhogenparameter LDAP sever - Aparte Database - Tuning Performancetesten Tuning sessies Testscenario: Script Logon_en_Signning VU 75 Duur 1 minuten Aanpassing Onderdeel Waarde nulmeting I II III IV V LDAP Db2 bufferpool size IBMDEFAULTBP: Db2 bufferpool size LDAPBP Db2 NUM_IOCLEANERS Db2 NUM_IOSERVERS Resultaten Testnummer I II III IV Aantal VU Tijdsduur (hh:mm:ss) :2:24 :2:58 :23:2 :24:47 :27:2 :29:54 :29:34 :27:14 :27:6 :27:5 :26:42 Aantal transacties per uur OLB_1_Identification 91,2 446,4 1279, 245,7 2963,4 3347,2 3344,3 2853,1 288,4 2875,6 2822,5 OLB_2_Authentication 91,2 446,4 1279, 245,7 2963,4 3345,2 3332,1 2844,3 2871,6 2873,4 282,2 OLB_3_SigningTransactie 91,2 446,4 1279, 245,7 2961,2 3345,2 3332,1 2844,3 2869,4 2871,1 2773, OLB_4_SigningVerification 91,2 44,7 1266, 228,8 2934,9 3311, 331,7 2795,8 2827,3 284,1 2746,1 Performancetesten 34 34

18 Conclusies De performancetest: heeft probleem vroegtijdig aangetoond, vóór in produktie name Belangrijk: goede invulling van test data Performancetesten Herhaaltesten van OLB2 Release User scenarios 24 Download betalingenmt94 Upload betalingen 25 Upload Incasso s Download zoek resultaat Bekend: infrastructuur, meetpunten, testdata, loadmodel, aanspreekpunten enz. Aanpassen: (Nieuwe) scripts en testscenario. Performancetesten 36 36

19 Herhaaltesten van OLB2 Dus: Kortere doorloop tijd Performancetesten Einde presentatie Performancetesten 38 38