Adding value to test tooling

Transcriptie

1 Adding value to tooling performance ing and automation Hoe we performance risico's ook in een CI/CD wereld de baas blijven

2 Wie Ben Ik? >20 jaar ervaring in IT 10 jaar PerformanceArchitecten Software engineer -> performance consultant Waarom deze presentatie? René Meijboom Tel:

3 Agenda Performance en (Traditioneel) Veranderingen door DevOps Uitdagingen Oplossingen Shift left CI/CD Automatiseren performance en Continuous Monitoring Breder profiel performance engineer Kernpunten 3

4 Traditioneel Performance Testen performance 4

5 Nadelen Traditioneel Performance Testen Issues laat gevonden, hogere herstel kosten Bugfix leiden tot nieuwe build en cyclus Nieuwe functionaliteit uitgesteld tot volgende release, of release wordt uitgesteld. Acceptatie omgeving onder druk vanwege project en release en. Geen goede aansluiting bij DevOps 5

6 6 Agile Release Frequentie

7 7 Release Frequentie

8 Agile/DevOps Performance Testen performance performance performance performance 8

9 Performance Uitdagingen door DevOps Minder tijd voor performance en Geen stabiel en volledig functioneel ge product Geen performance kennis binnen agile/devops team Weinig aandacht voor PT (niet op DoD) Teams voelen zich niet verantwoordelijk voor performance 9

10 Oplossingen 1. Shift left 2. Continuous Integration / Continuous Delivery 3. Automatiseren van performance en 4. Continuous Monitoring. 10

11 1. Shift Left Eerder en Van acceptatie omgeving naar omgeving Van volledig functioneel ge naar functioneel stabiel Met als doel: Eerder vinden van bugs Hoger kwaliteit product in acceptatie omgeving Minder druk op (performance) in acceptatie omgeving 11

12 Performance Testen en Shift Left Feedback loops Code push flow Build & package flow Deployment flow Develop Source code mgt Build & Unit Code quality review Package Component mgt Deploy Test env Test Deploy staging env Test Deploy to prod prod checks Performance Performance E2E Performance 12

13 Shift Left in 5 Punten: Develop 1. Component en Source code mgt Build & Unit Code quality review Feedback loops 2. In ipv acceptatie omgeving 3. Gevirtualiseerde services / backend Code push flow Build & package flow Deployment flow 4. Vergelijken baseline en target 5. Thresholds Package Component mgt Deploy Test env Test Deploy staging env Test Deploy to prod prod checks Performance Performance E2E Performance 13

14 High Level Architecture Mobiel App Widget Intranet Widget Internet Widget Middleware AppGrp1 AppGrp2 ServGrp1 ServGrp2 Mainframe Database 14

15 2. Continuous Integration / Continuous Delivery RELEASE PIPELINE Continous integration Continous Delivery Code Commit Unit, Integration Functional ing Deploy to Testing Env Acceptance Testing 15

16 CI/CD in 5 punten: Code RELEASE PIPELINE 1. Integreer performance in pipeline 2. Automatiseren performance Continous integration 3. Test data on demand 4. Trend analyse 5. Tooling Commit Unit, Integration Functional ing Continous Delivery Deploy to Testing Env Acceptance Testing 16

17 Integratie in de CI/CD Pipeline 17

18 Integratie in de CI/CD Pipeline 18

19 3. Automatiseren van Performance Testen Automation framework Jenkins pipeline Initialize Environment Start PT collect PT results create PT results trend Automated analysis Report collect monitoring results create monitoring trend 19

20 4. Continuous (Performance) Monitoring Feedbackloop van productie na deployment Business metrics Technical metrics Monitor veranderingen en bijbehorende impact Alerting 20

21 Breder Profiel Performance Engineer Allround performance specialist Automatiseren Coach / teacher Soft skills Teamlid centraal team Teamlid Agile/DevOps team Guilds 21

22 Kernpunten 1. Test (componenten) zo vroeg mogelijk 2. Automatiseer performance 3. Integreer performance in CI/CD pipeline 4. Goede monitoring is een vereiste 5. Aanvullend performance en blijft nodig 22 René Meijboom Tel: Zijn er nog vragen?